JP2013192118A - 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置 - Google Patents

算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置 Download PDF

Info

Publication number
JP2013192118A
JP2013192118A JP2012058005A JP2012058005A JP2013192118A JP 2013192118 A JP2013192118 A JP 2013192118A JP 2012058005 A JP2012058005 A JP 2012058005A JP 2012058005 A JP2012058005 A JP 2012058005A JP 2013192118 A JP2013192118 A JP 2013192118A
Authority
JP
Japan
Prior art keywords
scan
coefficient
sub
block
transform coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012058005A
Other languages
English (en)
Inventor
Kenji Tsukuba
健史 筑波
Tomohiro Igai
知宏 猪飼
Masanobu Yasugi
将伸 八杉
Tomoyuki Yamamoto
智幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012058005A priority Critical patent/JP2013192118A/ja
Publication of JP2013192118A publication Critical patent/JP2013192118A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】変換係数の符号化及び復号に係る処理量を削減する
【解決手段】係数有無フラグ復号部124が備える周辺参照コンテキスト導出部124cは、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、変換係数のスキャン方向を示すスキャンインデックスに基づいて選択された参照領域に含まれる復号済の非0変換係数の数に基づいて導出する。
【選択図】図21

Description

本発明は、算術符号化された符号化データを復号する算術復号装置、および、そのような算術復号装置を備えている画像復号装置に関する。また、算術符号化された符号化データを生成する算術符号化装置、および、そのような算術符号化装置を備えている画像符号化装置に関する。また、算術符号化装置によって生成され、算術復号装置によって参照される符号化データのデータ構造に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置(画像符号化装置)、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置(画像復号装置)が用いられている。
具体的な動画像符号化方式としては、例えば、H.264/MPEG−4.AVCや、その後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている方式(非特許文献1)などが挙げられる。
このような動画像符号化方式においては、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位(コーディングユニット(Coding Unit)と呼ばれることもある)、及び、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化/復号される。
また、このような符号化方式においては、通常、入力画像を符号化及び復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分画像(「残差画像」または「予測残差」と呼ぶこともある)をブロック毎にDCT(Discrete Cosine Transform)変換等の周波数変換を施すことによって得られる変換係数が符号化される。
変換係数の具体的な符号化の方式としては、コンテキスト適応型2値算術符号化(CABAC:Context-based Adaptive Binary Arithmetic Coding)が知られている。
CABACでは、変換係数を表す各種のシンタックスに対して2値化処理が施され、この2値化処理によって得られた2値データが算術符号化される。ここで、上記各種のシンタックスとしては、変換係数が0であるか否かを示すフラグ、すなわち非0変換係数の有無を示すフラグsignificant_coeff_flag(変換係数有無フラグとも呼ぶ)、並びに、処理順で最後の非0変換係数の位置を示すシンタックスlast_significant_coeff_x及びlast_significant_coeff_yなどが挙げられる。
また、CABACでは、シンボル(2値データの1ビット、Binとも呼ぶ)を1つ符号化する際、処理対象の周波数成分に割り付けられたコンテキストインデックスが参照され、当該コンテキストインデックスによって指定されるコンテキスト変数に含まれる確率状態インデックスの指し示す発生確率に応じた算術符号化が行われる。また、確率状態インデックスによって指定される発生確率は、シンボルを1つ符号化する毎に更新される。
非特許文献1には、例えば、処理対象ブロックのサイズが所定サイズ以上である場合には、以下の(1)〜(5)の手順を実行することで、変換係数有無フラグ(significant_coeff_flag)の復号(符号化)時に参照されるコンテキストインデックスを導出する技術が記載されている。
(1)処理対象ブロックの周波数領域を複数の部分領域に分割する。また、分割により得られた複数の部分領域が、低周波側〜高周波側のいずれに属するかに応じて以下の(2)〜(4)を実行する。
(2)低周波数側の部分領域に含まれる周波数成分に対して、周波数領域内での当該周波数成分の位置に応じて定まるコンテキストインデックス(位置コンテキストとも呼ぶ)を導出する。
(3)中周波数域の部分領域に含まれる周波数成分に対して、当該周波数成分の周辺の周波数成分における非ゼロ係数の数に応じて定まるコンテキストインデックス(周辺参照コンテキストとも呼ぶ)を導出する。
(4)高周波数域側の部分領域に含まれる周波数成分に対して、固定のコンテキストインデックスを導出する。
(5)処理対象ブロックのサイズが所定サイズ未満である場合には、さらに、周波数領域内での当該周波数成分の位置に応じて定まるコンテキストインデックス(位置コンテキストとも呼ぶ)を導出する。
「High Efficiency Video Coding (HEVC) text specification draft 6 (JCTVC-H1003_dK)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: San Jose, US, 1-10 Feburary, 2012(2012年2月17日公開)
しかしながら、上述の従来技術では、何れも、変換係数の符号化及び復号に係る処理量の削減が十分ではないという問題があった。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、従来の構成に比べて変換係数の符号化及び復号に係る処理量を削減することのできる算術復号装置及び算術符号化装置等を実現することにある。
上記の課題を解決するために、本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを復号するサブブロック係数有無フラグ復号手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術復号するシンタックス復号手段と、を備え、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、変換係数のスキャン方向を示すスキャンインデックスに基づいて選択された参照領域に含まれる復号済の非0変換係数の数に基づいて導出し、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして復号処理を行う、ことを特徴とする。
上記構成によれば、スキャンインデックスの示すスキャン方向に応じて好適な参照領域を選択することができるため、係数有無フラグの符号量を削減し、復号に係る処理量を削減する効果を奏する。
本発明に係る算術復号装置では、前記スキャンインデックスが垂直方向優先スキャンを示すとき、変換係数の値の復号は水平方向優先スキャンを用い、変換係数の値の復号後にブロック全体を転置することが好ましい。
上記構成によれば、垂直方向優先スキャンに伴うスキャン処理と参照処理が不要になるため、処理が簡略化されるという効果を奏する。
本発明に係る算術復号装置では、前記参照領域は、前記スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する変換係数を均等に参照する参照領域であり、前記スキャンインデックスが水平方向優先スキャンを示すとき、水平方向の変換係数を優先して参照する参照領域であり、前記スキャンインデックスが垂直方向優先スキャンを示すときは、垂直方向の変換係数を優先して参照する参照領域であることが好ましい。
上記構成によれば、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレート(参照領域)を選択し、スキャンインデックスが水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレート(参照領域)を選択し、スキャンインデックスが垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するテンプレート(参照領域)を選択するため、係数の偏りを考慮したコンテキストインデックスを導出することができ、係数有無フラグの符号量を削減し、復号に係る処理量を削減する効果を奏する。
本発明に係る算術復号装置では、サブブロック内の係数位置に基づいて、処理順で直前に位置する座標の変換係数を含まない参照領域が選択されることが好ましい。
上記構成によれば、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。
本発明に係る算術復号装置では、サブブロック内の係数位置に基づいて、処理対象の変換係数があるスキャン列の直前に復号されたスキャン列に位置する変換係数を含まない参照領域が選択されることが好ましい。
上記構成によれば、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前のスキャン列にある係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。少なくとも、連続する3つの変換係数に関して、コンテキスト導出処理を並列で処理することができる効果を奏する。
本発明に係る算術復号装置では、前記参照領域は、処理順で直前に位置する座標の変換係数を含まない参照領域であることが好ましい。
上記構成によれば、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。また、係数の位置によらず参照領域を切り替える必要がないため、コンテキスト導出処理に係る処理量を削減することができる。
本発明に係る算術復号装置では、前記スキャンインデックスが水平方向優先スキャンを示すとき、サブブロック内のスキャン順が2つの4×2サブサブブロックを順にスキャンするスキャン順を用い、前記スキャンインデックスが垂直方向優先スキャンを示すとき、サブブロック内のスキャン順として、2つの2×4サブサブブロックを順にスキャンするスキャン順を用いることが好ましい。
上記サブサブブロックとは、サブブロックをさらに分割したブロックのことである(すなわち、サブブロックのサブブロック)。上記構成によれば、スキャンインデックスの示すスキャン方向に応じて、変換係数が集中する周波数領域を先にスキャンすることができるため、符号化効率が向上する効果を奏する。
本発明に係る算術復号装置では、前記斜め方向スキャンは、サブブロック内の係数を斜め方向に1列毎にスキャンする斜め方向スキャンであって、前記水平方向優先スキャンは、サブブロック内の係数を横1行毎にスキャンする水平方向優先スキャンであって、前記垂直方向優先スキャンは、サブブロック内の係数を縦1列毎にスキャンする垂直方向優先スキャンであって、前記斜め方向スキャンのときに適用する参照領域は、処理対象の変換係数があるスキャン列の直前に復号されたスキャン列に位置する変換係数を含まない参照領域であり、かつ前記水平方向優先スキャン、または前記垂直方向優先スキャンのときに適用する参照領域は、処理対象の変換係数があるスキャン列に位置する復号済の変換係数を含まない参照領域であることが好ましい。
上記構成によれば、
ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前のスキャン列に位置する係数有無フラグの値を、もしくは、ある位置の係数有無フラグが存在するスキャン列に位置する変換係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。少なくとも、連続する3つの変換係数に関して、コンテキスト導出処理を並列で処理することができる効果を奏する。
本発明に係る算術復号装置では、前記斜め方向スキャンは、正方形のサブブロック内の係数を斜め方向に1列毎にスキャンする斜め方向スキャンであり、
前記水平方向優先スキャンは、横長のサブブロック内の係数を斜め方向に1列毎にスキャンする水平方向優先スキャンであり、
前記垂直方向優先スキャンは、縦長のサブブロック内の係数を斜め方向に1列毎にスキャンする垂直方向優先スキャンであり、サブブロック内の係数位置に基づいて、処理順で直前に位置する座標の変換係数を含まない参照領域が選択されることが好ましい。
上記横長のサブブロックは、横長の長方形のサブブロックであると表現することもできる。また、上記縦長のサブブロックは、縦長の長方形のサブブロックであると表現することもできる。上記構成によれば、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。
本発明に係る算術復号装置では、前記斜め方向スキャンは、正方形のサブブロック内の係数を斜め方向に1列毎にスキャンする斜め方向スキャンであり、
前記水平方向優先スキャンは、横長のサブブロック内の係数を水平方向にジグザグにスキャンする水平方向優先スキャンであり、
前記垂直方向優先スキャンは、縦長のサブブロック内の係数を垂直方向にジグザグにスキャンする垂直方向優先スキャンであり、前記参照領域は、処理順で直前に位置する座標の変換係数を含まない参照領域であることが好ましい。
上記構成によれば、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。また、係数の位置によらず参照領域を切り替える必要がないため、コンテキストインデックス導出処理の処理量を削減することができる。
上記の課題を解決するために、本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを復号するサブブロック係数有無フラグ復号手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術復号するシンタックス復号手段と、を備え、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、処理対象の変換係数より前に復号された変換係数のうち、スキャン順で定まる所定範囲に含まれる復号済の非0変換係数の数に基づいて導出し、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして復号処理を行う、ことを特徴とする。
上記構成によれば、スキャンインデックス、あるいは、係数位置に応じた、非0変換係数を参照するための参照領域を選択する必要がなく、参照する変換係数を、スキャン順から定めることができるため、より簡易にコンテキスト導出処理をすることができる効果を奏する。
本発明に係る算術復号装置では、前記スキャン順で定まる所定範囲は、スキャン順でn番目の処理対象の変換係数を基準として、スキャン順でn+1からn+P番目までのP個(Pは自然数)の変換係数を除く、スキャン順でn+P+1からn+P+Q番目(Qは自然数)までの変換係数を含む第1の参照範囲、または、スキャン順でn+P+1からスキャン順で、処理対象の変換係数を含むブロックの終端に位置する係数までの変換係数を含む第2の参照範囲のうち、参照係数の個数が少ない方の参照範囲であることが好ましい。
上記構成によれば、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前のP個の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理を並列に処理することができる。
本発明に係る算術復号装置では、前記スキャン順で定まる所定範囲は、スキャン順でn番目の処理対象の変換係数を基準として、スキャン順でn+1からn+P番目までのP個(Pは自然数)の変換係数を除く、スキャン順でn+P+1からn+P+Q番目(Qは自然数)までの変換係数を含む第1の参照範囲、または、スキャン順でn+P+1からスキャン順で、処理対象の変換係数を含むサブブロックの終端に位置する係数までの変換係数を含む第2の参照範囲のうち、参照係数の個数が少ない方の参照範囲であることが好ましい。
上記構成によれば、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前のP個の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理を並列に処理することができる。
また、上記構成によれば、同一サブブロック内の相関が高い係数のみをスキャン順で参照してコンテキストインデックスを導出することができ、係数有無フラグの符号量を削減し、復号の処理量を削減する効果を奏する。
また、上記算術復号装置を含む画像復号装置を、以下のとおり構成することもできる。
すなわち、上記算術復号装置と、上記算術復号装置によって復号された変換係数を逆周波数変換することによって残差画像を生成する逆周波数変換手段と、上記逆周波数変換手段によって生成された残差画像と、生成済みの復号画像から予測された予測画像とを加算することによって復号画像を生成する復号画像生成手段と、を備えている画像復号装置を構成することも可能である。
このように構成した算術復号装置も本発明の範疇であり、この場合においても、上記算術復号装置と同様の作用・効果を得ることができる。
また、上記算術復号装置に対応する構成を備える算術符号化装置も本発明の範疇に入る。
すなわち、本発明に係る算術符号化装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを生成する算術符号化装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを符号化するサブブロック係数有無フラグ符号化手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術符号化するシンタックス符号化手段と、を備え、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、変換係数のスキャン方向を示すスキャンインデックスに基づいて選択された参照領域に含まれる符号化済の非0変換係数の数に基づいて導出し、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして符号化処理を行う、ことを特徴とする。
また、本発明に係る算術符号化装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを生成する算術符号化装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを符号化するサブブロック係数有無フラグ符号化手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術符号化するシンタックス符号化手段と、を備え、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、処理対象の変換係数より前に符号化された変換係数のうち、スキャン順で定まる所定範囲に含まれる符号化済みの非0変換係数の数に基づいて導出し、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして符号化処理を行う、ことを特徴とする。
また、上記算術復号装置を含む画像符号化装置を、以下のとおり構成することも可能である。
すなわち、符号化対象画像と予測画像との残差画像を単位領域毎に周波数変換することによって変換係数を生成する変換係数生成手段と、上記算術符号化装置と、を備えており、上記算術符号化装置は、上記変換係数生成手段によって生成された変換係数を表す各種のシンタックスを算術符号化することによって符号化データを生成するものである、画像符号化装置を構成することができる。
このように構成した算術符号化装置、および画像符号化装置も本発明の範疇であり、この場合においても、上記算術復号装置と同様の作用・効果を得ることができる。
本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを復号するサブブロック係数有無フラグ復号手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術復号するシンタックス復号手段と、を備え、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、変換係数のスキャン方向を示すスキャンインデックスに基づいて選択された参照領域に含まれる復号済の非0変換係数の数に基づいて導出し、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして復号処理を行う構成である。
本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを復号するサブブロック係数有無フラグ復号手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術復号するシンタックス復号手段と、を備え、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、処理対象の変換係数より前に復号された変換係数のうち、スキャン順で定まる所定範囲に含まれる復号済の非0変換係数の数に基づいて導出し、対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして復号処理を行う構成である。
本発明に係る算術符号化装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを生成する算術符号化装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを符号化するサブブロック係数有無フラグ符号化手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術符号化するシンタックス符号化手段と、を備え、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、変換係数のスキャン方向を示すスキャンインデックスに基づいて選択された参照領域に含まれる符号化済の非0変換係数の数に基づいて導出し、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして符号化処理を行う構成である。
本発明に係る算術符号化装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを生成する算術符号化装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを符号化するサブブロック係数有無フラグ符号化手段と、対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術符号化するシンタックス符号化手段と、を備え、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、処理対象の変換係数より前に符号化された変換係数のうち、スキャン順で定まる所定範囲に含まれる符号化済みの非0変換係数の数に基づいて導出し、対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして符号化処理を行う構成である。
上記のように構成された算術復号装置によれば、復号対象となる変換係数有無フラグの符号量を削減することができ、変換係数の復号に係る処理量が削減される。
また、上記のように構成された算術符号化装置によれば、符号化対象となる変換係数有無フラグの符号量を削減することができ、変換係数の符号量が削減される。
このように、本発明によれば、変換係数有無フラグに係る符号量の削減を図ることができる。
また、変換係数有無フラグに係る符号量が削減されるため、変換係数の復号、あるいは符号化に係る処理量を削減することができる。
本発明の実施形態に係る動画像復号装置の備える量子化残差情報復号部の構成を示すブロック図である。 本発明の実施形態に係る動画像符号化装置によって生成され、動画像復号装置によって復号される符号化データのデータ構成を示す図であり、(a)〜(d)は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびCUレイヤを示す図である。 (a)〜(h)は、PU分割タイプのパターンを示す図であり、それぞれ、PU分割タイプが、2N×N、2N×nU、2N×nD、2N×N、2N×nU、および、2N×nDの場合のパーティション形状について示している。(i)〜(o)は、正方形のノードを正方形または非正方形に4分木分割する分割方式について示す図であり。(i)は、正方形の分割、(j)は、横長の長方形の分割、(k)は、縦長の長方形の分割、(l)は、横長のノードの横長の分割、(m)は、横長のノードの正方形の分割、(n)は、縦長のノードの縦長の分割、および(o)は、縦長のノードの正方形の分割を示している。 実施形態に係る符号化データの量子化残差情報に含まれるシンタックスを示すシンタックステーブルの前半部分を示す図である。 実施形態に係る符号化データの量子化残差情報に含まれるシンタックスを示すシンタックステーブルの後半部分を示す図である。 ブロックとサブブロックの関係を示す図である。(a)は、4×4TUが4×4成分からなる1個のサブブロックから構成される例を示す。(b)は、8×8TUが4×4成分からなる4個のサブブロックから構成される例を示す。(c)は、16×16TUが4×4成分からなる16個のサブブロックから構成される例を示す。 実施形態に係る復号処理及び符号化処理のスキャン順を説明するための図であって、(a)は、サブブロックスキャンが順スキャンである場合を示しており、(b)は、サブブロック内スキャンが順スキャンである場合を示しており、(c)は、サブブロックスキャンが逆スキャンである場合を示しており、(d)は、サブブロック内スキャンが逆スキャンである場合を示している。 実施形態における非0変換係数の復号処理を説明するための図であって、(a)は、TUサイズが8×8であるブロックが4×4のサイズのサブブロックに分割された場合に、順スキャンにて各周波数成分がスキャンされる場合のスキャン順を示しており、(b)は、TUサイズが8×8の周波数成分よりなる周波数領域における0でない変換係数(非0変化係数)を例示しており、(c)は、復号対象の変換係数が、(b)に示すものである場合の各サブブロックについて復号されたサブブロック係数有無フラグsignificant_coeff_group_flagの各値を示しており、(d)は、復号対象の変換係数が、図8(b)に示すものである場合の非0変換係数の有無を示すシンタックスsignificant_coeff_flagの各値を示しており、(e)は、復号対象の変換係数が、(b)に示すものである場合のシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingを復号することによって得られた各変換係数の絶対値を示しており、(f)は、復号対象の変換係数が、(b)に示すものである場合のシンタックスcoeff_sign_flagを示している。 実施形態に係る動画像復号装置の構成を示すブロック図である。 実施形態に係る動画像復号装置の備える可変長符号復号部の構成を示すブロック図である。 実施形態に係る動画像復号装置において利用可能なイントラ予測の方向について示す図である。 イントラ予測モードと、当該イントラ予測モードに対応付けられている名前とを示す図である。 イントラ予測モードインデックスIntraPredModeと、log2TrafoSize-2の各値とによって指定されるスキャンインデックスscanIdxの例を示す表である。 スキャンインデックスを説明するための図であって、(a)は、スキャンインデックスscanIdxの各値によって指定されるスキャンタイプScanTypeを示しており、(b)は、TUサイズが4×4であるときの、水平方向優先スキャン(horizontal fast scan)を示し、(c)は、TUサイズが4×4であるときの、垂直方向優先スキャン(vertical fast scan)、及び、(d)は、TUサイズが4×4であるときの、斜め方向スキャン(Up-right diagonal scan)の各スキャンのスキャン順の一例を示している。なお、(b)に示す水平方向優先スキャンは、サブブロックを上下半分に分割した小サブブロック単位に、水平方向へ斜め1列毎に係数をスキャンすることを特徴とし、(c)に示す垂直方向優先スキャンは、サブブロックを左右半分に分割した小サブブロック単位に垂直方向へ斜め1列毎に係数をスキャンすることを特徴としている。 ブロックおよびサブブロックのスキャン順について示す図である。(a)〜(c)は、TUサイズが8×8であり、かつ、サブブロックサイズが4×4であるとき、スキャンインデックスscanIdxで指定される各スキャンタイプのスキャン順の一例を示している。また、(a)〜(c)に示す各例における矢印は、順スキャン方向を示している。なお、(a)に示す水平方向優先スキャンは、サブブロックを上下半分に分割した小サブブロック単位に、水平方向へ斜め1列毎に係数をスキャンすることを特徴とし、(b)に示す垂直方向優先スキャンは、サブブロックを左右半分に分割した小サブブロック単位に垂直方向へ斜め1列毎に係数をスキャンすることを特徴としている。 ブロックおよびサブブロックのスキャン順について示す図である。(a)〜(c)は、TUサイズが8×8であり、かつ、サブブロックサイズが異なるとき、スキャンインデックスscanIdxで指定される各スキャンタイプのスキャン順の一例を示している。また、(a)〜(c)に示す各例における矢印は、順スキャン方向を示している。なお、(a)に示す水平方向優先スキャンは、横長のサブブロック単位に、水平方向へ斜め1列毎に係数をスキャンすることを特徴とし、(b)に示す垂直方向優先スキャンは、縦長のサブブロックを単位に垂直方向へ斜め1列毎に係数をスキャンすることを特徴としている。 実施形態に係るサブブロック係数有無フラグ復号部の構成を示すブロック図である。 実施形態に係るサブブロック係数有無フラグ復号部による復号処理を説明するための図であって、(a)は、対象サブブロック(xCG、yCG)と、対象サブブロックの下側に隣接する隣接サブブロック(xCG、yCG+1)とを示しており、(b)は、対象サブブロック(xCG、yCG)と、対象サブブロックの右側に隣接する隣接サブブロック(xCG+1、yCG)とを示しており、(c)は、対象サブブロック(xCG、yCG)と、対象サブブロックの下側に隣接する隣接サブブロック(xCG、yCG+1)と、対象サブブロックの右側に隣接する隣接サブブロック(xCG+1、yCG)とを示している。 実施形態に係るサブブロック係数有無フラグ符号化及び復号処理を説明するための図であって、(a)は、16×16TUの周波数領域に存在する変換係数を示しており、(b)は、各サブブロックに割り付けられたサブブロック係数有無フラグを示している。 実施形態に係るコンテキストインデックス導出処理を説明するための図であって、(a)は、4×4成分のTUサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、輝度Yに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示しており、(b)は、4×4成分のサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、色差U、Vに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示しており、(c)は、8×8成分のTUサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、輝度Y、色差U、Vに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示している。 実施形態に係る係数有無フラグ復号部の第1の構成例を示すブロック図である。 実施形態に係る係数有無フラグ復号部の備える導出方法制御部による分類処理を説明するための図であって、(a)は、輝度に関する変換係数を復号する際に好適に適用される部分領域分割を示しており、(b)は、色差に関する変換係数を復号する際に好適に適用される部分領域分割を示している。 実施形態に係る係数有無フラグ復号部の備える周辺参照コンテキスト導出部によって、復号処理が逆スキャン順に行われる場合に参照される参照周波数成分を説明するための図であって、(a)は、周波数成分上の位置と選択するテンプレートの関係を示しており、(b)は、参照周波数成分c1、c2、c3、c4、c5を対象周波数成分xとの相対位置を示しており、(c)は、参照周波数成分c1、c2、c4、c5と対象周波数成分xとの相対位置を示しており、(d)は、参照周波数成分c1、c2、c4、c5と対象周波数成分xとの相対位置を示しおり、(e)は、4×4サブブロックにおける斜め方向スキャンのスキャン順(逆スキャン順)を表わしている。 実施形態に係る係数有無フラグ復号部の備える周辺参照コンテキスト導出部によって、復号処理が逆スキャン順に行われる場合に参照される参照周波数成分を説明するための図であって、(a)は、周波数成分上の位置と選択するテンプレートの関係を示しており、(b)は、参照周波数成分c1、c2、c3、c4、c5を対象周波数成分xとの相対位置を示しており、(c)は、参照周波数成分c2、c3、c4、c5と対象周波数成分xとの相対位置を示しており、(d)は、参照周波数成分c1、c2、c3、c4、c5と対象周波数成分xとの相対位置を示しおり、(e)は、4×4サブブロックにおける水平方向優先スキャンのスキャン順(逆スキャン順)を表わしている。 実施形態に係る係数有無フラグ復号部の備える周辺参照コンテキスト導出部によって、復号処理が逆スキャン順に行われる場合に参照される参照周波数成分を説明するための図であって、(a)は、周波数成分上の位置と選択するテンプレートの関係を示しており、(b)は、参照周波数成分c1、c2、c3、c4、c5を対象周波数成分xとの相対位置を示しており、(c)は、参照周波数成分c2、c3、c4、c5と対象周波数成分xとの相対位置を示しており、(d)は、参照周波数成分c1、c2、c3、c4、c5と対象周波数成分xとの相対位置を示しおり、(e)は、4×4サブブロックにおける垂直方向優先スキャンのスキャン順(逆スキャン順)を表わしている。 実施形態に係る係数有無フラグ復号部の第1の構成例の動作を示すフローチャートである。 実施形態に係るコンテキスト導出部の動作を説明するための図であって、コンテキスト導出部を構成する導出方法制御部、位置コンテキスト導出部および周辺参照コンテキスト導出部によるコンテキストインデックス導出処理を示すフローチャートである。 実施形態に係るコンテキスト導出部の動作を説明するための図であって、コンテキスト導出部の備える周辺参照コンテキスト導出部によるコンテキストインデックス導出処理をより具体的に説明するためのフローチャートである。 実施形態に係る係数有無フラグ復号部の備える周辺参照コンテキスト導出部によって、復号処理が逆スキャン順に行われる場合に参照される参照周波数成分を説明するための図であって、(a)は、4×4サブブロックにおいて、横1行毎に係数をスキャンする水平方向優先スキャンのスキャン順(逆スキャン順)を表わし、(b)は、参照周波数成分c1、c2、c3、c4、c5を対象周波数成分xとの相対位置を示しており、(c)は、参照周波数成分c1、c2、c4、c5と対象周波数成分xとの相対位置を示しており、(d)は、参照周波数成分c1、c2、c3、c4、c5と対象周波数成分xとの相対位置を示しおり、(e)は、参照周波数成分c1、c2、c3、c4と対象周波数成分xとの相対位置を示しており、(f)は、参照周波数成分c1、c2、c3、c4、c5と対象周波数成分xとの相対位置を示している。 実施形態に係る係数有無フラグ復号部の備える周辺参照コンテキスト導出部によって、復号処理が逆スキャン順に行われる場合に参照される参照周波数成分を説明するための図であって、(a)は、4×4サブブロックにおいて、縦1列毎に係数をスキャンする垂直方向優先スキャンのスキャン順(逆スキャン順)を表わし、(b)は、参照周波数成分c1、c2、c3、c4、c5を対象周波数成分xとの相対位置を示しており、(c)は、参照周波数成分c1、c2、c4、c5と対象周波数成分xとの相対位置を示しており、(d)は、参照周波数成分c1、c2、c3、c4、c5と対象周波数成分xとの相対位置を示しおり、(e)は、参照周波数成分c1、c2、c3、c4と対象周波数成分xとの相対位置を示しており、(f)は、参照周波数成分c1、c2、c3、c4c、c5と対象周波数成分xとの相対位置を示している。 スキャンインデックスscanIdxが水平方向優先スキャンを示す場合における8×2サブブロック内のスキャンの一例について示す図である。(a)は、8×2サブブロック内の周波数成分上の位置と、それぞれの位置において選択されるテンプレートの関係を示す。(b)は、(a)において、(b)で示す位置において選択されるテンプレートを示す。(c)は、(a)において、(c)で示す位置において選択されるテンプレートを示す。(d)は、8×2サブブロックにおける水平方向優先スキャンのスキャン順(逆スキャン順)を示す。 スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合における2×8サブブロック内のスキャンの一例について示す図である。(a)は、2×8サブブロック内の周波数成分上の位置と、それぞれの位置において選択されるテンプレートの関係を示す。(b)は、(a)において、(b)で示す位置において選択されるテンプレートを示す。(c)は、(a)において、(c)で示す位置において選択されるテンプレートを示す。(d)は、2×8サブブロックにおける垂直方向優先スキャンのスキャン順(逆スキャン順)を示す。 スキャンインデックスscanIdxが水平方向優先スキャンを示す場合における8×2サブブロック内のスキャンの他の例について示す図である。(a)は、8×2サブブロック内の周波数成分上の位置と、それぞれの位置において選択されるテンプレートの関係を示す。(b)は、(a)において、(b)で示す位置において選択されるテンプレートを示す。(c)は、(a)において、(c)で示す位置において選択されるテンプレートを示す。(d)は、水平方向の係数を優先して参照するテンプレートを示す。(e)は、8×2サブブロックにおける水平方向優先スキャンのスキャン順(逆スキャン順)を示す。 スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合における2×8サブブロック内のスキャンの他の例について示す図である。(a)は、2×8サブブロック内の周波数成分上の位置と、それぞれの位置において選択されるテンプレートの関係を示す。(b)は、(a)において、(b)で示す位置において選択されるテンプレートを示す。(c)は、(a)において、(c)で示す位置において選択されるテンプレートを示す。(d)は、垂直方向の係数を優先して参照するテンプレートを示す。(e)は、2×8サブブロックにおける垂直方向優先スキャンのスキャン順(逆スキャン順)を示す。 実施形態に係る係数有無フラグ復号部の第2の構成例を示すブロック図である。 図35に示すスキャン順係数参照コンテキスト導出部において、処理対象の係数と、処理対象より直前に復号(符号化)された係数において、非0変換係数の個数をカウントするために参照する変換係数、および参照しない変換係数とのスキャン順における位置関係を説明するための図である。 実施形態に係るコンテキスト導出部の動作を説明するための図であって、(a)は、コンテキスト導出部を構成する導出方法制御部、位置コンテキスト導出部およびスキャン順係数参照コンテキスト導出部によるコンテキストインデックス導出処理を示すフローチャートである。 実施形態に係る変換係数復号部による変換係数復号処理の流れを示すフローチャートである。 実施形態に係る変換係数復号部によるスキャンインデックスを設定する処理の流れを示すフローチャートである。 実施形態に係る変換係数復号部によるサブブロック係数有無フラグを復号する処理の流れを示すフローチャートである。 実施形態に係る変換係数復号部によるサブブロック内の各非ゼロ変換係数有無フラグsignificant_coeff_flagを復号する処理の流れを示すフローチャートである。 実施形態に係る動画像符号化装置の構成を示すブロック図である。 実施形態に係る動画像符号化装置の備える可変長符号符号化部の構成を示すブロック図である。 本発明の実施形態に係る動画像符号化装置の備える量子化残差情報符号化部の構成を示すブロック図である。 実施形態に係る係数有無フラグ符号化部の第1の構成例を示すブロック図である。 実施形態に係るサブブロック係数有無フラグ符号化部の構成を示すブロック図である。 実施形態に係る係数有無フラグ符号化部の第2の構成例を示すブロック図である。 上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。(a)は、動画像符号化装置を搭載した送信装置を示しており、(b)は、動画像復号装置を搭載した受信装置を示している。 上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。(a)は、動画像符号化装置を搭載した記録装置を示しており、(b)は、動画像復号装置を搭載した再生装置を示している。 変換係数復号部120による変換係数復号処理の流れの一変形例を示すフローチャートである。 変換係数の転置を説明する図である。(a)は4×4TUが変換される例を示す。また(b)は8×4TUが4×8TUに変換される例を示す。 変換係数復号部120による変換係数復号処理の流れの他の変形例を示すフローチャートである。
本発明に係る復号装置および符号化装置の実施形態について図面に基づいて説明すれば以下のとおりである。なお、本実施形態に係る復号装置は、符号化データから動画像を復号するものである。したがって、以下では、これを「動画像復号装置」と呼称する。また、本実施形態に係る符号化装置は、動画像を符号化することによって符号化データを生成するものである。したがって、以下では、これを「動画像符号化装置」と呼称する。
ただし、本発明の適用範囲はこれに限定されるものではない。すなわち、以下の説明からも明らかなように、本発明の特徴は複数のフレームを前提としなくとも成立するものである。すなわち、動画像を対象とするか静止画像を対象とするかを問わず、復号装置一般および符号化装置一般に適用できるものである。
〔符号化データ#1の構成〕
図2を用いて、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1の構成例について説明する。符号化データ#1は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
シーケンスレイヤでは、処理対象のシーケンスを復号するために、動画像復号装置1が参照するデータの集合が規定されている。シーケンスレイヤにはシーケンスパラメータセットSPS、ピクチャパラメータセットPPS、ピクチャPICTを含んでいる。
符号化データ#1におけるピクチャレイヤ以下の階層の構造を図2に示す。図2の(a)〜(d)は、それぞれ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、ツリーブロック(Tree block)TBLKを規定するツリーブロックレイヤ、ツリーブロックTBLKに含まれる符号化単位(Coding Unit;CU)を規定するCUレイヤを示す図である。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(a)に示すように、ピクチャヘッダPH、及び、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライスS1〜SNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ#1に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダPHには、対象ピクチャの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれている。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(b)に示すように、スライスヘッダSH、及び、ツリーブロックTBLK1〜TBLKNC(NCはスライスSに含まれるツリーブロックの総数)を含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単予測、又は、イントラ予測を用いるPスライス、(3)符号化の際に単予測、双予測、又は、イントラ予測を用いるBスライスなどが挙げられる。
また、スライスヘッダSHには、動画像復号装置1の備えるループフィルタによって参照されるフィルタパラメータFPが含まれている。フィルタパラメータFPは、フィルタ係数群を含んでいる。フィルタ係数群には、(1)フィルタのタップ数を指定するタップ数指定情報、(2)フィルタ係数a0〜aNT-1(NTは、フィルタ係数群に含まれるフィルタ係数の総数)、および、(3)オフセットが含まれる。
(ツリーブロックレイヤ)
ツリーブロックレイヤでは、処理対象のツリーブロックTBLK(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ツリーブロックTBLKは、ツリーブロックヘッダTBLKHと、符号化単位情報CU〜CUNL(NLはツリーブロックTBLKに含まれる符号化単位情報の総数)とを含む。ここで、まず、ツリーブロックTBLKと、符号化単位情報CUとの関係について説明すると次のとおりである。
ツリーブロックTBLKは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックTBLKの上記ユニットは、再帰的な4分木分割により分割されている。この再帰的な4分木分割により得られる木構造のことを以下、符号化ツリー(coding tree)と称する。
以下、符号化ツリーの末端のノードであるリーフ(leaf)に対応するユニットを、符号化ノード(coding node)として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位(CU)とも称する。
つまり、符号化単位情報CU〜CUNLは、ツリーブロックTBLKを再帰的に4分木分割して得られる各符号化ノード(符号化単位)に対応する情報である。
また、符号化ツリーのルート(root)は、ツリーブロックTBLKに対応付けられる。換言すれば、ツリーブロックTBLKは、複数の符号化ノードを再帰的に含む4分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード(すなわち、当該符号化ノードの1階層上位のノードのユニット)のサイズの縦横とも半分である。
また、各符号化ノードの取り得るサイズは、符号化データ#1のシーケンスパラメータセットSPSに含まれる、符号化ノードのサイズ指定情報および最大階層深度(maximum hierarchical depth)に依存する。例えば、ツリーブロックTBLKのサイズが64×64画素であって、最大階層深度が3である場合には、当該ツリーブロックTBLK以下の階層における符号化ノードは、4種類のサイズ、すなわち、64×64画素、32×32画素、16×16画素、および8×8画素の何れかを取り得る。
(ツリーブロックヘッダ)
ツリーブロックヘッダTBLKHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図2の(c)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TBLK、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロック分割情報SP_TBLKは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各CUの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報SP_TBLKは、CUの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報SP_TBLKは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各CUの形状やサイズを特定できる。
また、量子化パラメータ差分Δqpは、対象ツリーブロックにおける量子化パラメータqpと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータqp’との差分qp−qp’である。
(CUレイヤ)
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ここで、符号化単位情報CUに含まれるデータの具体的な内容の説明をする前に、CUに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU)とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との2つがある。
イントラ予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)と、N×Nとがある。
また、インター予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)、2N×N、N×2N、および、N×Nなどがある。
また、変換ツリーにおいては、符号化ノードが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。TUのサイズは、変換ブロックの横幅と対数log2TrafoWidthと縦幅の対数値log2TrafoHeightで表される。TUのサイズはまた、以下の式で得られる値log2TrafoSizeでも表される。
log2TrafoSize = ( log2TrafoWidth + log2TrafoHeight ) >> 1
以下、横幅W×縦幅Hのサイズを有するTUをW×HTUと呼ぶ(例:4×4TU)。
(符号化単位情報のデータ構造)
続いて、図2の(d)を参照しながら符号化単位情報CUに含まれるデータの具体的な内容について説明する。図2の(d)に示すように、符号化単位情報CUは、具体的には、スキップモードフラグSKIP、CU予測タイプ情報Pred_type、PT情報PTI、および、TT情報TTIを含む。
[スキップフラグ]
スキップフラグSKIPは、対象CUについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグSKIPの値が1の場合、すなわち、対象CUにスキップモードが適用されている場合、その符号化単位情報CUにおけるPT情報PTIは省略される。なお、スキップフラグSKIPは、Iスライスでは省略される。
[CU予測タイプ情報]
CU予測タイプ情報Pred_typeは、CU予測方式情報PredModeおよびPU分割タイプ情報PartModeを含む。CU予測タイプ情報のことを単に予測タイプ情報と呼ぶこともある。
CU予測方式情報PredModeは、対象CUに含まれる各PUについての予測画像生成方法として、イントラ予測(イントラCU)、および、インター予測(インターCU)のいずれを用いるのかを指定するものである。なお、以下では、対象CUにおける、スキップ、イントラ予測、および、インター予測の種別を、CU予測モードと称する。
PU分割タイプ情報PartModeは、対象符号化単位(CU)の各PUへの分割のパターンであるPU分割タイプを指定するものである。以下、このように、PU分割タイプに従って、対象符号化単位(CU)を各PUへ分割することをPU分割と称する。
PU分割タイプ情報PartModeは、例示的には、PU分割パターンの種類を示すインデックスであってもよいし、対象予測ツリーに含まれる各PUの形状、サイズ、および、対象予測ツリー内での位置が指定されていてもよい。
なお、選択可能なPU分割タイプは、CU予測方式とCUサイズに応じて異なる。また、さらにいえば、選択可能なPU分割タイプは、インター予測およびイントラ予測それぞれの場合において異なる。また、PU分割タイプの詳細については後述する。
[PT情報]
PT情報PTIは、対象CUに含まれるPTに関する情報である。言い換えれば、PT情報PTIは、PTに含まれる1または複数のPUそれぞれに関する情報の集合である。上述のとおり予測画像の生成は、PUを単位として行われるので、PT情報PTIは、動画像復号装置1によって予測画像が生成される際に参照される。PT情報PTIは、図2の(d)に示すように、各PUにおける予測情報等を含むPU情報PUI〜PUINP(NPは、対象PTに含まれるPUの総数)を含む。
予測情報PUIは、予測タイプ情報Pred_modeが何れの予測方法を指定するのかに応じて、イントラ予測パラメータPP_Intra、または、インター予測パラメータPP_Interを含む。以下では、イントラ予測が適用されるPUをイントラPUとも呼称し、インター予測が適用されるPUをインターPUとも呼称する。
インター予測パラメータPP_Interは、動画像復号装置1が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。
インター予測パラメータPP_Interとしては、例えば、マージフラグ(merge_flag)、マージインデックス(merge_idx)、推定動きベクトルインデックス(mvp_idx)、参照画像インデックス(ref_idx)、インター予測フラグ(inter_pred_flag)、および動きベクトル残差(mvd)が挙げられる。
イントラ予測パラメータPP_Intraは、動画像復号装置1が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。
イントラ予測パラメータPP_Intraとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。
なお、イントラ予測パラメータには、PCMモードを用いるか否かを示すPCMモードフラグが含まれていてもよい。PCMモードフラグが符号化されている場合であって、PCMモードフラグがPCMモードを用いることを示しているときには、予測処理(イントラ)、変換処理、および、エントロピー符号化の各処理が省略される。
[TT情報]
TT情報TTIは、CUに含まれるTTに関する情報である。言い換えれば、TT情報TTIは、TTに含まれる1または複数のTUそれぞれに関する情報の集合であり、動画像復号装置1により残差データを復号する際に参照される。なお、以下、TUのことをブロックと称することもある。
TT情報TTIは、図2の(d)に示すように、対象CUの各変換ブロックへの分割パターンを指定するTT分割情報SP_TU、および、TU情報TUI1〜TUINT(NTは、対象CUに含まれるブロックの総数)を含んでいる。
TT分割情報SP_TUは、具体的には、対象CUに含まれる各TUの形状、サイズ、および、対象CU内での位置を決定するための情報である。例えば、TT分割情報SP_TUは、対象となるノードの分割を行うのか否かを示す情報(split_transform_flag)と、その分割の深度を示す情報(trafoDepth)とから実現することができる。
また、例えば、CUのサイズが、64×64の場合、分割により得られる各TUは、32×32画素から4×4画素までのサイズを取り得る。
TU情報TUI1〜TUINTは、TTに含まれる1または複数のTUそれぞれに関する個別の情報である。例えば、TU情報TUIは、量子化予測残差(量子化残差とも呼ぶ)を含んでいる。
各量子化予測残差は、動画像符号化装置2が以下の処理1〜3を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理1:符号化対象画像から予測画像を減算した予測残差を周波数変換(例えばDCT変換(Discrete Cosine Transform))する;
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
(PU分割タイプ)
PU分割タイプには、対象CUのサイズを2N×2N画素とすると、次の合計8種類のパターンがある。すなわち、2N×2N画素、2N×N画素、N×2N画素、およびN×N画素の4つの対称的分割(symmetric splittings)、並びに、2N×nU画素、2N×nD画素、nL×2N画素、およびnR×2N画素の4つの非対称的分割(asymmetric splittings)である。なお、N=2(mは1以上の任意の整数)を意味している。以下、対称CUを分割して得られる領域のことをパーティションとも称する。
図3の(a)〜(h)に、それぞれの分割タイプについて、CUにおけるPU分割の境界の位置を具体的に図示している。
図3の(a)は、CUの分割を行わない2N×2NのPU分割タイプを示している。また、図3の(b)、(c)、および(d)は、それぞれ、PU分割タイプが、2N×N、2N×nU、および、2N×nDである場合のパーティションの形状について示している。また、図3の(e)、(f)、および(g)は、それぞれ、PU分割タイプが、N×2N、nL×2N、および、nR×2Nである場合のパーティションの形状について示している。また、図3の(h)は、PU分割タイプが、N×Nである場合のパーティションの形状を示している。
図3の(a)および(h)のPU分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図3の(b)〜(g)のPU分割タイプのことは、非正方形分割とも称する。
また、図3の(a)〜(h)において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。
[インター予測の場合の分割タイプ]
インターPUでは、上記8種類の分割タイプのうち、N×N(図3の(h))以外の7種類が定義されている。なお、上記6つの非対称的分割は、AMP(Asymmetric Motion Partition)と呼ばれることもある。
また、Nの具体的な値は、当該PUが属するCUのサイズによって規定され、nU、nD、nL、および、nRの具体的な値は、Nの値に応じて定められる。例えば、128×128画素のインターCUは、128×128画素、128×64画素、64×128画素、64×64画素、128×32画素、128×96画素、32×128画素、および、96×128画素のインターPUへ分割することが可能である。
[イントラ予測の場合の分割タイプ]
イントラPUでは、次の2種類の分割パターンが定義されている。対象CUを分割しない、すなわち対象CU自身が1つのPUとして取り扱われる分割パターン2N×2Nと、対象CUを、4つのPUへと対称的に分割するパターンN×Nと、である。
したがって、イントラPUでは、図3に示した例でいえば、(a)および(h)の分割パターンを取ることができる。
例えば、128×128画素のイントラCUは、128×128画素、および、64×64画素のイントラPUへ分割することが可能である。
(TU分割タイプ)
次に、図3(i)〜(o)を用いて、TU分割タイプについて説明する。TU分割のパターンは、CUのサイズ、分割の深度(trafoDepth)、および対象PUのPU分割タイプにより定まる。
また、TU分割のパターンには、正方形の4分木分割と、非正方形の4分木分割とが含まれる。
図3の(i)〜(k)は、正方形のノードを正方形または非正方形に4分木分割する分割方式について示している。より具体的には、図3の(i)は、正方形のノードを正方形に4分木分割する分割方式を示している。また、同図の(j)は、正方形のノードを横長の長方形に4分木分割する分割方式を示している。そして、同図の(k)は、正方形のノードを縦長の長方形に4分木分割する分割方式を示している。
また、図3の(l)〜(o)は、非正方形のノードを正方形または非正方形に4分木分割する分割方式について示している。より具体的には、図3の(l)は、横長の長方形のノードを横長の長方形に4分木分割する分割方式を示している。また、同図の(m)は、横長の長方形のノードを正方形に4分木分割する分割方式を示している。また、同図の(n)は、縦長の長方形のノードを縦長の長方形に4分木分割する分割方式を示している。そして、同図の(o)は、縦長の長方形のノードを正方形に4分木分割する分割方式を示している。
(量子化残差情報QDの構成)
図4及び図5は、量子化残差情報QD(図4ではresidual_coding()と表記)に含まれる各シンタックスが示されている。
図4は、量子化残差情報QDに含まれるシンタックスを示すシンタックステーブルの前半部分を示す図である。図5は、量子化残差情報QDに含まれるシンタックスを示すシンタックステーブルの後半部分を示す図である。
図4及び図5に示すように、量子化残差情報QDは、シンタックスlast_significant_coeff_x、last_significant_coeff_y、significant_coeff_group_flag、significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_remainingを含んでいる。
量子化残差情報QDに含まれる各シンタックスは、コンテキスト適応型2値算術符号化(CABAC)によって符号化されている。
変換係数は、低周波数側から高周波数側に向かって順次スキャンが行われる。このスキャン順を、順スキャンと呼ぶこともある。一方で、順スキャンとは逆に高周波数側から低周波数側のスキャンも用いられる。このスキャン順を、逆スキャンと呼ぶこともある。
シンタックスlast_significant_coeff_x及びlast_significant_coeff_yは、順スキャン方向に沿って最後の非0変換係数の位置を示すシンタックスである。
シンタックスsignificant_coeff_flagは、非0変換係数を起点として逆スキャン方向に沿った各周波数成分について、非0変換係数の有無を示すシンタックスである。シンタックスsignificant_coeff_flagは、各xC、yCについて、変換係数が0であれば0、変換係数が0でなければ1をとるフラグである。なお、シンタックスsignificant_coeff_flagを変換係数有無フラグ、または係数有無フラグとも呼称する。なお、significant_coeff_flagを独立のシンタックスとして扱わず、変換係数の絶対値を表すシンタックス(例えばcoeff_abs_level)に含まれるとしても良い。この場合、シンタックスcoeff_abs_levelの1ビット目がsignificant_coeff_flagに相当し、以下のsignificant_coeff_flagのコンテキストインテックスを導出する処理は、シンタックスcoeff_abs_levelの1ビット目のコンテキストインデックスを導出する処理に相当する。
動画像復号装置1の備える可変長符号復号部11は、変換ブロックを複数のサブブロックに分割し、サブブロックを処理単位として、significant_coeff_group_flagの復号を行う。量子化残差情報QDには、サブブロック単位で、サブブロック内に少なくとも1つの非0変換係数が存在するか否かを示すフラグ(サブブロック係数有無フラグsignificant_coeff_group_flag)が含まれる。
以下では、復号処理について、図6〜図8を参照して説明する。
図6は、ブロックとサブブロックの関係を示す図である。図6(a)は、4×4TUが4×4成分からなる1個のサブブロックから構成される例を示す。図6(b)は、8×8TUが4×4成分からなる4個のサブブロックから構成される例を示す。図6(c)は、16×16TUが4×4成分からなる16個のサブブロックから構成される例を示す。なお、TUサイズとサブブロックサイズの関係および分割方法はこの例に限らない。
図7(a)は、ブロックを分割して得られる複数の(図7(a)では4×4=16個の)サブブロックに対するスキャン順を示す図である。以下では、サブブロックを単位とするスキャンをサブブロックスキャンとも呼ぶ。サブブロックに対して図7(a)のようにスキャンが行われる場合、サブブロック内の各周波数領域に対して図7(b)に示すスキャン順でスキャンが行われる。図7(a)及び図7(b)に示すスキャン順を「順スキャン」とも呼ぶ。
図7(c)は、ブロックを分割して得られる複数の(図7(b)では4×4=16個の)サブブロックに対するスキャン順を示す図である。サブブロックに対して図7(c)のようにスキャンが行われる場合、サブブロック内の各周波数領域に対して図7(d)に示すスキャン順でスキャンが行われる。図7(c)及び図7(d)に示すスキャン順を「逆スキャン」とも呼ぶ。
図8(a)〜(f)の横軸は、水平方向周波数xC(0≦xC≦7)を表しており、縦軸は、垂直方向周波数yC(0≦yC≦7)を表している。以下の説明では、周波数領域に含まれる各部分領域のうち、水平方向周波数xC、および、垂直方向周波数yCによって指定される部分領域を、周波数成分(xC、yC)とも呼称する。また、周波数成分(xC、yC)についての変換係数をCoeff(xC、yC)とも表記する。変換係数Coeff(0、0)は、DC成分を示しており、それ以外の変換係数は、DC成分以外の成分を表している。本明細書において、(xC、yC)を(u、v)と表記することもある。
図8(a)は、TUサイズが8×8であるブロックが4×4のサイズのサブブロックに分割された場合に、順スキャンにて各周波数成分がスキャンされる場合のスキャン順を示す図である。
図8(b)は、8×8の周波数成分からなる周波数領域における0でない変換係数(非0変換係数)を例示する図である。図8(b)に示す例の場合、last_significant_coeff_x=6、last_significant_coeff_y=0である。
図8(c)は、復号対象の変換係数が、図8(b)に示すものである場合の各サブブロックについて復号されたサブブロック係数有無フラグsignificant_coeff_group_flagの各値を示す図である。少なくとも1つの非0変換係数を含むサブブロックに関するsignificant_coeff_group_flagは、値として1をとり、非0変換係数を1つも含まないサブブロックに関するsignificant_coeff_group_flagは、値として0をとる。
図8(d)は、復号対象の変換係数が、図8(b)に示すものである場合の非0変換係数の有無を示すシンタックスsignificant_coeff_flagの各値を示す図である。significant_coeff_group_flag=1であるサブブロックに対しては、significant_coeff_flagは逆スキャン順に復号され、significant_coeff_group_flag=0であるサブブロックに対しては、当該サブブロックに対するsignificant_coeff_flagの復号処理を行うことなく、当該サブブロックに含まれる全ての周波数成分に対するsignificant_coeff_flagが0に設定される(図8(d)の左下のサブブロック)。
図8(e)は、復号対象の変換係数が、図8(b)に示すものである場合のシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingを復号することによって得られた各変換係数の絶対値を示している。
図8(f)は、復号対象の変換係数が、図8(b)に示すものである場合のシンタックスcoeff_sign_flagを示す図である。
各変換係数の値を示すシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingの復号は、モード(ハイスループットモード)により変化する。サブブロックの開始時には、ハイスループットモードがオフであり、サブブロック内の非0係数の数が所定の定数以上となった時点で、ハイスループットモードがオンとなる。ハイスループットモードでは、一部のシンタックスの復号をスキップする。
シンタックスcoeff_abs_level_greater1_flagは、変換係数の絶対値が1を越えるものであるのか否かを示すフラグであり、シンタックスsignificant_coeff_flagの値が1である周波数成分について符号化される。変換係数の絶対値が1を越えるものであるとき、coeff_abs_level_greater1_flagの値は1であり、そうでないときにcoeff_abs_level_greater1_flagの値は0である。なお、coeff_abs_level_greater1_flagの復号は、ハイスループットモードの場合にはスキップされる。
シンタックスcoeff_abs_level_greater2_flagは、変換係数の絶対値が2を越えるものであるのか否かを示すフラグであり、coeff_abs_level_greater1_flagの値が1であるときに符号化される。変換係数の絶対値が2を越えるものであるとき、coeff_abs_level_greater2_flagの値は1であり、そうでないときにcoeff_abs_level_greater2_flagの値は0である。なお、coeff_abs_level_greater2_flagの復号は、各サブブロックで1回目以降、及びハイスループットモードの場合にはスキップされる。
シンタックスcoeff_abs_level_remainingは、変換係数の絶対値が所定のベースレベルbaseLevelである場合に、当該変換係数の絶対値を指定するためのシンタックスであり、coeff_abs_level_greater1_flagの復号がスキップされる場合、coeff_abs_level_greater2_flagがスキップされcoeff_abs_level_greater1_flagが1の場合、coeff_abs_level_greater2_flagの値が1であるときに符号化される。シンタックスcoeff_abs_level_remainingの値は、変換係数の絶対値からbaseLevelを引いたものである。例えば、coeff_abs_level_remaining=1は、変換係数の絶対値がbaseLevel+1であることを示している。なお、baseLevelは以下のように定まる。
baseLevel = 1 (coeff_abs_level_greater1_flagの復号がスキップされた場合)
baseLevel = 2 (上記以外でcoeff_abs_level_greater2_flagの復号がスキップされた場合)
baseLevel = 3 (上記以外でcoeff_abs_level_greater2_flagが1の場合)
シンタックスcoeff_sign_flagは、変換係数の符号(正であるのか負であるのか)を示すフラグであり、サインハイディングが行われる場合を除き、シンタックスsignificant_coeff_flagの値が1である周波数成分について符号化される。シンタックスcoeff_sign_flagは、変換係数が正である場合に1をとり、変換係数が負である場合に0をとる。
なお、サインハイディングとは、変換係数の符号を明示的に符号化せず、計算により算出する方法を言う。
動画像復号装置1の備える可変長符号復号部11は、シンタックスlast_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_remainingを復号することにより、各周波数成分についての変換係数Coeff(xC、yC)を生成することができる。
なお、特定の領域(例えばTU)内の非0変換係数の集合をsignificance mapと呼ぶこともある。
各種シンタックスの復号処理の詳細については、後述することとし、続いて動画像復号装置1の構成について説明を行う。
〔動画像復号装置1〕
以下では、本実施形態に係る動画像復号装置1について図1、図9〜図41を参照して説明する。動画像復号装置1は、H.264/MPEG−4 AVC規格の後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている技術を実装している復号装置である。
図9は、動画像復号装置1の構成を示すブロック図である。図9に示すように、動画像復号装置1は、可変長符号復号部11、予測画像生成部12、逆量子化・逆変換部13、加算器14、フレームメモリ15、および、ループフィルタ16を備えている。また、図9に示すように、予測画像生成部12は、動きベクトル復元部12a、インター予測画像生成部12b、イントラ予測画像生成部12c、および、予測方式決定部12dを備えている。動画像復号装置1は、符号化データ#1を復号することによって動画像#2を生成するための装置である。
(可変長符号復号部11)
図10は、可変長符号復号部11の要部構成を示すブロック図である。図10に示すように、可変長符号復号部11は、量子化残差情報復号部111、予測パラメータ復号部112、予測タイプ情報復号部113、および、フィルタパラメータ復号部114を備えている。
可変長符号復号部11は、予測パラメータ復号部112にて、各パーティションに関する予測パラメータPPを、符号化データ#1から復号し、予測画像生成部12に供給する。具体的には、予測パラメータ復号部112は、インター予測パーティションに関しては、参照画像インデックス、推定動きベクトルインデックス、及び、動きベクトル残差を含むインター予測パラメータPP_Interを符号化データ#1から復号し、これらを動きベクトル復元部12aに供給する。一方、イントラ予測パーティションに関しては、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスを含むイントラ予測パラメータPP_Intraを符号化データ#1から復号し、これらをイントラ予測画像生成部12cに供給する。
また、可変長符号復号部11は、予測タイプ情報復号部113にて、各パーティションについての予測タイプ情報Pred_typeを符号化データ#1から復号し、これを予測方式決定部12dに供給する。更に、可変長符号復号部11は、量子化残差情報復号部111にて、ブロックに関する量子化残差情報QD、及び、そのブロックを含むTUに関する量子化パラメータ差分Δqpを符号化データ#1から復号し、これらを逆量子化・逆変換部13に供給する。また、可変長符号復号部11は、フィルタパラメータ復号部114にて、符号化データ#1からフィルタパラメータFPを復号し、これをループフィルタ16に供給する。なお、量子化残差情報復号部111の具体的な構成については後述するためここでは説明を省略する。
(予測画像生成部12)
予測画像生成部12は、各パーティションについての予測タイプ情報Pred_typeに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを識別する。そして、前者の場合には、インター予測画像Pred_Interを生成すると共に、生成したインター予測画像Pred_Interを予測画像Predとして加算器14に供給し、後者の場合には、イントラ予測画像Pred_Intraを生成すると共に、生成したイントラ予測画像Pred_Intraを加算器14に供給する。なお、予測画像生成部12は、処理対象PUに対してスキップモードが適用されている場合には、当該PUに属する他のパラメータの復号を省略する。
(動きベクトル復元部12a)
動きベクトル復元部12aは、各インター予測パーティションに関する動きベクトルmvを、そのパーティションに関する動きベクトル残差と、他のパーティションに関する復元済みの動きベクトルmv’とから復元する。具体的には、(1)推定動きベクトルインデックスにより指定される推定方法に従って、復元済みの動きベクトルmv’から推定動きベクトルを導出し、(2)導出した推定動きベクトルと動きベクトル残差とを加算することによって動きベクトルmvを得る。なお、他のパーティションに関する復元済みの動きベクトルmv’は、フレームメモリ15から読み出すことができる。動きベクトル復元部12aは、復元した動きベクトルmvを、対応する参照画像インデックスRIと共に、インター予測画像生成部12bに供給する。
(インター予測画像生成部12b)
インター予測画像生成部12bは、画面間予測によって、各インター予測パーティションに関する動き補償画像mcを生成する。具体的には、動きベクトル復元部12aから供給された動きベクトルmvを用いて、同じく動きベクトル復元部12aから供給された参照画像インデックスRIによって指定される適応フィルタ済復号画像P_ALF’から動き補償画像mcを生成する。ここで、適応フィルタ済復号画像P_ALF’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ16によるフィルタ処理を施すことによって得られる画像であり、インター予測画像生成部12bは、適応フィルタ済復号画像P_ALF’を構成する各画素の画素値をフレームメモリ15から読み出すことができる。インター予測画像生成部12bによって生成された動き補償画像mcは、インター予測画像Pred_Interとして予測方式決定部12dに供給される。
(イントラ予測画像生成部12c)
イントラ予測画像生成部12cは、各イントラ予測パーティションに関する予測画像Pred_Intraを生成する。具体的には、まず、可変長符号復号部11から供給されたイントラ予測パラメータPP_Intraに基づいて予測モードを特定し、特定された予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。
ここで、イントラ予測パラメータPP_Intraに基づく予測モードの特定は、以下のように行うことができる。(1)推定予測モードフラグを復号し、当該推定予測モードフラグが、処理対象である対象パーティションについての予測モードと、当該対象パーティションの周辺のパーティションに割り付けられた予測モードとが同一であることを示している場合には、対象パーティションに対して、当該対象パーティションの周辺のパーティションに割り付けられた予測モードを割り付ける。(2)一方で、推定予測モードフラグが、処理対象である対象パーティションについての予測モードと、当該対象パーティションの周辺のパーティションに割り付けられた予測モードとが同一でないことを示している場合には、残余予測モードインデックスを復号し、当該残余予測モードインデックスの示す予測モードを対象パーティションに対して割り付ける。
イントラ予測画像生成部12cは、対象パーティションに割り付けられた予測モードの示す予測方法に従って、画面内予測によって、(局所)復号画像Pから予測画像Pred_Intraを生成する。イントラ予測画像生成部12cによって生成されたイントラ予測画像Pred_Intraは、予測方式決定部12dに供給される。なお、イントラ予測画像生成部12cは、画面内予測によって、適応フィルタ済復号画像P_ALFから予測画像Pred_Intraを生成する構成とすることも可能である。
図11を用いて、予測モードの定義について説明する。図11は、予測モードの定義を示している。同図に示すように、36種類の予測モードが定義されており、それぞれの予測モードは、「0」〜「35」の番号(イントラ予測モードインデックス)によって特定される。また、図12に示すように、各予測モードには次のような名称が割り当てられている。すなわち、「0」は、“Intra_Planar(プラナー予測モード、平面予測モード)”であり、「1」は、“Intra DC(イントラDC予測モード)”であり、「2」〜「34」は、“Intra Angular(方向予測)”であり、「35」は、“Intra From Luma”である。「35」は、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「35」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「35」はLMモードとも称する。予測モード数(intraPredModeNum)は、対象ブロックのサイズによらず「35」である。
(予測方式決定部12d)
予測方式決定部12dは、各パーティションが属するPUについての予測タイプ情報Pred_typeに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部12bにて生成されたインター予測画像Pred_Interを予測画像Predとして加算器14に供給し、後者の場合には、イントラ予測画像生成部12cにて生成されたイントラ予測画像Pred_Intraを予測画像Predとして加算器14に供給する。
(逆量子化・逆変換部13)
逆量子化・逆変換部13は、(1)符号化データ#1の量子化残差情報QDから復号された変換係数Coeffを逆量子化し、(2)逆量子化によって得られた変換係数Coeff_IQに対して逆DCT(Discrete Cosine Transform)変換等の逆周波数変換を施し、(3)逆周波数変換によって得られた予測残差Dを加算器14に供給する。なお、量子化残差情報QDから復号された変換係数Coeffを逆量子化する際に、逆量子化・逆変換部13は、可変長符号復号部11から供給された量子化パラメータ差分Δqpから量子化ステップQPを導出する。量子化パラメータqpは、直前に逆量子化及び逆周波数変換したTUに関する量子化パラメータqp’に量子化パラメータ差分Δqpを加算することによって導出でき、量子化ステップQPは、量子化パラメータqpから例えばQP=2pq/6によって導出できる。また、逆量子化・逆変換部13による予測残差Dの生成は、TUあるいはTUを分割したブロックを単位として行われる。
なお、逆量子化・逆変換部13によって行われる逆DCT変換は、例えば、対象ブロックのサイズが8×8画素である場合、当該対象ブロックにおける画素の位置を(i、j)(0≦i≦7、0≦j≦7)とし、位置(i、j)における予測残差Dの値をD(i、j)と表すことにし、周波数成分(u、v)(0≦u≦7、0≦v≦7)における逆量子化された変換係数をCoeff_IQ(u、v)と表すことにすると、例えば、以下の数式(1)によって与えられる。
Figure 2013192118
ここで、(u、v)は、上述した(xC、yC)に対応する変数である。C(u)およびC(v)は、以下のように与えられる。
・C(u)=1/√2 (u=0)
・C(u)=1 (u≠0)
・C(v)=1/√2 (v=0)
・C(v)=1 (v≠0)
(加算器14)
加算器14は、予測画像生成部12から供給された予測画像Predと、逆量子化・逆変換部13から供給された予測残差Dとを加算することによって復号画像Pを生成する。生成された復号画像Pは、フレームメモリ15に格納される。
(ループフィルタ16)
ループフィルタ16は、(1)復号画像Pにおけるブロック境界、またはパーティション境界の周辺の画像の平滑化(デブロック処理)を行うデブロッキングフィルタ(DF:Deblocking Filter)としての機能と、(2)デブロッキングフィルタが作用した画像に対して、フィルタパラメータFPを用いて適応フィルタ処理を行う適応フィルタ(ALF:Adaptive Loop Filter)としての機能とを有している。
(量子化残差情報復号部111)
量子化残差情報復号部111は、符号化データ#1に含まれる量子化残差情報QDから、各周波数成分(xC、yC)についての量子化された変換係数Coeff(xC、yC)を復号するための構成である。ここで、xCおよびyCは、周波数領域における各周波数成分の位置を表すインデックスであり、それぞれ、上述した水平方向周波数uおよび垂直方向周波数vに対応するインデックスである。以下では、量子化された変換係数Coeffを、単に、変換係数Coeffと呼ぶこともある。
図1は、量子化残差情報復号部111の構成を示すブロック図である。図1に示すように、量子化残差情報復号部111は、変換係数復号部120及び算術符号復号部130を備えている。
(算術符号復号部130)
算術符号復号部130は、量子化残差情報QDに含まれる各ビットをコンテキストを参照して復号するための構成であり、図1に示すように、コンテキスト記録更新部131及びビット復号部132を備えている。
(コンテキスト記録更新部131)
コンテキスト記録更新部131は、各コンテキストインデックスctxIdxによって管理されるコンテキスト変数CVを記録及び更新するための構成である。ここで、コンテキスト変数CVには、(1)発生確率が高い優勢シンボルMPS(most probable symbol)と、(2)その優勢シンボルMPSの発生確率を指定する確率状態インデックスpStateIdxとが含まれている。
コンテキスト記録更新部131は、変換係数復号部120の備える各部から供給されるコンテキストインデックスctxIdx及びビット復号部132によって復号されたBinの値を参照することによってコンテキスト変数CVを更新すると共に、更新されたコンテキスト変数CVを次回更新されるまで記録する。なお、優勢シンボルMPSは0か1である。また、優勢シンボルMPSと確率状態インデックスpStateIdxは、ビット復号部132がBinを1つ復号する毎に更新される。
また、コンテキストインデックスctxIdxは、各周波数成分についてのコンテキストを直接指定するものであってもよいし、処理対象のTU毎に設定されるコンテキストインデックスのオフセットからの増分値であってもよい(以下同様)。
(ビット復号部132)
ビット復号部132は、コンテキスト記録更新部131に記録されているコンテキスト変数CVを参照し、量子化残差情報QDに含まれる各ビット(Binとも呼ぶ)を復号する。また、復号して得られたBinの値を変換係数復号部120の備える各部に供給する。また、復号して得られたBinの値は、コンテキスト記録更新部131にも供給され、コンテキスト変数CVを更新するために参照される。
(変換係数復号部120)
図1に示すように、変換係数復号部120は、ラスト係数位置復号部121、スキャン順テーブル格納部122、係数復号制御部123、係数有無フラグ復号部、係数値復号部125、復号係数記憶部126、及び、サブブロック係数有無フラグ復号部127を備えている。
(ラスト係数位置復号部121)
ラスト係数位置復号部121は、ビット復号部132より供給される復号ビット(Bin)を解釈し、シンタックスlast_significant_coeff_x及びlast_significant_coeff_yを復号する。復号したシンタックスlast_significant_coeff_x及びlast_significant_coeff_yは、係数復号制御部123に供給される。また、ラスト係数位置復号部121は、算術符号復号部130にてシンタックスlast_significant_coeff_x及びlast_significant_coeff_yのBinを復号するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。
(スキャン順テーブル格納部122)
スキャン順テーブル格納部122には、処理対象のTU(ブロック)のサイズ、スキャン方向の種別を表すスキャンインデックス、及びスキャン順に沿って付与された周波数成分識別インデックスを引数として、処理対象の周波数成分の周波数領域における位置を与えるテーブルが格納されている。
このようなスキャン順テーブルの一例としては、図4及び図5に示したScanOrderが挙げられる。図4及び図5に示したScanOrderにおいて、log2TrafoWidthは、処理対象のTUの横幅のサイズを表わし、log2TrafoHeightは、処理対象のTUの縦幅のサイズを表わしており、scanIdxはスキャンインデックスを表しており、nは、スキャン順に沿って付与された周波数成分識別インデックスを表している。また、図4及び図5において、xC及びyCは、処理対象の周波数成分の周波数領域における位置を表している。
また、スキャン順テーブル格納部122に格納されたテーブルは、処理対象のTU(ブロック)のサイズとイントラ予測モードの予測モードインデックスとに関連付けられたスキャンインデックスscanIdxによって指定される。処理対象のTUに用いられた予測方法がイントラ予測である場合には、係数復号制御部123は、当該TUのサイズと当該TUの予測モードとに関連付けられたスキャンインデックスscanIdxによって指定されるテーブルを参照して周波数成分のスキャン順を決定する。
図13は、イントラ予測モードインデックスIntraPredModeと、TUサイズを指定する値log2TrafoSizeとによって指定されるスキャンインデックスscanIdxの例を示している。図13において、log2TrafoSize-2=0は、TUサイズが4×4(4×4画素に対応)であることを示しており、log2TrafoSize-2=1は、TUサイズが8×8(8×8画素に対応)であることを示している。図13に示すように、例えば、TUサイズが4×4であり、イントラ予測モードインデックスが1であるとき、スキャンインデックス=0が用いられ、TUサイズが4×4であり、イントラ予測モードインデックスが6であるとき、スキャンインデックス=2が用いられる。
図14(a)は、スキャンインデックスscanIdxの各値によって指定されるスキャンタイプScanTypeを示している。図14(a)に示すように、スキャンインデックスが0であるとき、斜め方向スキャン(Up-right diagonal scan)が指定され、スキャンインデックスが1であるとき、水平方向優先スキャン(horizontal fast scan)が指定され、スキャンインデックスが2であるとき、垂直方向優先スキャン(vertical fact scan)が指定される。
なお、CU予測方式情報PredModeがインター予測の場合には、TUサイズを用いてスキャンインデックスを導出することができる。TUサイズが、TUサイズの幅と高さが一致する場合には水平優先および垂直優先以外のスキャン順(スキャンインデックス=0)を使用する。TUサイズの幅と高さが一致しない場合で、TUサイズの幅が高さよりも大きい場合には、水平優先のスキャン順(スキャンインデックス=1)を使用する。一方、TUサイズの高さが幅よりも大きい場合には、垂直優先のスキャン順(スキャンインデックス=2)を使用する。
また、図14(b)〜(d)は、TUサイズが4×4であるときの、スキャンインデックスscanIdxで指定される各スキャンタイプ(水平方向優先スキャン(horizontal fast scan)、垂直方向優先スキャン(vertical fast scan)、及び、斜め方向スキャン(Up-right diagonal scan))のスキャン順の一例を示している。また、図14(b)〜(d)に示す各例は、順スキャン方向を示している。図14(b)に示す水平方向優先スキャンは、サブブロックを上下半分に分割した小サブブロック単位に、水平方向へ斜め1列毎に係数をスキャンすることを特徴とし、水平方向周波数成分に係数が集中する場合に好適である。また、図14(c)に示す垂直方向優先スキャンは、サブブロックを左右半分に分割した小サブブロック単位に垂直方向へ斜め1列毎に係数をスキャンすることを特徴とし、垂直方向周波数成分に係数が集中する場合に好適である。
図15(a)〜(c)は、TUサイズが8×8であり、かつサブブロックサイズが4×4であるときの、スキャンインデックスscanIdxで指定される各スキャンタイプのスキャン順の一例を示している。また、図15(a)〜(c)に示す各例は、順スキャン方向を示している。図15(a)に示す水平方向優先スキャンは、サブブロックを上下半分に分割した小サブブロック単位に、水平方向へ斜め1列毎に係数をスキャンすることを特徴とし、水平方向周波数成分に係数が集中する場合に好適である。また、図15(b)に示す垂直方向優先スキャンは、サブブロックを左右半分に分割した小サブブロック単位に垂直方向へ斜め1列毎に係数をスキャンすることを特徴とし、垂直方向周波数成分に係数が集中する場合に好適である。
図16は、TUサイズが8×8であり、スキャンインデックスscanIdxによって、サブブロックサイズが異なる場合の各スキャン順の一例を示している。
図16(a)は、TUサイズが8×8であり、サブブロックサイズが8×2であるときの水平方向優先スキャンの一例を示している。図16(a)に示す8×2サブブロック(横長のサブブロック)単位に、水平方向へ斜め1列毎に係数をスキャンする方法は、水平方向周波数成分に係数が集中する場合に好適である。
図16(b)は、TUサイズが8×8であり、サブブロックサイズが2×8であるときの垂直方向優先スキャンの一例を示している。図16(b)に示す2×8サブブロック(縦長のサブブロック)単位に、垂直方向へ斜め1列毎に係数をスキャンする方法は、垂直方向周波数成分に係数が集中する場合に好適である。
図16(c)は、TUサイズが8×8であり、サブブロックサイズが4×4であるときの斜め方向スキャンの一例を示している。
(サブブロックスキャン順テーブル)
また、スキャン順テーブル格納部122には、サブブロックのスキャン順を指定するためのサブブロックスキャン順テーブルが格納されている。サブブロックスキャン順テーブルは、処理対象のTU(ブロック)のサイズとイントラ予測モードの予測モードインデックス(予測方向)とに関連付けられたスキャンインデックスscanIdxによって指定される。処理対象のTUに用いられた予測方法がイントラ予測である場合には、係数復号制御部123は、当該TUのサイズと当該TUの予測モードとに関連付けられたスキャンインデックスscanIdxによって指定されるテーブルを参照してサブブロックのスキャン順を決定する。
(係数復号制御部123)
係数復号制御部123は、量子化残差情報復号部111の備える各部における復号処理の順序を制御するための構成である。
係数復号制御部123は、ラスト係数位置復号部121から供給されるシンタックスlast_significant_coeff_x及びlast_significant_coeff_yを参照し、順スキャンに沿った最後の非0変換係数の位置を特定すると共に、特定した最後の非0変換係数を含むサブブロックの位置を起点とするスキャン順であって、スキャン順テーブル格納部122に格納されたサブブロックスキャン順テーブルによって与えられるスキャン順の逆スキャン順に、各サブブロックの位置(xCG、yCG)を、サブブロック係数有無フラグ復号部127に供給する。また、係数復号制御部123は、当該TUのサイズと当該TUの予測モードとに関連付けられたスキャンインデックスscanIdxを、係数有無フラグ復号部124へ供給する。
また、係数復号制御部123は、処理対象となるサブブロックに関して、スキャン順テーブル格納部122に格納されたスキャン順テーブルよって与えられるスキャン順の逆スキャン順に、当該処理対象となるサブブロックに含まれる各周波数成分の位置(xC、yC)を、係数有無フラグ復号部124及び復号係数記憶部126に供給する。ここで、処理対象となるサブブロックに含まれる各周波数成分のスキャン順としては、イントラ予測の場合には、イントラ予測モードインデックスIntraPredModeと、TUサイズを指定する値log2TrafoSizeとによって指定されるスキャンインデックスscanIdxの示すスキャン順(水平方向優先スキャン、垂直方向優先スキャン、斜め方向スキャンのいずれか)を用い、インター予測の場合には、斜め方向スキャン(Up-right diagonal scan)を用いればよい。
このように、係数復号制御部123は、処理対象の単位領域(ブロック、TU)に適用された予測方式がイントラ予測である場合に、該イントラ予測の予測方向に応じて、サブブロックスキャン順、及びサブブロック内スキャン順を設定する構成である。
一般に、イントラ予測モードと変換係数の偏りとは互いに相関を有しているため、イントラ予測モードに応じてスキャン順を切り替えることにより、サブブロック係数有無フラグ、係数有無フラグの偏りに適したスキャンを行うことができる。これによって、符号化及び復号対象となるサブブロック係数有無フラグおよび係数有無フラグの符号量を削減することができるので、処理量が削減されると共に、符号化効率が向上する。
(サブブロック係数有無フラグ復号部127)
サブブロック係数有無フラグ復号部127は、ビット復号部132から供給される各Binを解釈し、各サブブロック位置(xCG、yCG)によって指定されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を復号する。また、サブブロック係数有無フラグ復号部127は、算術符号復号部130にてシンタックスsignificant_coeff_group_flag[xCG][yCG]のBinを復号するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。ここで、シンタックスsignificant_coeff_group_flag[xCG][yCG]は、サブブロック位置(xCG、yCG)によって指定されるサブブロックに、少なくとも1つの非0変換係数が含まれている場合に1をとり、非0変換係数が1つも含まれていない場合に0をとるシンタックスである。復号されたシンタックスsignificant_coeff_group_flag[xCG][yCG]の値は、復号係数記憶部126に格納される。
なお、サブブロック係数有無フラグ復号部127のより具体的な構成については後述する。
(係数有無フラグ復号部124)
本実施形態に係る係数有無フラグ復号部124は、各係数位置(xC、yC)によって指定されるシンタックスsignificant_coeff_flag[xC][yC]を復号する。復号されたシンタックスsignificant_coeff_flag[xC][yC]の値は、復号係数記憶部126に格納される。また、係数有無フラグ復号部124は、算術符号復号部130にてシンタックスsignificant_coeff_flag[xC][yC]のBinを復号するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。係数有無フラグ復号部124の具体的な構成については後述する。
(係数値復号部125)
係数値復号部125は、ビット復号部132から供給される各Binを解釈し、シンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingを復号すると共に、これらのシンタックスを復号した結果に基づき、処理対象の周波数成分における変換係数(より具体的には非0変換係数)の値を導出する。また、各種シンタックスの復号に用いたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。導出された変換係数の値は、復号係数記憶部126に格納される。
(復号係数記憶部126)
復号係数記憶部126は、係数値復号部125によって復号された変換係数の各値を記憶しておくための構成である。また、復号係数記憶部126には、係数有無フラグ復号部124によって復号されたシンタックスsignificant_coeff_flagの各値が記憶される。復号係数記憶部126によって記憶されている変換係数の各値は、逆量子化・逆変換部13に供給される。
(サブブロック係数有無フラグ復号部127の構成例)
以下では、図17を参照して、サブブロック係数有無フラグ復号部127の具体的な構成例について説明する。
図17は、サブブロック係数有無フラグ復号部127の構成例を示すブロック図である。図17に示すように、サブブロック係数有無フラグ復号部127は、サブブロック係数有無フラグコンテキスト導出部127a、サブブロック係数有無フラグ記憶部127b、及び、サブブロック係数有無フラグ設定部127cを備えている。
以下では、サブブロック係数有無フラグ復号部127に対して、係数復号制御部123から、サブブロック位置(xCG、yCG)が逆スキャン順に供給される場合を例に挙げて説明を行う。なお、この場合、サブブロック係数有無フラグ復号部127に対応する符号化装置側の構成では、サブブロック位置(xCG、yCG)が順スキャン順に供給されることになる。
(サブブロック係数有無フラグコンテキスト導出部127a)
サブブロック係数有無フラグ復号部127の備えるサブブロック係数有無フラグコンテキスト導出部127aは、各サブブロック位置(xCG、yCG)によって指定されるサブブロックに割り付けるコンテキストインデックスを導出する。サブブロックに割り付けられたコンテキストインデックスは、当該サブブロックについてのシンタックスsignificant_coeff_group_flagを示すBinを復号する際に用いられる。また、コンテキストインデックスを導出する際には、サブブロック係数有無フラグ記憶部127bに記憶された復号済みのサブブロック係数有無フラグの値が参照される。サブブロック係数有無フラグコンテキスト導出部127aは、導出したコンテキストインデックスをコンテキスト記録更新部131に供給する。
サブブロックに割り付けるコンテキストインデックスの導出では、サブブロック位置(xCG、yCG)の右隣に位置するサブブロック(xCG+1,yCG)(図18(b)を参照)のサブブロック係数有無フラグと、サブブロック位置(xCG,yCG)の下に位置するサブブロック(xCG,yCG+1)(図18(b)を参照)のサブブロック係数有無フラグとが参照される。
すなわち、サブブロックに割り付けるコンテキストインデックスは、具体的には、サブブロック位置(xCG,yCG)、及びサブブロック係数有無フラグ記憶部127bに記憶された復号済みのサブブロック係数有無フラグの値を用いて導出される。
より詳細には、コンテキストインデックスは、サブブロック位置(xCG、yCG)の右隣に位置するサブブロック(xCG+1,yCG)について復号されている復号済みサブブロック係数有無フラグsignificant_coeff_group_flag[xCG+1][yCG]の値と、サブブロック位置(xCG,yCG)の下に位置するサブブロック(xCG,yCG+1)について復号されている復号済サブブロック係数有無フラグsiginificant_coeff_group_flag[xCG][yCG+1]の値とを参照して次のように設定される。
ctxIdx = ctxIdxOffset + Min ((significant_coeff_group_flag[xCG+1][yCG]+significant_coeff_group_flag[xCG][yCG+1] ), 1)
なお、初期値ctxIdxOffsetは、色空間を示すcIdxにより定まる。なお、(xCG+1,yCG)、あるいは(xCG、yCG+1)に位置する復号済サブブロックが存在しない場合は、(xCG+1、yCG)、あるいは(xCG、yCG+1)に位置するサブブロック係数有無フラグの値をゼロとして扱う。
(サブブロック係数有無フラグ記憶部127b)
サブブロック係数有無フラグ記憶部127bには、サブブロック係数有無フラグ設定部127cによって復号又は設定されたシンタックスsignificant_coeff_group_flagの各値が記憶されている。サブブロック係数有無フラグ設定部127cは、隣接サブブロックに割り付けられたシンタックスsignificant_coeff_group_flagを、サブブロック係数有無フラグ記憶部127bから読み出すことができる。
(サブブロック係数有無フラグ設定部127c)
サブブロック係数有無フラグ設定部127cは、ビット復号部132から供給される各Binを解釈し、シンタックスsignificant_coeff_group_flag[xCG][yCG]を復号または設定する。より具体的には、サブブロック係数有無フラグ設定部127cは、サブブロック位置(xCG、yCG)、及び、サブブロック位置(xCG、yCG)によって指定されるサブブロックに隣接するサブブロック(隣接サブブロックとも呼ぶ)に割り付けられたシンタックスsignificant_coeff_group_flagを参照し、シンタックスsignificant_coeff_group_flag[xCG][yCG]を復号または設定する。また、復号または設定されたシンタックスsignificant_coeff_group_flag[xCG][yCG]の値は、係数有無フラグ復号部124に供給される。
サブブロック係数有無フラグ設定部127cは、図18(c)に示すように、サブブロック(xCG、yCG)に隣接するサブブロック(xCG+1、yCG)に割り付けられたサブブロック係数有無フラグsignificant_coeff_group_flag[xCG+1][yCG]の値とサブブロック(xCG、yCG+1)に割り付けられたサブブロック係数有無フラグsignificant_coeff_group_flag[xCG][yCG+1]の値とを参照し、サブブロック係数有無フラグsignificant_coeff_group_flag[xCG][yCG+1]を復号するために用いるコンテキストインデックスを導出する。
なお、サブブロック係数有無フラグが0とされたブロックでは、係数有無フラグ復号部124が、係数有無フラグsignificant_coeff_flagの復号をスキップすることができるため、復号処理が簡略化される。
図19を用いて、具体的に例示すると次のとおりである。図19(a)に示すように変換係数が分布している場合、それぞれのサブブロックに割り付けられるサブブロック係数有無フラグは、図19(b)に示すとおりとなる。すなわち、4×4のサブブロックのうち、1行目のサブブロックでは、非0係数が存在しているが、2行目以降のサブブロックでは、非0係数が存在しない。
よって、図19(b)に示す例では、係数有無フラグ復号部124は、2行目以降のサブブロックの復号において、係数有無フラグsignificant_coeff_flagの復号をスキップすることができる。
<係数有無フラグ復号部124の第1の構成例>
以下では、図21を参照して、係数有無フラグ復号部124の第1の構成例について説明する。以下に説明する係数有無フラグ復号部124の第1の構成例では、係数有無フラグのコンテキストインデックス導出に関して、スキャンインデックス、及び係数の位置に応じて、周辺参照コンテキストに用いる係数の参照位置(テンプレートの形状)を切り替える。
図21は、係数有無フラグ復号部124の構成例を示すブロック図である。図21に示すように、係数有無フラグ復号部124は、コンテキスト導出部124z、係数有無フラグ記憶部124d、及び係数有無フラグ設定部124eを備えている。さらに、コンテキスト導出部124zは、導出方法制御部124a、位置コンテキスト導出部124b、周辺参照コンテキスト導出部124cを備えている。なお、図21では、コンテキスト導出部124zにおいて、導出方法制御部124aが、位置コンテキスト導出部124b、および周辺参照コンテキスト導出部124cを内包する形で記載しているが、これは例示に過ぎない。コンテキスト導出部124zは、このような構成に限定されない。
(コンテキスト導出部124z)
(導出方法制御部124a)
導出方法制御部124aには、処理対象の周波数成分の位置(xC,yC)と、変換ブロックの対数値(log2TrafoWidth、log2TrafoHeight)が入力される。対数値のサイズから、周波数領域の幅widthと高さheightを(1<<log2TrafoWidth)と(1<<log2TrafoHeight)により算出する。なお、対数値のサイズではなく、周波数領域の幅と高さを直接入力しても良い。
導出方法制御部124aは、対象となるTUサイズおよび周波数成分の位置に応じて、位置コンテキスト導出部124b、周辺参照コンテキスト導出部124cを選択する。選択された各コンテキスト導出部ではコンテキストインデックスctxIdxが導出される。
例えば、TUサイズが所定のサイズ以下である場合(例えば、4×4TUである場合)には、導出方法制御部124aは、位置コンテキスト導出部124bを選択し、選択した位置コンテキスト導出部124bによって導出されたコンテキストインデックスctxIdxを、当該復号対象の周波数成分に割り付ける。
一方で、対象となるTUサイズが所定のサイズよりも大きい場合(例えば、8×8TU、16×16TU、32×32TUである場合等)、導出方法制御部124aは、周波数領域における復号対象の周波数成分の位置に応じて、位置コンテキスト導出部124b、及び周辺参照コンテキスト導出部124cのいずれかを選択し、選択した何れかのコンテキスト導出手段よって導出されたコンテキストインデックスctxIdxを、当該復号対象の周波数成分に割り付ける。なお、上記に限られず、導出方法制御部124aは、4×4TU〜32×32TUまでのTUサイズについて、共通のコンテキストインデックスctxIdx導出処理を実行する構成であっても構わない。すなわち、導出方法制御部124aは、TUのサイズによらず、位置コンテキスト導出部124b、及び周辺参照コンテキスト導出部124cのいずれかを固定的に選択する構成であっても構わない。
図22(a)〜(b)は、本処理例において、導出方法制御部124aによって分割された部分領域を示す図であり、図22(a)は、輝度値に関する変換係数を復号する際に好適に適用されるものであり、図22(b)は、色差に関する変換係数を復号する際に好適に適用されるものである。
(位置コンテキスト導出部124b)
位置コンテキスト導出部124bは、対象周波数成分に対するコンテキストインデックスctxIdxを、周波数領域における当該対象周波数成分の位置に基づいて導出する。なお、周波数成分の位置によらず、固定値となるコンテキストインデックスctxIdxを導出する場合も位置コンテキスト導出部124bで行われる。
位置コンテキスト導出部124bは、処理対象のTUサイズが所定のサイズよりも大きい場合に、対象周波数成分の位置(xC,yC)で表わされるxC + yCが所定の閾値THZ未満である場合(図22(a)(b)に示す部分領域R0に属する周波数成分)、以下の式(eq.A1)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
ctxIdx = sigCtxOffsetR0・・・(eq.A1)
なお、上記式(eq.A1)において、sigCtxOffsetR0は、コンテキストインデックスの開始点を表す定数である。
また、位置コンテキスト導出部124bは、対象周波数成分(xC, yC)が属するサブブロックの位置(xCG, yCG)で表わされるxCG + yCGが所定の閾値THhi以上の場合(図22(a)(b)に示す部分領域R3に属する周波数成分に対して、以下の式(eq.A2)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
ctxIdx = sigCtxOffsetR3・・・(eq.A2)
処理対象のTUサイズが所定のサイズ以下である場合には、位置コンテキスト導出部124bは、対象周波数成分の位置(xC,yC)に基づいて、図20(a)〜(c)に示すTUサイズ毎の各係数位置に割り当てられたコンテキストインデックスを導出する。
図20は、実施形態に係るコンテキストインデックス導出処理を説明するための図である。
図20(a)は、4×4成分のTUサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、輝度Yに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示している。
また、図20(b)は、4×4成分のサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、色差U、Vに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示している。
また図20(c)は、8×8成分のTUサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、輝度Y、色差U、Vに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示している。
なお、図20(a)〜(c)において、最も高周波成分側に位置する周波数成分(網掛け部分)に対しては、コンテキストインデックスの導出を省略することができる。
(周辺参照コンテキスト導出部124c)
周辺参照コンテキスト導出部124cは、復号対象の周波数成分に対するコンテキストインデックスctxIdxを、当該周波数成分の周辺の周波数成分について復号済みの非0変換係数の数cntに基づいて導出する。より具体的には、周辺参照コンテキスト導出部124cは、対象周波数成分の位置(xC,yC)、もしくは、対象周波数成分が属するサブブロックの位置(xCG,yCG)が次の条件を満たす場合、スキャンインデックスscanIdxと変換係数の位置に応じて異なる参照位置(テンプレート)を用いて復号済みの非0変換係数の数cntを導出する。
(輝度の場合の条件)
(1)xC+yC>=THZ、かつ、xCG+yCG<THloを満たす場合・・・図22(a)に示す部分領域R1
(2)xCG+yCG>=THlo、かつ、xCG+yCG<THhiを満たす場合・・・図22(a)に示す部分領域R2
(色差の場合の条件)
(1)xC+yC>=THZ、かつ、xCG+yCG<THhiを満たす場合・・・図22(b)に示す部分領域R2
ここで、閾値THZ、THlo、THhiは、例えば、以下の式(eq.A2-1)によって設定すればよいが、これに限定されない。
THZ = 1,
THlo = 1,
THhi = (3 << ( max(log2TrafoWidth, log2TrafoHeight)- 2 ))・・・(eq.A2-1)
なお、以下では、例示的に、図22(a)(b)に示す領域R0に属する周波数成分を低周波成分と称し、領域R3に属する成分を高周波成分と称する。また、低周波成分は、基準となる周波数成分からの位置が所定範囲内にある成分であると表現することもできる。また、高周波成分は、基準となる周波数成分から所定距離以上離れた範囲に位置する成分であると表現することもできる。
また、上記低周波成分の領域および上記高周波成分の領域以外の領域に属する周波数成分を中周波成分と称してもよい。すなわち、上記低周波成分側および上記高周波成分側以外の領域を中周波成分域と称してもよい。
上記の条件下において、周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxと変換係数の位置に応じて異なる参照位置(テンプレート)を用いて復号済みの非0変換係数の数cntを導出する。また、周辺参照コンテキスト導出部124cは、このようにして導出した復号済みの非0変換係数の数cntに基づいてコンテキストインデックスctxIdxを導出する。
以下、スキャンインデックスscanIdxが、“斜め方向スキャンを示す場合”、“水平方向優先スキャンを示す場合”および“垂直方向優先スキャンを示す場合”について順に説明する。
[スキャンインデックスscanIdxが斜め方向スキャンを示す場合(図23(e))]
スキャンインデックスscanIdxが斜め方向スキャンを示す場合、周辺参照コンテキスト導出部124cは、以下のとおり、スキャンインデックスscanIdxと変換係数の位置に応じて異なる参照位置(テンプレート)を用いて復号済みの非0変換係数の数cntを導出する。図23(a)は、スキャンインデックスscanIdxが斜め方向スキャンを示す場合において、サブブロック内の周波数成分上の位置と、選択するテンプレートの関係を示す図である。4×4成分のサブブロックにおいて、位置に示す表記が(b)の場合には、図23(b)に示すテンプレートを用い、表記が(c)の場合には図23(c)に示すテンプレートを用いる。図23(b)(c)はテンプレートの形状を示す。すなわち、参照周波数成分(例えば、c1、c2、c3、c4、c5)と対象周波数成分xとの相対位置を示す。図23(e)は、4×4サブブロックにおける斜め方向スキャンのスキャン順(逆スキャン順)を表わす図である。
処理は、変換係数の位置(xC, yC)が以下の式(eq.A3)を満たす場合、すなわち、変換係数の位置がサブブロックの左上である、もしくは、変換係数の位置がサブブロックの右下の一つ上の場合と、それ以外の場合とで異なる。
((xC &3)==0 && (yC &3)==0) || ((xC &3)==3 && (yC &3)==2) (eq.A3)
なお、上記式(eq.A3)において、演算子‘&’はビット単位の論理和を取る演算子であり、‘&&’は、論理積を示す演算子であり、‘||’は、論理和を示す演算子である(以下において、同様)。
また、式(eq.A3)は式(eq.A3’)によっても表現することができる。
((xC %4)==0 && (yC %4)==0) || ((xC %4)==3 && (yC %4)==2) (eq.A3’)
なお、上記式(eq.A3’)において、“%”は、剰余を求める演算子である(以下において、同様)。
(非0変換係数の数cntの導出)
(式(eq.A3)を満たす場合)
変換係数の位置(xC, yC)が、式(eq.A3)を満たす場合、非0変換係数のカウント数cntを、図23(c)に示す参照周波数成分(c1、c2、c4、c5)を用いて、以下の式(eq.A4)によって導出する。
cnt = (c1!=0) + (c2!=0) + (c4!=0) + (c5!=0) (eq.A4)
ここで、式(eq.A4)における各項は、()内の比較が真である場合に1をとり、()内の比較が偽である場合に0をとるものとする。
または、以下の式(eq.A4’)に示すようにも表現できる。
cnt = significant_coeff_flag[xC+1][yC] // c1
+ significant_coeff_flag[xC+2][yC] // c2
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC][yC+2] // c5 ・・・(eq.A4’)
(式(eq.A3)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.A3)を満たさない場合は、図23(b)に示す参照周波数成分c1〜c5を用いて、以下の式(eq.A5)によって、非0変換係数の数cntを算出する。
cnt= (c1!=0) + (c2!=0) + (c3!=0) + (c4!=0) + (c5!=0) (eq.A5)
また、上記式(eq.A5)は、以下の式(eq.A5’)に示すようにも表現できる。
cnt = significant_coeff_flag[xC+1][yC] // c1
+ significant_coeff_flag[xC+2][yC] // c2
+ significant_coeff_flag[xC][yC+1] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC][yC+2] // c5 ・・・(eq.A5’)
(コンテキストインデックスctxIdxの導出)
続いて、周辺参照コンテキスト導出部124cは、以下の式(eq.A6)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
ctxIdx = sigCtxOffsetR1 + Min(2, ctxCnt) (eq.A6)
ここで、ctxCntは、
ctxCnt(cnt+1)>>1
によって定まる。
式(eq.4)では、対象とする変換係数の位置の、処理順で直前(処理順が逆スキャン順である場合には、対象とする変換係数の位置の下側)に位置する座標(c3)の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
[スキャンインデックスscanIdxが水平方向優先スキャンを示す場合(図24(e))]
スキャンインデックスscanIdxが水平方向優先スキャンを示す場合、周辺参照コンテキスト導出部124cは、以下のとおり、スキャンインデックスscanIdxの示すスキャン方向に応じて異なる参照位置(テンプレート)を用いて復号済みの非0変換係数の数cntを導出する。すなわち、水平方向優先スキャンが選択される場合は、水平方向に周波数成分が偏っている確率が高いため、水平方向の係数を優先して参照するテンプレートを選択することで、非ゼロ係数の相関を考慮したコンテキスト導出が可能となる。
図24(a)は、スキャンインデックスscanIdxが水平方向優先スキャン(horizontal fast scan)を示す場合において、サブブロック内の周波数成分上の位置と、選択するテンプレートの関係を示す図である。4×4成分のサブブロックにおいて、位置に示す表記が(b)の場合には、図24(b)に示すテンプレートを用い、表記が(c)の場合には図24(c)に示すテンプレートを用いる。図24(b)(c)はテンプレートの形状を示す。すなわち、参照周波数成分(例えば、c1、c2、c3、c4、c5)と対象周波数成分xとの相対位置を示す。図24(e)は、4×4サブブロックにおける水平方向優先スキャンのスキャン順(逆スキャン順)を表わす図である。
処理は、変換係数の位置(xC, yC)が以下の式(eq.AX1)を満たす場合、すなわち、変換係数の位置がサブブロックの左から1列目、かつ、上から1行目または3行目にある場合、もしくは、変換係数の位置がサブブロックの左から3列目、かつ上から2行目または4行目にある場合と、それ以外の場合とで異なる。
((xC &3)==0 && (yC &1)==0) || ((xC &3)==2 && (yC &1)==1) (eq.AX1)
なお、式(eq.AX1)は式(eq.AX1’)によっても表現することができる。
((xC %4)==0 && (yC %2)==0) || ((xC %4)==2 && (yC %2)==1) (eq.AX1’)
図24(e)の水平方向優先スキャンでは、4×4のサブブロックのスキャン順を2つの4×2のサブサブブロック(すなわち、サブブロックのサブブロック)のスキャン順から構成する。上のサブサブブロックの次に下のサブサブブロックをスキャンすることにより、上方向の周波数上の領域を先にスキャンすることができる。変換係数が上方向に集中するような、イントラ予測モードが水平方向に近い場合、TUの幅が高さより大きい場合に、本スキャンを用いることで符号化効率が向上する効果を奏する。また、このスキャン順では、8×2のサブブロックを導入することなく水平方向優先スキャンが実現できるため、全てのスキャン順(全ての復号処理)において同一サイズのサブブロック(4×4のサブブロック)を用いることができる。サブブロックサイズの統一により、サブブロックを処理する復号装置の構成を簡略化することができる。
図24(e)の水平方向優先スキャンの例では、また、4×2のサブサブブロックのスキャン順をサブサブブロック開始時の右方向(+1、0)へのスキャンと、その後の、左下方向(−1、+1)へのスキャンと右斜め上方向へのスキャン(+2、−1)の繰り返し、と最後の左下方向(−1、+1)へのスキャンと右方向(+1、0)へのスキャンの組み合わせで構成する。
(非0変換係数の数cntの導出)
(式(eq.AX1)を満たす場合)
変換係数の位置(xC, yC)が、式(eq.AX1)を満たす場合、非0変換係数のカウント数cntを、図24(c)に示す参照周波数成分(c2、c3、c4、c5)を用いて、以下の式(eq.AX2)によって導出する。
cnt = (c2!=0) + (c3!=0) + (c4!=0) + (c5!=0) (eq.AX2)
ここで、(eq.AX2)における各項は、()内の比較が真である場合に1をとり、()内の比較が偽である場合に0をとるものとする。
また、上記式(eq.AX2)は、以下の式(eq.AX2’)に示すようにも表現できる。
cnt = significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC ][yC+1] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+2][yC+1] // c5 ・・・(eq.AX2’)
(式(eq.AX1)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.AX1)を満たさない場合は、図24(b)に示す参照周波数成分c1〜c5を用いて、以下の式(eq.AX3)によって、非0変換係数の数cntを算出する。
cnt= (c1!=0) + (c2!=0) + (c3!=0) + (c4!=0) + (c5!=0) (eq.AX3)
また、上記式(eq.AX3)は、以下の式(eq.AX3’)に示すようにも表現できる。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC ][yC+1] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+2][yC+1] // c5 ・・・(eq.AX3’)
図24(b)(c)(d)に示すテンプレートは、水平方向の係数を優先して参照するテンプレートの例である。すなわち、対象変換係数の位置(xC, yC)から見て、参照変換係数の位置を(xC + xD, yC + yD)とすると、xD > yDとなる参照変換係数の数が、yD > xDとなる参照変換係数の数よりも大きいテンプレートである。
(コンテキストインデックスctxIdxの導出)
続いて、周辺参照コンテキスト導出部124cは、以下の式(eq.AX4)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
ctxIdx = sigCtxOffsetR1 + Min(2, ctxCnt) (eq.AX4)
ここで、ctxCntは、
ctxCnt(cnt+1)>>1
によって定まる。
式(eq.AX2)では、対象とする変換係数の位置の、処理順で直前(処理順が逆スキャン順である場合には、対象とする変換係数の位置の右側)に位置する座標(c1)の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
[スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合(図25(e))]
スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合、周辺参照コンテキスト導出部124cは、以下のとおり、スキャンインデックスscanIdxの示すスキャン方向に応じて異なる参照位置(テンプレート)を用いて復号済みの非0変換係数の数cntを導出する。すなわち、垂直方向優先スキャンが選択される場合は、垂直方向に周波数成分が偏っている確率が高いため、垂直方向の係数を優先して参照するテンプレートを選択することで、非ゼロ係数の相関を考慮したコンテキスト導出が可能となる。
図25(a)は、スキャンインデックスscanIdxが垂直方向優先スキャン(vertical fast scan)を示す場合において、サブブロック内の周波数成分上の位置と、選択するテンプレートの関係を示す図である。4×4成分のサブブロックにおいて、位置に示す表記が(b)の場合には、図25(b)に示すテンプレートを用い、表記が(c)の場合には図25(c)に示すテンプレートを用いる。図25(b)(c)はテンプレートの形状を示す。すなわち、参照周波数成分(例えば、c1、c2、c3、c4、c5)と対象周波数成分xとの相対位置を示す。図25(z)は、4×4サブブロックにおける垂直方向優先スキャンのスキャン順(逆スキャン順)を表わす図である。
処理は、変換係数の位置(xC, yC)が以下の式(eq.AY1)を満たす場合、すなわち、変換係数の位置がサブブロックの上から1行目、かつ、左から1列目または3列目にある場合、もしくは、変換係数の位置がサブブロックの上から3行目、かつ左から2列目または4列目にある場合と、それ以外の場合とで異なる。
((xC &1)==0 && (yC &3)==0) || ((xC &1)==1 && (yC &3)==3) (eq.AY1)
なお、式(eq.AY1)は式(eq.AY1’)によっても表現することができる。
((xC %2)==0 && (yC %4)==0) || ((xC %2)==1 && (yC %4)==2) (eq.AY1’)
図25(e)の垂直方向優先スキャンでは、4×4のサブブロックのスキャン順を2つの2×4のサブサブブロック(すなわち、サブブロックのサブブロック)のスキャン順から構成する。左のサブサブブロックの次に右のサブサブブロックをスキャンすることにより、左方向の周波数上の領域を先にスキャンすることができる。変換係数が左方向に集中するような、イントラ予測モードが垂直方向に近い場合、TUの高さが幅より大きい場合に、本スキャンを用いることで符号化効率が向上する効果を奏する。また、このスキャン順では、2×8のサブブロックを導入することなく水平方向優先スキャンが実現できるため、全てのスキャン順(全ての復号処理)において同一サイズのサブブロック(4×4のサブブロック)を用いることができる。サブブロックサイズの統一により、サブブロックを処理する復号装置の構成を簡略化することができる。
図25(e)の水平方向優先スキャンの例では、また、2×4のサブサブブロックのスキャン順をサブサブブロック開始時の下方向(0、+1)へのスキャンと、その後の、右上方向(+1、−1)へのスキャンと左斜め下方向へのスキャン(−1、+2)の繰り返しと、最後の右上方向(+1、−1)へのスキャンと下方向へのスキャン(0、+1)の組み合わせで構成する。
(非0変換係数の数cntの導出)
(式(eq.AY1)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.AY1)を満たす場合、非0変換係数のカウント数cntを、図25(c)に示す参照周波数成分(c2、c3、c4、c5)を用いて、以下の式(eq.AY2)によって導出する。
cnt = (c2!=0) + (c3!=0) + (c4!=0) + (c5!=0) (eq.AY2)
ここで、(eq.AY2)における各項は、()内の比較が真である場合に1をとり、()内の比較が偽である場合に0をとるものとする。
また、上記式(eq.AY2)は、以下の式(eq.AY2’)に示すようにも表現できる。なお、下記式において、参照できない係数有無フラグsignificant_coeff_flag[ ][ ]は値を0として扱うものとする(以下、同様)。
cnt = significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC+1][yC ] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+1][yC+2] // c5・・・(eq.AY2’)
(式(eq.AY1)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.AY1)を満たさない場合は、図25(b)に示す参照周波数成分c1〜c5を用いて、以下の式(eq.AY3)によって、非0変換係数の数cntを算出する。
cnt= (c1!=0) + (c2!=0) + (c3!=0) + (c4!=0) + (c5!=0) (eq.AY3)
また、上記式(eq.AY3)は、以下の式(eq.AY3’)に示すようにも表現できる。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC+1][yC ] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+1][yC+2] // c5・・・(eq.AY3’)
図25(b)(c)(d)に示すテンプレートは、垂直方向の係数を優先して参照するテンプレートの例である。すなわち、対象変換係数の位置(xC, yC)から見て、参照変換係数の位置を(xC + xD, yC + yD)とすると、yD > xDとなる参照変換係数の数が、xD > yDとなる参照変換係数の数よりも大きいテンプレートである。
(コンテキストインデックスctxIdxの導出)
続いて、周辺参照コンテキスト導出部124cは、以下の式(eq.AY4)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
ctxIdx = sigCtxOffsetR1 + Min(2, ctxCnt) (eq.AY4)
ここで、ctxCntは、
ctxCnt(cnt+1)>>1
によって定まる。
式(eq.AY2)では、対象とする変換係数の位置の、処理順で直前(処理順が逆スキャン順である場合には、対象とする変換係数の位置の下側)に位置する座標(c2)の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
(コンテキストインデックスctxIdxの導出の別例)
以上、周辺参照コンテキスト導出部124cでは、復号済みの非0変換係数の数cntに基づいてコンテキストインデックスを導出する事例を説明したが、これに限定されない。例えば、復号済みの非0変換係数の数cntの代わりに、復号済みの変換係数の絶対値和sumAbsLevelを用いて、コンテキストインデックスを導出しても良い。
例えば、スキャンインデックスscanIdxが斜め方向スキャンを示す場合で、変換係数の位置(xC, yC)が、式(eq.A3)を満たす場合には、式(eq.A4’)に対応する以下の式(eq.A4’’)により、復号済みの変換係数の絶対値和sumAbsLevelを導出する。
sumAbsLevel = | Coeff[xC+1][yC] | // c1
+ | Coeff[xC+2][yC] | // c2
+ | Coeff[xC+1][yC+1] | // c4
+ | Coeff[xC][yC+2] | // c5 ・・・(eq.A4’’)
なお、上記式において、‘|・|’は、|・|内の絶対値を返す演算式である(以下において、同様)。
また、変換係数の位置(xC, yC)が、式(eq.A3)を満たさない場合には、式(eq.A5’)に対応する以下の式(eq.A5’’)により復号済みの変換係数の絶対値和sumAbsLevelを導出する。
sumAbsLevel = | Coeff[xC+1][yC] | // c1
+ | Coeff[xC+2][yC] | // c2
+ | Coeff[xC][yC+1] | // c3
+ | Coeff[xC+1][yC+1] | // c4
+ | Coeff[xC][yC+2] | // c5 ・・・(eq.A5’’)
さらに、周辺参照コンテキスト導出部124cは、コンテキストインデックスctxIdxを、式(eq.A6)の代わりに、以下の式(eq.A6’)により導出する。
ctxIdx = Min(sumAbsLevel, 5) + baseCtx ・・・(eq.A6’)
ここで、baseCtxは所定のオフセット値である。なお、復号済みの変換係数の絶対値和sumAbsLevelを用いてコンテストインデックスを導出する方法は、他のスキャン順および変換係数の位置でも用いることができる。以上、説明したテンプレートは、対象変換係数に対する参照変換係数の位置を示すものであり、復号済みの変換係数の絶対値和sumAbsLevelを用いて、コンテキストインデックスを導出する場合にも適用することができる。
なお、本発明の他のコンテキスト導出部(後述のスキャン順係数参照コンテキスト導出部)においても、同様の方法で復号済みの変換係数の絶対値和sumAbsLevelを用いてコンテストインデックスを導出することができる。
(係数有無フラグ設定部124e)
係数有無フラグ設定部124eは、ビット復号部132から供給される各Binを解釈し、シンタックスsignificant_coeff_flag[xC][yC]を設定する。設定されたシンタックスsignificant_coeff_flag[xC][yC]は、復号係数記憶部126に供給される。
係数有無フラグ設定部124eは、対象周波数領域がサブブロックに分割されている場合、対象サブブロックに割り付けられたシンタックスsignificant_coeff_group_flag[xCG][yCG]を参照し、significant_coeff_group_flag[xCG][yCG]の値が0である場合には、当該対象サブブロックに含まれる全ての周波数成分についてのsignificant_coeff_flag[xC][yC]を0に設定する。
(係数有無フラグ記憶部124d)
係数有無フラグ記憶部124dには、シンタックスsignificant_coeff_flag[xC][yC]の各値が格納される。係数有無フラグ記憶部124dに格納されたシンタックスsignificant_coeff_flag[xC][yC]の各値は、周辺参照コンテキスト導出部124cによって参照される。なお、各周波数成分の位置(xC、yC)に非0の変換係数が存在するか否かは係数有無フラグ専用の記憶部を用いずとも、復号した変換係数値を参照することでも参照できるため、係数有無フラグ記憶部124dを設けず、代わりに、復号係数記憶部126を用いることもできる。
<係数有無フラグ復号部124の第1の構成例の動作>
図26は、係数有無フラグ復号部124の第1の構成例の動作を示すフローチャートである。
(ステップSB001)
サブブロック内のスキャン順を示すカウンタnを15に設定する。
(ステップSB002)
対象サブブロック内のループを開始する。当該ループは、周波数成分を単位とするループである。
(ステップSB003)
対象変換係数の位置がラスト位置以降ではないかを判定する。ラスト係数以降ではない場合(ステップSB003でYes)、すなわち、対象変換係数の位置がDC成分からの距離としてn + offsetである場合において、n + offsetが、変換係数の数numCoeff-1より小さい場合には、ステップSB004へ遷移する。それ以外の場合は(ステップSB003でNO)、SB004〜SB005はスキップされ、SB006に遷移する。
(ステップSB004)
コンテキスト導出部124zは、処理対象の変換係数に関して所定の方法によりコンテキストインデックスを導出する。その詳細動作については、後に説明する。
(ステップSB005)
導出したコンテキストインデックスを用いて係数有無フラグを復号する。
(ステップSB006)
カウンタnを1だけデクリメントする。
(ステップSB007)
サブブロック内のループを終了する。
<コンテキスト導出部124zの動作>
図27は、コンテキスト導出部124zを構成する導出方法制御部124a、位置コンテキスト導出部124bと周辺参照コンテキスト導出部124cの動作(ステップSB004の詳細の動作)を示すフローチャートである。
(ステップSA101)
導出方法制御部124aは、TUサイズが所定サイズより小さいか?を判定する。判定で例えば以下の式を用いる。
log2TrafoWidth + log2TrafoHeight < THSize
なお、閾値THSizeとしては例えば6が用いられる。閾値THsizeに6を用いた場合には、4×4TUが所定サイズより小さいと判定される。8×8TU、16×4TU、4×16TU、16×16TU、32×4TU、4×32TU、32×32TUは所定サイズ以上であると判定されることになる。なお、閾値THSizeは0としてもよい。この場合、4×4TU〜32×32TUが所定サイズ以上であると判定されることになる。
(ステップSA102)
処理対象のTUサイズが所定サイズ以上の場合(ステップSA101でNo)、導出方法制御部124aは、対象変換係数の位置(xC,yC)が低周波成分であるか?(例えば、図22(a)(b)に示す部分領域R0であるか)を判定する。判定では例えば、以下の式を用いる。
xC+yC<THZ
なお、閾値THZとしては例えば1が用いられる。閾値THZに1を用いた場合には、DC成分のみが低周波成分として判定される。
(ステップSA103)
対象変換係数の位置(xC,yC)が低周波成分でない場合(ステップSA102においてNo)、導出方法制御部124aは、対象変換係数を含むサブブロックの位置(xCG,yCG)が高周波成分であるか?(例えば、図22(a)(b)に示す部分領域R3であるか?)を判定する。判定では例えば、以下の式を用いる。
xCG+yCG>=THhi
例えば、閾値THhiには、以下の式を用いればよいが、これに限定されない。
THhi = (3 << ( max(log2TrafoWidth, log2TrafoHeight) - 2 ))
(ステップSA104)
対象変換係数を含むサブブロックが高周波成分ではない場合(ステップS103においてNo)、導出方法制御部124aは、コンテキスト導出手段として、周辺参照コンテキスト導出部124cを選択し、選択された周辺参照コンテキスト導出部124cによって、対象変換係数のコンテキストインデックスが導出される。その動作詳細については、後述する。
(ステップSA105)
処理対象のTUサイズが所定サイズ未満である場合(ステップSA101においてYes)、もしくは、対象変換係数の位置(xC, yC)が低波数成分である場合(ステップSA102においてYes)、もしくは対象変換係数を含むサブブロックが高周波数成分である場合(ステップSB103においてYes)、導出方法制御部124aは、コンテキスト導出手段として、位置コンテキスト導出部124bを選択し、選択された位置コンテキスト導出部124bによって、対象変換係数のコンテキストインデックスが導出される。
<周辺参照コンテキスト導出部124cの動作>
図28は、周辺参照コンテキスト導出部124cによるコンテキストインデックス導出処理(SA104)をより具体的に説明するためのフローチャートである。
(ステップSA121)
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが水平方向優先スキャンであるか?を判定する。図14(a)の例であれば、scanIdx=1が水平方向優先スキャンを示す。
(ステップSA122)
スキャンインデックスscanIdxが水平方向優先スキャンでない場合(ステップSA121においてNo)、周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが垂直方向優先スキャンであるか?を判定する。図14(a)の例であれば、scanIdx=2が垂直方向優先スキャンを示す。
(ステップSA123)
スキャンインデックスが垂直方向優先スキャンでない場合(ステップSA122においてNo)、周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが斜め方向スキャンであると判定し、変換係数の位置に応じて図23(b)または図23(c)に示す参照位置(通常テンプレート)を選択する。
(ステップSA124)
スキャンインデックスが垂直方向優先スキャンである場合(ステップSA122においてYes)の場合、周辺参照コンテキスト導出部124cは、変換係数の位置に応じて図25(b)または図25(c)に示す垂直方向の変換係数を優先した参照位置(垂直方向優先テンプレート)を選択する。
(ステップSA125)
スキャンインデックスが水平方向優先スキャンである場合(ステップSA121においてYes)、周辺参照コンテキスト導出部124cは、変換係数の位置に応じて図24(b)または図24(c)に示す水平方向の変換係数を優先した参照位置(水平方向優先テンプレート)を選択する。
(ステップSA126)
周辺参照コンテキスト導出部124cは、ステップSA123、またはステップSA124、または、ステップSA125において選択された変換係数の参照位置(テンプレート)を用いて、非0変換係数の個数cntを算出し、例えば、式(eq.A6)に示す非0変換係数の個数cntに基づいてコンテキストインデックスctxIdxを導出する。
以上、係数有無フラグ復号部124の第1の構成例によれば、TUサイズが所定サイズより大きい場合に、処理対象の係数有無フラグが低周波成分、もしくは高周波成分に位置する場合は、位置コンテキスト導出部により処理対象の係数有無フラグに関するコンテキストインデックスを導出し、処理対象の係数有無フラグが中周波数成分に位置する場合は、周辺参照コンテキスト導出部により処理対象の係数有無フラグに関するコンテキストインデックスを導出する。
より具体的には、周辺参照コンテキスト導出部によりコンテキストインデックスを導出する場合には、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレートを選択し、スキャンインデックスが水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレートを選択し、スキャンインデックスが垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するテンプレートを選択する。
このため、係数の偏りを考慮したコンテキストを導出することができ、係数有無フラグの符号量を削減し、符号化効率を改善する効果を奏する。
また、スキャンインデックスと係数位置に基づいて、対象とする変換係数の位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにテンプレートを選択している。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。
<変形例>
(変形例1)
以下、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例1について説明する。
係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cでは、スキャンインデックスと係数位置に基づいて、対象とする変換係数の位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにテンプレートを選択していたが、係数位置によらず直前のスキャン列を参照しないテンプレートをスキャンインデックスに応じて選択してもよい。
[スキャンインデックスscanIdxが斜め方向スキャンを示す場合(図23(e))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図23(e)に示す4×4サブブロックを単位とする斜め方向スキャンである場合、図23(d)示すテンプレート(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.B1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC+2][yC ] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC ][yC+2] // c3
+ significant_coeff_flag[xC+2][yC+1] // c4
+ significant_coeff_flag[xC+1][yC+2] // c5 ・・・(eq.B1)
[スキャンインデックスscanIdxが水平方向優先スキャンを示す場合(図24(e))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図24(e)に示す4×4サブブロックを単位とし、水平方向を優先とする斜め方向スキャン(水平方向優先スキャンともいう)である場合、図24(d)示す水平方向の係数を優先して参照するテンプレート(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.B2)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC+2][yC ] // c1
+ significant_coeff_flag[xC+3][yC ] // c2
+ significant_coeff_flag[xC+1][yC+1] // c3
+ significant_coeff_flag[xC+2][yC+1] // c4
+ significant_coeff_flag[xC+3][yC+1] // c5 ・・・(eq.B2)
[スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合(図25(e))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図25(e)に示す4×4サブブロックを単位とし、垂直方向を優先とする斜め方向スキャン(垂直方向優先スキャンともいう)である場合、図25(d)示す垂直方向の係数を優先して参照するテンプレート(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.B3)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC+1][yC+1] // c3
+ significant_coeff_flag[xC+1][yC+2] // c4
+ significant_coeff_flag[xC+1][yC+3] // c5 ・・・(eq.B3)
[変形例1の作用・効果]
以上、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例1によれば、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレートを選択し、スキャンインデックスが水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレートを選択し、スキャンインデックスが垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するテンプレートを選択するため、係数の偏りを考慮したコンテキストを導出することができるため、係数有無フラグの符号化効率を改善する効果を奏する。
また、図23(d)、図24(d)、図25(d)に示すテンプレートを用いることで、対象とする変換係数xがあるスキャン列の直前のスキャン列に位置する変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前のスキャン列にある係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。少なくとも、連続する3つの変換係数に関して、コンテキスト導出処理を並列で処理することができる効果を奏する。
(変形例2)
以下、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例2について説明する。
係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例2では、4×4サブブロックを単位とし、斜め方向スキャンが図23(e)に示すスキャン順であり、水平方向優先スキャンが図29(a)に示す横1行毎に係数をスキャンするスキャン順であり、垂直方向優先スキャンが図30(a)に示す縦1列毎に係数をスキャンするスキャン順である場合について、スキャンインデックスscanIdxに応じて、対象となる変換係数の位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないテンプレートを選択して、コンテキストインデックスを導出する例を説明する。
[スキャンインデックスscanIdxが斜め方向スキャンを示す場合(図23(e))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図23(e)に示す4×4サブブロックを単位とする斜め方向スキャンである場合、図23(c)に示すテンプレート(参照周波数成分(c1、c2、c4、c5))を選択して、以下の式(eq.C1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC ][yC+2] // c5・・・(eq.C1)
[スキャンインデックスscanIdxが水平方向優先スキャンを示す場合(図29(a))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図29(a)に示す4×4サブブロックを単位とし、横1行毎に係数をスキャンする水平方向優先スキャンである場合、図29(b)示す水平方向の係数を優先して参照するテンプレート(水平方向優先テンプレートともいう)(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.C2-1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC+2][yC ] // c1
+ significant_coeff_flag[xC+3][yC ] // c2
+ significant_coeff_flag[xC ][yC+1] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+2][yC+1] // c5 ・・・(eq.C2-1)
また図29(b)に示すテンプレートの代わりに、図29(c)に示す水平方向優先テンプレート(参照周波数成分(c1、c2、c4、c5))を選択して、以下の式(eq.C2-2)によって非0変換係数のカウント数cntを算出してもよい。
cnt = significant_coeff_flag[xC+2][yC ] // c1
+ significant_coeff_flag[xC+3][yC ] // c2
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+2][yC+1] // c5 ・・・(eq.C2-2)
[スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合(図30(a))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図30(a)に示す4×4サブブロックを単位とし、縦1列毎に係数をスキャンする垂直方向優先スキャンである場合、図30(b)示す垂直方向の係数を優先して参照するテンプレート(垂直方向優先テンプレートともいう)(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.C3-1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC+1][yC+1] // c3
+ significant_coeff_flag[xC+1][yC+2] // c4
+ significant_coeff_flag[xC+1][yC+3] // c5 ・・・(eq.C3-1)
また図30(b)に示すテンプレートの代わりに、図30(c)に示す垂直方向優先テンプレート(参照周波数成分(c1、c2、c4、c5))を選択して、以下の式(eq.C3-2)によって非0変換係数のカウント数cntを算出してもよい。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC+1][yC+2] // c4
+ significant_coeff_flag[xC+1][yC+3] // c5・・・(eq.C3-2)
[変形例2の作用・効果]
以上、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例2によれば、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレートを選択し、スキャンインデックスが横1行毎に係数をスキャンする水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレートを選択し、スキャンインデックスが縦1列毎に係数をスキャンする垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するテンプレートを選択するため、係数の偏りを考慮したコンテキストを導出することができるため、係数有無フラグの符号化効率を改善する効果を奏する。
また、図23(c)、図29(b)または図29(c)、図30(b)または図30(c)に示すテンプレートを用いることで、対象とする変換係数xの位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。
(変形例3)
以下、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例3について説明する。
係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例3では、4×4サブブロックを単位とし、斜め方向スキャンが図23(e)に示すスキャン順であり、水平方向優先スキャンが図29(a)に示す横1行毎に係数をスキャンするスキャン順であり、垂直方向優先スキャンが図30(a)に示す縦1列毎に係数をスキャンするスキャン順である場合について、スキャンインデックスscanIdxに応じて、対象となる変換係数の直前のスキャン列、あるいは、対象となる変換係数のあるスキャン列を参照しないテンプレートを選択して、コンテキストインデックスを導出する例を説明する。
[スキャンインデックスscanIdxが斜め方向スキャンを示す場合(図23(e))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図23(e)に示す4×4サブブロックを単位とする斜め方向スキャンである場合、図23(d)に示すテンプレート(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.D1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC+2][yC ] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC ][yC+2] // c3
+ significant_coeff_flag[xC+2][yC+1] // c4
+ significant_coeff_flag[xC+1][yC+2] // c5 ・・・(eq.D1)
[スキャンインデックスscanIdxが水平方向優先スキャンを示す場合(図29(a))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図29(a)に示す4×4サブブロックを単位とし、横1行毎に係数をスキャンする水平方向優先スキャンである場合、図29(d)に示す水平方向の係数を優先して参照するテンプレート(水平方向優先テンプレートともいう)(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.D2-1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC+2][yC+1] // c3
+ significant_coeff_flag[xC ][yC+2] // c4
+ significant_coeff_flag[xC+1][yC+2] // c5 ・・・(eq.D2-1)
また図29(d)に示すテンプレートの代わりに、図29(e)に示す水平方向優先テンプレート(参照周波数成分(c1、c2、c3、c4))を選択して、以下の式(eq.D2-2)によって非0変換係数のカウント数cntを算出してもよい。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC+2][yC+1] // c3
+ significant_coeff_flag[xC+3][yC+1] // c4・・・(eq.D2-2)
また図29(e)に示すテンプレートの代わりに、図29(f)に示す水平方向優先テンプレート(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.D2-3)によって非0変換係数のカウント数cntを算出してもよい。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC+2][yC+1] // c3
+ significant_coeff_flag[xC+3][yC+1] // c4
+ significant_coeff_flag[xC+4][yC+1] // c5・・・(eq.D2-3)
[スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合(図30(a))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図30(a)に示す4×4サブブロックを単位とし、縦1列毎に係数をスキャンする垂直方向優先スキャンである場合、図30(d)示す垂直方向の係数を優先して参照するテンプレート(垂直方向優先テンプレートともいう)(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.D3-1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC+1][yC+2] // c3
+ significant_coeff_flag[xC+2][yC ] // c4
+ significant_coeff_flag[xC+2][yC+1] // c5 ・・・(eq.D3-1)
また図30(d)に示すテンプレートの代わりに、図30(e)に示す垂直方向優先テンプレート(参照周波数成分(c1、c2、c4、c5))を選択して、以下の式(eq.D3-2)によって非0変換係数のカウント数cntを算出してもよい。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC+1][yC+2] // c3
+ significant_coeff_flag[xC+1][yC+3] // c4・・・(eq.D3-2)
また図30(e)の代わりに、図30(f)に示す垂直方向優先テンプレートを選択して、以下の式(eq.D3-3)によって非0変換係数のカウント数cntを算出してもよい。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+1][yC+1] // c2
+ significant_coeff_flag[xC+1][yC+2] // c3
+ significant_coeff_flag[xC+1][yC+3] // c4
+ significant_coeff_flag[xC+1][yC+4] // c5・・・(eq.D3-3)
[変形例3の作用・効果]
以上、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例3によれば、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレートを選択し、スキャンインデックスが横1行毎に係数をスキャンする水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレートを選択し、スキャンインデックスが縦1列毎に係数をスキャンする垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するテンプレートを選択するため、係数の偏りを考慮したコンテキストを導出することができるため、係数有無フラグの符号化効率を改善する効果を奏する。
また、斜め方向スキャンである場合は、図23(d)に示すテンプレートを用いることで、対象とする変換係数xがあるスキャン列の直前のスキャン列に位置する変換係数を参照しないようにしている。また、水平方向優先スキャンである場合は、図29(d)または図29(e)または図29(f)に示すテンプレートを、垂直方向優先スキャンである場合は、図30(d)または図30(e)または図30(f)に示すテンプレートを用いることで、対象とする変換係数xがあるスキャン列に位置する変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前のスキャン列に位置する係数有無フラグの値を、もしくは、ある位置の係数有無フラグが存在するスキャン列に位置する変換係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。少なくとも、連続する3つの変換係数に関して、コンテキスト導出処理を並列で処理することができる効果を奏する。
(変形例4)
以下、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例4について説明する。
係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例4では、サブブロックサイズがスキャンインデックスscanIdxによって異なる場合において、スキャンインデックスと係数位置に基づいて、対象とする変換係数の位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにテンプレート形状を選択してもよい。すなわち、正方形のサブブロックでは、2次元のテンプレート形状を選択し、長方形のサブブロックでは、1次元のテンプレート形状を選択する。
[スキャンインデックスscanIdxが斜め方向スキャンを示す場合(図23(e)) ]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図23(e)に示す4×4サブブロックを単位とする斜め方向スキャンである場合、係数位置に応じて、図23(b)または図23(c)に示すテンプレートを選択し、非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、変換係数の位置(xC,yC)が、既述の式(eq.A3)を満たす場合、非0変換係数のカウントcntを図23(c)に示す参照周波数成分を用いて、既述の式(eq.A4)によって導出する。また、変換係数の位置(xC,yC)が、既述の式(eq.A3)を満たさない場合、非0変換係数のカウントcntを図23(b)に示す参照周波数成分を用いて、既述の式(eq.A5)によって導出する。
[スキャンインデックスscanIdxが水平方向優先スキャンを示す場合(図31(d))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxの示すスキャン方向に応じて異なる参照位置(テンプレート)を用いて復号済みの非0変換係数の数cntを導出する。すなわち、水平方向優先スキャンが選択される場合は、水平方向に周波数成分が偏っている確率が高いため、水平方向の係数を優先して参照するテンプレートを選択することで、非ゼロ係数の相関を考慮したコンテキスト導出が可能となる。
図31(a)は、スキャンインデックスscanIdxが水平方向優先スキャン(horizontal fast scan)を示す場合において、8×2サブブロック内の周波数成分上の位置と、選択するテンプレートの関係を示す図である。8×2のサブブロックにおいて、位置に示す表記が(b)の場合には、図31(b)に示すテンプレートを用い、表記が(c)の場合には図31(c)に示すテンプレートを用いる。図31(b)(c)はテンプレートの形状を示す。図31(d)は、8×2サブブロックにおける水平方向優先スキャンのスキャン順(逆スキャン順)を表わす図である。
処理は、変換係数の位置(xC, yC)が以下の式(eq.CA1)を満たす場合、すなわち、変換係数の位置がサブブロックの左から1列目、かつ、上から1行目にある場合、もしくは、変換係数の位置がサブブロックの左から7列目、かつ上から2行目にある場合と、それ以外の場合とで異なる。
((xC &7)==0 && (yC &1)==0) || ((xC &7)==6 && (yC &1)==1) (eq.CA1)
なお、式(eq.CA1)は式(eq.CA1’)によっても表現することができる。
((xC %8)==0 && (yC %2)==0) || ((xC %8)==6 && (yC %2)==1) (eq.CA1’)
(非0変換係数の数cntの導出)
(式(eq.CA1)を満たす場合)
変換係数の位置(xC, yC)が、式(eq.CA1)を満たす場合、非0変換係数のカウント数cntを、図31(c)に示す参照周波数成分(c2、c3、c4、c5)を用いて、以下の式(eq.CA2)によって導出する。
cnt = significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC+3][yC ] // c3
+ significant_coeff_flag[xC+4][yC ] // c4
+ significant_coeff_flag[xC+5][yC ] // c5 (eq.CA2)
(式(eq.CA1)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.CA1)を満たさない場合は、図31(b)に示す参照周波数成分c1〜c5を用いて、以下の式(eq.CA3)によって、非0変換係数の数cntを算出する。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC+3][yC ] // c3
+ significant_coeff_flag[xC+4][yC ] // c4
+ significant_coeff_flag[xC+5][yC ] // c5 (eq.CA3)
(コンテキストインデックスctxIdxの導出)
続いて、周辺参照コンテキスト導出部124cは、既述の式(eq.A6)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
式(eq.CA2)では、対象とする変換係数の位置の、処理順で直前(処理順が逆スキャン順である場合には、対象とする変換係数の位置の右側)に位置する座標(c1)の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
(水平方向優先スキャンの別の例)
なお、スキャンインデックスscanIdxが水平方向優先スキャンを示す場合において、8×2サブブロック内のスキャンは、図31(d)に示す8×2サブブロック内で斜め方向に係数を走査するスキャンに限定されない。例えば、図33(e)に示す8×2サブブロック内で係数をジグザグに走査するスキャンでもよい。図33(a)は、図33(e)に示すスキャンの場合において、8×2サブブロック内の周波数成分上の位置と、選択するテンプレートの関係を示す図である。8×2サブブロック内において、位置に示す表記が(b)の場合には、図33(b)に示すテンプレートを用い、表記が(c)の場合には図33(c)に示すテンプレートを用いる。
処理は、変換係数の位置(xC, yC)が以下の式(eq.CA4)を満たす場合、すなわち、変換係数の位置がサブブロックの上から1行目にある場合と、それ以外の場合とで異なる。
(yC &1)==0 (eq.CA4)
なお、式(eq.CA4)は式(eq.CA4’)によっても表現することができる。
(yC %2)==0 (eq.CA4’)
水平方向優先スキャンの別の例(図33(e))では、スキャン順(順スキャンの場合)を下方向(0、+1)へのスキャンと右上方向(+1、―1)へのスキャンの繰り返しで構成する(逆スキャンの場合、上方向へのスキャンと左下方向へのスキャンの繰り返しで構成される)。この場合、処理順で直前に位置する座標が、対象とする変換係数の位置の下側もしくは右上側に設定されるため、対象とする変換係数と相関の高い水平方向(c1)の変換係数が、処理順で直前の変換係数とならない。このスキャン順により、以下に説明するように、処理の並列性を高めた場合にも周辺参照においてc1の変換係数を参照することができる。
(非0変換係数の数cntの導出)
(式(eq.CA4)を満たす場合)
変換係数の位置(xC, yC)が、式(eq.CA4)を満たす場合、非0変換係数のカウント数cntを、図33(b)に示す参照周波数成分(c1、c2、c4、c5)を用いて、以下の式(eq.CA5)によって導出する。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+2][yC+1] // c5 (eq.CA5)
(式(eq.CA4)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.CA4)を満たさない場合は、図33(c)に示す参照周波数成分c1〜c5を用いて、以下の式(eq.CA6)によって、非0変換係数の数cntを算出する。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC ][yC+1] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+2][yC+1] // c5 (eq.CA6)
(コンテキストインデックスctxIdxの導出)
続いて、周辺参照コンテキスト導出部124cは、既述の式(eq.A6)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
式(eq.CA5)では、対象とする変換係数の位置の、処理順で直前(処理順が逆スキャン順である場合には、対象とする変換係数の位置の下側)に位置する座標(c3)の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
[スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合(図32(d))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxの示すスキャン方向に応じて異なる参照位置(テンプレート)を用いて復号済みの非0変換係数の数cntを導出する。すなわち、垂直方向優先スキャンが選択される場合は、垂直方向に周波数成分が偏っている確率が高いため、垂直方向の係数を優先して参照するテンプレートを選択することで、非ゼロ係数の相関を考慮したコンテキスト導出が可能となる。
図32(a)は、スキャンインデックスscanIdxが垂直方向優先スキャン(vertical fast scan)を示す場合において、2×8サブブロック内の周波数成分上の位置と、選択するテンプレートの関係を示す図である。2×8のサブブロックにおいて、位置に示す表記が(b)の場合には、図32(b)に示すテンプレートを用い、表記が(c)の場合には図32(c)に示すテンプレートを用いる。図32(b)(c)はテンプレートの形状を示す。図32(d)は、2×8サブブロックにおける垂直方向優先スキャンのスキャン順(逆スキャン順)を表わす図である。
処理は、変換係数の位置(xC, yC)が以下の式(eq.CB1)を満たす場合、すなわち、変換係数の位置がサブブロックの上から1行目、かつ、左から1列目にある場合、もしくは、変換係数の位置がサブブロックの上から7行目、かつ左から2列目にある場合とそれ以外の場合で異なる。
((xC &1)==0 && (yC &7)==0) || ((xC &1)==1 && (yC &7)==6) (eq.CB1)
なお、式(eq.CB1)は式(eq.CB1’)によっても表現することができる。
((xC %2)==0 && (yC %8)==0) || ((xC %2)==1 && (yC %8)==6) (eq.CB1’)
(非0変換係数の数cntの導出)
(式(eq.CB1)を満たす場合)
変換係数の位置(xC, yC)が、式(eq.CB1)を満たす場合、非0変換係数のカウント数cntを、図32(c)に示す参照周波数成分(c2、c3、c4、c5)を用いて、以下の式(eq.CB2)によって導出する。
cnt = significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC ][yC+3] // c3
+ significant_coeff_flag[xC ][yC+4] // c4
+ significant_coeff_flag[xC ][yC+5] // c5 (eq.CB2)
(式(eq.CB1)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.CB1)を満たさない場合は、図32(b)に示す参照周波数成分c1〜c5を用いて、以下の式(eq.CB3)によって、非0変換係数の数cntを算出する。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC ][yC+3] // c3
+ significant_coeff_flag[xC ][yC+4] // c4
+ significant_coeff_flag[xC ][yC+5] // c5 (eq.CB3)
(コンテキストインデックスctxIdxの導出)
続いて、周辺参照コンテキスト導出部124cは、既述の式(eq.A6)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
式(eq.CB2)では、対象とする変換係数の位置の、処理順で直前(処理順が逆スキャン順である場合には、対象とする変換係数の位置の下側)に位置する座標(c1)の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
(垂直方向優先スキャンの別の例)
なお、スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合において、2×8サブブロック内のスキャンは、図32(d)に示す2×8サブブロック内で斜め方向に係数を走査するスキャンに限定されない。例えば、図34(e)に示す2×8サブブロック内で係数をジグザグに走査するスキャンでもよい。図34(a)は、図34(e)に示すスキャンの場合において、2×8サブブロック内の周波数成分上の位置と、選択するテンプレートの関係を示す図である。2×8サブブロック内において、位置に示す表記が(b)の場合には、図34(b)に示すテンプレートを用い、表記が(c)の場合には図34(c)に示すテンプレートを用いる。
処理は、変換係数の位置(xC, yC)が以下の式(eq.CB4)を満たす場合、すなわち、変換係数の位置がサブブロックの上から1行目にある場合と、それ以外の場合とで異なる。
(xC &1)==0 (eq.CB4)
なお、式(eq.CA4)は式(eq.CA4’)によっても表現することができる。
(xC %2)==0 (eq.CB4’)
垂直方向優先スキャンの別の例(図34(e))では、スキャン順(順スキャンの場合)を右方向(+1、0)へのスキャンと左下方向(−1、+1)へのスキャンの繰り返しで構成する(逆スキャンの場合、左方向へのスキャンと右上方向へのスキャンの繰り返しで構成される)。この場合、処理順で直前に位置する座標が、対象とする変換係数の位置の右側もしくは左下側に設定されるため、対象とする変換係数と相関の高い垂直方向(c1)の変換係数が、処理順で直前の変換係数とならない。このスキャン順により、以下に説明するように、処理の並列性を高めた場合にも周辺参照においてc1の変換係数を参照することができる。
(非0変換係数の数cntの導出)
(式(eq.CB4)を満たす場合)
変換係数の位置(xC, yC)が、式(eq.CB4)を満たす場合、非0変換係数のカウント数cntを、図34(b)に示す参照周波数成分(c1、c2、c4、c5)を用いて、以下の式(eq.CB5)によって導出する。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+1][yC+2] // c5 (eq.CB5)
(式(eq.CB4)を満たさない場合)
変換係数の位置(xC, yC)が、式(eq.CB4)を満たさない場合は、図34(c)に示す参照周波数成分c1〜c5を用いて、以下の式(eq.CB6)によって、非0変換係数の数cntを算出する。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC+1][yC ] // c3
+ significant_coeff_flag[xC+1][yC+1] // c4
+ significant_coeff_flag[xC+1][yC+2] // c5 (eq.CB6)
(コンテキストインデックスctxIdxの導出)
続いて、周辺参照コンテキスト導出部124cは、既述の式(eq.A6)を用いてコンテキストインデックスctxIdxを導出し、その導出結果ctxIdxを導出方法制御部124aに供給する。
式(eq.CB5)では、対象とする変換係数の位置の、処理順で直前(処理順が逆スキャン順である場合には、対象とする変換係数の位置の右側)に位置する座標(c3)の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
[変形例4の作用・効果]
以上、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例4によれば、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレートを選択し、スキャンインデックスが水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレートを選択し、スキャンインデックスが垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するのテンプレートを選択するため、係数の偏りを考慮したコンテキストを導出することができ、係数有無フラグの符号量を削減し、符号化効率を改善する効果を奏する。
また、スキャンインデックスと係数位置に基づいて、対象とする変換係数の位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにテンプレートを選択している。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。
(変形例5)
以下、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例5について説明する。
係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例5では、サブブロックサイズがスキャンインデックスscanIdxによって異なる場合において、スキャンインデックスに基づいて、対象とする変換係数の位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにテンプレート形状を選択してもよい。すなわち、正方形のサブブロックでは、2次元のテンプレート形状を選択し、長方形のサブブロックでは、縦長または横長となる1次元のテンプレート形状を選択する。
[スキャンインデックスscanIdxが斜め方向スキャンを示す場合(図23(e)) ]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図23(e)に示す4×4サブブロックを単位とする斜め方向スキャンである場合、図23(c)に示すテンプレートを選択し、既述の式(eq.A4)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。
[スキャンインデックスscanIdxが水平方向優先スキャンを示す場合(図33(e))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図33(e)に示す8×2サブブロックを単位とし、ジグザグに係数をスキャンする水平方向優先スキャンである場合、図33(d)示す水平方向の係数を優先して参照するテンプレート(水平方向優先テンプレートともいう)(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.CD1)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC+1][yC ] // c1
+ significant_coeff_flag[xC+2][yC ] // c2
+ significant_coeff_flag[xC+3][yC ] // c3
+ significant_coeff_flag[xC+4][yC ] // c4
+ significant_coeff_flag[xC+5][yC ] // c5 (eq.CD1)
[スキャンインデックスscanIdxが垂直方向優先スキャンを示す場合(図34(e))]
周辺参照コンテキスト導出部124cは、スキャンインデックスscanIdxが、図34(e)に示す2×8サブブロックを単位とし、ジグザグに係数をスキャンする垂直方向優先スキャンである場合、図34(d)示す垂直方向の係数を優先して参照するテンプレート(垂直方向優先テンプレートともいう)(参照周波数成分(c1、c2、c3、c4、c5))を選択して、以下の式(eq.CD2)によって非0変換係数のカウント数cntを算出し、その算出結果を式(eq.A6)に適用してコンテキストインデックスctxIdxを導出する。なお、式(eq.A6)は既述のため説明を省略する。
cnt = significant_coeff_flag[xC ][yC+1] // c1
+ significant_coeff_flag[xC ][yC+2] // c2
+ significant_coeff_flag[xC ][yC+3] // c3
+ significant_coeff_flag[xC ][yC+4] // c4
+ significant_coeff_flag[xC ][yC+5] // c5 (eq.CD2)
[変形例5の作用・効果]
以上、係数有無フラグ復号部124の第1の構成例の備える周辺参照コンテキスト導出部124cの変形例5によれば、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレートを選択し、スキャンインデックスが水平方向にジグザグに係数をスキャンする水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレートを選択し、スキャンインデックスが垂直方向にジグザグに係数をスキャンする垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するテンプレートを選択するため、係数の偏りを考慮したコンテキストを導出することができるため、係数有無フラグの符号化効率を改善する効果を奏する。
また、図23(c)、図33(d)、図34(d)に示すテンプレートを用いることで、対象とする変換係数xの位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる効果を奏する。
<係数有無フラグ復号部124の第2の構成例>
以下では、図35を参照して、係数有無フラグ復号部124の第2の構成例について説明する。以下に説明する係数有無フラグ復号部124の第2の構成例では、係数有無フラグのコンテキストインデックス導出に関し、処理対象の係数より前に復号された係数を、スキャン順に基づいて参照し、参照した係数の個数をカウントし、コンテキストインデックスを導出する。
図35は、係数有無フラグ復号部124の第2の構成例124’を示すブロック図である。図35に示すように、係数有無フラグ復号部124’は、コンテキスト導出部124z、係数有無フラグ記憶部124d、及び係数有無フラグ設定部124eを備えている。さらに、コンテキスト導出部124zは、導出方法制御部124a、位置コンテキスト導出部124b、スキャン順係数参照コンテキスト導出部124fを備えている。
なお、係数有無フラグ復号部124の第2の構成例124’を構成する、係数有無フラグ記憶部124d、係数有無フラグ設定部124eは、係数有無フラグ復号124の第1の構成例における係数有無フラグ記憶部124d、係数有無フラグ設定部124eと同一であるため説明を省略する。
また、図35では、コンテキスト導出部124zにおいて、導出方法制御部124aが、位置コンテキスト導出部124b、およびスキャン順係数参照コンテキスト導出部124fを内包する形で記載しているが、これは例示に過ぎない。コンテキスト導出部124zの構成は、このような構成に限定されない。
(コンテキスト導出部124z)
(導出方法制御部124a)
導出方法制御部124aには、処理対象の周波数成分の位置(xC,yC)と、変換ブロックの対数値(log2TrafoWidth、log2TrafoHeight)が入力される。対数値のサイズから、周波数領域の幅widthと高さheightを(1<<log2TrafoWidth)と(1<<log2TrafoHeight)により算出する。なお、対数値のサイズではなく、周波数領域の幅と高さを直接入力しても良い。
導出方法制御部124aは、対象となるTUサイズおよび周波数成分の位置に応じて、位置コンテキスト導出部124b、スキャン順係数参照コンテキスト導出部124fを選択する。選択された各コンテキスト導出部ではコンテキストインデックスctxIdxが導出される。
例えば、TUサイズが所定のサイズ以下である場合(例えば、4×4TUである場合)には、導出方法制御部124aは、位置コンテキスト導出部124bを選択し、選択した位置コンテキスト導出部124bによって導出されたコンテキストインデックスctxIdxを、当該復号対象の周波数成分に割り付ける。
一方で、対象となるTUサイズが所定のサイズよりも大きい場合(例えば、8×8TU、16×16TU、32×32TUである場合等)、導出方法制御部124aは、周波数領域における復号対象の周波数成分の位置に応じて、位置コンテキスト導出部124b、及びスキャン順係数参照コンテキスト導出部124fのいずれかを選択し、選択した何れかのコンテキスト導出手段よって導出されたコンテキストインデックスctxIdxを、当該復号対象の周波数成分に割り付ける。
なお、導出方法制御部124aは、TUのサイズによらず、位置コンテキスト導出部124b、及びスキャン順係数参照コンテキスト導出部124fのいずれかを固定的に選択する構成であっても構わない。
(位置コンテキスト導出部124b)
位置コンテキスト導出部124bは、対象周波数成分に対するコンテキストインデックスctxIdxを、周波数領域における当該対象周波数成分の位置に基づいて導出する。なお、係数有無フラグ復号124の第1の構成例における位置コンテキスト導出部124bと同じであるため説明を省略する。
(スキャン順係数参照コンテキスト導出部124f)
スキャン順係数参照コンテキスト導出部124fは、図36に示すように、スキャン順でn番目の復号対象となる変換係数(図36中でX)に関する係数有無フラグのコンテキストインデックスctxIdxを、同一TU内で当該変換係数より前に復号されたNk個の変換係数のうち、図36でスキャン順でn+1からn+P番目までのP個(Pは自然数、または0以上の整数でもよい)の係数を除いて、図36でスキャン順でn+P+1からn+P+Q番目までのQ個(Qは自然数、または0以上の整数でもよい)の係数(参照係数)、または、スキャン順でn+P+1からスキャン順で終端となるnLast番目の(nLast-(n+P))個の係数(参照係数)のうち、係数の個数が少ない参照係数における非0変換係数の数cntに基づいて導出する。すなわち、非0変換係数の数cntを以下の式(2)で導出し、導出した非0変換係数の個数cntを式(eq.A6)に適用して、コンテキストインデックスctxIdxを導出する。式(eq.A6)は既述のため、説明を省略する。
Figure 2013192118
式(2)において、Rは、スキャン順で参照する係数のうち、参照係数の終端位置を表わす。また、nLastは、スキャン順での変換ブロック内の終端の係数位置を表わし、N×M変換ブロックの場合、nLast = N×M - 1となる。また、Xkはスキャン順でk番目の係数の変換ブロックにおけるx方向の係数位置を表し、Ykはスキャン順でk番目の係数の変換ブロックにおけるy方向の係数位置を表わす。また、scanOrderX[ log2TrafoWidth ][ log2TrafoHeight][scanIdx][k]は、TUサイズの対数値(log2TrafoWidth, log2TrafoHeight)とスキャンインデックスscanIdxとスキャン順での係数の位置kを引数として、変換ブロックにおける係数のx方向の位置を返すルックアップテーブルである。また、scanOrderY[ log2TrafoWidth ][ log2TrafoHeight][scanIdx][k]は、TUサイズの対数値(log2TrafoWidth, log2TrafoHeight)とスキャンインデックスscanIdxとスキャン順での係数の位置kを引数として、変換ブロックにおける係数のy方向の位置を返すルックアップテーブルである。
ここで、式(2)において変数Pは、スキャン順でn番目の処理対象の係数より直前に復号された係数であって、スキャン順でn+1番目から参照しない係数の個数を意味し、変数Qは、スキャン順でn番目の処理対象の係数より直前に復号された係数であって、スキャン順でn+P+1番目から参照する係数の個数を意味する。変数のP、Qの具体例としては、例えば、P=1、Q=5と設定すればよい。この場合、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理を並列に処理することができる。なお、変数P、Qの具体例として、P=1、Q=5を例に述べたがこれに限定されない。例えば、P=2、Q=5と設定してもよいし、P=3、Q=5と設定してもよい。
なお、係数位置(xC,yC)=(Xk,Yk)に該当するスキャン順kは、以下の式(3)で算出される。
Figure 2013192118
式(3)において、InvScanOrder[log2TrafoWidth][log2TrafoHeight][scanIdx][xC][yC]は、TUサイズの対数値(log2TrafoWidth, log2TrafoHeight)とスキャンインデックスscanIdxと係数の位置(xC,yC)を引数として、変換ブロックにおける係数のスキャン順での位置kを返すルックアップテーブルである。
以上、スキャン順係数参照コンテキスト導出部124fによれば、スキャン順でn番目となる処理対象とする変換係数より直前に復号されたP個の変換係数(スキャン順でn+1〜n+P番目の変換係数)より後のQ個の変換係数(スキャン順でn+P+1〜n+P+Q番目の変換係数)を参照するようにしている。このような処理は、ある位置の係数有無フラグの復号に用いるコンテキスト導出を、直前のP個の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と復号処理とを並列に処理することができる。
また、周辺参照コンテキスト導出部124cでは、スキャンインデックスscanIdx、あるいは、係数位置に応じて、非0変換係数を参照するためのテンプレートを選択する必要があった。一方、スキャン順係数参照コンテキスト導出部124fでは、参照する変換係数は常にスキャン順から定まるため、スキャンインデックスscanIdx、係数位置に応じた変換係数を参照するためのテンプレートを保持し、選択する必要がない。すなわち、周辺参照コンテキスト導出部124cよりも簡易にコンテキストインデックス導出処理をすることができる。
ところで、式(2)において、スキャン順で参照する係数のうち、参照係数の終端位置Rを算出する際に用いるnLastを、スキャン順での変換ブロック内の終端の係数位置として説明したがこれに限定されない。例えば、処理対象の変換係数(xC,yC)を含むサブブロック(xCG、yCG)において、サブブロック内のスキャン順で終端の係数位置nLastInSbkをnLastとしてもよい。例えば、スキャン順でn番目の処理対象の変換係数(xC,yC)と同一サブブロック内にある終端の係数位置nLastInSbkは、以下の式によって算出することができる。
nLastInSbk = (coeffNumInSbk - 1) + ( n % coeffNumInSbk) +
( n / coeffNumInSbk )* coeffNumInSbk
ここで、coeffNumInSbkは、サブブロック内の係数の総数を表わす。
以上、nLastInSbkをnLastの代わりに用いることで、参照係数に用いる係数の一部が、処理対象の変換係数を含むサブブロックとは異なるサブブロックに含まれないようにすることができる。これは、同一サブブロック内の相関が高い係数のみをスキャン順で参照してコンテキストを導出することができ、係数有無フラグの符号量を削減し、符号化効率を改善する効果を奏する。
<係数有無フラグ復号部124’の第2の構成例の動作>
係数有無フラグ復号部124’の動作は、係数有無フラグ復号部124について、図26に示したフローチャートを用いて説明したものと概ね同様であるので、ここでは、その詳細な説明を省略する。ただし、ステップSB004については、係数有無フラグ復号部124のものと異なるため、その違いについて以下に詳しく説明する。
<係数有無フラグ復号部124’の備えるコンテキスト導出部124zの動作>
図37は、コンテキスト導出部124zを構成する導出方法制御部124a、位置コンテキスト導出部124bとスキャン順係数参照コンテキスト導出部124fの動作(図26のステップSB004の詳細の動作)を示すフローチャートである。
(ステップSB101)
導出方法制御部124aは、TUサイズが所定サイズより小さいか?を判定する。判定で例えば以下の式を用いる。
log2TrafoWidth + log2TrafoHeight < THSize
なお、閾値THSizeとしては例えば6が用いられる。閾値THsizeに6を用いた場合には、4×4TUが所定サイズより小さいと判定される。8×8TU、16×4TU、4×16TU、16×16TU、32×4TU、4×32TU、32×32TUは所定サイズ以上であると判定されることになる。なお、閾値THSizeは0としてもよい。この場合、4×4TU〜32×32TUが所定サイズ以上であると判定されることになる。
(ステップSB102)
処理対象のTUサイズが所定サイズ以上の場合(ステップSB101でNo)、導出方法制御部124aは、対象変換係数の位置(xC,yC)が低周波成分であるか?(例えば、図22(a)(b)に示す部分領域R0であるか)を判定する。判定では例えば、以下の式を用いる。
xC+yC<THZ
なお、閾値THZとしては例えば1が用いられる。閾値THZに1を用いた場合には、DC成分のみが低周波成分として判定される。
(ステップSB103)
対象変換係数の位置(xC,yC)が低周波成分でない場合(ステップSA102においてNo)、導出方法制御部124aは、対象変換係数を含むサブブロックの位置(xCG,yCG)が高周波成分であるか?(例えば、図22(a)(b)に示す部分領域R3であるか?)を判定する。判定では例えば、以下の式を用いる。
xCG+yCG>=THhi
例えば、閾値THhiには、以下の式を用いればよいが、これに限定されない。
THhi = (3 << ( max(log2TrafoWidth, log2TrafoHeight) - 2 ))
(ステップSB104)
対象変換係数を含むサブブロックが高周波成分ではない場合(ステップSB103においてNo)、導出方法制御部124aは、コンテキスト導出手段として、スキャン順係数参照コンテキスト導出部124fを選択し、選択されたスキャン順係数参照コンテキスト導出部124fによって、対象変換係数のコンテキストインデックスが導出される。
(ステップSB105)
処理対象のTUサイズが所定サイズ未満である場合(ステップSB101においてYes)、もしくは、対象変換係数の位置(xC, yC)が低波数成分である場合(ステップSB102においてYes)、もしくは対象変換係数を含むサブブロックが高周波数成分である場合(ステップSB103においてYes)、導出方法制御部124aは、コンテキスト導出手段として、位置コンテキスト導出部124bを選択し、選択された位置コンテキスト導出部124bによって、対象変換係数のコンテキストインデックスが導出される。
なお、上記に限られず、導出方法制御部124aは、4×4TU〜32×32TUまでのTUサイズについて、共通のコンテキストインデックスctxIdx導出処理を実行する構成であっても構わない。すなわち、導出方法制御部124aは、TUのサイズによらず、位置コンテキスト導出部124b、及びスキャン順係数参照コンテキスト導出部124fのいずれかを固定的に選択する構成であっても構わない。
<変換係数復号部120による処理の流れ>
以下では、変換係数復号部120による変換係数復号処理の流れについて、図38〜41を参照して説明する。
図38は、変換係数復号部120による変換係数復号処理の流れを示すフローチャートである。
(ステップS21)
まず、変換係数復号部120の備える係数復号制御部123は、スキャンインデックスscanIdxを設定する。
(ステップS22)
続いて、変換係数復号部120の備えるラスト係数位置復号部121は、順スキャンに沿って最後の変換係数の位置を示すシンタックスlast_significant_coeff_x及びlast_significant_coeff_yを復号する。
(ステップS23)
続いて、係数復号制御部123は、サブブロックを単位とするループを開始する。なお、ラスト係数のあるサブブロックをループの開始位置とし、サブブロックスキャンの逆スキャン順に、サブブロック単位の復号処理が行われる。
(ステップS24)
続いて、変換係数復号部120の備えるサブブロック係数有無フラグ復号部127は、サブブロック係数有無フラグsignificant_coeff_group_flagを復号する。
(ステップS25)
続いて、変換係数復号部120の備える係数有無フラグ復号部124は、対象サブブロック内の各非ゼロ変換係数有無フラグsignificant_coeff_flagを復号する。
(ステップS26)
続いて、変換係数復号部120の備える係数値復号部125は、対象サブグループ内の非0変換係数の符号及び大きさを復号する。これは、各シンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_remainingを復号することによって行われる。
(ステップS27)
本ステップは、サブブロックを単位とするループの終端である。(ステップS23のサブブロックを単位とするループの終端)
<変換係数復号部120による処理の変形例1>
以下では、変換係数復号部120による変換係数復号処理の変形例1について、図50を参照して説明する。
図50は、変換係数復号部120による変換係数復号処理の変形例1を示すフローチャートである。ステップS21〜ステップS27については既に説明したので説明を省略する。ステップS50A〜ステップS50Cは、スキャンインデックスの設定(S21)の後、各変換係数の値を復号する前、すなわち、サブブロックのループ(S22)の前に実行される。ステップS50D〜ステップS50Eは、各変換係数の値が復号後、すなわち、サブブロックのループ後(S27)に実行される。
(ステップS50A)
係数復号制御部123は、スキャンインデックスscanIdxが垂直方向優先スキャンか否かを判定する。
(ステップS50B)
スキャンインデックスscanIdxが垂直方向優先スキャンの場合(ステップS50AでYes)、係数復号制御部123は、スキャンインデックスscanIdxを水平方向優先スキャンに変更する。さらにリバースフラグを1に設定する。
(ステップS50C)
スキャンインデックスscanIdxが垂直方向優先スキャンではない場合(ステップS50AでNo)、係数復号制御部123は、リバースフラグを0に設定する。
(ステップS50D)
係数復号制御部123は、リバースフラグが1であるか否かを判定する。
(ステップS50E)
リバースフラグが1の場合(ステップS50EでYes)、係数復号制御部123は、復号した変換係数を転置する。
図51は、変換係数の転置を説明する図である。TUサイズがwidth×heightのブロックはheight×widthのブロックに変換される。図51(a)は4×4TUが変換される例、図51(b)は8×4TUが4×8TUに変換される例である。TUサイズは、この例に限らず、8×8TU、16×16TU、32×32TU、16×4TU、32×8TU、16×4TU、8×32TUなどに利用できる。図51に示すように、転置では(u、v)の位置の変換係数は、(v、u)の位置に移される。
以上の処理では、変換係数の復号において水平方向優先スキャン順のみを用いることから、既に説明したコンテキスト導出部124zにおいては、垂直方向優先スキャン順に対応する図25、図30、図32、図34の周辺参照(テンプレート)及びスキャン順は不要になり、水平方向優先スキャン順に対応する図24、図29、図31、図33の周辺参照(テンプレート)及びスキャン順と、斜め方向スキャンに対応する図23の周辺参照(テンプレート)及びスキャン順のみが必要となる。
以上、説明したように、スキャン順が垂直方向優先スキャン順である場合には、変換係数を復号する際のスキャン順を水平方向優先スキャン順に変更した上で、変換係数の値の復号を行う。スキャン順の変更を行った場合には、変換係数の復号後に、ブロック全体を転置する。以上の処理により、垂直方向優先スキャン順や、垂直方向優先スキャン順に伴うテンプレートを定義することなく、復号処理を行うことができるため処理が簡略化される。また、垂直方向優先に対応する実装が不要になるため、実装も簡略化される。
なお、図50において水平方向優先スキャン順と垂直方向優先スキャン順スキャン順を逆にした場合にも、復号処理を簡略化する効果が得られる。この場合、スキャン順が水平方向優先スキャン順である場合には、変換係数を復号する際のスキャン順を垂直方向優先スキャン順に変更した上で、変換係数の値の復号を行う。スキャン順の変更を行った場合には、変換係数の復号後に、ブロック全体を転置する。
なお、復号処理をソフトウェアで実現する場合には、周辺参照を行う際に参照する変換係数の位置について水平方向の変換係数を優先して参照する参照領域の方が参照しやすいという特徴を有する。ソフトウェアではメモリへのデータ格納はラスタ順に行われることから、対象変換係数の右の位置(xC+1、yC)へのアクセスの方が、対象変換係数の下の位置(xC、yC+1)へのアクセスよりも高速であるためである。
<変換係数復号部120による処理の変形例2>
以下では、変換係数復号部120による変換係数復号処理の変形例2について、図52を参照して説明する。
図52は、変換係数復号部120による変換係数復号処理の変形例2を示すフローチャートである。ステップS21〜ステップS27については既に説明したので説明を省略する。ステップS52A〜ステップS52Cは、スキャンインデックスの設定(S21)の後、各変換係数の値を復号する前、すなわち、サブブロックのループ(S22)の前に実行される。ステップS52D〜ステップS52Eは、各変換係数の値が復号後、すなわち、サブブロックのループ後(S27)に実行される。
(ステップS52A)
係数復号制御部123は、TUの高さがTUの幅よりも大きいか否かを判定する。
(ステップS52B)
TUの高さがTUの幅よりも大きい場合(ステップS52AでYes)、リバースフラグを1に設定する。
(ステップS52C)
TUの高さがTUの幅よりも大きくない場合(ステップS52AでNo)、係数復号制御部123は、リバースフラグを0に設定する。
(ステップS52D)
係数復号制御部123は、リバースフラグが1であるか否かを判定する。
(ステップS52E)
リバースフラグが1の場合(ステップS52EでYes)、係数復号制御部123は、復号した変換係数を転置する。
変形例2の処理では、TUの幅がTUの高さよりも大きい場合のみの復号処理を行えば良いので復号処理が簡略化される。TUの高さがTUの幅よりも大きい場合に対応する実装が不要になるため実装が簡略化される。
なお、図53においてTUの幅とTUの高さを逆にした場合にも、復号処理を簡略化する効果が得られる。この場合、TUの幅がTUの高さより大きい場合に変換係数の復号後にブロック全体を転置する。
<<スキャンインデックス設定処理>>
図39は、スキャンインデックスを設定する処理(ステップS21)をより具体的に説明するためのフローチャートである。
(ステップS211)
まず、変換係数復号部120の備える係数復号制御部123は、予測方式情報PredModeが、イントラ予測方式MODE_INTRAを示しているか否かを判別する。
(ステップS212)
予測方式がイントラ予測方式であるとき(ステップS211でYes)、変換係数復号部120の備える係数復号制御部123は、イントラ予測モード(予測方向)及び対象のTUサイズ(周波数領域のサイズ)に基づいて、スキャンインデックスを設定する。具体的なスキャンインデックスの設定処理については、すでに述べたため、ここでは説明を省略する。
(ステップS213)
一方で、予測方式がイントラ予測方式でないとき(インター予測方式であるとき)(ステップS211でNo)、変換係数復号部120の備える係数復号制御部123は、スキャンインデックスを斜め方向スキャン(up-right diagonal scan)を示す0に設定する。
<<サブブロック係数有無フラグの復号処理>>
図40は、サブブロック係数有無フラグを復号する処理(図38のステップS24)をより具体的に説明するためのフローチャートである。
サブブロック係数有無フラグ復号部127は、サブブロックのループを開始する前に対象周波数領域に含まれるサブブロック係数有無フラグsignificant_coeff_group_flagの値を初期化する。この初期化処理は、DC係数を含むサブブロックのサブブロック係数有無フラグと、ラスト係数を含むサブブロックのサブブロック係数有無フラグとを1に設定し、その他のサブブロック係数有無フラグを0に設定することによって行われる。
(ステップS244)
サブブロック係数有無フラグ復号部124は、サブブロックの位置を取得する。
(ステップS247)
係数有無フラグ復号部124は、対象サブブロックがラスト係数、もしくはDC係数を含むサブブロックであるか否かを判別する。
(ステップS248)
対象サブブロックがラスト係数、もしくはDC係数を含むサブブロックでないとき(ステップS247でNo)、係数有無フラグ復号部124は、サブブロック係数有無フラグsignificant_coeff_group_flagを復号する。
<<係数有無フラグの復号処理>>
図41は、サブブロック内の各非ゼロ変換係数有無フラグsignificant_coeff_flagを復号する処理(図38のステップS25)をより具体的に説明するためのフローチャートである。
(ステップS254)
続いて、係数有無フラグ復号部124は、対象サブブロック内のループを開始する。当該ループは、周波数成分を単位とするループである。
(ステップS255)
続いて、係数有無フラグ復号部124は、変換係数の位置を取得する。
(ステップS256)
続いて、係数有無フラグ復号部124は、対象サブブロックに非0変換係数が存在するか否かを判別する。
(ステップS257)
対象サブブロックに非0変換係数が存在する場合(ステップS256でYes)、係数有無フラグ復号部124は、取得した変換係数の位置がラスト位置であるか否かを判別する。
(ステップS258)
取得した変換係数の位置がラスト位置でないとき(ステップS257でNo)、係数有無フラグ復号部124は、変換係数有無フラグsignificant_coeff_flagを復号する。
(ステップS259)
本ステップは、対象サブブロック内の周波数成分を単位とするループの終端である。(ステップS259のサブブロック内のループの終端)
〔動画像符号化装置2〕
本実施形態に係る動画像符号化装置2の構成について図42〜図47を参照して説明する。動画像符号化装置2は、H.264/MPEG−4 AVC規格に採用されている技術、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている技術、TMuC(Test Model under Consideration)ソフトウェアに採用されている技術、および、その後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている技術を実装している符号化装置である。以下では、既に説明した部分と同じ部分については同じ符号を付し、その説明を省略する。
図42は、動画像符号化装置2の構成を示すブロック図である。図42に示すように、動画像符号化装置2は、予測画像生成部21、変換・量子化部22、逆量子化・逆変換部23、加算器24、フレームメモリ25、ループフィルタ26、可変長符号符号化部27、および、減算器28を備えている。また、図42に示すように、予測画像生成部21は、イントラ予測画像生成部21a、動きベクトル検出部21b、インター予測画像生成部21c、予測方式制御部21d、および、動きベクトル冗長性削除部21eを備えている。動画像符号化装置2は、動画像#10(符号化対象画像)を符号化することによって、符号化データ#1を生成する装置である。
(予測画像生成部21)
予測画像生成部21は、処理対象LCUを、1または複数の下位CUに再帰的に分割し、各リーフCUをさらに1または複数のパーティションに分割し、パーティション毎に、画面間予測を用いたインター予測画像Pred_Inter、または、画面内予測を用いたイントラ予測画像Pred_Intraを生成する。生成されたインター予測画像Pred_Interおよびイントラ予測画像Pred_Intraは、予測画像Predとして、加算器24および減算器28に供給される。
なお、予測画像生成部21は、スキップモードの適応されたPUについては、当該PUに属する他のパラメータの符号化を省略する。また、(1)対象LCUにおける下位CUおよびパーティションへの分割の態様、(2)スキップモードを適用するか否か、および、(3)パーティション毎にインター予測画像Pred_Interおよびイントラ予測画像Pred_Intraの何れを生成するか、は、符号化効率を最適化するように決定される。
(イントラ予測画像生成部21a)
イントラ予測画像生成部21aは、画面内予測によって、各パーティションに関する予測画像Pred_Intraを生成する。具体的には、(1)各パーティションついてイントラ予測に用いる予測モードを選択し、(2)選択した予測モードを用いて、復号画像Pから予測画像Pred_Intraを生成する。イントラ予測画像生成部21aは、生成したイントラ予測画像Pred_Intraを、予測方式制御部21dに供給する。
また、イントラ予測画像生成部21aは、対象パーティションの周辺のパーティションに割り付けられた予測モードから対象パーティションに対する推定予測モードを決定し、当該推定予測モードと、対象パーティションについて実際に選択された予測モードとが同じであるか否かを示す推定予測モードフラグを、イントラ予測パラメータPP_Intraの一部として、予測方式制御部21dを介して可変長符号符号化部27に供給し、可変長符号符号化部27は、当該フラグを、符号化データ#1に含める構成とする。
また、イントラ予測画像生成部21aは、対象パーティションについての推定予測モードと、対象パーティションについて実際に選択された予測モードとが異なる場合には、対象パーティションについての予測モードを示す残余予測モードインデックスを、イントラ予測パラメータPP_Intraの一部として、予測方式制御部21dを介して可変長符号符号化部27に供給し、可変長符号符号化部27は当該残余予測モードインデックスを符号化データ#1に含める構成とする。
なお、イントラ予測画像生成部21aは、予測画像Pred_Intraを生成する際に、図11に示した予測モードから、より符号化効率が向上する予測モードを選択して適用する。
(動きベクトル検出部21b)
動きベクトル検出部21bは、各パーティションに関する動きベクトルmvを検出する。具体的には、(1)参照画像として利用する適応フィルタ済復号画像P_ALF’を選択し、(2)選択した適応フィルタ済復号画像P_ALF’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルmvを検出する。ここで、適応フィルタ済復号画像P_ALF’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ26による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部21bは、適応フィルタ済復号画像P_ALF’を構成する各画素の画素値をフレームメモリ25から読み出すことができる。動きベクトル検出部21bは、検出した動きベクトルmvを、参照画像として利用した適応フィルタ済復号画像P_ALF’を指定する参照画像インデックスRIと共に、インター予測画像生成部21c及び動きベクトル冗長性削除部21eに供給する。
(インター予測画像生成部21c)
インター予測画像生成部21cは、画面間予測によって、各インター予測パーティションに関する動き補償画像mcを生成する。具体的には、動きベクトル検出部21bから供給された動きベクトルmvを用いて、動きベクトル検出部21bから供給された参照画像インデックスRIによって指定される適応フィルタ済復号画像P_ALF’から動き補償画像mcを生成する。動きベクトル検出部21bと同様に、インター予測画像生成部21cは、適応フィルタ済復号画像P_ALF’を構成する各画素の画素値をフレームメモリ25から読み出すことができる。インター予測画像生成部21cは、生成した動き補償画像mc(インター予測画像Pred_Inter)を、動きベクトル検出部21bから供給された参照画像インデックスRIと共に、予測方式制御部21dに供給する。
(予測方式制御部21d)
予測方式制御部21dは、イントラ予測画像Pred_Intra及びインター予測画像Pred_Interを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部21dは、イントラ予測画像Pred_Intraを予測画像Predとして加算器24及び減算器28に供給すると共に、イントラ予測画像生成部21aから供給されるイントラ予測パラメータPP_Intraを可変長符号符号化部27に供給する。一方、インター予測を選択した場合、予測方式制御部21dは、インター予測画像Pred_Interを予測画像Predとして加算器24及び減算器28に供給すると共に、参照画像インデックスRI、並びに、後述する動きベクトル冗長性削除部21eから供給された推定動きベクトルインデックスPMVI及び動きベクトル残差MVDをインター予測パラメータPP_Interとして可変長符号符号化部27に供給する。また、予測方式制御部21dは、イントラ予測画像Pred_Intra及びインター予測画像Pred_Interのうち何れの予測画像を選択したのかを示す予測タイプ情報Pred_typeを可変長符号符号化部27に供給する。
(動きベクトル冗長性削除部21e)
動きベクトル冗長性削除部21eは、動きベクトル検出部21bによって検出された動きベクトルmvにおける冗長性を削除する。具体的には、(1)動きベクトルmvの推定に用いる推定方法を選択し、(2)選択した推定方法に従って推定動きベクトルpmvを導出し、(3)動きベクトルmvから推定動きベクトルpmvを減算することにより動きベクトル残差MVDを生成する。動きベクトル冗長性削除部21eは、生成した動きベクトル残差MVDを、選択した推定方法を示す推定動きベクトルインデックスPMVIと共に、予測方式制御部21dに供給する。
(変換・量子化部22)
変換・量子化部22は、(1)符号化対象画像から予測画像Predを減算した予測残差Dに対してブロック(変換単位)毎にDCT変換(Discrete Cosine Transform)等の周波数変換を施し、(2)周波数変換により得られた変換係数Coeff_IQを量子化し、(3)量子化により得られた変換係数Coeffを可変長符号符号化部27及び逆量子化・逆変換部23に供給する。なお、変換・量子化部22は、(1)量子化の際に用いる量子化ステップQPをTU毎に選択し、(2)選択した量子化ステップQPの大きさを示す量子化パラメータ差分Δqpを可変長符号符号化部28に供給し、(3)選択した量子化ステップQPを逆量子化・逆変換部23に供給する。ここで、量子化パラメータ差分Δqpとは、周波数変換及び量子化するTUに関する量子化パラメータqp(例えばQP=2pq/6)の値から、直前に周波数変換及び量子化したTUに関する量子化パラメータqp’の値を減算して得られる差分値のことを指す。
なお、変換・量子化部22によって行われるDCT変換は、例えば、対象ブロックのサイズが8×8画素である場合、水平方向の周波数uおよび垂直方向の周波数vについての量子化前の変換係数をCoeff_IQ(u、v)(0≦u≦7、0≦v≦7)と表すことにすると、例えば、以下の数式(4)によって与えられる。
Figure 2013192118
ここで、D(i、j)(0≦i≦7、0≦j≦7)は、対象ブロックにおける位置(i、j)での予測残差Dを表している。また、C(u)およびC(v)は、以下のように与えられる。
・C(u)=1/√2 (u=0)
・C(u)=1 (u≠0)
・C(v)=1/√2 (v=0)
・C(v)=1 (v≠0)
(逆量子化・逆変換部23)
逆量子化・逆変換部23は、(1)量子化された変換係数Coeffを逆量子化し、(2)逆量子化によって得られた変換係数Coeff_IQに対して逆DCT(Discrete Cosine Transform)変換等の逆周波数変換を施し、(3)逆周波数変換によって得られた予測残差Dを加算器24に供給する。量子化された変換係数Coeffを逆量子化する際には、変換・量子化部22から供給された量子化ステップQPを利用する。なお、逆量子化・逆変換部23から出力される予測残差Dは、変換・量子化部22に入力される予測残差Dに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。逆量子化・逆変換部23のより具体的な動作は、動画像復号装置1の備える逆量子化・逆変換部13とほぼ同様である。
(加算器24)
加算器24は、予測方式制御部21dにて選択された予測画像Predを、逆量子化・逆変換部23にて生成された予測残差Dに加算することによって、(局所)復号画像Pを生成する。加算器24にて生成された(局所)復号画像Pは、ループフィルタ26に供給されると共にフレームメモリ25に格納され、イントラ予測における参照画像として利用される。
(可変長符号符号化部27)
可変長符号符号化部27は、(1)変換・量子化部22から供給された量子化後の変換係数Coeff並びにΔqp、(2)予測方式制御部21dから供給された量子化パラメータPP(インター予測パラメータPP_Inter、および、イントラ予測パラメータPP_Intra)、(3)予測タイプ情報Pred_type、および、(4)ループフィルタ26から供給されたフィルタパラメータFPを可変長符号化することによって、符号化データ#1を生成する。
図43は、可変長符号符号化部27の構成を示すブロック図である。図43に示すように、可変長符号符号化部27は、量子化後の変換係数Coeffを符号化する量子化残差情報符号化部271、予測パラメータPPを符号化する予測パラメータ符号化部272、予測タイプ情報Pred_typeを符号化する予測タイプ情報符号化部273、および、フィルタパラメータFPを符号化するフィルタパラメータ符号化部274を備えている。量子化残差情報符号化部271の具体的な構成については後述するためここでは説明を省略する。
(減算器28)
減算器28は、予測方式制御部21dにて選択された予測画像Predを、符号化対象画像から減算することによって、予測残差Dを生成する。減算器28にて生成された予測残差Dは、変換・量子化部22によって周波数変換及び量子化される。
(ループフィルタ26)
ループフィルタ26は、(1)復号画像Pにおけるブロック境界、またはパーティション境界の周辺の画像の平滑化(デブロック処理)を行うデブロッキングフィルタ(DF:Deblocking Filter)としての機能と、(2)デブロッキングフィルタが作用した画像に対して、フィルタパラメータFPを用いて適応フィルタ処理を行う適応フィルタ(ALF:Adaptive Loop Filter)としての機能を有している。
(量子化残差情報符号化部271)
量子化残差情報符号化部271は、量子化された変換係数Coeff(xC、yC)をコンテキスト適応型2値算術符号化(CABAC:(Context-based Adaptive Binary Arithmetic Coding))することによって、量子化残差情報QDを生成する。生成された量子化残差情報QDに含まれるシンタックスは、図4及び図5に示した各シンタックス、及びsignificant_coeff_group_flagである。
なお、xCおよびyCは、上述のように、周波数領域における各周波数成分の位置を表すインデックスであり、それぞれ、上述した水平方向周波数uおよび垂直方向周波数vに対応するインデックスである。なお、以下では、量子化された変換係数Coeffを、単に、変換係数Coeffと呼ぶこともある。
(量子化残差情報符号化部271)
図44は、量子化残差情報符号化部271の構成を示すブロック図である。図44に示すように、量子化残差情報符号化部271は、変換係数符号化部220及び算術符号符号化部230を備えている。
(算術符号符号化部230)
算術符号符号化部230は、変換係数符号化部220から供給される各Binをコンテキストを参照して符号化することによって量子化残差情報QDを生成するための構成であり、図44に示すように、コンテキスト記録更新部231及びビット符号化部232を備えている。
(コンテキスト記録更新部231)
コンテキスト記録更新部231は、各コンテキストインデックスctxIdxによって管理されるコンテキスト変数CVを記録及び更新するための構成である。ここで、コンテキスト変数CVには、(1)発生確率が高い優勢シンボルMPS(most probable symbol)と、(2)その優勢シンボルMPSの発生確率を指定する確率状態インデックスpStateIdxとが含まれている。
コンテキスト記録更新部231は、変換係数符号化部220の備える各部から供給されるコンテキストインデックスctxIdx及びビット符号化部232によって符号化されたBinの値を参照することによってコンテキスト変数CVを更新すると共に、更新されたコンテキスト変数CVを次回更新されるまで記録する。なお、優勢シンボルMPSは0か1である。また、優勢シンボルMPSと確率状態インデックスpStateIdxは、ビット符号化部232がBinを1つ符号化する毎に更新される。
また、コンテキストインデックスctxIdxは、各周波数成分についてのコンテキストを直接指定するものであってもよいし、処理対象のTU毎に設定されるコンテキストインデックスのオフセットからの増分値であってもよい(以下同様)。
(ビット符号化部232)
ビット符号化部232は、コンテキスト記録更新部231に記録されているコンテキスト変数CVを参照し、変換係数符号化部220の備える各部から供給される各Binを符号化することによって量子化残差情報QDを生成する。また、符号化したBinの値はコンテキスト記録更新部231にも供給され、コンテキスト変数CVを更新するために参照される。
(変換係数符号化部220)
図44に示すように、変換係数符号化部220は、ラスト位置符号化部221、スキャン順テーブル格納部222、係数符号化制御部223、係数有無フラグ符号化部224、係数値符号化部225、符号化係数記憶部226、サブブロック係数有無フラグ227、及びシンタックス導出部228を備えている。
(シンタックス導出部228)
シンタックス導出部228は、変換係数Coeff(xC、yC)の各値を参照し、対象周波数領域におけるこれらの変換係数を特定するためのシンタックスlast_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingの各値を導出する。導出された各シンタックスは、符号化係数記憶部226に供給される。また、導出されたシンタックスのうちlast_significant_coeff_x、last_significant_coeff_yは、係数符号化制御部223及びラスト位置符号化部221にも供給される。また、導出されたシンタックスのうちsignificant_coeff_flagは、係数有無フラグ符号化部224にも供給される。なお、各シンタックスが示す内容については上述したためここでは説明を省略する。
(ラスト位置符号化部221)
ラスト位置符号化部221は、シンタックス導出部228より供給されるシンタックスlast_significant_coeff_x、last_significant_coeff_yを示すBinを生成する。また、生成した各Binをビット符号化部232に供給する。また、シンタックスlast_significant_coeff_x及びlast_significant_coeff_yのBinを符号化するために参照されるコンテキストを指定するコンテキストインデックスctxIdxを、コンテキスト記録更新部231に供給する。
(スキャン順テーブル格納部222)
スキャン順テーブル格納部222には、処理対象のTU(ブロック)のサイズ、スキャン方向の種別を表すスキャンインデックス、及びスキャン順に沿って付与された周波数成分識別インデックスを引数として、処理対象の周波数成分の周波数領域における位置を与えるテーブルが格納されている。このようなスキャン順テーブルの一例としては、図4及び図5に示したScanOrderが挙げられる。
また、スキャン順テーブル格納部222には、サブブロックのスキャン順を指定するためのサブブロックスキャン順テーブルが格納されている。ここで、サブブロックスキャン順テーブルは、処理対象のTU(ブロック)のサイズとイントラ予測モードの予測モードインデックスとに関連付けられたスキャンインデックスscanIdxによって指定される。
スキャン順テーブル格納部222に格納されているスキャン順テーブル及びサブブロックスキャン順テーブルは、動画像復号装置1の備えるスキャン順テーブル格納部122に格納されているものと同様であるので、ここでは説明を省略する。
(係数符号化制御部223)
係数符号化制御部223は、量子化残差情報符号化部271の備える各部における符号化処理の順序を制御するための構成である。
(TUサイズが所定のサイズ以下である場合)
TUサイズが所定のサイズ以下(例えば4×4TU等)である場合、係数符号化制御部223は、シンタックス導出部228より供給されるシンタックスlast_significant_coeff_x及びlast_significant_coeff_yを参照し、順スキャンに沿った最後の非0変換係数の位置を特定すると共に、特定した最後の非0変換係数の位置を起点とするスキャン順であって、スキャン順テーブル格納部222に格納されたスキャン順テーブルよって与えられるスキャン順の逆スキャン順に、各周波数成分の位置(xC、yC)を、係数有無フラグ符号化部に供給する。
また、係数符号化制御部223は、処理対象のTUのサイズを、変換係数符号化部220の備える各部に供給する(図示省略)。
なお、係数符号化制御部223は、スキャン順テーブル格納部222に格納されたスキャン順テーブルよって与えられるスキャン順の順スキャン順に、各周波数成分の位置(xC、yC)を、係数有無フラグ符号化部224に供給する構成としてもよい。
(TUサイズが所定のサイズよりも大きい場合)
TUサイズが所定のサイズよりも大きい場合、係数符号化制御部223は、シンタックス導出部228から供給されるシンタックスlast_significant_coeff_x及びlast_significant_coeff_yを参照し、順スキャンに沿った最後の非0変換係数の位置を特定すると共に、特定した最後の非0変換係数を含むサブブロックの位置を起点とするスキャン順であって、スキャン順テーブル格納部222に格納されたサブブロックスキャン順テーブルよって与えられるスキャン順の逆スキャン順に、各サブブロックの位置(xCG、yCG)を、サブブロック係数有無フラグ符号化部227に供給する。
また、係数符号化制御部223は、処理対象となるサブブロックに関して、スキャン順テーブル格納部222に格納されたスキャン順テーブルよって与えられるスキャン順の逆スキャン順に、当該処理対象となるサブブロックに含まれる各周波数成分の位置(xC、yC)を、係数有無フラグ符号化部224に供給する。ここで、処理対象となるサブブロックに含まれる各周波数成分のスキャン順としては、イントラ予測の場合には、イントラ予測モードインデックスIntraPredModeと、TUサイズを指定する値log2TrafoSizeとによって指定されるスキャンインデックスscanIdxの示すスキャン順(水平方向優先スキャン、垂直方向優先スキャン、斜め方向スキャンのいずれか)を用い、インター予測の場合には、斜め方向スキャン(Up-right diagonal scan)を用いればよい。また、係数符号化制御部223は、当該TUのサイズと当該TUの予測モードとに関連付けられたスキャンインデックスscanIdxを、係数有無フラグ符号化部224へ供給する。
このように、係数符号化制御部223は、イントラ予測モード毎に、スキャン順を切り替える構成である。一般に、イントラ予測モードと変換係数の偏りとは互いに相関を有しているため、イントラ予測モードに応じてスキャン順を切り替えることにより、サブブロック係数有無フラグ、係数有無フラグの偏りに適したスキャンを行うことができる。これによって、符号化及び復号対象となるサブブロック係数有無フラグおよび係数有無フラグの符号量を削減することができ、符号化効率が向上する。
(係数値符号化部225)
係数値符号化部225は、シンタックス導出部228から供給されるシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingを示すBinを生成する。また、生成した各Binをビット符号化部232に供給する。また、これらのシンタックスのBinを符号化するために参照されるコンテキストを指定するコンテキストインデックスctxIdxを、コンテキスト記録更新部231に供給する。
(係数有無フラグ符号化部224)
本実施形態に係る係数有無フラグ符号化部224は、各位置(xC、yC)によって指定されるシンタックスsignificant_coeff_flag[xC][yC]を符号化する。より具体的には、各位置(xC、yC)によって指定されるシンタックスsignificant_coeff_flag[xC][yC]を示すBinを生成する。生成された各Binは、ビット符号化部232に供給される。また、係数有無フラグ符号化部224は、算術符号符号化部230にてシンタックスsignificant_coeff_flag[xC][yC]のBinを符号化するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部231に供給される。
(係数有無フラグ符号化部224の第1の構成例)
図45は、本実施形態に係る係数有無フラグ符号化部224の第1の構成例を示すブロック図である。図45に示すように、係数有無フラグ符号化部224は、コンテキスト導出部224z、及び、係数有無フラグ設定部224eを備えている。さらに、コンテキスト導出部224zは、導出方法制御部224a、位置コンテキスト導出部224b、周辺参照コンテキスト導出部224cを備える。なお、図45では、コンテキスト導出部224zにおいて、導出方法制御部224aが、位置コンテキスト導出部224b、および周辺参照コンテキスト導出部224cを内包する形で記載しているが、これは例示に過ぎない。コンテキスト導出部224zの構成は、このような構成に限定されない。
(導出方法制御部224a)
導出方法制御部224aは、対象となるTUサイズが所定のサイズ以下のサイズである場合(例えば、4×4TUである場合)、当該所定サイズ以下の周波数領域の各周波数成分に対して、その周波数成分の位置に応じて、当該周波数成分を複数の部分領域の何れかに分類すると共に、位置コンテキスト導出部224bによって導出されたコンテキストインデックスctxIdxを割り付ける。
一方で、対象となるTUサイズが所定のサイズよりも大きいサイズである場合(例えば、8×8TU、16×16TU、32×32TUである場合等)、導出方法制御部224aは、周波数領域における復号対象の周波数成分の位置に応じて、当該周波数成分を複数の部分領域の何れかに分類すると共に、位置コンテキスト導出部224b、及び周辺参照コンテキスト導出部224cの何れかによって導出されたコンテキストインデックスctxIdxを、当該復号対象の周波数成分に割り付ける。
導出方法制御部224aによる具体的な処理は、動画像復号装置1の備える導出方法制御部124aと同様であるので、ここでは説明を省略する。
(位置コンテキスト導出部224b)
位置コンテキスト導出部224bは、対象周波数成分に対するコンテキストインデックスctxIdxを、周波数領域における当該対象周波数成分の位置に基づいて導出する。
位置コンテキスト導出部224bによる具体的な処理は、動画像復号装置1の備える位置コンテキスト導出部124bと同様であるので、ここでは説明を省略する。
(周辺参照コンテキスト導出部224c)
周辺参照コンテキスト導出部224cは、符号化対象の周波数成分に対するコンテキストインデックスctxIdxを、当該周波数成分の周辺の周波数成分について符号化済みの非0変換係数の数cntに基づいて導出する。より具体的には、周辺参照コンテキスト導出部224cは、対象周波数成分の位置(xC,yC)、もしくは、対象周波数成分が属するサブブロックの位置(xCG,yCG)が所定の条件を満たす場合、スキャンインデックスscanIdxと変換係数の位置に応じて異なる参照位置(テンプレート)を用いて符号化済みの非0変換係数の数cntを導出する。
周辺参照コンテキスト導出部224cによる具体的な処理は、動画像復号装置1の備える周辺参照コンテキスト導出部124cと同様であるので、ここでは説明を省略する。
(係数有無フラグ設定部224e)
係数有無フラグ設定部224eは、シンタックス導出部228から供給されるシンタックスsignificant_coeff_flag[xC][yC]を示すBinを生成する。生成したBinは、ビット符号化部232に供給される。また、係数有無フラグ設定部224eは、対象サブブロックに含まれるsignificant_coeff_flag[xC][yC]の値を参照し、対象サブブロックに含まれる全てのsignificant_coeff_flag[xC][yC]が0である場合、すなわち、当該対象サブブロックに非0変換係数が含まれていない場合に、当該対象サブブロックに関するsignificant_coeff_group_flag[xCG][yCG]の値を0に設定し、そうでない場合に当該対象サブブロックに関するsignificant_coeff_group_flag[xCG][yCG]の値を1に設定する。このように値が付されたsignificant_coeff_group_flag[xCG][yCG]は、サブブロック係数有無フラグ符号化部227に供給される。
以上、係数有無フラグ符号化部224の第1の構成例によれば、TUサイズが所定サイズより大きい場合に、処理対象の係数有無フラグが低周波成分、もしくは高周波成分に位置する場合は、位置コンテキスト導出部により処理対象の係数有無フラグに関するコンテキストインデックスを導出し、処理対象の係数有無フラグが中周波数成分に位置する場合は、周辺参照コンテキスト導出部により処理対象の係数有無フラグに関するコンテキストインデックスを導出する。より具体的には、周辺参照コンテキスト導出部によりコンテキストインデックスを導出する場合には、スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する係数を均等に参照するテンプレートを選択し、スキャンインデックスが水平方向優先スキャンを示すとき、水平方向の係数を優先して参照するテンプレートを選択し、スキャンインデックスが垂直方向優先スキャンを示すときは、垂直方向の係数を優先して参照するテンプレートを選択するため、係数の偏りを考慮したコンテキストを導出することができるため、係数有無フラグの符号化効率を改善する効果を奏する。
また、スキャンインデックスと係数位置に基づいて、対象とする変換係数の位置の、処理順(逆スキャン順)で直前に位置する座標の変換係数を参照しないようにテンプレートを選択している。このような処理は、ある位置の係数有無フラグの符号化に用いるコンテキスト導出を、直前の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と符号化処理とを並列に処理することができる効果を奏する。したがって、高い符号化効率を維持しつつ、コンテキストインデックス導出処理の処理を高速化することができる。
(サブブロック係数有無フラグ符号化部227)
サブブロック係数有無フラグ符号化部227は、各サブブロック位置(xCG、yCG)によって指定されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を符号化する。より具体的には、各サブブロック位置(xCG、yCG)によって指定されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を示すBinを生成する。生成された各Binは、ビット符号化部232に供給される。また、サブブロック係数有無フラグ符号化部227は、算術符号符号化部230にてシンタックスsignificant_coeff_flag[xC][yC]のBinを符号化するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部231に供給される。
図46は、サブブロック係数有無フラグ符号化部227の構成を示すブロック図である。図46に示すように、サブブロック係数有無フラグ符号化部227は、コンテキスト導出部227a、サブブロック係数有無フラグ記憶部227b、及びサブブロック係数有無フラグ設定部227cを備えている。
以下では、サブブロック係数有無フラグ符号化部227に対して、係数符号化制御部223から、サブブロック位置(xCG、yCG)が順スキャン順に供給される場合を例に挙げて説明を行う。なお、この場合、動画像復号装置1の備えるサブブロック係数有無フラグ復号部127では、サブブロック位置(xCG、yCG)が逆スキャン順に供給されることが好ましい。
(コンテキスト導出部227a)
サブブロック係数有無フラグ符号化部227の備えるコンテキスト導出部227aは、各サブブロック位置(xCG、yCG)によって指定されるサブブロックに割り付けるコンテキストインデックスを導出する。サブブロックに割り付けられたコンテキストインデックスは、当該サブブロックについてのシンタックスsignificant_coeff_group_flagを示すBinを復号する際に用いられる。また、コンテキストインデックスを導出する際には、サブブロック係数有無フラグ記憶部227bに記憶されたサブブロック係数有無フラグの値が参照される。コンテキスト導出部227aは、導出したコンテキストインデックスをコンテキスト記録更新部231に供給する。
(サブブロック係数有無フラグ記憶部227b)
サブブロック係数有無フラグ記憶部227bには、係数有無フラグ符号化部224から供給されたシンタックスsignificant_coeffgroup_flagの各値が記憶されている。サブブロック係数有無フラグ設定部227cは、隣接サブブロックに割り付けられたシンタックスsignificant_coeffgroup_flagを、サブブロック係数有無フラグ記憶部227bから読み出すことができる。
(サブブロック係数有無フラグ設定部227c)
サブブロック係数有無フラグ設定部227cは、サブブロック係数有無フラグ設定部227cは、係数有無フラグ符号化部224から供給されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を示すBinを生成する。生成したBinは、ビット符号化部232に供給される。
(係数有無フラグ符号化部の第2の構成例)
本実施形態に係る係数有無フラグ符号化部は、上述の構成に限られるものではない。以下では、図47を参照して、係数有無フラグ符号化部の第2の構成例について説明する。図47は、係数有無フラグ符号化部224の第2の構成例224’を示すブロック図である。図47に示すように、係数有無フラグ符号化部224’は、コンテキスト導出部224z、及び係数有無フラグ設定部224eを備えている。さらに、コンテキスト導出部224zは、導出方法制御部224a、位置コンテキスト導出部224b、スキャン順係数参照コンテキスト導出部224fを備えている。
なお、係数有無フラグ符号化部224の第2の構成例224’を構成する導出方法制御部224a、位置コンテキスト導出部224b、係数有無フラグ設定部224eは、係数有無フラグ符号化224の第1の構成例における導出方法制御部224a、位置コンテキスト導出部224b、係数有無フラグ設定部224eと同一であるため説明を省略する。なお、係数有無フラグ224の第2の構成例は、係数有無フラグ復号部124の第2の構成例124’に対応する構成を有するものとしてもよい。
また、図47では、コンテキスト導出部224zにおいて、導出方法制御部224aが、位置コンテキスト導出部224b、およびスキャン順係数参照コンテキスト導出部224fを内包する形で記載しているが、これは例示に過ぎない。コンテキスト導出部224zの構成は、このような構成に限定されない。
ここで、スキャン順係数参照コンテキスト導出部224fは、図36に示すように、スキャン順でn番目の符号化対象となる変換係数(図36中でX)に関する係数有無フラグのコンテキストインデックスctxIdxを、同一TU内で当該変換係数より前に符号化されたNk個の変換係数のうち、図36でスキャン順でn+1からn+P番目までのP個(Pは自然数、または0以上の整数でもよい)の係数を除いて、図36でスキャン順でn+P+1からn+P+Q番目までのQ個(Qは自然数、または0以上の整数でもよい)の係数(参照係数)、または、スキャン順でn+P+1からスキャン順で終端となるnLast番目の(nLast-(n+P))個の係数(参照係数)のうち、係数の個数が少ない参照係数における非0変換係数の数cntに基づいて導出する。
スキャン順係数参照コンテキスト導出部224fによる具体的な処理については、スキャン順係数参照コンテキスト導出部124fと同様であるのでその説明を省略する。ただし、スキャン順係数参照コンテキスト導出部124fの説明における「復号」を「符号化」と読み替えるものとする。
以上、スキャン順係数参照コンテキスト導出部224fによれば、スキャン順でn番目となる対象とする変換係数より直前に符号化されたP個の変換係数(スキャン順でn+1〜n+P番目の変換係数)より後のQ個の変換係数(スキャン順でn+P+1〜n+P+Q番目の変換係数)を参照するようにしている。このような処理は、ある位置の係数有無フラグの符号化に用いるコンテキスト導出を、直前のP個の係数有無フラグの値を参照せずに行うことができるため、コンテキスト導出処理と符号化処理とを並列に処理することができる。したがって、高い符号化効率を維持しつつ、コンテキストインデックス導出処理の処理を高速化することができる。
〔付記事項1〕
図48および図49を用いて、動画像符号化装置2及び動画像復号装置1の応用例について説明する。上述した動画像符号化装置2及び動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置2及び動画像復号装置1を、動画像の送信及び受信に利用できることを、図48を参照して説明する。
図48の(a)は、動画像符号化装置2を搭載した送信装置PROD_Aの構成を示したブロック図である。図48の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図48の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図48の(b)は、動画像復号装置1を搭載した受信装置PROD_Bの構成を示したブロック図である。図48の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置1は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図48の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置2及び動画像復号装置1を、動画像の記録及び再生に利用できることを、図49を参照して説明する。
図49の(a)は、上述した動画像符号化装置2を搭載した記録装置PROD_Cの構成を示したブロック図である。図49の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図49の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4又は受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5又は画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図49の(b)は、上述した動画像復号装置1を搭載した再生装置PROD_Dの構成を示したブロックである。図49の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置1は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図49の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
〔付記事項2〕
上述した動画像復号装置1、および動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、算術符号化された符号化データを復号する算術復号装置、および、算術符号化された符号化データを生成する算術符号化装置に好適に用いることができる。
1 動画像復号装置(画像復号装置)
11 可変長符号復号部
111 量子化残差情報復号部(算術復号装置)
120 変換係数復号部
123 係数復号制御部(サブブロック分割手段)
124 係数有無フラグ復号部(コンテキストインデックス導出手段)
124z コンテキスト導出部
124a 導出方法制御部(分割手段)
124b 位置コンテキスト導出部
124c 周辺参照コンテキスト導出部
124d 係数有無フラグ記憶部
124e 係数有無フラグ設定部
124f スキャン順係数参照コンテキスト導出部(コンテキストインデックス導出手段)
127 サブブロック係数有無フラグ復号部(サブブロック係数有無フラグ復号手段)
127a コンテキスト導出部
127b サブブロック係数有無フラグ記憶部
127c サブブロック係数有無フラグ設定部
130 算術符号復号部
131 コンテキスト記録更新部
132 ビット復号部(シンタックス復号手段)
2 動画像符号化装置(画像符号化装置)
27 可変長符号符号化部
271 量子化残差情報符号化部(算術符号化装置)
220 変換係数符号化部
223 係数符号化制御部(サブブロック分割手段)
224 係数有無フラグ符号化部(コンテキストインデックス導出手段)
224z コンテキスト導出部
224a 導出方法制御部(分割手段)
224b 位置コンテキスト導出部
224c 周辺参照コンテキスト導出部
224e 係数有無フラグ設定部
224f スキャン順係数参照コンテキスト導出部(コンテキストインデックス導出手段)
227 サブブロック係数有無フラグ符号化部(サブブロック係数有無フラグ符号化手段)
227a コンテキスト導出部
227b サブブロック係数有無フラグ記憶部
227c サブブロック係数有無フラグ設定部
228 シンタックス導出部
230 算術符号符号化部
231 コンテキスト記録更新部
232 ビット符号化部(シンタックス符号化手段)

Claims (17)

  1. 対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、
    処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、
    上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを復号するサブブロック係数有無フラグ復号手段と、
    対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、
    各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、
    各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術復号するシンタックス復号手段と、
    を備え、
    対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、変換係数のスキャン方向を示すスキャンインデックスに基づいて選択された参照領域に含まれる復号済の非0変換係数の数に基づいて導出し、
    対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして復号処理を行う、
    ことを特徴とする算術復号装置。
  2. 前記スキャンインデックスが垂直方向優先スキャンを示すとき、変換係数の値の復号は水平方向優先スキャンを用い、変換係数の値の復号後にブロック全体を転置することを特徴とする請求項1に記載の算術復号装置。
  3. 前記参照領域は、
    前記スキャンインデックスが斜め方向スキャンを示すとき、水平方向と垂直方向に位置する変換係数を均等に参照する参照領域であり、
    前記スキャンインデックスが水平方向優先スキャンを示すとき、水平方向の変換係数を優先して参照する参照領域であり、
    前記スキャンインデックスが垂直方向優先スキャンを示すときは、垂直方向の変換係数を優先して参照する参照領域であることを特徴とする請求項1または2に記載の算術復号装置。
  4. サブブロック内の係数位置に基づいて、処理順で直前に位置する座標の変換係数を含まない参照領域が選択されることを特徴とする請求項1から3の何れか1項に記載の算術復号装置。
  5. サブブロック内の係数位置に基づいて、処理対象の変換係数があるスキャン列の直前に復号されたスキャン列に位置する変換係数を含まない参照領域を選択することを特徴とする請求項1から3の何れか1項に記載の算術復号装置。
  6. 前記参照領域は、
    処理順で直前に位置する座標の変換係数を含まない参照領域であることを特徴とする請求項1から3の何れか1項に記載の算術復号装置。
  7. 前記スキャンインデックスが水平方向優先スキャンを示すとき、サブブロック内のスキャン順が2つの4×2サブサブブロックを順にスキャンするスキャン順を用い、
    前記スキャンインデックスが垂直方向優先スキャンを示すとき、サブブロック内のスキャン順として、2つの2×4サブサブブロックを順にスキャンするスキャン順を用いることを特徴とする請求項1から6の何れか1項に記載の算術復号装置。
  8. 前記斜め方向スキャンは、サブブロック内の係数を斜め方向に1列毎にスキャンする斜め方向スキャンであって、
    前記水平方向優先スキャンは、サブブロック内の係数を横1行毎にスキャンする水平方向優先スキャンであって、
    前記垂直方向優先スキャンは、サブブロック内の係数を縦1列毎にスキャンする垂直方向優先スキャンであって、
    前記斜め方向スキャンのときに適用する参照領域は、処理対象の変換係数があるスキャン列の直前に復号されたスキャン列に位置する変換係数を含まない参照領域であり、かつ
    前記水平方向優先スキャン、または前記垂直方向優先スキャンのときに適用する参照領域は、処理対象の変換係数があるスキャン列に位置する復号済の変換係数を含まない参照領域であることを特徴とする請求項3に記載の算術復号装置。
  9. 前記斜め方向スキャンは、正方形のサブブロック内の係数を斜め方向に1列毎にスキャンする斜め方向スキャンであり、
    前記水平方向優先スキャンは、横長のサブブロック内の係数を斜め方向に1列毎にスキャンする水平方向優先スキャンであり、
    前記垂直方向優先スキャンは、縦長のサブブロック内の係数を斜め方向に1列毎にスキャンする垂直方向優先スキャンであり、
    サブブロック内の係数位置に基づいて、処理順で直前に位置する座標の変換係数を含まない参照領域が選択されることを特徴とする請求項3に記載の算術復号装置。
  10. 前記斜め方向スキャンは、正方形のサブブロック内の係数を斜め方向に1列毎にスキャンする斜め方向スキャンであり、
    前記水平方向優先スキャンは、横長のサブブロック内の係数を水平方向にジグザグにスキャンする水平方向優先スキャンであり、
    前記垂直方向優先スキャンは、縦長のサブブロック内の係数を垂直方向にジグザグにスキャンする垂直方向優先スキャンであり、
    前記参照領域は、処理順で直前に位置する座標の変換係数を含まない参照領域であることを特徴とする請求項3に記載の算術復号装置。
  11. 対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、
    処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、
    上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを復号するサブブロック係数有無フラグ復号手段と、
    対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、
    各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、
    各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術復号するシンタックス復号手段と、
    を備え、
    対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、処理対象の変換係数より前に復号された変換係数のうち、スキャン順で定まる所定範囲に含まれる復号済の非0変換係数の数に基づいて導出し、
    対象サブブロックについて復号されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして復号処理を行う、
    ことを特徴とする算術復号装置。
  12. 前記スキャン順で定まる所定範囲は、
    スキャン順でn番目の処理対象の変換係数を基準として、スキャン順でn+1からn+P番目までのP個(Pは自然数)の変換係数を除く、スキャン順でn+P+1からn+P+Q番目(Qは自然数)までの変換係数を含む第1の参照範囲、または、
    スキャン順でn+P+1からスキャン順で、処理対象の変換係数を含むブロックの終端に位置する係数までの変換係数を含む第2の参照範囲のうち、参照係数の個数が少ない方の参照範囲であることを特徴とする請求項11に記載の算術復号装置。
  13. 前記スキャン順で定まる所定範囲は、
    スキャン順でn番目の処理対象の変換係数を基準として、スキャン順でn+1からn+P番目までのP個(Pは自然数)の変換係数を除く、スキャン順でn+P+1からn+P+Q番目(Qは自然数)までの変換係数を含む第1の参照範囲、または、
    スキャン順でn+P+1からスキャン順で、処理対象の変換係数を含むサブブロックの終端に位置する係数までの変換係数を含む第2の参照範囲のうち、参照係数の個数が少ない方の参照範囲であることを特徴とする請求項11に記載の算術復号装置。
  14. 請求項1から13の何れか1項に記載の算術復号装置と、
    上記算術復号装置によって復号された変換係数を逆周波数変換することによって残差画像を生成する逆周波数変換手段と、
    上記逆周波数変換手段によって生成された残差画像と、生成済みの復号画像から予測された予測画像とを加算することによって復号画像を生成する復号画像生成手段と、
    を備えていることを特徴とする画像復号装置。
  15. 対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを生成する算術符号化装置であって、
    処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、
    上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを符号化するサブブロック係数有無フラグ符号化手段と、
    対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、
    各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、
    各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術符号化するシンタックス符号化手段と、
    を備え、
    対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、変換係数のスキャン方向を示すスキャンインデックスに基づいて選択された参照領域に含まれる符号化済の非0変換係数の数に基づいて導出し、
    対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして符号化処理を行う、
    ことを特徴とする算術符号化装置。
  16. 対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを生成する算術符号化装置であって、
    処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、
    上記サブブロック分割手段により分割された各サブブロックについて、該サブブロックに非0変換係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを符号化するサブブロック係数有無フラグ符号化手段と、
    対象周波数領域を、各周波数成分、及び、各サブブロックの少なくとも何れかを分割単位として複数の部分領域に分割する分割手段と、
    各部分領域に属する各変換係数が0である否かを示すシンタックスである各変換係数有無フラグに割り付けるコンテキストインデックスを導出するコンテキストインデックス導出手段と、
    各部分領域に属する各変換係数有無フラグを、該変換係数有無フラグに割りつけられたコンテキストインデックスによって指定される確率状態に基づいて算術符号化するシンタックス符号化手段と、
    を備え、
    対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が少なくとも1つ含まれることを示している場合であって、当該対象サブブロックが、対象周波数領域において中周波数域の部分領域に属するものである場合、上記コンテキストインデックス導出手段は、当該対象サブブロックに属する各変換係数有無フラグに割り付けるコンテキストインデックスを、処理対象の変換係数より前に符号化された変換係数のうち、スキャン順で定まる所定範囲に含まれる符号化済みの非0変換係数の数に基づいて導出し、
    対象サブブロックについて符号化されたサブブロック係数有無フラグが、当該対象サブブロックに非0変換係数が含まれていないことを示している場合、当該対象サブブロックに属する全ての変換係数の各々についての変換係数有無フラグを、該変換係数が0であることを示すものとして符号化処理を行う、
    ことを特徴とする算術符号化装置。
  17. 符号化対象画像と予測画像との残差画像を単位領域毎に周波数変換することによって変換係数を生成する変換係数生成手段と、
    請求項15または16に記載の算術符号化装置と、
    を備えており、
    上記算術符号化装置は、上記変換係数生成手段によって生成された変換係数を表す各種のシンタックスを算術符号化することによって符号化データを生成するものである、
    ことを特徴とする画像符号化装置。
JP2012058005A 2012-03-14 2012-03-14 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置 Pending JP2013192118A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012058005A JP2013192118A (ja) 2012-03-14 2012-03-14 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012058005A JP2013192118A (ja) 2012-03-14 2012-03-14 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置

Publications (1)

Publication Number Publication Date
JP2013192118A true JP2013192118A (ja) 2013-09-26

Family

ID=49391943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012058005A Pending JP2013192118A (ja) 2012-03-14 2012-03-14 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置

Country Status (1)

Country Link
JP (1) JP2013192118A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015159378A (ja) * 2014-02-21 2015-09-03 キヤノン株式会社 画像復号装置、画像復号方法及びプログラム
CN105940676A (zh) * 2014-01-24 2016-09-14 联发科技股份有限公司 能够至少依据一个语法元素解码结果来控制扫描程序的重复次数的解码装置与相关的解码方法
KR20190032297A (ko) * 2016-06-29 2019-03-27 인터디지털 브이씨 홀딩스 인코포레이티드 간단한 로컬 예측기를 사용하는 개선된 유의 플래그 코딩을 위한 방법 및 장치
JP2019161595A (ja) * 2018-03-16 2019-09-19 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システム
CN111386702A (zh) * 2017-11-23 2020-07-07 交互数字Vc控股公司 编码和解码方法以及相应的设备
CN113411579A (zh) * 2016-05-13 2021-09-17 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105940676A (zh) * 2014-01-24 2016-09-14 联发科技股份有限公司 能够至少依据一个语法元素解码结果来控制扫描程序的重复次数的解码装置与相关的解码方法
CN105940676B (zh) * 2014-01-24 2019-06-21 联发科技股份有限公司 解码装置与相关的解码方法
JP2015159378A (ja) * 2014-02-21 2015-09-03 キヤノン株式会社 画像復号装置、画像復号方法及びプログラム
CN113411579A (zh) * 2016-05-13 2021-09-17 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
CN113411579B (zh) * 2016-05-13 2024-01-23 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
US11490104B2 (en) 2016-06-29 2022-11-01 Interdigital Vc Holdings, Inc. Method and apparatus for improved significance flag coding using simple local predictor
JP7034101B2 (ja) 2016-06-29 2022-03-11 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置
KR102402532B1 (ko) * 2016-06-29 2022-05-27 인터디지털 브이씨 홀딩스 인코포레이티드 간단한 로컬 예측기를 사용하는 개선된 유의 플래그 코딩을 위한 방법 및 장치
JP2019520001A (ja) * 2016-06-29 2019-07-11 インターデジタル ヴイシー ホールディングス, インコ 簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置
KR20190032297A (ko) * 2016-06-29 2019-03-27 인터디지털 브이씨 홀딩스 인코포레이티드 간단한 로컬 예측기를 사용하는 개선된 유의 플래그 코딩을 위한 방법 및 장치
CN111386702A (zh) * 2017-11-23 2020-07-07 交互数字Vc控股公司 编码和解码方法以及相应的设备
JP2021504996A (ja) * 2017-11-23 2021-02-15 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 符号化及び復号化方法並びに対応デバイス
US11695962B2 (en) 2017-11-23 2023-07-04 Interdigital Vc Holdings, Inc. Encoding and decoding methods and corresponding devices
JP7398368B2 (ja) 2017-11-23 2023-12-14 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 符号化及び復号化方法並びに対応デバイス
CN111386702B (zh) * 2017-11-23 2024-06-11 交互数字Vc控股公司 编码和解码方法以及相应的设备
WO2019176207A1 (ja) * 2018-03-16 2019-09-19 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システム
JP2019161595A (ja) * 2018-03-16 2019-09-19 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化/復号システム

Similar Documents

Publication Publication Date Title
JP7001768B2 (ja) 算術復号装置
US11627337B2 (en) Image decoding device
JP6560702B2 (ja) 算術復号装置、算術符号化装置、算術復号方法、および、算術符号化方法
JP6190361B2 (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP6441406B2 (ja) 動画像復号装置
WO2017195555A1 (ja) 画像復号装置および画像符号化装置
WO2016203981A1 (ja) 画像復号装置及び画像符号化装置
WO2016203881A1 (ja) 算術復号装置及び算術符号化装置
WO2013047805A1 (ja) 画像復号装置、画像復号方法および画像符号化装置
JP2021034980A (ja) 画像符号化装置、および、画像復号装置
JP2013192118A (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2013187869A (ja) 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置
JP2013141094A (ja) 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造
WO2020004349A1 (ja) 動画像符号化装置および動画像復号装置
JP2022068379A (ja) 画像復号装置
JP2020141285A (ja) 画像復号装置
WO2021246284A1 (ja) 動画像復号装置及び動画像符号化装置
JP2013223051A (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2021153213A (ja) 動画像符号化装置および動画像復号装置
WO2012147947A1 (ja) 画像復号装置、および画像符号化装置
JP2021197557A (ja) 画像復号装置及び画像符号化装置
JP2021153214A (ja) 動画像符号化装置および動画像復号装置
WO2012043676A1 (ja) 復号装置、符号化装置、および、データ構造