JP2020171063A - 算術復号装置 - Google Patents

算術復号装置 Download PDF

Info

Publication number
JP2020171063A
JP2020171063A JP2020123926A JP2020123926A JP2020171063A JP 2020171063 A JP2020171063 A JP 2020171063A JP 2020123926 A JP2020123926 A JP 2020123926A JP 2020123926 A JP2020123926 A JP 2020123926A JP 2020171063 A JP2020171063 A JP 2020171063A
Authority
JP
Japan
Prior art keywords
flag
coefficient
conversion
unit
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020123926A
Other languages
English (en)
Other versions
JP7001768B2 (ja
Inventor
健史 筑波
Kenji Tsukuba
健史 筑波
知宏 猪飼
Tomohiro Igai
知宏 猪飼
山本 智幸
Tomoyuki Yamamoto
智幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2020171063A publication Critical patent/JP2020171063A/ja
Priority to JP2021211227A priority Critical patent/JP7241159B2/ja
Application granted granted Critical
Publication of JP7001768B2 publication Critical patent/JP7001768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Abstract

【課題】変換係数の符号化及び復号に係る処理量を削減する【解決手段】量子化残差情報復号部111の備える係数有無フラグ復号部124は、対象周波数領域、または対象画素領域をサブブロックに分割し、変換スキップあるいは変換量子化バイパスによって得られる画素領域における各変換係数と、周波数変換によって周波数成分毎に得られる各変換係数に対して、異なるコンテキストインデックスを導出する。【選択図】図1

Description

本発明は、算術符号化された符号化データを復号する算術復号装置、および、そのような算術復号装置を備えている画像復号装置に関する。また、算術符号化された符号化データを生成する算術符号化装置、および、そのような算術符号化装置を備えている画像符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置(画像符号化装置)、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置(画像復号装置)が用いられている。
具体的な動画像符号化方式としては、例えば、H.264/MPEG−4.AVCや、その後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている方式(非特許文献1)などが挙げられる。
このような動画像符号化方式においては、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位(コーディングユニット(Coding Unit)と呼ばれることもある)、及び、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化/復号される。
また、このような符号化方式においては、通常、入力画像を符号化及び復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分画像(「残差画像」または「予測残差」と呼ぶこともある)をブロック毎にDCT(Discrete Cosine Transform)変換等の周波数変換を施すことによって得られる変換係数が符号化される。
変換係数の具体的な符号化の方式としては、コンテキスト適応型2値算術符号化(CABAC:Context-based Adaptive Binary Arithmetic Coding)が知られている。
CABACでは、変換係数を表す各種のシンタックスに対して2値化処理が施され、この2値化処理によって得られた2値データが算術符号化される。ここで、上記各種のシンタックスとしては、変換係数が0であるか否かを示すフラグ、すなわち非0係数の有無を示すフラグsignificant_coeff_flag(係数有無フラグとも呼ぶ)、変換係数の絶対値が1を超えるものであるか否かを示すフラグcoeff_abs_level_greater1_flag(GR1フラグとも呼ぶ)、変換係数の絶対値が2を超えるものであるか否かを示すフラグcoeff_abs_level_greater2_flag(GR2フラグ)、並びに、処理順で最後の非0係数の位置を示すシンタックスlast_significant_coeff_x及びlast_significant_coeff_yなどが挙げられる。
また、CABACでは、シンボル(2値データの1ビット、Binとも呼ぶ)を1つ符号化する際、コンテキストインデックスが参照され、当該コンテキストインデックスによって指定されるコンテキスト変数に含まれる確率状態インデックスの指し示す発生確率に応じた算術符号化が行われる。コンテキストインデックスは、例えば、算術符号化の対象シンタックスが係数有無フラグである場合、変換係数の周波数成分内の位置に応じて導出される。また、確率状態インデックスによって指定される発生確率は、シンボルを1つ符号化する毎に更新される。なお、以下の記載では、特定のBinの符号化時に参照するコンテキストインデックスを導出する処理のことを、コンテキスト導出処理とも表現する。
非特許文献1では、変換係数の正負を表わす符号の符号化方法として、サインハイディングが採用されている。サインハイディングとは、変換係数の符号を明示的に符号化せず、計算により算出する方法である。
また、非特許文献1では、非0係数の符号化方法として、2レイヤ符号化が採用されている。2レイヤ符号化とは、変換単位を複数のサブブロックに2分割し、当該サブブロックに含まれる変換係数それぞれについて、変換係数が非0であるか否かを示すフラグ(significant_coeff_flag)を符号化するとともに、サブブロック単位で、非0係数が含まれているか否かを示すフラグ(significant_coeff_group_flag)を符号化する。
また、非特許文献1では、変換単位(Transform unit;TU)のサイズに応じて次のように符号化を行う。すなわち、小TU(4×4、8×8)では、サブブロックサイズとして、4×4または8×2が用いられ、位置ベースで周波数成分に割り付けるコンテキストが導出される。位置ベースでのコンテキスト導出では、周波数成分に対して、周波数領域内での当該周波数成分の位置に応じて定まるコンテキストインデックス(位置コンテキストとも呼ぶ)が割り付けられる。
また、大TU(16×16、32×32、16×4、4×16、32×8、8×32)では、サブブロックサイズとして、4×4が用いられ、周辺参照ベースで周波数成分に割り付けるコンテキストが導出される。周辺参照ベースでのコンテキスト導出では、周波数成分に対して、当該周波数成分の周辺の周波数成分における非0係数の数(すなわち、significant_coeff_flagが参照される)に応じて定まるコンテキストインデックス(周辺参照コンテキストとも呼ぶ)が割り付けられる。
また、非特許文献2では、変換単位毎に、周波数変換の処理をスキップするか否かを制御する技術が開示されている。以降、周波数変換の処理をスキップすることを変換スキップと称する。
また、非特許文献3では、符号化単位毎に、周波数変換、量子化およびループフィルタの処理をスキップするか否かを制御する技術が開示されている。以降、周波数変換、量子化の処理をスキップすることを変換量子化バイパスと称する。変換量子化バイパスは、主にロスレス符号化時に利用される。
そのため、変換量子化バイパスと呼ばず、単にロスレスモードと呼ぶこともできる。
「Suggested bug-fixes for HEVC text specification draft6(JCTVC-I0030)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April ‐ 7 May 2012(2012年4月公開) #Transform Skipping(JCTVC-I0408) 「Intra transform skipping(JCTVC-I0408)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 9th Meeting: Geneva, CH, 27 April ‐ 7 May 2012(2012年4月公開) #cu_transquant_bypass_flag(JCTVC-I0529) 「AHG 13: Proposed bugfix for tickets 410 and 470 related to lossless coding(JCTVC-I0529)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITUTSG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 9th Meeting: Geneva, CH, 27 April ‐ 7 May 2012(2012年4月公開)
しかしながら、上述の従来技術では、変換スキップ、または、変換量子化バイパスを適用する際に、非0係数の有無を示すフラグや、レベル値が特定の値であるかを示すフラグ(GR1フラグ、GR2フラグ)のコンテキストが、TU内もしくはサブブロック内で一様ではないため、変換係数の符号化及び復号に係る処理量の削減が十分ではないという問題があった。また、変換スキップにおいて一部係数の符号(サイン)を復号しない、サインハイディングを行うための処理が必要になるという問題があった。
また、変換スキップおよび変換量子化バイパスを適用する場合には、TU内もしくはサブブロック内での係数の出現確率が一様である傾向があるが、従来技術では、変換係数の位置に応じてコンテキストを変更するため、符号化効率が十分ではないという問題があった。
また、ロスレスにおいて、サブブロック内で一様なコンテキストを用いる場合には、コンテキストインデックスが増加するという問題があった。
また、変換スキップにおいてサインハイディングを行う場合には、サインハイディングにより符号化効率が低下するという問題があった。変換係数の符号化及び復号に係る処理量の削減が十分ではないという問題があった。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、従来の構成に比べて変換係数の符号化及び復号に係る処理量の削減、および符号化効率の向上を図ることのできる算術復号装置及び算術符号化装置等を実現することにある。
上記課題を解決するために、本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって得られる変換係数、および変換スキップあるいは変換量子化バイパスによって得られる各変換係数の符号化データを復号する算術復号装置において、変換スキップフラグ、変換量子化バイパスフラグ、および対象サブブロック内における非0係数の位置の差を参照して、サインハイディングを行うか否かを示すサインハイディングフラグを導出するサインハイディングフラグ導出手段と、前記サインハイディングフラグがサインハイディングを行わないことを示す場合、前記符号化データから前記変換係数の符号を復号し、前記サインハイディングフラグがサインハイディングを行うことを示す場合、係数レベルの絶対値の和を参照して前記変換係数の符号を導出する、係数サイン復号手段と、を備えている。
以上のように、本発明に係る算術復号装置は、変換スキップフラグ、変換量子化バイパスフラグ、および対象サブブロック内における非0係数の位置の差を参照して、サインハイディングを行うか否かを示すサインハイディングフラグを導出するサインハイディングフラグ導出手段と、前記変換係数の符号を復号または導出する係数サイン復号手段と、を備える構成である。係数サイン復号手段は、前記サインハイディングフラグがサインハイディングを行わないことを示す場合、前記符号化データから前記変換係数の符号を復号し、前記サインハイディングフラグがサインハイディングを行うことを示す場合、係数レベルの絶対値の和を参照して前記変換係数の符号を導出する。
上記の構成によれば、従来の構成に比べて変換係数の符号化及び復号に係る処理量の削減、および符号化効率の向上を図ることができる。
本発明の実施形態に係る動画像復号装置の備える量子化残差情報復号部の構成を示すブロック図である。 本発明の実施形態に係る動画像符号化装置によって生成され、動画像復号装置によって復号される符号化データのデータ構成を示す図であり、(a)〜(d)は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびCUレイヤを示す図である。 (a)〜(h)は、PU分割タイプのパターンを示す図であり、それぞれ、PU分割タイプが、2N×N、2N×nU、2N×nD、2N×N、2N×nU、および、2N×nDの場合のパーティション形状について示している。(i)〜(o)は、正方形のノードを正方形または非正方形に4分木分割する分割方式について示す図であり。(i)は、正方形の分割、(j)は、横長の長方形の分割、(k)は、縦長の長方形の分割、(l)は、横長のノードの横長の分割、(m)は、横長のノードの正方形の分割、(n)は、縦長のノードの縦長の分割、および(o)は、縦長のノードの正方形の分割を示している。 実施形態に係る符号化データの量子化残差情報に含まれるシンタックスを示すシンタックステーブルの前半部分を示す図である。 実施形態に係る符号化データの量子化残差情報に含まれるシンタックスを示すシンタックステーブルの後半部分を示す図である。 ブロックとサブブロックの関係を示す図であり、(a)は4×4TUが4×4成分からなる1個のサブブロックから構成される例を示し、(b)は8×8TUが4×4成分からなる4個のサブブロックから構成される例を示し、(c)は16×16TUが4×4成分からなる16個のサブブロックから構成される例を示す。 実施形態に係る復号処理及び符号化処理のスキャン順を説明するための図であって、(a)は、サブブロックスキャンが順スキャンである場合を示しており、(b)は、サブブロック内スキャンが順スキャンである場合を示しており、(c)は、サブブロックスキャンが逆スキャンである場合を示しており、(d)は、サブブロック内スキャンが逆スキャンである場合を示している。 実施形態における非0係数の復号処理を説明するための図であって、(a)は、TUサイズが8×8であるブロックが4×4のサイズのサブブロックに分割された場合に、順スキャンにて各周波数成分がスキャンされる場合のスキャン順を示しており、(b)は、TUサイズが8×8の周波数成分よりなる周波数領域における0でない変換係数(非0変化係数)を例示しており、(c)は、復号対象の変換係数が、(b)に示すものである場合の各サブブロックについて復号されたサブブロック係数有無フラグsignificant_coeff_group_flagの各値を示しており、(d)は、復号対象の変換係数が、図8(b)に示すものである場合の非0係数の有無を示すシンタックスsignificant_coeff_flagの各値を示しており、(e)は、復号対象の変換係数が、(b)に示すものである場合のシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingを復号することによって得られた各変換係数の絶対値を示しており、(f)は、復号対象の変換係数が、(b)に示すものである場合のシンタックスcoeff_sign_flagを示している。 実施形態に係る動画像復号装置の構成を示すブロック図である。 実施形態に係る動画像復号装置の備える可変長符号復号部の構成を示すブロック図である。 実施形態に係る動画像復号装置において利用可能なイントラ予測の方向について示す図である。 イントラ予測モードと、当該イントラ予測モードに対応付けられている名前とを示す図である。 イントラ予測モードインデックスIntraPredModeと、log2TrafoSize-2の各値とによって指定されるスキャンインデックスscanIdxの例を示す表である。 スキャンインデックスを説明するための図であって、(a)は、スキャンインデックスscanIdxの各値によって指定されるスキャンタイプScanTypeを示しており、(b)は、TUサイズが4×4成分であるときの、水平方向優先スキャン(horizontal fast scan)、垂直方向優先スキャン(verticalfact scan)、及び、斜め方向スキャン(Up-right diagonal scan)の各スキャンのスキャン順を示している。(c)は、水平方向優先スキャン(horizontal fast scan)、垂直方向優先スキャン(vertical fact scan)の別の例を示す。 実施形態に係るサブブロック係数有無フラグ復号部の構成を示すブロック図である。 実施形態に係るサブブロック係数有無フラグ復号部による復号処理を説明するための図であって、(a)は、対象サブブロック(xCG、yCG)と、対象サブブロックの下側に隣接する隣接サブブロック(xCG、yCG+1)とを示しており、(b)は、対象サブブロック(xCG、yCG)と、対象サブブロックの右側に隣接する隣接サブブロック(xCG+1、yCG)とを示しており、(c)は、対象サブブロック(xCG、yCG)と、対象サブブロックの下側に隣接する隣接サブブロック(xCG、yCG+1)と、対象サブブロックの右側に隣接する隣接サブブロック(xCG+1、yCG)とを示している。 実施形態に係るサブブロック係数有無フラグ符号化及び復号処理を説明するための図であって、(a)は、16×16TUの周波数領域に存在する変換係数を示しており、(b)は、各サブブロックに割り付けられたサブブロック係数有無フラグを示している。 実施形態に係る係数有無フラグ復号部の構成を示すブロック図である。 変換スキップ・変換量子化バイパスフラグの復号処理を示す図であり、(a)は、変換量子化バイパスフラグ、及び変換スキップフラグのシンタックス例を示し、(b)は復号処理を具体的に説明するためのフローチャートである。 変換スキップ・変換量子化バイパスフラグの復号処理を示す図であり、(a)は、変換量子化バイパスフラグ、及び変換スキップフラグのシンタックス例を示し、(b)は復号処理を具体的に説明するためのフローチャートである。 従来例の変換スキップ・変換量子化バイパスフラグの復号処理を示す図であり、(a)は、変換量子化バイパスフラグ、及び変換スキップフラグのシンタックス例を示し、(b)は復号処理を具体的に説明するためのフローチャートである。 実施形態に係るコンテキストインデックス導出処理を説明するための図であって、(a)は、4×4のTUサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、輝度Y、色差U、Vに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示しており、(b)は、8×8のTUサイズを有する周波数領域に含まれる各周波数成分に対して導出されたコンテキストインデックスであって、輝度Y、色差U、Vに関するsignificant_coeff_flagを復号する際に参照されるコンテキストインデックスを示している。 実施形態に係る変換係数復号部によるスキャンタイプを選択する処理の流れを示すフローチャートである。 実施形態に係る変換係数復号部による変換係数復号処理の流れを示すフローチャートである。 実施形態に係る変換係数復号部によるサブブロック係数有無フラグを復号する処理の流れを示すフローチャートである。 実施形態に係る変換係数復号部によるサブブロック内の各係数有無フラグsignificant_coeff_flagを復号する処理の流れを示すフローチャートである。 CU予測方式情報PredMode、TUサイズ及びイントラ予測モードインデックスIntraPredModeにより、サブブロックサイズを導出する方法を示す図である。 パターンインデックスidxCGに従って、処理対象の周波数成分のサブブロック内での座標からコンテキストインデックスを導出するための疑似コードの別の例を示す図である。 図28に示す疑似コードによるコンテキストインデックス導出方法におけるコンテキストインデックスの値の配置を示す図である。 コンテキスト導出手段選択部におけるコンテキスト導出手段の選択処理を説明するためのフローチャートである。 コンテキスインデックスctxIdxの導出処理を説明するための図であり、(a)は、TU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ log2TrafoWidth-2 ][ log2TrafoHeight -2 ]を示す図であり、(b)は、TUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ log2TrafoSize-2 ]を示す図である。 予測タイプPredTypeとTU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightとに対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[PredType][ log2TrafoWidth-2 ][ log2TrafoHeight -2 ]を示す図である。 予測タイプPredTypeとTUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ PredType ][ log2TrafoSize-2 ]を示す図である。 変換スキップと変換量子化バイパスを識別する識別子indexと、TUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ PredType ][ log2TrafoSize-2 ]を示す図である。 GR1フラグの復号処理を示すフローチャートである。 GR2フラグの復号処理を示すフローチャートである。 残余係数レベルの復号処理を示すフローチャートである。 GR1フラグの符号化処理を示すフローチャートである。 フラグの符号化処理を示すフローチャートである。 残余係数レベルの符号化処理を示すフローチャートである。 パターンインデックスidxCGに従って、処理対象の周波数成分のサブブロック内での座標からコンテキストインデックスを導出するための実施例に係る疑似コードを示す図である。 図41に示す疑似コードによるコンテキストインデックス導出方法におけるコンテキストインデックスの値の配置を示す図である。 係数値復号部の構成例を示すブロック図である。 実施形態に掛る係数サイン復号部の動作を示すフローチャートである。 サインハイディングフラグ導出部におけるサインハイディングフラグ導出処理の流れを示すフローチャートである。 係数値復号部の別の構成例を示すブロック図である。 サイン符号導出部におけるサインハイディングの符号計算処理の詳細動作の流れを示すフローチャートである。 係数絶対値和sumAbsを用いない場合の係数サイン復号部の動作を示すフローチャートである。 係数絶対値和sumAbsを用いない構成におけるサイン符号導出部におけるサインハイディングの符号計算処理の詳細動作を示すフローチャートである。 実施形態に係る動画像符号化装置の構成を示すブロック図である。 実施形態に係る動画像符号化装置の備える可変長符号符号化部の構成を示すブロック図である。 本発明の実施形態に係る動画像符号化装置の備える量子化残差情報符号化部の構成を示すブロック図である。 変換スキップ・変換量子化バイパスフラグの符号化処理を説明するための図であり、(a)は、変換量子化バイパスフラグ、及び変換スキップフラグのシンタックス例を示し、(b)は符号化処理を具体的に説明するためのフローチャートである。 変換スキップ・変換量子化バイパスフラグの符号化処理を説明するための図であり、(a)は、変換量子化バイパスフラグ、及び変換スキップフラグのシンタックス例を示し、(b)は符号化処理を具体的に説明するためのフローチャートである。 従来の変換スキップ・変換量子化バイパスフラグの符号化処理を説明するための図であり、(a)は、変換量子化バイパスフラグ、及び変換スキップフラグのシンタックス例を示し、(b)は符号化処理を具体的に説明するためのフローチャートである。 実施形態に係る係数有無フラグ符号化部の構成を示すブロック図である。 実施形態に係るサブブロック係数有無フラグ符号化部の構成を示すブロック図である。 実施形態に係る係数値シンタックス導出部の構成例を示すブロック図である。 係数有無フラグ復号部の別の構成例を示すブロック図である。 コンテキスト導出手段選択部におけるコンテキスト導出手段の選択処理を説明するためのフローチャートである。 係数有無フラグ符号化部の別の構成例を示すブロック図である。 上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。(a)は、動画像符号化装置を搭載した送信装置を示しており、(b)は、動画像復号装置を搭載した受信装置を示している。 上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。(a)は、動画像符号化装置を搭載した記録装置を示しており、(b)は、動画像復号装置を搭載した再生装置を示している。
本発明に係る復号装置および符号化装置の実施形態について図面に基づいて説明すれば以下のとおりである。なお、本実施形態に係る復号装置は、符号化データから動画像を復号するものである。したがって、以下では、これを「動画像復号装置」と呼称する。また、本実施形態に係る符号化装置は、動画像を符号化することによって符号化データを生成するものである。したがって、以下では、これを「動画像符号化装置」と呼称する。
ただし、本発明の適用範囲はこれに限定されるものではない。すなわち、以下の説明からも明らかなように、本発明の特徴は複数のフレームを前提としなくとも成立するものである。すなわち、動画像を対象とするか静止画像を対象とするかを問わず、復号装置一般および符号化装置一般に適用できるものである。
(符号化データ#1の構成)
図2を用いて、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1の構成例について説明する。符号化データ#1は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
シーケンスレイヤでは、処理対象のシーケンスを復号するために、動画像復号装置1が参照するデータの集合が規定されている。シーケンスレイヤにはシーケンスパラメータセットSPS、ピクチャパラメータセットPPS、ピクチャPICTを含んでいる。
符号化データ#1におけるピクチャレイヤ以下の階層の構造を図2に示す。図2の(a)〜(d)は、それぞれ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、ツリーブロック(Tree block)TBLKを規定するツリーブロックレイヤ、ツリーブロックTBLKに含まれる符号化単位(Coding Unit;CU)を規定するCUレイヤを示す図である。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(a)に示すように、ピクチャヘッダPH、及び、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライスS1〜SNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ#1に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダPHには、対象ピクチャの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれている。ピクチャヘッダPHに含まれる符号化パラメータとしては、例えば、符号化単位毎(CU単位)に、逆量子化、逆周波数変換の処理をスキップするか否かを示すフラグ(cu_transqunat_bypass_flag;変換量子化バイパスフラグ)を明示的に符号化データから復号するか否かを示す変換量子化バイパス有効フラグ(transqunat_bypass_enable_flag)や、変換単位毎(TU単位)に、逆周波数変換の処理をスキップするか否かを示すフラグ(transform_skip_flag;変換スキップフラグ)を明示的に符号化データから復号するか否かを示す変換スキップ有効フラグ(transform_skip_enable_flag)などが挙げられる。
なお、変換量子化バイパスはロスレス時に主に用いられるため、変換量子化バイパスフラグと呼ばずロスレスフラグ(cu_lossless_flag)と呼ぶこともできる。なお、上記変換量子化バイパス有効フラグと、変換スキップ有効フラグは、ピクチャヘッダPHではなく、上位のレイヤ(シーケンスパラメータセットSPS、ピクチャパラメータセットPPS)や、下位のレイヤ(スライスヘッダSH)の符号化パラメータに記述示してもよい。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(b)に示すように、スライスヘッダSH、及び、ツリーブロックTBLK1〜TBLKNC(NCはスライスSに含まれるツリーブロックの総数)を含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単予測、又は、イントラ予測を用いるPスライス、(3)符号化の際に単予測、双予測、又は、イントラ予測を用いるBスライスなどが挙げられる。
また、スライスヘッダSHには、動画像復号装置1の備えるループフィルタによって参照されるフィルタパラメータFPが含まれている。フィルタパラメータFPは、フィルタ係数群を含んでいる。フィルタ係数群には、(1)フィルタのタップ数を指定するタップ数指定情報、(2)フィルタ係数a0〜aNT-1(NTは、フィルタ係数群に含まれるフィルタ係数の総数)、および、(3)オフセットが含まれる。
(ツリーブロックレイヤ)
ツリーブロックレイヤでは、処理対象のツリーブロックTBLK(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ツリーブロックTBLKは、ツリーブロックヘッダTBLKHと、符号化単位情報CU1〜CUNL(NLはツリーブロックTBLKに含まれる符号化単位情報の総数)とを含む。ここで、まず、ツリーブロックTBLKと、符号化単位情報CUとの関係について説明すると次のとおりである。
ツリーブロックTBLKは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックTBLKの上記ユニットは、再帰的な4分木分割により分割されている。この再帰的な4分木分割により得られる木構造のことを以下、符号化ツリー(coding tree)と称する。
以下、符号化ツリーの末端のノードであるリーフ(leaf)に対応するユニットを、符号化ノード(coding node)として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位(CU)とも称する。
つまり、符号化単位情報CU1〜CUNLは、ツリーブロックTBLKを再帰的に4分木分割して得られる各符号化ノード(符号化単位)に対応する情報である。
また、符号化ツリーのルート(root)は、ツリーブロックTBLKに対応付けられる。換言すれば、ツリーブロックTBLKは、複数の符号化ノードを再帰的に含む4分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード(すなわち、当該符号化ノードの1階層上位のノードのユニット)のサイズの縦横とも半分である。
また、各符号化ノードの取り得るサイズは、符号化データ#1のシーケンスパラメータセットSPSに含まれる、符号化ノードのサイズ指定情報および最大階層深度(maximum hierarchical depth)に依存する。例えば、ツリーブロックTBLKのサイズが64×64画素であって、最大階層深度が3である場合には、当該ツリーブロックTBLK以下の階層における符号化ノードは、4種類のサイズ、すなわち、64×64画素、32×32画素、16×16画素、および8×8画素の何れかを取り得る。
(ツリーブロックヘッダ)
ツリーブロックヘッダTBLKHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図2の(c)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TBLK、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロック分割情報SP_TBLKは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各CUの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報SP_TBLKは、CUの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報SP_TBLKは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各CUの形状やサイズを特定できる。
また、量子化パラメータ差分Δqpは、対象ツリーブロックにおける量子化パラメータqpと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータqp’との差分qp−qp’である。
(CUレイヤ)
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ここで、符号化単位情報CUに含まれるデータの具体的な内容の説明をする前に、CUに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU)とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との2つがある。
イントラ予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)と、N×Nとがある。
また、インター予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)、2N×N、N×2N、および、N×Nなどがある。
また、変換ツリーにおいては、符号化ノードが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。TUのサイズは、変換ブロックの横幅の対数値log2TrafoWidthと縦幅の対数値log2TrafoHeightとで表される。TUのサイズはまた、以下の式で得られる値log2TrafoSizeでも表される。
log2TrafoSize = ( log2TrafoWidth + log2TrafoHeight ) >> 1以下、横幅W×縦幅Hのサイズを有するTUをW×HTUと呼ぶ(例:4×4TU)。
(符号化単位情報のデータ構造)
続いて、図2の(d)を参照しながら符号化単位情報CUに含まれるデータの具体的な内容について説明する。図2の(d)に示すように、符号化単位情報CUは、具体的には、変換量子化バイパスフラグ(transquant_bypass_flag; TBFとも称する)、スキップモードフラグSKIP、CU予測タイプ情報Pred_type、PT情報PTI、および、TT情報TTIを含む。
[変換量子化バイパスフラグ]
変換量子化バイパスフラグtransquant_bypass_flagは、対象CUに含まれる各TUについて、逆量子化、及び逆変換を適用するか否かを示すフラグである。変換量子化バイパスフラグの値が1の場合、対象CUに含まれる各TUに関して、逆量子化・逆変換の処理は省略される。なお、変換量子化バイパスフラグtransquant_bypass_flagは、transquant_bypass_enable_flagの値が1の場合、明示的に符号化(復号)される。一方、transquant_bypass_enable_flagの値が0の場合は、変換量子化バイパスフラグのシンタックスの符号化(復号)は省略され、変換量子化バイパスフラグの値は0(transqunt_bypass_flag==0)と解釈される。なお変換量子化バイパスフラグは、CUレイヤではなく、下位レイヤである変換単位(TU)毎に符号化(復号)されてもよい。
[スキップフラグ]
スキップフラグSKIPは、対象CUについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグSKIPの値が1の場合、すなわち、対象CUにスキップモードが適用されている場合、その符号化単位情報CUにおけるPT情報PTIは省略される。なお、スキップフラグSKIPは、Iスライスでは省略される。
[CU予測タイプ情報]
CU予測タイプ情報Pred_typeは、CU予測方式情報PredModeおよびPU分割タイプ情報PartModeを含む。CU予測タイプ情報のことを単に予測タイプ情報と呼ぶこともある。
CU予測方式情報PredModeは、対象CUに含まれる各PUについての予測画像生成方法として、イントラ予測(イントラCU)、および、インター予測(インターCU)のいずれを用いるのかを指定するものである。なお、以下では、対象CUにおける、スキップ、イントラ予測、および、インター予測の種別を、CU予測モードと称する。
PU分割タイプ情報PartModeは、対象符号化単位(CU)の各PUへの分割のパターンであるPU分割タイプを指定するものである。以下、このように、PU分割タイプに従って、対象符号化単位(CU)を各PUへ分割することをPU分割と称する。
PU分割タイプ情報PartModeは、例示的には、PU分割パターンの種類を示すインデックスであってもよいし、対象予測ツリーに含まれる各PUの形状、サイズ、および、対象予測ツリー内での位置が指定されていてもよい。
なお、選択可能なPU分割タイプは、CU予測方式とCUサイズに応じて異なる。また、さらにいえば、選択可能なPU分割タイプは、インター予測およびイントラ予測それぞれの場合において異なる。また、PU分割タイプの詳細については後述する。
[PT情報]
PT情報PTIは、対象CUに含まれるPTに関する情報である。言い換えれば、PT情報PTIは、PTに含まれる1または複数のPUそれぞれに関する情報の集合である。上述のとおり予測画像の生成は、PUを単位として行われるので、PT情報PTIは、動画像復号装置1によって予測画像が生成される際に参照される。PT情報PTIは、図2の(d)に示すように、各PUにおける予測情報等を含むPU情報PUI1〜PUINP(NPは、対象PTに含まれるPUの総数)を含む。
予測情報PUIは、予測タイプ情報Pred_modeが何れの予測方法を指定するのかに応じて、イントラ予測パラメータPP_Intra、または、インター予測パラメータPP_Interを含む。以下では、イントラ予測が適用されるPUをイントラPUとも呼称し、インター予測が適用されるPUをインターPUとも呼称する。
インター予測パラメータPP_Interは、動画像復号装置1が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。
インター予測パラメータPP_Interとしては、例えば、マージフラグ(merge_flag)、マージインデックス(merge_idx)、推定動きベクトルインデックス(mvp_idx)、参照画像インデックス(ref_idx)、インター予測フラグ(inter_pred_flag)、および動きベクトル残差(mvd)が挙げられる。
イントラ予測パラメータPP_Intraは、動画像復号装置1が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。
イントラ予測パラメータPP_Intraとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。
なお、イントラ予測パラメータには、PCMモードを用いるか否かを示すPCMモードフラグが含まれていてもよい。PCMモードフラグが符号化されている場合であって、PCMモードフラグがPCMモードを用いることを示しているときには、予測処理(イントラ)、変換処理、および、エントロピー符号化の各処理が省略される。
[TT情報]
TT情報TTIは、CUに含まれるTTに関する情報である。言い換えれば、TT情報TTIは、TTに含まれる1または複数のTUそれぞれに関する情報の集合であり、動画像復号装置1により残差データを復号する際に参照される。なお、以下、TUのことをブロックと称することもある。
TT情報TTIは、図2の(d)に示すように、対象CUの各変換ブロックへの分割パターンを指定するTT分割情報SP_TU、および、TU情報TUI1〜TUINT(NTは、対象CUに含まれるブロックの総数)を含んでいる。
TT分割情報SP_TUは、具体的には、対象CUに含まれる各TUの形状、サイズ、および、対象CU内での位置を決定するための情報である。例えば、TT分割情報SP_TUは、対象となるノードの分割を行うのか否かを示す情報(split_transform_flag)と、その分割の深度を示す情報(trafoDepth)とから実現することができる。
また、例えば、CUのサイズが、64×64の場合、分割により得られる各TUは、32×32画素から4×4画素までのサイズを取り得る。
TU情報TUI1〜TUINTは、TTに含まれる1または複数のTUそれぞれに関する個別の情報である。例えば、TU情報TUIは、量子化予測残差(量子化残差とも呼ぶ)を含んでいる。
各量子化予測残差は、動画像符号化装置2が以下の処理A、または、B、またはCを、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
(処理A:周波数変換・量子化を実施し、量子化された変換係数を可変長符号化する場合)
処理A−1:符号化対象画像から予測画像を減算した予測残差を周波数変換(例えばDCT変換(Discrete Cosine Transform))する;
処理A−2:処理A−1にて得られた変換係数を量子化する;
処理A−3:処理A−2にて量子化された変換係数を可変長符号化する;
(処理B:周波数変換をスキップし、量子化を実施し、量子化された予測残差の値を可変長符号化する場合(変換スキップ時))
処理B−1:符号化対象画像から予測画像を減算した予測残差を量子化する;
処理B−2:処理B−1にて量子化された予測残差(係数)を可変長符号化する;
(処理C:周波数変換、及び量子化をスキップし、予測残差の値を可変長符号化する場合(変換量子化バイパス時))
処理C−1:符号化対象画像から予測画像を減算した予測残差を可変長符号化する;
以下、予測残差の変換係数、予測残差の係数を区別せず単に「変換係数」と呼ぶ。
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
(PU分割タイプ)
PU分割タイプには、対象CUのサイズを2N×2N画素とすると、次の合計8種類のパターンがある。すなわち、2N×2N画素、2N×N画素、N×2N画素、およびN×N画素の4つの対称的分割(symmetric splittings)、並びに、2N×nU画素、2N×nD画素、nL×2N画素、およびnR×2N画素の4つの非対称的分割(asymmetric splittings)である。なお、N=2m(mは1以上の任意の整数)を意味している。以下、対称CUを分割して得られる領域のことをパーティションとも称する。
図3の(a)〜(h)に、それぞれの分割タイプについて、CUにおけるPU分割の境界の位置を具体的に図示している。
図3の(a)は、CUの分割を行わない2N×2NのPU分割タイプを示している。また、図3の(b)、(c)、および(d)は、それぞれ、PU分割タイプが、2N×N、2N×nU、および、2N×nDである場合のパーティションの形状について示している。また、図3の(e)、(f)、および(g)は、それぞれ、PU分割タイプが、N×2N、nL×2N、および、nR×2Nである場合のパーティションの形状について示している。また、図3の(h)は、PU分割タイプが、N×Nである場合のパーティションの形状を示している。
図3の(a)および(h)のPU分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図3の(b)〜(g)のPU分割タイプのことは、非正方形分割とも称する。
また、図3の(a)〜(h)において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。
[インター予測の場合の分割タイプ]
インターPUでは、上記8種類の分割タイプのうち、N×N(図3の(h))以外の7種類が定義されている。なお、上記6つの非対称的分割は、AMP(Asymmetric Motion Partition)と呼ばれることもある。
また、Nの具体的な値は、当該PUが属するCUのサイズによって規定され、nU、nD、nL、および、nRの具体的な値は、Nの値に応じて定められる。例えば、128×128画素のインターCUは、128×128画素、128×64画素、64×128画素、64×64画素、128×32画素、128×96画素、32×128画素、および、96×128画素のインターPUへ分割することが可能である。
[イントラ予測の場合の分割タイプ]
イントラPUでは、次の2種類の分割パターンが定義されている。対象CUを分割しない、すなわち対象CU自身が1つのPUとして取り扱われる分割パターン2N×2Nと、対象CUを、4つのPUへと対称的に分割するパターンN×Nと、である。
したがって、イントラPUでは、図3に示した例でいえば、(a)および(h)の分割パターンを取ることができる。
例えば、128×128画素のイントラCUは、128×128画素、および、64×64画素のイントラPUへ分割することが可能である。
(TU分割タイプ)
次に、図3(i)〜(o)を用いて、TU分割タイプについて説明する。TU分割のパターンは、CUのサイズ、分割の深度(trafoDepth)、および対象PUのPU分割タイプにより定まる。
また、TU分割のパターンには、正方形の4分木分割と、非正方形の4分木分割とが含まれる。
図3の(i)〜(k)は、正方形のノードを正方形または非正方形に4分木分割する分割方式について示している。より具体的には、図3の(i)は、正方形のノードを正方形に4分木分割する分割方式を示している。また、同図の(j)は、正方形のノードを横長の長方形に4分木分割する分割方式を示している。そして、同図の(k)は、正方形のノードを縦長の長方形に4分木分割する分割方式を示している。
また、図3の(l)〜(o)は、非正方形のノードを正方形または非正方形に4分木分割する分割方式について示している。より具体的には、図3の(l)は、横長の長方形のノードを横長の長方形に4分木分割する分割方式を示している。また、同図の(m)は、横長の長方形のノードを正方形に4分木分割する分割方式を示している。また、同図の(n)は、縦長の長方形のノードを縦長の長方形に4分木分割する分割方式を示している。そして、同図の(o)は、縦長の長方形のノードを正方形に4分木分割する分割方式
を示している。
(量子化残差情報QDの構成)
量子化残差情報QDは、最後の非0係数の位置や、サブブロック内の非0係数の有無、各位置での非0係数の有無、変換係数のレベル、係数の符号等の情報を含んでいてもよい。例えば、図4及び図5では、量子化残差情報QD(図4ではresidual_coding_cabac()と表記)に含まれる各シンタックスが示されている。
図4は、量子化残差情報QDに含まれるシンタックスを示すシンタックステーブルの前半部分を示す図である。図5は、量子化残差情報QDに含まれるシンタックスを示すシンタックステーブルの後半部分を示す図である。
図4及び図5に示すように、量子化残差情報QDは、シンタックスtransqunat_bypass_flag, transform_skip_flag、last_significant_coeff_x、last_significant_coeff_y、significant_coeff_group_flag、significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_remainingを含む構成であってもよい。
量子化残差情報QDに含まれる各シンタックスは、コンテキスト適応型2値算術符号化(CABAC)によって符号化されている。
変換係数は、低周波数側から高周波数側に向かって順次スキャンが行われる。このスキャン順を、順スキャンと呼ぶこともある。一方で、順スキャンとは逆に高周波数側から低周波数側のスキャンも用いられる。このスキャン順を、逆スキャンと呼ぶこともある。なお、変換スキップ、あるいは変換量子化バイパスが実施される場合には、画素領域において、上記順スキャン、および逆スキャンが適用される。
シンタックスlast_significant_coeff_x及びlast_significant_coeff_yは、順スキャン方向に沿って最後の非0係数の位置を示すシンタックスである。なお、各シンタックスをさらにprefixとsuffixに分けて符号化しても構わない。ラスト係数位置のプレフィックスlast_significant_coeff_x_prefix、last_significant_coeff_y_prefixと、ラスト係数位置のサフィックスlast_significant_coeff_x_suffix、last_significant_coeff_y_suffixと、を用いて、ラスト係数位置が導出されても構わない。
シンタックスsignificant_coeff_flagは、非0係数を起点として逆スキャン方向に沿った各周波数成分について、非0係数の有無を示すシンタックスである。シンタックスsignificant_coeff_flagは、各xC、yCについて、変換係数が0であれば0、変換係数が0でなければ1をとるフラグである。なお、シンタックスsignificant_coeff_flagを係数有無フラグとも呼称する。なお、significant_coeff_flagを独立のシンタックスとして扱わず、変換係数の絶対値を表すシンタックスcoeff_abs_levelに含まれるとしても良い。この場合、シンタックスcoeff_abs_levelの1ビット目がsignificant_coeff_flagに相当し、以下のsignificant_coeff_flagのコンテキストインテックスを導出する処理は、シンタックスcoeff_abs_levelの1ビット目のコンテキストインデックスを導出する処理に相当する。
動画像復号装置1の備える可変長符号復号部11は、変換ブロックを複数のサブブロックに分割し、サブブロックを処理単位として、significant_coeff_flagの復号を行う。量子化残差情報QDには、サブブロック単位で、サブブロック内に少なくとも1つの非0係数が存在するか否かを示すフラグ(サブブロック係数有無フラグsignificant_coeff_group_flag)が含まれる。
以下では、復号処理について、図6〜図8を参照して説明する。
図6は、ブロックとサブブロックの関係を示す図である。図6(a)は、4×4TUが4×4成分からなる1個のサブブロックから構成される例を示す。図6(b)は、8×8TUが4×4成分からなる4個のサブブロックから構成される例を示す。図6(c)は、16×16TUが4×4成分からなる16個のサブブロックから構成される例を示す。なお、TUサイズとサブブロックサイズの関係および分割方法はこの例に限らない。
図7(a)は、ブロックを分割して得られる複数の(図7(a)では4×4=16個の)サブブロックに対するスキャン順を示す図である。以下では、サブブロックを単位とするスキャンをサブブロックスキャンとも呼ぶ。サブブロックに対して図7(a)のようにスキャンが行われる場合、サブブロック内の各周波数領域に対して図7(b)に示すスキャン順でスキャンが行われる。図7(a)及び図7(b)に示すスキャン順を「順スキャン」とも呼ぶ。
図7(c)は、ブロックを分割して得られる複数の(図7(b)では4×4=16個の)サブブロックに対するスキャン順を示す図である。サブブロックに対して図7(c)のようにスキャンが行われる場合、サブブロック内の各周波数領域に対して図7(d)に示すスキャン順でスキャンが行われる。図7(c)及び図7(d)に示すスキャン順を「逆スキャン」とも呼ぶ。
図8(a)〜(f)の横軸は、水平方向周波数xC(0≦xC≦7)を表しており、縦軸は、垂直方向周波数yC(0≦yC≦7)を表している。以下の説明では、周波数領域に含まれる各部分領域のうち、水平方向周波数xC、および、垂直方向周波数yCによって指定される部分領域を、周波数成分(xC、yC)とも呼称する。また、周波数成分(xC、yC)についての変換係数をCoeff(xC、yC)とも表記する。変換係数Coeff(0、0)は、DC成分を示しており、それ以外の変換係数は、DC成分以外の成分を表している。本明細書において、(xC、yC)を(u、v)と表記することもある。なお、変換スキップ、あるいは、変換量子化バイパスが適用される場合には、上記水平方向周波数xCを画素領域での水平方向画素位置xC、上記垂直方向周波数xCを画素領域での垂直方向画素位置xCと解釈するものとする。水平方向画素位置xC、垂直方向画素位置yCで指定される画素を、画素(xC、yC)とも呼称する。また、画素(xC、yC)についての予測残差をCoeff(xC、yC)とも表記する。
図8(a)は、TUサイズが8×8であるブロックが4×4のサイズのサブブロックに分割された場合に、順スキャンにて各周波数成分(あるいは各画素)がスキャンされる場合のスキャン順を示す図である。
図8(b)は、8×8の周波数成分からなる周波数領域(あるいは8×8のサイズからなる画素領域)における0でない変換係数(非0係数)を例示する図である。図8(b)に示す例の場合、last_significant_coeff_x=6、last_significant_coeff_y=0である。
図8(c)は、復号対象の変換係数が、図8(b)に示すものである場合の各サブブロックについて復号されたサブブロック係数有無フラグsignificant_coeff_group_flagの各値を示す図である。少なくとも1つの非0係数を含むサブブロックに関するsignificant_coeff_group_flagは、値として1をとり、非0係数を1つも含まないサブブロックに関するsignificant_coeff_group_flagは、値として0をとる。
図8(d)は、復号対象の変換係数が、図8(b)に示すものである場合の非0係数の有無を示すシンタックスsignificant_coeff_flagの各値を示す図である。significant_coeff_group_flag=1であるサブブロックに対しては、significant_coeff_flagは逆スキャン順に復号され、significant_coeff_group_flag=0であるサブブロックに対しては、当該サブブロックに対するsignificant_coeff_flagの復号処理を行うことなく、当該サブブロックに含まれる全ての周波数成分(あるいは画素)に対するsignificant_coeff_flagが0に設定される(図8(d)の左下のサブブロック)。
図8(e)は、復号対象の変換係数が、図8(b)に示すものである場合のシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingを復号することによって得られた各変換係数の絶対値を示している。
図8(f)は、復号対象の変換係数が、図8(b)に示すものである場合のシンタックスcoeff_sign_flagを示す図である。
各変換係数の値を示すシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingの復号は、モード(ハイスループットモード)により変化する。サブブロックの開始時には、ハイスループットモードがオフであり、サブブロック内の非0係数の数が所定の定数以上となった時点で、ハイスループットモードがオンとなる。ハイスループットモードでは、一部のシンタックスの復号をスキップする。
シンタックスcoeff_abs_level_greater1_flagは、変換係数の絶対値が1を越えるものであるのか否かを示すフラグであり、シンタックスsignificant_coeff_flagの値が1である周波数成分について符号化される。変換係数の絶対値が1を越えるものであるとき、coeff_abs_level_greater1_flagの値は1であり、そうでないときにcoeff_abs_level_greater1_flagの値は0である。なお、coeff_abs_level_greater1_flagの復号は、ハイスループットモードの場合にはスキップされる。
シンタックスcoeff_abs_level_greater2_flagは、変換係数の絶対値が2を越えるものであるのか否かを示すフラグであり、coeff_abs_level_greater1_flagの値が1であるときに符号化される。変換係数の絶対値が2を越えるものであるとき、coeff_abs_level_greater2_flagの値は1であり、そうでないときにcoeff_abs_level_greater2_flagの値は0である。なお、coeff_abs_level_greater2_flagの復号は、各サブブロックで1回目以降、及びハイスループットモードの場合にはスキップされる。
シンタックスcoeff_abs_level_remainingは、変換係数の絶対値が所定のベースレベルbaseLevelである場合に、当該変換係数の絶対値を指定するためのシンタックスであり、coeff_abs_level_greater1_flagの復号がスキップされる場合、coeff_abs_level_greater2_flagがスキップされcoeff_abs_level_greater1_flagが1の場合、coeff_abs_level_greater2_flagの値が1であるときに符号化される。シンタックスcoeff_abs_remainingの値は、変換係数の絶対値からbaseLevelを引いたものである。例えば、coeff_abs_level_remaining=1は、変換係数の絶対値がbaseLevel+1であることを示している。なお、baseLevelは以下のように定まる。
baseLevel = 1 (coeff_abs_level_greater1_flagの復号がスキップされた場合)
baseLevel = 2 (上記以外でcoeff_abs_level_greater2_flagの復号がスキップされた場合)
baseLevel = 3 (上記以外でcoeff_abs_level_greater2_flagが1の場合)
シンタックスcoeff_sign_flagは、変換係数の符号(正であるのか負であるのか)を示すフラグであり、サインハイディングが行われる場合を除き、シンタックスsignificant_coeff_flagの値が1である周波数成分について符号化される。シンタックスcoeff_sign_flagは、変換係数が正である場合に1をとり、変換係数が負である場合に0をとる。
なお、サインハイディングとは、変換係数の符号を明示的に符号化せず、計算により算出する方法を言う。
動画像復号装置1の備える可変長符号復号部11は、シンタックスtransquant_bypass_flag, transform_skip_flag, last_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_remainingを復号することにより、各周波数成分(あるいは各画素)についての変換係数Coeff(xC、yC)を生成することができる。
なお、特定の領域(例えばTU)内の非0係数の集合をsignificance mapと呼ぶこともある。
各種シンタックスの復号処理の詳細については、後述することとし、続いて動画像復号装置1の構成について説明を行う。
(動画像復号装置1)
以下では、本実施形態に係る動画像復号装置1について図面を参照して説明する。動画像復号装置1は、H.264/MPEG−4 AVC規格の後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている技術を実装している復号装置である。
図9は、動画像復号装置1の構成を示すブロック図である。図9に示すように、動画像復号装置1は、可変長符号復号部11、予測画像生成部12、逆量子化・逆変換部13、加算器14、フレームメモリ15、および、ループフィルタ16を備えている。また、図9に示すように、予測画像生成部12は、動きベクトル復元部12a、インター予測画像生成部12b、イントラ予測画像生成部12c、および、予測方式決定部12dを備えている。動画像復号装置1は、符号化データ#1を復号することによって動画像#2を生成するための装置である。
(可変長符号復号部11)
図10は、可変長符号復号部11の要部構成を示すブロック図である。図10に示すように、可変長符号復号部11は、量子化残差情報復号部111、予測パラメータ復号部112、予測タイプ情報復号部113、および、フィルタパラメータ復号部114を備えている。
可変長符号復号部11は、予測パラメータ復号部112にて、各パーティションに関する予測パラメータPPを、符号化データ#1から復号し、予測画像生成部12に供給する。具体的には、予測パラメータ復号部112は、インター予測パーティションに関しては、参照画像インデックス、推定動きベクトルインデックス、及び、動きベクトル残差を含むインター予測パラメータPP_Interを符号化データ#1から復号し、これらを動きベクトル復元部12aに供給する。一方、イントラ予測パーティションに関しては、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスを含むイントラ予測パラメータPP_Intraを符号化データ#1から復号し、これらをイントラ予測画像生成部12cに供給する。
また、可変長符号復号部11は、予測タイプ情報復号部113にて、各パーティションについての予測タイプ情報Pred_typeを符号化データ#1から復号し、これを予測方式決定部12dに供給する。更に、可変長符号復号部11は、量子化残差情報復号部111にて、ブロックに関する量子化残差情報QD、及び、そのブロックを含むTUに関する量子化パラメータ差分Δqpを符号化データ#1から復号し、これらを逆量子化・逆変換部13に供給する。また、可変長符号復号部11は、フィルタパラメータ復号部114にて、符号化データ#1からフィルタパラメータFPを復号し、これをループフィルタ16に供給する。なお、量子化残差情報復号部111の具体的な構成については後述するためここでは説明を省略する。
(予測画像生成部12)
予測画像生成部12は、各パーティションについての予測タイプ情報Pred_typeに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを識別する。そして、前者の場合には、インター予測画像Pred_Interを生成すると共に、生成したインター予測画像Pred_Interを予測画像Predとして加算器14に供給し、後者の場合には、イントラ予測画像Pred_Intraを生成すると共に、生成したイントラ予測画像Pred_Intraを加算器14に供給する。なお、予測画像生成部12は、処理対象PUに対してスキップモードが適用されている場合には、当該PUに属する他のパラメータの復号を省略する。
(動きベクトル復元部12a)
動きベクトル復元部12aは、各インター予測パーティションに関する動きベクトルmvを、そのパーティションに関する動きベクトル残差と、他のパーティションに関する復元済みの動きベクトルmv’とから復元する。具体的には、(1)推定動きベクトルインデックスにより指定される推定方法に従って、復元済みの動きベクトルmv’から推定動きベクトルを導出し、(2)導出した推定動きベクトルと動きベクトル残差とを加算することによって動きベクトルmvを得る。なお、他のパーティションに関する復元済みの動きベクトルmv’は、フレームメモリ15から読み出すことができる。動きベクトル復元部12aは、復元した動きベクトルmvを、対応する参照画像インデックスRIと共に、インター予測画像生成部12bに供給する。
(インター予測画像生成部12b)
インター予測画像生成部12bは、画面間予測によって、各インター予測パーティションに関する動き補償画像mcを生成する。具体的には、動きベクトル復元部12aから供給された動きベクトルmvを用いて、同じく動きベクトル復元部12aから供給された参照画像インデックスRIによって指定される適応フィルタ済復号画像P_ALF’から動き補償画像mcを生成する。ここで、適応フィルタ済復号画像P_ALF’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ16によるフィルタ処理を施すことによって得られる画像であり、インター予測画像生成部12bは、適応フィルタ済復号画像P_ALF’を構成する各画素の画素値をフレームメモリ15から読み出すことができる。インター予測画像生成部12bによって生成された動き補償画像mcは、インター予測画像Pred_Interとして予測方式決定部12dに供給される。
(イントラ予測画像生成部12c)
イントラ予測画像生成部12cは、各イントラ予測パーティションに関する予測画像Pred_Intraを生成する。具体的には、まず、可変長符号復号部11から供給されたイントラ予測パラメータPP_Intraに基づいて予測モードを特定し、特定された予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。
ここで、イントラ予測パラメータPP_Intraに基づく予測モードの特定は、以下のように行うことができる。(1)推定予測モードフラグを復号し、当該推定予測モードフラグが、処理対象である対象パーティションについての予測モードと、当該対象パーティションの周辺のパーティションに割り付けられた予測モードとが同一であることを示している場合には、対象パーティションに対して、当該対象パーティションの周辺のパーティションに割り付けられた予測モードを割り付ける。(2)一方で、推定予測モード
フラグが、処理対象である対象パーティションについての予測モードと、当該対象パーティションの周辺のパーティションに割り付けられた予測モードとが同一でないことを示している場合には、残余予測モードインデックスを復号し、当該残余予測モードインデックスの示す予測モードを対象パーティションに対して割り付ける。
イントラ予測画像生成部12cは、対象パーティションに割り付けられた予測モードの示す予測方法に従って、画面内予測によって、(局所)復号画像Pから予測画像Pred_Intraを生成する。イントラ予測画像生成部12cによって生成されたイントラ予測画像Pred_Intraは、予測方式決定部12dに供給される。なお、イントラ予測画像生成部12cは、画面内予測によって、適応フィルタ済復号画像P_ALFから予測画像Pred_Intraを生成する構成とすることも可能である。
図11を用いて、予測モードの定義について説明する。図11は、予測モードの定義を示している。同図に示すように、36種類の予測モードが定義されており、それぞれの予測モードは、「0」〜「35」の番号(イントラ予測モードインデックス)によって特定される。また、図12に示すように、各予測モードには次のような名称が割り当てられている。すなわち、「0」は、“Intra_Planar(プラナー予測モード、平面予測モード)”であり、「1」は、“Intra DC(イントラDC予測モード)”であり、「2」〜「34」は、“Intra Angular(方向予測)”であり、「35」は、“Intra From Luma”である。「35」は、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「35」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「35」はLMモードとも称する。予測モード数(intraPred
ModeNum)は、対象ブロックのサイズによらず「35」である。
(予測方式決定部12d)
予測方式決定部12dは、各パーティションが属するPUについての予測タイプ情報Pred_typeに基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部12bにて生成されたインター予測画像Pred_Interを予測画像Predとして加算器14に供給し、後者の場合には、イントラ予測画像生成部12cにて生成されたイントラ予測画像Pred_Intraを予測画像Predとして加算器14に供給する。
(逆量子化・逆変換部13)
逆量子化・逆変換部13は、通常(変換スキップフラグを実施しない場合(transform_skip_flag==0)、かつ、変換量子化バイパスを実施しない場合(transquant_bypass_flag==0))、(1)符号化データ#1の量子化残差情報QDから復号された変換係数Coeffを逆量子化し、(2)逆量子化によって得られた変換係数Coeff_IQに対して逆DCT(Discrete Cosine Transform)変換等の逆周波数変換を施し、(3)逆周波数変換によって得られた予測残差Dを加算器14に供給する。また、変換量子化バイパスを実施する場合(transquant_bypass_flag==1)、逆量子化・逆変換部13は、(1)符号化データ#1の量子化残差情報QDから復号された変換係数Coeff(予測残差Dと等価)を加算器14に供給する。また、変換スキップを実施する場合(transform_skip_flag==1)、逆量子化・逆変換部13は、(1)符号化データ#1の量子化残差情報QDから復号された変換係数Coeffを逆量子化し、(2)逆量子化によって得られた変換係数Coeff_IQ(予測残差Dと等価)を加算器14に供給する。なお、量子化残差情報QDから復号された変換係数Coeffを逆量子化する際に、逆量子化・逆変換部13は、可変長符号復号部11から供給された量子化パラメータ差分Δqpから量子化ステップQPを導出する。量子化パラメータqpは、直前に逆量子化及び逆周波数変換したTUに関する量子化パラメータqp’に量子化パラメータ差分Δqpを加算することによって導出でき、量子化ステップQPは、量子化パラメータqpから例えばQP=2pq/6によって導出できる。また、逆量子化・逆変換部13による予測残差Dの生成は、TUあるいはTUを分割したブロックを単位として行われる。
なお、逆量子化・逆変換部13によって行われる逆DCT変換は、例えば、対象ブロックのサイズが8×8画素である場合、当該対象ブロックにおける画素の位置を(i、j)(0≦i≦7、0≦j≦7)とし、位置(i、j)における予測残差Dの値をD(i、j)と表すことにし、周波数成分(u、v)(0≦u≦7、0≦v≦7)における逆量子化された変換係数をCoeff_IQ(u、v)と表すことにすると、例えば、以下の数式(1)によって与えられる。
Figure 2020171063
ここで、(u、v)は、上述した(xC、yC)に対応する変数である。C(u)およびC(v)は、以下のように与えられる。
・C(u)=1/√2 (u=0)
・C(u)=1 (u≠0)
・C(v)=1/√2 (v=0)
・C(v)=1 (v≠0)
なお、変換スキップが実施される場合、逆周波数変換は施されないため、当該対象ブロックにおける画素の位置(i,j)における予測残差D(i,j)と逆量子化された変換係数Coeff_IQ(u、v)は次式のように等価である。
D(i,j)=Coeff_IQ(u,v) (i=u、j=v)
また、変換量子化バイパスが実施される場合、逆量子化、及び逆周波数変換は施されないため、当該対象ブロックにおける画素の位置(i,j)における予測残差D(i,j)と変換係数Coeff(u、v)は次式のように等価である。
D(i,j)=Coeff(u,v)= (i=u、j=v)
(加算器14)
加算器14は、予測画像生成部12から供給された予測画像Predと、逆量子化・逆変換部13から供給された予測残差Dとを加算することによって復号画像Pを生成する。生成された復号画像Pは、フレームメモリ15に格納される。
(ループフィルタ16)
ループフィルタ16は、(1)復号画像Pにおけるブロック境界、またはパーティション境界の周辺の画像の平滑化(デブロック処理)を行うデブロッキングフィルタ(DF:Deblocking Filter)としての機能と、(2)デブロッキングフィルタが作用した画像に対して、フィルタパラメータFPを用いて適応フィルタ処理を行う適応フィルタ(ALF:Adaptive
Loop Filter)としての機能とを有している。
(量子化残差情報復号部111)
量子化残差情報復号部111は、符号化データ#1に含まれる量子化残差情報QDから、各係数位置(各周波数成分、または各画素)(xC、yC)についての量子化された変換係数Coeff(xC、yC)を復号するための構成である。ここで、xCおよびyCは、周波数領域における各周波数成分の位置、あるいは画素領域における各係数の位置を表すインデックスであり、それぞれ、上述した周波数領域における水平方向周波数uおよび垂直方向周波数v、あるいは画素領域における水平方向画素位置uおよび垂直方向画素位置vに対応するインデックスである。以下では、量子化された変換係数Coeffを、単に、変換係数Coeffと呼ぶこともある。
図1は、量子化残差情報復号部111の構成を示すブロック図である。図1に示すように、量子化残差情報復号部111は、変換係数復号部120及び算術符号復号部130を備えている。
(算術符号復号部130)
算術符号復号部130は、量子化残差情報QDに含まれる各ビットをコンテキストを参照して復号するための構成であり、図1に示すように、コンテキスト記録更新部131及びビット復号部132を備えている。
[コンテキスト記録更新部131]
コンテキスト記録更新部131は、各コンテキストインデックスctxIdxによって管理されるコンテキスト変数CVを記録及び更新するための構成である。ここで、コンテキスト変数CVには、(1)発生確率が高い優勢シンボルMPS(most probable symbol)と、(2)その優勢シンボルMPSの発生確率を指定する確率状態インデックスpStateIdxとが含まれている。
コンテキスト記録更新部131は、変換係数復号部120の備える各部から供給されるコンテキストインデックスctxIdx及びビット復号部132によって復号されたBinの値を参照することによってコンテキスト変数CVを更新すると共に、更新されたコンテキスト変数CVを次回更新されるまで記録する。なお、優勢シンボルMPSは0か1である。また、優勢シンボルMPSと確率状態インデックスpStateIdxは、ビット復号部132がBinを1つ復号する毎に更新される。
また、コンテキストインデックスctxIdxは、各係数位置、(各周波数成分、あるいは各画素)についてのコンテキストを直接指定するものであってもよいし、処理対象のTU毎に設定されるコンテキストインデックスのオフセットからの増分値であってもよい(以下同様)。
[ビット復号部132]
ビット復号部132は、コンテキスト記録更新部131に記録されているコンテキスト変数CVを参照し、量子化残差情報QDに含まれる各ビット(Binとも呼ぶ)を復号する。また、復号して得られたBinの値を変換係数復号部120の備える各部に供給する。また、復号して得られたBinの値は、コンテキスト記録更新部131にも供給され、コンテキスト変数CVを更新するために参照される。
(変換係数復号部120)
図1に示すように、変換係数復号部120は、ラスト係数位置復号部121、スキャン順テーブル格納部122、係数復号制御部123、係数有無フラグ復号部、係数値復号部125、復号係数記憶部126、サブブロック係数有無フラグ復号部127、および変換・変換量子化バイパスフラグ復号128を備えている。
[ラスト係数位置復号部121]
ラスト係数位置復号部121は、ビット復号部132より供給される復号ビット(Bin)を解釈し、シンタックスlast_significant_coeff_x及びlast_significant_coeff_yを復号する。復号したシンタックスlast_significant_coeff_x及びlast_significant_coeff_yは、係数復号制御部123に供給される。また、ラスト係数位置復号部121は、算術符号復号部130にてシンタックスlast_significant_coeff_x及びlast_significant_coeff_yのBinを復号するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。
[スキャン順テーブル格納部122]
スキャン順テーブル格納部122には、処理対象のTU(ブロック)のサイズ、スキャン方向の種別を表すスキャンインデックス、及びスキャン順に沿って付与された係数位置識別インデックスを引数として、処理対象の変換ブロックの周波数領域、または画素領域における位置を与えるテーブルが格納されている。
このようなスキャン順テーブルの一例としては、図4及び図5に示したScanOrderが挙げられる。図4及び図5に示したScanOrderは、処理対象のTUの横幅のサイズlog2TrafoWidth、処理対象のTUの縦幅のサイズlog2TrafoHeight、スキャンインデックスscanIdx、および、スキャン順に沿って付与された係数位置識別インデックスnに基づいて、処理対象の変換ブロックの周波数領域における位置(xC、yC)を取得するためのテーブルである。なお、変換スキップあるいは変換量子化バイパスが適用される場合は、ScanOrderは、処理対象のTUの横幅のサイズlog2TrafoWidth、処理対象のTUの縦幅のサイズlog2TrafoHeight、スキャンインデックスscanIdx、および、スキャン順に沿って付与された係数位置識別インデックスnに基づいて、処理対象の変換ブロックの画素領域における位置(xC、yC)を取得するためのテーブルとなる。なお、以下において、処理対象の変換ブロックの周波数領域、あるいは画素領域における位置(xC、yC)のことを、単に係数位置(xC、yC)と称することもある。
また、スキャン順テーブル格納部122に格納されたテーブルは、処理対象のTU(ブロック)のサイズとイントラ予測モードの予測モードインデックスとに関連付けられたスキャンインデックスscanIdxによって指定される。処理対象のTUに用いられた予測方法がイントラ予測である場合には、係数復号制御部123は、当該TUのサイズと当該TUの予測モードとに関連付けられたスキャンインデックスscanIdxによって指定されるテーブルを参照して変換ブロックのスキャン順を決定する。
図13は、イントラ予測モードインデックスIntraPredModeと、TUサイズを指定する値log2TrafoSizeとによって指定されるスキャンインデックスscanIdxの例を示している。図13において、log2TrafoSize-2=0は、TUサイズが4×4(4×4画素に対応)であることを示しており、log2TrafoSize-2=1は、TUサイズが8×8(8×8画素に対応)であることを示している。図13に示すように、例えば、TUサイズが4×4であり、イントラ予測モードインデックスが1であるとき、スキャンインデックス=0が用いられ、TUサイズが4×4であり、イントラ予測モードインデックスが6であるとき、スキャンインデックス=2が用いられる。
図14(a)は、スキャンインデックスscanIdxの各値によって指定されるスキャンタイプScanTypeを示している。図14(a)に示すように、スキャンインデックスが0であるとき、斜め方向スキャン(Up-right diagonal scan)が指定され、スキャンインデックスが1であるとき、水平方向優先スキャン(horizontal fast scan)が指定され、スキャンインデックスが2であるとき、垂直方向優先スキャン(vertical fact scan)が指定される。
また、図14(b)は、TUサイズが4×4であるときの、水平方向優先スキャン(horizontal fast scan)、垂直方向優先スキャン(vertical factscan)、及び、斜め方向スキャン(Up-right diagonal scan)の各スキャンのスキャン順を示している。図14(b)において各係数位置に付された番号は、該係数位置がスキャンされる順番を示している。また、図14(b)に示す各例は、順スキャン方向を示している。なお、図14(b)のスキャンは4×4TUサイズに限らず、4×4のサブブロックで使用しても良い。また、同様のスキャンを4×4より大きいTUやサブブロックで使用しても良い。
図14(c)は、水平方向優先スキャンと垂直方向優先スキャンの別の例を示す。本例では8×2と2×8のTUサイズもしくはサブブロックで使用される例を示す。
[サブブロックスキャン順テーブル]
また、スキャン順テーブル格納部122には、サブブロックのスキャン順を指定するためのサブブロックスキャン順テーブルが格納されている。サブブロックスキャン順テーブルは、処理対象のTU(ブロック)のサイズとイントラ予測モードの予測モードインデックス(予測方向)とに関連付けられたスキャンインデックスscanIdxによって指定される。処理対象のTUに用いられた予測方法がイントラ予測である場合には、係数復号制御部123は、当該TUのサイズと当該TUの予測モードとに関連付けられたスキャンインデックスscanIdxによって指定されるテーブルを参照してサブブロックのスキャン順を決定する。
[係数復号制御部123]
係数復号制御部123は、量子化残差情報復号部111の備える各部における復号処理の順序を制御するための構成である。
係数復号制御部123は、図示しないサブブロック分割部129を備える。サブブロック分割部129は、TUを各サブブロックに分割する。サブブロック分割部129の詳細は後述する。
係数復号制御部123は、ラスト係数位置復号部121から供給されるシンタックスlast_significant_coeff_x及びlast_significant_coeff_yを参照し、順スキャンに沿った最後の非0係数の位置を特定すると共に、特定した最後の非0係数を含むサブブロックの位置を起点とするスキャン順であって、スキャン順テーブル格納部122に格納されたサブブロックスキャン順テーブルによって与えられるスキャン順の逆スキャン順に、各サブブロックの位置(xCG、yCG)を、サブブロック係数有無フラグ復号部127に供給する。
また、係数復号制御部123は、処理対象となるサブブロックに関して、スキャン順テーブル格納部122に格納されたスキャン順テーブルよって与えられるスキャン順の逆スキャン順に、当該処理対象となるサブブロックに含まれる各係数位置(xC、yC)を、係数有無フラグ復号部124及び復号係数記憶部126に供給する。ここで、処理対象となるサブブロックに含まれる各係数(各周波数成分、または各画素)のスキャン順としては、イントラ予測の場合には、イントラ予測モードインデックスIntraPredModeと、TUサイズを指定する値log2TrafoSizeとによって指定されるスキャンインデックスscanIdxの示すスキャン順(水平方向優先スキャン、垂直方向優先スキャン、斜め方向スキャンのいずれか)を用い、インター予測の場合には、斜め方向スキャン(Up-right diagonal scan)を用いればよい。
このように、係数復号制御部123は、処理対象の単位領域(ブロック、TU)に適用された予測方式がイントラ予測である場合に、該イントラ予測の予測方向に応じて、サブブロックスキャン順を設定する構成である。
一般に、イントラ予測モードと変換係数の偏りとは互いに相関を有しているため、イントラ予測モードに応じてスキャン順を切り替えることにより、サブブロック係数有無フラグ、係数有無フラグの偏りに適したスキャンを行うことができる。これによって、符号化及び復号対象となるサブブロック係数有無フラグおよび係数有無フラグの符号量を削減することができるので、処理量が削減されると共に、符号化効率が向上する。
[サブブロック分割手段129]
サブブロック分割手段129は、サブブロック分割手段129は、スキャン順およびTUサイズに応じてに応じてサブブロックサイズを導出し、導出されたサブブロックサイズでTUを分割することでTUをサブブロックに分割する。以下、サブブロックサイズの導出方法を順に説明する。なお、既に説明したように、スキャン順が、CU予測方式情報PredMode、TUサイズ及びイントラ予測モードインデックスIntraPredModeで定まる場合には、CU予測方式情報PredMode、TUサイズ及びイントラ予測モードインデックスIntraPredModeにより、サブブロックサイズを導出する構成も等価である。
(CU予測方式情報PredMode、TUサイズ及びイントラ予測モードインデックスIntraPredModeにより、サブブロックサイズを導出する構成)
図27は、CU予測方式情報PredMode、TUサイズ及びイントラ予測モードインデックスIntraPredModeにより、サブブロックサイズを導出する方法を示す図である。CU予測方式情報PredModeがイントラ予測の場合には、図13で示すようにTUサイズ及びイントラ予測モードインデックスIntraPredModeに基づいて水平方向優先スキャンが用いられる場合には8×2、垂直方向優先スキャンが用いられる場合には2×8、それ以外のスキャン(斜め方向スキャン)が用いられる場合には、4×4のサブブロックサイズを用いる。
CU予測方式情報PredModeがインター予測の場合には、TUサイズが、TUサイズの幅と高さが一致する場合には4×4のサブブロックを使用する。TUサイズの幅と高さが一致しない場合で、TUサイズの幅が高さよりも大きい場合には、8×2のサブブロックを使用する。一方、TUサイズの高さが幅よりも大きい場合には、2×8のサブブロックを使用する。また、インター予測の場合には、TUサイズによらず、サブブロックサイズを4×4としてもよい。
以上の構成により、サブブロックを分割することによって、CUがイントラ予測の場合にもインター予測に場合にも、変換係数の偏りに応じて適切なサブブロック分割が行われるため符号化効率が向上する。
[変換スキップ・変換量子化バイパスフラグ復号部128]
変換スキップ・変換量子化バイパスフラグ復号部128は、ビット復号部132より供給される復号ビット(Bin)を解釈し、シンタックスtransquant_bypass_flag及びtransform_skip_flagを復号する。復号したシンタックスtransquant_bypass_flag及びtransform_skip_flagは、係数有無フラグ復号部124、および係数値復号部125、および逆量子化・逆変換部13に供給される。また、変換スキップ・変換量子化バイパスフラグ復号部128は、算術符号復号部130にてシンタックスtransquant_bypass_flag及びtransform_skip_flagのBinを復号するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。
以下では、図19を用いて変換量子化バイパスフラグ、及び変換スキップ
フラグの復号処理について具体的に説明する。
<<変換量子化バイパスフラグ、及び変換スキップフラグの復号処理1>>
図19(a)は、変換量子化バイパスフラグ及び変換スキップフラグのシンタックス例を示し、図19(b)は、その復号処理をより具体的に説明するためのフローチャートである。
(ステップS20−1)
まず、変換スキップ・変換量子化バイパスフラグ復号部128は、外部より入力された変換量子化バイパス有効フラグ(transquant_bypass_enable_flag)が1であるかを判別する。変換量子化バイパス有効フラグが1である場合(ステップS20−1においてYes)、ステップS20−2へ進む。それ以外である場合(ステップS20−1においてNo)、ステップS20-3へ進む。
(ステップS20−2)
変換スキップ・変換量子化バイパスフラグ復号部128は、対象TUに関して、符号化データから変換量子化バイパスフラグ(transquant_bypass_flag)を復号し、ステップS20-4へ進む。
(ステップS20−3)
変換スキップ・変換量子化バイパスフラグ復号部128は、対象TUに関して、暗黙的に変換量子化バイパスフラグ(transquant_bypass_flag)は0であると解釈し、値を0に設定し、ステップS20-4へ進む。
(ステップS20−4)
変換スキップ・変換量子化バイパスフラグ復号部128は、外部より入力された変換スキップ有効フラグ(transform_skip_enable_flag)が1であるか判別する。変換スキップ有効フラグが1である場合(ステップS20-4においてYes)、ステップS20-5へ進む。それ以外の場合(ステップS20-4においてNo)、ステップS20-7へ進む。
(ステップS20−5)
変換スキップ・変換量子化バイパスフラグ復号部128は、変換バイパスフラグが0であるか否かを判別する。変換バイパスフラグが0である場合(ステップS20-5においてYes)、ステップS20−6へ進む。それ以外の場合は、ステップS20-7へ進む。
(ステップS20−6)
変換スキップ・変換量子化バイパスフラグ復号部128は、対象TUに関して、符号化データから変換スキップフラグ(transform_skip_flag)を復号する。
(ステップS20−7)
変換スキップ・変換量子化バイパスフラグ復号部128は、対象TUに関して、暗黙的に変換スキップフラグ(transform_skip_flag)は0であると解釈し、値を0に設定する。
なお、上記変換スキップフラグ及び変換量子化バイパスフラグの復号処理は、上記手順に限定されず、実施できる範囲で手順を変更しても構わない。さらに、変換スキップ・変換量子化バイパスフラグ復号部128は、対象TUに関して、符号化データから変換スキップフラグのみを復号してもよい(変換量子化バイパスフラグの復号を省略しても構わない)。
例えば、図20に示すように、ステップS20−5の次に、TUサイズが所定サイズより小さいか否かを判定して(ステップS20−8)、ステップS20−6またはステップS20−7に進んでもよい。
以上、上記変換スキップ・変換量子化バイパスフラグ復号部128によれば、従来(図21参照)に比べて、TU毎に、変換スキップを実施するか否かをTUサイズや予測モードによらず、適切に選択することができる。そのため、符号化及び復号対象となるTUに関する変換係数の符号量を削減することができるので、処理量が削減されると共に、符号化効率が向上する。また、変換スキップフラグを復号するか否かに関する分岐処理を削減することができるため、変換係数の復号に係る処理量をが軽減することができる。
[サブブロック係数有無フラグ復号部127]
サブブロック係数有無フラグ復号部127は、ビット復号部132から供給される各Binを解釈し、各サブブロック位置(xCG、yCG)によって指定されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を復号する。また、サブブロック係数有無フラグ復号部127は、算術符号復号部130にてシンタックスsignificant_coeff_group_flag [xCG][yCG]のBinを復号するために用いられるコンテキストを決定するためのコンテキ
ストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。ここで、シンタックスsignificant_coeff_group_flag[xCG][yCG]は、サブブロック位置(xCG、yCG)によって指定されるサブブロックに、少なくとも1つの非0係数が含まれている場合に1をとり、非0係数が1つも含まれていない場合に0をとるシンタックスである。復号されたシンタックスsignificant_coeff_group_flag[xCG][yCG]の値は、復号係数記憶部126に格納される。
なお、サブブロック係数有無フラグ復号部127のより具体的な構成については後述する。
[係数有無フラグ復号部124]
本実施形態に係る係数有無フラグ復号部124は、各係数位置(xC、yC)によって指定されるシンタックスsignificant_coeff_flag[xC][yC]を復号する。復号されたシンタックスsignificant_coeff_flag[xC][yC]の値は、復号係数記憶部126に格納される。また、係数有無フラグ復号部124は、算術符号復号部130にてシンタックスsignificant_coeff_flag[xC][yC]のBinを復号するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部131に供給される。係数有無フラグ復号部124の具体的な構成については後述する。
[係数値復号部125]
係数値復号部125は、ビット復号部132から供給される各Binを解釈し、シンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingを復号すると共に、これらのシンタックスを復号した結果に基づき、処理対象の各係数位置(周波数成分、または画素位置における変換係数(より具体的には非0係数))の値を導出する。また、各種シンタックスの復号に用いたコンテキス
トインデックスctxIdxは、コンテキスト記録更新部131に供給される。導出された変換係数の値は、復号係数記憶部126に格納される。係数値復号部125の具体的な構成については後述する。
[復号係数記憶部126]
復号係数記憶部126は、係数値復号部125によって復号された変換係数の各値を記憶しておくための構成である。また、復号係数記憶部126には、係数有無フラグ復号部124によって復号されたシンタックスsignificant_coeff_flagの各値が記憶される。復号係数記憶部126によって記憶されている変換係数の各値は、逆量子化・逆変換部13に供給される。
(サブブロック係数有無フラグ復号部127の構成例)
以下では、図15を参照して、サブブロック係数有無フラグ復号部127の具体的な構成例について説明する。
図15は、サブブロック係数有無フラグ復号部127の構成例を示すブロック図である。図15に示すように、サブブロック係数有無フラグ復号部127は、サブブロック係数有無フラグコンテキスト導出部127a、サブブロック係数有無フラグ記憶部127b、及び、サブブロック係数有無フラグ設定部127cを備えている。
以下では、サブブロック係数有無フラグ復号部127に対して、係数復号制御部123から、サブブロック位置(xCG、yCG)が逆スキャン順に供給される場合を例に挙げて説明を行う。なお、この場合、サブブロック係数有無フラグ復号部127に対応する符号化装置側の構成では、サブブロック位置(xCG、yCG)が順スキャン順に供給されることになる。
(サブブロック係数有無フラグコンテキスト導出部127a)
サブブロック係数有無フラグ復号部127の備えるサブブロック係数有無フラグコンテキスト導出部127aは、各サブブロック位置(xCG、yCG)によって指定されるサブブロックに割り付けるコンテキストインデックスを導出する。サブブロックに割り付けられたコンテキストインデックスは、当該サブブロックについてのシンタックスsignificant_coeff_group_flagを示すBinを復号する際に用いられる。また、コンテキストインデックスを導出する際には、サブブロック係数有無フラグ記憶部127bに記憶された復号済みのサブブロック係数有無フラグの値が参照される。サブブロック係数有無フラグコンテキスト導出部127aは、導出したコンテキストインデックスをコンテキスト記録更新部131に供給する。
サブブロックに割り付けるコンテキストインデックスは、具体的には、サブブロック位置(xCG,yCG)、及びサブブロック係数有無フラグ記憶部127bに記憶された復号済みのサブブロック係数有無フラグの値を用いて、次のように導出される。
コンテキストインデックスには、サブブロック位置(xCG、yCG)の右隣に位置する復号済みサブブロック係数有無フラグsignificant_coeff_group_flag[xCG+1][yCG]と、サブブロック位置(xCG,yCG)の下に位置する復号済サブブロック係数有無フラグsiginificant_coeff_group_flag[xCG][yCG+1]の値を参照して次のように設定される。
ctxIdx = ctxIdxOffset + Min ((significant_coeff_group_flag[xCG+1][yCG]+significant_coeff_group_flag[xCG][yCG+1] ), 1)
なお、初期値ctxIdxOffsetは、色空間を示すcIdxにより定まる。なお、(xCG+1,yCG)、あるいは(xCG、yCG+1)に位置する復号済サブブロックが存在しない場合は、(xCG+1、yCG)、あるいは(xCG、yCG+1)に位置するサブブロック係数有無フラグの値をゼロとして扱う。
(サブブロック係数有無フラグ記憶部127b)
サブブロック係数有無フラグ記憶部127bには、サブブロック係数有無フラグ設定部127cによって復号又は設定されたシンタックスsignificant_coeff_group_flagの各値が記憶されている。サブブロック係数有無フラグ設定部127cは、隣接サブブロックに割り付けられたシンタックスsignificant_coeff_group_flagを、サブブロック係数有無フラグ記憶部127bから読み出すことができる。
(サブブロック係数有無フラグ設定部127c)
サブブロック係数有無フラグ設定部127cは、ビット復号部132から供給される各Binを解釈し、シンタックスsignificant_coeff_group_flag[xCG][yCG]を復号または設定する。より具体的には、サブブロック係数有無フラグ設定部127cは、サブブロック位置(xCG、yCG)、及び、サブブロック位置(xCG、yCG)によって指定されるサブブロックに隣接するサブブロック(隣接サブブロックとも呼ぶ)に割り付けられたシンタックスsignificant_coeff_group_flagを参照し、シンタックスsignificant_coeff_group_flag[xCG][yCG]を復号または設定する。また、復号または設定されたシンタックスsignificant_coeff_group_flag[xCG][yCG]の値は、係数有無フラグ復号部124に供給される。
サブブロック係数有無フラグ設定部127cは、図16(c)に示すように、サブブロック(xCG、yCG)に隣接するサブブロック(xCG+1、yCG)に割り付けられたサブブロック係数有無フラグsignificant_coeff_group_flag[xCG+1][yCG]の値とサブブロック(xCG、yCG+1)に割り付けられたサブブロック係数有無フラグsignificant_coeff_group_flag[xCG][yCG+1]の値とを参照し、サブブロック係数有無フラグsignificant_coeff_group_flag[xCG][yCG+1]を復号するために用いるコンテキストインデックスを導出する。
なお、サブブロック係数有無フラグが0とされたブロックでは、係数有無フラグsignigicant_coeff_flagの復号をスキップすることができるため、復号処理が簡略化される。
図17を用いて、具体的に例示すると次のとおりである。図17(a)に示すように変換係数が分布している場合、それぞれのサブブロックに割り付けられるサブブロック係数有無フラグは、図17(b)に示すとおりとなる。すなわち、4×4のサブブロックのうち、1行目のサブブロックでは、非0係数が存在しているが、2行目以降のサブブロックでは、非0係数が存在しない。
よって、図17(b)に示す例では、係数有無フラグ復号部124は、2行目以降のサブブロックの復号において、係数有無フラグsignificant_coeff_flagの復号をスキップすることができる。
<<係数有無フラグ復号部124の構成例>>
以下では、図18を参照して、係数有無フラグ復号部124の具体的な構成例について説明する。
図18は、係数有無フラグ復号部124の構成例を示すブロック図である。図18に示すように、係数有無フラグ復号部124は、コンテキスト導出手段選択部124a、位置コンテキスト導出部124b、隣接サブブロック係数有無コンテキスト導出部124c、変換スキップ・変換量子化バイパスコンテキスト導出部124d、及び係数有無フラグ設定部124eを備えている。
(係数有無フラグ設定部124e)
係数有無フラグ設定部124eは、ビット復号部132から供給される各Binを解釈し、シンタックスsignificant_coeff_flag[xC][yC]を設定する。設定されたシンタックスsignificant_coeff_flag[xC][yC]は、復号係数記憶部126に供給される。
係数有無フラグ設定部124eは、対象変換ブロック(対象周波数領域、あるいは対象画素領域)がサブブロックに分割されている場合、対象サブブロックに割り付けられたシンタックスsignificant_coeff_group_flag[xCG][yCG]を参照し、significant_coeff_group_flag[xCG][yCG]の値が0である場合には、当該対象サブブロックに含まれる全ての係数位置についてのsignificant_coeff_flag[xC][yC]を0に設定する。
(コンテキスト導出手段選択部124a)
コンテキスト導出手段選択部124aには、処理対象の周波数成分、または画素の位置(係数位置とも呼ぶ)(xC,yC)と、変換ブロックの対数値(log2TrafoWidth、log2TrafoHeight)が入力される。対数値のサイズから、変換ブロックの幅widthと高さheightを(1<<log2TrafoWidth)と(1<<log2TrafoHeight)により算出する。なお、対数値のサイズではなく、変換ブロックの幅と高さを直接入力しても良い。さらに、コンテキスト導出手段選択部124aには、変換スキップフラグ(transform_skip_flag)、および、変換量子化バイパスフラグ(transquant_bypass_flag)が入力される。
コンテキスト導出手段選択部124aは、変換スキップフラグ、変換量子化バイパスフラグと、対象となるTUサイズおよび復号対象となる係数の位置に応じて、位置コンテキスト導出部124b、隣接サブブロック係数有無コンテキスト導出部124c、または変換スキップ・変換量子化バイパスコンテキスト導出部124dを選択する。選択された各コンテキスト導出部ではコンテキストインデックスctxIdxが導出される。
以下、図30を用いてコンテキスト導出手段選択部124におけるコンテキスト導出手段の選択処理について具体的に説明する。
まず、変換スキップを実施するか否か、あるいは、変換量子化バイパスを実施するか否かを示すか判別する(図30においてステップSB801)。変換スキップフラグが変換スキップを実施することを示す場合(transform_skip_flag==1)、あるいは変換量子化バイパスフラグが変換量子化バイパスを実施することを示す場合(transquant_bypass_flag==1)(ステップSB801においてYes)には、コンテキスト導出選択手段は、変換スキップ・変換量子化バイパスコンテキスト導出手段を選択する(ステップSB805)。なお、変換スキップ、あるいは、変換量子化バイパスが実施される場合、逆変換の処理はスキップされるため、係数の位置は、TU内での画素の位置となる。
上記条件を満たさない場合(ステップSB801においてNo)は、コンテキスト導出手段選択部124aは、位置コンテキスト導出部124b、隣接サブブロック係数有無コンテキスト導出部124cのいずれかを選択する。
まず、対象の係数位置が、周波数領域においてDCであるか(xC+yC==0)、もしくは、TUサイズが所定のサイズ以下(例えば、4×4TU、8×8TUである場合)であるかを判別する(ステップSB802)。対象の係数位置が、周波数領域においてDCであるか、または、TUサイズが所定のサイズ以下である場合(ステップSB802においてYes)には、コンテキスト導出手段選択部124aは、位置コンテキスト導出部124bを選択する。
上記条件を満たさない場合(ステップSB802においてNo)、コンテキスト導出手段選択部部124aは、隣接サブブロック係数有無コンテキスト導出部124cを選択する(ステップSB803)。
なお、上記に限られず、コンテキスト導出手段選択部124aは、4×4TU〜32×32TUまでのTUサイズについて、共通のコンテキストインデックスctxIdx導出処理を実行する構成であっても構わない。すなわち、コンテキスト導出手段選択部124aは、TUのサイズによらず、位置コンテキスト導出部124b、及び隣接サブブロック係数有無コンテキスト導出部124cのいずれかを固定的に選択する構成であっても構わない。
(位置コンテキスト導出部124b)
位置コンテキスト導出部124bは、対象周波数成分に対するコンテキストインデックスctxIdxを、周波数領域における当該対象周波数成分の位置に基づいて導出する。なお、周波数成分の位置によらず、固定値となるコンテキストインデックスctxIdxを導出する場合、位置コンテキスト導出部124bで当該導出処理を行ってもよい。
図22は、位置コンテキスト導出部124bが、TUサイズが所定のサイズ以下(例えば、4×4TU、8×8TUである場合)における各係数位置に関するコンテキストインデックスの一例を示している。図22(a)は4×4TUの場合を示し、図22(b)は8×8TUの場合を示す。
(隣接サブブロック係数有無コンテキスト導出部124c)
隣接サブブロック係数有無コンテキスト導出部124cは、隣接サブブロックに非0係数があるか否かに応じて、コンテキスト導出パターンを選択し、選択した導出パターンに従って、処理対象の周波数成分のサブブロック内での座標から、復号対象の周波数成分に対するコンテキストインデックスを導出する。
まず、隣接サブブロック有無コンテキスト導出部124cは、図16(b)に示す右隣接サブブロックおよび図16(a)に示す下隣接サブブロックを参照し、それぞれの隣接サブブロックにおけるサブブロック係数有無フラグからコンテキスト導出パターンを特定するインデックスであるパターンインデックスidxCGを、以下の式(A)により求める。
idxCG = significant_coeff_group_flag[xCG + 1][yCG] + (significant_coeff_group_flag[xCG][yCG + 1] << 1) … (A)
上記式(A)において、significant_coeff_group_flagは、上述したとおり、サブブロック内に少なくとも1つの非0変換係数が存在するか否かを示すフラグである。サブブロック内に少なくとも1つの非0変換係数が存在する場合、significant_coeff_group_flagの値は“1”であり、存在しない場合、significant_coeff_group_flag の値は“0”である。
上記パターンインデックスidxCGに基づいて、対象サブブロックの各周波数成分に割り当てられるコンテキストインデックスctxIdx(sigCtx)を導出に関する疑似コードを図41に示す。また、図41に示す疑似コードにより得られる各パターンインデックスidxCGにおけるコンテキストインデックスの配置を図42に示す。図42(a)はパターンインデックスidxCG==0の場合を示し、図42(b)はパターンインデックスidxCG==1の場合を示し、図42(c)はパターンインデックスidxCG==2の場合を示し、図42(d)はパターンインデックスidxCG==3の場合を示す。また各パターンインデックスidxCGに対応するコンテキストインデックスの割り当ては、図41に示す疑似コードに限定されず、図28に示す疑似コードにより導出してもよい。図28に示す疑似―ドにより得られる各パターンインデックスidxCGにおけるコンテキストインデックスの配置を図29に示す。図29(a)はパターンインデック
スidxCG==0の場合を示し、図29(b)はパターンインデックスidxCG==1の場合を示し、図29(c)はパターンインデックスidxCG==2の場合を示し、図29(d)はパターンインデックスidxCG==3の場合を示す。
(変換スキップ・変換量子化バイパスコンテキスト導出部124d)
(実施例1)
変換スキップ・変換量子化バイパスコンテキスト導出部124dは、変換スキップ時、あるいは、変換量子化バイパス時に、対象変換ブロックの画素領域における係数に対するコンテキストインデックスctxIdxを所定の方法に基づいて導出する。例えば、TUの横幅サイズとTUの縦幅サイズに対応する相対コンテキストインデックスに基づいて導出する。
具体的なコンテキスインデックスctxIdxの導出処理について、図31(a)を用いて説明する。図31(a)は、TU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[log2TrafoWidth-2 ][ log2TrafoHeight-2 ]である。コンテキストインデックスctxIdxは上記テーブルを参照して次式により導出される。
ctxIdx = TBL_CTX_IDX[ log2TrafoWidth -2 ][ log2TrafoHeight ‐ 2 ] +offset
・・・(eq.A-1)
上記式(eq.A-1)において、変数offsetは、位置コンテキスト導出部124b、及び隣接サブブロック係数有無コンテキスト導出部124cで導出されるコンテキストインデックスと識別するための所定のオフセット値であり、変換スキップ、あるいは変換量子化バイパスが適用される場合にコンテキストインデックスの開始点を表す(以下、式(eq.A-2)〜(eq.A-6)についても同様である)。
変換スキップ、あるいは変換量子化バイパスが実施される場合、復号対象となる係数有無フラグは、画素領域における非0係数である。画素領域における各係数位置の非0係数の出現確率と、周波数領域における各係数位置の非0係数の出現確率は異なるため、画素領域と周波数領域とで、係数有無フラグに関するコンテキストを区別することが好ましい。
以上、上記変換スキップ・変換量子化バイパスコンテキスト導出部124dによれば、変換スキップが実施される際、TU内およびサブブロック内において固定的なコンテキストインデックスを用いる。これにより、変換スキップ実施時には、TU内の位置もしくはサブブロック内の位置によらずコンテキストインデックスを導出することができるため処理が容易になる。また、変換スキップ時には、TU内もしくはサブブロック内での係数の出現確率が一様であるという性質にあったコンテキストを用いるため、符号化効率を改善する効果を奏する。
また、変換量子化バイパスが実施される場合も同様に、TU内の位置もしくはサブブロック内の位置によらず一様な(固定の、とも言う)コンテキストインデックスを導出することができるため処理が容易になる。また、変換量子化バイパス時には、TU内もしくはサブブロック内での係数の出現確率が一様であるという性質にあったコンテキストを用いるため、符号化効率を改善する効果を奏する。
また、以上の構成では、変換スキップを実施する場合に用いる場合と、変換量子化バイパスを実施する場合とで同じコンテキストインデックスを用いる。これにより、変換スキップを実施する場合に用いるコンテキストと、変換量子化バイパスを実施する場合に用いるコンテキストを共有することにより、コンテキスト数を抑制する効果を奏する。一般に、ロスレス符号化を用いるピクチャでは、ピクチャ全体が一様に高画質となるよう、ロスレス以外のブロックでも低QP(小さい量子化ステップ)で符号化することが多い。この場合、ロスレス符号化で主に用いられる変換量子化バイパスの係数と、変換スキップの係数とは同様の出現確率となるため、変換スキップと変換量子化バイパスとでコンテキストを共有することができる。
また、以上の構成では、画素領域においても、TUサイズ毎に非0係数の出現確率は異なるため、TUサイズ毎に係数有無フラグに関するコンテキストを区別することが好ましい。すなわち、上記変換スキップ・変換量子化バイパスコンテキスト導出部124dによれば、TUサイズ毎に、画素領域における非0係数に対して、適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、非0係数の符号量をさらに削減することができるので、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
(変形例1−A)
また、変換スキップ・変換量子化バイパスコンテキスト導出部124dは、変換スキップ時、あるいは、変換量子化バイパス時に、TU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightの代わりに、TUサイズの対数値log2TrafoSize(=(log2TrafoWidth+log2TrafoHeight)>>1)に基づいてコンテキストインデックスctxIdxを導出してもよい。例えば、図31(b)に示すTUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ log2TrafoSize-2 ] を参照して、次式により導出する。
ctxIdx = TBL_CTX_IDX[ log2TrafoSize- 2 ] + offset
・・・(eq.A-2)
一般的に、非正方形であるTUサイズは、正方形であるTUサイズと比較して出現頻度が小さい。そのため、非正方形であるTUサイズと要素数が等しい正方形であるTUサイズとで、画素領域における非0係数のコンテキストを共有することによる符号化効率の改善幅の低下は軽微である。
以上、上記変換スキップ・変換量子化バイパスコンテキスト導出部124dによれば、変換スキップ、あるいは変換量子化バイパス用に、新たに導入する画素領域における非0係数有無フラグに関するコンテキスト数を抑制すると共に、符号化効率の改善の効果を奏する。
(変形例1―B)
変換スキップ・変換量子化バイパスコンテキスト導出部124dは、変換スキップ時、あるいは、変換量子化バイパス時に、対象変換ブロックの画素領域における係数に対するコンテキストインデックスctxIdxを予測タイプPredTypeとTUの横幅サイズとTUの縦幅サイズに対応する相対コンテキストインデックスに基づいて導出してもよい。例えば、図32に示す予測タイプPredTypeとTU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightとに対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[PredType][ log2TrafoWidth-2 ][ log2TrafoHeight -2 ]を参照して、次式によりコンテキストインデックスを導出する。
ctxIdx = TBL_CTX_IDX[PredType][ log2TrafoWidth-2 ][ log2TrafoHeight
-2 ]
+ offset・・・(eq.A-3)
ここで、予測タイプPredTypeは、イントラ予測の場合、値は0をとり、インター予測の場合、値は1をとるものとする。
一般的に、変換スキップあるいは変換量子化バイパスが実施される場合、復号対象となる画素領域における非0係数の出現確率は、イントラ予測とインター予測において異なるため、予測タイプ毎に係数有無フラグに関するコンテキストを区別することが好ましい。
以上、上記変換スキップ・変換量子化バイパスコンテキスト導出部124dによれば、画素領域における非0係数に対して、予測タイプとTUサイズ毎に適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、非0係数の符号量を削減することができるので、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
(変形例1−C)
変換スキップ・変換量子化バイパスコンテキスト導出部124dは、変換スキップ時、あるいは、変換量子化バイパス時に、TU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightの代わりに、TUサイズの対数値log2TrafoSize(=(log2TrafoWidth+log2TrafoHeight)>>1)と予測タイプに基づいてコンテキストインデックスctxIdxを導出してもよい。例えば、図33に示す予測タイプPredTypeとTUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ PredType][
log2TrafoSize-2 ] を参照して、次式により導出する。
ctxIdx = TBL_CTX_IDX[ PredType ][ log2TrafoSize- 2 ] + offset・・・(eq.A-4)
非正方形であるTUサイズは、正方形であるTUサイズと比較して出現頻度が小さい。そのため、非正方形であるTUサイズと要素数が等しい正方形であるTUサイズとで、画素領域における非0係数のコンテキストを共有することによる符号化効率の改善幅の低下は軽微である。
以上、上記変換スキップ・変換量子化バイパスコンテキスト導出部124dによれば、変換スキップ、あるいは変換量子化バイパス用に、新たに予測タイプ毎に導入する画素領域における非0係数有無フラグに関するコンテキスト数を抑制すると共に、符号化効率の改善の効果を奏する。
(変形例1−D)
以上、変換スキップ・変換量子化バイパスコンテキスト導出部124dは、TUサイズや予測タイプによって個別のコンテキストインデックスを導出する例について説明したが、これに限定されない。例えば、変換スキップ・変換量子化バイパスコンテキスト導出部124dは、変換スキップ時、あるいは、変換量子化バイパス時に、対象変換ブロックの画素領域における係数に対して固定のコンテキストインデックスを割り当ててもよい。
すなわち、ctxIdx = offset ・・・(eq.A-5)
これによって、新たに導入する画素領域における非0係数有無フラグに関するコンテキスト数を抑制すると共に、符号化効率の改善の効果を奏する。
(変形例1−E)
上記変換スキップ・変換量子化バイパスコンテキスト導出部124dでは、変換スキップ時と変換量子化バイパス時において、画素領域における非0係数有無フラグに関するコンテキストインデックスを共通にしていてが、変換スキップ時と変換量子化バイパス時において、個別のコンテキストインデックスを割り当ててもよい。一般的に、変換スキップ時と変換量子化バイパス時とでは、画素領域における非0係数の出現確率は異なるため、係数有無フラグに関するコンテキストを区別することが好ましい。例えば、図34に示すように、変換スキップと変換量子化バイパスを識別する識別子indexと、TUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ PredType ][ log2TrafoSize-2 ] を参照して、次式により導出する。
ctxIdx = TBL_CTX_IDX[ index ][ log2TrafoSize- 2 ] + offset・・・(eq.A-6)
なお上記式において識別子indexは、変換スキップ時に値0をとり、変換量子化バイパス時に値1をとるものとする。
ピクチャ内の画質の変化を許すような利用状況では、ロスレス以外のブロックにおいて比較的量子化ステップの大きな量子化が行われることもありえる。この場合、ロスレス符号化で主に用いられる変換量子化バイパスの係数と、変換スキップの係数とは出現確率が異なる(量子化が行われる変換スキップの場合に出現確率が低い)ため、係数有無フラグに関するコンテキストを区別することが好ましい。
以上、変換スキップ・変換量子化バイパスコンテキスト導出部124dによれば、変換スキップ時と変換量子化バイパス時のそれぞれに対して、画素領域における非0係数に対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、非0係数の符号量を削減することができるので、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
以上、変換スキップが実施される場合、または変換量子化バイパスが実施される場合に、非0係数有無フラグに関するコンテキストを、周波数領域における係数と画素領域における係数とで区別する場合について説明したが、GR1フラグ(coeff_abs_level_greater1_flag)、及びGR2フラグ(coeff_abs_level_greater2_flag)に関しても、GR1フラグに関するコンテキスト、及びGR2フラグに関するコンテキストを、変換スキップ、または変換量子化バイパスが実施される場合、周波数領域における係数と、画素領域における係数とで区別してもよい。
<<係数有無フラグ復号部124の別の構成例>>
以下では、図59を参照して、係数有無フラグ復号部124の別の構成例について説明する。
図59は、係数有無フラグ復号部124の別の構成例を示すブロック図である。図59に示すように、係数有無フラグ復号部124は、コンテキスト導出手段選択部124Aa、位置コンテキスト導出部124b、隣接サブブロック係数有無コンテキスト導出部124c、変換スキップコンテキスト導出部124Ad、及び係数有無フラグ設定部124eを備えている。なお、位置コンテキスト導出部124b、隣接サブブロック係数有無コンテキスト導出部124c、及び、係数有無フラグ設定部124eは、図18の対応する構成要素と同じ機能を有するため同一の符号を付与して説明を省略する。
(コンテキスト導出手段選択部124Aa)
コンテキスト導出手段選択部124Aaには、処理対象の係数位置(xC,yC)と、変換ブロックサイズの対数値(log2TrafoWidth、log2TrafoHeight)と、変換スキップフラグ(transform_skip_flag)が少なくとも入力される。
コンテキスト導出手段選択部124Aaは、変換スキップフラグ、対象変換ブロックサイズ、および、対象の係数位置に応じて、位置コンテキスト導出部124b、隣接サブブロック係数有無コンテキスト導出部124c、または、変換スキップコンテキスト導出部124Adの何れかを選択する。選択された各コンテキスト導出部では対象の係数位置における係数有無フラグの復号時に参照されるコンテキストインデックスctxIdxが導出される。
以下、図60を用いてコンテキスト導出手段選択部124Aaにおけるコンテキスト導出手段の選択処理について具体的に説明する。
まず、ステップSB801Aでは、変換サイズが4×4か否かを判別する。変換サイズが4×4である場合(ステップSB801AでYes)、ステップSB802Aへ進み、そうでない場合(ステップSB801AでNo)、ステップSB803Aへ進む。
ステップSB802Aでは、対象ブロックにおいて変換スキップを適用するか否かを判定する。変換スキップを適用する(変換スキップフラグが1である)場合(ステップSB802AでYes)、ステップSB806Aに進む。変換スキップを適用しない場合(ステップSB802AでNo)、ステップSB803Aに進む。
ステップSB803Aでは、対象の係数位置が周波数領域におけるDC成分の位置であるか、または、対象変換ブロックサイズが所定のサイズ以下(8×8以下)である場合、ステップSB805Aに進む。それ以外の場合、ステップSB804Aに進む。
ステップSB804Aでは、コンテキスト導出選択手段は、隣接サブブロック係数有無コンテキスト導出手段を選択し、コンテキストインデックスを導出して、処理を終了する。
ステップSB805Aでは、コンテキスト導出選択手段は、位置コンテキスト導出手段を選択し、コンテキストインデックスを導出して、処理を終了する。
ステップSB806Aでは、コンテキスト導出選択手段は、変換スキップコンテキスト導出手段を選択し、コンテキストインデックスを導出して、処理を終了する。
(変換スキップコンテキスト導出部124Ad)
変換スキップコンテキスト導出部124Adは、変換スキップ時に、対象係数における係数有無フラグの復号時に参照されるコンテキスト(コンテキストインデックスctxIdx)を導出する。ここで導出されるコンテキストは、対象係数のサブブロック内の位置に依らず、単一のコンテキストが導出される。ここで、当該単一のコンテキストとしては、独立のコンテキストを設定してもよい。具体的には、他のコンテキスト導出部(位置コンテキスト導出部124bと隣接サブブロック係数有無コンテキスト導出部124c)において導出されるコンテキストとは異なるコンテキストを導出する。
変換スキップが実施される場合、復号対象となる係数有無フラグは、画素領域における非0係数を意味する。一方、変換スキップが適用されない場合、係数有無フラグは、周波数領域における非0係数を表す。画素領域における非0係数の出現確率と、周波数領域における非0係数の出現確率は異なるため、画素領域と周波数領域とで、係数有無フラグに関するコンテキストを区別することが好ましい。さらに、画素領域における非0係数の出現確率は、変換ブロック内、または、サブブロック内の係数位置との関連性が、周波
数領域における非0係数の出現確率に較べて低い。そのため、画素領域における非0係数の出現確率に対応する、変換スキップ適用時の係数有無フラグの復号に参照するコンテキストは、変換ブロック内、または、サブブロック内の係数位置に依存せずに決定してもよい。その場合、係数位置に応じて複数のコンテキストから選択する場合に較べて、コンテキスト数を削減できる。
なお、上記では、変換スキップコンテキスト導出部124Adにおいて、係数有無フラグの復号時に参照される単一のコンテキストとして、独立のコンテキストを説明する例を説明したが、変換スキップが適用されない場合の係数有無フラグの復号時に参照されるコンテキストを導出してもよい。すなわち、変換スキップ適用時のコンテキストと、変換スキップ未適用時のコンテキストを共有してもよい。この場合、コンテキストの総数が増加しないという利点がある。
ここで、変換スキップ適用時と未適用時に、コンテキストを共有する具体例を挙げる。変換スキップ適用時に導出されるコンテキストは、位置コンテキスト導出部124bにおいて、高周波成分の位置における係数有無フラグに対して導出されるコンテキストであることが好ましい。より具体的には、図22(a)において、‘8’で示された高周波領域の係数有無フラグに対して導出されるコンテキストを、変換スキップ適用時の係数有無フラグのコンテキストとして導出できる。周波数領域において高周波成分の位置における係数有無フラグの係数位置への依存性は、低周波成分の位置における係数有無フラグの係数位置への依存性に較べて小さい。変換スキップ適用時には、空間領域において係数有無フラグの係数位置への依存性が比較的小さいことから、コンテキストを共有するのであれば、高周波成分におけるコンテキストを共有することが好ましい。
以上、上記変換スキップコンテキスト導出部124dによれば、変換スキップが実施される際、画素領域における非0係数に対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となる変換ブロックにおいて、非0係数の符号量を削減することができるので、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
(係数値復号部125の構成例)
図43は、係数値復号部125の構成例を示すブロック図である。図43に示すように、係数値復号部125は、係数レベル復号部125a、係数サイン復号部125b、係数値復元部125c及び、係数数導出部125dを備えている。係数サイン復号部125bは、係数位置導出部125e、サインハイディングフラグ導出部125f、係数和算出部125g、サイン符号導出部125hを備えている。
係数レベル復号部125aは、シンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingを復号し、変換係数の絶対値absLevelを復号する。係数数導出部125dから供給されるサブブロック内の非0係数の数numCoeffが所定の閾値TH以上である場合には、ハイスループットモードに移る。
係数値復元部125cは、係数レベル復号部125aから供給される変換係数の絶対値absLevelと、係数サイン復号部125bから供給される変換係数の符号coeff_sign_flagから以下の式によって、変換係数の値を復号する。
Coeff = absLevel * (1 ‐ 2*coeff_sign_flag)
coeff_sign_flagは符号が正のとき値は0、符号が負のとき値は1となる。
係数数導出部125dは、サブブロック内の非0の変換係数の数numCoeffを導出し、係数レベル復号部125aに供給する。また、係数サイン復号部125bにおいてサインハインディングフラグsignHiddenの導出にサブブロック内の非0の変換係数の数numCoeffを用いる場合には、係数サイン復号部125bにも供給する。
係数サイン復号部125bは、符号化データから変換係数の符号coeff_signを復号もしくは導出する。
係数位置導出部125eは、スキャン順で最後の非0係数の位置lastNZPosInCGとスキャン順で最初の非0係数の位置firstNZPosInCGを求めサインハイディングフラグ導出部125fに供給する。サインハイディングフラグ導出部125fでは対象サブブロックでサインハイディングを行うか否かを示すフラグsignHiddenを導出し、サイン符号導出部125hに供給する。係数和算出部125gは、対象サブブロックの係数絶対値和sumAbsを算出しサイン符号導出部125hに供給する。
サイン符号導出部125hは、サインハイディングを行う場合には、対象サブブロックの係数絶対値和sumAbsから位置firstNZPosInCGの変換係数の符号coeff_signを以下の式により算出する。
coeff_sign =(sumAbs % 2) == 1 ? -1 : 1
サインハイディングを行わない場合には、符号化データからシンタックスcoeff_sign_flagを復号することにより、変換係数の符号を復号する。
図44は、実施形態に係る係数サイン復号部125bの動作を示すフローチャートである。
(ステップSD001)
サインハイディングフラグ導出部125fはサインハイディングフラグsignHiddenを導出する。サインハイディングフラグsignHiddenは、当該サブブロックでサインハイディングを行うか否かを示す。signHiddenの導出はサブブロックに1回行われる。導出方法の詳細は後述する。
(ステップSD002)
対象サブブロック内のループを開始する。当該ループは、係数位置を単位とするループである。
(ステップSD003)
対象変換係数の位置に非0係数が存在するか否かを判定する。
(ステップSD004)
非0係数が存在する場合(ステップSD003でYes)、サインハイディング許可フラグフラグsign_data_hiding_flagが1であるか否かを判定する。サインハイディング許可フラグフラグsign_data_hiding_flagは、シーケンスやピクチャ、スライス全体でサインハイディングを許可するか否かのフラグであり、SPSやPPSなどのパラメータセットもしくはスライスヘッダで符号化される。
(ステップSD005)
サインハイディング許可フラグフラグsign_data_hiding_flagが1の場合(ステップSD004でYes)、サインハイディングフラグsignHiddenが1であるであるかを判定する。
(ステップSD006)
サインハイディングフラグsignHiddenが1である場合(ステップSD005でYes)、サインハイディングフラグsignHidden対象変換係数がサブブロックの中においてスキャン順で最初(逆スキャン順で最後)の非0係数であるであるか(firstNZPosInCG ?)を判定する。
(ステップSD007)
対象変換係数がサブブロックの中においてスキャン順で最初の非0係数である場合(ステップSD006でYes)、サイン符号導出部125hは計算によりサインを導出する。
(ステップSD008)
サインハイディングを行うか否かの判定のいずれかがNoの場合、サイン符号導出部125hは符号化データからサインを復号する。
(ステップSD009)
サブブロック内のループを終了する。
図45は、サインハイディングフラグ導出部125fにおけるサインハイディングフラグsignHidden導出処理(ステップSD001)を説明するためのフローチャートである。
(ステップSD1201)
変換量子化バイパスを実施するか否かを判別する。変換量子化バイパスを実施しない場合(transquant_bypass_flag==0) (ステップSD1201でYes)、ステップSD1202へ進む。それ以外の場合は(ステップSD1201でNo)、ステップS1205へ進む。
(ステップSD1202)
変換スキップを実施するか否かを判別する。変換スキップを実施しない場合(transform_skip_flag==0)(ステップSD1202でYes)、ステップSD1203へ進む。それ以外の場合は、ステップS1205へ進む。
(ステップSD1203)
サブブロック内において、スキャン順で最後に出現する(逆スキャン順で最初に出現する)非0係数の位置lastNZPosInCGとスキャン順で最初に出現する(逆スキャン順で最後に出現する)非0係数の位置firstNZPosInCGの差が所定の閾値sign_hiding_threshold以上であるかを判定する。スキャン位置の差が所定の閾値以上である場合(ステップSD1201でYes)、ステップS1204へ進む。それ以外の場合は(ステップSD1203でNo)、ステップS1205へ進む。
(ステップSD1204)
、サインハイディングフラグsignHiddenをサインハインディングを行うことを意味する1に設定する。
(ステップSD1205)
サインハイディングフラグsignHiddenをサインハインディングを行わないことを意味する0に設定する。
ここで、ステップSD1203では、閾値sign_hiding_thresholdを用いてサインハイディングを行うか否かを決定するが、この閾値の具体例としては4が好適である。
上記ステップSD1202〜SD1205の処理を式で表せば、次式で表される。
signHidden = (lastNZPosInCG ‐ firstNZPosInCG >= sign_hiding_thresh
old) &&
!transquant_bypass_flag && !transform_skip_flag ? 1 :0
変換スキップを実施する場合、もしくは変換量子化バイパスを実施する場合、画素領域の係数に対して、係数レベル値の補正を伴うサインハイディングを実施することは、主観画質の低下を招く可能性があるため、サインハイディングの実施を禁止することが好ましい。以上、本構成では、変換スキップ、もしくは、変換量子化バイパスを実施時において、サインハイディング処理を禁止することによって、主観画質向上の効果を得る効果を奏する。
なお、上記サインハイディングフラグ導出部125fでは、変換スキップを実施するか否かと変換量子化バイパスを実施するか否かと、及びスキャン順で最初に出現する非0係数の位置と、スキャン順で最後に出現する非0係数の位置とのスキャン位置の差が所定の閾値sign_hiding_thresholdであるかによって、サインハイディングフラグsignHiddenを導出しているが、これに限定されない。例えば、スキャン順で最後に出現する非0係数の位置が所定の閾値sign_hiding_thresholdであるかによって、サインハイディングフラグsignHiddenを導出してもよい。
すなわち、
signHidden = (lastNZPosInCG >= sign_hiding_threshold) &&
!transquant_bypass_flag && !transform_skip_flag ? 1 :0
(係数値復号部125の別の構成例)
図46は、係数値復号部125の別の構成例を示すブロック図である。図46に示すように、係数値復号部125は、係数レベル復号部125a、係数サイン復号部125b´、係数値復元部125c及び、係数数導出部125dを備えている。係数サイン復号部125b´は、係数位置導出部125e、サインハインディングフラグ導出部125f´、係数和算出部125g、サイン符号導出部125hを備えている。図43に示す構成と異なり、係数位置導出部125eは存在しない。
上記構成の場合、サインハイディングフラグ導出部125f´は、変換スキップを実施するか否かと変換量子化バイパスを実施するか否かと、サブブロック内の非0係数の数numCoeffが所定の閾値sign_hiding_threshold以上であるかによって、サインハイディングフラグsignHiddenを導出する。
すなわち、
signHidden = (numSigCoeff>=sign_hiding_threhold) &&
!transquant_bypass_flag && !transform_skip_flag ? 1 :0
本判定において、サブブロック内の変換係数の数numCoeffは、レベル復号においてもカウントされる変数であるため、サインハインディング用に特別な処理が不要になり処理が単純になる効果を奏する。
(サインハイディング時の符号計算処理)
図47は、サイン符号導出部125hにおけるサインハイディングの符号計算処理(ステップSD007)の詳細動作を示すフローチャートである。
(ステップSD901)
サイン符号導出部125hは、対象サブブロックの係数絶対値和sumAbsが奇数かどうかを判定する。
(ステップSD902)
対象サブブロックの係数絶対値和sumAbsが奇数の場合(ステップSD901でYes)、対象とする変換係数の符号を負と導出する。既に復号された絶対値absLevelを反転する。
(ステップSD903)
対象サブブロックの係数絶対値和sumAbsが偶数の場合(ステップSD901でNo)、対象とする変換係数の符号は正と導出する。既に復号された絶対値absLevelは反転せずそのままとする。
(サインハイディングにおいて係数絶対値和sumAbsを用いない構成)
図48は、係数絶対値和sumAbsを用いない場合の係数サイン復号部125bの動作を示すフローチャートである。ステップSD1001からステップSD1005、ステップSD1007、ステップSD1008の動作は、図44のステップSD001からステップSD005、ステップSD007、ステップSD008の動作と同じであるから説明を省略する。
(ステップSD1006)
サインハイディングフラグsignHiddenが1である場合(ステップSD1005でYes)、サインハイディングフラグsignHidden対象変換係数がサブブロックの中においてスキャン順で最後(最も高周波数側)の非0係数であるであるか(lastNZPosInCG ?)を判定する。
(ステップSD1007)
対象変換係数がサブブロックの中においてスキャン順で最後の非0係数である場合(ステップSD1006でYes)、サイン符号導出部125hは、スキャン順で最後の非0係数の絶対値から計算によりサインを導出する。
図49は、係数絶対値和sumAbsを用いない構成におけるサイン符号導出部125hにおけるサインハイディングの符号計算処理(ステップSD1007)の詳細動作を示すフローチャートである。
(ステップSD1101)
サイン符号導出部125hは、サインハイディングの対象となる変換係数の係数絶対値absLevelが奇数かどうかを判定する。
(ステップSD1102)
対象係数の絶対値absLevelが奇数の場合(ステップSD1101でYes)、対象とする変換係数の符号を負と導出する。既に復号された絶対値absLevelを反転する。
(ステップSD1103)
対象係数の絶対値absLevelが偶数の場合(ステップSD1101でNo)、対象とする変換係数の符号は正と導出する。既に復号された絶対値absLevelは反転せずそのままとする。
(実施例3)
以下では、係数レベル復号部125aにおけるGR1フラグ、GR2フラグ、残余係数レベルの復号処理について説明する。
(GR1フラグの復号処理)
以下では、係数レベル復号部125aにおけるGR1フラグの復号処理について説明する。図35は、GR1フラグの復号処理を示すフローチャートである。
なお、予めGR1フラグの値を格納するcoeff_abs_level_greatr1_flag[n]は初期化しておくものとする。
(ステップSD101)
係数レベル復号部125aは、GR1フラグの復号に関連する各種パラメータを初期化する。
係数位置識別インデックスnを15に設定する。n = 15
係数数numSigCoeffを0に設定する。numSigCoeff = 0
サブブロック内で最初に出現するGR1フラグの値が1となる係数位置firstGreater1CoeffIdxを-1に設定する。firstGreatr1CoeffIdx = -1
復号対象サブブロックの位置(subset)がラスト係数を含むサブブロックである場合、復号済GR1フラグの値が0である個数を表わす変数greatr1Ctxは1に初期化される。すなわち、
greater1Ctx = 1
また、復号対象サブブロックの位置(subset)がラスト係数を含むサブブロック以外の場合は、復号済GR1フラグの値が0である個数を表わす変数greatr1Ctxを次式により更新する。
greater1Ctx = greater1Ctx >> 1
(ステップSD102)
対象サブブロック内のループを開始する。当該ループは、係数位置を単位とするループである。
(ステップSD103)
係数位置識別インデックスnで特定される係数位置(xC,yC)が非0係数であるか判別する。非0係数である場合( significant_coeff_flag[xC][yC]==1 )
(ステップSD103でYes)、ステップSD104へ進む。それ以外の場合(significant_coeff_flag[xC][yC]==0(ステップSD103でNo)、ステップSD109へ進む。
(ステップSD104)
サブブロック内で復号したGR1フラグの個数numSigCoeffが所定閾値未満であるか判別する。GR1フラグの個数numSigCoeffが所定閾値未満である場合(ステップSD104でYes)、ステップSD104へ進む。それ以外の場合(ステップSD104でNo)、ステップSD109へ進む。
(ステップSD105)
係数位置識別インデックスnのGR1フラグを復号する。なお、GR1フラグの復号時に参照するコンテキストインデックスは以下のように算出される。
(変換スキップ、変換量子化バイパスのいずれも実施しない場合)
変換スキップ、変換量子化バイパスのいずれも実施しない場合、周波数領域における各係数位置のGR1フラグに関するコンテキストインデックスを次式により導出する。
ctxIdx = 4 * ctxset + min( 3, greater1ctx ) ・・・(eq.B-1)
ここで、式(eq.B-1)において、変数ctxsetは、復号対象変換ブロック内の対象サブブロックより前に復号したサブブロック内の変換係数レベルabslevelが2以上(GR1フラグの値が1)となる係数の個数numGreater1と、復号対象サブブロックの位置(subset)と、色空間cIdxによって定まる値である。
まず、変数ctxsetは、復号対象サブブロックのGR1フラグの復号開始前に、予め次式によって初期化される。
ctxset = ( subset>0 && cIdx==0 ) ? 2 : 0 ・・・(eq.B-2)
すなわち、色空間cIdxが輝度(Y)を示し(cIdx==0)、かつ復号対象サブブロックの位置subsetがDC係数を含まないサブブロックである(subset>0)場合には、変数ctxsetを2に設定する。。それ例外の場合( subset==0 || cIdx>0 )、すなわち、復号対象サブブロックの位置subsetがDC係数を含むサブブロックである場合(subset==0)、または、色空間cIdxが色差(U,V)である場合は、変数ctxsetを0に設定する。
また、上記式(eq.B-2)により変数ctxsetの初期化が実施された後は、復号対象サブブロック内のGR1フラグの復号開始前に、変数ctxsetは変数numGreater1と、変換スキップフラグtransform_skip、または、変換量子化バイパスフラグtransquant_bypass_flagに基づいて値が更新される。
if ( !transform_skip_flag && !transquant_bypass_flag){
ctxset = (numGreater1 > 0) ? ctxset + 1 : ctxset
}・・・(eq.B-3)
また、式(eq.B-1)において、変数greater1Ctxは、ステップSD105において復号されたGR1フラグ(lastGrater1Ctx)と、変換スキップフラグ、変換量子化バイパスフラグによって定まる値である。
if( !transform_skip_flag && !transquant_bypass_flag){
greater1Ctx = (lastGreater1Ctx==1) ? 0 : greatr1Ctx + 1
}・・・(eq.B-4)
ここで、式(eq.B-4)において、変数lastGreater1Ctxは、直前に復号したGR1フラグの値を示す。また、上記式(eq.B-3)及び(eq.B-4)において、変換スキップ、あるいは、変換量子化バイパスが実施される場合は、変数ctxset及びgreater1Ctxの値を更新しない。なぜならば、変換スキップ、あるいは、変換量子化バイパスが実施される場合、GR1フラグは画素領域における変換係数であり、周波数領域における変換係数に関するGR1フラグのコンテキストを導出するために用いる変数を更新することは、周波数領域における変換係数に関するGR1フラグのコンテキストの状態をが適切に更新されず、符号化効率の低下を招く可能性があるためである。
(変換スキップ、あるいは変換量子化バイパスを実施する場合)
変換スキップ、あるいは変換量子化バイパスを実施する場合、画素領域における各係数位置のGR1フラグに関するコンテキストインデックスを所定の方法に基づいて導出する。具体的な導出の仕方については後述する。
(ステップSD106)
復号したGR1フラグの個数をカウントする。すなわち、
numSigCoeff = numSigCoeff + 1
また、復号した係数位置(xC, yC)の係数レベル値が2以上であるか(GR1フラグの値が1でるか)と、変換スキップフラグ、変換量子化バイパスフラグに基づいて、変数numGreater1を更新する。すなわち、
if( !transform_skip_flag && !transquant_bypass_flag){
numGreater1 = coeff_abs_level_greater1_flag[n]==1 ?
numGreater1 + 1 : numGreater1
} ・・・(eq.B-5)
ここで、式(eq.B-5)において、変換スキップ、あるいは、変換量子化バイパスが実施される場合は、変数numGreater1を更新しない。なぜならば、変換スキップ、あるいは、変換量子化バイパスが実施される場合、GR1フラグおよびGR2フラグは画素領域における変換係数であり、周波数領域における変換係数に関するGR1フラグおよびGR2フラグのコンテキストを導出するために用いる変数を更新することは、周波数領域における変換係数に関するGR1フラグ、及びGR2フラグのコンテキストの状態が適切に更新されず、符号化効率の低下を招く可能性があるためである。
(ステップSD107)
サブブロック内で最初に出現する、GR1フラグの値が1となる係数位置であるか判別する。サブブロック内で最初に出現する、GR1フラグの値が1となる係数位置である場合(ステップSD107でYes)、ステップSD108へ進む。それ以外の場合は、ステップSD109へ進む。
(ステップSD108)
サブブロック内で最初に出現する、GR1フラグの値が1となる係数位置(係数位置識別インデックス)を変数firstGreater1CoeffIdxへ設定する。すなわち、
firstGreater1CoeffIdx = n
(ステップSD109)
係数位置識別インデックスnを更新する。すなわち、
n = n - 1
(ステップSD110)
サブブロック内のループを終了する。
(GR2フラグの復号処理)
以下では、係数レベル復号部125aにおけるGR2フラグの復号処理について説明する。図36は、GR2フラグの復号処理を示すフローチャートである。
なお、予めGR2フラグの値を格納するcoeff_abs_level_greatr2_flag[n]は初期化しておくものとする。
(ステップSE101)
GR1フラグの復号処理において求めた、サブブロック内で最初に出現する、GR1フラグの値が1となる係数があるか否かを判別する。すなわち、変数firstGreater1CoeffIdxが-1であるか否かを判別する。ここで、変数firstGreater1coeffIdxが-1でない場合(ステップSE101においてYes)、ステップS102へ進む。それ以外の場合(ステップSE101においてNo)、GR2フラグを復号せず、GR2フラグの復号処理を終了する。
(ステップSE102)
変数firstGreatr1CoeffIdxが示す係数位置のGR2フラグ(coeff_abs_level_greater2_flag[ firstGreatr1CoeffIdx ])を復号する。
なお、GR2フラグの復号時に参照するコンテキストインデックスは以下のように算出される。
(変換スキップ、変換量子化バイパスのいずれも実施しない場合)
変換スキップ、変換量子化バイパスのいずれも実施しない場合、周波数領域における各係数位置のGR2フラグに関するコンテキストインデックスを次式により導出する。
ctxIdx = (cIdx==0) ? ctxset : ctxset + 4・・・(eq.C-1)
ここで、式(eq.C-1)において、変数ctxsetは、復号対象変換ブロック内の対象サブブロックより前に復号したサブブロック内の変換係数レベルabslevelが2以上となる係数の個数numGreater1と、復号対象サブブロックの開始位置と、色空間cIdxによって定まる値である。なお、ctxsetの導出方法は、既に説明したため省略する。
(変換スキップ、あるいは変換量子化バイパスを実施する場合)
変換スキップ、あるいは変換量子化バイパスを実施する場合、画素領域における各係数位置のGR2フラグに関するコンテキストインデックスを所定の方法に基づいて導出する。具体的な導出の仕方については後述する。
(残余係数レベルの復号処理)
以下では、係数レベル復号部125aにおける残余係数レベルの復号処理について説明する。図37は、残余係数レベルの復号処理を示すフローチャートである。
(ステップSF101)
係数レベル復号部125aは、残余係数レベルの復号に関連する各種パラメータを初期化する。
係数位置識別インデックスnを15に設定する。n = 15
係数数numSigCoeffを0に設定する。numSigCoeff = 0
(ステップSF102)
対象サブブロック内のループを開始する。当該ループは、係数位置を単位とするループである。
(ステップSF103)
係数位置識別インデックスnで特定される係数位置(xC,yC)が非0係数であるか判別する。非0係数である場合( significant_coeff_flag[xC][yC]==1 )(ステップSF103でYes)、ステップSF104へ進む。それ以外の場合( significant_coeff_flag[xC][yC]==0(ステップSF103でNo)、ステップSF109へ進む。
(ステップSF104)
係数位置(xC, yC)の変換係数のベースレベルbaseLevelを次式により算出する。
baseLevel = 1 + coeff_abs_level_greater1_flag[ n ]
+ coeff_abs_level_greater2_flag[ n ] ・・・(eq.E-1)
(ステップSF105)
係数位置(xC,yC)の変換係数のベースレベルbaseLevelが所定値を満たすか否かを判別する。所定値は次式で表わされる。
baseLevel == (numSigCoeff < TH) ?
( ( n==firstGreater1CoeffIdx) ? 3 : 2 ) : 1・・・(eq.E-2)
すなわち、
1)係数数numSigCoeffが所定閾値TH以上の場合(numSigCoeff>=TH)、baseLevelが1と等しいか判定する。
2)係数数numSigCoeffが所定閾値未満(numSigCoeff<TH)、かつ、係数識別インデックスnがfirstGreater1CoeffIdxではない場合、baseLevelが2と等しいか判定する。
3)係数数numSigCoeffが所定閾値未満(numSigCoeff<TH)、かつ、係数識別インデックスnがfirstGreater1CoeffIdxである場合、baseLevelが3と等しいか判定する。
以上、baseLevelが上記条件で取り得る値と等しい場合(ステップSF105でYes)、ステップSF106へ進む。それ以外の場合(ステップSF105でNo)、残余係数レベルcoeff_abs_level_remainingの復号をスキップ(coeff_abs_level_remaining[n]=0として扱う)し、ステップSF107へ進む。
(ステップSF106)
係数位置(xC,yC)の変換係数の残余係数レベルcoeff_abs_level_remaining[n]を復号する。
(ステップSF107)
係数位置(xC,yC)の変換係数の係数レベル値absLevelを次式により算出する。
absLevel = coeff_abs_level_remaining[ n ] + baseLevel ・・・(eq.E-3)
(ステップSF108)
復号した係数数numSigCoeffを更新する。すなわち、
numSigCoeff = numSigCoeff + 1
(ステップSF109)
係数位置識別インデックスnを更新する。すなわち、
n = n - 1
(ステップSF110)
サブブロック内のループを終了する。
(変換スキップ、または変換量子化バイパス時のGR1フラグ/GR2フラグのコンテキストインデックス導出に関して)
係数レベル復号部125aは、変換スキップ、または変換量子化バイパスが適用される場合、GR1フラグとGR2フラグに関するコンテキストインデックスctxIdxを例えば、TUの横幅サイズとTUの縦幅サイズに対応する相対コンテキストインデックスに基づいて導出する。
具体的なコンテキストインデックスctxIdxの導出処理について、図31(a)を用いて説明する。図31(a)は、TU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX [ log2TrafoWidth-2 ][ log2TrafoHeight -2 ]である。コンテキストインデックスctxIdx
は上記テーブルを参照して次式により導出される。
ctxIdx = TBL_CTX_IDX[ log2TrafoWidth -2 ][ log2TrafoHeight ‐ 2 ] +
offset
・・・(eq.C-1)
上記式(eq.C-1)において、変数offsetは、GR1フラグの場合、周波数領域におけるGR1フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR1フラグのコンテキストインデックスとを識別するための所定のオフセット値である。同様に、GR2フラグの場合、周波数領域におけるGR2フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR2フラグのコンテキストインデックスとを識別するための所定のオフセット値であり、変換スキップ、あるいは変換量子化バイパスが適用される場合の各GR1フラグ、または、GR2フラグに関するコンテキストインデックスの開始点を表わす。以下、式(eq.C-2)〜式(eq.C-6)における変数offsetついても同様である。
変換スキップ、あるいは変換量子化バイパスが実施される場合、復号対象となるGR1フラグ、及びGR2フラグは、画素領域における変換係数である。画素領域における各係数位置のGR1フラグ、及びGR2フラグの出現確率と、周波数領域における各係数位置のGR1フラグ、及びGR2の出現確率は異なるため、画素領域と周波数領域とで、GR1フラグ及びGR2フラグに関するコンテキストを区別することが好ましい。
以上、係数レベル復号部125aによれば、変換スキップ、あるいは変換量子化バイパスが実施される際、画素領域におけるGR1フラグ、及びGR2フラグに対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグ及びGR2フラグの符号量を削減することができるので、GR1フラグおよびGR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
また、画素領域においても、TUサイズ毎に非0係数の出現確率は異なるため、TUサイズ毎にGR1フラグ及びGR2フラグに関するコンテキストを区別することが好ましい。すなわち、上記係数レベル復号部125aによれば、TUサイズ毎に、画素領域におけるGR1フラグ、及びGR2フラグに対して、適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグ、及びGR2フラグの符号量をさらに削減することができるので、GR1フラグ、及びGR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
なお、上記では、変換スキップあるいは変換量子化バイパスが実施される場合、すなわち、画素領域における変換係数について、GR1フラグのコンテキストを、周波数領域におけるコンテキストと区別する例を記載したが、それに限らない。例えば、変換スキップが実施される場合には、周波数領域におけるコンテキストとは異なるコンテキストを用い、変換量子化バイパスが実施される場合には、周波数領域におけるコンテキストを共有して用いる構成でも構わない。
変換量子化バイパスを適用する場合は、変換係数を量子化しないため、変換係数の符号量が多くなる。そのため、量子化後の変換係数の値が1より大きか否かを示すフラグであるGR1フラグの符号量が、変換係数の符号量に占める割合は低い。そのため、周波数領域におけるコンテキストと異なるコンテキストを用いてGR1フラグの符号量を削減しても符号化データ全体の符号量は大きく低減できない可能性がある。一方、変換スキップを適用する場合は、変換係数を量子化するため、変換係数の符号量が変換量子化バイパスを適用する場合に比べて小さくなる。ゆえに、周波数領域におけるコンテキストと異なるコンテキストを用いてGR1フラグの符号量を削減することで符号化データ全体の符号量が比較的大きく低減できる。したがって、変換スキップを適用する場合に、周波数領域と異なるコンテキストでGR1フラグを符号化し、変換量子化バイパスを適用する場合に、周波数領域とコンテキストを共有してGR1フラグを符号化することで、コンテキスト数を大きく増加することなく符号量が削減できるという効果を奏する。
以上の議論はGR2フラグについても成り立ち、変換スキップを適用する場合に、周波数領域と異なるコンテキストでGR2フラグを符号化し、変換量子化バイパスを適用する場合に、周波数領域とコンテキストを共有してGR2フラグを符号化することで、コンテキスト数を大きく増加することなく符号量が削減できるという効果を奏する。
(変形例3−A)
また、係数レベル復号部125aは、変換スキップ時、あるいは、変換量子化バイパス時に、TU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightの代わりに、TUサイズの対数値log2TrafoSize(=(log2TrafoWidth+log2TrafoHeight)>>1)に基づいてコンテキストインデックスctxIdxを導出してもよい。例えば、図31(b)に示すTUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ log2TrafoSize-2 ] を参照して、次式により導出する。
ctxIdx = TBL_CTX_IDX[ log2TrafoSize- 2 ] + offset・・・(eq.C-2)
上記式(eq.C-2)において、変数offsetは、GR1フラグの場合、周波数領域におけるGR1フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR1フラグのコンテキストインデックスとを識別するための所定のオフセット値である。同様に、GR2フラグの場合、周波数領域におけるGR2フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR2フラグのコンテキストインデックスとを識別するための所定のオフセット値である。
一般的に、非正方形であるTUサイズは、正方形であるTUサイズと比較して出現頻度が小さい。そのため、非正方形であるTUサイズと要素数が等しい正方形であるTUサイズとで、画素領域におけるGR1フラグ、及びGR2フラグのコンテキストを共有することによる符号化効率の改善幅の低下は軽微である。従って、変換スキップ、あるいは変換量子化バイパス用に、新たに導入する画素領域におけるGR1フラグ、及びGR2フラグに関するコンテキスト数を抑制すると共に、符号化効率の改善の効果を奏する。
(変形例3―B)
係数レベル復号部125aは、変換スキップ時、あるいは、変換量子化バイパス時に、対象変換ブロックの画素領係数にGR1フラグ及びGR2フラグ対するコンテキストインデックスctxIdxを予測タイプPredTypeとTUの横幅サイズとTUの縦幅サイズに対応する相対コンテキストインデックスに基づいて導出してもよい。例えば、図32に示す予測タイプPredTypeとTU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightとに対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[PredType][ log2TrafoWidth-2 ][ log2TrafoHeight -2 ]を参照して、次式によりGR1フラグ、およびGR2フラグのコンテキストインデックスを導出する。
ctxIdx = TBL_CTX_IDX[PredType][ log2TrafoWidth-2 ][ log2TrafoHeight-2 ]
+ offset・・・(eq.C-3)
上記式(eq.C-3)において、変数offsetは、GR1フラグの場合、周波数領域におけるGR1フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR1フラグのコンテキストインデックスとを識別するための所定のオフセット値である。同様に、GR2フラグの場合、周波数領域におけるGR2フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR2フラグのコンテキストインデックスとを識別するための所定のオフセット値である。
ここで、予測タイプPredTypeは、イントラ予測の場合、値は0をとり、インター予測の場合、値は1をとるものとする。
一般的に、変換スキップ、あるいは変換量子化バイパスが実施される場合、復号対象となる画素領域におけGR1フラグ、およびGR2フラグの出現確率は、イントラ予測とインター予測において異なるため、予測タイプ毎にGR1フラグ、GR2フラグに関するコンテキストを区別することが好ましい。すなわち、上記係数レベル復号部125aによれば、画素領域におけるGR1フラグ、またはGR2フラグに対して、予測タイプとTUサイズ毎に適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグ、GR2フラグの符号量を削減することができるので、GR1フラグ、GR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
(変形例3−C)
また、上記係数値レベル復号部125aは、変換スキップ時、あるいは、変換量子化バイパス時に、TU横幅サイズの対数値log2TrafoWidthとTU縦幅サイズの対数値log2TrafoHeightの代わりに、TUサイズの対数値log2TrafoSize(=(log2TrafoWidth+log2TrafoHeight)>>1)と予測タイプに基づいてコンテキストインデックスctxIdxを導出してもよい。例えば、図33に示す予測タイプPredTypeとTUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ PredType ][ log2TrafoSize-2 ]を参照して、次式により導出する。
ctxIdx = TBL_CTX_IDX[ PredType ][ log2TrafoSize- 2 ] + offset・・・(eq.C-4)
上記式(eq.C-4)において、変数offsetは、GR1フラグの場合、周波数領域におけるGR1フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR1フラグのコンテキストインデックスとを識別するための所定のオフセット値である。同様に、GR2のフラグの場合、周波数領域におけるGR2フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR2フラグのコンテキストインデックスとを識別するための所定のオフセット値である。
非正方形であるTUサイズは、正方形であるTUサイズと比較して出現頻度が小さい。そのため、非正方形であるTUサイズと要素数が等しい正方形であるTUサイズとで、画素領域におけるGR1フラグ、及びGR2フラグのコンテキストを共有することによる符号化効率の改善幅の低下は軽微である。以上、係数値レベル復号部125aは、変換スキップ、あるいは変換量子化バイパス用に、新たに予測タイプ毎に導入する画素領域におけるGR1フラグ、及びGR2フラグに関するコンテキスト数を抑制すると共に、符号化効率の改善の効果を奏する。
(変形例3−D)
上記係数値レベル復号部125aは、GR1フラグ、及びGR2フラグに関して、TUサイズや予測タイプによって、独立のコンテキストインデックスを導出する例について説明したが、これに限定されない。例えば、係数値レベル復号部125aは、変換スキップ時、あるいは、変換量子化バイパス時に、対象変換ブロックの画素領域におけるGR1フラグ、または、GR2フラグに対して、固定のコンテキストインデックスを割り当ててもよい。すなわち、
ctxIdx = offset ・・・(eq.C-5)
上記式(eq.C-5)において、変数offsetは、GR1フラグの場合、周波数領域におけるGR1フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR1フラグのコンテキストインデックスとを識別するための所定のオフセット値である。同様に、GR2のフラグの場合、周波数領域におけるGR2フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR2フラグのコンテキストインデックスとを識別するための所定のオフセット値である。
これによって、新たに導入する画素領域におけるGR1フラグ、GR2フラグに関するコンテキスト数を抑制すると共に、符号化効率の改善の効果を奏する。
(変形例3−E)
また、上記係数値レベル復号部125aでは、変換スキップ時と変換量子化バイパス時において、画素領域におけるGR1フラグ、及びGR2フラグに関するコンテキストインデックスを共通にしているが、変換スキップ時と変換量子化バイパス時において、個別のコンテキストインデックスを割り当ててもよい。一般的に、変換スキップ時と変換量子化バイパス時とでは、画素領域におけるGR1フラグ、及びGR2フラグの出現確率は異なるため、GR1フラグ及びGR2フラグに関するコンテキストを、変換スキップ時と変換量子化バイパス時とで区別することが好ましい。例えば、図34に示すように、変換スキップと変換量子化バイパスを識別する識別子indexと、TUサイズの対数値log2TrafoSizeと対応する相対コンテキストインデックスのテーブルTBL_CTX_IDX[ PredType ][ log2TrafoSize-2 ] を参照して、次式により導出する。
ctxIdx = TBL_CTX_IDX[ index ][ log2TrafoSize- 2 ] + offset・・・(eq.C-6)
なお上記式において識別子indexは、変換スキップ時に値0をとり、変換量子化バイパス時に値1をとるものとする。
上記式(eq.C-6)において、変数offsetは、GR1フラグの場合、周波数領域におけるGR1フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR1フラグのコンテキストインデックスとを識別するための所定のオフセット値である。同様に、周波数領域におけるGR2フラグのコンテキストインデックスと、変換スキップ、あるいは変換量子化バイパスが適用される場合のGR2フラグのコンテキストインデックスとを識別するための所定のオフセット値である。
以上、係数値レベル復号部125aによれば、変換スキップ時と変換量子化バイパス時のそれぞれに対して、画素領域におけるGR1フラグ及びGR2フラグに対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグ、GR2フラグの符号量を削減することができるので、GR1フラグ、GR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
(変形例3−F)
また、上記係数レベル復号部125aは、GR1フラグ及びGR2フラグの両方に対して、変換スキップ、あるいは変換量子化バイパス時に、周波数領域のGR1フラグ、GR2フラグとは独立のコンテキストインデックスを導出するが、これに限定されない。
係数値レベル復号部125aは、変換スキップ、あるいは変換量子化バイパス時に、少なくともGR1フラグに対して、変形例3−A〜変形例3−Eのいずれかの方法により、周波数領域のGR1フラグと独立のコンテキストを導出し、GR2フラグは、周波数領域のGR2フラグのコンテキストと共有する構成としてもよい。すなわち、周波数領域におけるGR2フラグと同様に方法(既述の式(eq.C-1)及び(eq.B-2))によってコンテキストインデックスctxIdxを導出する。
なぜならば、係数値レベル復号部125aにおいて、GR1フラグは、サブブロック内において複数発生しうるが、GR2フラグは、サブブロック内で最高でも1個しか出現しない(すなわち、GR2フラグの出現頻度は小さい)。そのため、変換スキップ時、あるいは変換量子化バイパス時のGR2フラグに関するコンテキストを、周波数領域におけるGR2フラグに関するコンテキストと共有することによる、符号化効率の改善幅の低減は小さい。そのため、GR2フラグに関するコンテキスト数の増加を抑制しつつ、GR
1フラグ、GR2フラグの符号量を削減することができるので、GR1フラグ、GR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善する効果を奏する。
(変形例3−G)
変換スキップ、あるいは変換量子化バイパスが実施されない場合、周波数領域におけるGR1フラグ、及びGR2フラグに関するコンテキストインデックスは、復号対象変換ブロック内の対象サブブロックより前に復号したサブブロック内の変換係数レベルabslevelが2以上(GR1フラグの値が1)となる係数の個数numGreater1と、復号済GR1フラグの値が0である個数を表わす変数greatr1Ctxの個数に応じて導出されている。そのため、各GR1フラグ、GR2フラグのコンテキストインデックスは、復号対象となるGR1フラグより1つ前のGR1フラグが復号されなければ決定できない。すなわち、サブブロック内の各係数位置におけるGR1フラグ、及びGR2フラグに関して並列でコンテキストインデックスを導出することができない課題がある。
以下では、係数値レベル復号部125aにおけるGR1フラグ及び、GR2フラグのコンテキストインデックスの導出に関して、隣接サブブロックに非0係数があるか否かに応じて、導出パターンを選択し、選択した導出パターンに従って、サブブロック内の位置からGR1フラグおよびGR2フラグのコンテキストインデックスを導出する例について説明する。この場合、係数レベル復号部125aは図示されない隣接サブブロック係数有無コンテキスト導出部124cを備える。
処理対象のサブブロックXについて、サブブロックXの右隣接サブブロックAおよび下隣接サブブロックBにおける非0係数の状態から以下のパターンを求める。
(パターン0) 右隣接サブブロック(xCG+1,yCG)および下隣接サブブロック(xCG,yCG+1)のいずれにおいてもサブブロック係数有無フラグの値が0である場合。
(パターン1) 右隣接サブブロック(xCG+1,yCG)においてサブブロック係数有無フラグの値が1であり、かつ下隣接サブブロック(xCG,yCG+1)においてサブブロック係数有無フラグの値が0である場合。
(パターン2) 右隣接サブブロック(xCG+1,yCG)においてサブブロック係数有無フラグの値が0であり、かつ下隣接サブブロック(xCG,yCG+1)においてサブブロック係数有無フラグの値が1である場合。
(パターン3) 右隣接サブブロック(xCG+1,yCG)および下隣接サブブロック(xCG,yCG+1)の両方においてサブブロック係数有無フラグの値が1である場合。
そして、上記パターンを示すパターンインデックスidxCGを、下記式(X)を用いて求める。
idxCG = significant_coeff_group_flag[xCG + 1][yCG] + (significant_coeff_group_flag[xCG][yCG + 1] << 1)・・・(X)
そして、パターンインデックスidxCGに応じて、図41に示す方法で、サブブロックX内の座標(xB,yB)を用いてコンテキストインデックスを導出する。図41を参照しながら、パターン0〜3のそれぞれの場合において導出されるコンテキストインデックスの値について説明すると次のとおりである。
(パターン0の場合)
パターン0の場合、sigCtx = (xB + yB <= 2) ? 1 : 0 によりコンテキストインデックスを導出する。
コンテキストインデックスの値は、図42(a)に示すような配置となる。
(パターン1の場合)
パターン1の場合、sigCtx = (yB <= 1) ? 1 : 0 によりコンテキストインデックスを導出する。
よって、図42(b)に示すように、サブブロックの第1行目および第2行目では、コンテキストインデックスの値が1となり、サブブロックの第3行目および第4行目では、コンテキストインデックスの値が0となる。
(パターン2の場合)
パターン2の場合、sigCtx = (xB <= 1) ? 1 : 0 によりコンテキストインデックスを導出する。
よって、図42(c)に示すように、サブブロックの第1列目および第2列目では、コンテキストインデックスの値が1となり、サブブロックの第3列目および第4列目では、コンテキストインデックスの値が0となる。
(パターン3の場合)
パターン3の場合、sigCtx = (xB + yB <= 4) ? 2 : 1 によりコンテキストインデックスを導出する。
よって、パターン3の場合、サブブロック内での座標(xB,yB)の水平方向の座標xBと、垂直方向の座標yBとの和が4以下であれば、コンテキストインデックスの値は、“1”であり、そうでなければ、コンテキストインデックスの値は、“0”である。
これにより、コンテキストインデックスの値は、図42(d)に示すような配置となる。
また、次のように構成することもできる。
図28および図29を用いて説明する。図28は、パターンインデックスidxCGに従って、処理対象の周波数成分のサブブロック内での座標からGR1フラグ、GR2フラグに関するコンテキストインデックスを導出するための疑似コードの例を示す図である。図29は、図28に示す疑似コードによるコンテキストインデックス導出方法におけるコンテキストインデックスの値の配置を示す図である。
図28および図29を参照しながら、パターン0〜3のそれぞれの場合において導出されるコンテキストインデックスの値について説明すると次のとおりである。なお、図29に示す網掛け部分は、図42に示すコンテキストインデックスの値の配置からの変更部分である。
(パターン0の場合)
パターン0の場合、隣接サブブロック係数有無コンテキスト導出部124cは、xB+yBの値に応じて、次のようにコンテキストインデックスを導出する。
xB+yBが、0以下である場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=2を導出する。また、xB+yBが、1より大きく、かつ2以下である場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=1を導出する。これら以外の場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=0を導出する。これにより、コンテキストインデックスの値は、図29(a)に示すような配置となる。
(パターン1の場合)
パターン1の場合、隣接サブブロック係数有無コンテキスト導出部124cは、yBの値に応じて、次のようにコンテキストインデックスを導出する。
yBが、0以下である場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=2を導出する。また、yBが、0より大きく、かつ1以下である場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=1を導出する。これら以外の場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=0を導出する。これにより、コンテキストインデックスの値は、図29(b)に示すような配置となる。
すなわち、図29(b)に示すように、サブブロックの第1行目では、コンテキストインデックスの値が2となり、サブブロックの第2行目では、コンテキストインデックスの値が1となる。また、サブブロックの第3行目および第4行目では、コンテキストインデックスの値が0となる。
(パターン2の場合)
パターン2の場合、隣接サブブロック係数有無コンテキスト導出部124cは、xBの値に応じて、次のようにコンテキストインデックスを導出する。
xBが、0以下である場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=2を導出する。また、xBが、0より大きく、かつ1以下である場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=1を導出する。これら以外の場合、隣接サブブロック係数有無コンテキスト導出部124cは、sigCtx=0を導出する。これにより、コンテキストインデックスの値は、図29(c)に示すような配置となる。
すなわち、図29(c)に示すように、サブブロックの第1列目では、コンテキストインデックスの値が2となり、サブブロックの第2列目では、コンテキストインデックスの値が1となる。また、サブブロックの第3列目および第4列目では、コンテキストインデックスの値が0となる。
(パターン3の場合)
パターン3の場合、図29(d)に示すように隣接サブブロック係数有無コンテキスト導出部124cは、xBおよびyBの値によらずサブブロック内で一様にsigCtx=2を導出する。
以上、上記構成によれば、隣接サブブロックに非0係数があるか否かに応じて、導出パターンを選択し、選択した導出パターンに従って、サブブロック内の位置からGR1フラグ、およびGR2フラグのコンテキストインデックスを導出することができる。そのため、各GR1フラグ、GR2フラグのコンテキストインデックスは、復号対象となるGR1フラグより1つ前のGR1フラグに依存しないで、サブブロック内の各係数位置におけるGR1フラグ、GR2フラグに関するコンテキストインデックスを並列で導出することができる効果を奏する。
<変換係数復号部120による処理の流れ>
以下では、変換係数復号部120による変換係数復号処理の流れについて、図23〜26を参照して説明する。
図24は、TUサイズが所定のサイズより大きい場合の変換係数復号部120による変換係数復号処理の流れを示すフローチャートである。
(ステップS20)
まず、変換係数復号部120の備える変換スキップ・変換バイパスフラグ復号部128は、変換量子化バイパスをするか否かを示すシンタックスtransquant_bypass_flag、および変換スキップをするか否かを示すシンタックスtransform_skip_flagを復号する。なお、詳細な復号処理については既に説明しているため、省略する。
(ステップS21)
続いて、変換係数復号部120の備える係数復号制御部123は、スキャンタイプScanTypeを選択する。
(ステップS22)
続いて、変換係数復号部120の備えるラスト係数位置復号部121は、順スキャンに沿って最後の変換係数の位置を示すシンタックスlast_significant_coeff_x及びlast_significant_coeff_yを復号する。
(ステップS23)
続いて、係数復号制御部123は、サブブロックを単位とするループを開始する。なお、ラスト係数のあるサブブロックをループの開始位置とし、サブブロックスキャンの逆スキャン順に、サブブロック単位の復号処理が行われる。
(ステップS24)
続いて、変換係数復号部120の備えるサブブロック係数有無フラグ復号部127は、サブブロック係数有無フラグsignificant_coeff_group_flagを復号する。
(ステップS25)
続いて、変換係数復号部120の備える係数有無フラグ復号部124は、対象サブブロック内の各係数有無フラグsignificant_coeff_flagを復号する。
(ステップS26)
続いて、変換係数復号部120の備える係数値復号部125は、対象サブグループ内の非0係数の符号及び大きさを復号する。これは、各シンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、coeff_abs_level_remainingを復号することによって行われる。
(ステップS27)
本ステップは、サブブロックを単位とするループの終端である。(ステップS23のサブブロックを単位とするループの終端)
<<スキャンインデックス設定処理>>
図23は、スキャンタイプを選択する処理(ステップS21)をより具体的に説明するためのフローチャートである。
(ステップS111)
まず、変換係数復号部120の備える係数復号制御部123は、予測方式情報PredModeが、イントラ予測方式MODE_INTRAを示しているか否かを判別する。
(ステップS112)
予測方式がイントラ予測方式であるとき(ステップS111でYes)、変換係数復号部120の備える係数復号制御部123は、イントラ予測モード(予測方向)及び対象のTUサイズ(周波数領域のサイズ)に基づいて、スキャンタイプを設定する。具体的なスキャンタイプの設定処理については、すでに述べたため、ここでは説明を省略する。
一方で、予測方式がイントラ予測方式でないとき(ステップS111でNo)、変換係数復号部120の備える係数復号制御部123は、スキャンタイプを斜め方向スキャンに設定する。
<<サブブロック係数有無フラグの復号処理>>
図25は、サブブロック係数有無フラグを復号する処理(ステップS24)をより具体的に説明するためのフローチャートである。
サブブロック係数有無フラグ復号部127は、サブブロックのループを開始する前に対象周波数領域に含まれるサブブロック係数有無フラグsignificant_coeff_group_flagの値を初期化する。この初期化処理は、DC係数を含むサブブロックのサブブロック係数有無フラグと、ラスト係数を含むサブブロックのサブブロック係数有無フラグとを1に設定し、その他のサブブロック係数有無フラグを0に設定することによって行われる。
(ステップS244)
サブブロック係数有無フラグ復号部127は、サブブロックの位置を取得する。
(ステップS247)
サブブロック係数有無フラグ復号部127は、対象サブブロックがラスト係数を含むサブブロック、もしくはDC係数であるか否かを判別する。
(ステップS248)
対象サブブロックがラスト係数を含むサブブロック、もしくはDC係数でないとき(ステップS247でNo)、係数有無フラグ復号部124は、サブブロック係数有無フラグsignificant_coeff_group_flagを復号する。
<<係数有無フラグの復号処理>>
図26は、サブブロック内の各係数有無フラグsignificant_coeff_flagを復号する処理(図24のステップS27)をより具体的に説明するためのフローチャートである。
(ステップS274)
続いて、係数有無フラグ復号部124は、対象サブブロック内のループを開始する。当該ループは、周波数成分を単位とするループである。
(ステップS275)
続いて、係数有無フラグ復号部124は、変換係数の位置を取得する。
(ステップS276)
続いて、係数有無フラグ復号部124は、対象サブブロックに非0係数が存在するか否かを判別する。
(ステップS277)
対象サブブロックに非0係数が存在する場合(ステップS276でYes)、係数有無フラグ復号部124は、取得した変換係数の位置がラスト位置であるか否かを判別する。
(ステップS278)
取得した変換係数の位置がラスト位置でないとき(ステップS277でNo)、係数有無フラグ復号部124は、係数有無フラグsignificant_coeff_flagを復号する。
(動画像符号化装置2)
本実施形態に係る動画像符号化装置2の構成について図面を参照して説明する。動画像符号化装置2は、H.264/MPEG−4 AVC規格に採用されている技術、および、その後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている技術を実装している符号化装置である。以下では、既に説明した部分と同じ部分については同じ符号を付し、その説明を省略する。
図50は、動画像符号化装置2の構成を示すブロック図である。図50に示すように、動画像符号化装置2は、予測画像生成部21、変換・量子化部22、逆量子化・逆変換部23、加算器24、フレームメモリ25、ループフィルタ26、可変長符号符号化部27、および、減算器28を備えている。また、図50に示すように、予測画像生成部21は、イントラ予測画像生成部21a、動きベクトル検出部21b、インター予測画像生成部21c、予測方式制御部21d、および、動きベクトル冗長性削除部21eを備えている。動画像符号化装置2は、動画像#10(符号化対象画像)を符号化することによって、符号化データ#1を生成する装置である。
(予測画像生成部21)
予測画像生成部21は、処理対象LCUを、1または複数の下位CUに再帰的に分割し、各リーフCUをさらに1または複数のパーティションに分割し、パーティション毎に、画面間予測を用いたインター予測画像Pred_Inter、または、画面内予測を用いたイントラ予測画像Pred_Intraを生成する。生成されたインター予測画像Pred_Interおよびイントラ予測画像Pred_Intraは、予測画像Predとして、加算器24および減算器28に供給される。
なお、予測画像生成部21は、スキップモードの適応されたPUについては、当該PUに属する他のパラメータの符号化を省略する。また、(1)対象LCUにおける下位CUおよびパーティションへの分割の態様、(2)スキップモードを適用するか否か、および、(3)パーティション毎にインター予測画像Pred_Interおよびイントラ予測画像Pred_Intraの何れを生成するか、は、符号化効率を最適化するように決定される。
(イントラ予測画像生成部21a)
イントラ予測画像生成部21aは、画面内予測によって、各パーティションに関する予測画像Pred_Intraを生成する。具体的には、(1)各パーティションついてイントラ予測に用いる予測モードを選択し、(2)選択した予測モードを用いて、復号画像Pから予測画像Pred_Intraを生成する。イントラ予測画像生成部21aは、生成したイントラ予測画像Pred_Intraを、予測方式制御部21dに供給する。
また、イントラ予測画像生成部21aは、対象パーティションの周辺のパーティションに割り付けられた予測モードから対象パーティションに対する推定予測モードを決定し、当該推定予測モードと、対象パーティションについて実際に選択された予測モードとが同じであるか否かを示す推定予測モードフラグを、イントラ予測パラメータPP_Intraの一部として、予測方式制御部21dを介して可変長符号符号化部27に供給し、可変長符号符号化部27は、当該フラグを、符号化データ#1に含める構成とする。
また、イントラ予測画像生成部21aは、対象パーティションについての推定予測モードと、対象パーティションについて実際に選択された予測モードとが異なる場合には、対象パーティションについての予測モードを示す残余予測モードインデックスを、イントラ予測パラメータPP_Intraの一部として、予測方式制御部21dを介して可変長符号符号化部27に供給し、可変長符号符号化部27は当該残余予測モードインデックスを符号化データ#1に含める構成とする。
なお、イントラ予測画像生成部21aは、予測画像Pred_Intraを生成する際に、図11に示した予測モードからより符号化効率が向上する予測モードを選択して適用する。
(動きベクトル検出部21b)
動きベクトル検出部21bは、各パーティションに関する動きベクトルmvを検出する。具体的には、(1)参照画像として利用する適応フィルタ済復号画像P_ALF’を選択し、(2)選択した適応フィルタ済復号画像P_ALF’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルmvを検出する。ここで、適応フィルタ済復号画像P_ALF’は、既にフレーム全体の復号が完了した復号済みの復号画像に対して、ループフィルタ26による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部21bは、適応フィルタ済復号画像P_ALF’を構成する各画素の画素値をフレームメモリ25から読み出すことができる。動きベクトル検出部21bは、検出した動きベクトルmvを、参照画像として利用した適応フィルタ済復号画像P_ALF’を指定する参照画像インデックスRIと共に、インター予測画像生成部21c及び動きベクトル冗長性削除部21eに供給する。
(インター予測画像生成部21c)
インター予測画像生成部21cは、画面間予測によって、各インター予測パーティションに関する動き補償画像mcを生成する。具体的には、動きベクトル検出部21bから供給された動きベクトルmvを用いて、動きベクトル検出部21bから供給された参照画像インデックスRIによって指定される適応フィルタ済復号画像P_ALF’から動き補償画像mcを生成する。動きベクトル検出部21bと同様に、インター予測画像生成部21cは、適応フィルタ済復号画像P_ALF’を構成する各画素の画素値をフレームメモリ25から読み出すことができる。インター予測画像生成部21cは、生成した動き補償画像mc(インター予測画像Pred_Inter)を、動きベクトル検出部21bから供給された参照画像インデックスRIと共に、予測方式制御部21dに供給する。
(予測方式制御部21d)
予測方式制御部21dは、イントラ予測画像Pred_Intra及びインター予測画像Pred_Interを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部21dは、イントラ予測画像Pred_Intraを予測画像Predとして加算器24及び減算器28に供給すると共に、イントラ予測画像生成部21aから供給されるイントラ予測パラメータPP_Intraを可変長符号符号化部27に供給する。一方、インター予測を選択した場合、予測方式制御部21dは、インター予測画像Pred_Interを予測画像Predとして加算器24及び減算器28に供給すると共に、参照画像インデックスRI、並びに、後述する動きベクトル冗長性削除部21eから供給された推定動きベクトルインデックスPMVI及び動きベクトル残差MVDをインター予測パラメータPP_Interとして可変長符号符号化部27に供給する。また、予測方式制御部21dは、イントラ予測画像Pred_Intra及びインター予測画像Pred_Interのうち何れの予測画像を選択したのかを示す予測タイプ情報Pred_typeを可変長符号符号化部27に供給する。
(動きベクトル冗長性削除部21e)
動きベクトル冗長性削除部21eは、動きベクトル検出部21bによって検出された動きベクトルmvにおける冗長性を削除する。具体的には、(1)動きベクトルmvの推定に用いる推定方法を選択し、(2)選択した推定方法に従って推定動きベクトルpmvを導出し、(3)動きベクトルmvから推定動きベクトルpmvを減算することにより動きベクトル残差MVDを生成する。動きベクトル冗長性削除部21eは、生成した動きベクトル残差
MVDを、選択した推定方法を示す推定動きベクトルインデックスPMVIと共に、予測方式制御部21dに供給する。
(変換・量子化部22)
変換・量子化部22は、通常(変換スキップフラグを実施しない場合(transform_skip_flag==0)、かつ、変換量子化バイパスを実施しない場合(transquant_bypass_flag==0))、(1)符号化対象画像から予測画像Predを減算した予測残差Dに対してブロック(変換単位)毎にDCT変換(Discrete Cosine Transform)等の周波数変換を施し、(2)周波数変換により得られた変換係数Coeff_IQを量子化し、(3)量子化により得られた変換係数Coeffを可変長符号符号化部27及び逆量子化・逆変換部23に供給する。また、変換量子化バイパスを実施する場合(transquant_bypass_flag==1)、変換・量子化部22は、(1)符号化対象画像から予測画像Predを減算した予測残差Dをブロック(変換単位)毎に、可変長符号符号化部27及び逆量子化・逆変換部23に供給する。また、変換スキップを実施する場合(transform_skip_flag==1)、変換・量子化部22は、(1)符号化対象画像から予測画像Predを減算した予測残差Dを、ブロック(変換単位)毎に量子化し、(2)量子化により得られた変換係数Coeff(量子化された予測残差D)を可変長符号符号化部27及び逆量子化・逆変換部23に供給する。
なお、変換・量子化部22は、(1)量子化の際に用いる量子化ステップQPをTU毎に選択し、(2)選択した量子化ステップQPの大きさを示す量子化パラメータ差分Δqpを可変長符号符号化部27に供給し、(3)選択した量子化ステップQPを逆量子化・逆変換部23に供給する。ここで、量子化パラメータ差分Δqpとは、周波数変換及び量子化するTUに関する量子化パラメータqp(例えばQP=2pq/6)の値から、直前に周波数変換及び量子化したTUに関する量子化パラメータqp’の値を減算して得られる差分値のことを指す。
なお、変換・量子化部22は、変換スキップをするか否か、および変換量子化バイパスをするか否かを決定する。変換スキップをする場合は、変換スキップフラグ(transform_skip_flag)の値を1に設定する。変換スキップをしない場合は、変換スキップフラグの値を0に設定する。また、変換量子化バイパスを実施する場合は、変換量子化バイパスフラグ(transquant_bypass_flag)の値を1に設定する。変換量子化バイパスをしない場合は、変換量子化バイパスフラグの値を0に設定する。なお、変換スキップフラグ、および変換量子化バイパスフラグは、可変長符号符号化部27、および逆量子化・逆変換部23へ供給される。
なお、変換・量子化部22によって行われるDCT変換は、例えば、対象ブロックのサイズが8×8画素である場合、水平方向の周波数uおよび垂直方向の周波数vについての量子化前の変換係数をCoeff_IQ(u、v)(0≦u≦7、0≦v≦7)と表すことにすると、例えば、以下の数式(2)によって与えられる。
Figure 2020171063
ここで、D(i、j)(0≦i≦7、0≦j≦7)は、対象ブロックにおける位置(i、j)での予測残差Dを表している。また、C(u)およびC(v)は、以下のように与えられる。
・C(u)=1/√2 (u=0)
・C(u)=1 (u≠0)
・C(v)=1/√2 (v=0)
・C(v)=1 (v≠0)
なお、変換スキップが実施される場合、周波数変換は施されないため、当該対象ブロックにおける画素の位置(i,j)における予測残差D(i,j)と量子化前の変換係数Coeff_IQ(u、v)は次式のように等価である。
Coeff_IQ(u,v)=D(i,j) (u=i、v=j)
また、変換量子化バイパスが実施される場合、周波数変換、及び量子化は施されないため、当該対象ブロックにおける画素の位置(i,j)における予測残差D(i,j)と変換係数Coeff(u、v)は次式のように等価である。
Coeff(u,v)=D(i,j) (u=i、v=j)
(逆量子化・逆変換部23)
逆量子化・逆変換部23は、通常(変換スキップフラグを実施しない場合(transform_skip_flag==0)、かつ、変換量子化バイパスを実施しない場合(transquant_bypass_flag==0))、(1)量子化された変換係数Coeffを逆量子化し、(2)逆量子化によって得られた変換係数Coeff_IQに対して逆DCT(Discrete Cosine Transform)変換等の逆周波数変換を施し、(3)逆周波数変換によって得られた予測残差Dを加算器24に供給する。また、変換量子化バイパスを実施する場合(transquant_bypass_flag==1)、逆量子化・逆変換部23は、(1)変換係数Coeff(予測残差Dと等価)を加算器24に供給する。また、変換スキップを実施する場合(transform_skip_flag==1)、逆量子化・逆変換部23は、(1)量子化された変換係数Coeff(量子化された予測残差Dと等価)を逆量子化し、(2)逆量子化によって得られた変換係数Coeff_IQ(予測残差Dと等価)を加算器14に供給する。量子化された変換係数Coeffを逆量子化する際には、変換・量子化部22から供給された量子化ステップQPを利用する。なお、逆量子化・逆変換部23から出力される予測残差Dは、変換・量子化部22に入力される予測残差Dに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。逆量子化・逆変換部23のより具体的な動作は、動画像復号装置1の備える逆量子化・逆変換部13とほぼ同様である。
(加算器24)
加算器24は、予測方式制御部21dにて選択された予測画像Predを、逆量子化・逆変換部23にて生成された予測残差Dに加算することによって、(局所)復号画像Pを生成する。加算器24にて生成された(局所)復号画像Pは、ループフィルタ26に供給されると共にフレームメモリ25に格納され、イントラ予測における参照画像として利用される。
(可変長符号符号化部27)
可変長符号符号化部27は、(1)変換・量子化部22から供給された量子化後の変換係数Coeff、Δqp、変換スキップフラグ、並びに変換量子化バイパスフラグ、(2)予測方式制御部21dから供給された量子化パラメータPP(インター予測パラメータPP_Inter、および、イントラ予測パラメータPP_Intra)、(3)予測タイプ情報Pred_type、および、(4)ループフィルタ26から供給されたフィルタパラメータFPを可変長符号化することによって、符号化データ#1を生成する。
図51は、可変長符号符号化部27の構成を示すブロック図である。図51に示すように、可変長符号符号化部27は、量子化後の変換係数Coeffを符号化する量子化残差情報符号化部271、予測パラメータPPを符号化する予測パラメータ符号化部272、予測タイプ情報Pred_typeを符号化する予測タイプ情報符号化部273、および、フィルタパラメータFPを符号化するフィルタパラメータ符号化部274を備えている。量子化残差情報符号化部271の具体的な構成については後述するためここでは説明を省略する。
(減算器28)
減算器28は、予測方式制御部21dにて選択された予測画像Predを、符号化対象画像から減算することによって、予測残差Dを生成する。減算器28にて生成された予測残差Dは、変換・量子化部22によって周波数変換及び量子化される。
(ループフィルタ26)
ループフィルタ26は、(1)復号画像Pにおけるブロック境界、またはパーティション境界の周辺の画像の平滑化(デブロック処理)を行うデブロッキングフィルタ(DF:Deblocking Filter)としての機能と、(2)デブロッキングフィルタが作用した画像に対して、フィルタパラメータFPを用いて適応フィルタ処理を行う適応フィルタ(ALF:Adaptive
Loop Filter)としての機能を有している。
(量子化残差情報符号化部271)
量子化残差情報符号化部271は、量子化された変換係数Coeff(xC、yC)をコンテキスト適応型2値算術符号化(CABAC:(Context-based Adaptive Binary Arithmetic Coding))することによって、量子化残差情報QDを生成する。生成された量子化残差情報QDに含まれるシンタックスは、既に説明した通りである。
なお、xCおよびyCは、上述のように、周波数領域における各周波数成分の位置を表すインデックスであり、それぞれ、上述した水平方向周波数uおよび垂直方向周波数vに対応するインデックスである。なお、以下では、量子化された変換係数Coeffを、単に、変換係数Coeffと呼ぶこともある。
(量子化残差情報符号化部271)
図52は、量子化残差情報符号化部271の構成を示すブロック図である。図52に示すように、量子化残差情報符号化部271は、変換係数符号化部220及び算術符号符号化部230を備えている。
(算術符号符号化部230)
算術符号符号化部230は、変換係数符号化部220から供給される各Binをコンテキストを参照して符号化することによって量子化残差情報QDを生成するための構成であり、図52に示すように、コンテキスト記録更新部231及びビット符号化部232を備えている。
(コンテキスト記録更新部231)
コンテキスト記録更新部231は、各コンテキストインデックスctxIdxによって管理されるコンテキスト変数CVを記録及び更新するための構成である。ここで、コンテキスト変数CVには、(1)発生確率が高い優勢シンボルMPS(most probable symbol)と、(2)その優勢シンボルMPSの発生確率を指定する確率状態インデックスpStateIdxとが含まれている。
コンテキスト記録更新部231は、変換係数符号化部220の備える各部から供給されるコンテキストインデックスctxIdx及びビット符号化部232によって符号化されたBinの値を参照することによってコンテキスト変数CVを更新すると共に、更新されたコンテキスト変数CVを次回更新されるまで記録する。なお、優勢シンボルMPSは0か1である。また、優勢シンボルMPSと確率状態インデックスpStateIdxは、ビット符号化部232がBinを1つ符号化する毎に更新される。
また、コンテキストインデックスctxIdxは、各周波数成分(あるいは各画素)についてのコンテキストを直接指定するものであってもよいし、処理対象のTU毎に設定されるコンテキストインデックスのオフセットからの増分値であってもよい(以下同様)。
(ビット符号化部232)
ビット符号化部232は、コンテキスト記録更新部231に記録されているコンテキスト変数CVを参照し、変換係数符号化部220の備える各部から供給される各Binを符号化することによって量子化残差情報QDを生成する。また、符号化したBinの値はコンテキスト記録更新部231にも供給され、コンテキスト変数CVを更新するために参照される。
(変換係数符号化部220)
図52に示すように、変換係数符号化部220は、ラスト位置符号化部221、スキャン順テーブル格納部222、係数符号化制御部223、係数有無フラグ符号化部224、係数値符号化部225、符号化係数記憶部226、サブブロック係数有無フラグ符号化部227、変換スキップ・変換量子化バイパスフラグ符号化部228、及びシンタックス導出部229を備えている。
[変換スキップ・変換量子化バイパスフラグ符号化部228]
変換スキップ・変換量子化バイパスフラグ符号化部228は、変換・量子化部22より供給されるシンタックス、変換スキップフラグtransform_skip_flag、および変換量子化バイパスフラグtransquant_bypass_flagを示すBinを生成する。また、生成した各Binをビット符号化部232に供給する。また、シンタックスtransform_skip_flagおよびtransquant_bypass_flagのBinを符号化するために参照されるコンテキストを指定するコンテキストインデックスctxIdxを、コンテキスト記録更新部231に供給する。
<<変換量子化バイパスフラグ、及び変換スキップフラグの符号化処理1>>
以下では、図53を用いて変換量子化バイパスフラグ、及び変換スキップフラグの符号化処理について具体的に説明する。なお、この符号化処理1は、動画像復号装置1が備える変換スキップ・変換スキップ量子化バイパス復号部128における変換量子化バイパスフラグ、及び変換スキップフラグの復号処理1に対応する処理である。
図53(a)、変換量子化バイパスフラグ、及び変換スキップフラグのシンタックス例を示し、図53(b)はその符号化処理をより具体的に説明するためのフローチャートである。
(ステップS20−1)
まず、変換スキップ・変換量子化バイパスフラグ符号化部228は、外部より入力された変換量子化バイパス有効フラグ(transquant_bypass_enable_flag)が1であるかを判別する。変換量子化バイパス有効フラグが1である場
合(ステップS20−1においてYes)、ステップS20−2Aへ進む。それ以外である場合(ステップS20−1においてNo)、ステップS20-3Aへ進む。
(ステップS20−2A)
変換スキップ・変換量子化バイパスフラグ符号化部228は、対象TUに関して、明示的に変換量子化バイパスフラグ(transquant_bypass_flag)を符号化し、ステップS20-4へ進む。
(ステップS20−3)
変換スキップ・変換量子化バイパスフラグ符号化部228は、対象TUに関して、暗黙的に変換量子化バイパスフラグ(transquant_bypass_flag)は0であると解釈し、変換量子化バイパスフラグの符号化をスキップし、ステップS20-4へ進む。
(ステップS20−4)
変換スキップ・変換量子化バイパスフラグ符号化部228は、外部より入力された変換スキップ有効フラグ(transform_skip_enable_flag)が1であるか判別する。変換スキップ有効フラグが1である場合(ステップS20-4においてYes)、ステップS20-5へ進む。それ以外の場合(ステップS20-4においてNo)、ステップS20-7Aへ進む。
(ステップS20−5)
変換スキップ・変換量子化バイパスフラグ符号化部228は、変換バイパスフラグが0であるか否かを判別する。変換バイパスフラグが0である場合(ステップS20-5においてYes)、ステップS20−6Aへ進む。それ以外の場合は、ステップS20-7Aへ進む。
(ステップS20−6A)
変換スキップ・変換量子化バイパスフラグ符号化部228は、対象TUに関して、明示的に変換スキップフラグ(transform_skip_flag)を符号化する。
(ステップS20−7A)
変換スキップ・変換量子化バイパスフラグ符号化部228は、対象TUに関して、暗黙的に変換スキップフラグ(transform_skip_flag)は0であると解釈し、変換スキップフラグの符号化をスキップする。
なお、上記変換スキップフラグ、及び変換量子化バイパスフラグの符号化処理は、上記手順に限定されず、実施できる範囲で手順を変更しても構わない。
例えば、図54に示すように、ステップS20−5の次に、TUサイズが所定サイズより小さいか否かを判定して(ステップS20−8)、ステップS20−6AまたはステップS20−7Aに進んでもよい。
以上、上記変換スキップ・変換量子化バイパスフラグ符号化部228によれば、従来(図55参照)に比べて、TU毎に、変換スキップを実施するか否かをTUサイズや予測モードによらず、適切に選択することができる。そのため、符号化及び復号対象となるTUに関する変換係数の符号量を削減することができるので、処理量が削減されると共に、符号化効率が向上する。また、変換スキップフラグを符号化するか否かに関する分岐処理を削減することができるため、変換係数の符号化に係る処理量をが軽減することができる。
[シンタックス導出部229]
シンタックス導出部229は、変換係数Coeff(xC、yC)の各値を参照し、対象周波数領域におけるこれらの変換係数を特定するためのシンタックスlast_significant_coeff_x、last_significant_coeff_y、significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingの各値を導出する。
導出された各シンタックスは、符号化係数記憶部226に供給される。また、導出されたシンタックスのうちlast_significant_coeff_x、last_significant_coeff_yは、係数符号化制御部223及びラスト位置符号化部221にも供給される。また、導出されたシンタックスのうちsignificant_coeff_flagは、係数有無フラグ符号化部224にも供給される。なお、各シンタックスが示す内容については上述したためここでは説明を省略する。
(係数値シンタックス導出部2285の構成例)
シンタックス導出部228は図示しない係数値シンタックス導出部2285を備える。係数値シンタックス導出部2285は、significant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingの各値を導出する。
図58は、係数値シンタックス導出部2285の構成例を示すブロック図である。図58に示すように、係数値シンタックス導出部2285は、係数レベルシンタックス導出部225a、係数サインシンタックス導出部225b、係数数導出部125dを備えている。係数サインシンタックス導出部225bは、係数位置導出部125e、サインハインディングフラグ導出部125f、サインシンタックス導出及びレベル値補部225h、係数和算出部125gを備えている。係数数導出部125d、係数位置導出部125e、サインハインディングフラグ導出部125f、係数和算出部125gは、動画像復号装置1の説明で上述した同じ名称のブロックと同様の機能を奏するものであるので、ここでは説明を省略する。
係数レベルシンタックス導出部225aは、変換係数Coeff(xC、yC)の各値を参照し、シンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、及びcoeff_abs_level_remainingを導出する。
係数サイン復号部225bは、変換係数Coeff(xC、yC)の各値を参照し、coeff_sign_flagを導出する。サインシンタックス導出及びレベル値補部225hは、サインハイディングフラグ導出部225fにおいてサインハイディングを行うと判定された場合には、各サブブロックの数−1の数のcoeff_sign_flagを導出する。サインハイディングを行わないと判定された場合には、各サブブロックの数のcoeff_sign_flagを導出する。
サインシンタックス導出及びレベル値補部225hは、また、サインハイディングを行うと判定された場合には、各サブブロックでスキャン順で最初の非0係数の位置firstNZPosInCGの変換係数の符号と、係数和算出部125gから導出される係数和sumAbsで定まる符号を比較する。2つの符号が等しい場合には、対象変換係数の値を補正しない。2つの符号が異なる場合には、対象サブブロック内のいずれかの変換係数の絶対値を−1もしくは+1することにより補正する。サインハイディングを行わないと判定された場合にはこのような補正は行わない。
[ラスト位置符号化部221]
ラスト位置符号化部221は、シンタックス導出部228より供給されるシンタックスlast_significant_coeff_x、last_significant_coeff_yを示すBinを生成する。また、生成した各Binをビット符号化部232に供給する。また、シンタックスlast_significant_coeff_x及びlast_significant_coeff_yのBinを符号化するために参照されるコンテキストを指定するコンテキストインデックスctxIdxを、コンテキスト記録更新部231に供給する。
[スキャン順テーブル格納部222]
スキャン順テーブル格納部222には、処理対象のTU(ブロック)のサイズ、スキャン方向の種別を表すスキャンインデックス、及びスキャン順に沿って付与された周波数成分識別インデックスを引数として、処理対象の周波数成分の周波数領域における位置、または処理対象の画素領域における画素の位置を与えるテーブルが格納されている。このようなスキャン順テーブルの一例としては、図7及び図8に示したScanOrderが挙げられる。
また、スキャン順テーブル格納部222には、サブブロックのスキャン順を指定するためのサブブロックスキャン順テーブルが格納されている。ここで、サブブロックスキャン順テーブルは、処理対象のTU(ブロック)のサイズとイントラ予測モードの予測モードインデックスとに関連付けられたスキャンインデックスscanIdxによって指定される。
スキャン順テーブル格納部222に格納されているスキャン順テーブル及びサブブロックスキャン順テーブルは、動画像復号装置1の備えるスキャン順テーブル格納部122に格納されているものと同様であるので、ここでは説明を省略する。
[係数符号化制御部223]
係数符号化制御部223は、量子化残差情報符号化部271の備える各部における符号化処理の順序を制御するための構成である。
係数符号化制御部223は、シンタックス導出部228から供給されるシンタックスlast_significant_coeff_x及びlast_significant_coeff_yを参照し、順スキャンに沿った最後の非0係数の位置を特定すると共に、特定した最後の非0係数を含むサブブロックの位置を起点とするスキャン順であって、スキャン順テーブル格納部222に格納されたサブブロックスキャン順テーブルよって与えられるスキャン順の逆スキャン順に、各サブブロックの位置(xCG、yCG)を、サブブロック係数有無フラグ符号化部227に供給する。
また、係数符号化制御部223は、処理対象となるサブブロックに関して、スキャン順テーブル格納部222に格納されたスキャン順テーブルよって与えられるスキャン順の逆スキャン順に、当該処理対象となるサブブロックに含まれる各変換係数の係数位置(xC、yC)を、係数有無フラグ符号化部224に供給する。ここで、処理対象となるサブブロックに含まれる各係数位置(各周波数成分、または各画素)のスキャン順としては、イントラ予測の場合には、イントラ予測モードインデックスIntraPredModeと、TUサイズを指定する値log2TrafoSizeとによって指定されるスキャンインデックスscanIdxの示すスキャン順(水平方向優先スキャン、垂直方向優先スキャン、斜め方向スキャンのいずれか)を用い、インター予測の場合には、斜め方向スキャン(Up-right diagonal scan)を用いればよい。
このように、係数符号化制御部223は、イントラ予測モード毎に、スキャン順を切り替える構成である。一般に、イントラ予測モードと変換係数の偏りとは互いに相関を有しているため、イントラ予測モードに応じてスキャン順を切り替えることにより、サブブロック係数有無フラグ、係数有無フラグの偏りに適したスキャンを行うことができる。これによって、符号化及び復号対象となるサブブロック係数有無フラグおよび係数有無フラグの符号量を削減することができ、符号化効率が向上する。
[係数値符号化部225]
係数値符号化部225は、シンタックス導出部228から供給されるシンタックスcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingを示すBinを生成する。また、生成した各Binをビット符号化部232に供給する。また、これらのシンタックスのBinを符号化するために参照されるコンテキストを指定するコンテキストインデックスctxIdxを、コンテキスト記録更新部231に供給する。なお、動画像復号装置1の備える係数レベル復号部125aと対応するGR1フラグ(coeff_abs_level_greater1_flag)、GR2フラグ(coeff_abs_level_greater2_flag)、及び残余係数レベル(coeff_abs_level_remaining)の符号化処理については、後述する。
[係数有無フラグ符号化部224]
本実施形態に係る係数有無フラグ符号化部224は、各位置(xC、yC)によって指定されるシンタックスsignificant_coeff_flag[xC][yC]を符号化する。より具体的には、各位置(xC、yC)によって指定されるシンタックスsignificant_coeff_flag[xC][yC]を示すBinを生成する。生成された各Binは、ビット符号化部232に供給される。また、係数有無フラグ符号化部224は、算術符号符号化部230にてシンタックスsignificant_coeff_flag[xC][yC]のBinを符号化するために用いられるコンテキストを決
定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部231に供給される。
図56は、係数有無フラグ符号化部224の構成を示すブロック図である。図56に示すように、係数有無フラグ符号化部224は、コンテキスト導出手段選択部224a、位置コンテキスト導出部224b、隣接サブブロック係数有無コンテキスト導出部224c、変換スキップ・変換量子化バイパスコンテキスト導出部224d、及び、係数有無フラグ設定部224e、を備えている。
(コンテキスト導出手段選択部224a)
処理対象の周波数成分、または画素の位置(係数位置とも呼ぶ)(xC,yC)と、変換ブロックの対数値(log2TrafoWidth、log2TrafoHeight)が入力される。対数値のサイズから、変換ブロックの幅widthと高さheightを(1<<log2TrafoWidth)と(1<<log2TrafoHeight)により算出する。なお、対数値のサイズではなく、変換ブロックの幅と高さを直接入力しても良い。さらに、コンテキスト導出手段選択部124aには、変換スキップフラグ(transform_skip_flag)、および、変換量子化バイパスフラグ(transquant_bypass_flag)が入力される。
コンテキスト導出手段選択部224aは、変換スキップフラグ、変換量子化バイパスフラグと、対象となるTUサイズおよび復号対象となる係数の位置に応じて、位置コンテキスト導出部224b、隣接サブブロック係数有無コンテキスト導出部224c、または変換スキップ・変換量子化バイパスコンテキスト導出部224dを選択する。選択された各コンテキスト導出部ではコンテキストインデックスctxIdxが導出される。
コンテキスト導出手段選択部224aによる具体的な処理は、動画像復号装置1の備えるコンテキスト導出手段選択部124aと同様であるので、ここでは説明を省略する。
(位置コンテキスト導出部224b)
位置コンテキスト導出部224bは、対象周波数成分に対するコンテキストインデックスctxIdxを、周波数領域における当該対象周波数成分の位置に基づいて導出する。
位置コンテキスト導出部224bによるその他の具体的な処理は、動画像復号装置1の備える位置コンテキスト導出部124bと同様であるので、ここでは説明を省略する。
(隣接サブブロック係数有無コンテキスト導出部224c)
隣接サブブロック係数有無コンテキスト導出部224cは、、隣接サブブロックに非0係数があるか否かに応じて、コンテキスト導出パターンを選択し、選択した導出パターンに従って、処理対象の周波数成分のサブブロック内での座標から、符号化対象の周波数成分に対するコンテキストインデックスを導出する。隣接サブブロック係数有無コンテキスト導出部224cによる具体的な処理は、動画像復号装置1の備える隣接サブブロック係数有無コンテキスト導出部224cと同様であるので、ここでは説明を省略する。
(変換スキップ・変換量子化バイパスコンテキスト導出部224d)
変換スキップ・変換量子化バイパスコンテキスト導出部224dは、変換スキップ時、あるいは、変換量子化バイパス時に、対象変換ブロックの画素領域における係数に対するコンテキストインデックスctxIdxを所定の方法に基づいて導出する。
変換スキップ・変換量子化バイパスコンテキスト導出部224dの具体的な処理は、動画像復号装置1の備える変換スキップ・変換量子化バイパスコンテキスト導出部124dと同様であるので、ここでは説明を省略する。
(係数有無フラグ設定部224e)
係数有無フラグ設定部224eは、シンタックス導出部228から供給されるシンタックスsignificant_coeff_flag[xC][yC]を示すBinを生成する。生成したBinは、ビット符号化部232に供給される。また、係数有無フラグ設定部224eは、対象サブブロックに含まれるsignificant_coeff_flag[xC][yC]の値を参照し、対象サブブロックに含まれる全てのsignificant_coeff_flag[xC][yC]が0である場合、すなわち、当該対象サブブロックに非0係数が含まれていない場合に、当該対象サブブロックに関するsignificant_coeff_group_flag[xCG][yCG]の値を0に設定し、そうでない場合に当該対象サブブロックに関するsignificant_coeff_group_flag[xCG][yCG]の値を1に設定する。このように値が付されたsignificant_coeff_group_flag[xCG][yCG]は、サブブロック係数有無フラグ符号化部227に供給される。
<<係数有無フラグ符号化部224の別の構成例>>
以下では、図61を参照して、係数有無フラグ符号化部224の別の構成例について説明する。
図61は、係数有無フラグ符号化部224の別の構成例を示すブロック図である。図61に示すように、係数有無フラグ符号化部224は、コンテキスト導出手段選択部224Aa、位置コンテキスト導出部224b、隣接サブブロック係数有無コンテキスト導出部224c、変換スキップ導出部224Ad、及び、係数有無フラグ設定部224e、を備えている。なお、位置コンテキスト導出部224b、隣接サブブロック係数有無コンテキスト導出部224c、及び、係数有無フラグ設定部224eは、図56の対応する構成要素と同じ機能を有するため同一の符号を付与して説明を省略する。
(コンテキスト導出手段選択部224Aa)
コンテキスト導出手段選択部224Aaには、処理対象の係数位置(xC,yC)と、変換ブロックサイズの対数値(log2TrafoWidth、log2TrafoHeight)と、変換スキップフラグ(transform_skip_flag)が少なくとも入力される。
コンテキスト導出手段選択部224Aaは、変換スキップフラグ、対象変換ブロックサイズ、および、対象の係数位置に応じて、位置コンテキスト導出部224b、隣接サブブロック係数有無コンテキスト導出部224c、または、変換スキップコンテキスト導出部224Adの何れかを選択する。選択された各コンテキスト導出部では対象の係数位置における係数有無フラグの符号化時に参照されるコンテキストインデックスctxIdxが導出される。なお、コンテキスト導出手段選択部224Aaにおけるコンテキスト導出手段の選択処理については、動画像復号装置1の備えるコンテキスト導出手段選択部124Aaと同一であるため、説明を省略する。
(変換スキップコンテキスト導出部224Ad)
変換スキップコンテキスト導出部224Adは、変換スキップ時に、対象係数における係数有無フラグの符号化時に参照されるコンテキスト(コンテキストインデックスctxIdx)を導出する。ここで導出されるコンテキストは、対象係数のサブブロック内の位置に依らず、単一のコンテキストが導出される。なお、変換スキップコンテキスト導出部224Adの具体的な処理は、動画像復号装置1の備える変換スキップコンテキスト導出部124Adと同様であるので、ここでは説明を省略する。
(サブブロック係数有無フラグ符号化部227)
サブブロック係数有無フラグ符号化部227は、各サブブロック位置(xCG、yCG)によって指定されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を符号化する。より具体的には、各サブブロック位置(xCG、yCG)によって指定されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を示すBinを生成する。生成された各Binは、ビット符号化部232に供給される。また、サブブロック係数有無フラグ符号化部227は、算術符号符号化部230にてシンタックスsignificant_coeff_flag[xC][yC]のBinを符号化するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdxを算出する。算出されたコンテキストインデックスctxIdxは、コンテキスト記録更新部231に供給される。
図57は、サブブロック係数有無フラグ符号化部227の構成を示すブロック図である。図57に示すように、サブブロック係数有無フラグ符号化部227は、コンテキスト導出部227a、サブブロック係数有無フラグ記憶部227b、及びサブブロック係数有無フラグ設定部227cを備えている。
以下では、サブブロック係数有無フラグ符号化部227に対して、係数符号化制御部223から、サブブロック位置(xCG、yCG)が順スキャン順に供給される場合を例に挙げて説明を行う。なお、この場合、動画像復号装置1の備えるサブブロック係数有無フラグ復号部127では、サブブロック位置(xCG、yCG)が逆スキャン順に供給されることが好ましい。
(コンテキスト導出部227a)
サブブロック係数有無フラグ符号化部227の備えるコンテキスト導出部227aは、各サブブロック位置(xCG、yCG)によって指定されるサブブロックに割り付けるコンテキストインデックスを導出する。サブブロックに割り付けられたコンテキストインデックスは、当該サブブロックについてのシンタックスsignificant_coeff_group_flagを示すBinを復号する際に用いられる。また、コンテキストインデックスを導出する際には、サブブロック係数有無フラグ記憶部227bに記憶されたサブブロック係数有無フラグの値が参照される。コンテキスト導出部227aは、導出したコンテキストインデックスをコンテキスト記録更新部231に供給する。
(サブブロック係数有無フラグ記憶部227b)
サブブロック係数有無フラグ記憶部227bには、係数有無フラグ符号化部224から供給されたシンタックスsignificant_coeffgroup_flagの各値が記憶されている。サブブロック係数有無フラグ設定部227cは、隣接サブブロックに割り付けられたシンタックスsignificant_coeffgroup_flagを、サブブロック係数有無フラグ記憶部227bから読み出すことができる。
(サブブロック係数有無フラグ設定部227c)
サブブロック係数有無フラグ設定部227cは、サブブロック係数有無フラグ設定部227cは、係数有無フラグ符号化部224から供給されるシンタックスsignificant_coeff_group_flag[xCG][yCG]を示すBinを生成する。生成したBinは、ビット符号化部232に供給される。
以下では、動画像復号装置1の備える係数レベル復号部125aと対応する係数値符号化部225におけるGR1フラグ、GR2フラグ、残余係数レベルの符号化処理について説明する。
(GR1フラグの符号化処理)
以下では、係数値符号化部225におけるGR1フラグの符号化処理について説明する。図38は、GR1フラグの符号化処理を示すフローチャートである。
(ステップSD201)
係数値符号化225は、GR1フラグの符号化に関連する各種パラメータを初期化する。
係数位置識別インデックスnを15に設定する。n = 15
係数数numSigCoeffを0に設定する。numSigCoeff = 0
サブブロック内で最初に出現するGR1フラグの値が1となる係数位置firstGreater1CoeffIdxを-1に設定する。firstGreatr1CoeffIdx = -1
符号化対象サブブロックの位置(subset)がラスト係数を含むサブブロックである場合、符号化済GR1フラグの値が0である個数を表わす変数greatr1Ctxは1に初期化される。すなわち、
greater1Ctx = 1
また、符号化対象サブブロックの位置(subset)がラスト係数を含むサブブロック以外の場合は、符号化済GR1フラグの値が0である個数を表わす変数greatr1Ctxを次式により更新する。
greater1Ctx = greater1Ctx >> 1
(ステップSD202)
対象サブブロック内のループを開始する。当該ループは、係数位置を単位とするループである。
(ステップSD203)
係数位置識別インデックスnで特定される係数位置(xC,yC)が非0係数であるか判別する。非0係数である場合( significant_coeff_flag[xC][yC]==1 )
(ステップSD203でYes)、ステップSD204へ進む。それ以外の場合( significant_coeff_flag[xC][yC]==0(ステップSD203でNo)、ステップSD209へ進む。
(ステップSD204)
サブブロック内で符号化したGR1フラグの個数numSigCoeffが所定閾値未満であるか判別する。GR1フラグの個数numSigCoeffが所定閾値未満である場合(ステップSD104でYes)、ステップSD204へ進む。それ以外の場合(ステップSD204でNo)、ステップSD209へ進む。
(ステップSD205)
係数位置識別インデックスnのGR1フラグを符号化する。なお、GR1フラグの符号化時に参照するコンテキストインデックスの導出方法は、GR1フラグの復号時に参照するコンテキストインデックスの導出方法と同様であるため、説明を省略する。ただし、GR1フラグの復号時のコンテキストインデックスの導出方法において、“復号”部分を“符号化“と読み替えるものとする。
(ステップSD206)
符号化したGR1フラグの個数をカウントする。すなわち、
numSigCoeff = numSigCoeff + 1
また、符号化した係数位置(xC, yC)の係数レベル値が2以上であるか(GR1フラグの値が1でるか)と、変換スキップフラグ、変換量子化バイパスフラグに基づいて、変数numGreater1を更新する。すなわち、
if( !transform_skip_flag && !transquant_bypass_flag){
numGreater1 = coeff_abs_level_greater1_flag[n]==1 ?
numGreater1 + 1 : numGreater1
} ・・・(eq.B-5)
ここで、式(eq.B-5)において、変換スキップ、あるいは、変換量子化バイパスが実施される場合は、変数numGreater1の値を更新しない。なぜならば、変換スキップ、あるいは、変換量子化バイパスが実施される場合、GR1フラグおよびGR2フラグは画素領域における変換係数であり、周波数領域における変換係数に関するGR1フラグおよびGR2フラグのコンテキストを導出するために用いる変数を更新することは、周波数領域における変換係数に関するGR1フラグ、及びGR2フラグのコンテキストの状態が適切に更新されず、符号化効率の低下を招く可能性があるためである。
(ステップSD207)
サブブロック内で最初に出現する、GR1フラグの値が1となる係数位置であるか判別する。サブブロック内で最初に出現する、GR1フラグの値が1となる係数位置である場合(ステップSD207でYes)、ステップSD208へ進む。それ以外の場合は、ステップSD209へ進む。
(ステップSD208)
サブブロック内で最初に出現する、GR1フラグの値が1となる係数位置(係数位置識別インデックス)を変数firstGreater1CoeffIdxへ設定する。すなわち、
firstGreater1CoeffIdx = n
(ステップSD209)
係数位置識別インデックスnを更新する。すなわち、
n = n - 1
(ステップSD210)
サブブロック内のループを終了する。
(GR2フラグの符号化処理)
以下では、係数値符号化部225におけるGR2フラグの符号化処理について説明する。図39は、GR2フラグの符号化処理を示すフローチャートである。
(ステップSE201)
GR1フラグの符号化処理において求めた、サブブロック内で最初に出現する、GR1フラグの値が1となる係数があるか否かを判別する。すなわち、変数firstGreater1CoeffIdxが-1であるか否かを判別する。ここで、変数firstGreater1coeffIdxが-1でない場合(ステップSE201においてYes)、ステップS202へ進む。それ以外の場合(ステップSE101においてNo)、GR2フラグを符号化せず、GR2フラグの符号化処理を終了する。
(ステップSE202)
変数firstGreatr1CoeffIdxが示す係数位置のGR2フラグ(coeff_abs_level_greater2_flag[ firstGreatr1CoeffIdx ])を符号化する。
なお、GR2フラグの符号化時に参照するコンテキストインデックスの導出方法は、GR2フラグの復号時に参照するコンテキストインデックスの導出方法と同様であるため、説明を省略する。ただし、GR2フラグの復号時のコンテキストインデックスの導出方法において、“復号”部分を“符号化“と読み替えるものとする。
(残余係数レベルの符号化処理)
以下では、係数値符号化部225における残余係数レベルの符号化処理について説明する。図40は、残余係数レベルの符号化処理を示すフローチャートである。
(ステップSF201)
係数値符号化部225は、残余係数レベルの符号化に関連する各種パラメータを初期化する。
係数位置識別インデックスnを15に設定する。n = 15
係数数numSigCoeffを0に設定する。numSigCoeff = 0
(ステップSF202)
対象サブブロック内のループを開始する。当該ループは、係数位置を単位とするループである。
(ステップSF203)
係数位置識別インデックスnで特定される係数位置(xC,yC)が非0係数であるか判別する。非0係数である場合( significant_coeff_flag[xC][yC]==1 )
(ステップSF103でYes)、ステップSF204へ進む。それ以外の場合(significant_coeff_flag[xC][yC]==0(ステップSF203でNo)、ステップSF209へ進む。
(ステップSF204)
係数位置(xC, yC)の変換係数のベースレベルbaseLevelを次式により算出する。
baseLevel = 1 + coeff_abs_level_greater1_flag[ n ]
+ coeff_abs_level_greater2_flag[ n ] ・・・(eq.E-1)
(ステップSF205)
係数位置(xC,yC)の変換係数のベースレベルbaseLevelが所定値を満たすか否かを判別する。所定値は次式で表わされる。
baseLevel == (numSigCoeff < TH) ?
( ( n==firstGreater1CoeffIdx) ? 3 : 2 ) : 1・・・
(eq.E-2)
すなわち、
1)係数数numSigCoeffが所定閾値TH以上の場合(numSigCoeff>=TH)、baseLevelが1と等しいか判定する。
2)係数数numSigCoeffが所定閾値未満(numSigCoeff<TH)、かつ、係数識別インデックスnがfirstGreater1CoeffIdxではない場合、baseLevelが2と等しいか判定する。
3)係数数numSigCoeffが所定閾値未満(numSigCoeff<TH)、かつ、係数識別インデックスnがfirstGreater1CoeffIdxである場合、baseLevelが3と等しいか判定する。
以上、baseLevelが上記条件で取り得る値と等しい場合(ステップSF205でYes)、ステップSF206へ進む。それ以外の場合(ステップSF205でNo)、残余係数レベルcoeff_abs_level_remainingの符号化をスキップ(coeff_abs_level_remaining[n] =0として扱う)し、ステップSF208へ進む。
(ステップSF206)
係数位置(xC,yC)の変換係数の残余係数レベルcoeff_abs_level_remaining[n]を係数レベル値absLevelとベースレベルbaseLevelに基づいて次式により算出する。
coeff_abs_level_remaining[ n ] = absLevel ‐baseLevel ・・・(eq.E-3)
復号する。
(ステップSF207)
係数位置(xC,yC)の変換係数の係数レベル値absLevelを次式により算出する。
absLevel = coeff_abs_level_remaining[ n ] + baseLevel ・・・(eq.E-3)
(ステップSF208)
復号した係数数numSigCoeffを更新する。すなわち、
numSigCoeff = numSigCoeff + 1
(ステップSF209)
係数位置識別インデックスnを更新する。すなわち、
n = n - 1
(ステップSF210)
サブブロック内のループを終了する。
(付記事項1)
上述した動画像符号化装置2及び動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置2及び動画像復号装置1を、動画像の送信及び受信に利用できることを、図62を参照して説明する。
図62の(a)は、動画像符号化装置2を搭載した送信装置PROD_Aの構成を示したブロック図である。図62の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図62の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図62の(b)は、動画像復号装置1を搭載した受信装置PROD_Bの構成を示したブロック図である。図62の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置1は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図62の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置2及び動画像復号装置1を、動画像の記録及び再生に利用できることを、図63を参照して説明する。
図63の(a)は、上述した動画像符号化装置2を搭載した記録装置PROD_Cの構成を示したブロック図である。図63の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(UniversalSerial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図63の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4又は受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5又は画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図63の(b)は、上述した動画像復号装置1を搭載した再生装置PROD_Dの構成を示したブロックである。図63の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置1は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図63の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(付記事項2)
上述した動画像復号装置1、および動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現していてもよいし、CPU(central processing unit)を用いてソフトウェア的に実現してもよい。
後者の場合、動画像復号装置1、および動画像符号化装置2は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(randomaccess memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置1、および動画像符号化装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記動画像復号装置1、および動画像符号化装置2に供給し、そのコンピュータ(またはCPUやMPU(micro processing unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD−R(CDRecordable)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(erasable programmable read-only memory)/EEPROM(登録商標)(electricallyerasable and programmable read-only memory)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate
Array)等の論理回路類などを用いることができる。
また、動画像復号装置1、および動画像符号化装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(local area network)、ISDN(integratedservices digital network)、VAN(value-added network)、CATV(community antenna television)通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(institute of electrical and electronic engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(asynchr
onous digital subscriber loop)回線等の有線でも、IrDA(infrared data association)やリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(high data rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance:登録商標)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔まとめ〕
上記課題を解決するために、本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数および変換スキップによって得られる画素領域における各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、処理対象の単位領域に対応する対象周波数領域、または対象画素領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、非0係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを復号するサブブロック係数有無フラグ復号手段と、上記各サブブロック内の変換係数が0であるか否かを表す非0係数有無フラグを復号する非0係数有無フラグ復号手段と、を備え、上記非0係数有無フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応する非0係数有無フラグおよび周波数変換によって周波数成分毎に得られる各変換係数と対応する非0係数有無フラグのそれぞれにおいて、独立したコンテキストインデックスを導出することを特徴としている。
変換スキップが実施される場合、復号対象となる係数有無フラグは、画素領域における非0係数である。画素領域における各係数位置の非0係数の出現確率と、周波数領域における各係数位置の非0係数の出現確率は異なるため、画素領域と周波数領域とで、係数有無フラグに関するコンテキストを区別することが好ましい。
上記の構成によれば、少なくとも変換スキップが実施される際、画素領域における非0係数に対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、非0係数の符号量を削減することができるため、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記非0係数有無フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応する非0係数有無フラグに対して、変換ブロック内で固定のコンテキストインデックスを導出するものであってもよい。
本発明に係る算術復号装置では、上記非0係数有無フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応する非0係数有無フラグに対して、変換ブロックサイズに基づく値を、コンテキストインデックスとして導出するものであってもよい。
画素領域においても、TUサイズ毎に非0係数の出現確率は異なるため、TUサイズ毎に係数有無フラグに関するコンテキストを区別することが好ましい。上記の構成によれば、TUサイズ毎に、画素領域における非0係数に対して、適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、非0係数の符号量をさらに削減することができるので、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記非0係数有無フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応する非0係数有無フラグに対して、予測タイプと変換ブロックサイズに基づいて、所定のコンテキストインデックスを導出するものであってもよい。
変換スキップが実施される場合、復号対象となる画素領域における非0係数のの出現確率は、イントラ予測とインター予測において異なるため、予測タイプ毎に係数有無フラグに関するコンテキストを区別することが好ましい。上記の構成によれば、画素領域における非0係数に対して、予測タイプとTUサイズ毎に適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、非0係数の符号量を削減することができるので、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記非0係数有無フラグ復号手段は、変換スキップ、または変換量子化バイパスによって得られる画素領域における各変換係数と対応する非0係数有無フラグに対して、変換スキップ時の非0係数有無フラグおよび変換量子化バイパス時の非0係数有無フラグのそれぞれにおいて、独立したコンテキストインデックスを導出するものであってもよい。
一般的に、変換スキップ時と変換量子化バイパス時とでは、画素領域における非0係数の出現確率は異なるため、係数有無フラグに関するコンテキストを区別することが好ましい。上記の構成によれば、変換スキップ時と変換量子化バイパス時のそれぞれにおいて、画素領域における非0係数に対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、非0係数の符号量を削減することができるので、非0係数の復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記各サブブロック内の変換係数の絶対値が1を超えるか否かを示すGR1フラグを復号するGR1フラグ復号手段を備え、上記GR1フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応するGR1フラグおよび周波数変換によって周波数成分毎に得られる各変換係数と対応するGR1フラグのそれぞれにおいて、独立したコンテキストインデックスを導出するものであってもよい。
変換スキップが実施される場合、復号対象となるGR1フラグは、画素領域におけるGR1フラグである。画素領域における各係数位置のGR1フラグの出現確率と、周波数領域における各係数位置のGR1フラグの出現確率は異なるため、画素領域と周波数領域とで、GR1フラグに関するコンテキストを区別することが好ましい。
上記の構成によれば、少なくとも変換スキップが実施される際、画素領域におけるGR1フラグに対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグの符号量を削減することができるので、GR1フラグの復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記GR1フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応するGR1フラグに対して、変換ブロックサイズに基づく値を、コンテキストインデックスとして導出するものであってもよい。
画素領域においても、TUサイズ毎にGR1フラグの出現確率は異なるため、TUサイズ毎にGR1フラグに関するコンテキストを区別することが好ましい。上記の構成によれば、、TUサイズ毎に、画素領域におけるGR1フラグに対して、適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグの符号量をさらに削減することができるので、GR1フラグの復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記GR1フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応するGR1フラグに対して、予測タイプと変換ブロックサイズに基づいて、所定のコンテキストインデックスを導出するものであってもよい。
変換スキップが実施される場合、復号対象となる画素領域におけるGR1の出現確率は、イントラ予測とインター予測において異なるため、予測タイプ毎にGR1フラグに関するコンテキストを区別することが好ましい。上記の構成によれば、画素領域におけるGR1フラグに対して、予測タイプとTUサイズ毎に適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグの符号量を削減することができるので、GR1フラグの復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記GR1フラグ復号手段は、変換スキップまたは変換量子化バイパスによって得られる画素領域における各変換係数と対応するGR1フラグに対して、変換スキップ時のGR1フラグおよび変換量子化バイパス時のGR1フラグのそれぞれにおいて、独立したコンテキストインデックスを導出するものであってもよい。
一般的に、変換スキップ時と変換量子化バイパス時とでは、画素領域におけるGR1フラグの出現確率は異なるため、GR1フラグに関するコンテキストを区別することが好ましい。上記の構成によれば、変換スキップ時と変換量子化バイパス時のそれぞれにおいて、画素領域におけるGR1フラグに対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR1フラグの符号量を削減することができるので、GR1フラグの復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記各サブブロック内の変換係数の絶対値が2を超えるか否かを示すGR2フラグを復号するGR2フラグ復号手段を備え、上記GR2フラグ復号手段は、少なくとも変換スキップによって得られる画素領域における各変換係数および周波数変換によって周波数成分毎に得られる各変換係数のそれぞれにおいて、独立したコンテキストインデックスを導出するものであってもよい。
変換スキップが実施される場合、復号対象となるGR2フラグは、画素領域におけるGR2フラグである。画素領域における各係数位置のGR2フラグの出現確率と、周波数領域における各係数位置のGR2フラグの出現確率は異なるため、画素領域と周波数領域とで、GR2フラグに関するコンテキストを区別することが好ましい。
上記の構成によれば、変換スキップが実施される際、画素領域におけるGR2フラグに対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR2フラグの符号量を削減することができるので、GR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記GR2フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応するGR2フラグに対して、変換ブロックサイズに基づく値を、コンテキストインデックスとして導出するものであってもよい。
画素領域においても、TUサイズ毎にGR2フラグの出現確率は異なるため、TUサイズ毎にGR2フラグに関するコンテキストを区別することが好ましい。上記構成によれば、、TUサイズ毎に、画素領域におけるGR2フラグに対して、適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR2フラグの符号量をさらに削減することができるので、GR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記GR2フラグ復号手段は、変換スキップによって得られる画素領域における各変換係数と対応するGR2フラグに対して、予測タイプと変換ブロックサイズに基づいて、所定のコンテキストインデックスを導出するものであってもよい。
変換スキップが実施される場合、復号対象となる画素領域におけるGR2フラグの出現確率は、イントラ予測とインター予測において異なるため、予測タイプ毎にGR2フラグに関するコンテキストを区別することが好ましい。上記構成によれば、画素領域におけるGR2フラグに対して、予測タイプとTUサイズ毎に適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR2フラグの符号量を削減することができるので、GR2フラグの復号に関する処理量を削減
すると共に、符号化効率を改善することができる。
本発明に係る算術復号装置では、上記GR2フラグ復号手段は、変換スキップまたは変換量子化バイパスによって得られる画素領域における各変換係数と対応するGR2フラグに対して、変換スキップ時のGR2フラグおよび変換量子化バイパス時のGR2フラグのそれぞれにおいて、独立したコンテキストインデックスを導出するものであってもよい。
一般的に、変換スキップ時と変換量子化バイパス時とでは、画素領域におけるGR2フラグの出現確率は異なるため、GR2フラグに関するコンテキストを区別することが好ましい。上記構成によれば、変換スキップ時と変換量子化バイパス時のそれぞれにおいて、画素領域におけるGR2フラグに対して適切なコンテキストインデックスを導出することができる。そのため、符号化及び復号対象となるTUにおいて、GR2フラグの符号量を削減することができるので、GR2フラグの復号に関する処理量を削減すると共に、符号化効率を改善することができる。
上記課題を解決するために、本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる変換係数および変換スキップ、あるいは変換量子化バイパスによって得られる画素領域における各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって得られた符号化データを復号する算術復号装置であって、サインハイディングを行う変換係数の符号は、変換係数の符号を既に復号した変換係数の絶対値もしくは既に復号した変換係数の絶対値の和を用いて導出し、サインハイディングを行わない変換係数の符号は、符号化データからシンタックスを復号する係数サイン復号手段と、サインハイディングを行うか否かの判定に用いるサインハイディングフラグを、変換スキップフラグと変換量子化バイパスフラグと、対象サブブロック内で既に復号した非0係数の位置の差、または、対象サブブロック内で既に既に復号した非0係数の数と所定の閾値との比較により導出するサインハイディングフラグ導出手段と、を備えていることを特徴としている。
変換スキップを実施する場合、もしくは変換量子化バイパスを実施する場合、画素領域の係数に対して、係数レベル値の補正を伴うサインハイディングを実施することは、主観画質の低下を招く可能性があるため、サインハイディングの実施を禁止することが好ましい。上記の構成では、変換スキップ、もしくは、変換量子化バイパスを実施時において、サインハイディング処理を禁止するため、主観画質を向上させることができる。
上記課題を解決するために、本発明に係る画像復号装置は、上記算術復号装置と、上記算術復号装置によって復号された変換係数を逆周波数変換することによって残差画像を生成する逆周波数変換手段と、上記逆周波数変換手段によって生成された残差画像と、生成済みの復号画像から予測された予測画像とを加算することによって復号画像を生成する復号画像生成手段と、を備えていることを特徴としている。
上記課題を解決するために、本発明に係る算術符号化装置は、対象画像を単位領域毎に周波数変換することによって周波数成分毎に得られる各変換係数および変換スキップによって得られる画素領域における各変換係数について、該変換係数を表す各種シンタックスを算術符号化することによって符号化データを生成する算術符号化装置であって、処理対象の単位領域に対応する対象周波数領域を所定サイズのサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された各サブブロックについて、非0係数が少なくとも1つ含まれるか否かを表すサブブロック係数有無フラグを符号化するサブブロック係数有無フラグ符号化手段と、上記各サブブロック内の変換係数が0であるか否かを表す非0係数有無フラグを符号化する非0係数有無フラグ符号化手段と、を備え、上記非0係数有無フラグ符号化手段は、変換スキップによって得られる画素領域における各変換係数と対応する非0係数有無フラグおよび周波数変換によって周波数成分毎に得られる各変換係数と対応する非0係数有無フラグのそれぞれにおいて、独立したコンテキストインデックスを用いることを特徴としている。
上記課題を解決するために、本発明に係る画像符号化装置は、符号化対象画像と予測画像との残差画像を単位領域毎に周波数変換することによって変換係数を生成する変換係数生成手段と、上記算術符号化装置と、を備えており、上記算術符号化装置は、上記変換係数生成手段によって生成された変換係数を表す各種のシンタックスを算術符号化することによって符号化データを生成するものである、ことを特徴としている。
上記課題を解決するために、本発明に係る算術復号装置は、対象画像を単位領域毎に周波数変換することによって得られる各変換係数、及び、変換スキップ、または変換量子化バイパスによって得られる各変換係数の符号化データを復号する算術復号装置において、前記変換係数が0であるか否かを示す非0変換係数有無フラグのコンテキストインデックスを導出するコンテキストインデックス導出手段と、導出した前記コンテキストインデックスを参照して、前記非0変換係数有無フラグを算術復号するシンタックス復号手段とを備え、前記コンテキストインデックス導出手段は、変換スキップ及び変換量子化バイパスによって得られる各変換係数に対応する非0係数有無フラグについて共通のコンテキストインデックスを導出し、(1)変換スキップフラグが1、または変換量子化バイパスフラグが1の場合と、(2)そうでない場合とで、別々のコンテキストインデックスを導出し、変換スキップフラグが1、または変換量子化バイパスフラグが1の場合、単位領域のサイズに関わらず、共通のコンテキストインデックスを導出する。
本発明は、算術符号化された符号化データを復号する算術復号装置、および、算術符号化された符号化データを生成する算術符号化装置に好適に用いることができる。
1 動画像復号装置(画像復号装置)
11 可変長符号復号部
111 量子化残差情報復号部(算術復号装置)
120 変換係数復号部
123 係数復号制御部(サブブロック分割手段、サブブロックスキャン順設定手段)
124 係数有無フラグ復号部(コンテキストインデックス導出手段、係数有無フラグ復号手段)
124a、124Aa コンテキスト導出手段選択部
124b 位置コンテキスト導出部
124c 隣接サブブロック係数有無コンテキスト導出部
124d 変換スキップ・変換量子化バイパスコンテキスト導出部
124Ad 変換スキップコンテキスト導出部
124e 係数有無フラグ設定部
125 係数値復号部(GR1フラグ復号手段、GR2フラグ復号手段)
125a 係数レベル復号部
125b 係数サイン復号部
125c 係数値復元部
125d 係数数算出部
125e 係数位置導出部
125f サインハイディングフラグ導出部
125g 係数和算出部
125h サイン符号導出部
127 サブブロック係数有無フラグ復号部(サブブロック係数有無フラグ復号手段)
127a コンテキスト導出部
127b サブブロック係数有無フラグ記憶部
127c サブブロック係数有無フラグ設定部
128 変換スキップ・変換量子化バイパスフラグ復号部
130 算術符号復号部
131 コンテキスト記録更新部
132 ビット復号部(シンタックス復号手段)
2 動画像符号化装置(画像符号化装置)
27 可変長符号符号化部
271 量子化残差情報符号化部(算術符号化装置)
220 変換係数符号化部
223 係数符号化制御部(サブブロック分割手段、サブブロックスキャン順設定手段)
224 係数有無フラグ符号化部(コンテキストインデックス導出手段)
224a、224Aa コンテキスト導出手段選択部
224b 位置コンテキスト導出部
224c 隣接サブブロック係数有無コンテキスト導出部
224d 変換スキップ・変換量子化バイパスコンテキスト導出部
224Ad 変換スキップコンテキスト導出部
224e 係数有無フラグ設定部
225 係数値符号化部(GR1フラグ符号化手段、GR2フラグ符号化手段)
2285 係数値シンタックス導出部
225a 係数レベルシンタックス導出部
225b 係数サインシンタックス導出部
225h サインシンタックス導出及びレベル値補正部
227 サブブロック係数有無フラグ符号化部(サブブロック係数有無フラグ符号化手段)
227a コンテキスト導出部
227b サブブロック係数有無フラグ記憶部
227c サブブロック係数有無フラグ設定部
228 シンタックス導出部
230 算術符号符号化部
231 コンテキスト記録更新部
232 ビット符号化部(シンタックス符号化手段)

Claims (1)

  1. 対象画像を単位領域毎に周波数変換することによって得られる変換係数、および変換スキップあるいは変換量子化バイパスによって得られる各変換係数の符号化データを復号する算術復号装置において、
    変換スキップフラグ、変換量子化バイパスフラグ、および対象サブブロック内における非0係数の位置の差を参照して、サインハイディングを行うか否かを示すサインハイディングフラグを導出するサインハイディングフラグ導出手段と、
    前記サインハイディングフラグがサインハイディングを行わないことを示す場合、前記符号化データから前記変換係数の符号を復号し、
    前記サインハイディングフラグがサインハイディングを行うことを示す場合、係数レベルの絶対値の和を参照して前記変換係数の符号を導出する、
    係数サイン復号手段と、
    を備えていることを特徴とする算術復号装置。
JP2020123926A 2012-06-22 2020-07-20 算術復号装置 Active JP7001768B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021211227A JP7241159B2 (ja) 2012-06-22 2021-12-24 算術復号装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012141416 2012-06-22
JP2012141416 2012-06-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018004968A Division JP2018078647A (ja) 2012-06-22 2018-01-16 算術復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021211227A Division JP7241159B2 (ja) 2012-06-22 2021-12-24 算術復号装置

Publications (2)

Publication Number Publication Date
JP2020171063A true JP2020171063A (ja) 2020-10-15
JP7001768B2 JP7001768B2 (ja) 2022-01-20

Family

ID=49768592

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014521277A Pending JPWO2013190990A1 (ja) 2012-06-22 2013-06-04 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置
JP2018004968A Pending JP2018078647A (ja) 2012-06-22 2018-01-16 算術復号装置
JP2020123926A Active JP7001768B2 (ja) 2012-06-22 2020-07-20 算術復号装置
JP2021211227A Active JP7241159B2 (ja) 2012-06-22 2021-12-24 算術復号装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014521277A Pending JPWO2013190990A1 (ja) 2012-06-22 2013-06-04 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置
JP2018004968A Pending JP2018078647A (ja) 2012-06-22 2018-01-16 算術復号装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021211227A Active JP7241159B2 (ja) 2012-06-22 2021-12-24 算術復号装置

Country Status (6)

Country Link
US (3) US9307264B2 (ja)
EP (1) EP2866443A4 (ja)
JP (4) JPWO2013190990A1 (ja)
CN (1) CN104380737B (ja)
HK (1) HK1207230A1 (ja)
WO (1) WO2013190990A1 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
US9621921B2 (en) * 2012-04-16 2017-04-11 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
EP2866443A4 (en) * 2012-06-22 2016-06-15 Sharp Kk ARITHMETIC DECODING DEVICE, ARITHMETIC CODING DEVICE, IMAGE DECODING DEVICE AND IMAGE DEVICES
US20140286412A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Intra dc prediction for lossless coding in video coding
US9936200B2 (en) * 2013-04-12 2018-04-03 Qualcomm Incorporated Rice parameter update for coefficient level coding in video coding process
US10021419B2 (en) 2013-07-12 2018-07-10 Qualcomm Incorported Rice parameter initialization for coefficient level coding in video coding process
US10645399B2 (en) * 2013-07-23 2020-05-05 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding image
US9264724B2 (en) * 2013-10-11 2016-02-16 Blackberry Limited Sign coding for blocks with transform skipped
CN104394419B (zh) * 2014-12-11 2018-01-05 上海兆芯集成电路有限公司 高阶视频编解码芯片以及高阶视频编解码方法
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US20180192076A1 (en) * 2015-06-16 2018-07-05 Sharp Kabushiki Kaisha Image decoding device image coding device
CN108353179A (zh) * 2015-09-10 2018-07-31 三星电子株式会社 编码设备、解码设备及其编码方法和解码方法
KR102390162B1 (ko) * 2015-10-16 2022-04-22 삼성전자주식회사 데이터 인코딩 장치 및 데이터 인코딩 방법
US10440399B2 (en) * 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
SG11201806811TA (en) 2016-02-12 2018-09-27 Huawei Tech Co Ltd Method and apparatus for scan order selection
SG11201806810YA (en) * 2016-02-12 2018-09-27 Huawei Tech Co Ltd Method and apparatus for scan order selection
US20170311003A1 (en) * 2016-04-20 2017-10-26 Mediatek Inc. Method and apparatus for performing entropy encoding with sign data removal and associated method and apparatus for performing entropy decoding with sign data recovery
JP6868786B2 (ja) 2016-05-13 2021-05-12 ソニーグループ株式会社 画像処理装置および方法
US10887626B2 (en) * 2016-05-13 2021-01-05 Sharp Kabushiki Kaisha Image decoding device and image encoding device
ES2786077B2 (es) * 2016-07-05 2023-01-09 Kt Corp Metodo y aparato para procesar una senal de video
EP3270594A1 (en) * 2016-07-15 2018-01-17 Thomson Licensing Method and apparatus for advanced cabac context adaptation for last coefficient coding
CN110024389B (zh) * 2016-11-21 2023-05-09 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法及解码方法
WO2018092868A1 (ja) 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR20230149868A (ko) 2016-11-21 2023-10-27 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN116744023A (zh) * 2016-11-25 2023-09-12 株式会社Kt 用于对视频进行编码和解码的方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
KR20180089290A (ko) * 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
WO2018143670A1 (ko) * 2017-01-31 2018-08-09 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
US11354824B2 (en) 2017-03-23 2022-06-07 Sony Corporation Image processing apparatus and method
US10225562B1 (en) * 2017-08-21 2019-03-05 Google Llc Embedding information about EOB positions
WO2019127003A1 (zh) * 2017-12-26 2019-07-04 富士通株式会社 图像编码方法、装置以及电子设备
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
KR102543505B1 (ko) 2018-03-29 2023-06-14 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 종속 양자화
WO2019212230A1 (ko) * 2018-05-03 2019-11-07 엘지전자 주식회사 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
FR3086486A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
KR102613155B1 (ko) * 2018-09-24 2023-12-13 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 종속 스칼라 양자화를 사용하거나 이와 조합하는 데에적합한 변환 계수의 효율적인 코딩
WO2020062125A1 (zh) * 2018-09-29 2020-04-02 富士通株式会社 图像编码方法、装置以及电子设备
KR102533227B1 (ko) * 2018-10-05 2023-05-17 엘지전자 주식회사 변환 계수 코딩 방법 및 장치
WO2020076028A1 (ko) * 2018-10-11 2020-04-16 엘지전자 주식회사 변환 계수 코딩 방법 및 장치
JP2022016726A (ja) * 2018-11-16 2022-01-25 ソニーグループ株式会社 画像処理装置および方法
CN113170173B (zh) * 2018-11-28 2024-04-12 北京字节跳动网络技术有限公司 变换量化或量化旁路模式的改进方法
WO2020130514A1 (ko) * 2018-12-17 2020-06-25 엘지전자 주식회사 고주파 제로잉을 기반으로 변환 계수 스캔 순서를 결정하는 방법 및 장치
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
GB2580084B (en) 2018-12-20 2022-12-28 Canon Kk Video coding and decoding
CN113170195A (zh) 2018-12-22 2021-07-23 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
BR112021013117A2 (pt) 2019-01-02 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparelho para decodificar e codificar uma imagem usando codificação preditiva e codificação residual de transformada com base em bloco, métodos e fluxo de dados
US11523136B2 (en) 2019-01-28 2022-12-06 Hfi Innovation Inc. Methods and apparatuses for coding transform blocks
JP7282904B2 (ja) * 2019-02-19 2023-05-29 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおいてレジデュアル情報を使用する映像デコーディング方法及びその装置
WO2020172668A1 (en) * 2019-02-24 2020-08-27 Tencent America LLC Improved residual coding for transform skip mode and block differential pulse-code modulation
CN113632493A (zh) * 2019-03-13 2021-11-09 北京字节跳动网络技术有限公司 变换跳过模式中的子块变换
WO2020189971A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 영상 코딩 시스템에서 변환 스킵 플래그를 이용한 영상 디코딩 방법 및 그 장치
CN113711600A (zh) * 2019-04-26 2021-11-26 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2020215338A1 (zh) * 2019-04-26 2020-10-29 深圳市大疆创新科技有限公司 视频编解码的方法和装置
WO2020235951A1 (ko) * 2019-05-21 2020-11-26 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2021006698A1 (ko) 2019-07-10 2021-01-14 엘지전자 주식회사 영상 코딩 시스템에서 영상 코딩 방법 및 장치
WO2021006696A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 변환 스킵된 잔차 신호에 대한 문맥 모델을 유도하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220038166A (ko) * 2019-08-31 2022-03-25 엘지전자 주식회사 영상 코딩 시스템에서 단순화된 레지듀얼 데이터 코딩을 사용하는 영상 디코딩 방법 및 그 장치
JP7323719B2 (ja) * 2020-02-05 2023-08-08 エルジー エレクトロニクス インコーポレイティド 残差コーディングに関する画像デコード方法およびその装置
WO2021158049A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 영상 정보 코딩에 대한 영상 디코딩 방법 및 그 장치
AU2020201753B2 (en) * 2020-03-10 2022-09-08 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
KR20220156832A (ko) 2020-03-21 2022-11-28 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 픽처 및 스케일러빌러티 조합
CN115812304A (zh) 2020-06-20 2023-03-17 抖音视界有限公司 具有不同的编解码块大小的层间预测
WO2022224888A1 (ja) * 2021-04-21 2022-10-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2023104144A1 (en) * 2021-12-09 2023-06-15 Mediatek Inc. Entropy coding transform coefficient signs

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999065226A1 (fr) * 1998-06-09 1999-12-16 Matsushita Electric Industrial Co., Ltd. Codeur et decodeur d'images, verificateur de caracteres et support de donnees
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
JP5258664B2 (ja) * 2009-04-14 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
JP5580404B2 (ja) * 2010-03-29 2014-08-27 株式会社東芝 半導体装置
WO2011121715A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 画像復号化方法
US8902988B2 (en) * 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
CN107087185B (zh) * 2011-07-11 2020-01-10 太阳专利托管公司 编码方法及编码装置、解码方法及解码装置
US10390046B2 (en) * 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
EP2866443A4 (en) * 2012-06-22 2016-06-15 Sharp Kk ARITHMETIC DECODING DEVICE, ARITHMETIC CODING DEVICE, IMAGE DECODING DEVICE AND IMAGE DEVICES

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL.: "High efficiency video coding (HEVC) text specification draft 7", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 9TH M, vol. JCTVC-I1003 (version 5), JPN6021021509, 12 June 2012 (2012-06-12), pages 56 - 58, ISSN: 0004524672 *

Also Published As

Publication number Publication date
CN104380737B (zh) 2018-10-26
JP2018078647A (ja) 2018-05-17
US20170099488A1 (en) 2017-04-06
JP2022051736A (ja) 2022-04-01
JP7241159B2 (ja) 2023-03-16
EP2866443A4 (en) 2016-06-15
JPWO2013190990A1 (ja) 2016-05-26
US9516333B2 (en) 2016-12-06
US9813713B2 (en) 2017-11-07
US20160134884A1 (en) 2016-05-12
US9307264B2 (en) 2016-04-05
HK1207230A1 (en) 2016-01-22
US20150181237A1 (en) 2015-06-25
CN104380737A (zh) 2015-02-25
WO2013190990A1 (ja) 2013-12-27
JP7001768B2 (ja) 2022-01-20
EP2866443A1 (en) 2015-04-29

Similar Documents

Publication Publication Date Title
JP7001768B2 (ja) 算術復号装置
US11743510B2 (en) Image decoding device and image decoding method
US10547861B2 (en) Image decoding device
JP6441406B2 (ja) 動画像復号装置
JP6190361B2 (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
WO2016203981A1 (ja) 画像復号装置及び画像符号化装置
KR102005212B1 (ko) 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
WO2016203881A1 (ja) 算術復号装置及び算術符号化装置
CN108540813B (zh) 图像解码装置
JP2013192118A (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2013187869A (ja) 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置
JP2013118424A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP2014176039A (ja) 画像復号装置、および画像符号化装置
JP2013223051A (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2013251827A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211224

R150 Certificate of patent or registration of utility model

Ref document number: 7001768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150