JP2017147750A - 画像復号装置、および画像符号化装置 - Google Patents

画像復号装置、および画像符号化装置 Download PDF

Info

Publication number
JP2017147750A
JP2017147750A JP2017084008A JP2017084008A JP2017147750A JP 2017147750 A JP2017147750 A JP 2017147750A JP 2017084008 A JP2017084008 A JP 2017084008A JP 2017084008 A JP2017084008 A JP 2017084008A JP 2017147750 A JP2017147750 A JP 2017147750A
Authority
JP
Japan
Prior art keywords
information
unit
flag
merge
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017084008A
Other languages
English (en)
Other versions
JP6483183B2 (ja
Inventor
山本　智幸
Tomoyuki Yamamoto
智幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2017147750A publication Critical patent/JP2017147750A/ja
Application granted granted Critical
Publication of JP6483183B2 publication Critical patent/JP6483183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化データの符号化量をより削減する。【解決手段】動画像復号装置（１）は、符号化データに、量子化変換係数に周波数領域の変換係数が含まれるか否か示す存否情報をマージまたはスキップするマージ／スキップ情報が含まれている場合、存否情報を復号しないＴＴ情報復号部（１４）と、符号化データに、存否情報をマージまたはスキップするマージ／スキップ情報が含まれている場合、該存否情報を推定するＴＴ情報推定部（３３）とを備え、ＴＴ情報復号部（１４）は、ＴＴ情報推定部（３３）が推定した存否情報を用いて符号化量子化変換係数を復号する。【選択図】図１

Description

本発明は、符号化データを復号する画像復号装置、および、符号化データを生成する画像符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（画像符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（画像復号装置）が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ（非特許文献１）、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、およびその後継コーデックであるWorking Draft 1 of High-Efficiency Video Coding（非特許文献２、以下、ＨＥＶＣ ＷＤ１とも呼ぶ）に採用されている方式などが挙げられる。
このような符号化方式において、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（マクロブロックまたはコーディングユニット（ＣＵ：Coding Unit）と呼ばれることもある）、および、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化される。
また、このような符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
インター予測においては、復号済みのフレームを参照フレームとして、動きベクトルを用いた動き補償を適用することによって、復号中のフレーム内の予測画像が予測単位毎に生成される。
一方、イントラ予測においては、復号中のフレームの復号済領域に基づいて、復号中のフレーム内の予測画像が予測単位毎に生成される。Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣに用いられているイントラ予測の一例としては、予測単位（例えば、パーティション）毎に、（１）予め定められた予測モード群から何れかの予測モードを選択し、（２）復号済領域の画素値を選択した予測モードに対応する外挿方向（予測方向）に外挿することによって、該予測単位上の画素値を生成する方法（「基本予測」とも呼ぶことがある）が挙げられる。
そして、非特許文献２には、復号に用いる情報の一部を省略（ＳＫＩＰ）、または推定（ＭＥＲＧＥ）することにより、符号化データの符号量を削減する技術が記載されている。より具体的には、ＣＵを復号する際に用いる符号化データを構成する各種情報のうち、ＣＵに含まれる変換ツリー（ＴＴ：transform tree）を示す情報、インター予測における予測単位（ＰＵ：prediction unit）の分割方法を示す情報をＳＫＩＰの対象としている。変換ツリーＴＴにはＣＵ内の各部分領域に適用される変換単位（ＴＵ：transform unit）に関する情報が含まれる。また、インター予測における予測単位ＰＵの分割方法を示す情報をＭＥＲＧＥの対象としている。
また、上記予測単位（ＰＵ：prediction unit）を復号する際に用いる符号化データを構成する各種情報のうち、インター予測のタイプを示す情報、インター予測を行う際の参照画像を示す情報、および動きベクトルを示す情報をＳＫＩＰ、またはＭＥＲＧＥの対象としている。
また、非特許文献３には、ＭＥＲＧＥの対象を、ＣＵを復号する際に用いる符号化データに含まれる各種情報から、ＰＵを復号する際に用いる符号化データに含まれる各種情報に変更した技術が開示されている。
「Recommendation ITU-T H.264」,Telecommunication Standardization Sector of ITU,03/2009 「JCTVC-C403」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,3rd Meeting: Guangzhou, CN, 7-15 October, 2010 「JCTVC-D441」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,4th Meeting: Daegu, KR, 20-28 January, 2011
しかしながら、上記従来の構成では、符号化データに含まれる各種情報のうち、一部しかＳＫＩＰまたはＭＥＲＧＥの対象となっていない。また、ＳＫＩＰまたはＭＥＲＧＥの対象となる各種情報が含まれる符号化データは、ＣＵを復号する際に用いる符号化データか、ＰＵを復号する際に用いる符号化データに限られている。
したがって、上記従来の構成では、符号化データの符号化量を十分に削減できていない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、符号化データの符号化量をより削減できる画像符号化装置等を実現することにある。
本発明の一態様に係る画像復号装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子化変換係数を含む符号化データを復号単位毎に復号することにより画像を復号する画像復号装置であって、上記変換単位は、符号化単位を階層的に分割することにより形成されるものであり、上記変換単位を分割して得られる部分単位は、上記変換単位とは異なり、該部分単位のサイズは、上記変換単位のサイズ以下であり、さらに、上記部分単位は、上記変換単位を正方形の格子状に分割して得られる４×４画素から成る単位であり、当該部分単位に非ゼロ変換係数が含まれているか否かを示す非ゼロ変換係数存否情報を推定、または、当該非ゼロ変換係数存否情報を上記符号化データから復号し、該非ゼロ変換係数存否情報が当該部分単位内に非ゼロ変換係数が存在することを示す場合、当該部分単位内の変換係数を上記符号化データから復号する復号手段を備え、上記復号手段は、上記部分単位が対応する変換単位において処理順で最後の部分単位である場合、当該部分単位について非ゼロ変換係数が存在すると推定することを特徴としている。
また、本発明の一態様に係る画像符号化装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子化変換係数を含む符号化データを出力する画像符号化装置であって、上記符号化データに、上記変換単位を分割して得られる部分単位について、当該部分単位に非ゼロ変換係数が含まれているか否かを示す非ゼロ変換係数存否情報をマージまたはスキップするマージ／スキップ情報を含める符号化手段を備えていることを特徴とする画像符号化装置。
本発明の一態様によれば、従来であれば、伝送することが必要であった周波数領域の変換係数の存在の有無を示す情報を伝送せずに済むので、符号化データの符号量を従来よりも削減することが可能となるという効果を奏する。
本発明の一実施の形態に係る動画像復号装置の要部構成を示すブロック図である。 動画像符号化装置によって生成され、上記動画像復号装置によって参照される符号化データのデータ構造を示すものであって、（ａ）は符号化データのピクチャレイヤの構成を示す図であり、（ｂ）はピクチャレイヤに含まれるスライスレイヤの構成を示す図であり、（ｃ）はスライスレイヤに含まれるＴＢＬＫレイヤの構成を示す図であり、（ｄ）はＴＢＬＫレイヤに含まれるＣＵの構成を示す図であり、（ｅ）はＣＵについてのインター予測情報の構成を示す図であり、（ｆ）はＣＵについてのイントラ予測情報の構成を示す図であり、（ｇ）はＣＵについての変換ツリーの構成を示す図である。 動画像符号化装置によって生成され、上記動画像復号装置によって参照される画像の構成を示す図であり、（ａ）はピクチャからスライスおよびＴＢＬＫが分割される状態を示す図であり、（ｂ）、（ｃ）はＴＢＬＫからＣＵが分割される状態を示す図である。 動画像符号化装置によって生成され、上記動画像復号装置によって参照される画像の構成を示す図であり、（ａ）はＣＵからイントラ予測単位が分割される状態を示す図であり、（ｂ）はＣＵからインター予測単位が分割される状態を示す図であり、（ｃ）はＣＵから変換単位が分割される状態を示す図である。 上記動画像復号装置のＣＵ情報復号部の処理の内容を示すシンタックステーブルである。 上記ＣＵ情報復号部の処理内容を示すものであり、（ａ）、（ｂ）はマージフラグ、マージレベルとマージ対象との関係を示す図である。 上記動画像復号装置のＰＴ情報復号部の処理内容を示すシンタックステーブルである。 上記ＰＴ情報復号部の処理内容を示すものであり、（ａ）、（ｂ）、（ｃ）はマージフラグ、マージレベルとマージ対象との関係を示す図である。 上記動画像復号装置のＴＴ情報復号部の処理の内容を示すシンタックステーブルである。 上記ＴＴ情報復号部の処理の内容を示すものであり、（ａ）は処理内容を示すシンタックステーブルであり、（ｂ）はシンタックステーブルの内容を説明するための図である。 上記ＴＴ情報復号部の処理の内容を示すシンタックステーブルである。 上記ＴＴ情報復号部の処理内容を示すものであり、（ａ）、（ｂ）はマージフラグ、マージレベルとマージ対象との関係を示す図である。 マージの例を説明するための図である。 マージの例を説明するための図である。 本実施の形態に係る動画像符号化装置の要部構成を示すブロック図である。 周波数領域の変換係数の存在有無ＣＴＣを表現するための説明図であり、（ａ）は非正方領域に分割してＣＴＣを表現する場合を示す図であり、（ｂ）はパラメータを用いてＣＴＣを表現する場合を示す図であり、（ｃ）はスキャン順を用いてＣＴＣを表現する場合を示す図である。 動画像復号装置および動画像符号化装置が、動画像の送受信に利用できることを説明するための図であり、（ａ）は、動画像符号化装置を搭載した送信装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した受信装置の構成を示したブロック図である。 動画像復号装置および動画像符号化装置が、動画像の記録および再生に利用できることを説明するための図であり、（ａ）は、動画像符号化装置を搭載した記録装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した再生装置の構成を示したブロックである。
本発明に係る画像復号装置および画像符号化装置の実施形態について図面に基づいて説明すれば以下のとおりである。なお、本実施形態に係る画像復号装置は、符号化データから動画像を復号するものである。したがって、以下では、これを「動画像復号装置」と呼称する。また、本実施形態に係る画像符号化装置は、動画像を符号化することによって符号化データを生成するものである。したがって、以下では、これを「動画像符号化装置」と呼ぶ。
なお、本実施の形態では、各情報が、主にマージの対象となる場合について記載するが、スキップについても同様である。マージとは、復号に必要な所定の情報を省略し、既定または指定された位置にある情報に基づき推定されることをいう。また、スキップとは、復号に必要な所定の情報を省略し、推定値または既定値を代わりに用いることをいう。
（符号化データ＃１の構成）
本実施の形態に係る動画像復号装置（画像復号装置）１の説明に先立ち、本実施の形態に係る動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成について図２〜４を用いて説明する。符号化データ＃１は、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図２に示す。図２の（ａ）は、ピクチャＰＩＣＴを規定するピクチャレイヤの構造を示す図である。図２の（ｂ）は、スライスＳを規定するスライスレイヤの構造を示す図である。図２の（ｃ）は、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤの構造を示す図である。図２の（ｄ）は、ツリーブロックＴＢＬＫに含まれる符号化単位（ＣＵ：Coding Unit）を規定するＣＵレイヤの構造を示す図である。
また、図２の（ｅ）は、予測ツリー（ＰＴ：prediction tree）についての情報であり、インター予測（画面間予測）パーティションについての予測情報ＰＴＩであるインター予測情報ＰＴＩ＿Ｉｎｔｅｒの構造を示す図である。図２の（ｆ）は、予測ツリーＰＴについての情報であり、イントラ予測（画面内予測）パーティションについての予測情報ＰＴＩであるイントラ予測情報ＰＴＩ＿Ｉｎｔｒａの構造を示す図である。図２の（ｇ）は、符号化単位ＣＵに含まれる変換ツリー（ＴＴ：transform tree）についての情報である変換単位情報ＴＴＩの構造を示す図である。
また、図３、４は、ピクチャＰＩＣＴからスライスＳ、ツリーブロックＴＢＬＫ、予測単位ＰＵ、変換単位ＴＵが分割される状態を示す図である。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ａ）に示すように、ピクチャヘッダＰＨ、および、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
entropy_coding_mode_flagが０の場合、当該ピクチャＰＩＣＴは、ＬＣＥＣ（Low Complexity Entropy Coding）、またはＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）によって符号化されている。また、entropy_coding_mode_flagが１である場合、当該ピクチャＰＩＣＴは、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によって符号化されている。
なお、ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図２の（ｂ）に示すように、スライスヘッダＳＨ、および、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。
また、図３の（ａ）に示すように、スライスＳは、ピクチャＰＩＣＴが分割されることによって形成されている。図３の（ａ）では、ピクチャＰＩＣＴ３０１が分割されて、スライスＳ３０２が形成されている。
（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理のためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックＴＢＬＫの上記ユニットは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。
また、各符号化ノードのとり得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＴＢＬＫ以下の階層における符号化ノードは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および８×８画素の何れかをとり得る。
また、ブロック構造としては、図３の（ａ）に示すように、スライスＳが分割されて、ツリーブロックＴＢＬＫ３０３が形成されている。そして、図３の（ｂ）に示すように、ツリーブロックＴＢＬＫ３０３が分割されてＣＵ３１１が形成されている。
また、図３の（ｃ）に、最大階層深度が「２」の場合に、ツリーブロックＴＢＬＫ３０３が四分木分割される様子を示す。図３の（ｃ）に示すように、最大階層深度が「２」で、後述するＣＵ分割フラグ（split_coding_unit_flag）の値が階層０で「１」であり、かつ階層１でも「１」の場合、ＣＵ３１１ｂが符号化ノードとなる。なお、最大階層深度が「１」で、ＣＵ分割フラグの値が階層０で「１」の場合、ＣＵ３１１ａが符号化ノードとなる。
（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図２の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリーＰＴおよび変換ツリーＴＴのルートとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（ＰＵ：prediction unit）とも称する。
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（ＴＵ：transform unit）とも称する。
（ＣＵ情報ＣＵのデータ構造）
続いて、図２の（ｄ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図２の（ｄ）に示すように、ＣＵ情報ＣＵは、スキップフラグＳＫＩＰ、マージフラグＭＲＧ_ＣＵ、対象ＣＵの各予測単位への分割パターンを指定するＰＵ分割情報ＳＰ＿ＰＵ、予測タイプ情報ＰＴｙｐｅ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含んでいる。
スキップフラグＳＫＩＰは、対象のＣＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、スキップの対象となる各種情報は省略され、復号される際には、既定値または推定値が用いられる。なお、対象となる各種情報については、後述する。また、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
マージフラグＭＲＧ_ＣＵは、対象のＣＵについて、マージモードが適用されているか否かを示すフラグであり、マージフラグＭＲＧ_ＣＵの値が１の場合、すなわち、対象ＣＵにマージモードが適用されている場合、マージの対象となる各種情報は省略され、復号される際には、推定値が用いられる。なお、対象となる各種情報については、後述する。
ＰＵ分割情報ＳＰ＿ＰＵは、対象ＣＵに含まれる各ＰＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＰＵ分割情報ＳＰ＿ＰＵは、対象ＣＵから、イントラ分割を指定するイントラ分割フラグ（intra_split_flag）、および、対象ＣＵから、インター分割を指定するインター分割フラグ（inter_partitining_idc）の少なくとも何れか一方から実現することができる。
イントラ分割フラグは、対象ＣＵに含まれる各イントラＰＵ（イントラ予測が用いられるＰＵ）の形状、サイズ、および、対象ＣＵ内での位置を指定する情報である。
インター分割フラグは、対象ＣＵに含まれる各インターＰＵ（インター予測が用いられるＰＵ）の形状、サイズ、および、対象ＣＵ内での位置を指定する情報である。
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
ＰＴ情報ＰＴＩは、対象ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図２の（ｅ）、（ｆ）に示すように、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、インター予測情報（ＰＴＩ＿Ｉｎｔｅｒ）、または、イントラ予測情報（ＰＴＩ＿Ｉｎｔｒａ）より構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
ＴＴ情報ＴＴＩは、対象ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。
（インター予測情報ＰＴＩ＿Ｉｎｔｅｒ）
インター予測情報ＰＴＩ＿Ｉｎｔｅｒは、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。図２の（ｅ）に示すように、インター予測情報ＰＴＩ＿Ｉｎｔｅｒには、各ＰＵについてのインター予測パラメータＰＰ＿Ｉｎｔｅｒ1〜ＰＰ＿ＩｎｔｅｒＮｅ（Ｎｅは、対象ＣＵに含まれるインター予測ＰＵの総数）が含まれている。
インターＰＵは、対象ＣＵを、２Ｎ×２Ｎ画素（対象ＣＵと同一サイズ）、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）により分割することで作成される。
具体的に、図４の（ｂ）を用いて説明する。図４の（ｂ）に示すように、ＣＵ３１１から、２Ｎ×２Ｎ画素に分割されるとＰＵ４１２ａとなり、２Ｎ×Ｎ画素に分割されるとＰＵ４１２ｂおよびＰＵ４１２ｃとなり、Ｎ×２Ｎ画素に分割されるとＰＵ４１２ｄおよびＰＵ４１２ｅとなり、Ｎ×Ｎ画素に分割されるとＰＵ４１２ｆ〜ＰＵ４１２ｉとなる。
（インター予測パラメータ）
図２の（ｅ）に示すように、インター予測パラメータＰＰ＿Ｉｎｔｅｒは、マージフラグＭＲＧ＿ＰＵ、インター予測タイプＩＰＴ、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、動きベクトル残差ＭＶＤを含んでいる。
（イントラ予測情報ＰＴＩ＿Ｉｎｔｒａ）
イントラ予測情報ＰＴＩ＿Ｉｎｔｒａは、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。図２の（ｆ）に示すように、イントラ予測情報ＰＴＩ＿Ｉｎｔｒａには、各ＰＵについてのイントラ予測パラメータＰＰ＿Ｉｎｔｒａ1〜ＰＰ＿ＩｎｔｒａＮａ（Ｎａは、対象ＣＵに含まれるイントラ予測ＰＵの総数）が含まれている。
イントラＰＵは、イントラ分割フラグが１であれば、対象ＣＵを４つのＰＵへと対称的に分割することにより生成され、イントラ分割フラグが０であれば、対象ＣＵを分割することなく、対象ＣＵ自身がＰＵとして取り扱われる。したがって、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、イントラＰＵは、２Ｎ×２Ｎ画素（分割なし）、および、Ｎ×Ｎ画素（４分割）の何れかのサイズを取り得る（ここで、Ｎ＝２n、ｎは１以上の任意の整数）。例えば、対象ＣＵが、１２８×１２８画素であれば、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。
具体的に、図４の（ａ）を用いて説明する。図４の（ａ）に示すように、ＣＵ３１１から、２Ｎ×２Ｎ画素に分割されるとＰＵ４１１ａとなり、Ｎ×Ｎ画素に分割されるとＰＵ４１２ｂ〜ＰＵ４１２ｅとなる。
（イントラ予測パラメータＰＰ＿Ｉｎｔｒａ）
図２の（ｆ）に示すように、イントラ予測パラメータＰＰ＿Ｉｎｔｒａは、マージフラグＭＲＧ＿ＰＵ、イントラ予測モードＩＰＭを含んでいる。
（ＴＴ情報ＴＴＩ）
図２の（ｇ）に示すように、ＴＴ情報ＴＴＩは、マージフラグＭＲＧ＿ＴＵ、変換サイズＴＴＳ、変換タイプＴＴＴｙｐｅ、変換係数ＴＴＣ、空間領域の変換係数の存在の有無ＣＢＰ、周波数領域の変換係数の存在の有無ＣＴＣ、量子化予測残差ＱＤを、対象ＣＵに含まれるＴＵの総数分含んでいる。
ここで、周波数領域の変換係数の存在の有無ＣＴＣとは、対象周波数領域（対象変換単位）に含まれる各変換係数が０であるか否かを示す情報や、対象周波数領域を分割して得られる各部分単位に非ゼロ変換係数が含まれるか否かを示す情報（非ゼロ変換係数存否情報）を含む概念である。
なお、対象周波数領域に含まれる各変換係数が０であるか否かを示す情報は、significant_coeff_flag[xC][yC]（ここで、[xC][yC]は、対象周波数領域における各変換係数を位置を示す）と呼ばれることもあり、対象周波数領域を分割して得られる各部分単位に非ゼロ変換係数が含まれるか否かを示す情報は、significant_coeff_group_flag[xCG][yCG]（ここで、[xCG][yCG]は、対象周波数領域における各部分単位の位置を示す）と呼ばれることもある。
ＴＵは、対象ＣＵを階層的に四分木分割することにより形成されており、対象ＣＵまたは対象ＣＵの部分領域の分割を行うのか否かを示す情報（split_transform_flag）により、サイズが決定する。split_transform_flagは基本的には四分木の各ノードに対して符号化されるが、変換サイズに関する制約（最大変換サイズ、最小変換サイズ、四分木の最大階層深度）に応じて省略されて推定される場合もある。
図４の（ｃ）に、ＣＵ３１１が四分木分割されて、ＴＵが形成される様子を示す。図４の（ｃ）に示すように、階層０および階層１において、ノードの分割を行うことが示されている場合、ＰＵ４１３ｂがＴＵとなる。また、階層０でノードの分割を行い、階層１でノードの分割を行わないことが示されている場合、ＰＵ４１３ａがＴＵとなる。
例えば、最大階層深度が「２」であり、対象ＣＵのサイズが、６４×６４の場合、対象ＣＵに含まれるＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素のサイズをとり得る。
量子化予測残差ＱＤは、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
（動画像復号装置１）
次に、図１、５〜１２を参照して、動画像復号装置１の構成について説明する。図１は、動画像復号装置１の要部構成を示すブロック図である。図１に示すように、動画像復号装置１は、ＴＢＬＫ復号部（復号手段）１０、フレームメモリ２１を含む構成であり、ＴＢＬＫ復号部１０には、ＴＢＬＫ情報復号部１１、ＣＵ情報復号部１２、ＰＴ情報復号部１３、ＴＴ情報復号部（復号手段）１４、およびＣＵ画像生成部１５が含まれている。また、ＣＵ情報復号部１２にはＣＵ情報推定部３１が含まれ、ＰＴ情報復号部１３にはＰＴ情報推定部３２が含まれ、ＴＴ情報復号部１４にはＴＴ情報推定部（推定手段）３３が含まれている。
動画像復号装置１は、概略的に言えば、符号化データ＃１を復号することによって復号画像＃２を生成し、出力する装置である。また、動画像復号装置１は、その一部に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に採用されている技術、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術、およびその後継コーデックであるWorking Draft 1 of High-Efficiency Video Coding（ＨＥＶＣ ＷＤ１）に採用されている方式を用いている動画像復号装置である。
動画像復号装置１は、予測単位毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、出力するものである。
動画像復号装置１に入力された符号化データ＃１は、ＴＢＬＫ復号部１０のＴＢＬＫ情報復号部１１へ入力される。
（ＴＢＬＫ情報復号部１１）
ＴＢＬＫ情報復号部１１は、入力された符号化データ＃１から、ツリーブロックヘッダＴＢＬＫＨに含まれるツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および量子化パラメータ差分Δｑｐ（ＴＢＬＫＨ情報）を復号する。
ツリーブロック分割情報には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報がふくまれている。そして、復号したＴＢＬＫＨ情報および符号化単位情報ＣＵを含む分割情報＃１１をＣＵ情報復号部１２へ出力する。
（ＣＵ情報復号部１２）
ＣＵ情報復号部１２は、ＴＢＬＫ情報復号部１１から入力された分割情報＃１１から、ＣＵ情報ＣＵを復号して、ＣＵ復号情報＃２１、ＣＵ復号情報＃２２、ＣＵ復号情報＃２３を生成する。そして、ＣＵ復号情報＃２１をＰＴ情報復号部１３に、ＣＵ復号情報＃２２をＴＴ情報復号部１４に、ＣＵ復号情報＃２３をＣＵ画像生成部１５に入力する。
より具体的に説明すると、ＣＵ情報復号部１２は、ＣＵ情報ＣＵに含まれるスキップフラグＳＫＩＰ（skip_flag）、およびマージフラグＭＲＧ＿ＣＵ（cu_merge_flag）を復号する。そして、マージフラグＭＲＧ＿ＣＵの値が「１」の場合、さらに、ＣＵマージ推定フラグ（cu_merge_left_flag）とＣＵマージレベルフラグ（cu_merge_level）とを復号する。
ここで、ＣＵマージ推定フラグとは、値を推定するための参照先を示すフラグであり、ＣＵマージレベルフラグとは、マージの対象となる情報を決定するためのフラグである。
そして、ＣＵ情報復号部１２のＣＵ情報推定部３１は、スキップフラグＳＫＩＰ、マージフラグＭＲＧ＿ＣＵ、ＣＵマージ推定フラグ、ＣＵマージレベルフラグに基づいて、ＰＵ分割情報ＳＰ＿ＰＵの値、および予測タイプ情報ＰＴｙｐｅの値を復号または推定する。
より詳細には、ＣＵ情報推定部３１は、ＣＵマージ推定フラグ（cu_merge_left_flag）の値に応じて参照対象となるＣＵ（参照ＣＵ）を決定する。そして、参照ＣＵが、イントラ予測ＣＵである場合(すなわち、PredModeがMODE_INTRA)、参照ＣＵのイントラ分割フラグ（intra_split_flag）の値を、対象ＣＵのイントラ分割フラグの値と推定する。
また、参照ＣＵがインター予測ＣＵである場合（すなわち、PredModeがMODE_INTER）、参照ＣＵ内のＰＵであり、かつ、対象ＣＵと隣接する参照ＣＵとの境界の辺に隣接するＰＵの中でサイズが最小のＰＵに最も近いサイズとなるように、対象ＣＵのイントラ分割の値を設定する。
そして、ＣＵ情報復号部１２は、復号したスキップフラグＳＫＩＰの値、マージフラグＭＲＧ＿ＣＵの値（および、マージフラグＭＲＧ＿ＣＵの値が「１」の場合は、復号したＣＵマージ推定フラグ、ＣＵマージレベルフラグの値）、復号または推定したＰＵ分割情報ＳＰ＿ＰＵの値、同じく復号または推定した予測タイプ情報ＰＴｙｐｅの値を含むＣＵ復号情報＃２１をＰＴ情報復号部１３に出力する。
また、ＣＵ情報復号部１２は、復号したスキップフラグＳＫＩＰの値、マージフラグＭＲＧ＿ＣＵの値（および、マージフラグＭＲＧ＿ＣＵの値が「１」の場合は、復号したＣＵマージ推定フラグ、ＣＵマージレベルフラグの値）を含むＣＵ復号情報＃２２をＴＴ情報復号部１４に出力する。
また、ＣＵ情報復号部１２は、復号または推定したＰＵ分割情報ＳＰ＿ＰＵの値、および予測タイプ情報ＰＴｙｐｅの値を含むＣＵ復号情報＃２３をＣＵ画像生成部１５に出力する。
次に、ＣＵ情報復号部１２における処理について、図５、６を参照して説明する。図５は、ＣＵ情報復号部１２における処理の内容を示すシンタックステーブルである。また、図６は、ＣＵ情報復号部１２においてマージの対象を説明するための図であり、図６の（ａ）は、マージフラグおよびＣＵマージレベルフラグと復号対象との関係を示す図であり、図６の（ｂ）は、マージフラグおよびＣＵマージレベルフラグとマージ対象との関係を示す図である。
図５に示すように、ＣＵ情報復号部１２は、まず、符号化単位情報ＣＵに含まれるスキップフラグＳＫＩＰ（skip_flag）を復号する（ｓｔ５０１）。そして、スキップフラグＳＫＩＰの値が「１」であれば（ｓｔ５０２）、予測単位ＰＵにおける処理に入る（ｓｔ５０３）。
一方、スキップフラグＳＫＩＰの値が「１」でなければ、マージフラグＭＲＧ＿ＣＵ（cu_merge_flag）を復号する（ｓｔ５０４）。そして、マージフラグＭＲＧ＿ＣＵの値が「１」であれば、さらにＣＵマージ推定フラグ（cu_merge_left_flag）、ＣＵマージレベルフラグ（cu_merge_level）を復号する（ｓｔ５０５）。
次に、ＣＵ情報推定部３１は、予測タイプ情報ＰＴｙｐｅ（pred_mode）を復号または推定する（ｓｔ５０６）。そして、復号または推定した予測タイプ情報ＰＴｙｐｅが、イントラ予測を示すものである場合、イントラ分割フラグ（intra_split_flag）を復号または推定する（ｓｔ５０７）。
一方、復号または推定した予測タイプ情報ＰＴｙｐｅが、インター予測を示すものである場合、インター分割フラグ（inter_partitining_idc）を復号または推定する（ｓｔ５０８）。
そして、予測単位ＰＵにおける処理（prediction_unit、ｓｔ５０９）、変換単位ＴＵにおける処理（transform_tree、ｓｔ５１０）に入る。
次に、図６の（ａ）を参照して、復号および推定の対象となるフラグについて説明する。図６の（ａ）において、「○」は復号の対象となることを、「ｉｎｆ．」は推定値が用いられることを、「─」は不要であることをそれぞれ示している。
図６の（ａ）に示すように、マージフラグＭＲＧ＿ＣＵの値が「０」の場合は、ＣＵ単位で復号または推定の対象となる全てのフラグが復号される。また、マージフラグＭＲＧ＿ＣＵの値が「１」で、マージレベルフラグの値が「０」の場合は、pred_mode、prediction_unit、transform_treeの３つが復号され、intra_split_flag、inter_partitining_idcの２つが推定される。
また、マージフラグＭＲＧ＿ＣＵの値が「１」で、マージレベルフラグの値も「１」の場合は、prediction_unit、transform_treeの２つが復号され、pred_mode、intra_split_flag、inter_partitining_idcの３つが推定される。
また、マージフラグＭＲＧ＿ＣＵおよびＣＵマージレベルフラグとマージ対象との関係が、図６の（ｂ）に示すようになっていてもよい。すなわち、マージフラグＭＲＧ＿ＣＵの値が「１」で、ＣＵマージレベルフラグの値も「１」の場合は、予測単位（prediction_unit）および変換単位（transform_unit(tree)）の２つがマージ対象となってもよい。また、マージフラグＭＲＧ＿ＣＵの値が「１」で、ＣＵマージレベルフラグの値が「０」の場合は、予測単位（prediction_unit）のみがマージの対象となってもよい。
（ＰＴ情報復号部１３）
ＰＴ情報復号部１３は、ＣＵ情報復号部１２から入力されたＣＵ復号情報＃２１を復号して、ＰＴ復号情報＃３１を生成する。そして、生成したＰＴ復号情報＃３１をＣＵ画像生成部１５に入力する。
より具体的に説明すると、ＰＴ情報復号部１３は、ＰＴ情報ＰＴＩに含まれるマージフラグＭＲＧ＿ＰＵ（pu_merge_flag）を復号する。そして、マージフラグＭＲＧ＿ＰＵの値が「１」であれば、ＰＵマージ推定フラグ（pu_merge_left_flag）とＰＵマージレベルフラグ（pu_merge_level）を復号する。
ここで、ＰＵマージ推定フラグとは、値を推定するための参照先を示すフラグであり、ＰＵマージレベルフラグとは、マージの対象となる情報を決定するためのフラグである。
そして、ＰＴ情報復号部１３のＰＴ情報推定部３２は、マージフラグＭＲＧ＿ＣＵ、ＣＵマージ推定フラグ、ＣＵマージレベルフラグ、マージフラグＭＲＧ＿ＰＵ、ＰＵマージ推定フラグ、ＰＵマージレベルフラグに基づいて、イントラ予測モードＩＰＭ（prev_intra_luma_pred_flag、rem_intra_luma_pred_mode）の値、インター予測タイプＩＰＴ（inter_pred_idc）の値、動きベクトル推定方法ＭＶＰ（mvp_idx_lX）の値、動きベクトル残差ＭＶＤ（mvd_lX）の値、参照画像ＲＩ（ref_idx_lX）の値、重み予測係数（weighted_pred_param）の値を復号または推定する。
より詳細には、ＰＴ情報推定部３２は、ＰＵマージ推定フラグ（pu_merge_left_flag）の値に応じて参照対象となるＰＵ（参照ＰＵを）決定する。そして、参照ＰＵがイントラ予測ＣＵに属する場合、参照ＰＵのイントラ予測モード（intra_mode）の値を対象ＰＵのイントラ予測モードの値と推定する。
また、参照ＰＵがインター予測ＣＵに属する場合、既定のイントラ予測モード(例えばDC予測モード)を示す値を、対象ＰＵのイントラ予測モードの値に設定する。
ここで、イントラ予測モードは、符号化データの中では、イントラ予測モードと推定値との一致を示すフラグ（prev_intra_luma_pred_flag）と、イントラ予測モードの残差（rem_intra_luma_pred_mode）との組み合わせにより表現されている。上記のイントラ予測モードの推定では、イントラ予測モードが直接推定されてもよいし、prev_intra_luma_pred_flagとrem_intra_luma_pred_modeとを推定することにより間接的に推定されてもよい。
そして、ＰＴ情報復号部１３は、動きベクトル推定方法ＭＶＰと動きベクトル残差ＭＶＤとに基づき動きベクトルＭＶを生成する。そして、ＰＴ情報復号部１３は、イントラ予測モードＩＰＭ、インター予測タイプＩＰＴ、動きベクトルＭＶ、参照画像ＲＩ、重み予測係数を含むＰＴ復号情報＃３２をＣＵ画像生成部１５へ出力する。
次に、ＰＴ情報復号部１３における処理について、図７、８を参照して説明する。図７は、ＰＴ情報復号部１３における処理の内容を示すシンタックステーブルである。また、図８は、ＰＴ情報復号部１３においてマージの対象を説明するための図であり、図８の（ａ）は、マージフラグおよびＰＵマージレベルフラグと復号対象との関係を示す図であり、図８の（ｂ）、（ｃ）は、マージフラグおよびＰＵマージレベルフラグとマージ対象との関係を示す図である。
図７に示すように、ＰＴ情報復号部１３は、スキップフラグＳＫＩＰの値が「１」であると（ｓｔ７０１）、動きベクトル推定方法ＭＶＰ（mv_preditor()）を復号する（ｓｔ７０２）。なお、mv_preditor()は、mvp_idc_lXを上位概念化したものである。
一方、スキップフラグＳＫＩＰの値が「１」でなければ、ＰＴ情報復号部１３は、マージフラグＭＲＧ＿ＣＵを確認し、マージフラグＭＲＧ＿ＣＵの値が「１」であれば、マージフラグＭＲＧ＿ＰＵ、ＰＵマージ推定フラグの値を、マージフラグＭＲＧ＿ＣＵ、ＣＵマージ推定フラグの値と同じとする。また、予測タイプ情報ＰＴｙｐｅがインター予測であれば、ＰＵマージレベルフラグの値をＣＵマージレベルフラグの値と同じとする（ｓｔ７０３）。
また、マージフラグＭＲＧ＿ＣＵの値が「１」でなければ、マージフラグＭＲＧ＿ＰＵ（pu_merge_flag）を復号する。そして、マージフラグＭＲＧ＿ＰＵの値が「１」であれば、ＰＵマージ推定フラグ（pu_merge_left_flag）、ＰＵマージレベルフラグ（pu_merge_level）を復号する（ｓｔ７０４）。
次に、ＰＴ情報復号部１３は、予測タイプ情報ＰＴｙｐｅがイントラ予測であれば、イントラ予測モード（intra_mode）を復号または推定する（ｓｔ７０５）。
また、予測タイプ情報ＰＴｙｐｅがインター予測であれば、インター予測タイプＩＰＴ（inter_pred_idc）、動きベクトル推定方法ＭＶＰ（mv_predictor()）、重み予測係数（weighted_pred_param()）を復号または推定する（ｓｔ７０６）。
そして、ＰＴ情報復号部１３は、動きベクトル残差ＭＶＤ（mv_defference()）、参照画像ＲＩ（ref_pictre()）を復号または推定して（ｓｔ７０７）、処理を終了する。
なお、mv_difference()はmvd_lXの、reg_picture()はref_idx_lXの上位概念である。
次に、図８の（ａ）を参照して、復号および推定の対象となるフラグについて説明する。図８の（ａ）において、「○」は復号の対象となることを、「ｉｎｆ．」は推定値が用いられることを、「ｄｅｆ．」は既定値が用いられることを、「─」は不要であることをそれぞれ示している。
図８の（ａ）に示すように、マージフラグＭＲＧ＿ＰＵの値が「０」の場合は、ＰＵ単位で復号または推定の対象となる全てのフラグが復号される。
また、イントラ予測の場合、マージフラグＭＲＧ＿ＰＵの値が「１」のときは、merge_left_flagが復号され、prev_intra_luma_pred_flag、rem_intra_luma_pred_modeの２つが推定される。
また、インター予測の場合、マージフラグＭＲＧ＿ＰＵの値が「１」で、ＰＵマージレベルフラグの値が「０」のときは、merge_left_flag、inter_pred_idc、mvd_idx_lXの３つが復号され、mvd_lXは既定値が与えられ、ref_idx_lX、weighted_pred_paramの２つが推定される。
また、マージフラグＭＲＧ＿ＰＵの値が「１」で、ＰＵマージレベルフラグの値も「１」のときは、merge_left_flagが復号され、mvd_lXは既定値が与えられ、inter_pred_idc、mvd_idx_lX、ref_idx_lX、weighted_pred_paramの４つが推定される。
また、マージフラグＭＲＧ＿ＰＵおよびＰＵマージレベルフラグとマージ対象との関係が、図８の（ｂ）に示すようになっていてもよい。すなわち、マージフラグＭＲＧ＿ＰＵの値が「１」で、ＰＵマージレベルフラグの値も「１」の場合は、動き情報（動きベクトル推定方法（mvd_idx_lX）、動きベクトル残差（mvd_lX））、変換タイプ（transform_type）、変換係数（transform_coeff）の３つをマージ対象としてもよい。また、マージフラグＭＲＧ＿ＰＵの値が「１」で、ＰＵマージレベルフラグの値が「０」の場合は、動き情報のみをマージの対象としてもよい。
なお、図８の（ａ）や図８の（ｂ）に示したように、各マージレベルにおけるマージの対象を、異なるマージレベル間で包含関係とした場合、実装が容易になるという利点がある。しかしながら、そのような包含関係は必ずしも必須ではない。包含関係を用いないことにより、各レベルのマージ対象の組み合わせの自由度が向上し、符号量がより削減できる場合もある。
例えば、図８の（ｃ）に示すように、マージレベルが「２」の場合に、「動き情報」と「変換係数」とがマージの対象となり、マージレベルが「１」の場合に、「動き情報」がマージの対象となり、マージレベルが「０」の場合に「変換係数」がマージの対象となるような構成であってもよい。
上記のような構成によれば、強いエッジの領域が存在するような場合に対応できる。強いエッジが存在する領域では、予測残差にもエッジが残る場合があり、その場合は変換係数をマージしない方が好ましいためである。また、平坦な領域において、実際の物体の動きとは異なる動きベクトルを用いる方が予想残差が小さくなる場合にも対応できる。このような場合は、変換係数はマージしても、動き情報はマージしない方が好ましいためである。
（ＴＴ情報復号部１４）
ＴＴ情報復号部１４は、ＣＵ情報復号部１２から入力されたＣＵ復号情報＃２２を復号して、ＴＴ復号情報＃４１を生成する。そして、生成したＴＴ復号情報＃４１をＣＵ画像生成部１５へ入力する。
より具体的に説明すると、ＴＴ情報復号部１４は、ＴＴ情報ＴＴＩに含まれるマージフラグＭＲＧ＿ＴＵ（tu_merge_flag）を復号する。そして、マージフラグＭＲＧ＿ＴＵの値が「１」であれば、ＴＵマージ推定フラグ（tu_merge_left_flag）とＴＵマージレベルフラグ（tu_merge_level）とを復号する。
ここで、ＴＵマージ推定フラグとは、値を推定するための参照先を示すフラグであり、ＴＵマージレベルフラグとは、マージの対象となる情報を決定するためのフラグである。
そして、ＴＴ情報復号部１４のＴＴ情報推定部３３は、マージフラグＭＲＧ＿ＣＵ、ＣＵマージ推定フラグ、ＣＵマージレベルフラグ、マージフラグＭＲＧ＿ＴＵ、ＴＵマージ推定フラグ、ＴＵマージレベルフラグに基づいて変換サイズＴＴＳ（split_transform_flag）、空間領域の変換係数の存在有無ＣＢＰ（cbp_luma/cb/cr, coded_block_flag_luma/cb/cr）、周波数領域の変換係数の存在有無ＣＴＣ（coded_trans_coeff_pattern）を復号または推定する。
より詳細には、ＴＴ情報推定部３３は、ＴＵマージ推定フラグ（tu_merge_left_flag）の値に応じて参照方向を設定する。そして、参照方向に沿って隣接する２つのＴＵが同一の変換サイズを有するように、対象ＴＴの変換サイズＴＴＳ(split_transform_flag)の値を設定する。
また、空間領域における変換係数の存在有無ＣＢＰについては、ＴＴ情報復号部１４は、ＴＵマージ推定フラグ（tu_merge_left_flag）の値に応じて参照方向を設定し、参照方向に沿って隣接する2つのＴＵにおいて変換係数の存在有無が一致するように、cbp_luma/cb/cr、およびcoded_block_flag_luma/cb/crの値を設定する。
なお、coded_block_flag_luma/cb/crは、分割が適用されないノード、すなわち各ＴＵで符号化され、輝度または色差の変換係数のＴＵ内への存在有無を示すフラグである。一方、cbp_luma/cb/crは、分割が適用される各ノード、すなわちＴＵを除くノードで符号化され、分割後の各領域への輝度または色差の変換係数の存在有無を示すフラグをまとめた情報である。coded_block_flag_luma/cb/crは、ＴＵ毎に推定した空間領域の変換係数の存在有無ＣＢＰより直接導出できる。cbp_luma/cb/crはＴＵ毎に推定した空間領域の変換係数の存在有無ＣＢＰに基づき間接的に導出できる。
また、周波数領域における変換係数の存在有無ＣＴＣについては、ＴＴ情報復号部１４は、まず、ＴＵマージ推定フラグ（tu_merge_left_flag）の値に応じて参照ＴＵを設定する。そして、参照ＴＵと対象ＴＵとのサイズが異なる場合、全ての周波数成分に対応する変換係数を復号することを示す情報を対象ＴＵに設定する。
また、次のような処理を行ってもよい。周波数領域を既定の単位(例えば田の字型に4等分)に分割して、各単位毎に次の処理を適用する。（１）参照ＴＵの周波数領域における当該単位内に変換係数が存在する場合は、対象ＴＵの周波数領域における当該単位内にある変換係数を復号することを示す情報を対象TUに設定する。（２）これ以外の場合、対象ＴＵの周波数領域における当該単位内にある変換係数を復号しないことを示す情報を対象ＴＵに設定する。
なお、参照ＴＵの周波数領域における当該単位内に変換係数が存在するか否かの判定は、ＣＴＣを参照して行うことができる。
また、より具体的には以下の処理を行ってもよい。
（１）対象周波数領域のサイズが16x16以上の場合、すなわち、
max( log2TrafoWidth, log2TrafoHeight ) > 3
である場合、当該対象周波数領域を分割して得られる部分単位CG(Coeff Group)毎に変換係数の存在有無を復号または推定する。
（２） 推定と復号は次の条件で選択する。
（ａ）対象部分単位に、ＤＣが含まれる場合、または、（ｂ）対象部分単位が対象周波数領域において処理順で最後の部分単位である場合、または、（ｃ）対象部分単位の右側に隣接する部分単位及び対象部分単位の下側に隣接する部分単位の双方に非ゼロ変換係数が含まれている場合、すなわち、
(i = = numLastSubset) | | (rightCGFlag + bottomCGFlag = = 2) | | (i = = 0)
を満たしている場合には、ＣＴＣのうち、対象部分単位について非ゼロ変換係数が存在すると推定し、それ以外の場合には、ＣＴＣのうち、対象部分単位についての非ゼロ変換係数存否情報を復号する。
そして、ＴＴ情報復号部１４は、変換サイズＴＴＳ、変換係数の存在有無の情報（ＴＴＣ、ＣＢＰ）に基づき復号または推定された変換係数を含むＴＴ復号情報＃４１をＣＵ画像生成部１５へ出力する。
次に、ＴＴ情報復号部１４における処理について、図９〜図１２を参照して説明する。
図９〜１１は、ＴＴ情報復号部１４における処理の内容を示すシンタックステーブルである。また、図１２は、ＴＴ情報復号部１４においてマージまたはスキップの対象を説明するための図であり、図１２の（ａ）は、マージフラグおよびＰＵマージレベルフラグと復号対象との関係を示す図であり、図１２の（ｂ）は、スキップフラグ（TU_skip_flag）およびスキップレベルフラグ（TU_skip_level）とスキップ対象との関係を示す図である。
図９に示すように、ＴＴ情報復号部１４は、マージフラグＭＲＧ＿ＣＵの値が「１」の場合、マージフラグＭＲＧ＿ＴＵおよびＴＵマージ推定フラグの値を、マージフラグＭＲＧ＿ＣＵおよびＣＵマージ推定フラグの値とする。また、予測タイプ情報ＰＴｙｐｅがインター予測であれば、ＴＵマージレベルフラグの値をＣＵマージレベルフラグの値と同じとする（ｓｔ９０１）。
また、マージフラグＭＲＧ＿ＣＵの値が「１」でなければ、マージフラグＭＲＧ＿ＴＵ（tu_merge_flag）を復号する。そして、マージフラグＭＲＧ＿ＴＵの値が「１」であれば、ＴＵマージ推定フラグ（tu_merge_left_flag）、ＴＵマージレベルフラグ（tu_merge_level）を復号する（ｓｔ９０２）。
次に、ＴＴ情報復号部１４は、変換タイプＴＴＴｙｐｅ（transform_type）を復号し（ｓｔ９０３）、符号化モード情報によって、ＣＡＢＡＣの場合（ｓｔ９０４）と、ＬＣＥＣの場合（ｓｔ９０５）とに分かれる。
図１０の（ａ）に、符号化モード情報がＣＡＢＡＣを示す場合のシンタックステーブルを示す。図１０の（ａ）に示すように、ＴＴ情報復号部１４は、イントラ予測の場合、空間領域毎の変換係数を備えるか否かを示す変換係数存否情報ＣＶ（no_resudual_data_flag）を復号する（ｓｔ１００１）。そして、変換サイズＴＴＳを復号または推定し（ｓｔ１００２）、また、空間領域の変換係数の存在有無ＣＢＰ、周波数領域の変換係数の存在有無ＣＴＣを復号または推定する（ｓｔ１００３）。
なお、周波数領域の変換係数の存在有無ＣＴＣ（coded_trans_coeff_pattern）は、図１０の（ｂ）に示すようなブロックがあり、各ブロックの変換係数の存在有無がｆ０〜ｆ３で表現されている場合に、coded_trans_coeff_pattern＝ｆ０＋（ｆ１＜＜１）＋（ｆ２＜＜２）＋（ｆ３＜＜３）となるものである。
図１１に、符号化モード情報がＬＣＥＣの場合のシンタックステーブルを示す。図１１に示すように、符号化モード情報がＬＣＥＣの場合、ＴＴ情報復号部１４は、輝度、色差コンポーネント毎の変換係数を備えるか否かを示す変換係数存否情報ＬＣ（cbp_yuv_root）を復号する（ｓｔ１１０１）。そして、空間領域の変換係数の存在有無ＣＢＰを復号または推定し（ｓｔ１１０２）、周波数領域の変換係数の存在有無ＣＴＣを復号または推定する（ｓｔ１１０３）。
次に、図１２の（ａ）を参照して、復号および推定の対象となるフラグについて説明する。なお、図１２の（ａ）において、「○」は復号の対象となることを、「ｉｎｆ．」は推定値が用いられることを、「ｄｅｆ．」は既定値が用いられることを、「─」は不要であることをそれぞれ示している。
図１２の（ａ）に示すように、マージフラグＭＲＧ＿ＴＵの値が「０」の場合は、split_transform_flag、transform_type、cbp_luma、coded_block_flag_luma、cbp_cb/cr、coded_block_flag_cb/cr、transform_coeffの７つが復号される。また、マージフラグＭＲＧ＿ＴＵの値が「１」で、ＴＵマージレベルフラグの値が「０」のときは、split_transform_flag、tu_merge_left_flag、cbp_luma、 coded_block_flag_luma、transform_coeffの５つが復号され、transform_type、cbp_cb/cr、 coded_block_flag_cb/cr、の３つが推定される。
また、マージフラグＭＲＧ＿ＴＵの値が「１」で、ＴＵマージレベルフラグの値も「１」のときは、split_transform_flag、tu_merge_left_flag、cbp_luma、 coded_block_flag_lumaの４つが復号され、transform_coeffの一部が復号され、transform_type、cbp_cb/cr、 coded_block_flag_cb/cr、coded_trans_coeff_patternの４つが推定される。
また、マージフラグＭＲＧ＿ＴＵの値が「１」で、ＴＵマージレベルフラグの値が「２」のときは、tu_merge_left_flagの１つが復号され、split_transform_flag、transform_type、cbp_luma、 coded_block_flag_luma、cbp_cb/cr、 coded_block_flag_cb/crの６つが推定され、transform_coeffが既定値となる。
また、図１２の（ｂ）に示すように、スキップフラグ、スキップレベルとスキップの対象とを決定してもよい。すなわち、スキップフラグが「１」でスキップレベルが「２」の場合、スキップの対象は変換係数（全係数）とし、スキップフラグが「１」でスキップレベルが「１」の場合、スキップの対象は変換係数（非ＤＣ成分）とし、スキップフラグが「１」でスキップレベルが「０」の場合、スキップの対象は変換係数（高周波成分）としてもよい。
以上のように、本実施の形態では、周波数領域の変換係数の存在有無（coded_trans_coeff_pattern）をマージすることが可能である。周波数領域の変換係数は、空間相間があるので、上記の構成により、符号化データ＃１の符号量を削減しつつ、質の高い復号画像＃２を復号することが可能となる。
（ＣＵ画像生成部１５）
ＣＵ画像生成部１５は、ＣＵ情報復号部１２から入力されたＣＵ復号情報＃２３、ＰＴ情報復号部１３から入力されたＰＴ復号情報＃３１、ＴＴ情報復号部１４から入力されたＴＴ復号情報＃４１を用いて、ＣＵ画像を生成する。そして、生成したＣＵ復号画像＃５１をＴＢＬＫ画像生成部１６へ出力する。
より詳細には、ＣＵ画像生成部１５は、
ＰＴ復号情報＃３１に含まれるＰＵ分割ＳＰ＿ＰＵと、予測タイプ情報ＰＴｙｐｅが示す予測モードに基づき予測画像を生成する。具体的には、予測モードがイントラ予測の場合は、イントラ予測モードＩＰＭ、およびフレームメモリ２１から入力された復号画像Ｐ´に基づき予測画像を生成し、予測モードがインター予測の場合は、インター予測タイプＩＰＴ、動きベクトルＭＶ、参照画像ＲＩ、重み予測係数、および復号画像Ｐ´に基づき予測画像を生成する。
そして、ＴＴ復号情報＃４１に含まれる変換サイズＴＴＳ、変換係数に基づき予測残差を生成する。最後に、生成した予測画像と予測残差とを加算してＣＵ復号画像＃５１を生成する。
（ＴＢＬＫ画像生成部１６）
ＴＢＬＫ画像生成部１６は、ＣＵ画像生成部１５から入力されたＣＵ復号画像＃５１を用いて復号画像＃２を生成し、出力する。
（フレームメモリ２１）
フレームメモリ２１には、復号画像＃２が記録される。フレームメモリ２１には、対象ＴＢＬＫを復号する時点において、当該対象ＴＢＬＫよりも先に復号された全てのＴＢＬＫ（例えば、ラスタスキャン順で先行する全てのＴＢＬＫ）に対応する復号画像が記録されている。
（マージの例）
次に、図１３、図１４を参照して、マージされる例について説明する。図１３はＣＵ単位（ＣＵ情報ＣＵ、ＰＴ情報ＰＴＩ）において、マージされる場合を説明するための図である。また、図１４は、ＴＵ単位（ＴＴＩ情報ＴＴＩ）において、マージされる場合を説明するための図である。
図１３には、ＣＵ１３０１、ＣＵ１３０２、ＣＵ１３０１´、ＣＵ１３０２´の４つのＣＵが示されている。そして、ＣＵ１３０１では、マージフラグＭＲＧ＿ＣＵ（cu_merge_flag）が「０」で、ＰＵ分割情報ＳＰ＿ＰＵ（intra_split_flag）が「０」、イントラ予測モードＩＰＭが「ＤＣ予測」と仮定する。また、ＣＵ１３０２では、マージフラグＭＲＧ＿ＣＵ（cu_merge_flag）が「０」で、ＰＵ分割情報ＳＰ＿ＰＵ（intra_split_flag）が「１」、イントラ予測モードＩＰＭが「水平予測」と仮定する。
ＣＵ１３０１では、ＰＵ分割情報ＳＰ＿ＰＵ（intra_split_flag）が「０」なので、ＰＵは、ＣＵから分割されず同じ大きさとなっている。一方、ＣＵ１３０２では、ＰＵ分割情報ＳＰ＿ＰＵ（intra_split_flag）が「１」なので、ＰＵは、ＣＵから四分木分割された状態となっている。
そして、ＣＵ１３０１´において、マージフラグＭＲＧ＿ＣＵ（cu_merge_flag）が「１」、ＣＵマージ推定フラグ（cu_merge_left_gflag）が「１」とすると、ＣＵ１３０１´では、ＰＵ分割情報ＳＰ＿ＰＵ（intra_split_flag）の値を左方向に接しているＣＵから推定し「０」とする。また、イントラ予測モードＩＰＭも左方向に接しているＣＵから推定し「ＤＣ予測」とする。よって、ＣＵ１３０１´では、ＣＵ１３０１と同様にＰＵが分割される。
また、ＣＵ１３０２´において、マージフラグＭＲＧ＿ＣＵ（cu_merge_flag）が「１」、ＣＵマージ推定フラグ（cu_merge_left_gflag）が「１」とすると、ＣＵ１３０１´では、ＰＵ分割情報ＳＰ＿ＰＵ（intra_split_flag）の値を左方向に接しているＣＵから推定し「１」とする。また、イントラ予測モードＩＰＭも左方向に接しているＣＵから推定し「水平予測」とする。よって、ＣＵ１３０２´では、ＣＵ１３０２と同様に、ＰＵがＣＵから四分木分割される。
なお、マージの対象は、方向予測／ＤＣ予測を選択する情報（prev_intra_luma_pred_flag、rem_intra_luma_pred_flag）に限られず、エッジベース予測の適用有無を示す情報、ｐｌａｎａｒ予測の適用有無を示す情報、その他のイントラ予測方法の適用有無を示す情報、予測画像生成に用いるパラメータ等も可能である。ここで、エッジベース予測とは、隣接領域の復号画像の画素値やイントラ予測モードに基づき推定されたエッジ方向を利用する予測であり、ｐｌａｎａｒ予測とは、ＰＵ内の右下画素値の推定値とＰＵ隣接領域の復号画像の画素値に基づく内挿を利用する予測である。
また、ＰＵ分割情報ＳＰ＿ＰＵに限られず、ツリーブロック分割情報ＳＰ＿ＴＢＬＫ（split_coding_unit_flag）もマージの対象となりうる。
次に、ＴＵ単位でマージする場合について説明する。図１４には、ＣＵ１４０１、ＣＵ１４０１´の２つのＣＵが示されている。そして、ＣＵ１４０１では、マージフラグＭＲＧ＿ＴＵ（tu_merge_flag）が「０」、変換サイズＴＴＳが「有」、空間領域の変換係数の存在有無ＣＢＰが「有」、変換係数ＴＴＣが「全周波数成分」となっていると仮定する。
そして、ＣＵ１４０１´において、マージフラグＭＲＧ＿ＴＵ（tu_merge_flag）の値が「１」、ＴＵマージ推定フラグ（tu_merge_left_flag）の値が「１」の場合、ＣＵ１４０１のＴＴ情報ＴＴＩについては、左方向に接しているＣＵから値を推定する。よって、ＣＵ１４０１´では、変換サイズＴＴＳ、空間領域の変換係数の存在有無ＣＢＰを、ＣＵ１４０１からコピーして同じ値となる。
また、変換係数ＴＴＣについては、すべてをコピーしてもよいし、一部のみコピーしてもよい。たとえば、ＣＵ１４０１に属するＰＵ１４１１において、画素１４２０ａ〜ｄにのみ非ゼロの変換係数が存在しているような場合、当該変換係数をコピーするＣＵ１４０１´に属するＰＵ１４１１´では、非ゼロ変換係数を含む領域１４２１のみ、変換係数をコピーしてもよい。
なお、マージの対象は、変換サイズＴＴＳ（split_transform_flag）、空間領域毎の変換係数の存在有無(no_residual_data_flag, cbp_luma/cb/cr, coded_block_flag_luma/cb/cr)だけでなく、輝度/色差コンポーネント毎の変換係数の存在有無(cbp_yuv_root)、特定周波数成分の変換係数存在有無もなりうる。
以上のように、本実施の形態では、イントラ予測の関する情報（予測モードＰＴｙｐｅ（pred_mode）、イントラ予測モードＩＰＴ（prev_intra_luma_pred_flag、rem_intra_luma_pred_mode））をマージすることが可能である。イントラ予測に関する情報は、空間相間があるので、上記の構成により、符号化データ＃１の符号量を削減しつつ、質の高い復号画像＃２を復号することが可能となる。
また、本実施の形態では、重み予測係数（weighted_prede_param）をマージすることが可能である。重み予測係数は、空間相間があるので、上記の構成により、符号化データ＃１の符号量を削減しつつ、質の高い復号画像＃２を復号することが可能となる。
また、本実施の形態では、変換サイズＴＴＳ（split_transform_type）、変換タイプＴＴＴｙｐｅ（transform_type）といった変換情報をマージすることが可能である。変換情報は、空間相間があるので、上記の構成により、符号化データ＃１の符号量を削減しつつ、質の高い復号画像＃２を復号することが可能となる。
また、本実施の形態では、空間領域の変換係数の存在の有無（no_residual_data_flag、cbp_luma/cb/cr、coded_block_flag_luma/cb/cr）をマージすることが可能である。空間領域の変換係数は、空間相間があるので、上記の構成により、符号化データ＃１の符号量を削減しつつ、質の高い復号画像＃２を復号することが可能となる。
（動画像符号化装置２）
次に、図１５を参照して、動画像符号化装置（画像復号装置）２について説明する。なお、既に説明した部分については、同じ符号を付し、その説明を省略する。動画像符号化装置２は、概略的に言えば、入力画像＃１００を符号化することによって符号化データ＃１を生成し、出力する装置である。また、動画像符号化装置２は、その一部に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に採用されている技術、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術、および、その後継コーデックであるＨＥＶＣ ＷＤ１に採用されている方式を用いている動画像符号化装置である。
図１５は、動画像符号化装置２の要部構成を示すブロック図である。図１５に示すように、動画像符号化装置２は、ＴＢＬＫ設定部５１、ＴＢＬＫ符号化部（符号化手段）５２、ＴＢＬＫ復号部１０、フレームメモリ５４を含む構成である。
ＴＢＬＫ設定部５１は、入力画像＃１００に基づいて、ＴＢＬＫの構成を設定する。具体的には、対象スライスに属するＴＢＬＫのサイズ、形状および対象スライス内での位置、各ＴＢＬＫに属するＣＵのサイズ、形状および対象ＴＢＬＫ内での位置等を設定する。そして、設定した情報である設定情報＃６１をＴＢＬＫ符号化部５２へ出力する。
ＴＢＬＫ符号化部５２は、ＴＢＬＫ設定部５１から入力された設定情報＃６１に基づいて、入力画像＃１００の符号化を行う。より詳細には、ＴＢＬＫ符号化部５２は、設定情報＃６１に基づいて、ツリーブロックＴＢＬＫごとに、符号化単位ＣＵ、予測単位ＰＵ、変換単位ＴＵに分割する。そして、フレームメモリ５４に格納されている復号画像＃６３を用いて予測単位ＰＵごとに予測画像を生成し、元画像と予測画像との差分である予測残差を変換単位ＴＵごとに変換した変換係数、および変換係数以外のサイド情報を符号化した符号化データ＃１を生成して、出力する。
ＴＢＬＫ復号部１０は、動画像復号装置１のＴＢＬＫ復号部１０と同様であるので、ここでは説明を省略する。
フレームメモリ５４は、入力された復号画像＃６２が記録される。対象ＴＢＬＫを符号化する時点では、当該対象ＴＢＬＫよりもラスタスキャン順で先行する全てのＴＢＬＫに対応する復号画像がフレームメモリ５４に記録されている。
（付記事項１）
なお、上述した実施の形態では、マージの際に参照するＣＵを、対象ＣＵの左辺に接しているＣＵとしたが、これに限られるものではない。例えば、対象ＣＵの上辺に接してるＣＵであってもよいし、対象ＣＵとは接していないが、近傍に存在するＣＵであってもよい。また、前フレームに属するＣＵであってもよい。
（付記事項２）
また、上述した実施の形態では、マージフラグとマージレベルフラグとが同じ情報単位で伝送される場合について記載したが、これに限られるものではない。例えば、マージフラグＭＲＧ＿ＰＵ（pu_merge_flag）をＣＵ情報ＣＵ内で伝送し、ＰＵマージレベルフラグ（pu_merge_level_flag）をＰＴ情報ＰＴＩ内で伝送してもよい。また、ＰＵマージレベルフラグ（pu_merge_level_flag）をスライスＳ内で伝送し、マージフラグＭＲＧ＿ＰＵ（pu_merge_flag）をＰＴ情報ＰＴＩ内で伝送してもよい。
これにより、階層を変えて符号化することができるので、予測残差を除く情報であるサイド情報を削減することができる。
（付記事項３）
また、復号履歴を活用してマージを行う構成であってもよい。すなわち、復号履歴を活用する適応マージモードを設け、復号しながら隣接領域のフラグ（syntax）間の関連性を計測する。そして、関連性が閾値を超えるフラグをマージの対象としてもよい。
具体的には、まず、適応マージモードによるＰＵ単位のマージ対象となり得るフラグ（syntax）としてsyntax１〜syntaxＭを定義する。
そして、syntaxｋ（1≦ｋ≦Ｍ）について、relV(ｋ)を０に設定する。relV(k)は、上下隣接ブロック間のsyntaxの関連性を強さ示すものである。また、relH(k)を０に設定する。relH(k)は、左右隣接ブロック間のsyntaxの関連性の強さ示すものである。また、cnt(k)を０に設定する。
そして、ＰＴ情報ＰＴＩ復号時に適応マージモードが選択されている場合、以下の条件を満たすフラグをマージにより推定する。
merge_k_flag = (relV(k) / cnt(k) > Th(k) || relH(k) / cnt(k) > Th(k)) ? 1 : 0
マージの際に、参照するＰＵの位置はrelV(k)>relH(k)ならば上側、それ以外なら左側とする（マージ対象の位置を示す情報は復号しない）。また、条件を満たさない場合は対応するフラグを復号する。
最後に、ＰＵ復号、ｋ（1≦ｋ≦Ｍ）について、以下の処理を実行する。
（１）syntaxｋが対象ＰＵと上側隣接ＰＵで一致する場合: relV(k)+=1
（２）syntaxｋが対象ＰＵと左側隣接ＰＵで一致する場合: relH(k)+=1
（３）cnt(k)+=1
（付記事項４）
また、マージする対象をヘッダで送ってもよい。これは、例えば、対象を明示的に伝送してもよいし、既定の組み合わせから選択するものであってもよいし、特定のレベルに対する対象のみ伝送するものであってもよい。
（付記事項５）
マージレベルについては、対象ＣＵ、ＰＵ、ＴＵのサイズが既定のサイズよりも大きい場合に伝送するものであってもよい。
（付記事項６）
また、上述した実施形態では、周波数領域の変換係数の存在有無（以下ではＣＴＣと記載）について図１０の（ｂ）に示すような周波数領域を分割した各部分周波数領域への変換係数存在有無を示すフラグの集合としているが、以下の表現も可能である。図１６を参照して説明する。図１６は、周波数領域の変換係数の存在有無ＣＴＣを表現するための説明図であり、図１６の（ａ）は非正方領域に分割してＣＴＣを表現する場合を示す図であり、図１６の（ｂ）はパラメータを用いてＣＴＣを表現する場合を示す図であり、図１６の（ｃ）はスキャン順を用いてＣＴＣを表現する場合を示す図である。
（Ａ）非正方形領域への周波数領域の分割による表現
周波数領域を非正方形の部分周波数領域に分割して領域毎に変換係数の存在有無を示すフラグを設定し、当該フラグを集めた情報をＣＴＣとしてもよい。例えば、図１６の（ａ）に示すように、ＤＣ部、水平エッジ部（水平周波数成分が大きく、垂直周波数成分が小さい領域）、垂直エッジ部（垂直周波数成分が大きく、水平周波数成分が小さい領域）、高周波成分（垂直・水平周波数成分がともに大きい領域）に、周波数領域を分割し、それぞれの領域における変換係数の存在有無を、フラグｆＤＣ、ｆＨ、ｆＶ、ｆＨＦに対応付け、これをＣＴＣとする。このようなＣＴＣの表現を適用した場合、マージ処理における推定は、参照されるＴＵにおける対応する部分周波数領域における変換係数有無を示すフラグをコピーすることで実現できる。また、分割される周波数領域を正方形に制限しないことにより、より柔軟に変換係数の存在有無のフラグを設定することが可能となる。
（Ｂ）パラメータ表現
周波数領域内で変換係数が存在し得る領域を、周波数に係るパラメータにより表現することもできる。図１６の（ｂ）に示すように、パラメータｋを定義し、水平周波数成分が０以上ｋ以下であり、かつ、垂直周波数成分が０以上ｋ以下である部分周波数領域内に変換係数を含むようなｋの値をＣＴＣに設定する。例えば、ブロックサイズが８×８画素である場合、ｋ＝０はＤＣ成分にのみ変換係数が存在し得ることを意味し、ｋ＝７の場合は全ての周波数成分に変換係数が存在し得ることを意味する。このようなＣＴＣの表現を適用した場合、マージ処理における対象ＴＵにおけるＣＴＣの値ｋの推定は、参照ＴＵにおけるＣＴＣの値をｋ´、対象ＴＵに対する参照ＴＵのサイズの比をｒとした場合、ｋ＝Ｉｎｔ（ｋ´÷ｒ）により導出できる。ここで、Ｉｎｔ（）は引数の整数部分を取りだす関数である。パラメータによる表現により、単純に周波数領域を分割する場合と較べてより細かい精度で変換係数の存在有無を表現することが可能となる。
（Ｃ）スキャン順を利用した表現
周波数領域内で変換係数が存在し得る領域を、変換係数のスキャン順で最後に変換係数が発生する位置（last_coeff）の取り得る範囲により表現することができる。last_coeffは図１６の（ｃ）のように、周波数領域において、矢印で示す順に変換係数がスキャンされたときに、最後に変換係数が発生した位置と定義される。ＴＵのサイズが８×８画素である場合は０〜６３の値を取る。変換係数は、スキャン順で０〜last_coeffの位置にのみ存在する可能性があるため、last_coeffの範囲を決めることで、変換係数の存在し得る領域を定めることができる。マージ処理における対象ＴＵにおけるlast_coeffの取り得る範囲は、参照ＴＵにおけるlast_coeffの値をｍ´とすると、０〜ｍｉｎ（ｍ´＋α，ｂ−１）と推定できる。ここで、αはlast_coeffの位置の変化を示す値であり、例えばＴＵの幅を設定する。また、ｂはＴＵに含まれる画素数である。この方法によれば、スキャン順を変更することなく周波数領域内での変換係数の存在有無を考慮した変換係数の符号化が行えるため、実装が容易となる。
本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
（応用例）
上述した動画像復号装置１および動画像符号化装置２は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
まず、上述した動画像復号装置１および動画像符号化装置２を、動画像の送信及び受信に利用できることを、図１７を参照して説明する。
図１７（ａ）は、動画像符号化装置２を搭載した送信装置Ａの構成を示したブロック図である。図１７（ａ）に示すように、送信装置Ａは、動画像を符号化することによって符号化データを得る符号化部Ａ１と、符号化部Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部Ａ２と、変調部Ａ２が得た変調信号を送信する送信部Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部Ａ１として利用される。
送信装置Ａは、符号化部Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＡ４、動画像を記録した記録媒体Ａ５、動画像を外部から入力するための入力端子Ａ６、および画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図１７（ａ）においては、これら全てを送信装置Ａが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体Ａ５と符号化部Ａ１との間に、記録媒体Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
図１７（ｂ）は、動画像復号装置１を搭載した受信装置Ｂの構成を示したブロック図である。図１７（ｂ）に示すように、受信装置Ｂは、変調信号を受信する受信部Ｂ１と、受信部Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部Ｂ２と、復調部Ｂ２が得た符号化データを復号することによって動画像を得る復号部Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部Ｂ３として利用される。
受信装置Ｂは、復号部Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＢ４、動画像を記録するための記録媒体Ｂ５、及び、動画像を外部に出力するための出力端子Ｂ６を更に備えていてもよい。図１７（ｂ）においては、これら全てを受信装置Ｂが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部Ｂ３と記録媒体Ｂ５との間に、復号部Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置Ａ／受信装置Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置Ａ及び受信装置Ｂの双方として機能する。
次に、上述した動画像復号装置１および動画像符号化装置２を、動画像の記録及び再生に利用できることを、図１８を参照して説明する。
図１８（ａ）は、上述した動画像復号装置１を搭載した記録装置Ｃの構成を示したブロック図である。図１８（ａ）に示すように、記録装置Ｃは、動画像を符号化することによって符号化データを得る符号化部Ｃ１と、符号化部Ｃ１が得た符号化データを記録媒体Ｍに書き込む書込部Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部Ｃ１として利用される。
なお、記録媒体Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、記録装置Ｃは、符号化部Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＣ３、動画像を外部から入力するための入力端子Ｃ４、動画像を受信するための受信部Ｃ５、および、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図１８（ａ）においては、これら全てを記録装置Ｃが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部Ｃ５と符号化部Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
このような記録装置Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤ（Hard Disk）レコーダなどが挙げられる（この場合、入力端子Ｃ４又は受信部Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＣ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部Ｃ５または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＣ３又は受信部Ｃ５が動画像の主な供給源となる）なども、このような記録装置Ｃの一例である。
図１８（ｂ）は、上述した動画像復号装置１を搭載した再生装置Ｄの構成を示したブロックである。図１８（ｂ）に示すように、再生装置Ｄは、記録媒体Ｍに書き込まれた符号化データを読み出す読出部Ｄ１と、読出部Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部Ｄ２として利用される。
なお、記録媒体Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、再生装置Ｄは、復号部Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＤ３、動画像を外部に出力するための出力端子Ｄ４、及び、動画像を送信する送信部Ｄ５を更に備えていてもよい。図１８（ｂ）においては、これら全てを再生装置Ｄが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部Ｄ２と送信部Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
このような再生装置Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＤ３が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子Ｄ４又は送信部Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる）、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる)なども、このような再生装置Ｄの一例である。
（ソフトウェアによる構成）
最後に、動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現していてもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。
後者の場合、動画像復号装置１および動画像符号化装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置１および動画像符号化装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の動画像復号装置１および動画像符号化装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
また、動画像復号装置１および動画像符号化装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
（付記事項７）
本発明は以下のように記載することもできる。
本発明に係る画像復号装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データを復号することにより画像を復号する画像復号装置であって、上記符号化データに、上記量子化変換係数に周波数領域の変換係数が含まれるか否か示す存否情報をマージまたはスキップするマージ／スキップ情報が含まれている場合、上記存否情報を復号しない復号手段と、上記符号化データに、上記存否情報をマージまたはスキップするマージ／スキップ情報が含まれている場合、該存否情報を推定する推定手段とを備え、上記復号手段は、上記推定手段が推定した存否情報を用いて上記符号化量子化変換係数を復号する。
ここで、マージとは、復号に必要な所定の情報を省略し、既定または指定された位置にある情報に基づき推定されることをいう。また、スキップとは、復号に必要な所定の情報を省略し、推定値または既定値を代わりに用いることをいう。
上記の構成によれば、周波数領域の変換係数の存在の有無を示す情報を伝送せずに、マージ／スキップ情報のみを伝送することで復号を行うことができる。
よって、従来であれば、伝送することが必要であった周波数領域の変換係数の存在の有無を示す情報を伝送せずに済むので、符号化データの符号量を従来よりも削減することが可能となる。
本発明に係る画像復号装置では、上記存否情報とは、上記量子化変換係数における周波数成分の直流成分を除く成分に非ゼロ変換係数が含まれているか否かを示す情報であってもよい。
上記の構成によれば、量子化変換係数における周波数成分の直流成分を除く成分に非ゼロ変換係数が含まれているか否かを示す情報を伝送せずに、マージ／スキップ情報のみを伝送することで復号を行うことができる。
直流成分を除く成分に非ゼロ変換係数が含まれているか否かは、非常に高い空間相関をもっており、的確に推定できる可能性が高い。よって、符号化データの符号量を削減しつつ、質の高い復号画像を生成することができる。
本発明に係る画像復号装置では、上記存否情報とは、上記量子化変換係数における周波数成分の高周波成分に非ゼロ変換係数が含まれているか否かを示す情報であってもよい。
上記の構成によれば、量子化変換係数における周波数成分の高周波成分に非ゼロ変換係数が含まれているか否かを示す情報を伝送せずに、マージ／スキップ情報のみを伝送することで復号を行うことができる。
周波数成分の高周波成分に非ゼロ変換係数が含まれているか否かは、非常に高い空間相関をもっており、的確に推定できる可能性が高い。よって、符号化データの符号量を削減しつつ、質の高い復号画像を生成することができる。
本発明に係る画像復号装置では、上記符号化データには、マージまたはスキップの対象となる情報を選択するためのマージ／スキップレベル情報が含まれていてもよい。
上記の構成によれば、マージ／スキップレベルに応じて、マージまたはスキップの対象となる情報を決定することができる。よって、情報ごとにマージまたはスキップをするか否かを決定することができるので、局所的特性に合わせてマージまたはスキップの対象を決定することができる。
本発明に係る画像復号装置では、上記マージ／スキップレベル情報は、レベルに応じて、マージまたはスキップの対象となる情報が包含関係となっていてもよい。
上記の構成によれば、レベルに応じて、マージまたはスキップの対象となる情報が包含関係となっているので、容易に実装することが可能となる。また、符号化装置で符号化データを生成するときの処理を共通化することができる。
本発明に係る画像復号装置では、上記マージ／スキップレベル情報は、マージまたはスキップの対象となる情報の数が多いレベルほど短い符号が割り当てられていてもよい。
上記の構成によれば、対象となる情報が多いレベルほど短い符号が割り当てられるので、符号化データの符号量をより削減することができる。
本発明に係る画像復号装置では、上記予測画像の生成、変換、符号化を行う単位がそれぞれ異なっており、上記符号化データには、上記単位毎にデータが含まれており、上記マージ／スキップ情報と上記マージ／スキップレベル情報とは、上記単位のうち、異なる単位に含まれていてもよい。
上記の構成によれば、マージ／スキップ情報と上記マージ／スキップレベル情報とが、異なる単位で伝送されるので、サイド情報の符号量を削減することができる。
ここで、サイド情報とは、予測残差を除くすべての情報のことをいう。
本発明に係る画像復号装置では、上記推定手段は、上記復号手段が過去に復号した復号結果に基づいて、マージ／スキップの対象の情報を推定するために参照する参照変換単位を設定するものであってもよい。
上記の構成によれば、推定手段は、過去の復号結果を用いて、参照変換単位を設定する。そして、過去の復号結果は、現在と同様の可能性が高い。よって、適切に参照変換単位を設定することができる。
本発明に係る画像復号装置では、上記マージ／スキップ情報により、マージまたはスキップの対象となる情報を示す対象情報を、上記符号化データのヘッダ部分に格納しているものであってもよい。
上記の構成によれば、マージまたはスキップの対象を適切に設定することができる。
本発明に係る画像復号装置では、上記マージ／スキップレベル情報は、対象となる情報が含まれる上記単位のサイズが閾値より大きい場合のみ、上記符号化データに含まれるものであってもよい。
上記の構成によれば、単位のサイズが小さい場合は、マージ／スキップレベル情報を伝送しないので、単位のサイズが小さい場合のサイド情報が大きくなってしまうことを防止することができる。
本発明に係る画像復号装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データを復号することにより画像を復号する画像復号装置であって、上記符号化データには、上記変換単位毎に、上記変換に用いる変換情報を符号化した符号化変換情報が含まれており、上記符号化データに、上記変換単位毎に、上記変換情報および上記量子化変換係数をマージまたはスキップするマージ／スキップ情報が含まれている場合、上記マージ／スキップ情報が示す方法で、当該変換単位の上記変換情報および上記量子化変換係数を推定する推定手段を備えている。
上記の構成によれば、変換単位で、マージ／またはスキップを行うことできるので、より符号化データの符号量を削減することができる。
上記課題を解決するために、本発明に係る画像符号化装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データを出力する画像符号化装置であって、上記符号化データに、上記量子化変換係数に周波数領域の変換係数が含まれるか否か示す存否情報をマージまたはスキップするマージ／スキップ情報を含める符号化手段を備えていることを特徴としている。
上記の構成によれば、周波数領域の変換係数の存在の有無を示す情報を含めずに、マージ／スキップ情報のみを含めた符号化データを出力する。
よって、従来であれば、出力することが必要であった周波数領域の変換係数の存在の有無を示す情報を符号化データに含めずに済むので、符号化データの符号量を従来よりも削減することが可能となる。
本発明に係る符号化データのデータ構造は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データのデータ構造であって、上記量子化変換係数に周波数領域の変換係数が含まれるか否か示す存否情報をマージまたはスキップするマージ／スキップ情報を含む。
上記の構成によれば、周波数領域の変換係数の存在の有無を示す情報を含めずに、マージ／スキップ情報のみを含めた符号化データとなる。
よって、従来であれば、必要であった周波数領域の変換係数の存在の有無を示す情報を符号化データに含めずに済むので、符号化データの符号量を従来よりも削減することが可能となる。
（付記事項８）
本発明は以下のように記載することもできる。
本発明に係る画像復号装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子化変換係数を含む符号化データを復号することにより画像を復号する画像復号装置であって、上記変換単位を分割して得られる部分単位について、当該部分単位に非ゼロ変換係数が含まれているか否かを示す非ゼロ変換係数存否情報を推定、または、上記符号化データから復号し、該非ゼロ変換係数存否情報が当該部分単位内に非ゼロ変換係数が存在することを示す場合、当該部分単位を含む復号単位内の各変換係数を上記符号化データから復号する復号手段を備えていることを特徴としている。
上記の構成によれば、変換単位を分割した部分単位について、非ゼロ変換係数存否情報を推定、または復号し、非ゼロ変換係数存否情報が非ゼロ変換係数が存在することを示す場合に、当該部分単位を含む復号単位内の変換係数を復号するので、非ゼロ変換係数の存否の判断を部分単位で行うことができる。
本発明に係る画像復号装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データを復号することにより画像を復号する画像復号装置であって、上記符号化データに、上記量子化変換係数に周波数領域の変換係数が含まれるか否か示す存否情報をマージまたはスキップするマージ／スキップ情報が含まれている場合、上記存否情報を復号しない復号手段と、上記符号化データに、上記存否情報をマージまたはスキップするマージ／スキップ情報が含まれている場合、該存否情報を推定する推定手段とを備え、上記復号手段は、上記推定手段が推定した存否情報を用いて上記符号化量子化変換係数を復号することを特徴としている。
ここで、マージとは、復号に必要な所定の情報を省略し、既定または指定された位置にある情報に基づき推定されることをいう。また、スキップとは、復号に必要な所定の情報を省略し、推定値または既定値を代わりに用いることをいう。
上記の構成によれば、周波数領域の変換係数の存在の有無を示す情報を伝送せずに、マージ／スキップ情報のみを伝送することで復号を行うことができる。
よって、従来であれば、伝送することが必要であった周波数領域の変換係数の存在の有無を示す情報を伝送せずに済むので、符号化データの符号量を従来よりも削減することが可能となる。
本発明に係る画像復号装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データを復号することにより画像を復号する画像復号装置であって、上記符号化データには、上記変換単位毎に、上記変換に用いる変換情報を符号化した符号化変換情報が含まれており、上記符号化データに、上記変換単位毎に、上記変換情報および上記量子化変換係数をマージまたはスキップするマージ／スキップ情報が含まれている場合、上記マージ／スキップ情報が示す方法で、当該変換単位の上記変換情報および上記量子化変換係数を推定する推定手段を備えていることを特徴としている。
上記の構成によれば、変換単位で、マージ／またはスキップを行うことできるので、より符号化データの符号量を削減することができる。
本発明に係る画像符号化装置は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データを出力する画像符号化装置であって、上記符号化データに、上記量子化変換係数に周波数領域の変換係数が含まれるか否か示す存否情報をマージまたはスキップするマージ／スキップ情報を含める符号化手段を備えていることを特徴としている。
上記の構成によれば、周波数領域の変換係数の存在の有無を示す情報を含めずに、マージ／スキップ情報のみを含めた符号化データを出力する。
よって、従来であれば、出力することが必要であった周波数領域の変換係数の存在の有無を示す情報を符号化データに含めずに済むので、符号化データの符号量を従来よりも削減することが可能となる。
本発明に係る符号化データのデータ構造は、原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子変換係数を含む符号化データのデータ構造であって、上記量子化変換係数に周波数領域の変換係数が含まれるか否か示す存否情報をマージまたはスキップするマージ／スキップ情報を含むことを特徴としている。
上記の構成によれば、周波数領域の変換係数の存在の有無を示す情報を含めずに、マージ／スキップ情報のみを含めた符号化データとなる。
よって、従来であれば、必要であった周波数領域の変換係数の存在の有無を示す情報を符号化データに含めずに済むので、符号化データの符号量を従来よりも削減することが可能となる。
本発明は、符号化データを復号する復号装置、および、符号化データを生成する符号化装置に好適に適用することができる。また、符号化装置によって生成され、復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１ 動画像復号装置（画像復号装置）
２ 動画像符号化装置（画像符号化装置）
１０ ＴＢＬＫ復号部（復号手段）
１１ ＴＢＬＫ情報復号部
１２ ＣＵ情報復号部
１３ ＰＴ情報復号部
１４ ＴＴ情報復号部（復号手段）
１５ ＣＵ画像生成部
１６ ＴＢＬＫ画像生成部
３１ ＣＵ情報推定部
３２ ＰＴ情報推定部
３３ ＴＴ情報推定部（推定手段）
５２ ＴＢＬＫ符号化部（符号化手段）

Claims (4)

  1. 原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子化変換係数を含む符号化データを復号単位毎に復号することにより画像を復号する画像復号装置であって、
    上記変換単位は、符号化単位を階層的に分割することにより形成されるものであり、
    上記変換単位を分割して得られる部分単位は、上記変換単位とは異なり、該部分単位のサイズは、上記変換単位のサイズ以下であり、さらに、上記部分単位は、上記変換単位を正方形の格子状に分割して得られる４×４画素から成る単位であり、
    当該部分単位に非ゼロ変換係数が含まれているか否かを示す非ゼロ変換係数存否情報を推定、または、当該非ゼロ変換係数存否情報を上記符号化データから復号し、該非ゼロ変換係数存否情報が当該部分単位内に非ゼロ変換係数が存在することを示す場合、当該部分単位内の変換係数を上記符号化データから復号する復号手段を備え、
    上記復号手段は、上記部分単位が対応する変換単位において処理順で最後の部分単位である場合、当該部分単位について非ゼロ変換係数が存在すると推定することを特徴とする画像復号装置。
  2. 上記復号手段は、参照先の部分単位における非ゼロ変換係数存否情報に基づいて、対象となる上記部分単位の非ゼロ変換係数存否情報を推定することを特徴とする請求項１に記載の画像復号装置。
  3. 原画像から予測画像を減算した予測残差を変換単位毎に変換し量子化した量子化変換係数を符号化した符号化量子化変換係数を含む符号化データを出力する画像符号化装置であって、
    上記符号化データに、上記変換単位を分割して得られる部分単位について、当該部分単位に非ゼロ変換係数が含まれているか否かを示す非ゼロ変換係数存否情報をマージまたはスキップするマージ／スキップ情報を含める符号化手段を備えていることを特徴とする画像符号化装置。
  4. 上記部分単位は、上記変換単位を正方形の格子状に分割して得られる単位であることを特徴とする請求項３に記載の画像符号化装置。


JP2017084008A 2011-03-10 2017-04-20 画像復号装置 Active JP6483183B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011053611 2011-03-10
JP2011053611 2011-03-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013503573A Division JPWO2012121284A1 (ja) 2011-03-10 2012-03-07 画像復号装置、画像符号化装置、および符号化データのデータ構造

Publications (2)

Publication Number Publication Date
JP2017147750A true JP2017147750A (ja) 2017-08-24
JP6483183B2 JP6483183B2 (ja) 2019-03-13

Family

ID=46798240

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013503573A Pending JPWO2012121284A1 (ja) 2011-03-10 2012-03-07 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP2017084008A Active JP6483183B2 (ja) 2011-03-10 2017-04-20 画像復号装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013503573A Pending JPWO2012121284A1 (ja) 2011-03-10 2012-03-07 画像復号装置、画像符号化装置、および符号化データのデータ構造

Country Status (6)

Country Link
US (2) US10148974B2 (ja)
EP (2) EP3413564A1 (ja)
JP (2) JPWO2012121284A1 (ja)
CN (5) CN107105259B (ja)
HK (1) HK1191484A1 (ja)
WO (1) WO2012121284A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3413564A1 (en) * 2011-03-10 2018-12-12 Sharp Kabushiki Kaisha Image decoding device
JP5325360B1 (ja) * 2011-12-15 2013-10-23 パナソニック株式会社 画像符号化方法及び画像符号化装置
AU2012200319B2 (en) 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
WO2013145021A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 画像復号方法及び画像復号装置
US9432390B2 (en) * 2013-12-31 2016-08-30 Prometheus Security Group Global, Inc. Scene identification system and methods
US10721467B2 (en) * 2015-05-05 2020-07-21 Lg Electronics Inc. Method and device for processing coding unit in image coding system
US9942548B2 (en) * 2016-02-16 2018-04-10 Google Llc Entropy coding transform partitioning information
CN109479131B (zh) * 2016-06-24 2023-09-01 世宗大学校产学协力团 视频信号处理方法及装置
WO2018066991A1 (ko) 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US11284076B2 (en) * 2017-03-22 2022-03-22 Electronics And Telecommunications Research Institute Block form-based prediction method and device
CN114422780A (zh) * 2017-04-28 2022-04-29 夏普株式会社 图像解码装置以及图像编码装置
KR102524628B1 (ko) 2018-01-05 2023-04-21 에스케이텔레콤 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
CN115022631A (zh) 2018-01-05 2022-09-06 Sk电信有限公司 对视频进行编码或解码的方法和非暂时性计算机可读介质
US11445187B2 (en) * 2018-02-28 2022-09-13 Sharp Kabushiki Kaisha Systems and methods for partitioning regions of a picture for video coding using different coding unit sizes
US10645396B2 (en) * 2018-06-04 2020-05-05 Tencent America LLC Method and apparatus for implicit transform splitting
WO2020013532A1 (ko) * 2018-07-13 2020-01-16 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3873093A4 (en) * 2018-10-23 2022-07-20 Wilus Institute of Standards and Technology Inc. METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL USING SUBBLOCK-BASED MOTION COMPENSATION
JP2022016726A (ja) * 2018-11-16 2022-01-25 ソニーグループ株式会社 画像処理装置および方法
EP3881546A4 (en) 2018-12-04 2022-01-26 Huawei Technologies Co., Ltd. VIDEO ENCODER, VIDEO DECODER, AND CORRESPONDING METHOD
US11234007B2 (en) * 2019-01-05 2022-01-25 Tencent America LLC Method and apparatus for video coding
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
JP7189854B2 (ja) * 2019-09-19 2022-12-14 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN111160348A (zh) * 2019-11-20 2020-05-15 中国科学院深圳先进技术研究院 自然场景的文本识别方法、存储装置和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005504A (ja) * 2006-06-22 2008-01-10 Samsung Electronics Co Ltd フラグエンコード方法、フラグデコード方法、および前記方法を用いた装置
WO2009151232A2 (ko) * 2008-06-13 2009-12-17 삼성전자 주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
WO2010039733A2 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
WO2011019253A2 (en) * 2009-08-14 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure
WO2011053020A2 (en) * 2009-10-28 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding residual block, and method and apparatus for decoding residual block
WO2011121843A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 画像符号化及び画像復号化方法
WO2012121284A1 (ja) * 2011-03-10 2012-09-13 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4025570B2 (ja) * 2002-04-03 2007-12-19 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
US7630440B2 (en) * 2003-05-28 2009-12-08 Broadcom Corporation Context adaptive binary arithmetic code decoding engine
CN100344163C (zh) * 2004-06-16 2007-10-17 华为技术有限公司 视频编解码处理方法
EP1829223B1 (en) * 2004-12-22 2013-02-13 LG Electronics Inc. Parallel, layered decoding for Low-Density Parity-Check (LDPC) codes
WO2006118288A1 (ja) * 2005-05-03 2006-11-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法およびその装置
DK2123052T3 (da) * 2007-01-18 2011-02-28 Fraunhofer Ges Forschung Kvalitetsskalerbar videodatastrøm
WO2008127597A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2010018992A2 (en) 2008-08-12 2010-02-18 Lg Electronics Inc. Method of processing a video signal
RU2546325C2 (ru) * 2009-05-29 2015-04-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
KR101805531B1 (ko) * 2009-06-07 2018-01-10 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
US9635368B2 (en) 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
US8588296B2 (en) * 2009-07-02 2013-11-19 Dialogic Corporation Bitrate control algorithm for video transcoding systems
CN101959064B (zh) * 2009-07-14 2012-05-30 炬力集成电路设计有限公司 一种视频解码方法及装置
KR101483750B1 (ko) * 2009-07-24 2015-01-19 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20110014000A (ko) * 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
US8780978B2 (en) * 2009-11-04 2014-07-15 Qualcomm Incorporated Controlling video encoding using audio information
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US20110249742A1 (en) * 2010-04-07 2011-10-13 Apple Inc. Coupled video pre-processor and codec including reference picture filter that minimizes coding expense during pre-processing mode transitions
US8665959B2 (en) * 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
JP5798556B2 (ja) * 2010-07-15 2015-10-21 シャープ株式会社 復号装置、符号化装置
US20120189052A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005504A (ja) * 2006-06-22 2008-01-10 Samsung Electronics Co Ltd フラグエンコード方法、フラグデコード方法、および前記方法を用いた装置
WO2009151232A2 (ko) * 2008-06-13 2009-12-17 삼성전자 주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
WO2010039733A2 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
WO2011019253A2 (en) * 2009-08-14 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure
WO2011053020A2 (en) * 2009-10-28 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding residual block, and method and apparatus for decoding residual block
WO2011121843A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 画像符号化及び画像復号化方法
WO2012121284A1 (ja) * 2011-03-10 2012-09-13 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL.: "WD5: Working Draft 5 of High-Efficiency Video Coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-G1103_d9, JPN6018025730, February 2012 (2012-02-01), pages 40 - 49, ISSN: 0003909671 *
BIN LI ET AL.: "Redundancy reduction in Cbf and Merging coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-C277_r2, JPN6018006477, October 2010 (2010-10-01), pages 1 - 8, XP055091761, ISSN: 0003909670 *
BUMSHIK LEE ET AL.: "Improved side information signaling for quad-tree based transform structure of TMuC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-C068_r1, JPN6018006474, October 2010 (2010-10-01), pages 1 - 5, ISSN: 0003909669 *
JEONGYEON LIM ET AL.: "Description of video coding technology proposal by SK telecom, Sejong Univ. and Sungkyunkwan Univ.", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A113, JPN6018006481, April 2010 (2010-04-01), pages 1 - 22, ISSN: 0003909667 *
MARTIN WINKEN ET AL.: "Description of video coding technology proposal by Fraunhofer HHI", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A116, JPN6018006470, April 2010 (2010-04-01), pages 1 - 17, ISSN: 0003909668 *

Also Published As

Publication number Publication date
CN107105259A (zh) 2017-08-29
JP6483183B2 (ja) 2019-03-13
CN107105259B (zh) 2021-12-28
US10148974B2 (en) 2018-12-04
CN107087178B (zh) 2021-12-28
CN107087179B (zh) 2021-04-27
CN103460694A (zh) 2013-12-18
JPWO2012121284A1 (ja) 2014-07-17
CN107087178A (zh) 2017-08-22
US20130343455A1 (en) 2013-12-26
WO2012121284A1 (ja) 2012-09-13
HK1191484A1 (zh) 2014-07-25
EP2685718B1 (en) 2018-08-29
US10547861B2 (en) 2020-01-28
CN107087179A (zh) 2017-08-22
CN107071439A (zh) 2017-08-18
US20180295360A1 (en) 2018-10-11
EP2685718A4 (en) 2015-03-11
CN107071439B (zh) 2021-12-28
EP3413564A1 (en) 2018-12-12
EP2685718A1 (en) 2014-01-15
CN103460694B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6483183B2 (ja) 画像復号装置
KR101654446B1 (ko) 화상 복호 장치, 화상 부호화 장치 및 부호화 데이터의 데이터 구조
US20240171764A1 (en) Image decoding device and image coding device
US10136161B2 (en) DMM prediction section, image decoding device, and image coding device
TW202133613A (zh) 圖像解碼裝置及圖像編碼裝置
WO2012077719A1 (ja) 画像復号装置、および画像符号化装置
JP2013141094A (ja) 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造
WO2012147947A1 (ja) 画像復号装置、および画像符号化装置
JP2013251827A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
JP2016076904A (ja) Ｄｃオフセット情報復号装置、画像復号装置、およびｄｃオフセット情報符号化装置。
WO2012043676A1 (ja) 復号装置、符号化装置、および、データ構造

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190213

R150 Certificate of patent or registration of utility model

Ref document number: 6483183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150