JP2019531025A - 画像符号化／復号方法、装置及びビットストリームを記憶した記録媒体 - Google Patents

画像符号化／復号方法、装置及びビットストリームを記憶した記録媒体 Download PDF

Info

Publication number
JP2019531025A
JP2019531025A JP2019517790A JP2019517790A JP2019531025A JP 2019531025 A JP2019531025 A JP 2019531025A JP 2019517790 A JP2019517790 A JP 2019517790A JP 2019517790 A JP2019517790 A JP 2019517790A JP 2019531025 A JP2019531025 A JP 2019531025A
Authority
JP
Japan
Prior art keywords
block
color component
component block
prediction
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019517790A
Other languages
English (en)
Other versions
JP2019531025A5 (ja
JP7356347B2 (ja
Inventor
ジン ホ リ
ジン ホ リ
ヒュン サク コウ
ヒュン サク コウ
ジュン ウォン カン
ジュン ウォン カン
サン チャン リム
サン チャン リム
ハ ヒュン リ
ハ ヒュン リ
ドン サン ジュン
ドン サン ジュン
スン ヒュン チョ
スン ヒュン チョ
フイ ヨン キム
フイ ヨン キム
ジン スー チェ
ジン スー チェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2019531025A publication Critical patent/JP2019531025A/ja
Publication of JP2019531025A5 publication Critical patent/JP2019531025A5/ja
Priority to JP2022017000A priority Critical patent/JP2022078048A/ja
Application granted granted Critical
Publication of JP7356347B2 publication Critical patent/JP7356347B2/ja
Priority to JP2024112482A priority patent/JP2024128092A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本発明は、第１色成分ブロックを用いて第２色成分ブロックを予測する画像符号化／復号化方法及び装置が提供される。本発明の画像復号化方法は、前記第１色成分ブロックを用いて予測パラメータを誘導するステップと、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含む。【選択図】図８

Description

本発明は、画像符号化／復号化方法、装置及びビットストリームを保存した記録媒体に関する。具体的には、本発明は、画面内予測を用いた画像符号化／復号化方法、装置、及び本発明の画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な応用分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体を用いて画像データを伝送したり従来の記憶媒体を用いて保存したりする場合には、伝送費用と保存費用が増加することになる。このような画像データの高解像度、高品質化に伴って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高効率画像符号化（ｅｎｃｏｄｉｎｇ）／復号化（ｄｅｃｏｄｉｎｇ）技術が求められる。
画像圧縮技術として、現在ピクチャの以前又は以後のピクチャから、現在ピクチャに含まれている画素値を予測する画面間（ｉｎｔｅｒ）予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測する画面内（ｉｎｔｒａ）予測技術、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、このような画像圧縮技術を利用して画像データを効果的に圧縮して伝送又は保存することができる。
本発明は、圧縮効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
また、本発明は、圧縮効率が向上した画面内予測を用いた画像符号化／復号化方法及び装置を提供することを目的とする。
また、本発明は、本発明の画像符号化／復号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画像復号化方法は、前記第１色成分ブロックを用いて予測パラメータを誘導するステップと、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含むことができる。
本発明に係る画像復号化方法において、前記第１色成分ブロックは輝度ブロックであり、前記第２色成分ブロックは色差ブロックであり得る。
本発明に係る画像復号化方法において、前記第２色成分ブロックのサイズ又は形状に基づいて、前記第１色成分ブロックを用いた第２色成分ブロックの予測を行うか否かを決定するステップをさらに含むことができる。
本発明に係る画像復号化方法において、前記第１色成分ブロックのサイズ及び前記第２色成分ブロックのサイズに基づいて、前記第１色成分ブロックを再構成するステップをさらに含むことができる。
本発明に係る画像復号化方法において、前記第１色成分ブロックのサイズが前記第２色成分ブロックのサイズよりも大きい場合、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックをダウンサンプリングするステップを含むことができる。
本発明に係る画像復号化方法において、前記第１色成分ブロックのサイズが前記第２色成分ブロックのサイズよりも小さい場合、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックをアップサンプリングするステップを含むことができる。
本発明に係る画像復号化方法において、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックの境界又は前記第２色成分ブロックの境界が所定の画像領域の境界に該当するかに基づいて行われ得る。
本発明に係る画像復号化方法において、前記所定の画像領域は、ピクチャ、スライス、タイル、ＣＴＵ及びＣＵのうちの少なくとも一つであり得る。
本発明に係る画像復号化方法において、前記第１色成分ブロックの境界又は前記第２色成分ブロックの境界が所定の画像領域の境界に該当する場合、前記第１色成分ブロックの再構成に用いられる上側参照サンプルラインの数と左側参照サンプルラインの数とは互いに異なり得る。
本発明に係る画像復号化方法において、前記第１色成分ブロックの再構成に用いられる参照サンプルは、前記第１色成分ブロックの画面内予測モードに基づいて決定できる。
本発明に係る画像復号化方法において、前記第１色成分ブロックの再構成に用いられる参照サンプルは、前記第１色成分ブロックの周辺ブロックの量子化パラメータに基づいて決定できる。
本発明に係る画像復号化方法において、前記第１色成分ブロックが正方形であり、前記第２色成分ブロックは長方形である場合、前記第１色成分ブロックの構成に用いられる参照サンプルは、前記正方形である第１色成分ブロックの周辺の参照サンプルであり得る。
本発明に係る画像復号化方法において、前記予測パラメータを誘導するステップは、前記第１色成分ブロックの参照サンプルと前記第２色成分ブロックの参照サンプルのうちの少なくとも一つを用いて行われ得る。
本発明に係る画像復号化方法において、前記予測パラメータを誘導することに用いられる前記参照サンプルは、前記第１色成分ブロックの画面内予測モードに基づいて決定できる。
本発明に係る画像復号化方法において、前記予測パラメータを誘導することに用いられる前記参照サンプルは、前記第１色成分ブロック又は前記第２色成分ブロックのサイズ又は形状に基づいて決定できる。
本発明に係る画像復号化方法において、前記予測パラメータを誘導するステップは、前記第１色成分ブロックの参照サンプルと前記第２色成分ブロックの参照サンプルとの関連性、変化量、平均値及び分布のうちの少なくとも一つに基づいて行われ得る。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画面内予測部を含む画像復号化装置において、前記画面内予測部は、前記第１色成分ブロックを用いて予測パラメータを誘導し、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測することができる。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画像符号化方法は、前記第１色成分ブロックを用いて予測パラメータを誘導するステップと、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含むことができる。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画面内予測部を含む画像符号化装置において、前記画面内予測部は、前記第１色成分ブロックを用いて予測パラメータを誘導し、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測することができる。
本発明に係る記録媒体は、本発明に係る画像符号化方法によって生成されたビットストリームを保存することができる。
本発明によれば、圧縮効率が向上した画像符号化／復号化方法及び装置が提供できる。
また、本発明によれば、圧縮効率が向上した画面内予測を用いた画像符号化／復号化方法及び装置が提供できる。
また、本発明によれば、本発明の画像符号化／復号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供できる。
本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。 本発明が適用される復号化装置の一実施形態に係る構成を示すブロック図である。 画像を符号化及び復号化するときの画像の分割構造を示す概略図である。 画面内予測過程の実施形態を説明するための図である。 本発明に係る画面内予測を説明するための図である。 輝度ブロックと色差ブロックとの関係を説明するための例示図である。 現在ブロックのサイズ及び／又は形状によるＤＣ予測を説明するための図である。 色成分間画面内予測実行過程を説明するための図である。 色成分ブロックの再構成を説明するための例示図である。 複数の上側及び／又は左側の参照サンプルラインを用いて再構成を行う実施形態を説明するための図である。 対応ブロックの画面内予測モード又は符号化パラメータに応じて再構成に用いられる参照サンプルを説明するための例示図である。 第２色成分予測対象ブロックが４ｘ４である場合、再構成された第１色成分対応ブロックを説明するための例示図である。 第１色成分のサンプル及び第２色成分のサンプルを説明するための図である。
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。図面において類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面における要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明される。様々な実施形態は、互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は実施形態の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範囲は、適切に説明されるならば、それらの請求項が主張するのと均等なすべての範囲及び添付の請求項によってのみ限定される。
本発明において、用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列して含むもので、各構成部のうちの少なくとも２つの構成部が合わせられて一つの構成部をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解すべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術的思想の範囲に含まれ得ることを意味する。
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含めて実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
また、以下において、画像は動画像（ｖｉｄｅｏ）を構成する一つのピクチャを意味することもあり、動画像自体を示すこともある。例えば、「画像の符号化及び／又は復号化」は、「ビデオの符号化及び／又は復号化」を意味することができ、「ビデオを構成する画像のうちの一つの画像の符号化及び／又は復号化」を意味することもできる。ここで、ピクチャは画像と同じ意味を持つことができる。
用語説明
符号化器（Ｅｎｃｏｄｅｒ）：符号化（Ｅｎｃｏｄｉｎｇ）を行う装置を意味する。
復号化器（Ｄｅｃｏｄｅｒ）：復号化（Ｄｅｃｏｄｉｎｇ））を行う装置を意味する。
ブロック（Ｂｌｏｃｋ）：サンプル（Ｓａｍｐｌｅ）のＭｘＮ配列である。
ここで、ＭとＮは正の整数値を意味し、ブロックは一般に２次元形状のサンプル配列を意味することができる。ブロックはユニットを意味することができる。現在ブロックは、符号化の際に符号化の対象となる符号化対象ブロック、復号化の際に復号化の対象となる復号化対象ブロックを意味することができる。また、現在ブロックは符号化ブロック、予測ブロック、残余ブロック及び変換ブロックの少なくとも一つであり得る。
サンプル（Ｓａｍｐｌｅ）：ブロックを構成する基本単位である。ビット深度（ｂｉｔ ｄｅｐｔｈ、Ｂｄ）に応じて０から２Ｂｄ−１までの値で表現できる。本発明において、サンプルは画素又はピクセルと同じ意味で使用できる。
ユニット（Ｕｎｉｔ）：画像符号化及び復号化の単位を意味する。画像の符号化及び復号化において、ユニットは、一つの画像を分割した領域であり得る。また、ユニットは、一つの画像を細分化されたユニットに分割して符号化或いは復号化するとき、その分割された単位を意味することができる。画像の符号化及び復号化において、ユニットごとに、予め定義された処理が実行できる。一つのユニットは、ユニットに比べてより小さい大きさを持つ下位ユニットにさらに分割できる。機能によって、ユニットは、ブロック（Ｂｌｏｃｋ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、残余ユニット（Ｒｅｓｉｄｕａｌ Ｕｎｉｔ）、残余ブロック（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）などを意味することができる。また、ユニットは、ブロックと区分して指し示すために、輝度（Ｌｕｍａ）成分ブロック、それに対応する色差（Ｃｈｒｏｍａ）成分ブロック、及び各ブロックに対する構文要素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことができ、特に、ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報は、符号化ユニット、予測ユニット、残余ユニット、変換ユニットなどを指し示すユニットのタイプ、ユニットのサイズ、ユニットの深さ、ユニットの符号化及び復号化順序などのうちの少なくとも一つを含むことができる。
符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）：一つの輝度成分（Ｙ）符号化ツリーブロックに関連する２つの色差成分（Ｃｂ、Ｃｒ）符号化ツリーブロックで構成される。また、前記ブロックと各ブロックに対する構文要素を含むことを意味することもできる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニットなどの下位ユニットを構成するために４分木（ｑｕａｄ ｔｒｅｅ）、２分木（ｂｉｎａｒｙ ｔｒｅｅ）などの一つ以上の分割方式を用いて分割できる。入力画像の分割のように画像の復号化／符号化過程で処理単位となるピクセルブロックを示すための用語として使用できる。
符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）：Ｙ符号化ツリーブロック、Ｃｂ符号化ツリーブロック及びＣｒ符号化ツリーブロックのうちのいずれかを示すための用語として使用できる。
周辺ブロック（Ｎｅｉｇｈｂｏｒ ｂｌｏｃｋ）：現在ブロックに隣接するブロックを意味する。現在ブロックに隣接するブロックは、現在ブロックに境界が当接するブロック、又は現在ブロックから所定の距離内にあるブロックを意味することができる。周辺ブロックは、現在ブロックの頂点に隣接するブロックを意味することができる。ここで、現在ブロックの頂点に隣接するブロックとは、現在ブロックに横方向に隣接する隣接ブロックに縦方向に隣接するブロック、又は現在ブロックに縦方向に隣接する隣接ブロックに横方向に隣接するブロックであり得る。周辺ブロックは、復元された周辺ブロックを意味することもできる。
復元された周辺ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｎｅｉｇｈｂｏｒ Ｂｌｏｃｋ）：現在ブロックの周辺に空間的（Ｓｐａｔｉａｌ）／時間的（Ｔｅｍｐｏｒａｌ）に既に符号化或いは復号化された周辺ブロックを意味する。このとき、復元された周辺ブロックは、復元された周辺ユニットを意味することができる。復元された空間的周辺ブロックは、現在ピクチャ内のブロックでありながら符号化及び／又は復号化を介して既に復元されたブロックであり得る。復元された時間的周辺ブロックは、参照ピクチャ内で現在ピクチャの現在ブロックと同じ位置の復元されたブロック又はその周辺ブロックであり得る。
ユニット深さ（Ｄｅｐｔｈ）：ユニットが分割された程度を意味する。ツリー構造（Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）において、ルートノード（Ｒｏｏｔ Ｎｏｄｅ）は深さが最も浅く、リーフノード（Ｌｅａｆ Ｎｏｄｅ）は深さが最も深いといえる。また、ユニットをツリー構造で表現したときにユニットが存在するレベル（Ｌｅｖｅｌ）がユニット深さを意味することができる。
ビットストリーム（Ｂｉｔｓｔｒｅａｍ）：符号化された画像情報を含むビットの列を意味する。
パラメータセット（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）：ビットストリーム内の構造のうちのヘッダー情報に該当する。ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、及び適応パラメータセット（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットはスライス（ｓｌｉｃｅ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダー情報を含むこともできる。
パーシング（Ｐａｒｓｉｎｇ）：ビットストリームをエントロピー復号化して構文要素（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）の値を決定することを意味するか、或いはエントロピー復号化自体を意味することができる。
シンボル（Ｓｙｍｂｏｌ）：符号化／復号化対象ユニットの構文要素、符号化パラメータ（ｃｏｄｉｎｇ ｐａｒａｍｅｔｅｒ）、及び変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）の値などの少なくとも一つを意味することができる。また、シンボルはエントロピー符号化の対象或いはエントロピー復号化の結果を意味することができる。
予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）：画面間予測、画面内予測、画面間補償、画面内補償、動き補償など、予測を行うときの基本ユニットを意味する。一つの予測ユニットは、大きさが小さい複数のパーティション（Ｐａｒｔｉｔｉｏｎ）又は下位予測ユニットに分割されることも可能である。
予測ユニットパーティション（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ Ｐａｒｔｉｔｉｏｎ）：予測ユニットが分割された形状を意味することができる。
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）：変換、逆変換、量子化、逆量子化、変換係数符号化／復号化のように残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）符号化／復号化を行うときの基本ユニットを意味する。一つの変換ユニットは、分割されて大きさが小さい複数の変換ユニットに分割できる。
図１は本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。
符号化装置１００は、エンコーダ、ビデオ符号化装置又は画像符号化装置であり得る。ビデオは一つ以上の画像を含むことができる。符号化装置１００は一つ以上の画像を順次符号化することができる。
図１を参照すると、符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含むことができる。
符号化装置１００は、入力画像に対してイントラモード及び／又はインターモードで符号化を行うことができる。また、符号化装置１００は、入力画像に対する符号化を介してビットストリームを生成することができ、生成されたビットストリームを出力することができる。生成されたビットストリームは、コンピュータ可読の記録媒体に保存されるか、或いは有／無線伝送媒体を介してストリーミングできる。予測モードとしてイントラモードが使用される場合、スイッチ１１５はイントラに転換でき、予測モードとしてインターモードが使用される場合、スイッチ１１５はインターに転換できる。ここで、イントラモードは画面内予測モードを意味することができ、インターモードは画面間予測モードを意味することができる。符号化装置１００は、入力画像の入力ブロックに対する予測ブロックを生成することができる。また、符号化装置１００は、予測ブロックが生成された後、入力ブロック及び予測ブロックの差分（ｒｅｓｉｄｕａｌ）を符号化することができる。入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、現在符号化対象である現在ブロック或いは符号化対象ブロックと称されることもある。
予測モードがイントラモードである場合、イントラ予測部１２０は、現在ブロックの周辺に既に符号化／復号化されたブロックのピクセル値を参照画素としても用いることができる。イントラ予測部１２０は、参照画素を用いて空間予測を行うことができ、空間予測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イントラ予測は画面内予測を意味することができる。
予測モードがインターモードである場合には、動き予測部１１１は、動き予測過程で参照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領域を用いて動きベクトルを導出することができる。参照画像は参照ピクチャバッファ１９０に保存できる。
動き補償部１１２は、動きベクトルを用いる動き補償を行うことにより、予測ブロックを生成することができる。ここで、インター予測は、画面間予測或いは動き補償を意味することができる。
減算器１２５は、入力ブロック及び予測ブロックの差分を用いて残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。残余ブロックは残余信号とも称される。残余信号は、原信号及び予測信号間の差（ｄｉｆｆｅｒｅｎｃｅ）を意味することができる。また、残余信号は、原信号及び予測信号間の差を変換（ｔｒａｎｓｆｏｒｍ）するか、量子化するか、或いは変換及び量子化することにより生成された信号であり得る。残余ブロックはブロック単位の残余信号であり得る。
変換部１３０は、残余ブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を行って変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができ、変換係数を出力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより生成された係数値であり得る。変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）モードが適用される場合、変換部１３０は残余ブロックに対する変換を省略することもできる。
変換係数又は残余信号に量子化を適用することにより、量子化されたレベル（ｑｕａｎｔｉｚｅｄ ｌｅｖｅｌ）が生成できる。以下、実施形態では、量子化されたレベルも変換係数と称されることがある。
量子化部１４０は、変換係数又は残余信号を量子化パラメータに基づいて量子化することにより、量子化されたレベルを生成することができ、量子化されたレベルを出力することができる。このとき、量子化部１４０では、量子化行列を用いて変換係数を量子化することができる。
エントロピー符号化部１５０は、量子化部１４０で算出された値、又は符号化過程で算出された符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）値などに対して確率分布によるエントロピー符号化を行うことにより、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を生成することができ、ビットストリームを出力することができる。エントロピー符号化部１５０は、画像のピクセルに関する情報及び画像の復号化のための情報に対するエントロピー符号化を行うことができる。例えば、画像の復号化のための情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）などを含むことができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル（ｓｙｍｂｏｌ）に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット列のサイズが減少できる。エントロピー符号化部１５０は、エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの符号化方法を使用することができる。例えば、エントロピー符号化部１５０は、可変長符号化（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ／Ｃｏｄｅ；ＶＬＣ）テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部１５０は、対象シンボルの２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法及び対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ）を導出した後、導出された２値化方法、確率モデル、コンテキストモデル（Ｃｏｎｔｅｘｔ Ｍｏｄｅｌ）を用いて算術符号化を行うこともできる。
エントロピー符号化部１５０は、変換係数レベルを符号化するために、変換係数スキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法を介して２次元のブロック形状係数を１次元のベクトル形態に変更することができる。
符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）は、構文要素のように符号化器で符号化されて復号化器へシグナリングされる情報（フラグ、インデックスなど）だけでなく、符号化或いは復号化過程で誘導される情報を含むことができ、画像を符号化又は復号化するときに必要な情報を意味することができる。例えば、ブロックサイズ、ブロック深さ、ブロック分割情報、ユニットサイズ、ユニット深さ、ユニット分割情報、４分木分割フラグ、２分木分割フラグ、２分木分割方向、画面内予測モード、画面内予測方向、参照サンプルフィルタリング方法、予測ブロック境界フィルタリング方法、フィルタタップ、フィルタ係数、画面間予測モード、動き情報、動きベクトル、参照画像インデックス、画面間予測方向、画面間予測インジケータ、参照画像リスト、動きベクトル予測器、動きベクトル候補リスト、動きマージモード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）の使用有無、動きマージ候補、動きマージ候補リスト、スキップ（ｓｋｉｐ）モードの使用有無、補間フィルタの種類、動きベクトルのサイズ、動きベクトル表現の精度、変換種類、変換サイズ、追加（２次）変換の使用有無情報、残余信号の有無情報、符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）、符号化ブロックフラグ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ；ＣＢＦ）、量子化パラメータ、量子化行列、ループ内フィルタ情報、ループ内フィルタの適用有無情報、ループ内フィルタ係数、２値化／逆２値化方法、コンテキストモデル、コンテキストビン、バイパスビン、変換係数、変換係数レベル、変換係数レベルスキャニング方法、画像ディスプレイ／出力順序、スライス識別情報、スライスタイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、ピクチャタイプ、ビット深度、輝度信号或いは色差信号に対する情報のうちの少なくとも一つの値又は組み合わせ形態が符号化パラメータに含まれ得る。
ここで、フラグ或いはインデックスをシグナリング（ｓｉｇｎａｌｉｎｇ）するというのは、エンコーダでは該当フラグ或いはインデックスをエントロピー符号化（Ｅｎｔｒｏｐｙ Ｅｎｃｏｄｉｎｇ）してビットストリーム（Ｂｉｔｓｔｒｅａｍ）に含むことを意味することができ、デコーダではビットストリームから該当フラグ或いはインデックスをエントロピー復号化（Ｅｎｔｒｏｐｙ Ｄｅｃｏｄｉｎｇ）することを意味することができる。
符号化装置１００がインター予測を用いた符号化を行う場合、符号化された現在画像は、後で処理される他の画像に対する参照画像として使用できる。よって、符号化装置１００は、符号化された現在画像をさらに復元又は復号化することができ、復元又は復号化された画像を参照画像として保存することができる。
量子化されたレベルは、逆量子化部１６０で逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）でき、逆変換部１７０で逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）できる。逆量子化及び／又は逆変換された係数は、加算器１７５を介して予測ブロックと合わせられ得る。逆量子化及び逆変換された係数と予測ブロックとを合わせることにより、復元ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が生成できる。ここで、逆量子化及び／又は逆変換された係数は、逆量子化及び逆変換の少なくとも一つが行われた係数を意味し、復元された残余ブロックを意味することができる。
復元ブロックはフィルタ部１８０を経ることができる。フィルタ部１８０は、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ；ＳＡＯ）、適応的ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ；ＡＬＦ）などの少なくとも一つを復元ブロック又は復元画像に適用することができる。フィルタ部１８０はループ内フィルタ（ｉｎ−ｌｏｏｐ ｆｉｌｔｅｒ）とも称される。
デブロッキングフィルタは、ブロック間の境界に生じたブロック歪みを除去することができる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれているピクセルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて、互いに異なるフィルタを適用することができる。
サンプル適応的オフセットを用いて符号化エラーを補償するために、ピクセル値に適正オフセット（ｏｆｆｓｅｔ）値を加えることができる。サンプル適応的オフセットは、デブロッキングを行った画像に対してピクセル単位で原本画像とのオフセットを補正することができる。画像に含まれているピクセルを一定数の領域に区分した後、オフセットを行うべき領域を決定し、該当領域にオフセットを適用する方法、又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
適応的ループフィルタは、復元画像と原画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれているピクセルを所定のグループに分けた後、当該グループに適用されるべきフィルタを決定してグループごとに差別的にフィルタリングを行うことができる。適応的ループフィルタを適用するか否かに関連した情報は、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）別にシグナリングでき、それぞれのブロックに応じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。
フィルタ部１８０を経た復元ブロック又は復元画像は参照ピクチャバッファ１９０に保存できる。図２は本発明が適用される復号化装置の一実施形態に係る構成を示すブロック図である。
復号化装置２００はデコーダ、ビデオ復号化装置又は画像復号化装置であり得る。
図２を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含むことができる。
復号化装置２００は、符号化装置１００から出力されたビットストリームを受信することができる。復号化装置１０は、コンピュータ可読記録媒体に保存されたビットストリームを受信するか、或いは有／無線伝送媒体を介してストリーミングされるビットストリームを受信することができる。復号化装置２００は、ビットストリームに対してイントラモード又はインターモードで復号化を行うことができる。また、復号化装置２００は、復号化を介して復元された画像又は復号化された画像を生成することができ、復元された画像又は復号化された画像を出力することができる。
復号化に使用される予測モードがイントラモードである場合、スイッチがイントラに転換できる。復号化に使用される予測モードがインターモードである場合、スイッチがインターに転換できる。
復号化装置２００は、入力されたビットストリームを復号化し、復元された残余ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を取得することができ、予測ブロックを生成することができる。復元された残余ブロック及び予測ブロックが取得されると、復号化装置２００は、復元された残余ブロックと予測ブロックを加えることにより、復号化対象となる復元ブロックを生成することができる。復号化対象ブロックは現在ブロックと称されることがある。
エントロピー復号化部２１０は、ビットストリームに対する確率分布に基づくエントロピー復号化を行うことにより、シンボルを生成することができる。生成されたシンボルは、量子化されたレベル形態のシンボルを含むことができる。ここで、エントロピー復号化方法は、上述したエントロピー符号化方法の逆過程であり得る。
エントロピー復号化部２１０は、変換係数レベルを復号化するために、変換係数スキャニング方法によって１次元のベクトル形態係数を２次元のブロック形態に変更することができる。
量子化されたレベルは、逆量子化部２２０で逆量子化でき、逆変換部２３０で逆変換できる。量子化されたレベルは、逆量子化又は逆変換が行われた結果であって、復元された残余ブロックとして生成できる。このとき、逆量子化部２２０は、量子化されたレベルに量子化行列を適用することができる。
イントラモードが使用される場合、イントラ予測部２４０は、復号化対象ブロック周辺の、既に復号化されたブロックのピクセル値を用いる空間予測を行うことにより、予測ブロックを生成することができる。
インターモードが使用される場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に保存されている参照画像を用いる動き補償を行うことにより、予測ブロックを生成することができる。
加算器２５５は、復元された残余ブロック及び予測ブロックを加算して復元ブロックを生成することができる。フィルタ部２６０は、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタなどの少なくとも一つを復元ブロック又は復元画像に適用することができる。フィルタ部２６０は復元画像を出力することができる。復元ブロック又は復元画像は参照ピクチャバッファ２７０に保存されてインター予測に使用できる。
図３は画像を符号化及び復号化するときの画像の分割構造を示す概略図である。図３は一つのユニットが複数の下位ユニットに分割される実施形態を概略的に示す。
画像を効率よく分割するために、符号化及び復号化において、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）が使用できる。画像符号化／復号化の基本単位として符号化ユニットが使用できる。また、画像符号化／復号化の際に画面内モード及び画面間モードが区分される単位として、符号化ユニットを使用することができる。符号化ユニットは、予測、変換、量子化、逆変換、逆量子化、又は変換係数の符号化／復号化の過程のために使用される基本単位であり得る。
図３を参照すると、画像３００は、最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＬＣＵ）単位で順次分割され、ＬＣＵ単位で分割構造が決定される。ここで、ＬＣＵは、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ；ＣＴＵ）と同一の意味で使用できる。ユニットの分割は、ユニットに該当するブロックの分割を意味することができる。ブロック分割情報には、ユニットの深さ（ｄｅｐｔｈ）に関する情報が含まれ得る。深さ情報は、ユニットが分割される回数及び／又は程度を示すことができる。一つのユニットは、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）に基づいて深さ情報をもって階層的に分割できる。それぞれの分割された下位ユニットは深さ情報を持つことができる。深さ情報は、ＣＵの大きさを示す情報であり、各ＣＵごとに保存できる。
分割構造は、ＬＣＵ３１０内での符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）の分布を意味することができる。このような分布は、一つのＣＵを複数（２、４、８、１６などを含む２以上の正の整数）のＣＵに分割するか否かによって決定することができる。分割により生成されたＣＵの横幅と縦幅は、それぞれ分割前のＣＵの横幅の半分及び縦幅の半分であるか、分割された個数に応じて分割前のＣＵの横幅よりも小さいサイズ及び縦幅よりも小さいサイズを持つことができる。ＣＵは、複数のＣＵに再帰的に分割できる。ＣＵの分割は所定の深さ又は所定のサイズまで再帰的に行われ得る。例えば、ＬＣＵの深さは０であり、最小符号化ユニット（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＳＣＵ）の深さは予め定義された最大深さであり得る。ここで、ＬＣＵは、上述したように、最大の符号化ユニットサイズを持つ符号化ユニットであり、ＳＣＵは、最小の符号化ユニットサイズを持つ符号化ユニットであり得る。ＬＣＵ３１０から分割が始まり、分割によりＣＵの横幅及び／又は縦幅が減少するたびに、ＣＵの深さは１ずつ増加する。
また、ＣＵが分割されるか否かに関する情報は、ＣＵの分割情報によって表現できる。分割情報は１ビットの情報であり得る。ＳＣＵを除いた全てのＣＵは分割情報を含むことができる。例えば、分割情報の値が第１値であれば、ＣＵが分割されなくてもよく、分割情報の値が第２値であれば、ＣＵが分割されてもよい。
図３を参照すると、深さが０であるＬＣＵは６４ｘ６４画素であり得る。０は最小深さであり得る。深さが３であるＳＣＵは８ｘ８画素であり得る。３は最大深さであり得る。３２ｘ３２ブロック及び１６ｘ１６ブロックのＣＵはそれぞれ深さ１及び深さ２で表現できる。
例えば、一つの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの符号化ユニットが４つの符号化ユニットに分割される場合、符号化ユニットは４分木（ｑｕａｄ−ｔｒｅｅ）状に分割されたといえる。
例えば、一つの符号化ユニットが２つの符号化ユニットに分割される場合、分割された２つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに縦分割される場合、分割された２つの符号化ユニットは、それぞれ１６ｘ３２のサイズを持つことができる。一つの符号化ユニットが２つの符号化ユニットに分割される場合、符号化ユニットは２分木（ｂｉｎａｒｙ−ｔｒｅｅ）状に分割されたといえる。図３のＬＣＵ３２は４分木状の分割及び２分木状の分割が全て適用されたＬＣＵの一例である。
図４は画面内予測過程の実施形態を説明するための図である。
画面内予測モードは非方向性モード又は方向性モードであり得る。非方向性モードは、ＤＣモード又はプラナー（Ｐｌａｎａｒ）モードであり、方向性モードは、特定の方向又は角度を持つ予測モードであり得る。前記画面内予測モードは、モード番号、モード値、モード数及びモード角度のうちの少なくとも一つで表現できる。画面内予測モードの個数は、前記非方向性及び方向性モードを含む一つ以上のＭ個であり得る。
画面内予測モードの個数は、ブロックのサイズを問わずＮ個に固定できる。又は、画面内予測モードの個数は、ブロックのサイズ及び／又は色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）のタイプによって異なり得る。例えば、ブロックのサイズが大きくなるほど、画面内予測モードの個数は多くなることがある。又は、ルマ成分ブロックの画面内予測モードの個数は色差成分ブロックの画面内予測モードの個数よりも多いことがある。
現在ブロックを画面内予測するために復元された周辺ブロックに含まれるサンプルが、現在ブロックの参照サンプルとして利用可能であるかどうかを検査するステップが行われ得る。現在ブロックの参照サンプルとして利用できないサンプルが存在する場合、復元された周辺ブロックに含まれているサンプルのうちの少なくとも一つのサンプル値をコピー及び／又は補間した値を用いて、参照サンプルとして利用できないサンプルのサンプル値で代替した後、現在ブロックの参照サンプルとして利用することができる。
画面内予測時の画面内予測モード及び現在ブロックのサイズのうちの少なくとも一つに基づいて、参照サンプル又は予測サンプルの少なくとも一つにフィルタを適用することができる。
プラナーモードの場合、現在ブロックの予測ブロックを生成するとき、予測対象サンプルの予測ブロック内の位置に基づいて、現在サンプルの上側及び左側の参照サンプルを現在ブロックの右上側及び左下側参照サンプルの重み付け和を用いて予測対象サンプルのサンプル値を生成することができる。また、ＤＣモードの場合、現在ブロックの予測ブロックを生成するとき、現在ブロックの上側及び左側参照サンプルの平均値を用いることができる。また、方向性モードの場合、現在ブロックの上側、左側、右上側及び／又は左下側参照サンプルを用いて予測ブロックを生成することができる。予測サンプル値を生成するために、実数単位の補間を行うこともできる。
現在ブロックの画面内予測モードは、現在ブロックの周辺に存在するブロックの画面内予測モードから予測してエントロピー符号化／復号化することができる。現在ブロックと周辺ブロックの画面内予測モードが同一であれば、所定のフラグ情報を用いて現在ブロックと周辺ブロックの画面内予測モードが同一であるという情報をシグナリングすることができる。また、複数の周辺ブロックの画面内予測モードのうち、現在ブロックの画面内予測モードと同じ画面内予測モードに対するインジケータ情報をシグナリングすることができる。現在ブロックと周辺ブロックの画面内予測モードが互いに異なる場合、周辺ブロックの画面内予測モードに基づいてエントロピー符号化／復号化を行って現在ブロックの画面内予測モード情報をエントロピー符号化／復号化することができる。
図５は本発明に係る画面内予測を説明するための図である。
現在ブロックに対する画面内予測は、画面内予測モード誘導ステップ（Ｓ５１０）、参照サンプル構成ステップ（Ｓ５２０）、及び／又は画面内予測実行ステップ（Ｓ５３０）を含むことができる。
ステップＳ５１０で、現在ブロックの画面内予測モードが誘導できる。現在ブロックの画面内予測モードは、周辺ブロックの画面内予測モードを用いる方法、ビットストリームから現在ブロックの画面内予測モードをエントロピー符号化／復号化する方法、周辺ブロックの符号化パラメータを用いる方法、又は色成分の画面内予測モードを用いる方法によって誘導できる。前記周辺ブロックの画面内予測モードを用いる方法によれば、周辺ブロックの画面内予測モード、周辺ブロックの一つ以上の画面内予測モードの組み合わせ、及び一つ以上のＭＰＭを用いて誘導された画面内予測モードのうちの少なくとも一つを用いて、現在ブロックの画面内予測モードが誘導できる。
ステップＳ５２０で、参照サンプル選択及び参照サンプルフィルタリングのうちの少なくとも一つを行い、参照サンプルが構成できる。
ステップＳ５３０で、非方向性予測、方向性予測、位置情報ベース予測、及び色成分間予測のうちの少なくとも一つを行って画面内予測が実行できる。前記方向性予測が行われる場合は、現在ブロックの一つ以上のサンプルを含む所定の単位ごとに互いに異なる方向性を有する予測が実行できる。前記所定の単位は、例えば、単一サンプル、サンプルグループ、ライン及びブロックのうちの少なくとも一つであり得る。前記色成分間の予測は、色成分ブロックの再構成ステップ、予測パラメータの誘導ステップ及び／又は色成分間予測実行ステップを含むことができる。ステップＳ５３０で、予測サンプルに対するフィルタリングをさらに行うことができる。
現在ブロックの画面内予測モードを誘導するために一つ以上の復元された周辺ブロックが使用できる。復元された周辺ブロックの位置は、予め定義された固定位置、又は符号化／復号化して誘導された位置であり得る。以下、符号化／復号化は、エントロピー符号化及び復号化を意味することができる。例えば、ＷｘＨサイズの現在ブロックの左上側コーナーサンプルの座標を（０，０）とするとき、前記周辺ブロックは（−１，Ｈ−１）、（Ｗ−１，−１）、（Ｗ，−１）、（−１，Ｈ）及び（−１，−１）座標に隣接するブロック及び前記ブロックの周辺ブロックのうちの少なくとも一つであり得る。この時、前記Ｗ及びＨは、前記現在ブロックの横幅Ｗ及び縦幅Ｈ又はサンプルの個数を示すことができる。
利用可能な周辺ブロックの画面内予測モードは、所定の画面内予測モードで代替することができる。前記所定の画面内予測モードは、例えば、ＤＣモード、Ｐｌａｎａｒモード、垂直モード、水平モード及び／又は対角モードであり得る。例えば、周辺ブロックがピクチャ、スライス、タイル、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）などのうちの少なくとも一つの所定のユニットの境界外に位置するか、或いは画面間予測されるか、或いはＰＣＭモードで符号化された場合、当該周辺ブロックは利用不可能と判断できる。又は、前記周辺ブロックが利用不可能である場合、前記利用不可能な周辺ブロックの画面内予測モードを代替せず、前記利用不可能な周辺ブロックを用いなくてもよい。
現在ブロックの画面内予測モードは、所定の位置の周辺ブロックの画面内予測モード又は二つ以上の周辺ブロックの画面内予測モードの統計値を用いて誘導できる。本明細書において、統計値は、平均値、最大値、最小値、最頻値、中央値、加重平均値及び補間値のうちの少なくとも一つを意味することができる。
又は、周辺ブロックのサイズに基づいて、現在ブロックの画面内予測モードを誘導することができる。例えば、相対的にサイズが大きい周辺ブロックの画面内予測モードを現在ブロックの画面内予測モードとして誘導することができる。又は、相対的にサイズが大きいブロックの画面内予測モードに相対的に大きい重みを付与して統計値を計算することもできる。
又は、周辺ブロックの画面内予測モードが方向性であるか否かが考慮できる。例えば、周辺ブロックの画面内予測モードが非方向性である場合、前記非方向性モードを現在ブロックの画面内予測モードとして誘導することができる。又は、前記非方向性モードを除く他の周辺ブロックの画面内予測モードを用いて、現在ブロックの画面内予測モードを誘導することもできる。
現在ブロックの画面内予測モードを誘導するために、周辺ブロックの画面内予測モードを用いて一つ以上のＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）リストを構成することができる。ＭＰＭリストに含まれる候補モードの個数Ｎは、固定されるか、或いは現在ブロックのサイズ及び／又は形状に基づいて決定できる。ＭＰＭリストは、重複するモードがないように構成できる。利用可能な候補モードの個数がＮ未満の場合には、利用可能な候補モードのうち、所定の候補モード、例えば方向性モードに対して所定のオフセットを加減したモードを前記一つ以上のＭＰＭリストに追加することができる。又は、水平モード、垂直モード、４５度モード、１３５度モード、２２５度モード及び非方向性モードのうちの少なくとも一つをＭＰＭリストに追加することができる。前記所定のオフセットは１、２、３、４、又は正の整数であり得る。
ＭＰＭリストは、周辺ブロックの位置に基づいた所定の順序で構成できる。例えば、前記所定の順序は、現在ブロックの左側、上側、左下側コーナー、右上側コーナー及び左上側コーナーに隣接するブロックの順序であり得る。非方向性モードは、ＭＰＭリストの任意の位置に含まれ得る。例えば、左側及び上側に隣接するブロックの画面内予測モードの次に追加できる。
他の実施形態として、ＭＰＭリストを用いて誘導された画面内予測モードと周辺ブロックの画面内予測モードを用いて、現在ブロックの画面内予測モードが誘導できる。たとえば、ＭＰＭリストを用いて誘導された画面内予測モードをＰｒｅｄ＿ｍｐｍとするとき、周辺ブロックの画面内予測モードを用いて前記Ｐｒｅｄ＿ｍｐｍを変更することができる。例えば、Ｐｒｅｄ＿ｍｐｍが周辺ブロックの画面内予測モード（又は二つ以上の画面内予測モードの統計値）よりも大きい場合には、Ｐｒｅｄ＿ｍｐｍをｎだけ増加させ、そうでない場合には、ｎだけ減少させることができる。この時、ｎは＋１、＋２、＋３、０、−１、−２、−３などの所定の整数であり得る。現在ブロックの画面内予測モードは、変更されたＰｒｅｄ＿ｍｐｍによって誘導できる。又は、Ｐｒｅｄ＿ｍｐｍと周辺ブロックの画面内予測モードのうちの少なくとも一つが非方向性モードである場合、現在ブロックの画面内予測モードは前記非方向性モードとして誘導されてもよい。又は、逆に、現在ブロックの画面内予測モードは方向性モードとして誘導されてもよい。
画面内予測モードを誘導する別の実施形態として、他の色成分の画面内予測モードを用いて現在ブロックの画面内予測モードを誘導することができる。たとえば、現在ブロックが色差ブロックである場合、前記色差ブロックに対応する輝度ブロックの画面内予測モードが使用できる。前記対応する輝度ブロックは一つ以上であり得る。前記対応する輝度ブロックは、色差ブロックのサイズ、形状及び／又は符号化パラメータのうちの少なくとも一つに基づいて決定できる。又は、前記対応する輝度ブロックは輝度ブロックのサイズ、形状及び／又は符号化パラメータのうちの少なくとも一つに基づいて決定できる。
色差ブロックに対応する輝度ブロックは複数のパーティションを含むことができる。前記複数のパーティションの全部又は一部は、互いに異なる画面内予測モードを持つことができる。色差ブロックの画面内予測モードは、対応する輝度ブロック内の複数のパーティションの全部又は一部に基づいて誘導できる。この際、色差ブロックと輝度ブロック（複数のパーティションの全部又は一部）とのブロックサイズ、形状、深さ情報などの比較に基づいて一部のパーティションが選択的に利用できる。色差ブロック内の所定の位置に対応する輝度ブロック内の位置のパーティションが選択的に利用されてもよい。前記所定の位置は、色差ブロックのコーナーサンプル（例えば、左上側サンプル）位置又は中央サンプル位置を意味することができる。
本発明に係る色成分間画面内予測モードの誘導方法は、対応する輝度ブロックの画面内予測モードを用いることに限定されない。例えば、対応する輝度ブロックのｍｐｍ＿ｉｄｘ又はＭＰＭ ｌｉｓｔのうちの少なくとも一つを用いるか或いは共有して色差ブロックの画面内予測モードを誘導することもできる。
図６は輝度ブロックと色差ブロックとの関係を説明するための例示図である。
図６に示された例において、色成分間の比率は４：２：０であり、色差ブロックに対応する輝度ブロックはＡ、Ｂ、Ｃ及びＤのうちの少なくとも一つであり得る。
図６に示された例において、色差ブロックの画面内予測モードは、色差ブロック内の左上側の位置（０，０）に対応する輝度ブロックＡの画面内予測モード、又は色差ブロックの中央サンプル位置（ｎＳ／２，ｎＳ／２）に対応する輝度ブロックＤの画面内予測モードを用いて誘導できる。前記色差ブロック内の所定の位置は（０，０）及び（ｎＳ／２、ｎＳ／２）に限定されない。例えば、前記所定の位置は、色差ブロック内の右上側、左下側及び／又は右下側コーナーサンプルの位置であり得る。
前記所定の位置は、色差ブロックの形状に応じて選択できる。例えば、色差ブロックが正方形である場合、前記所定の位置は中央サンプル位置であり得る。例えば、色差ブロックが長方形である場合、前記所定の位置は左上側サンプル位置であり得る。上記の例において、色差ブロックが正方形である場合と長方形である場合における前記所定の位置は反対であってもよい。
別の実施形態として、色差ブロックのサイズに対応する輝度ブロック内の一つ以上の画面内予測モードの統計値を用いて色差ブロックの画面内予測モードを誘導することができる。
図６に示された例において、例えば、輝度ブロックＡとＤの画面内予測モードの平均に該当するモード、又は色差ブロックのサイズに対応する輝度ブロック内のＡ、Ｂ、Ｃ、Ｄの画面内予測モードの平均に該当するモードを色差ブロックの画面内予測モードとして誘導することができる。
利用可能な輝度ブロックの画面内予測モードが複数存在する場合、そのうちの全部又は一部が選択できる。前記選択は、色差ブロック内の所定の位置に基づいて、或いは色差ブロック及び／又は輝度ブロックのサイズ、形状及び／又は深さに基づいて行われ得る。前記選択された輝度ブロックの画面内予測モードを用いて、色差ブロックの画面内予測モードを誘導することができる。
例えば、色差ブロック内の左上側サンプル位置（０，０）に対応する輝度ブロックＡのサイズと色差ブロック内の中央サンプル位置（ｎＳ／２、ｎＳ／２）に対応する輝度ブロックＤのサイズとを比較して相対的に大きい輝度ブロックＤの画面内予測モードを利用して、色差ブロックの画面内予測モードを誘導することができる。
又は、色差ブロック内の所定の位置に対応する輝度ブロックが色差ブロックよりも大きいか同じであれば、該当輝度ブロックの画面内予測モードを用いて、色差ブロックの画面内予測モードを誘導することができる。
又は、色差ブロックのサイズが所定の範囲に該当する場合、色差ブロック内の左上端のサンプル位置（０，０）に対応する輝度ブロックの画面内予測モードを用いて色差ブロックの画面内予測モードを誘導することができる。
又は、色差ブロックのサイズが所定の範囲に該当する場合、色差ブロック内の所定の位置（０，０）及び（ｎＳ／２，ｎＳ／２）に対応する輝度ブロックのサイズを比較して大きいブロックの画面内予測モードを用いて、色差ブロックの画面内予測モードを誘導することができる。
前記所定の範囲は、ビットストリームを介してシグナリングされる情報、ブロック（色差ブロック及び／又は輝度ブロック）のサイズ（及び／又は深さ）に関する情報及び符号化器／復号化器で予め定義された情報のうちの少なくとも一つに基づいて誘導できる。
又は、色差ブロックの形状が長方形である場合、色差ブロック内の中央サンプル位置（ｎＳ／２、ｎＳ／２）に対応する輝度ブロックの画面内予測モードを用いて色差ブロックの画面内予測モードを誘導することができる。
又は、輝度ブロック内の複数のパーティションのうち、色差ブロックと同じ形状を有するパーティションが使用できる。例えば、色差ブロックが正方形又は非正方形である場合、輝度ブロック内の複数のパーティションのうち正方形又は非正方形のパーティションが使用できる。
図６を参照して説明した例において、輝度ブロックの画面内予測モードを用いて色差ブロックの画面内予測モードを誘導するという意味は、輝度ブロックの画面内予測モードが色差ブロックの画面内予測モードとしてそのまま用いられる場合を含む。また、輝度ブロックの画面内予測モードを用いることに限定されず、輝度ブロックのｍｐｍ＿ｉｄｘ、ＭＰＭリストを含んで、輝度ブロックの画面内予測モードの誘導時に使用された情報を用いてもよい。
又は、前記所定の位置に対応する輝度ブロックの画面内予測モードを用いて色差ブロックに対するＭＰＭリストを構成することもできる。この場合、色差ブロックに対するｍｐｍ＿ｉｄｘ情報が符号化されてシグナリングできる。色差ブロックに対するＭＰＭリストは、輝度ブロックに対するＭＰＭリストと同様の方法で構成できる。しかし、色差ブロックのＭＰＭ候補は、周辺色差ブロックの画面内予測モード、及び／又は対応する輝度ブロックの画面内予測モードを含むことができる。
ＭＰＭ ｆｌａｇが０である場合、一つ以上の画面内予測モードを含む２次ＭＰＭリストを構成し、２次ＭＰＭインデックス（２ｎｄ＿ｍｐｍ＿ｉｄｘ）を用いて現在ブロックの画面内予測モードを誘導することができる。この際、現在ブロックの画面内予測モードが２次ＭＰＭリストに含まれるかを指示する２次インジケータ（例えば、２次ＭＰＭ ｆｌａｇ）が符号化／復号化できる。２次ＭＰＭリストは、１次ＭＰＭリストと同様に、周辺ブロックの画面内予測モードを用いて構成できる。このとき、１次ＭＰＭリストに含まれている画面内予測モードは、２次ＭＰＭリストに含まれなくてもよい。ＭＰＭリストの個数は、１つ又は２つに限定されず、Ｎ個のＭＰＭリストが使用できる。
現在ブロックの画面内予測モードが複数のＭＰＭリストのいずれかに含まれない場合、現在ブロックの輝度成分画面内予測モードは符号化／復号化できる。また、色差成分画面内予測モードは、対応する輝度成分画面内予測モードに基づいて誘導されるか或いは符号化／復号化され得る。
現在ブロックが複数のサブブロック（ｓｕｂ ｂｌｏｃｋ）に分割される場合、分割されたそれぞれのサブブロックに対する画面内予測モードを誘導するために、前述した方法のうちの少なくとも一つが適用できる。
サブブロックのサイズ及び／又は形状は、所定のサイズ及び／又は形状（例えば、４ｘ４）であるか、現在ブロックのサイズ及び／又は形状に応じて決定できる。又は、サブブロックのサイズは、現在ブロックの周辺ブロックの分割有無に基づいて決定されるか、或いは現在ブロックの周辺ブロックの画面内予測モードに基づいて決定され得る。例えば、周辺ブロックの画面内予測モードが互いに異なる境界を基準に、現在ブロックが分割できる。又は、周辺ブロックが画面内符号化ブロックであるか画面間符号化ブロックであるかに基づいて、現在ブロックが分割できる。
現在ブロックの画面内予測モードが周辺ブロックの画面内予測モードを用いて誘導されることを示すインジケータ（例えば、ＮＤＩＰ＿ｆｌａｇ）が符号化／復号化できる。前記インジケータは、現在ブロック又はサブブロックのうちの少なくとも一つの単位ごとに符号化／復号化できる。この時、現在ブロック又はサブブロックのサイズが所定のサイズ又は所定のサイズの範囲に該当する場合にのみ前記インジケータが符号化／復号化できる。
現在ブロックのサイズが所定のサイズに該当するかの判断は、現在ブロックの横幅又は縦幅に基づいて行われ得る。例えば、横幅又は縦幅が分割可能な長さであれば、現在ブロックのサイズが所定のサイズに該当すると判断できる。
現在ブロックが複数のサブブロックに分割される場合、複数のサブブロックの画面内予測モードは、ジグザグ順序で誘導されるか或いは並列的に誘導され得る。サブブロックの画面内予測モードは、現在ブロックの画面内予測モードを誘導する方法のうちの少なくとも一つの方法で誘導できる。この時、現在ブロックの周辺ブロックが各サブブロックの周辺ブロックとして使用されてもよい。又は、現在ブロック内のサブブロックが各サブブロックの周辺ブロックとして使用されてもよい。
現在ブロックに属するサブブロックの画面内予測モードは、現在ブロックの画面内予測モードと各サブブロックの（０，０）位置サンプルの左側と上側に隣接するブロックの画面内予測モードとの平均値を用いて誘導することができる。たとえば、現在ブロックの画面内予測モードが前記平均値よりも大きい場合、前記平均値の１／２だけを前記誘導した画面内予測モードから差し引くことができ、前記平均値より小さいか同じ場合には加えることができる。
画面内予測に関する情報は、ＶＰＳ（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライス（ｓｌｉｃｅ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダーのうちの少なくとも一つを介してシグナリングできる。所定のブロックサイズ以下では、画面内予測に関する情報のうちの少なくとも一つがシグナリングされないことがある。この場合、以前に符号化／復号化されたブロック（例えば、上位ブロック）の画面内予測に関する情報が使用できる。
前記誘導された画面内予測モードに基づいて、画面内予測のための参照サンプルが構成できる。以下の説明において、現在ブロックは、予測ブロック、又は予測ブロックよりも小さいサイズ／形状を有するサブブロックを意味することができる。参照サンプルは、現在ブロックの周辺の復元された一つ以上のサンプル又はサンプル組み合わせを用いて構成できる。また、構成された参照サンプルに対してフィルタリングが適用できる。
参照サンプルの構成に使用される復元サンプルラインの数及び／又は位置は、符号化ツリーブロック内の現在ブロックの位置によって異なり得る。複数の復元サンプルライン上の各復元サンプルはそのまま参照サンプルとして使用できる。又は、復元サンプルに所定のフィルタを適用し、フィルタリングされた復元サンプルを用いて参照サンプルを生成することもできる。フィルタが適用される復元サンプルは、同じ復元サンプルラインに属するか、或いは異なる復元サンプルラインに属することができる。
前記構成された参照サンプルはｒｅｆ［ｍ，ｎ］で表し、周辺の復元されたサンプル又はこれをフィルタリングしたサンプルはｒｅｃ［ｍ，ｎ］で表すことができる。このとき、ｍ又はｎは、サンプルの位置を示す所定の整数値であり得る。現在ブロック内の左上側サンプルの位置が（０，０）であるとき、現在ブロックの左上側参照サンプルの位置は（−１，−１）に設定できる。
前記参照サンプルを構成するために周辺の復元サンプルに対して可用性（ａｖａｉｌａｂｉｌｉｔｙ）有無を判断することができる。前記周辺の復元サンプルがピクチャ、スライス、タイル及びＣＴＵの少なくとも一つの領域外に位置する場合、利用不可能と判断することができる。又は、現在ブロックに対する限られた画面内予測（ｃｏｎｓｔｒａｉｎｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）を行う場合、前記周辺の復元サンプルが画面間で符号化／復号化されたブロックに位置する場合、利用不可能と判断することができる。
前記周辺の復元されたサンプルが利用不可能であると判断される場合、周辺の利用可能な復元サンプルを用いて利用不可能サンプルを代替することができる。たとえば、左下側サンプルの位置から始まり、隣接する利用可能サンプルを用いて利用不可能サンプルを満たすことができる。又は、利用可能サンプルの組み合わせを用いて利用不可能サンプルを満たすことができる。例えば、利用不可能サンプルの両端に位置する利用可能サンプルの平均値を用いて利用不可能サンプルを満たすことができる。
又は、利用可能参照サンプルの情報を用いて利用不可能サンプルを満たすことができる。このとき、隣接する利用可能サンプル値ではなく、任意の値で利用不可能サンプルを満たすことができる。前記任意の値は、利用可能サンプル値の平均値であってもよく、利用可能サンプル値の勾配（Ｇｒａｄｉｅｎｔ）を考慮した値であってもよい。又は、平均値と勾配の両方が使用されてもよい。前記勾配は、隣接する利用可能サンプルの差分値に基づいて決定できる。又は、前記平均値と利用可能サンプル値との差分値に基づいて決定されてもよい。前記平均値の他に、最大値、最小値、中央値又は任意の重みを用いた重み付け和が使用できる。前記任意の重みは、利用可能サンプルと利用不可能サンプルとの距離に基づいて決定できる。
これらの方法は、上側及び左側の参照サンプルの両方に適用されるか、或いは任意の方向に対してのみ適用できる。また、複数の復元サンプルラインを用いて現在ブロックの参照サンプルラインを構成する場合にも、これらの方法が適用できる。
現在ブロックの画面内予測モード又はブロックのサイズ／形状のうちの少なくとも一つに基づいて、前記構成した一つ以上の参照サンプルに対してフィルタリングを適用するか否かを決定することができる。フィルタリングを適用する場合には、前記現在ブロックの画面内予測モード、サイズ及び形状のうちの少なくとも一つに応じてフィルタの種類が変わり得る。
前記誘導された画面内予測モード及び参照サンプルに基づいて、前記現在ブロックに対する画面内予測を行うことができる。
ＤＣモードの場合、前記構成した参照サンプルのうちの一つ以上の参照サンプルの平均値が使用できる。この際、現在ブロックの境界に位置する一つ以上の予測サンプルに対してフィルタリングが適用できる。ＤＣ予測は、現在ブロックのサイズ及び形状の少なくとも一つに基づいて異なるように行うことができる。例えば、現在ブロックのサイズ及び／又は形状に基づいて、ＤＣモードに用いられる参照サンプルの範囲が特定できる。
図７は現在ブロックのサイズ及び／又は形状によるＤＣ予測を説明するための図である。
図７の（ａ）に示すように、現在ブロックが正方形である場合、現在ブロックの上側と左側の参照サンプルの平均値を用いてＤＣ予測を行うことができる。
現在ブロックが非正方形である場合、現在ブロックの左側又は上側に隣接する周辺サンプルが選択的に使用できる。例えば、図７の（ｂ）に示すように、現在ブロックが長方形である場合、現在ブロックの横幅及び縦幅のうちの大きい方に隣接する参照サンプルの平均値を用いてＤＣ予測を行うことができる。
又は、現在ブロックのサイズが所定のサイズであるか或いは所定の範囲に含まれる場合には、現在ブロックの上側又は左側の参照サンプルの中から所定のサンプルを選択し、選択されたサンプルの平均値を用いてＤＣ予測を行うことができる。前記所定のサイズは、符号化器／復号化器で所定の固定サイズＮｘＭを意味することができる。ＮとＭは０よりも大きい整数であり、ＮとＭは互いに同一でも異なってもよい。前記所定の範囲は、現在ブロックの参照サンプルを選択するための臨界値を意味することができる。前記臨界値は、最小値又は最大値の少なくとも一つで実現できる。最小値及び／又は最小値は、符号化器／復号化器で所定の固定値であってもよく、符号化器で符号化されてシグナリングされる可変値であってもよい。
前述したように、ＤＣ予測のためには一つ以上の参照サンプルの平均値が使用できる。平均値の演算のためには、参照サンプルの個数を用いた除算が実行できる。参照サンプルの個数が２ｎ個である場合（ｎは正の整数）、前記除算はバイナリシフト演算で代替することができる。非正方形ブロックの場合、上側及び左側の参照サンプルをすべて用いると、参照サンプルの個数が２ｎではないことがある、この場合、除算演算の代わりにシフト演算が利用できない。したがって、前記実施形態での如く、上側又は左側の２ｎ個の参照サンプルを用いることにより、除算をシフト演算で代替することができる。
プランナーモードの場合、前記現在ブロックの画面内予測対象サンプルの位置に応じて、前記構成した一つ以上の参照サンプルからの距離を考慮した重み付け和が使用できる。
方向性モードの場合、画面内予測対象サンプルの位置で所定の角度線上及び周辺に存在する一つ以上の参照サンプルが使用できる。
位置情報ベースの画面内予測モードの場合、符号化／復号化されるか或いは誘導される位置情報に基づいて生成される復元サンプルブロックを現在ブロックの画面内予測ブロックとして用いることができる。又は、復号化器が現在ブロックの画面内予測ブロックとして用いられる復元サンプルブロックを検索して誘導することができる。
色差信号に対する画面内予測は、現在ブロックの復元された輝度信号を用いて行われ得る。また、現在ブロックの復元された一つの色差信号Ｃｂ又はＣｂの残差信号を用いて、他の色差信号Ｃｒに対する画面内予測を行うこともできる。
前記一つ以上の予測方法を組み合わせて画面内予測を行うことができる。例えば、所定の非方向性画面内予測モードを用いて予測したブロックと、所定の方向性画面内予測モードを用いて予測したブロックとの重み付け和を介して、現在ブロックに対する画面内予測ブロックを構成することができる。このとき、重みは、現在ブロックの画面内予測モード、ブロックのサイズ及びサンプルの位置のうちの少なくとも一つによって異なるように適用できる。又は、色差ブロックの場合、所定の画面内予測モードを用いて予測したブロックと、輝度ブロックの復元された信号を用いて予測したブロックとの重み付け和を介して、前記色差ブロックに対する画面内予測ブロックを構成することができる。このとき、前記所定の画面内予測モードは、例えば、前記色差ブロックの画面内予測モードを誘導するために用いられるモードのいずれか一つであり得る。色差ブロックの場合、前述したように２つの予測ブロックの重み付け和を用いて最終予測ブロックを構成するかどうかは、符号化された情報によってシグナリングできる。
方向性モードの場合、方向性予測モードに基づいて、前記構成した参照サンプルを再構成することができる。例えば、前記方向性予測モードが左側及び上側に存在する参照サンプルをすべて用いるモードである場合、左側又は上側の参照サンプルに対して１次元配列を構成することができる。又は、左側参照サンプルを移動して上側の参照サンプルを構成することもでき、一つ以上の左側参照サンプルの重み付け和を用いて上側の参照サンプルを構成することもできる。
現在ブロックの所定のサンプルグループ単位で互いに異なる方向性画面内予測が行われてもよい。前記所定のサンプルグループ単位はブロック、サブブロック、ライン又は単一サンプルであり得る。
本発明に係る実施形態によれば、色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）間画面内予測を行うことができる。図８は色成分間画面内予測実行過程を説明するための図である。色成分間画面内予測は、色成分ブロック再構成ステップ（Ｓ８１０）、予測パラメータ誘導ステップ（Ｓ８２０）、及び／又は色成分間予測実行ステップ（Ｓ８３０）を含むことができる。前記色成分は、輝度（ｌｕｍａ）信号、色差（ｃｈｒｏｍａ）信号、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｙ、Ｃｂ及びＣｒのうちの少なくとも一つを意味することができる。第２色成分、第３色成分及び第４色成分の少なくとも一つを用いて前記第１色成分に対する予測を行うことができる。このとき、予測に用いられる色成分の信号は、原本信号、復元された信号、残差／レジデュアル信号及び予測信号のうちの少なくとも一つであり得る。
第２色成分対象ブロックに対して画面内予測を行うとき、前記対象ブロックに対応する第１色成分対応ブロックのサンプル及び／又は対応ブロックの周辺ブロックのサンプルのうちの少なくとも一つのサンプルを用いることができる。例えば、色差成分ブロックＣｂ又はＣｒに対して画面内予測を行うとき、前記色差成分ブロックに対応する復元された輝度成分ブロックＹを用いることができる。又は、Ｃｒ成分ブロックに対して画面内予測を行うとき、Ｃｂ成分ブロックを用いることができる。又は、第４色成分ブロックに対して画面内予測を行うとき、前記ブロックに対応する第１色成分ブロック、第２色成分ブロック及び第３色成分ブロックのうちの少なくとも一つの組み合わせを用いることができる。
色成分間画面内予測を行うか否かは、現在対象ブロックのサイズ及び形状の少なくとも一つに基づいて決定できる。例えば、対象ブロックのサイズがＣＴＵサイズであるか、所定のサイズ以上であるか或いは所定のサイズの範囲に該当する場合、前記対象ブロックに対して色成分間画面内予測を行うことができる。又は、対象ブロックの形状が所定の形状である場合、前記対象ブロックに対して色成分間画面内予測を行うことができる。前記所定の形状は正方形であり得る。この場合、対象ブロックが長方形であれば、色成分間画面内予測は行われなくてもよい。前記所定の形状が長方形である場合には、前述した実施形態は逆に動作することができる。
又は、色成分間画面内予測を行うか否かは、予測対象ブロックに対応する対応ブロック及び対応ブロックの周辺ブロックのうちの少なくとも一つの符号化パラメータに基づいて決定されてもよい。例えば、ＣＩＰ（Ｃｏｎｓｔｒａｉｎｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）環境下で対応ブロックが画面間予測された場合、色成分間画面内予測は行われなくてもよい。又は、対応ブロックの画面内予測モードが所定のモードに該当する場合、色成分間画面内予測が行われ得る。又は、対応ブロック及び周辺ブロックのＣＢＦ情報のうちの少なくとも一つに基づいて、色成分間画面内予測を行うか否かを決定することもできる。前記符号化パラメータは、ブロックの予測モードに限定されず、符号化／復号化に使用できる前述した様々なパラメータが使用されてもよい。
以下、ステップＳ８１０の色成分ブロック再構成ステップについて説明する。
第１色成分ブロックを用いて第２色成分ブロックを予測するとき、前記第１色成分ブロックを再構成することができる。例えば、画像の色空間がＹＣｂＣｒであり、色成分間の比率が４：４：４、４：２：２、４：２：０のうちのいずれかである場合、色成分間ブロックのサイズが互いに異なることがある。したがって、サイズの異なる第１色成分ブロックを用いて第２色成分ブロックを予測するとき、２つのブロックのサイズを同一にするために前記第１色成分ブロックを再構成することができる。このとき、再構成されたブロックは、前記第１色成分対応ブロックのサンプル及び周辺ブロックのサンプルのうちの少なくとも一つを含むことができる。図９は色成分ブロックの再構成を説明するための例示図である。
図９の（ａ）において、ｐ１［ｘ，ｙ］は、第１色成分ブロックの（ｘ，ｙ）位置のサンプルを示すことができる。図９の（ｂ）において、ｐ１'［ｘ，ｙ］は、前記第１色成分ブロックを再構成したブロックの（ｘ，ｙ）位置のサンプルを示すことができる。
第１色成分ブロックのサイズが第２色成分ブロックのサイズよりも大きい場合、前記第１色成分ブロックをダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）して第２色成分ブロックのサイズと同じサイズのブロックに再構成することができる。前記ダウンサンプリングは、一つ以上のサンプルに対してＮ−ｔａｐフィルタを適用して行われ得る（Ｎは１以上の整数）。このとき、下記数式１乃至数式５のうちの少なくとも一つの数式が利用できる。複数のダウンサンプリング方法のいずれかが選択的に使用される場合、符号化器は、一つのダウンサンプリング方法を所定の方法として選択することができる。例えば、符号化器は、最適の効果を有するダウンサンプリング方法を選択することができる。選択されたダウンサンプリング方法は、符号化されて復号化器へシグナリングできる。シグナリングされる情報は、ダウンサンプリング方法を指示するインデックス情報であり得る。
［数式１］
p1’[x, y] = (p1[2x, 2y] + p1[2x, 2y+1] + 1) >> 1
［数式２］
p1’[x, y] = (p1[2x+1, 2y] + p1[2x+1, 2y+1] + 1) >> 1
［数式３］
p1’[x, y]= (p1[2x-1, 2y] + 2 x p1[2x, 2y] + p1[2x+1, 2y] + 2) >> 2
［数式４］
p1’[x, y] = (p1[2x-1, 2y+1] + 2 * p1[2x, 2y+1] + p1[2x+1, 2y+1] + 2) >> 2
［数式５］
p1’[x, y] = (p1[2x-1, 2y] + 2 * p1[2x, 2y] + p1[2x+1, 2y] + p1[2x-1, 2y+1] + 2 * p1[2x, 2y+1] + p1[2x+1, 2y+1] + 4) >> 3
２つ以上のサンプルを用いてダウンサンプリングを行う方法は、前記数式１乃至数式５の実施形態に限定されない。例えば、ダウンサンプリングされた値ｐ１'［ｘ，ｙ］を計算するために使用できる２つ以上のサンプルは、ｐ１［２ｘ，２ｙ］及びこれに隣接するサンプルから選択できる。前記隣接するサンプルは、ｐ１［２ｘ−１，２ｙ−１］、ｐ［２ｘ−１，２ｙ］、ｐ１［２ｘ−１，２ｙ＋１］、ｐ１［２ｘ，２ｙ−１］、ｐ１［２ｘ，２ｙ＋１］、ｐ１［２ｘ＋１，２ｙ−１］、ｐ１［２ｘ＋１、２ｙ］及びｐ１［２ｘ＋１、２ｙ＋１］から選択できる。二つ以上のサンプルを用いて平均又は加重平均を計算することにより、ダウンサンプリングを行うことができる。
又は、前記ダウンサンプリングは、一つ以上のサンプルの中から特定のサンプルを選択して行われ得る。このとき、下記数式６乃至数式９のうちの少なくとも一つの数式が利用できる。
［数式６］
p1’[x, y] = p1[2x, 2y]
［数式７］
p1’[x, y] = p1[2x, 2y+1]
［数式８］
p1’[x, y] = p1[2x+1, 2y]
［数式９］
p1’[x, y] = p1[2x+1, 2y+1]
第１色成分ブロックのサイズが第２色成分ブロックのサイズよりも小さい場合、前記第１色成分ブロックをアップサンプリング（ｕｐ−ｓａｍｐｌｉｎｇ）して第２色成分ブロックのサイズと同じサイズのブロックに再構成することができる。このとき、下記数式１０が利用できる。
［数式１０］
p1’[2x, 2y] = p1[x,y],
p1’[2x+1, 2y] = (p1[x, y] + p1[x+1, y]+1)>>1,
p1’[2x, 2y+1] = (p1[x, y] + p1[x, y+1]+1)>>1,
p1’[2x+1, 2y+1] = (p1[x+1, y] + p1[x, y+1]+1) >> 1
前記再構成過程を行うにあたり、一つ以上のサンプルに対してフィルタを適用することができる。例えば、前記第１色成分対応ブロック、対応ブロックの周辺ブロック、第２色成分対象ブロック、及び対象ブロックの周辺ブロックのうちの少なくとも一つに含まれた１つ以上のサンプルに対してフィルタを適用することができる。
前述した参照サンプル構成ステップで、複数の参照サンプルラインのうちの所定のラインに対応するインジケータがシグナリングできる。このとき、前記再構成過程では、前記シグナリングされたインジケータに該当する所定のラインを用いて再構成を行うことができる。
前記再構成過程を行うにあたり、第２色成分対象ブロックの境界又は対応する第１色成分対応ブロックの境界のうちの少なくとも１つが所定の領域の境界に該当する場合、再構成に用いられる参照サンプルを異なるように選択することができる。このとき、上側の参照サンプルラインの個数と左側の参照サンプルラインの個数とが互いに異なり得る。前記所定の領域は、例えば、ピクチャ、スライス、タイル、ＣＴＵ及びＣＵの少なくとも一つであり得る。
例えば、前記第１色成分対応ブロックの上側境界が前記所定の領域の境界に該当する場合には、上側の参照サンプルは用いず、左側の参照サンプルだけを用いて再構成を行うことができる。前記第１色成分対応ブロックの左側境界が前記所定の領域の境界に該当する場合、左側の参照サンプルは用いず、上側の参照サンプルだけを用いて再構成を行うことができる。又は、Ｎ個の上側参照サンプルラインとＭ個の左側参照サンプルラインを用いることができ、このとき、ＮはＭより小さくてもよい。例えば、上側境界が前記所定の領域の境界に該当する場合には、Ｎは１であり、左側の境界が前記所定の領域の境界に該当する場合には、Ｍは１であり得る。
又は、前記所定の領域の境界に該当するか否かを問わずに、前記第１色成分対応ブロックのＮ個の上側参照サンプルライン及び／又はＭ個の左側参照サンプルラインを用いて再構成を行うこともできる。
図１０は複数の上側及び／又は左側の参照サンプルラインを用いて再構成を行う実施形態を説明するための図である。
図１０の（ａ）に示すように、４つの上側参照サンプルライン及び４つの左側参照サンプルラインを用いて再構成を行うことができる。
例えば、第１色成分対応ブロックの上側又は左側の境界が前記所定の領域の境界に該当する場合、再構成に用いられる上側及び左側参照サンプルラインの個数は互いに異なり得る。例えば、図１０の（ｂ）乃至（ｄ）に示すように、２つの上側参照サンプルライン及び４つの左側参照サンプルラインを用いるか、或いは１つの上側参照サンプルライン及び３つの左側参照サンプルラインを用いるか、或いは１つの上側参照サンプルライン及び２つの左側参照サンプルラインを用いることができる。
用いられる参照サンプルラインの数は、上記の例に限定されず、Ｎ個の上側参照サンプルラインとＭ個の左側参照サンプルラインが用いられてもよい。Ｎ、Ｍは同一でも異なってもよい。上側及び左側の境界がすべて前記所定領域の境界に該当する場合には、ＮとＭは同一であり得るが、例えば１である。又は、同じ条件で、ＮはＭよりも小さく設定できる。これは左側参照サンプルラインよりも上側参照サンプルラインの保存にさらに多くのリソース（メモリ）が必要だからである。
又は、図１０の（ｅ）に示すように、第１色成分対応ブロックの横幅及び縦幅から外れない一つ以上の参照サンプルを用いて再構成を行うこともできる。
前記再構成を行うにあたり、第１色成分対応ブロック及びその周辺ブロック、第２色成分対象ブロック及びその周辺ブロックのうちの少なくとも一つのブロックのサイズ、形状、符号化パラメータの少なくとも一つに応じて、第１色成分対応ブロックの参照サンプル再構成を異なるように行うことができる。
例えば、第１色成分対応ブロック又は周辺ブロックのうち、符号化モードが画面間符号化モードであるブロックのサンプルは用いず、画面内符号化モードであるブロックのサンプルを用いて参照サンプルを再構成することができる。
図１１は対応ブロックの画面内予測モード又は符号化パラメータに応じて再構成に用いられる参照サンプルを説明するための例示図である。第１色成分対応ブロックの画面内予測モードに応じて、第１色成分ブロックの参照サンプルの再構成を異なるように行うことができる。例えば、対応ブロックの画面内予測モードがＤＣモード又はＰｌａｎａｒモードのように非方向性モードであるか、上側参照サンプルと左側参照サンプルの両方を用いる方向性モードである場合、図１１の（ａ）に示すように、上側及び左側に存在する参照サンプルのうちの少なくとも１つを用いて再構成を行うことができる。又は、対応ブロックの画面内予測モードが上側参照サンプルと右上側参照サンプルを用いる方向性モードである場合、図１１の（ｂ）に示すように、上側及び右上側に存在する参照サンプルのうちの少なくとも一つを用いて再構成を行うことができる。又は、対応ブロックの画面内予測モードが左側及び左下側の参照サンプルを用いる方向性モードである場合、図１１の（ｃ）に示すように、左側及び左下側に存在する参照サンプルのうちの少なくとも一つを用いて再構成を行うことができる。
又は、第１色成分対応ブロック又は周辺ブロックのうちの少なくとも一つの量子化パラメータに応じて、第１色成分対応ブロックの参照サンプルの再構成を異なるように行うことができる。例えば、図１１の（ｄ）に示すように、周辺ブロックの量子化パラメータ値（ＱＰ）が相対的に小さい上側ブロックに属する参照サンプルを用いて再構成を行うことができる。
又は、第２色成分対象ブロックの形状が長方形である場合には、正方形である第１色成分対応ブロック周辺の参照サンプルを用いて再構成を行うことができる。
又は、第２色成分対象ブロックが２つのブロック（例えば、２つの１６ｘ８ブロック）に分割され、第１色成分対応ブロックは、例えば、３２ｘ１６ブロックである場合には、３２ｘ３２ブロックの周辺の参照サンプルを用いて再構成を行うことができる。この時、前記第２色成分対応ブロックのうち下側に位置する２番目の１６ｘ８ブロックに対応する第１色成分ブロックの参照サンプルとして、前記再構成した３２ｘ３２ブロックの周辺の参照サンプルを共有することができる。
以下、ステップＳ８２０の予測パラメータ誘導ステップについて説明する。
前記再構成した第１色成分対応ブロックの参照サンプルと第２色成分予測対象ブロックの参照サンプルのうちの少なくとも一つを用いて予測パラメータを誘導することができる。以下、第１色成分及び第１色成分ブロックは、再構成した第１色成分及び再構成した第１色成分ブロックを意味することができる。
図１２は、第２色成分予測対象ブロックが４ｘ４である場合、再構成された第１色成分対応ブロックを説明するための例示図である。このとき、参照サンプルラインはＮ個であり得る。
予測パラメータは、図１２の（ａ）に示すように、再構成された第１色成分対応ブロック又は第２色成分予測対象ブロックの上側と左側の参照サンプルを用いて誘導できる。
例えば、予測パラメータは、第１色成分対応ブロックの画面内予測モードに基づいて、前記再構成された第１色成分の参照サンプルを適応的に用いることにより誘導できる。このとき、第２色成分参照サンプルも、前記第１色成分対応ブロックの画面内予測モードに基づいて適応的に使用できる。
第１色成分対応ブロックの画面内予測モードがＤＣモード又はＰｌａｎａｒモードのように非方向性モードであるか、或いは上側参照サンプルと左側参照サンプルの両方を用いる方向性モードである場合、図１２の（ａ）に示すように、第１色成分対応ブロックの上側と左側参照サンプルを用いることができる。
第１色成分対応ブロックの画面内予測モードが上側参照サンプルを用いる方向性モードである場合、図１２の（ｂ）又は（ｃ）に示すように、第１色成分対応ブロックの上側参照サンプルを用いることができる。
第１色成分対応ブロックの画面内予測モードが左側参照サンプルを用いる方向性モードである場合、図１２の（ｄ）又は（ｅ）に示すように、第１色成分対応ブロックの左側参照サンプルを用いることができる。
又は、第１色成分対応ブロックの画面内予測モードが方向性モードである場合、各モードごとに予測に利用する参照サンプルを前記第１色成分の参照サンプルとして用いることができる。例えば、前記画面内予測モードが垂直モードであれば、図１２の（ｂ）に示された参照サンプルを用いることができる。前記画面内予測モードが水平モードであれば、図１２の（ｄ）に示された参照サンプルを用いることができる。前記画面内予測モードが右上対角線モードであれば、図１２の（ｃ）に示された参照サンプルを用いることができる。前記画面内予測モードが左下対角線モードであれば、図１２の（ｅ）に示された参照サンプルを用いることができる。前記画面内予測モードが垂直モードと右上対角線モードとの間に存在するモードであれば、図１２の（ｆ）に示された参照サンプルを用いることができる。前記画面内予測モードが４５度の対角線に該当する方向性モードである場合、図１２の（ｇ）に示すように右上側又は左下側の参照サンプルの少なくとも一つを用いることができる。画面内予測モードに応じて用いられる参照サンプルは、ルックアップテーブル（Ｌｏｏｋ−ｕｐ ｔａｂｌｅ）の形で保存して用いることができる。
予測パラメータの誘導は、第１色成分ブロック及び／又は第２色成分ブロックのサイズ及び／又は形状に応じて、前記第１色成分又は第２色成分の参照サンプルを適応的に用いて行われ得る。
例えば、前記第２色成分対象ブロックのサイズが６４ｘ６４である場合、前記第１色成分又は第２色成分ブロックの上側又は左側の参照サンプルのうちの３２個、１６個又は８個の参照サンプルが使用できる。上述の如く、第２色成分対象ブロックのサイズが所定のサイズに該当する場合、前記第１又は第２色成分ブロックの参照サンプルが適応的に使用できる。前記所定のサイズは、６４ｘ６４に限定されず、ビットストリームを介してシグナリングされるか、或いは現在ブロック及び周辺ブロックの符号化パラメータに基づいて誘導されるサイズであり得る。
又は、第２色成分対象ブロックの形状が長方形である場合、横及び縦のうちの長い方に隣接する参照サンプルが使用できる。例えば、前記対象ブロックの形状が３２ｘ８である場合、前記第１色成分又は第２色成分ブロックの上側参照サンプルが使用できる。
又は、第２色成分対象ブロックの形状が長方形である場合、正方形ブロックの参照サンプルを用いることができる。例えば、前記対象ブロックの形状が３２ｘ８である場合、３２ｘ３２ブロックの周辺に位置する参照サンプルが使用できる。
予測パラメータの誘導は、前記再構成された第１色成分ブロックの参照サンプル及び第２色成分ブロックの参照サンプルを用いて行われ得る。前記色成分の参照サンプル間の関連性、変化量、平均値及び分布などの少なくとも一つに基づいて予測パラメータが誘導できる。この際、ＬＳ（Ｌｅａｓｔ Ｓｑｕａｒｅ）やＬＭＳ（Ｌｅａｓｔ Ｍｅａｎ Ｓｑｕａｒｅ）などの方法のうちの少なくとも一つが使用できる。
ＬＭＳ方法を用いて予測パラメータを誘導する場合、予測パラメータはａ、ｂ又はアルファ、ベータのうちの少なくとも一つであり得る。下記数式１１を用いて、第１色成分参照サンプルと第２色成分参照サンプル間のエラーを最小化する予測パラメータを誘導することができる。
Figure 2019531025
前記数式１１において、ｐ２ｎは第２色成分参照サンプルを示し、ｐ１’ｎは再構成された第１色成分の参照サンプルを示すことができる。Ｎは用いられる参照サンプルの横又は縦の個数を示し、ａ及びｂは予測パラメータを示すことができる。
このとき、下記数式１２を用いて、参照サンプル間の関連性を計算することができる。
Figure 2019531025
前記数式１２において、ＢｉｔＤｅｐｔｈはビット深度を示すことができる。ｐ１’は再構成された第１色成分のサンプルを示し、ｐ２は第２色成分のサンプルを示すことができる。図１３は第１色成分のサンプル及び第２色成分のサンプルを説明するための図である。
予測パラメータを誘導するとき、参照サンプルが存在しない領域がある場合、存在する参照サンプルだけを用いて予測パラメータを誘導することができる。
前記予測パラメータを一つ以上誘導することができる。例えば、前記予測パラメータを誘導するために用いる参照サンプルの値が特定の条件を満たす参照サンプルから、第１予測パラメータを誘導することができる。また、前記特定の条件を満たさない参照サンプルから第２予測パラメータを誘導することができる。前記特定の条件は、参照サンプルの値が参照サンプルの統計値（例えば、平均値）よりも小さい場合に該当することができる。
本発明の他の実施形態によれば、参照サンプルを用いて予測パラメータを誘導せず、基本予測パラメータ（ｄｅｆａｕｌｔ ｐａｒａｍｅｔｅｒ）が使用されることもある。前記基本予測パラメータは符号化器と復号化器で既に定義できる。例えば、予測パラメータａ、ｂはそれぞれ１、０であり得る。
又は、予測パラメータが誘導される場合、誘導された予測パラメータは符号化／復号化できる。
Ｙ、Ｃｂ、Ｃｒ間の色成分間予測を行う場合、ＣｂとＣｒを予測するための予測パラメータをＹからそれぞれ誘導することもできる。又は、Ｃｒを予測するための予測パラメータをＣｂから誘導することができる。又は、Ｃｒを予測するための予測パラメータを誘導せず、Ｃｂを予測するためにＹから誘導した予測パラメータを用いることができる。
以下、ステップＳ８３０の色成分間予測実行ステップについて説明する。
前述したように、予測パラメータが誘導されると、誘導された予測パラメータのうちの少なくとも一つを用いて色成分間画面内予測を行うことができる。
例えば、下記数式１３を用いて、再構成された第１色成分の復元された信号に、前記誘導された予測パラメータを適用することにより、第２色成分対象ブロックに対する予測を行うことができる。
Figure 2019531025
前記数式１３において、ｐ２[ｘ，ｙ]は第２色成分対象ブロックの予測ブロックであり得る。ｐ１’[ｘ，ｙ]は第１色成分ブロック又は再構成された第１色成分ブロックであり得る。
又は、下記数式１４を用いて、再構成された第１色成分の残差信号に、前記誘導された予測パラメータを適用することにより、第２色成分対象ブロックに対する予測を行うこともできる。
Figure 2019531025
前記数式１４において、ｐ１'＿ｒｅｓｉｄｕａｌは第１色成分の残差信号を示すことができる。また、ｐ２＿ｐｒｅｄは第２色成分対象ブロックに対して画面内予測を行って予測した信号を示すことができる。
前記誘導した予測パラメータが一つ以上である場合には、前記第１色成分の復元されたサンプルに前記一つ以上の予測パラメータを適用することができる。例えば、前記第１色成分の復元されたサンプルが特定の条件を満足する場合には、前記特定の条件を満足する参照サンプルから誘導された第１予測パラメータを適用して、色成分間画面内予測を行うことができる。また、前記第１色成分の復元されたサンプルが前記特定の条件を満足しない場合、前記特定の条件を満足しない参照サンプルから誘導された第２予測パラメータを適用して、色成分間画面内予測を行うことができる。前記特定の条件は、参照サンプルの値が前記第１色成分の参照サンプルの統計値（例えば、平均値）よりも小さい場合に該当することができる。
前記色成分間予測方法は、画面間予測モードにも適用することができる。たとえば、現在ブロックに対する画面間予測を行うにあたり、第１色成分に対しては画面間予測を行い、第２色成分に対しては色成分間予測を行うことができる。例えば、前記第１色成分は輝度成分であり、第２色成分は色差成分であり得る。また、前記色成分間予測は、第１色成分の符号化パラメータに応じて適応的に行うことができる。例えば、前記第１色成分のＣＢＦ情報に基づいて、前記色成分間予測を行うか否かを決定することができる。前記ＣＢＦ情報は残差信号の存否を示す情報であり得る。すなわち、前記第１色成分のＣＢＦが１である場合、第２色成分に対して色成分間予測を行うことができる。前記第１色成分のＣＢＦが０である場合には、第２色成分に対して色成分間予測を行わずに、前記画面間予測を行うことができる。又は、前記色成分間予測を行うか否かを示すフラグをシグナリングすることができる。
これらの実施形態は、符号化器及び復号化器で同様の方法で行われ得る。
これらの実施形態を適用する順序は、符号化器と復号化器で互いに異なってもよく、前記実施形態を適用する順序は、符号化器と復号化器で同一であってもよい。
輝度及び色差信号それぞれに対して前記実施形態を行うことができ、輝度及び色差信号に対する前記実施形態を同様に行うことができる。
上述した本発明の実施形態が適用されるブロックの形状は、正方形（ｓｑｕａｒｅ）あるいは非正方形（ｎｏｎ−ｓｑｕａｒｅ）の形状を有することができる。
上述した本発明の実施形態は、符号化ブロック、予測ブロック、変換ブロック、ブロック、現在ブロック、符号化ユニット、予測ユニット、変換ユニット、ユニット、及び現在ユニットのうちの少なくとも一つのサイズに応じて適用できる。ここでのサイズは、これらの実施形態が適用されるために、最小サイズ及び／又は最大サイズと定義されることもあり、前記実施形態が適用される固定サイズと定義されることもある。また、これらの実施形態は、第１のサイズでは第１実施形態が適用でき、第２のサイズでは第２実施形態が適用できる。すなわち、これらの実施形態は、大きさに応じて複合的に適用できる。また、上述した本発明の実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用できる。すなわち、これらの実施形態を、ブロックのサイズが一定の範囲内に含まれる場合にのみ適用可能である。
例えば、現在ブロックのサイズが８ｘ８以上である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが４ｘ４である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが１６ｘ１６以上、６４×６４以下である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態は、時間的階層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に応じて適用できる。これらの実施形態が適用可能な時間的階層を識別するために、別途の識別子（ｉｄｅｎｔｉｆｉｅｒ）がシグナリングされ、該当識別子によって特定された時間的階層に対してこれらの実施形態が適用できる。ここでの識別子は、前記実施形態に適用可能な最下位階層及び／又は最上位階層と定義されることもあり、前記実施形態が適用される特定の階層を指し示すものと定義されることもある。また、前記実施形態が適用される固定された時間的階層が定義されることもある。
例えば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層識別子が１以上である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態が適用されるスライスタイプ（ｓｌｉｃｅ ｔｙｐｅ）が定義され、当該スライスタイプに応じて本発明の実施形態が適用できる。
上述した実施形態において、これらの方法は、一連のステップ又はユニットでフローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、上述したのとは異なるステップと異なる順序で又は同時に発生することができる。また、当該技術分野における通常の知識を有する者であれば、フローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できることを理解することができるだろう。
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すためのすべての可能な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は、以下の特許請求の範囲内に属するすべての様々な交替、修正及び変更を含むといえる。
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読記録媒体に記録できる。前記コンピュータ可読記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ可読記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明はこれらの実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形したすべてのものは本発明の思想の範疇に属するというべきである。
本発明は、画像を符号化／復号化することに利用可能である。
本発明は、画像符号化／復号方法、装置及びビットストリームを記憶した記録媒体に関する。具体的には、本発明は、画面内予測を用いた画像符号化／復号方法、装置、及び本発明の画像符号化方法又は装置によって生成されたビットストリームを記憶した記録媒体に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な応用分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体を用いて画像データを伝送したり従来の記憶媒体を用いて記憶したりする場合には、伝送費用と記憶費用が増加することになる。このような画像データの高解像度、高品質化に伴って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高効率画像符号化（ｅｎｃｏｄｉｎｇ）／復号（ｄｅｃｏｄｉｎｇ）技術が求められる。
画像圧縮技術として、現在ピクチャの以前又は以後のピクチャから、現在ピクチャに含まれている画素値を予測する画面間（ｉｎｔｅｒ）予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測する画面内（ｉｎｔｒａ）予測技術、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、このような画像圧縮技術を利用して画像データを効果的に圧縮して伝送又は記憶することができる。
本発明は、圧縮効率が向上した画像符号化／復号方法及び装置を提供することを目的とする。
また、本発明は、圧縮効率が向上した画面内予測を用いた画像符号化／復号方法及び装置を提供することを目的とする。
また、本発明は、本発明の画像符号化／復号方法又は装置によって生成されたビットストリームを記憶した記録媒体を提供することを目的とする。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画像復号方法は、前記第１色成分ブロックを用いて予測パラメータを導出するステップと、前記導出された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含むことができる。
本発明に係る画像復号方法において、前記第１色成分ブロックは輝度ブロックであり、前記第２色成分ブロックは色差ブロックであり得る。
本発明に係る画像復号方法において、前記第２色成分ブロックのサイズ又は形状に基づいて、前記第１色成分ブロックを用いた第２色成分ブロックの予測を行うか否かを決定するステップをさらに含むことができる。
本発明に係る画像復号方法において、前記第１色成分ブロックのサイズ及び前記第２色成分ブロックのサイズに基づいて、前記第１色成分ブロックを再構成するステップをさらに含むことができる。
本発明に係る画像復号方法において、前記第１色成分ブロックのサイズが前記第２色成分ブロックのサイズよりも大きい場合、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックをダウンサンプリングするステップを含むことができる。
本発明に係る画像復号方法において、前記第１色成分ブロックのサイズが前記第２色成分ブロックのサイズよりも小さい場合、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックをアップサンプリングするステップを含むことができる。
本発明に係る画像復号方法において、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックの境界又は前記第２色成分ブロックの境界が所定の画像領域の境界に該当するかに基づいて行われ得る。
本発明に係る画像復号方法において、前記所定の画像領域は、ピクチャ、スライス、タイル、ＣＴＵ及びＣＵのうちの少なくとも一つであり得る。
本発明に係る画像復号方法において、前記第１色成分ブロックの境界又は前記第２色成分ブロックの境界が所定の画像領域の境界に該当する場合、前記第１色成分ブロックの再構成に用いられる上側参照サンプルラインの数と左側参照サンプルラインの数とは互いに異なり得る。
本発明に係る画像復号方法において、前記第１色成分ブロックの再構成に用いられる参照サンプルは、前記第１色成分ブロックの画面内予測モードに基づいて決定できる。
本発明に係る画像復号方法において、前記第１色成分ブロックの再構成に用いられる参照サンプルは、前記第１色成分ブロックの近傍ブロックの量子化パラメータに基づいて決定できる。
本発明に係る画像復号方法において、前記第１色成分ブロックが正方形であり、前記第２色成分ブロックは長方形である場合、前記第１色成分ブロックの構成に用いられる参照サンプルは、前記正方形である第１色成分ブロックの近傍の参照サンプルであり得る。
本発明に係る画像復号方法において、前記予測パラメータを導出するステップは、前記第１色成分ブロックの参照サンプルと前記第２色成分ブロックの参照サンプルのうちの少なくとも一つを用いて行われ得る。
本発明に係る画像復号方法において、前記予測パラメータを導出することに用いられる前記参照サンプルは、前記第１色成分ブロックの画面内予測モードに基づいて決定できる。
本発明に係る画像復号方法において、前記予測パラメータを導出することに用いられる前記参照サンプルは、前記第１色成分ブロック又は前記第２色成分ブロックのサイズ又は形状に基づいて決定できる。
本発明に係る画像復号方法において、前記予測パラメータを導出するステップは、前記第１色成分ブロックの参照サンプルと前記第２色成分ブロックの参照サンプルとの関連性、変化量、平均値及び分布のうちの少なくとも一つに基づいて行われ得る。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画面内予測部を含む画像復号装置において、前記画面内予測部は、前記第１色成分ブロックを用いて予測パラメータを導出し、前記導出された予測パラメータを用いて前記第２色成分ブロックを予測することができる。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画像符号化方法は、前記第１色成分ブロックを用いて予測パラメータを導出するステップと、前記導出された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含むことができる。
本発明に係る、第１色成分ブロックを用いて第２色成分ブロックを予測する画面内予測部を含む画像符号化装置において、前記画面内予測部は、前記第１色成分ブロックを用いて予測パラメータを導出し、前記導出された予測パラメータを用いて前記第２色成分ブロックを予測することができる。
本発明に係る記録媒体は、本発明に係る画像符号化方法によって生成されたビットストリームを記憶することができる。
本発明によれば、圧縮効率が向上した画像符号化／復号方法及び装置が提供できる。
また、本発明によれば、圧縮効率が向上した画面内予測を用いた画像符号化／復号方法及び装置が提供できる。
また、本発明によれば、本発明の画像符号化／復号方法又は装置によって生成されたビットストリームを記憶した記録媒体が提供できる。
本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。 本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。 画像を符号化及び復号するときの画像の分割構造を示す概略図である。 画面内予測処理の実施形態を説明するための図である。 本発明に係る画面内予測を説明するための図である。 輝度ブロックと色差ブロックとの関係を説明するための例示図である。 現在ブロックのサイズ及び／又は形状によるＤＣ予測を説明するための図である。 色成分間画面内予測実行処理を説明するための図である。 色成分ブロックの再構成を説明するための例示図である。 複数の上側及び／又は左側の参照サンプルラインを用いて再構成を行う実施形態を説明するための図である。 対応ブロックの画面内予測モード又は符号化パラメータに応じて再構成に用いられる参照サンプルを説明するための例示図である。 第２色成分予測対象ブロックが４ｘ４である場合、再構成された第１色成分対応ブロックを説明するための例示図である。 第１色成分のサンプル及び第２色成分のサンプルを説明するための図である。
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。図面において類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面における要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明される。様々な実施形態は、互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は実施形態の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範囲は、適切に説明されるならば、それらの請求項が主張するのと均等なすべての範囲及び添付の請求項によってのみ限定される。
本発明において、用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列して含むもので、各構成部のうちの少なくとも２つの構成部が合わせられて一つの構成部をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解すべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術的思想の範囲に含まれ得ることを意味する。
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含めて実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
また、以下において、画像は動画像（ｖｉｄｅｏ）を構成する一つのピクチャを意味することもあり、動画像自体を示すこともある。例えば、「画像の符号化及び／又は復号」は、「ビデオの符号化及び／又は復号」を意味することができ、「ビデオを構成する画像のうちの一つの画像の符号化及び／又は復号」を意味することもできる。ここで、ピクチャは画像と同じ意味を持つことができる。
用語説明
符号化器（Ｅｎｃｏｄｅｒ）：符号化（Ｅｎｃｏｄｉｎｇ）を行う装置を意味する。
復号器（Ｄｅｃｏｄｅｒ）：復号（Ｄｅｃｏｄｉｎｇ））を行う装置を意味する。
ブロック（Ｂｌｏｃｋ）：サンプル（Ｓａｍｐｌｅ）のＭｘＮ配列である。
ここで、ＭとＮは正の整数値を意味し、ブロックは一般に２次元形状のサンプル配列を意味することができる。ブロックはユニットを意味することができる。現在ブロックは、符号化の際に符号化の対象となる符号化対象ブロック、復号の際に復号の対象となる復号対象ブロックを意味することができる。また、現在ブロックは符号化ブロック、予測ブロック、残余ブロック及び変換ブロックの少なくとも一つであり得る。
サンプル（Ｓａｍｐｌｅ）：ブロックを構成する基本単位である。ビット深度（ｂｉｔ ｄｅｐｔｈ、Ｂｄ）に応じて０から２Ｂｄ−１までの値で表現できる。本発明において、サンプルは画素又はピクセルと同じ意味で使用できる。
ユニット（Ｕｎｉｔ）：画像符号化及び復号の単位を意味する。画像の符号化及び復号において、ユニットは、一つの画像を分割した領域であり得る。また、ユニットは、一つの画像を細分化されたユニットに分割して符号化或いは復号するとき、その分割された単位を意味することができる。画像の符号化及び復号において、ユニットごとに、予め定義された処理が実行できる。一つのユニットは、ユニットに比べてより小さい大きさを持つ下位ユニットにさらに分割できる。機能によって、ユニットは、ブロック（Ｂｌｏｃｋ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、残余ユニット（Ｒｅｓｉｄｕａｌ Ｕｎｉｔ）、残余ブロック（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）などを意味することができる。また、ユニットは、ブロックと区分して指し示すために、輝度（Ｌｕｍａ）成分ブロック、それに対応する色差（Ｃｈｒｏｍａ）成分ブロック、及び各ブロックに対する構文要素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことができ、特に、ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報は、符号化ユニット、予測ユニット、残余ユニット、変換ユニットなどを指し示すユニットのタイプ、ユニットのサイズ、ユニットの深さ、ユニットの符号化及び復号順序などのうちの少なくとも一つを含むことができる。
符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）：一つの輝度成分（Ｙ）符号化ツリーブロックに関連する２つの色差成分（Ｃｂ、Ｃｒ）符号化ツリーブロックで構成される。また、前記ブロックと各ブロックに対する構文要素を含むことを意味することもできる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニットなどの下位ユニットを構成するために４分木（ｑｕａｄ ｔｒｅｅ）、２分木（ｂｉｎａｒｙ ｔｒｅｅ）などの一つ以上の分割方式を用いて分割できる。入力画像の分割のように画像の復号／符号化処理で処理単位となるピクセルブロックを示すための用語として使用できる。
符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）：Ｙ符号化ツリーブロック、Ｃｂ符号化ツリーブロック及びＣｒ符号化ツリーブロックのうちのいずれかを示すための用語として使用できる。
近傍ブロック（Ｎｅｉｇｈｂｏｒ ｂｌｏｃｋ）：現在ブロックに隣接するブロックを意味する。現在ブロックに隣接するブロックは、現在ブロックに境界が当接するブロック、又は現在ブロックから所定の距離内にあるブロックを意味することができる。近傍ブロックは、現在ブロックの頂点に隣接するブロックを意味することができる。ここで、現在ブロックの頂点に隣接するブロックとは、現在ブロックに横方向に隣接する隣接ブロックに縦方向に隣接するブロック、又は現在ブロックに縦方向に隣接する隣接ブロックに横方向に隣接するブロックであり得る。近傍ブロックは、再構成された近傍ブロックを意味することもできる。
再構成された近傍ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｎｅｉｇｈｂｏｒ Ｂｌｏｃｋ）：現在ブロックの近傍に空間的（Ｓｐａｔｉａｌ）／時間的（Ｔｅｍｐｏｒａｌ）に既に符号化或いは復号された近傍ブロックを意味する。このとき、再構成された近傍ブロックは、再構成された近傍ユニットを意味することができる。再構成された空間的近傍ブロックは、現在ピクチャ内のブロックでありながら符号化及び／又は復号を介して既に再構成されたブロックであり得る。再構成された時間的近傍ブロックは、参照ピクチャ内で現在ピクチャの現在ブロックと同じ位置の再構成されたブロック又はその近傍ブロックであり得る。
ユニット深さ（Ｄｅｐｔｈ）：ユニットが分割された程度を意味する。ツリー構造（Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）において、ルートノード（Ｒｏｏｔ Ｎｏｄｅ）は深さが最も浅く、リーフノード（Ｌｅａｆ Ｎｏｄｅ）は深さが最も深いといえる。また、ユニットをツリー構造で表現したときにユニットが存在するレベル（Ｌｅｖｅｌ）がユニット深さを意味することができる。
ビットストリーム（Ｂｉｔｓｔｒｅａｍ）：符号化された画像情報を含むビットの列を意味する。
パラメータセット（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）：ビットストリーム内の構造のうちのヘッダー情報に該当する。ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、及び適応パラメータセット（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットはスライス（ｓｌｉｃｅ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダー情報を含むこともできる。
パーシング（Ｐａｒｓｉｎｇ）：ビットストリームをエントロピー復号して構文要素（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）の値を決定することを意味するか、或いはエントロピー復号自体を意味することができる。
シンボル（Ｓｙｍｂｏｌ）：符号化／復号対象ユニットの構文要素、符号化パラメータ（ｃｏｄｉｎｇ ｐａｒａｍｅｔｅｒ）、及び変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）の値などの少なくとも一つを意味することができる。また、シンボルはエントロピー符号化の対象或いはエントロピー復号の結果を意味することができる。
予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）：画面間予測、画面内予測、画面間補償、画面内補償、動き補償など、予測を行うときの基本ユニットを意味する。一つの予測ユニットは、大きさが小さい複数のパーティション（Ｐａｒｔｉｔｉｏｎ）又は下位予測ユニットに分割されることも可能である。
予測ユニットパーティション（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ Ｐａｒｔｉｔｉｏｎ）：予測ユニットが分割された形状を意味することができる。
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）：変換、逆変換、量子化、逆量子化、変換係数符号化／復号のように残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）符号化／復号を行うときの基本ユニットを意味する。一つの変換ユニットは、分割されて大きさが小さい複数の変換ユニットに分割できる。
図１は本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。
符号化装置１００は、エンコーダ、ビデオ符号化装置又は画像符号化装置であり得る。ビデオは一つ以上の画像を含むことができる。符号化装置１００は一つ以上の画像を順次符号化することができる。
図１を参照すると、符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含むことができる。
符号化装置１００は、入力画像に対してイントラモード及び／又はインターモードで符号化を行うことができる。また、符号化装置１００は、入力画像に対する符号化を介してビットストリームを生成することができ、生成されたビットストリームを出力することができる。生成されたビットストリームは、コンピュータ可読の記録媒体に記憶されるか、或いは有／無線伝送媒体を介してストリーミングできる。予測モードとしてイントラモードが使用される場合、スイッチ１１５はイントラに切り替えることができ、予測モードとしてインターモードが使用される場合、スイッチ１１５はインターに切り替えることができる。ここで、イントラモードは画面内予測モードを意味することができ、インターモードは画面間予測モードを意味することができる。符号化装置１００は、入力画像の入力ブロックに対する予測ブロックを生成することができる。また、符号化装置１００は、予測ブロックが生成された後、入力ブロック及び予測ブロックの差分（ｒｅｓｉｄｕａｌ）を符号化することができる。入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、現在符号化対象である現在ブロック或いは符号化対象ブロックと称されることもある。
予測モードがイントラモードである場合、イントラ予測部１２０は、現在ブロックの近傍に既に符号化／復号されたブロックのピクセル値を参照画素としても用いることができる。イントラ予測部１２０は、参照画素を用いて空間予測を行うことができ、空間予測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イントラ予測は画面内予測を意味することができる。
予測モードがインターモードである場合には、動き予測部１１１は、動き予測処理で参照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領域を用いて動きベクトルを導出することができる。参照画像は参照ピクチャバッファ１９０に記憶できる。
動き補償部１１２は、動きベクトルを用いる動き補償を行うことにより、予測ブロックを生成することができる。ここで、インター予測は、画面間予測或いは動き補償を意味することができる。
減算器１２５は、入力ブロック及び予測ブロックの差分を用いて残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。残余ブロックは残余信号とも称される。残余信号は、原信号及び予測信号間の差（ｄｉｆｆｅｒｅｎｃｅ）を意味することができる。また、残余信号は、原信号及び予測信号間の差を変換（ｔｒａｎｓｆｏｒｍ）するか、量子化するか、或いは変換及び量子化することにより生成された信号であり得る。残余ブロックはブロック単位の残余信号であり得る。
変換部１３０は、残余ブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を行って変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができ、変換係数を出力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより生成された係数値であり得る。変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）モードが適用される場合、変換部１３０は残余ブロックに対する変換を省略することもできる。
変換係数又は残余信号に量子化を適用することにより、量子化されたレベル（ｑｕａｎｔｉｚｅｄ ｌｅｖｅｌ）が生成できる。以下、実施形態では、量子化されたレベルも変換係数と称されることがある。
量子化部１４０は、変換係数又は残余信号を量子化パラメータに基づいて量子化することにより、量子化されたレベルを生成することができ、量子化されたレベルを出力することができる。このとき、量子化部１４０では、量子化行列を用いて変換係数を量子化することができる。
エントロピー符号化部１５０は、量子化部１４０で算出された値、又は符号化処理で算出された符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）値などに対して確率分布によるエントロピー符号化を行うことにより、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を生成することができ、ビットストリームを出力することができる。エントロピー符号化部１５０は、画像のピクセルに関する情報及び画像の復号のための情報に対するエントロピー符号化を行うことができる。例えば、画像の復号のための情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）などを含むことができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル（ｓｙｍｂｏｌ）に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット列のサイズが減少できる。エントロピー符号化部１５０は、エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの符号化方法を使用することができる。例えば、エントロピー符号化部１５０は、可変長符号化（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ／Ｃｏｄｅ；ＶＬＣ）テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部１５０は、対象シンボルの２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法及び対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ）を導出した後、導出された２値化方法、確率モデル、コンテキストモデル（Ｃｏｎｔｅｘｔ Ｍｏｄｅｌ）を用いて算術符号化を行うこともできる。
エントロピー符号化部１５０は、変換係数レベルを符号化するために、変換係数スキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法を介して２次元のブロック形状係数を１次元のベクトル形態に変更することができる。
符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）は、構文要素のように符号化器で符号化されて復号器へシグナリングされる情報（フラグ、インデックスなど）だけでなく、符号化或いは復号処理で導出される情報を含むことができ、画像を符号化又は復号するときに必要な情報を意味することができる。例えば、ブロックサイズ、ブロック深さ、ブロック分割情報、ユニットサイズ、ユニット深さ、ユニット分割情報、４分木分割フラグ、２分木分割フラグ、２分木分割方向、画面内予測モード、画面内予測方向、参照サンプルフィルタリング方法、予測ブロック境界フィルタリング方法、フィルタタップ、フィルタ係数、画面間予測モード、動き情報、動きベクトル、参照画像インデックス、画面間予測方向、画面間予測インジケータ、参照画像リスト、動きベクトル予測器、動きベクトル候補リスト、動きマージモード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）の使用有無、動きマージ候補、動きマージ候補リスト、スキップ（ｓｋｉｐ）モードの使用有無、補間フィルタの種類、動きベクトルのサイズ、動きベクトル表現の精度、変換種類、変換サイズ、追加（２次）変換の使用有無情報、残余信号の有無情報、符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）、符号化ブロックフラグ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ；ＣＢＦ）、量子化パラメータ、量子化行列、ループ内フィルタ情報、ループ内フィルタの適用有無情報、ループ内フィルタ係数、２値化／逆２値化方法、コンテキストモデル、コンテキストビン、バイパスビン、変換係数、変換係数レベル、変換係数レベルスキャニング方法、画像ディスプレイ／出力順序、スライス識別情報、スライスタイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、ピクチャタイプ、ビット深度、輝度信号或いは色差信号に対する情報のうちの少なくとも一つの値又は組み合わせ形態が符号化パラメータに含まれ得る。
ここで、フラグ或いはインデックスをシグナリング（ｓｉｇｎａｌｉｎｇ）するというのは、エンコーダでは該当フラグ或いはインデックスをエントロピー符号化（Ｅｎｔｒｏｐｙ Ｅｎｃｏｄｉｎｇ）してビットストリーム（Ｂｉｔｓｔｒｅａｍ）に含むことを意味することができ、デコーダではビットストリームから該当フラグ或いはインデックスをエントロピー復号（Ｅｎｔｒｏｐｙ Ｄｅｃｏｄｉｎｇ）することを意味することができる。
符号化装置１００がインター予測を用いた符号化を行う場合、符号化された現在画像は、後で処理される他の画像に対する参照画像として使用できる。よって、符号化装置１００は、符号化された現在画像をさらに再構成又は復号することができ、再構成又は復号された画像を参照画像として記憶することができる。
量子化されたレベルは、逆量子化部１６０で逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）でき、逆変換部１７０で逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）できる。逆量子化及び／又は逆変換された係数は、加算器１７５を介して予測ブロックと合わせられ得る。逆量子化及び逆変換された係数と予測ブロックとを合わせることにより、再構成ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が生成できる。ここで、逆量子化及び／又は逆変換された係数は、逆量子化及び逆変換の少なくとも一つが行われた係数を意味し、再構成された残余ブロックを意味することができる。
再構成ブロックはフィルタ部１８０を経ることができる。フィルタ部１８０は、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ；ＳＡＯ）、適応的ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ；ＡＬＦ）などの少なくとも一つを再構成ブロック又は再構成画像に適用することができる。フィルタ部１８０はループ内フィルタ（ｉｎ−ｌｏｏｐ ｆｉｌｔｅｒ）とも称される。
デブロッキングフィルタは、ブロック間の境界に生じたブロック歪みを除去することができる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれているピクセルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて、互いに異なるフィルタを適用することができる。
サンプル適応的オフセットを用いて符号化エラーを補償するために、ピクセル値に適正オフセット（ｏｆｆｓｅｔ）値を加えることができる。サンプル適応的オフセットは、デブロッキングを行った画像に対してピクセル単位で原本画像とのオフセットを補正することができる。画像に含まれているピクセルを一定数の領域に区分した後、オフセットを行うべき領域を決定し、該当領域にオフセットを適用する方法、又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
適応的ループフィルタは、再構成画像と原画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれているピクセルを所定のグループに分けた後、当該グループに適用されるべきフィルタを決定してグループごとに差別的にフィルタリングを行うことができる。適応的ループフィルタを適用するか否かに関連した情報は、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）別にシグナリングでき、それぞれのブロックに応じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。
フィルタ部１８０を経た再構成ブロック又は再構成画像は参照ピクチャバッファ１９０に記憶できる。図２は本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。
復号装置２００はデコーダ、ビデオ復号装置又は画像復号装置であり得る。
図２を参照すると、復号装置２００は、エントロピー復号部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含むことができる。
復号装置２００は、符号化装置１００から出力されたビットストリームを受信することができる。復号装置１０は、コンピュータ可読記録媒体に記憶されたビットストリームを受信するか、或いは有／無線伝送媒体を介してストリーミングされるビットストリームを受信することができる。復号装置２００は、ビットストリームに対してイントラモード又はインターモードで復号を行うことができる。また、復号装置２００は、復号を介して再構成された画像又は復号された画像を生成することができ、再構成された画像又は復号された画像を出力することができる。
復号に使用される予測モードがイントラモードである場合、スイッチがイントラに切り替えることができる。復号に使用される予測モードがインターモードである場合、スイッチがインターに切り替えることができる。
復号装置２００は、入力されたビットストリームを復号し、再構成された残余ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を取得することができ、予測ブロックを生成することができる。再構成された残余ブロック及び予測ブロックが取得されると、復号装置２００は、再構成された残余ブロックと予測ブロックを加えることにより、復号対象となる再構成ブロックを生成することができる。復号対象ブロックは現在ブロックと称されることがある。
エントロピー復号部２１０は、ビットストリームに対する確率分布に基づくエントロピー復号を行うことにより、シンボルを生成することができる。生成されたシンボルは、量子化されたレベル形態のシンボルを含むことができる。ここで、エントロピー復号方法は、上述したエントロピー符号化方法の逆処理であり得る。
エントロピー復号部２１０は、変換係数レベルを復号するために、変換係数スキャニング方法によって１次元のベクトル形態係数を２次元のブロック形態に変更することができる。
量子化されたレベルは、逆量子化部２２０で逆量子化でき、逆変換部２３０で逆変換できる。量子化されたレベルは、逆量子化又は逆変換が行われた結果であって、再構成された残余ブロックとして生成できる。このとき、逆量子化部２２０は、量子化されたレベルに量子化行列を適用することができる。
イントラモードが使用される場合、イントラ予測部２４０は、復号対象ブロック近傍の、既に復号されたブロックのピクセル値を用いる空間予測を行うことにより、予測ブロックを生成することができる。
インターモードが使用される場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に記憶されている参照画像を用いる動き補償を行うことにより、予測ブロックを生成することができる。
加算器２５５は、再構成された残余ブロック及び予測ブロックを加算して再構成ブロックを生成することができる。フィルタ部２６０は、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタなどの少なくとも一つを再構成ブロック又は再構成画像に適用することができる。フィルタ部２６０は再構成画像を出力することができる。再構成ブロック又は再構成画像は参照ピクチャバッファ２７０に記憶されてインター予測に使用できる。
図３は画像を符号化及び復号するときの画像の分割構造を示す概略図である。図３は一つのユニットが複数の下位ユニットに分割される実施形態を概略的に示す。
画像を効率よく分割するために、符号化及び復号において、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）が使用できる。画像符号化／復号の基本単位として符号化ユニットが使用できる。また、画像符号化／復号の際に画面内モード及び画面間モードが区分される単位として、符号化ユニットを使用することができる。符号化ユニットは、予測、変換、量子化、逆変換、逆量子化、又は変換係数の符号化／復号の処理のために使用される基本単位であり得る。
図３を参照すると、画像３００は、最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＬＣＵ）単位で順次分割され、ＬＣＵ単位で分割構造が決定される。ここで、ＬＣＵは、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ；ＣＴＵ）と同一の意味で使用できる。ユニットの分割は、ユニットに該当するブロックの分割を意味することができる。ブロック分割情報には、ユニットの深さ（ｄｅｐｔｈ）に関する情報が含まれ得る。深さ情報は、ユニットが分割される回数及び／又は程度を示すことができる。一つのユニットは、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）に基づいて深さ情報をもって階層的に分割できる。それぞれの分割された下位ユニットは深さ情報を持つことができる。深さ情報は、ＣＵの大きさを示す情報であり、各ＣＵごとに記憶できる。
分割構造は、ＬＣＵ３１０内での符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）の分布を意味することができる。このような分布は、一つのＣＵを複数（２、４、８、１６などを含む２以上の正の整数）のＣＵに分割するか否かによって決定することができる。分割により生成されたＣＵの横幅と縦幅は、それぞれ分割前のＣＵの横幅の半分及び縦幅の半分であるか、分割された個数に応じて分割前のＣＵの横幅よりも小さいサイズ及び縦幅よりも小さいサイズを持つことができる。ＣＵは、複数のＣＵに再帰的に分割できる。ＣＵの分割は所定の深さ又は所定のサイズまで再帰的に行われ得る。例えば、ＬＣＵの深さは０であり、最小符号化ユニット（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＳＣＵ）の深さは予め定義された最大深さであり得る。ここで、ＬＣＵは、上述したように、最大の符号化ユニットサイズを持つ符号化ユニットであり、ＳＣＵは、最小の符号化ユニットサイズを持つ符号化ユニットであり得る。ＬＣＵ３１０から分割が始まり、分割によりＣＵの横幅及び／又は縦幅が減少するたびに、ＣＵの深さは１ずつ増加する。
また、ＣＵが分割されるか否かに関する情報は、ＣＵの分割情報によって表現できる。分割情報は１ビットの情報であり得る。ＳＣＵを除いた全てのＣＵは分割情報を含むことができる。例えば、分割情報の値が第１値であれば、ＣＵが分割されなくてもよく、分割情報の値が第２値であれば、ＣＵが分割されてもよい。
図３を参照すると、深さが０であるＬＣＵは６４ｘ６４画素であり得る。０は最小深さであり得る。深さが３であるＳＣＵは８ｘ８画素であり得る。３は最大深さであり得る。３２ｘ３２ブロック及び１６ｘ１６ブロックのＣＵはそれぞれ深さ１及び深さ２で表現できる。
例えば、一つの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの符号化ユニットが４つの符号化ユニットに分割される場合、符号化ユニットは４分木（ｑｕａｄ−ｔｒｅｅ）状に分割されたといえる。
例えば、一つの符号化ユニットが２つの符号化ユニットに分割される場合、分割された２つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに縦分割される場合、分割された２つの符号化ユニットは、それぞれ１６ｘ３２のサイズを持つことができる。一つの符号化ユニットが２つの符号化ユニットに分割される場合、符号化ユニットは２分木（ｂｉｎａｒｙ−ｔｒｅｅ）状に分割されたといえる。図３のＬＣＵ３２は４分木状の分割及び２分木状の分割が全て適用されたＬＣＵの一例である。
図４は画面内予測処理の実施形態を説明するための図である。
画面内予測モードは非方向性モード又は方向性モードであり得る。非方向性モードは、ＤＣモード又はプラナー（Ｐｌａｎａｒ）モードであり、方向性モードは、特定の方向又は角度を持つ予測モードであり得る。前記画面内予測モードは、モード番号、モード値、モード数及びモード角度のうちの少なくとも一つで表現できる。画面内予測モードの個数は、前記非方向性及び方向性モードを含む一つ以上のＭ個であり得る。
画面内予測モードの個数は、ブロックのサイズを問わずＮ個に固定できる。又は、画面内予測モードの個数は、ブロックのサイズ及び／又は色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）のタイプによって異なり得る。例えば、ブロックのサイズが大きくなるほど、画面内予測モードの個数は多くなることがある。又は、ルマ成分ブロックの画面内予測モードの個数は色差成分ブロックの画面内予測モードの個数よりも多いことがある。
現在ブロックを画面内予測するために再構成された近傍ブロックに含まれるサンプルが、現在ブロックの参照サンプルとして利用可能であるかどうかを検査するステップが行われ得る。現在ブロックの参照サンプルとして利用できないサンプルが存在する場合、再構成された近傍ブロックに含まれているサンプルのうちの少なくとも一つのサンプル値をコピー及び／又は補間した値を用いて、参照サンプルとして利用できないサンプルのサンプル値で代替した後、現在ブロックの参照サンプルとして利用することができる。
画面内予測時の画面内予測モード及び現在ブロックのサイズのうちの少なくとも一つに基づいて、参照サンプル又は予測サンプルの少なくとも一つにフィルタを適用することができる。
プラナーモードの場合、現在ブロックの予測ブロックを生成するとき、予測対象サンプルの予測ブロック内の位置に基づいて、現在サンプルの上側及び左側の参照サンプルを現在ブロックの右上側及び左下側参照サンプルの重み付け和を用いて予測対象サンプルのサンプル値を生成することができる。また、ＤＣモードの場合、現在ブロックの予測ブロックを生成するとき、現在ブロックの上側及び左側参照サンプルの平均値を用いることができる。また、方向性モードの場合、現在ブロックの上側、左側、右上側及び／又は左下側参照サンプルを用いて予測ブロックを生成することができる。予測サンプル値を生成するために、実数単位の補間を行うこともできる。
現在ブロックの画面内予測モードは、現在ブロックの近傍に存在するブロックの画面内予測モードから予測してエントロピー符号化／復号することができる。現在ブロックと近傍ブロックの画面内予測モードが同一であれば、所定のフラグ情報を用いて現在ブロックと近傍ブロックの画面内予測モードが同一であるという情報をシグナリングすることができる。また、複数の近傍ブロックの画面内予測モードのうち、現在ブロックの画面内予測モードと同じ画面内予測モードに対するインジケータ情報をシグナリングすることができる。現在ブロックと近傍ブロックの画面内予測モードが互いに異なる場合、近傍ブロックの画面内予測モードに基づいてエントロピー符号化／復号を行って現在ブロックの画面内予測モード情報をエントロピー符号化／復号することができる。
図５は本発明に係る画面内予測を説明するための図である。
現在ブロックに対する画面内予測は、画面内予測モード導出ステップ（Ｓ５１０）、参照サンプル構成ステップ（Ｓ５２０）、及び／又は画面内予測実行ステップ（Ｓ５３０）を含むことができる。
ステップＳ５１０で、現在ブロックの画面内予測モードが導出できる。現在ブロックの画面内予測モードは、近傍ブロックの画面内予測モードを用いる方法、ビットストリームから現在ブロックの画面内予測モードをエントロピー符号化／復号する方法、近傍ブロックの符号化パラメータを用いる方法、又は色成分の画面内予測モードを用いる方法によって導出できる。前記近傍ブロックの画面内予測モードを用いる方法によれば、近傍ブロックの画面内予測モード、近傍ブロックの一つ以上の画面内予測モードの組み合わせ、及び一つ以上のＭＰＭを用いて導出された画面内予測モードのうちの少なくとも一つを用いて、現在ブロックの画面内予測モードが導出できる。
ステップＳ５２０で、参照サンプル選択及び参照サンプルフィルタリングのうちの少なくとも一つを行い、参照サンプルが構成できる。
ステップＳ５３０で、非方向性予測、方向性予測、位置情報ベース予測、及び色成分間予測のうちの少なくとも一つを行って画面内予測が実行できる。前記方向性予測が行われる場合は、現在ブロックの一つ以上のサンプルを含む所定の単位ごとに互いに異なる方向性を有する予測が実行できる。前記所定の単位は、例えば、単一サンプル、サンプルグループ、ライン及びブロックのうちの少なくとも一つであり得る。前記色成分間の予測は、色成分ブロックの再構成ステップ、予測パラメータの導出ステップ及び／又は色成分間予測実行ステップを含むことができる。ステップＳ５３０で、予測サンプルに対するフィルタリングをさらに行うことができる。
現在ブロックの画面内予測モードを導出するために一つ以上の再構成された近傍ブロックが使用できる。再構築された近傍ブロックの位置は、予め定義された固定位置、又は符号化／復U号して導出された位置であり得る。以下、符号化／復号は、エントロピー符号化及び復号を意味することができる。例えば、ＷｘＨサイズの現在ブロックの左上側コーナーサンプルの座標を（０，０）とするとき、前記近傍ブロックは（−１，Ｈ−１）、（Ｗ−１，−１）、（Ｗ，−１）、（−１，Ｈ）及び（−１，−１）座標に隣接するブロック及び前記ブロックの近傍ブロックのうちの少なくとも一つであり得る。この時、前記Ｗ及びＨは、前記現在ブロックの横幅Ｗ及び縦幅Ｈ又はサンプルの個数を示すことができる。
利用可能な近傍ブロックの画面内予測モードは、所定の画面内予測モードで代替することができる。前記所定の画面内予測モードは、例えば、ＤＣモード、Ｐｌａｎａｒモード、垂直モード、水平モード及び／又は対角モードであり得る。例えば、近傍ブロックがピクチャ、スライス、タイル、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）などのうちの少なくとも一つの所定のユニットの境界外に位置するか、或いは画面間予測されるか、或いはＰＣＭモードで符号化された場合、当該近傍ブロックは利用不可能と判断できる。又は、前記近傍ブロックが利用不可能である場合、前記利用不可能な近傍ブロックの画面内予測モードを代替せず、前記利用不可能な近傍ブロックを用いなくてもよい。
現在ブロックの画面内予測モードは、所定の位置の近傍ブロックの画面内予測モード又は二つ以上の近傍ブロックの画面内予測モードの統計値を用いて導出できる。本明細書において、統計値は、平均値、最大値、最小値、最頻値、中央値、加重平均値及び補間値のうちの少なくとも一つを意味することができる。
又は、近傍ブロックのサイズに基づいて、現在ブロックの画面内予測モードを導出することができる。例えば、相対的にサイズが大きい近傍ブロックの画面内予測モードを現在ブロックの画面内予測モードとして導出することができる。又は、相対的にサイズが大きいブロックの画面内予測モードに相対的に大きい重みを付与して統計値を計算することもできる。
又は、近傍ブロックの画面内予測モードが方向性であるか否かが考慮できる。例えば、近傍ブロックの画面内予測モードが非方向性である場合、前記非方向性モードを現在ブロックの画面内予測モードとして導出することができる。又は、前記非方向性モードを除く他の近傍ブロックの画面内予測モードを用いて、現在ブロックの画面内予測モードを導出することもできる。
現在ブロックの画面内予測モードを導出するために、近傍ブロックの画面内予測モードを用いて一つ以上のＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）リストを構成することができる。ＭＰＭリストに含まれる候補モードの個数Ｎは、固定されるか、或いは現在ブロックのサイズ及び／又は形状に基づいて決定できる。ＭＰＭリストは、重複するモードがないように構成できる。利用可能な候補モードの個数がＮ未満の場合には、利用可能な候補モードのうち、所定の候補モード、例えば方向性モードに対して所定のオフセットを加減したモードを前記一つ以上のＭＰＭリストに追加することができる。又は、水平モード、垂直モード、４５度モード、１３５度モード、２２５度モード及び非方向性モードのうちの少なくとも一つをＭＰＭリストに追加することができる。前記所定のオフセットは１、２、３、４、又は正の整数であり得る。
ＭＰＭリストは、近傍ブロックの位置に基づいた所定の順序で構成できる。例えば、前記所定の順序は、現在ブロックの左側、上側、左下側コーナー、右上側コーナー及び左上側コーナーに隣接するブロックの順序であり得る。非方向性モードは、ＭＰＭリストの任意の位置に含まれ得る。例えば、左側及び上側に隣接するブロックの画面内予測モードの次に追加できる。
他の実施形態として、ＭＰＭリストを用いて導出された画面内予測モードと近傍ブロックの画面内予測モードを用いて、現在ブロックの画面内予測モードが導出できる。たとえば、ＭＰＭリストを用いて導出された画面内予測モードをＰｒｅｄ＿ｍｐｍとするとき、近傍ブロックの画面内予測モードを用いて前記Ｐｒｅｄ＿ｍｐｍを変更することができる。例えば、Ｐｒｅｄ＿ｍｐｍが近傍ブロックの画面内予測モード（又は二つ以上の画面内予測モードの統計値）よりも大きい場合には、Ｐｒｅｄ＿ｍｐｍをｎだけ増加させ、そうでない場合には、ｎだけ減少させることができる。この時、ｎは＋１、＋２、＋３、０、−１、−２、−３などの所定の整数であり得る。現在ブロックの画面内予測モードは、変更されたＰｒｅｄ＿ｍｐｍによって導出できる。又は、Ｐｒｅｄ＿ｍｐｍと近傍ブロックの画面内予測モードのうちの少なくとも一つが非方向性モードである場合、現在ブロックの画面内予測モードは前記非方向性モードとして導出されてもよい。又は、逆に、現在ブロックの画面内予測モードは方向性モードとして導出されてもよい。
画面内予測モードを導出する別の実施形態として、他の色成分の画面内予測モードを用いて現在ブロックの画面内予測モードを導出することができる。たとえば、現在ブロックが色差ブロックである場合、前記色差ブロックに対応する輝度ブロックの画面内予測モードが使用できる。前記対応する輝度ブロックは一つ以上であり得る。前記対応する輝度ブロックは、色差ブロックのサイズ、形状及び／又は符号化パラメータのうちの少なくとも一つに基づいて決定できる。又は、前記対応する輝度ブロックは輝度ブロックのサイズ、形状及び／又は符号化パラメータのうちの少なくとも一つに基づいて決定できる。
色差ブロックに対応する輝度ブロックは複数のパーティションを含むことができる。前記複数のパーティションの全部又は一部は、互いに異なる画面内予測モードを持つことができる。色差ブロックの画面内予測モードは、対応する輝度ブロック内の複数のパーティションの全部又は一部に基づいて導出できる。この際、色差ブロックと輝度ブロック（複数のパーティションの全部又は一部）とのブロックサイズ、形状、深さ情報などの比較に基づいて一部のパーティションが選択的に利用できる。色差ブロック内の所定の位置に対応する輝度ブロック内の位置のパーティションが選択的に利用されてもよい。前記所定の位置は、色差ブロックのコーナーサンプル（例えば、左上側サンプル）位置又は中央サンプル位置を意味することができる。
本発明に係る色成分間画面内予測モードの導出方法は、対応する輝度ブロックの画面内予測モードを用いることに限定されない。例えば、対応する輝度ブロックのｍｐｍ＿ｉｄｘ又はＭＰＭ ｌｉｓｔのうちの少なくとも一つを用いるか或いは共有して色差ブロックの画面内予測モードを導出することもできる。
図６は輝度ブロックと色差ブロックとの関係を説明するための例示図である。
図６に示された例において、色成分間の比率は４：２：０であり、色差ブロックに対応する輝度ブロックはＡ、Ｂ、Ｃ及びＤのうちの少なくとも一つであり得る。
図６に示された例において、色差ブロックの画面内予測モードは、色差ブロック内の左上側の位置（０，０）に対応する輝度ブロックＡの画面内予測モード、又は色差ブロックの中央サンプル位置（ｎＳ／２，ｎＳ／２）に対応する輝度ブロックＤの画面内予測モードを用いて導出できる。前記色差ブロック内の所定の位置は（０，０）及び（ｎＳ／２、ｎＳ／２）に限定されない。例えば、前記所定の位置は、色差ブロック内の右上側、左下側及び／又は右下側コーナーサンプルの位置であり得る。
前記所定の位置は、色差ブロックの形状に応じて選択できる。例えば、色差ブロックが正方形である場合、前記所定の位置は中央サンプル位置であり得る。例えば、色差ブロックが長方形である場合、前記所定の位置は左上側サンプル位置であり得る。上記の例において、色差ブロックが正方形である場合と長方形である場合における前記所定の位置は反対であってもよい。
別の実施形態として、色差ブロックのサイズに対応する輝度ブロック内の一つ以上の画面内予測モードの統計値を用いて色差ブロックの画面内予測モードを導出することができる。
図６に示された例において、例えば、輝度ブロックＡとＤの画面内予測モードの平均に該当するモード、又は色差ブロックのサイズに対応する輝度ブロック内のＡ、Ｂ、Ｃ、Ｄの画面内予測モードの平均に該当するモードを色差ブロックの画面内予測モードとして導出することができる。
利用可能な輝度ブロックの画面内予測モードが複数存在する場合、そのうちの全部又は一部が選択できる。前記選択は、色差ブロック内の所定の位置に基づいて、或いは色差ブロック及び／又は輝度ブロックのサイズ、形状及び／又は深さに基づいて行われ得る。前記選択された輝度ブロックの画面内予測モードを用いて、色差ブロックの画面内予測モードを導出することができる。
例えば、色差ブロック内の左上側サンプル位置（０，０）に対応する輝度ブロックＡのサイズと色差ブロック内の中央サンプル位置（ｎＳ／２、ｎＳ／２）に対応する輝度ブロックＤのサイズとを比較して相対的に大きい輝度ブロックＤの画面内予測モードを利用して、色差ブロックの画面内予測モードを導出することができる。
又は、色差ブロック内の所定の位置に対応する輝度ブロックが色差ブロックよりも大きいか同じであれば、該当輝度ブロックの画面内予測モードを用いて、色差ブロックの画面内予測モードを導出することができる。
又は、色差ブロックのサイズが所定の範囲に該当する場合、色差ブロック内の左上端のサンプル位置（０，０）に対応する輝度ブロックの画面内予測モードを用いて色差ブロックの画面内予測モードを導出することができる。
又は、色差ブロックのサイズが所定の範囲に該当する場合、色差ブロック内の所定の位置（０，０）及び（ｎＳ／２，ｎＳ／２）に対応する輝度ブロックのサイズを比較して大きいブロックの画面内予測モードを用いて、色差ブロックの画面内予測モードを導出することができる。
前記所定の範囲は、ビットストリームを介してシグナリングされる情報、ブロック（色差ブロック及び／又は輝度ブロック）のサイズ（及び／又は深さ）に関する情報及び符号化器／復号器で予め定義された情報のうちの少なくとも一つに基づいて導出できる。
又は、色差ブロックの形状が長方形である場合、色差ブロック内の中央サンプル位置（ｎＳ／２、ｎＳ／２）に対応する輝度ブロックの画面内予測モードを用いて色差ブロックの画面内予測モードを導出することができる。
又は、輝度ブロック内の複数のパーティションのうち、色差ブロックと同じ形状を有するパーティションが使用できる。例えば、色差ブロックが正方形又は非正方形である場合、輝度ブロック内の複数のパーティションのうち正方形又は非正方形のパーティションが使用できる。
図６を参照して説明した例において、輝度ブロックの画面内予測モードを用いて色差ブロックの画面内予測モードを導出するという意味は、輝度ブロックの画面内予測モードが色差ブロックの画面内予測モードとしてそのまま用いられる場合を含む。また、輝度ブロックの画面内予測モードを用いることに限定されず、輝度ブロックのｍｐｍ＿ｉｄｘ、ＭＰＭリストを含んで、輝度ブロックの画面内予測モードの導出時に使用された情報を用いてもよい。
又は、前記所定の位置に対応する輝度ブロックの画面内予測モードを用いて色差ブロックに対するＭＰＭリストを構成することもできる。この場合、色差ブロックに対するｍｐｍ＿ｉｄｘ情報が符号化されてシグナリングできる。色差ブロックに対するＭＰＭリストは、輝度ブロックに対するＭＰＭリストと同様の方法で構成できる。しかし、色差ブロックのＭＰＭ候補は、近傍色差ブロックの画面内予測モード、及び／又は対応する輝度ブロックの画面内予測モードを含むことができる。
ＭＰＭ ｆｌａｇが０である場合、一つ以上の画面内予測モードを含む２次ＭＰＭリストを構成し、２次ＭＰＭインデックス（２ｎｄ＿ｍｐｍ＿ｉｄｘ）を用いて現在ブロックの画面内予測モードを導出することができる。この際、現在ブロックの画面内予測モードが２次ＭＰＭリストに含まれるかを指示する２次インジケータ（例えば、２次ＭＰＭ ｆｌａｇ）が符号化／復号できる。２次ＭＰＭリストは、１次ＭＰＭリストと同様に、近傍ブロックの画面内予測モードを用いて構成できる。このとき、１次ＭＰＭリストに含まれている画面内予測モードは、２次ＭＰＭリストに含まれなくてもよい。ＭＰＭリストの個数は、１つ又は２つに限定されず、Ｎ個のＭＰＭリストが使用できる。
現在ブロックの画面内予測モードが複数のＭＰＭリストのいずれかに含まれない場合、現在ブロックの輝度成分画面内予測モードは符号化／復号できる。また、色差成分画面内予測モードは、対応する輝度成分画面内予測モードに基づいて導出されるか或いは符号化／復号され得る。
現在ブロックが複数のサブブロック（ｓｕｂ ｂｌｏｃｋ）に分割される場合、分割されたそれぞれのサブブロックに対する画面内予測モードを導出するために、前述した方法のうちの少なくとも一つが適用できる。
サブブロックのサイズ及び／又は形状は、所定のサイズ及び／又は形状（例えば、４ｘ４）であるか、現在ブロックのサイズ及び／又は形状に応じて決定できる。又は、サブブロックのサイズは、現在ブロックの近傍ブロックの分割有無に基づいて決定されるか、或いは現在ブロックの近傍ブロックの画面内予測モードに基づいて決定され得る。例えば、近傍ブロックの画面内予測モードが互いに異なる境界を基準に、現在ブロックが分割できる。又は、近傍ブロックが画面内符号化ブロックであるか画面間符号化ブロックであるかに基づいて、現在ブロックが分割できる。
現在ブロックの画面内予測モードが近傍ブロックの画面内予測モードを用いて導出されることを示すインジケータ（例えば、ＮＤＩＰ＿ｆｌａｇ）が符号化／復号できる。前記インジケータは、現在ブロック又はサブブロックのうちの少なくとも一つの単位ごとに符号化／復号できる。この時、現在ブロック又はサブブロックのサイズが所定のサイズ又は所定のサイズの範囲に該当する場合にのみ前記インジケータが符号化／復号できる。
現在ブロックのサイズが所定のサイズに該当するかの判断は、現在ブロックの横幅又は縦幅に基づいて行われ得る。例えば、横幅又は縦幅が分割可能な長さであれば、現在ブロックのサイズが所定のサイズに該当すると判断できる。
現在ブロックが複数のサブブロックに分割される場合、複数のサブブロックの画面内予測モードは、ジグザグ順序で導出されるか或いは並列的に導出され得る。サブブロックの画面内予測モードは、現在ブロックの画面内予測モードを導出する方法のうちの少なくとも一つの方法で導出できる。この時、現在ブロックの近傍ブロックが各サブブロックの近傍ブロックとして使用されてもよい。又は、現在ブロック内のサブブロックが各サブブロックの近傍ブロックとして使用されてもよい。
現在ブロックに属するサブブロックの画面内予測モードは、現在ブロックの画面内予測モードと各サブブロックの（０，０）位置サンプルの左側と上側に隣接するブロックの画面内予測モードとの平均値を用いて導出することができる。たとえば、現在ブロックの画面内予測モードが前記平均値よりも大きい場合、前記平均値の１／２だけを前記導出した画面内予測モードから差し引くことができ、前記平均値より小さいか同じ場合には加えることができる。
画面内予測に関する情報は、ＶＰＳ（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライス（ｓｌｉｃｅ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダーのうちの少なくとも一つを介してシグナリングできる。所定のブロックサイズ以下では、画面内予測に関する情報のうちの少なくとも一つがシグナリングされないことがある。この場合、以前に符号化／復号されたブロック（例えば、上位ブロック）の画面内予測に関する情報が使用できる。
前記導出された画面内予測モードに基づいて、画面内予測のための参照サンプルが構成できる。以下の説明において、現在ブロックは、予測ブロック、又は予測ブロックよりも小さいサイズ／形状を有するサブブロックを意味することができる。参照サンプルは、現在ブロックの近傍の再構成された一つ以上のサンプル又はサンプル組み合わせを用いて構成できる。また、構成された参照サンプルに対してフィルタリングが適用できる。
参照サンプルの構成に使用される再構成サンプルラインの数及び／又は位置は、符号化ツリーブロック内の現在ブロックの位置によって異なり得る。複数の再構成サンプルライン上の各再構成サンプルはそのまま参照サンプルとして使用できる。又は、再構成サンプルに所定のフィルタを適用し、フィルタリングされた再構成サンプルを用いて参照サンプルを生成することもできる。フィルタが適用される再構成サンプルは、同じ再構成サンプルラインに属するか、或いは異なる再構成サンプルラインに属することができる。
前記構成された参照サンプルはｒｅｆ［ｍ，ｎ］で表し、近傍の再構成されたサンプル又はこれをフィルタリングしたサンプルはｒｅｃ［ｍ，ｎ］で表すことができる。このとき、ｍ又はｎは、サンプルの位置を示す所定の整数値であり得る。現在ブロック内の左上側サンプルの位置が（０，０）であるとき、現在ブロックの左上側参照サンプルの位置は（−１，−１）に設定できる。
前記参照サンプルを構成するために近傍の再構成サンプルに対して可用性（ａｖａｉｌａｂｉｌｉｔｙ）有無を判断することができる。前記近傍の再構成サンプルがピクチャ、スライス、タイル及びＣＴＵの少なくとも一つの領域外に位置する場合、利用不可能と判断することができる。又は、現在ブロックに対する限られた画面内予測（ｃｏｎｓｔｒａｉｎｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）を行う場合、前記近傍の再構成サンプルが画面間で符号化／復号されたブロックに位置する場合、利用不可能と判断することができる。
前記近傍の再構成されたサンプルが利用不可能であると判断される場合、近傍の利用可能な再構成サンプルを用いて利用不可能サンプルを代替することができる。たとえば、左下側サンプルの位置から始まり、隣接する利用可能サンプルを用いて利用不可能サンプルを満たすことができる。又は、利用可能サンプルの組み合わせを用いて利用不可能サンプルを満たすことができる。例えば、利用不可能サンプルの両端に位置する利用可能サンプルの平均値を用いて利用不可能サンプルを満たすことができる。
又は、利用可能参照サンプルの情報を用いて利用不可能サンプルを満たすことができる。このとき、隣接する利用可能サンプル値ではなく、任意の値で利用不可能サンプルを満たすことができる。前記任意の値は、利用可能サンプル値の平均値であってもよく、利用可能サンプル値の勾配（Ｇｒａｄｉｅｎｔ）を考慮した値であってもよい。又は、平均値と勾配の両方が使用されてもよい。前記勾配は、隣接する利用可能サンプルの差分値に基づいて決定できる。又は、前記平均値と利用可能サンプル値との差分値に基づいて決定されてもよい。前記平均値の他に、最大値、最小値、中央値又は任意の重みを用いた重み付け和が使用できる。前記任意の重みは、利用可能サンプルと利用不可能サンプルとの距離に基づいて決定できる。
これらの方法は、上側及び左側の参照サンプルの両方に適用されるか、或いは任意の方向に対してのみ適用できる。また、複数の再構成サンプルラインを用いて現在ブロックの参照サンプルラインを構成する場合にも、これらの方法が適用できる。
現在ブロックの画面内予測モード又はブロックのサイズ／形状のうちの少なくとも一つに基づいて、前記構成した一つ以上の参照サンプルに対してフィルタリングを適用するか否かを決定することができる。フィルタリングを適用する場合には、前記現在ブロックの画面内予測モード、サイズ及び形状のうちの少なくとも一つに応じてフィルタの種類が変わり得る。
前記導出された画面内予測モード及び参照サンプルに基づいて、前記現在ブロックに対する画面内予測を行うことができる。
ＤＣモードの場合、前記構成した参照サンプルのうちの一つ以上の参照サンプルの平均値が使用できる。この際、現在ブロックの境界に位置する一つ以上の予測サンプルに対してフィルタリングが適用できる。ＤＣ予測は、現在ブロックのサイズ及び形状の少なくとも一つに基づいて異なるように行うことができる。例えば、現在ブロックのサイズ及び／又は形状に基づいて、ＤＣモードに用いられる参照サンプルの範囲が特定できる。
図７は現在ブロックのサイズ及び／又は形状によるＤＣ予測を説明するための図である。
図７の（ａ）に示すように、現在ブロックが正方形である場合、現在ブロックの上側と左側の参照サンプルの平均値を用いてＤＣ予測を行うことができる。
現在ブロックが非正方形である場合、現在ブロックの左側又は上側に隣接する近傍サンプルが選択的に使用できる。例えば、図７の（ｂ）に示すように、現在ブロックが長方形である場合、現在ブロックの横幅及び縦幅のうちの大きい方に隣接する参照サンプルの平均値を用いてＤＣ予測を行うことができる。
又は、現在ブロックのサイズが所定のサイズであるか或いは所定の範囲に含まれる場合には、現在ブロックの上側又は左側の参照サンプルの中から所定のサンプルを選択し、選択されたサンプルの平均値を用いてＤＣ予測を行うことができる。前記所定のサイズは、符号化器／復号器で所定の固定サイズＮｘＭを意味することができる。ＮとＭは０よりも大きい整数であり、ＮとＭは互いに同一でも異なってもよい。前記所定の範囲は、現在ブロックの参照サンプルを選択するための臨界値を意味することができる。前記臨界値は、最小値又は最大値の少なくとも一つで実現できる。最小値及び／又は最小値は、符号化器／復号器で所定の固定値であってもよく、符号化器で符号化されてシグナリングされる可変値であってもよい。
前述したように、ＤＣ予測のためには一つ以上の参照サンプルの平均値が使用できる。平均値の演算のためには、参照サンプルの個数を用いた除算が実行できる。参照サンプルの個数が２ｎ個である場合（ｎは正の整数）、前記除算はバイナリシフト演算で代替することができる。非正方形ブロックの場合、上側及び左側の参照サンプルをすべて用いると、参照サンプルの個数が２ｎではないことがある、この場合、除算演算の代わりにシフト演算が利用できない。したがって、前記実施形態での如く、上側又は左側の２ｎ個の参照サンプルを用いることにより、除算をシフト演算で代替することができる。
プランナーモードの場合、前記現在ブロックの画面内予測対象サンプルの位置に応じて、前記構成した一つ以上の参照サンプルからの距離を考慮した重み付け和が使用できる。
方向性モードの場合、画面内予測対象サンプルの位置で所定の角度線上及び近傍に存在する一つ以上の参照サンプルが使用できる。
位置情報ベースの画面内予測モードの場合、符号化／復号されるか或いは導出される位置情報に基づいて生成される再構成サンプルブロックを現在ブロックの画面内予測ブロックとして用いることができる。又は、復号器が現在ブロックの画面内予測ブロックとして用いられる再構成サンプルブロックを検索して導出することができる。
色差信号に対する画面内予測は、現在ブロックの再構成された輝度信号を用いて行われ得る。また、現在ブロックの再構成された一つの色差信号Ｃｂ又はＣｂの残差信号を用いて、他の色差信号Ｃｒに対する画面内予測を行うこともできる。
前記一つ以上の予測方法を組み合わせて画面内予測を行うことができる。例えば、所定の非方向性画面内予測モードを用いて予測したブロックと、所定の方向性画面内予測モードを用いて予測したブロックとの重み付け和を介して、現在ブロックに対する画面内予測ブロックを構成することができる。このとき、重みは、現在ブロックの画面内予測モード、ブロックのサイズ及びサンプルの位置のうちの少なくとも一つによって異なるように適用できる。又は、色差ブロックの場合、所定の画面内予測モードを用いて予測したブロックと、輝度ブロックの再構成された信号を用いて予測したブロックとの重み付け和を介して、前記色差ブロックに対する画面内予測ブロックを構成することができる。このとき、前記所定の画面内予測モードは、例えば、前記色差ブロックの画面内予測モードを導出するために用いられるモードのいずれか一つであり得る。色差ブロックの場合、前述したように２つの予測ブロックの重み付け和を用いて最終予測ブロックを構成するかどうかは、符号化された情報によってシグナリングできる。
方向性モードの場合、方向性予測モードに基づいて、前記構成した参照サンプルを再構成することができる。例えば、前記方向性予測モードが左側及び上側に存在する参照サンプルをすべて用いるモードである場合、左側又は上側の参照サンプルに対して１次元配列を構成することができる。又は、左側参照サンプルを移動して上側の参照サンプルを構成することもでき、一つ以上の左側参照サンプルの重み付け和を用いて上側の参照サンプルを構成することもできる。
現在ブロックの所定のサンプルグループ単位で互いに異なる方向性画面内予測が行われてもよい。前記所定のサンプルグループ単位はブロック、サブブロック、ライン又は単一サンプルであり得る。
本発明に係る実施形態によれば、色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）間画面内予測を行うことができる。図８は色成分間画面内予測実行処理を説明するための図である。色成分間画面内予測は、色成分ブロック再構成ステップ（Ｓ８１０）、予測パラメータ導出ステップ（Ｓ８２０）、及び／又は色成分間予測実行ステップ（Ｓ８３０）を含むことができる。前記色成分は、輝度（ｌｕｍａ）信号、色差（ｃｈｒｏｍａ）信号、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｙ、Ｃｂ及びＣｒのうちの少なくとも一つを意味することができる。第２色成分、第３色成分及び第４色成分の少なくとも一つを用いて前記第１色成分に対する予測を行うことができる。このとき、予測に用いられる色成分の信号は、原本信号、再構成された信号、残差／レジデュアル信号及び予測信号のうちの少なくとも一つであり得る。
第２色成分対象ブロックに対して画面内予測を行うとき、前記対象ブロックに対応する第１色成分対応ブロックのサンプル及び／又は対応ブロックの近傍ブロックのサンプルのうちの少なくとも一つのサンプルを用いることができる。例えば、色差成分ブロックＣｂ又はＣｒに対して画面内予測を行うとき、前記色差成分ブロックに対応する再構成された輝度成分ブロックＹを用いることができる。又は、Ｃｒ成分ブロックに対して画面内予測を行うとき、Ｃｂ成分ブロックを用いることができる。又は、第４色成分ブロックに対して画面内予測を行うとき、前記ブロックに対応する第１色成分ブロック、第２色成分ブロック及び第３色成分ブロックのうちの少なくとも一つの組み合わせを用いることができる。
色成分間画面内予測を行うか否かは、現在対象ブロックのサイズ及び形状の少なくとも一つに基づいて決定できる。例えば、対象ブロックのサイズがＣＴＵサイズであるか、所定のサイズ以上であるか或いは所定のサイズの範囲に該当する場合、前記対象ブロックに対して色成分間画面内予測を行うことができる。又は、対象ブロックの形状が所定の形状である場合、前記対象ブロックに対して色成分間画面内予測を行うことができる。前記所定の形状は正方形であり得る。この場合、対象ブロックが長方形であれば、色成分間画面内予測は行われなくてもよい。前記所定の形状が長方形である場合には、前述した実施形態は逆に動作することができる。
又は、色成分間画面内予測を行うか否かは、予測対象ブロックに対応する対応ブロック及び対応ブロックの近傍ブロックのうちの少なくとも一つの符号化パラメータに基づいて決定されてもよい。例えば、ＣＩＰ（Ｃｏｎｓｔｒａｉｎｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）環境下で対応ブロックが画面間予測された場合、色成分間画面内予測は行われなくてもよい。又は、対応ブロックの画面内予測モードが所定のモードに該当する場合、色成分間画面内予測が行われ得る。又は、対応ブロック及び近傍ブロックのＣＢＦ情報のうちの少なくとも一つに基づいて、色成分間画面内予測を行うか否かを決定することもできる。前記符号化パラメータは、ブロックの予測モードに限定されず、符号化／復号に使用できる前述した様々なパラメータが使用されてもよい。
以下、ステップＳ８１０の色成分ブロック再構成ステップについて説明する。
第１色成分ブロックを用いて第２色成分ブロックを予測するとき、前記第１色成分ブロックを再構成することができる。例えば、画像の色空間がＹＣｂＣｒであり、色成分間の比率が４：４：４、４：２：２、４：２：０のうちのいずれかである場合、色成分間ブロックのサイズが互いに異なることがある。したがって、サイズの異なる第１色成分ブロックを用いて第２色成分ブロックを予測するとき、２つのブロックのサイズを同一にするために前記第１色成分ブロックを再構成することができる。このとき、再構成されたブロックは、前記第１色成分対応ブロックのサンプル及び近傍ブロックのサンプルのうちの少なくとも一つを含むことができる。図９は色成分ブロックの再構成を説明するための例示図である。
図９の（ａ）において、ｐ１［ｘ，ｙ］は、第１色成分ブロックの（ｘ，ｙ）位置のサンプルを示すことができる。図９の（ｂ）において、ｐ１’［ｘ，ｙ］は、前記第１色成分ブロックを再構成したブロックの（ｘ，ｙ）位置のサンプルを示すことができる。
第１色成分ブロックのサイズが第２色成分ブロックのサイズよりも大きい場合、前記第１色成分ブロックをダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）して第２色成分ブロックのサイズと同じサイズのブロックに再構成することができる。前記ダウンサンプリングは、一つ以上のサンプルに対してＮ−ｔａｐフィルタを適用して行われ得る（Ｎは１以上の整数）。このとき、下記数式１乃至数式５のうちの少なくとも一つの数式が利用できる。複数のダウンサンプリング方法のいずれかが選択的に使用される場合、符号化器は、一つのダウンサンプリング方法を所定の方法として選択することができる。例えば、符号化器は、最適の効果を有するダウンサンプリング方法を選択することができる。選択されたダウンサンプリング方法は、符号化されて復号器へシグナリングできる。シグナリングされる情報は、ダウンサンプリング方法を指示するインデックス情報であり得る。
［数式１］
p1’[x, y] = (p1[2x, 2y] + p1[2x, 2y+1] + 1) >> 1
［数式２］
p1’[x, y] = (p1[2x+1, 2y] + p1[2x+1, 2y+1] + 1) >> 1
［数式３］
p1’[x, y]= (p1[2x-1, 2y] + 2 x p1[2x, 2y] + p1[2x+1, 2y] + 2) >> 2
［数式４］
p1’[x, y] = (p1[2x-1, 2y+1] + 2 * p1[2x, 2y+1] + p1[2x+1, 2y+1] + 2) >> 2
［数式５］
p1’[x, y] = (p1[2x-1, 2y] + 2 * p1[2x, 2y] + p1[2x+1, 2y] + p1[2x-1, 2y+1] + 2 * p1[2x, 2y+1] + p1[2x+1, 2y+1] + 4) >> 3
２つ以上のサンプルを用いてダウンサンプリングを行う方法は、前記数式１乃至数式５の実施形態に限定されない。例えば、ダウンサンプリングされた値ｐ１’［ｘ，ｙ］を計算するために使用できる２つ以上のサンプルは、ｐ１［２ｘ，２ｙ］及びこれに隣接するサンプルから選択できる。前記隣接するサンプルは、ｐ１［２ｘ−１，２ｙ−１］、ｐ［２ｘ−１，２ｙ］、ｐ１［２ｘ−１，２ｙ＋１］、ｐ１［２ｘ，２ｙ−１］、ｐ１［２ｘ，２ｙ＋１］、ｐ１［２ｘ＋１，２ｙ−１］、ｐ１［２ｘ＋１、２ｙ］及びｐ１［２ｘ＋１、２ｙ＋１］から選択できる。二つ以上のサンプルを用いて平均又は加重平均を計算することにより、ダウンサンプリングを行うことができる。
又は、前記ダウンサンプリングは、一つ以上のサンプルの中から特定のサンプルを選択して行われ得る。このとき、下記数式６乃至数式９のうちの少なくとも一つの数式が利用できる。
［数式６］
p1’[x, y] = p1[2x, 2y]
［数式７］
p1’[x, y] = p1[2x, 2y+1]
［数式８］
p1’[x, y] = p1[2x+1, 2y]
［数式９］
p1’[x, y] = p1[2x+1, 2y+1]
第１色成分ブロックのサイズが第２色成分ブロックのサイズよりも小さい場合、前記第１色成分ブロックをアップサンプリング（ｕｐ−ｓａｍｐｌｉｎｇ）して第２色成分ブロックのサイズと同じサイズのブロックに再構成することができる。このとき、下記数式１０が利用できる。
［数式１０］
p1’[2x, 2y] = p1[x,y],
p1’[2x+1, 2y] = (p1[x, y] + p1[x+1, y]+1)>>1,
p1’[2x, 2y+1] = (p1[x, y] + p1[x, y+1]+1)>>1,
p1’[2x+1, 2y+1] = (p1[x+1, y] + p1[x, y+1]+1) >> 1
前記再構成処理を行うにあたり、一つ以上のサンプルに対してフィルタを適用することができる。例えば、前記第１色成分対応ブロック、対応ブロックの近傍ブロック、第２色成分対象ブロック、及び対象ブロックの近傍ブロックのうちの少なくとも一つに含まれた１つ以上のサンプルに対してフィルタを適用することができる。
前述した参照サンプル構成ステップで、複数の参照サンプルラインのうちの所定のラインに対応するインジケータがシグナリングできる。このとき、前記再構成処理では、前記シグナリングされたインジケータに該当する所定のラインを用いて再構成を行うことができる。
前記再構成処理を行うにあたり、第２色成分対象ブロックの境界又は対応する第１色成分対応ブロックの境界のうちの少なくとも１つが所定の領域の境界に該当する場合、再構成に用いられる参照サンプルを異なるように選択することができる。このとき、上側の参照サンプルラインの個数と左側の参照サンプルラインの個数とが互いに異なり得る。前記所定の領域は、例えば、ピクチャ、スライス、タイル、ＣＴＵ及びＣＵの少なくとも一つであり得る。
例えば、前記第１色成分対応ブロックの上側境界が前記所定の領域の境界に該当する場合には、上側の参照サンプルは用いず、左側の参照サンプルだけを用いて再構成を行うことができる。前記第１色成分対応ブロックの左側境界が前記所定の領域の境界に該当する場合、左側の参照サンプルは用いず、上側の参照サンプルだけを用いて再構成を行うことができる。又は、Ｎ個の上側参照サンプルラインとＭ個の左側参照サンプルラインを用いることができ、このとき、ＮはＭより小さくてもよい。例えば、上側境界が前記所定の領域の境界に該当する場合には、Ｎは１であり、左側の境界が前記所定の領域の境界に該当する場合には、Ｍは１であり得る。
又は、前記所定の領域の境界に該当するか否かを問わずに、前記第１色成分対応ブロックのＮ個の上側参照サンプルライン及び／又はＭ個の左側参照サンプルラインを用いて再構成を行うこともできる。
図１０は複数の上側及び／又は左側の参照サンプルラインを用いて再構成を行う実施形態を説明するための図である。
図１０の（ａ）に示すように、４つの上側参照サンプルライン及び４つの左側参照サンプルラインを用いて再構成を行うことができる。
例えば、第１色成分対応ブロックの上側又は左側の境界が前記所定の領域の境界に該当する場合、再構成に用いられる上側及び左側参照サンプルラインの個数は互いに異なり得る。例えば、図１０の（ｂ）乃至（ｄ）に示すように、２つの上側参照サンプルライン及び４つの左側参照サンプルラインを用いるか、或いは１つの上側参照サンプルライン及び３つの左側参照サンプルラインを用いるか、或いは１つの上側参照サンプルライン及び２つの左側参照サンプルラインを用いることができる。
用いられる参照サンプルラインの数は、上記の例に限定されず、Ｎ個の上側参照サンプルラインとＭ個の左側参照サンプルラインが用いられてもよい。Ｎ、Ｍは同一でも異なってもよい。上側及び左側の境界がすべて前記所定領域の境界に該当する場合には、ＮとＭは同一であり得るが、例えば１である。又は、同じ条件で、ＮはＭよりも小さく設定できる。これは左側参照サンプルラインよりも上側参照サンプルラインの記憶にさらに多くのリソース（メモリ）が必要だからである。
又は、図１０の（ｅ）に示すように、第１色成分対応ブロックの横幅及び縦幅から外れない一つ以上の参照サンプルを用いて再構成を行うこともできる。
前記再構成を行うにあたり、第１色成分対応ブロック及びその近傍ブロック、第２色成分対象ブロック及びその近傍ブロックのうちの少なくとも一つのブロックのサイズ、形状、符号化パラメータの少なくとも一つに応じて、第１色成分対応ブロックの参照サンプル再構成を異なるように行うことができる。
例えば、第１色成分対応ブロック又は近傍ブロックのうち、符号化モードが画面間符号化モードであるブロックのサンプルは用いず、画面内符号化モードであるブロックのサンプルを用いて参照サンプルを再構成することができる。
図１１は対応ブロックの画面内予測モード又は符号化パラメータに応じて再構成に用いられる参照サンプルを説明するための例示図である。第１色成分対応ブロックの画面内予測モードに応じて、第１色成分ブロックの参照サンプルの再構成を異なるように行うことができる。例えば、対応ブロックの画面内予測モードがＤＣモード又はＰｌａｎａｒモードのように非方向性モードであるか、上側参照サンプルと左側参照サンプルの両方を用いる方向性モードである場合、図１１の（ａ）に示すように、上側及び左側に存在する参照サンプルのうちの少なくとも１つを用いて再構成を行うことができる。又は、対応ブロックの画面内予測モードが上側参照サンプルと右上側参照サンプルを用いる方向性モードである場合、図１１の（ｂ）に示すように、上側及び右上側に存在する参照サンプルのうちの少なくとも一つを用いて再構成を行うことができる。又は、対応ブロックの画面内予測モードが左側及び左下側の参照サンプルを用いる方向性モードである場合、図１１の（ｃ）に示すように、左側及び左下側に存在する参照サンプルのうちの少なくとも一つを用いて再構成を行うことができる。
又は、第１色成分対応ブロック又は近傍ブロックのうちの少なくとも一つの量子化パラメータに応じて、第１色成分対応ブロックの参照サンプルの再構成を異なるように行うことができる。例えば、図１１の（ｄ）に示すように、近傍ブロックの量子化パラメータ値（ＱＰ）が相対的に小さい上側ブロックに属する参照サンプルを用いて再構成を行うことができる。
又は、第２色成分対象ブロックの形状が長方形である場合には、正方形である第１色成分対応ブロック近傍の参照サンプルを用いて再構成を行うことができる。
又は、第２色成分対象ブロックが２つのブロック（例えば、２つの１６ｘ８ブロック）に分割され、第１色成分対応ブロックは、例えば、３２ｘ１６ブロックである場合には、３２ｘ３２ブロックの近傍の参照サンプルを用いて再構成を行うことができる。この時、前記第２色成分対応ブロックのうち下側に位置する２番目の１６ｘ８ブロックに対応する第１色成分ブロックの参照サンプルとして、前記再構成した３２ｘ３２ブロックの近傍の参照サンプルを共有することができる。
以下、ステップＳ８２０の予測パラメータ導出ステップについて説明する。
前記再構成した第１色成分対応ブロックの参照サンプルと第２色成分予測対象ブロックの参照サンプルのうちの少なくとも一つを用いて予測パラメータを導出することができる。以下、第１色成分及び第１色成分ブロックは、再構成した第１色成分及び再構成した第１色成分ブロックを意味することができる。
図１２は、第２色成分予測対象ブロックが４ｘ４である場合、再構成された第１色成分対応ブロックを説明するための例示図である。このとき、参照サンプルラインはＮ個であり得る。
予測パラメータは、図１２の（ａ）に示すように、再構成された第１色成分対応ブロック又は第２色成分予測対象ブロックの上側と左側の参照サンプルを用いて導出できる。
例えば、予測パラメータは、第１色成分対応ブロックの画面内予測モードに基づいて、前記再構成された第１色成分の参照サンプルを適応的に用いることにより導出できる。このとき、第２色成分参照サンプルも、前記第１色成分対応ブロックの画面内予測モードに基づいて適応的に使用できる。
第１色成分対応ブロックの画面内予測モードがＤＣモード又はＰｌａｎａｒモードのように非方向性モードであるか、或いは上側参照サンプルと左側参照サンプルの両方を用いる方向性モードである場合、図１２の（ａ）に示すように、第１色成分対応ブロックの上側と左側参照サンプルを用いることができる。
第１色成分対応ブロックの画面内予測モードが上側参照サンプルを用いる方向性モードである場合、図１２の（ｂ）又は（ｃ）に示すように、第１色成分対応ブロックの上側参照サンプルを用いることができる。
第１色成分対応ブロックの画面内予測モードが左側参照サンプルを用いる方向性モードである場合、図１２の（ｄ）又は（ｅ）に示すように、第１色成分対応ブロックの左側参照サンプルを用いることができる。
又は、第１色成分対応ブロックの画面内予測モードが方向性モードである場合、各モードごとに予測に利用する参照サンプルを前記第１色成分の参照サンプルとして用いることができる。例えば、前記画面内予測モードが垂直モードであれば、図１２の（ｂ）に示された参照サンプルを用いることができる。前記画面内予測モードが水平モードであれば、図１２の（ｄ）に示された参照サンプルを用いることができる。前記画面内予測モードが右上対角線モードであれば、図１２の（ｃ）に示された参照サンプルを用いることができる。前記画面内予測モードが左下対角線モードであれば、図１２の（ｅ）に示された参照サンプルを用いることができる。前記画面内予測モードが垂直モードと右上対角線モードとの間に存在するモードであれば、図１２の（ｆ）に示された参照サンプルを用いることができる。前記画面内予測モードが４５度の対角線に該当する方向性モードである場合、図１２の（ｇ）に示すように右上側又は左下側の参照サンプルの少なくとも一つを用いることができる。画面内予測モードに応じて用いられる参照サンプルは、ルックアップテーブル（Ｌｏｏｋ−ｕｐ ｔａｂｌｅ）の形で記憶して用いることができる。
予測パラメータの導出は、第１色成分ブロック及び／又は第２色成分ブロックのサイズ及び／又は形状に応じて、前記第１色成分又は第２色成分の参照サンプルを適応的に用いて行われ得る。
例えば、前記第２色成分対象ブロックのサイズが６４ｘ６４である場合、前記第１色成分又は第２色成分ブロックの上側又は左側の参照サンプルのうちの３２個、１６個又は８個の参照サンプルが使用できる。上述の如く、第２色成分対象ブロックのサイズが所定のサイズに該当する場合、前記第１又は第２色成分ブロックの参照サンプルが適応的に使用できる。前記所定のサイズは、６４ｘ６４に限定されず、ビットストリームを介してシグナリングされるか、或いは現在ブロック及び近傍ブロックの符号化パラメータに基づいて導出されるサイズであり得る。
又は、第２色成分対象ブロックの形状が長方形である場合、横及び縦のうちの長い方に隣接する参照サンプルが使用できる。例えば、前記対象ブロックの形状が３２ｘ８である場合、前記第１色成分又は第２色成分ブロックの上側参照サンプルが使用できる。
又は、第２色成分対象ブロックの形状が長方形である場合、正方形ブロックの参照サンプルを用いることができる。例えば、前記対象ブロックの形状が３２ｘ８である場合、３２ｘ３２ブロックの近傍に位置する参照サンプルが使用できる。
予測パラメータの導出は、前記再構成された第１色成分ブロックの参照サンプル及び第２色成分ブロックの参照サンプルを用いて行われ得る。前記色成分の参照サンプル間の関連性、変化量、平均値及び分布などの少なくとも一つに基づいて予測パラメータが導出できる。この際、ＬＳ（Ｌｅａｓｔ Ｓｑｕａｒｅ）やＬＭＳ（Ｌｅａｓｔ Ｍｅａｎ Ｓｑｕａｒｅ）などの方法のうちの少なくとも一つが使用できる。
ＬＭＳ方法を用いて予測パラメータを導出する場合、予測パラメータはａ、ｂ又はアルファ、ベータのうちの少なくとも一つであり得る。下記数式１１を用いて、第１色成分参照サンプルと第２色成分参照サンプル間のエラーを最小化する予測パラメータを導出することができる。
Figure 2019531025
前記数式１１において、ｐ２ｎは第２色成分参照サンプルを示し、ｐ１’ｎは再構成された第１色成分の参照サンプルを示すことができる。Ｎは用いられる参照サンプルの横又は縦の個数を示し、ａ及びｂは予測パラメータを示すことができる。
このとき、下記数式１２を用いて、参照サンプル間の関連性を計算することができる。
Figure 2019531025
前記数式１２において、ＢｉｔＤｅｐｔｈはビット深度を示すことができる。ｐ１’は再構成された第１色成分のサンプルを示し、ｐ２は第２色成分のサンプルを示すことができる。図１３は第１色成分のサンプル及び第２色成分のサンプルを説明するための図である。
予測パラメータを導出するとき、参照サンプルが存在しない領域がある場合、存在する参照サンプルだけを用いて予測パラメータを導出することができる。
前記予測パラメータを一つ以上導出することができる。例えば、前記予測パラメータを導出するために用いる参照サンプルの値が特定の条件を満たす参照サンプルから、第１予測パラメータを導出することができる。また、前記特定の条件を満たさない参照サンプルから第２予測パラメータを導出することができる。前記特定の条件は、参照サンプルの値が参照サンプルの統計値（例えば、平均値）よりも小さい場合に該当することができる。
本発明の他の実施形態によれば、参照サンプルを用いて予測パラメータを導出せず、基本予測パラメータ（ｄｅｆａｕｌｔ ｐａｒａｍｅｔｅｒ）が使用されることもある。前記基本予測パラメータは符号化器と復号器で既に定義できる。例えば、予測パラメータａ、ｂはそれぞれ１、０であり得る。
又は、予測パラメータが導出される場合、導出された予測パラメータは符号化／復号できる。
Ｙ、Ｃｂ、Ｃｒ間の色成分間予測を行う場合、ＣｂとＣｒを予測するための予測パラメータをＹからそれぞれ導出することもできる。又は、Ｃｒを予測するための予測パラメータをＣｂから導出することができる。又は、Ｃｒを予測するための予測パラメータを導出せず、Ｃｂを予測するためにＹから導出した予測パラメータを用いることができる。
以下、ステップＳ８３０の色成分間予測実行ステップについて説明する。
前述したように、予測パラメータが導出されると、導出された予測パラメータのうちの少なくとも一つを用いて色成分間画面内予測を行うことができる。
例えば、下記数式１３を用いて、再構成された第１色成分の再構成された信号に、前記導出された予測パラメータを適用することにより、第２色成分対象ブロックに対する予測を行うことができる。
Figure 2019531025
前記数式１３において、ｐ２[ｘ，ｙ]は第２色成分対象ブロックの予測ブロックであり得る。ｐ１’[ｘ，ｙ]は第１色成分ブロック又は再構成された第１色成分ブロックであり得る。
又は、下記数式１４を用いて、再構成された第１色成分の残差信号に、前記導出された予測パラメータを適用することにより、第２色成分対象ブロックに対する予測を行うこともできる。
Figure 2019531025
前記数式１４において、ｐ１’＿ｒｅｓｉｄｕａｌは第１色成分の残差信号を示すことができる。また、ｐ２＿ｐｒｅｄは第２色成分対象ブロックに対して画面内予測を行って予測した信号を示すことができる。
前記導出した予測パラメータが一つ以上である場合には、前記第１色成分の再構成されたサンプルに前記一つ以上の予測パラメータを適用することができる。例えば、前記第１色成分の再構成されたサンプルが特定の条件を満足する場合には、前記特定の条件を満足する参照サンプルから導出された第１予測パラメータを適用して、色成分間画面内予測を行うことができる。また、前記第１色成分の再構成されたサンプルが前記特定の条件を満足しない場合、前記特定の条件を満足しない参照サンプルから導出された第２予測パラメータを適用して、色成分間画面内予測を行うことができる。前記特定の条件は、参照サンプルの値が前記第１色成分の参照サンプルの統計値（例えば、平均値）よりも小さい場合に該当することができる。
前記色成分間予測方法は、画面間予測モードにも適用することができる。たとえば、現在ブロックに対する画面間予測を行うにあたり、第１色成分に対しては画面間予測を行い、第２色成分に対しては色成分間予測を行うことができる。例えば、前記第１色成分は輝度成分であり、第２色成分は色差成分であり得る。また、前記色成分間予測は、第１色成分の符号化パラメータに応じて適応的に行うことができる。例えば、前記第１色成分のＣＢＦ情報に基づいて、前記色成分間予測を行うか否かを決定することができる。前記ＣＢＦ情報は残差信号の存否を示す情報であり得る。すなわち、前記第１色成分のＣＢＦが１である場合、第２色成分に対して色成分間予測を行うことができる。前記第１色成分のＣＢＦが０である場合には、第２色成分に対して色成分間予測を行わずに、前記画面間予測を行うことができる。又は、前記色成分間予測を行うか否かを示すフラグをシグナリングすることができる。
これらの実施形態は、符号化器及び復号器で同様の方法で行われ得る。
これらの実施形態を適用する順序は、符号化器と復号器で互いに異なってもよく、前記実施形態を適用する順序は、符号化器と復号器で同一であってもよい。
輝度及び色差信号それぞれに対して前記実施形態を行うことができ、輝度及び色差信号に対する前記実施形態を同様に行うことができる。
上述した本発明の実施形態が適用されるブロックの形状は、正方形（ｓｑｕａｒｅ）あるいは非正方形（ｎｏｎ−ｓｑｕａｒｅ）の形状を有することができる。
上述した本発明の実施形態は、符号化ブロック、予測ブロック、変換ブロック、ブロック、現在ブロック、符号化ユニット、予測ユニット、変換ユニット、ユニット、及び現在ユニットのうちの少なくとも一つのサイズに応じて適用できる。ここでのサイズは、これらの実施形態が適用されるために、最小サイズ及び／又は最大サイズと定義されることもあり、前記実施形態が適用される固定サイズと定義されることもある。また、これらの実施形態は、第１のサイズでは第１実施形態が適用でき、第２のサイズでは第２実施形態が適用できる。すなわち、これらの実施形態は、大きさに応じて複合的に適用できる。また、上述した本発明の実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用できる。すなわち、これらの実施形態を、ブロックのサイズが一定の範囲内に含まれる場合にのみ適用可能である。
例えば、現在ブロックのサイズが８ｘ８以上である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが４ｘ４である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。例えば、現在ブロックのサイズが１６ｘ１６以上、６４×６４以下である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態は、時間的階層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に応じて適用できる。これらの実施形態が適用可能な時間的階層を識別するために、別途の識別子（ｉｄｅｎｔｉｆｉｅｒ）がシグナリングされ、該当識別子によって特定された時間的階層に対してこれらの実施形態が適用できる。ここでの識別子は、前記実施形態に適用可能な最下位階層及び／又は最上位階層と定義されることもあり、前記実施形態が適用される特定の階層を指し示すものと定義されることもある。また、前記実施形態が適用される固定された時間的階層が定義されることもある。
例えば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層識別子が１以上である場合にのみ、前記実施形態が適用できる。例えば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形態が適用できる。
上述した本発明の実施形態が適用されるスライスタイプ（ｓｌｉｃｅ ｔｙｐｅ）が定義され、当該スライスタイプに応じて本発明の実施形態が適用できる。
上述した実施形態において、これらの方法は、一連のステップ又はユニットでフローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、上述したのとは異なるステップと異なる順序で又は同時に発生することができる。また、当該技術分野における通常の知識を有する者であれば、フローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できることを理解することができるだろう。
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すためのすべての可能な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は、以下の特許請求の範囲内に属するすべての様々な交替、修正及び変更を含むといえる。
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読記録媒体に記録できる。前記コンピュータ可読記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ可読記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明はこれらの実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形したすべてのものは本発明の思想の範疇に属するというべきである。
本発明は、画像を符号化／復号することに利用可能である。

Claims (20)

  1. 第１色成分ブロックを用いて第２色成分ブロックを予測する画像復号化方法において、
    前記第１色成分ブロックを用いて予測パラメータを誘導するステップと、
    前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含む、画像復号化方法。
  2. 前記第１色成分ブロックは輝度ブロックであり、前記第２色成分ブロックは色差ブロックである、請求項１に記載の画像復号化方法。
  3. 前記第２色成分ブロックのサイズ又は形状に基づいて、前記第１色成分ブロックを用いた第２色成分ブロックの予測を行うか否かを決定するステップをさらに含む、請求項１に記載の画像復号化方法。
  4. 前記第１色成分ブロックのサイズ及び前記第２色成分ブロックのサイズに基づいて、前記第１色成分ブロックを再構成するステップをさらに含む、請求項１に記載の画像復号化方法。
  5. 前記第１色成分ブロックのサイズが前記第２色成分ブロックのサイズよりも大きい場合、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックをダウンサンプリングするステップを含む、請求項４に記載の画像復号化方法。
  6. 前記第１色成分ブロックのサイズが前記第２色成分ブロックのサイズよりも小さい場合、前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックをアップサンプリングするステップを含む、請求項４に記載の画像復号化方法。
  7. 前記第１色成分ブロックを再構成するステップは、前記第１色成分ブロックの境界又は前記第２色成分ブロックの境界が所定の画像領域の境界に該当するかに基づいて行われる、請求項４に記載の画像復号化方法。
  8. 前記所定の画像領域はピクチャ、スライス、タイル、ＣＴＵ及びＣＵのうちの少なくとも一つである、請求項７に記載の画像復号化方法。
  9. 前記第１色成分ブロックの境界又は前記第２色成分ブロックの境界が所定の画像領域の境界に該当する場合、前記第１色成分ブロックの再構成に用いられる上側参照サンプルラインの数と左側参照サンプルラインの数とは互いに異なる、請求項７に記載の画像復号化方法。
  10. 前記第１色成分ブロックの再構成に用いられる参照サンプルは、前記第１色成分ブロックの画面内予測モードに基づいて決定される、請求項４に記載の画像復号化方法。
  11. 前記第１色成分ブロックの再構成に用いられる参照サンプルは、前記第１色成分ブロックの周辺ブロックの量子化パラメータに基づいて決定される、請求項４に記載の画像復号化方法。
  12. 前記第１色成分ブロックが正方形であり、前記第２色成分ブロックは長方形である場合、前記第１色成分ブロックの構成に用いられる参照サンプルは、前記正方形である第１色成分ブロックの周辺の参照サンプルである、請求項４に記載の画像復号化方法。
  13. 前記予測パラメータを誘導するステップは、前記第１色成分ブロックの参照サンプル及び前記第２色成分ブロックの参照サンプルのうちの少なくとも一つを用いて行われる、請求項１に記載の画像復号化方法。
  14. 前記予測パラメータを誘導することに用いられる前記参照サンプルは、前記第１色成分ブロックの画面内予測モードに基づいて決定される、請求項１３に記載の画像復号化方法。
  15. 前記予測パラメータを誘導することに用いられる前記参照サンプルは、前記第１色成分ブロック又は前記第２色成分ブロックのサイズ又は形状に基づいて決定される、請求項１３に記載の画像復号化方法。
  16. 前記予測パラメータを誘導するステップは、前記第１色成分ブロックの参照サンプルと前記第２色成分ブロックの参照サンプルとの関連性、変化量、平均値及び分布のうちの少なくとも一つに基づいて行われる、請求項１３に記載の画像復号化方法。
  17. 第１色成分ブロックを用いて第２色成分ブロックを予測する画面内予測部を含む画像復号化装置において、
    前記画面内予測部は、
    前記第１色成分ブロックを用いて予測パラメータを誘導し、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測する、画像復号化装置。
  18. 第１色成分ブロックを用いて第２色成分ブロックを予測する画像符号化方法において、
    前記第１色成分ブロックを用いて予測パラメータを誘導するステップと、
    前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含む、画像符号化方法。
  19. 第１色成分ブロックを用いて第２色成分ブロックを予測する画面内予測部を含む画像符号化装置において、
    前記画面内予測部は、
    前記第１色成分ブロックを用いて予測パラメータを誘導し、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測する、画像符号化装置。
  20. 第１色成分ブロックを用いて第２色成分ブロックを予測する画像符号化方法によって生成されたビットストリームを保存する記録媒体であって、前記画像符号化方法は、
    前記第１色成分ブロックを用いて予測パラメータを誘導するステップと、前記誘導された予測パラメータを用いて前記第２色成分ブロックを予測するステップとを含む、記録媒体。
JP2019517790A 2016-10-04 2017-09-22 画像復号方法、画像符号化方法、及び記録媒体 Active JP7356347B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022017000A JP2022078048A (ja) 2016-10-04 2022-02-07 画像復号方法及び画像符号化方法
JP2024112482A JP2024128092A (ja) 2016-10-04 2024-07-12 画像復号方法、画像符号化方法、及び伝送方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20160127874 2016-10-04
KR10-2016-0127874 2016-10-04
PCT/KR2017/010469 WO2018066849A1 (ko) 2016-10-04 2017-09-22 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022017000A Division JP2022078048A (ja) 2016-10-04 2022-02-07 画像復号方法及び画像符号化方法

Publications (3)

Publication Number Publication Date
JP2019531025A true JP2019531025A (ja) 2019-10-24
JP2019531025A5 JP2019531025A5 (ja) 2019-12-05
JP7356347B2 JP7356347B2 (ja) 2023-10-04

Family

ID=61831504

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019517790A Active JP7356347B2 (ja) 2016-10-04 2017-09-22 画像復号方法、画像符号化方法、及び記録媒体
JP2022017000A Pending JP2022078048A (ja) 2016-10-04 2022-02-07 画像復号方法及び画像符号化方法
JP2024112482A Pending JP2024128092A (ja) 2016-10-04 2024-07-12 画像復号方法、画像符号化方法、及び伝送方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022017000A Pending JP2022078048A (ja) 2016-10-04 2022-02-07 画像復号方法及び画像符号化方法
JP2024112482A Pending JP2024128092A (ja) 2016-10-04 2024-07-12 画像復号方法、画像符号化方法、及び伝送方法

Country Status (5)

Country Link
US (9) US11202063B2 (ja)
JP (3) JP7356347B2 (ja)
KR (14) KR20180037575A (ja)
CN (15) CN118660159A (ja)
WO (1) WO2018066849A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191036A (ja) * 2017-04-28 2018-11-29 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118660159A (zh) 2016-10-04 2024-09-17 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
JP6767579B2 (ja) 2017-06-01 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、符号化方法、復号装置及び復号方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
WO2019007492A1 (en) * 2017-07-04 2019-01-10 Huawei Technologies Co., Ltd. INTRAMODE BYPASS LINE MEMORY HARMONIZATION DECODER SIDE WITH UNBLOCKING FILTER
WO2019050292A1 (ko) * 2017-09-08 2019-03-14 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN117221555A (zh) * 2017-09-21 2023-12-12 株式会社Kt 视频信号处理方法及装置
CN115022632A (zh) 2017-10-18 2022-09-06 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
GB2567861A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
CN118413666A (zh) * 2017-11-28 2024-07-30 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的传输方法和存储介质
US11233992B2 (en) 2018-04-01 2022-01-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image encoding/decoding method and device using intra prediction
WO2019203487A1 (ko) * 2018-04-19 2019-10-24 엘지전자 주식회사 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
KR101956756B1 (ko) * 2018-06-12 2019-03-11 광운대학교 산학협력단 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
WO2019245551A1 (en) * 2018-06-20 2019-12-26 Realnetworks, Inc. Intra-picture prediction in video coding systems and methods
CN118233629A (zh) * 2018-07-11 2024-06-21 三星电子株式会社 用于视频解码的方法和设备以及用于视频编码的方法和设备
WO2020016748A1 (en) 2018-07-15 2020-01-23 Beijing Bytedance Network Technology Co., Ltd. Cross-component motion information derivation
US11539977B2 (en) * 2018-07-31 2022-12-27 Hfi Innovation Inc. Method and apparatus of merge with motion vector difference for video coding
CN112655206A (zh) 2018-08-24 2021-04-13 三星电子株式会社 视频解码方法和设备、以及视频编码方法和设备
US11290713B1 (en) * 2018-09-20 2022-03-29 Lg Electronics Inc. Method and device for image decoding on basis of CCLM prediction in image coding system
KR20230135159A (ko) * 2018-09-21 2023-09-22 후아웨이 테크놀러지 컴퍼니 리미티드 역 양자화 장치 및 방법
CN112913235B (zh) * 2018-10-04 2023-07-14 Lg电子株式会社 基于cclm的帧内预测方法及其设备
WO2020071617A1 (ko) * 2018-10-04 2020-04-09 엘지전자 주식회사 Cclm에 기반한 인트라 예측 방법 및 그 장치
WO2020108572A1 (en) * 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Independent construction method for block vector list in intra block copy mode
CN118200554A (zh) * 2018-12-27 2024-06-14 英迪股份有限公司 图像编码/解码方法和装置
KR20220104076A (ko) 2019-01-09 2022-07-25 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 교차-성분 선형 모델을 사용하는 비디오 코딩
US11172197B2 (en) * 2019-01-13 2021-11-09 Tencent America LLC Most probable mode list generation scheme
JP7537879B2 (ja) 2019-02-12 2024-08-21 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
KR20210100741A (ko) * 2019-02-21 2021-08-17 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치
EP3918800A4 (en) 2019-03-08 2022-07-06 Beijing Bytedance Network Technology Co., Ltd. SIGNALING TRANSFORMATION INFORMATION IN VIDEO PROCESSING
JP2022068379A (ja) * 2019-03-08 2022-05-10 シャープ株式会社 画像復号装置
TWI752438B (zh) * 2019-03-15 2022-01-11 聯發科技股份有限公司 色度殘差縮放之延遲降低方法和裝置
KR20200119744A (ko) * 2019-04-10 2020-10-20 한국전자통신연구원 화면 내 예측에서 예측 모드 관련 신호를 시그널링하는 방법 및 장치
BR112021019564A2 (pt) 2019-04-18 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
AU2020263199B2 (en) 2019-04-23 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
CN117221558A (zh) 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
WO2020256324A1 (ko) * 2019-06-18 2020-12-24 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
WO2021054783A1 (ko) * 2019-09-21 2021-03-25 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US12022094B2 (en) * 2019-10-08 2024-06-25 Lg Electronics Inc. Transform-based image coding method and device for same
US11399195B2 (en) * 2019-10-30 2022-07-26 Tencent America LLC Range of minimum coding block size in video coding
CN114731430A (zh) * 2019-12-05 2022-07-08 交互数字Vc控股法国有限公司 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区
CN117795961A (zh) * 2021-06-29 2024-03-29 株式会社Kt 基于帧内预测的视频信号编码/解码方法和装置以及存储比特流的记录介质
KR20230002095A (ko) * 2021-06-29 2023-01-05 주식회사 케이티 서브 블록 단위의 화면 내 예측에 기반한 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
WO2024091094A1 (ko) * 2022-10-28 2024-05-02 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
JP2013150164A (ja) * 2012-01-19 2013-08-01 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
US20140233650A1 (en) * 2011-11-04 2014-08-21 Huawei Technologies Co., Ltd. Intra-Frame Prediction and Decoding Methods and Apparatuses for Image Signal
JP2015008341A (ja) * 2011-10-31 2015-01-15 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101311402B1 (ko) * 2006-03-23 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR20110111853A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 복수의 부분에 기초한 영상 부호화, 복호화 방법 및 장치
KR20120061035A (ko) * 2010-10-01 2012-06-12 삼성전자주식회사 영상의 인트라 예측 방법 및 장치
KR102696949B1 (ko) 2010-12-08 2024-08-20 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
CN108540810B (zh) 2011-03-06 2021-01-08 Lg 电子株式会社 使用亮度采样的色度块的内部预测方法以及使用其的装置
JP2013034163A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
CN106412585A (zh) 2011-06-17 2017-02-15 联发科技股份有限公司 内部预测模式编码的方法
US9565428B2 (en) 2011-06-20 2017-02-07 Mediatek Singapore Pte. Ltd. Method and apparatus of chroma intra prediction with reduced line memory
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
CN105791835A (zh) * 2011-06-23 2016-07-20 Jvc建伍株式会社 图像编码装置和图像编码方法
CA2840488A1 (en) 2011-06-28 2013-01-03 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
EP2732624A4 (en) 2011-07-12 2015-07-15 Intel Corp LUMBASED CHROMAINTRAPREDICTION
KR101348544B1 (ko) 2011-08-17 2014-01-10 주식회사 케이티 단거리 화면 내 예측 모드에서 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20130020511A (ko) * 2011-08-17 2013-02-27 주식회사 케이티 영상 인트라 예측 방법 및 장치
CN103748877B (zh) * 2011-08-17 2017-05-10 联发科技（新加坡）私人有限公司 帧内预测方法和装置
JPWO2013065263A1 (ja) 2011-11-02 2015-04-02 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
KR20130050900A (ko) 2011-11-08 2013-05-16 한국전자통신연구원 인트라 예측 방법 및 그 장치
CN103918269B (zh) 2012-01-04 2017-08-01 联发科技（新加坡）私人有限公司 色度帧内预测方法及装置
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9955153B2 (en) * 2012-01-05 2018-04-24 Google Technology Holdings LLC Devices and methods for sample adaptive offset coding
EP4366307A3 (en) 2012-01-18 2024-07-17 Electronics and Telecommunications Research Institute Method and device for encoding and decoding image
JP2013229866A (ja) * 2012-03-30 2013-11-07 Jvc Kenwood Corp 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
CN103379321B (zh) * 2012-04-16 2017-02-01 华为技术有限公司 视频图像分量的预测方法和装置
EP2869557B1 (en) * 2012-06-29 2023-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding images
CA2896637C (en) * 2013-03-26 2018-02-13 Mediatek Inc. Method of cross color intra prediction
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
BR112015025113B1 (pt) 2013-04-05 2023-03-21 Mitsubishi Electric Corporation Dispositivo de decodificação de imagem a cores, e, método de decodificação de imagem a cores
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20150048637A (ko) * 2013-10-28 2015-05-07 한국전자통신연구원 색 성분 간 예측 방법 및 장치
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
WO2017052081A1 (ko) * 2015-09-24 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
WO2018047995A1 (ko) * 2016-09-08 2018-03-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN118660159A (zh) 2016-10-04 2024-09-17 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015008341A (ja) * 2011-10-31 2015-01-15 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US20140233650A1 (en) * 2011-11-04 2014-08-21 Huawei Technologies Co., Ltd. Intra-Frame Prediction and Decoding Methods and Apparatuses for Image Signal
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
JP2013150164A (ja) * 2012-01-19 2013-08-01 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191036A (ja) * 2017-04-28 2018-11-29 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Also Published As

Publication number Publication date
US20240314300A1 (en) 2024-09-19
CN118660159A (zh) 2024-09-17
US20230370581A1 (en) 2023-11-16
US11202063B2 (en) 2021-12-14
US20230362355A1 (en) 2023-11-09
CN118678062A (zh) 2024-09-20
JP2024128092A (ja) 2024-09-20
CN116915984A (zh) 2023-10-20
CN118678065A (zh) 2024-09-20
KR20240049540A (ko) 2024-04-16
US20220070446A1 (en) 2022-03-03
KR102688470B1 (ko) 2024-07-25
WO2018066849A1 (ko) 2018-04-12
KR20230173065A (ko) 2023-12-26
CN118678063A (zh) 2024-09-20
KR20240049541A (ko) 2024-04-16
CN118741103A (zh) 2024-10-01
KR102613966B1 (ko) 2024-01-02
KR20230113257A (ko) 2023-07-28
KR102409443B1 (ko) 2022-06-15
CN118694926A (zh) 2024-09-24
JP7356347B2 (ja) 2023-10-04
CN116915985A (zh) 2023-10-20
CN118678066A (zh) 2024-09-20
US20230370582A1 (en) 2023-11-16
KR20210156826A (ko) 2021-12-27
CN109804625A (zh) 2019-05-24
US20230239466A1 (en) 2023-07-27
US11902509B2 (en) 2024-02-13
KR20240116682A (ko) 2024-07-30
US12088795B2 (en) 2024-09-10
KR20240115220A (ko) 2024-07-25
KR20240066135A (ko) 2024-05-14
US20240314299A1 (en) 2024-09-19
US20190215512A1 (en) 2019-07-11
KR20240066134A (ko) 2024-05-14
KR20240116681A (ko) 2024-07-30
US20240314298A1 (en) 2024-09-19
JP2022078048A (ja) 2022-05-24
CN118678061A (zh) 2024-09-20
CN118714296A (zh) 2024-09-27
CN109804625B (zh) 2024-08-13
CN118678064A (zh) 2024-09-20
KR20240063819A (ko) 2024-05-10
CN118694924A (zh) 2024-09-24
KR20240113893A (ko) 2024-07-23
KR20220083653A (ko) 2022-06-20
KR20180037575A (ko) 2018-04-12
CN118694925A (zh) 2024-09-24

Similar Documents

Publication Publication Date Title
KR102613966B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102709345B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN110870315B (zh) 用于对图像进行编码/解码的方法和装置以及存储比特流的记录介质
KR20230132420A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190417

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190805

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191009

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210706

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220207

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220207

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220224

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220301

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220325

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220329

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220802

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221222

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7356347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150