JP2021513795A - 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置 - Google Patents
履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置 Download PDFInfo
- Publication number
- JP2021513795A JP2021513795A JP2020543029A JP2020543029A JP2021513795A JP 2021513795 A JP2021513795 A JP 2021513795A JP 2020543029 A JP2020543029 A JP 2020543029A JP 2020543029 A JP2020543029 A JP 2020543029A JP 2021513795 A JP2021513795 A JP 2021513795A
- Authority
- JP
- Japan
- Prior art keywords
- merge
- merge candidate
- candidate list
- candidates
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 453
- 239000013598 vector Substances 0.000 title claims abstract description 228
- 238000000034 method Methods 0.000 title claims abstract description 182
- 238000012545 processing Methods 0.000 title claims abstract description 82
- 230000008569 process Effects 0.000 claims description 58
- 238000003672 processing method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 abstract description 32
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 259
- 108091006146 Channels Proteins 0.000 description 104
- 239000000523 sample Substances 0.000 description 98
- 230000002093 peripheral effect Effects 0.000 description 84
- 238000013138 pruning Methods 0.000 description 78
- 238000006243 chemical reaction Methods 0.000 description 57
- 238000003860 storage Methods 0.000 description 45
- 238000004891 communication Methods 0.000 description 42
- 230000002123 temporal effect Effects 0.000 description 33
- 238000001914 filtration Methods 0.000 description 30
- 241000723655 Cowpea mosaic virus Species 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000013139 quantization Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 230000007774 longterm Effects 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000009795 derivation Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000013074 reference sample Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000746 purification Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101000591286 Homo sapiens Myocardin-related transcription factor A Proteins 0.000 description 1
- 102100034099 Myocardin-related transcription factor A Human genes 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Abstract
本発明では、ビデオ信号を処理する方法、及びこのための装置が開示される。具体的に、履歴ベース動きベクトル予測に基づいてビデオ信号を処理する方法において、現在ブロックの隣接ブロックに基づいて、マージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成する段階と、前記マージ候補リストに含まれたマージ候補の数が、予め定義された第１の大きさより小さい場合、前記現在ブロックの履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を前記マージ候補リストに追加する段階と、前記マージ候補リストに含まれたマージ候補の数が、予め定義された第２の大きさより小さい場合、前記マージリストにゼロ動きベクトルを追加する段階と、前記マージ候補リスト内で前記現在ブロックのインター予測に用いられるマージ候補を指示するマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を獲得する段階と、前記マージインデックスにより指示されるマージ候補の動き情報に基づいて、前記現在ブロックの予測サンプルを生成する段階と、前記動き情報に基づいて、履歴ベースマージ候補リスト（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）をアップデートする段階とを含み得る。【選択図】図３７
Description
本明細書の実施例は、インター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）に基づいてビデオ信号を処理するための方法及び装置に関し、特に、履歴ベース動きベクトル予測（ｈｉｓｔｏｒｙ−ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）を用いてインター予測を行うための方法及び装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、又は保存媒体に適した形態で保存するための一連の信号処理技術を意味する。映像、イメージ、音声等のメディアが圧縮符号化の対象になり得、特に、映像を対象に圧縮符号化を行う技術をビデオ映像圧縮と称する。
次世代ビデオコンテンツは、高解像度（ｈｉｇｈ ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ ｆｒａｍｅ ｒａｔｅ）、及び映像表現の高次元化（ｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｓｃｅｎｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリストレージ（ｍｅｍｏｒｙ ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ ａｃｃｅｓｓ ｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）の側面で大幅な増加をもたらすであろう。
従って、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。
本明細書の実施例の目的は、ＨＭＶＰ候補をマージ候補リスト（又はＡＭＶＰ候補リスト）に追加するにあたって、予測の効率を高めるための重複性チェックに対する制限を提案する。
また、本明細書の実施例の目的は、ＨＭＶＰ候補をマージモード（又はＡＭＶＰモード）に効果的に適用するために、ＨＭＶＰテーブルの大きさを定義する方法を提案する。
本明細書の実施例で解決しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及しないまた別の技術的課題は、以下の記載から本明細書が属する技術分野で通常の知識を有する者に明確に理解されるべきである。
本明細書の実施例の一様相は、履歴ベース動きベクトル予測に基づいてビデオ信号を処理する方法において、現在ブロックの隣接ブロックに基づいて、マージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成する段階と、前記マージ候補リストに含まれたマージ候補の数が、予め定義された第１の大きさより小さい場合、前記現在ブロックの履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を前記マージ候補リストに追加する段階と、前記マージ候補リストに含まれたマージ候補の数が、予め定義された第２の大きさより小さい場合、前記マージリストにゼロ動きベクトルを追加する段階と、前記マージ候補リスト内で前記現在ブロックのインター予測に用いられるマージ候補を指示するマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を獲得する段階と、前記マージインデックスにより指示されるマージ候補の動き情報に基づいて、前記現在ブロックの予測サンプルを生成する段階と、前記動き情報に基づいて、履歴ベースマージ候補リスト（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）をアップデートする段階とを含み、前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち予め定義されたマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加され得る。
好ましくは、前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数に基づいて決定される大きさを有するように定義され得る。
好ましくは、前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数から１を減算した値の大きさを有するように定義され得る。
好ましく、前記履歴ベースマージ候補リストの大きさは５で定義され得る。
好ましくは、前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち、予め定義された特定の数のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加され得る。
好ましくは、前記履歴ベースマージ候補は、前記マージ候補リストに含まれた特定の空間のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加され得る。
好ましくは、前記履歴ベースマージ候補は、前記履歴ベースマージ候補リスト内で予め定義された特定の数の候補から誘導され得る。
本明細書の実施例の別の一様相は、インター予測に基づいてビデオ信号を処理する装置において、前記ビデオ信号を保存するメモリと、前記メモリと結合したプロセッサとを含み、前記プロセッサは、現在ブロックの隣接ブロックに基づいてマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成し、前記マージ候補リストに含まれたマージ候補の数が、予め定義された第１の大きさより小さい場合、前記現在ブロックの履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を前記マージ候補リストに追加し、前記マージ候補リストに含まれたマージ候補の数が、予め定義された第２の大きさより小さい場合、前記マージリストにゼロ動きベクトルを追加し、前記マージ候補リスト内で前記現在ブロックのインター予測に用いられるマージ候補を指示するマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を獲得し、前記マージインデックスにより指示されるマージ候補の動き情報に基づいて前記現在ブロックの予測サンプルを生成し、前記動き情報に基づいて履歴ベースマージ候補リスト（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）をアップデートし、前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち、予め定義されたマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加され得る。
本明細書の実施例にかかると、マージ候補リスト（又はＡＭＶＰ候補リスト）に追加するための重複性チェックを制限することによって、重複性チェックによる複雑度を改善し、これを通じて圧縮性能を向上させることができる。
また、本明細書の実施例にかかると、ＨＭＶＰテーブルの大きさを定義することによって、ＨＭＶＰテーブルの保存によるメモリの負担を減らすことができる。
本発明で得られる効果は、以上で言及した効果に制限されず、言及しないまた別の効果は、以下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。
本発明に関する理解を助けるために詳細な説明の一部に含まれる、添付図は、本発明に対する実施例を提供し、詳細な説明と共に本発明の技術的特徴を説明する。
以下、本明細書にかかる好ましい実施形態を添付図を参照として詳細に説明する。添付図と共に以下に開示される詳細な説明は、本明細書の例示的な実施形態を説明しようとするものであり、本明細書が実施され得る唯一の実施形態を示そうとするものではない。以下の詳細な説明は、本明細書の完全な理解を提供するために具体的な細部事項を含む。しかし、当業者は、本明細書がこのような具体的な細部事項がなくても実施され得ることを知る。
いくつかの場合、本明細書の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図の形式で示し得る。
また、本明細書で使用される用語は、できる限り現在広く使用される一般的な用語を選択しているが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合は、該当部分の詳細な説明でその意味を明確に記載するので、本明細書の説明で使用された用語の名称だけで単純解釈されてはならず、その該当用語の意味まで把握して解釈されるべきであることを明らかにしておく。
以下の説明で使用される特定の用語は、本明細書の理解を助けるために提供されたものであり、このような特定の用語の使用は、本明細書の技術的思想を外れない範囲で他の形態に変更され得る。例えば、信号、データ、サンプル、ピクチャ、スライス、タイル、フレーム、ブロックの場合、各コーディング過程で適切に代替して解釈され得る。
以下、本明細書における「処理ユニット」は、予測、変換及び／又は量子化等のようなエンコーディング／デコーディングの処理過程が行われる単位を意味する。また、処理ユニットは、輝度（ｌｕｍａ）成分に対する単位と、色差（ｃｈｒｏｍａ）成分に対する単位を含む意味と解釈され得る。例えば、処理ユニットは、ブロック（ｂｌｏｃｋ）、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、又は変換ブロック（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）に該当し得る。
また、処理ユニットは、輝度成分に対する単位又は色差成分に対する単位と解釈され得る。例えば、処理ユニットは、輝度成分に対するＣＴＢ（ｃｏｄｉｎｇ ｔｒｅｅ ｂｌｏｃｋ）、ＣＢ（ｃｏｄｉｎｇ ｂｌｏｃｋ）、ＰＵ又はＴＢ（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ）に該当し得る。或いは、処理ユニットは色差成分に対するＣＴＢ、ＣＢ、ＰＵ又はＴＢに該当し得る。また、これに限定されるわけではなく、処理ユニットは輝度成分に対する単位と色差成分に対する単位を含む意味と解釈されることもある。
また、処理ユニットは、必ずしも正方形のブロックに限定されるわけではなく、３つ以上の頂点を有する多角形の形態で構成されることもある。
また、以下、本明細書でピクセル、画素、又は係数（変換係数又は１次変換を経た変換係数）はサンプルと通称される。また、サンプルを利用するというのは、ピクセル値、画素値、又は係数（変換係数又は１次変換を経た変換係数）等を利用するということを意味し得る。
図１は、本明細書の実施例にかかるビデオコーディングシステムの例を示す。
ビデオコーディングシステムは、ソースデバイス１０及び受信デバイス２０を含むことができる。ソースデバイス１０は、エンコーディングされたビデオ／映像情報又はデータをファイル又はストリーミングの形態でデジタル保存媒体又はネットワークを介して受信デバイス２０に伝達することができる。
ソースデバイス１０は、ビデオソース１１、エンコーディング装置１２、送信機１３を含み得る。受信デバイス２０は、受信機２１、デコーディング装置２２及びレンダラー２３を含み得る。エンコーディング装置１０は、ビデオ／映像のエンコーディング装置と呼ばれ、デコーディング装置２０は、ビデオ／映像のデコーディング装置と呼ばれる。送信機１３は、エンコーディング装置１２に含まれ得る。受信機２１は、デコーディング装置２２に含まれ得る。レンダラー２３は、ディスプレイ部を含んでもよく、ディスプレイ部は別のデバイス又は外部のコンポーネントで構成されてもよい。
ビデオソースは、ビデオ／映像のキャプチャー、合成又は生成過程等を介してビデオ／映像を獲得することができる。ビデオソースは、ビデオ／映像のキャプチャーデバイス及び／又はビデオ／映像の生成デバイスを含み得る。ビデオ／映像のキャプチャーデバイスは、例えば、１つ以上のカメラ、以前にキャプチャーされたビデオ／映像を含むビデオ／映像のアーカイブ等を含み得る。ビデオ／映像の生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォン等を含んでもよく（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータ等を介して仮想のビデオ／映像が生成され得、この場合、関連データが生成される過程にビデオ／映像のキャプチャー過程に代えることができる。
エンコーディング装置１２は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置１２は、圧縮及びコーディングの効率のために予測、変換、量子化等一連の手続を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力されることができる。
送信部１３は、ビットストリームの形態で出力されたエンコーディングされたビデオ／映像情報又はデータをファイル又はストリーミングの形態でデジタル保存媒体又はネットワークを介して、受信デバイスの受信部に伝達することができる。デジタル保存媒体は、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）、ＣＤ（ｃｏｍｐａｃｔ ｄｉｓｋ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）、ブルーレイ（ｂｌｕｒａｙ）、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）のような多様な保存媒体を含み得る。送信部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含んでもよく、放送／通信ネットワークを介した送信のためのエレメントを含んでもよい。受信機２１は、ビットストリームを抽出し、デコーディング装置２２に伝達することができる。
デコーディング装置２２は、エンコーディング装置１２の動作に対応する逆量子化、逆変換、予測等一連の手続を行い、ビデオ／映像をデコーディングすることができる。
レンダラー２３は、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
図２は、本明細書の実施例にかかるビデオ／イメージ信号のエンコーディングのためのエンコーディング装置の概略的なブロック図を示す。
図２を参照すると、エンコーディング装置１００は、映像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５、及びエントロピーエンコーディング部１９０を含み得る。インター予測部１８０及びイントラ予測部１８５は、予測部と通称され得る。即ち、予測部は、インター予測部１８０及びイントラ予測部１８５を含み得る。変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０は、残差（ｒｅｓｉｄｕａｌ）処理部に含まれ得る。残差処理部は、減算部１１５を更に含んでもよい。前述した映像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、インター予測部１８０、イントラ予測部１８５、及びエントロピーエンコーディング部１９０は、実施例にかかって１つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）によって構成され得る。また、メモリ１７０は、実施例にかかって１つのハードウェアコンポーネント（例えば、メモリ又はデジタル保存媒体）によって構成され得、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆ−ｅｒ）１７５を含み得る。
映像分割部１１０は、エンコーディング装置１００に入力された入力映像（又は、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、処理ユニットは、コーディングユニット（ＣＵ）と呼ばれる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大のコーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ−ｔｒｅｅ ｂｉｎａｒｙ−ｔｒｅｅ）構造によって、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造及び／又はバイナリツリー構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割され得る。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造が後に適用され得る。或いは、バイナリツリー構造が先に適用されることもある。これ以上分割されない最終のコーディングユニットに基づいて、本明細書にかかるコーディング手続が行われる。この場合、映像の特性によるコーディングの効率等に基づいて、最大のコーディングユニットが直ぐに最終のコーディングユニットとして使用され得、或いは必要に応じて、コーディングユニットは再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終のコーディングユニットとして使用され得る。ここで、コーディング手続というのは、後述する予測、変換、及び復元などの手続を含み得る。別の例として、処理ユニットは、予測ユニット（ＰＵ）又は変換ユニット（ＴＵ）をさらに含み得る。この場合、予測ユニット及び変換ユニットは、それぞれ前述した最終のコーディングユニットから分割又はパーティショニングされ得る。前記予測ユニットはサンプル予測の単位であってもよく、前記変換ユニットは変換係数を誘導する単位及び／又は変換係数から残差信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であってもよい。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）等の用語と混用して使用してもよい。一般的な場合、ＭｘＮのブロックは、Ｍ個の列とＮ個の行とからなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を表し得る。サンプルは、一般的にピクセル又はピクセルの値を表し得、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを表すこともあり、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを表すこともある。サンプルは、１つのピクチャ（又は映像）をピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使用され得る。
エンコーディング装置１００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部１８０又はイントラ予測部１８５から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して残差信号（残余ブロック、残余サンプルアレイ）を生成することができ、生成された残差信号は変換部１２０へ送信される。この場合、示すように、エンコーディング装置１００内で入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部１１５と呼ばれる。予測部は、処理対象のブロック（以下、現在ブロックという）に対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、ブロック又はＣＵ単位でイントラ予測が適用されるか、若しくはインター予測が適用されるか決定できる。予測部は、各予測モードに対する説明で後述するように、予測モード情報のように予測に関する多様な情報を生成してエントロピーエンコーディング部１９０へ伝達することができる。予測に関する情報は、エントロピーエンコーディング部１９０でエンコーディングされ、ビットストリームの形態で出力されることができる。
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、或いは離れて位置してもよい。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含み得る。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含み得る。方向性モードは、予測方向の細密な程度によって、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含み得る。但し、これは例示であって、設定によってそれ以上又はそれ以下の数の方向性予測モードが使用され得る。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部１８０は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づき、現在ブロックに対する予測されたブロックを誘導することができる。この際、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック又はサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャのインデックスを含み得る。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報を更に含み得る。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含み得る。参照ブロックを含む参照ピクチャと、時間的周辺ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。時間的周辺ブロックは、同一位置の参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置のＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ、時間的周辺ブロックを含む参照ピクチャは、同一位置のピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報の候補リストを構成し、現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合に、インター予測部１８０は周辺ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードと異なり、残差信号が送信されないことがある。動きベクトル予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。
インター予測部１８０又はイントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために利用されるか、残差信号を生成するために利用されることができる。
変換部１２０は、残差信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（ｇｒａｐｈ−ｂａｓｅｄ ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（ｃｏｎｄｉｔｉｏｎａｌｌｙ ｎｏｎ−ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍ）のうち少なくとも１つを含んでもよい。ここで、ＧＢＴはピクセル間の関係情報をグラフで表現するという際、このグラフから得られた変換を意味する。ＣＮＴは以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックにも適用されてもよい。
量子化部１３０は、変換係数を量子化してエントロピーエンコーディング部１９０に送信され、エントロピーエンコーディング部１９０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。量子化された変換係数に関する情報は残差情報と呼ばれる。量子化部１３０は係数のスキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロックの形態の量子化された変換係数を１次元のベクトルの形態で再整列することができ、１次元のベクトルの形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）等のような多様なエンコーディング方法を行うことができる。エントロピーエンコーディング部１９０は、量子化された変換係数以外のビデオ／イメージの復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に、又は別にエンコーディングすることもできる。エンコーディングされた情報（例えば、ビデオ／映像の情報）は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信又は保存されることができる。ビットストリームは、ネットワークを介して送信されることができ、又はデジタル保存媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網等を含んでもよく、デジタル保存媒体はＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤ等の多様な保存媒体を含んでもよい。エントロピーエンコーディング部１９０から出力された信号は、送信する送信部（図示せず）及び／又は保存する保存部（図示せず）がエンコーディング装置１００の内／外部のエレメントとして構成されてもよく、又は送信部はエントロピーエンコーディング部１９０の構成要素であってもよい。
量子化部１３０から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に対してループ内の逆量子化部１４０、及び逆変換部１５０を介して逆量子化並びに逆変換を適用することによって、残差信号が復元できる。加算部１５５は、復元された残差信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成できる。スキップモードが適用された場合のように、処理対象のブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５は、復元部又は復元ブロック生成部と称される。復元信号は、現在ピクチャ内の次の処理対象のブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために使用されることもできる。
フィルタリング部１６０は、復元信号にフィルタリングを適用し、主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに多様なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ１７０に送信することができる。多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を含み得る。フィルタリング部１６０は、各フィルタリング方法に関する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部１９０へ伝達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部１９０でエンコーディングされてビットストリームの形態で出力されることができる。
復号ピクチャバッファ１７０に送信された修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。エンコーディング装置１００はこれを介して、インター予測が適用される場合、エンコーディング装置１００とデコーディング装置２００での予測のミスマッチを避けることができ、符号化の効率も向上させることができる。
復号ピクチャバッファ１７０は、修正された復元ピクチャをインター予測部１８０での参照ピクチャとして使用するために保存することができる。
図３は、本明細書の実施例として、映像信号のデコーディングのためのデコーディング装置の概略的なブロック図を示す。
図３を参照すると、デコーディング装置２００は、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０、及びイントラ予測部２６５を含んで構成されることができる。インター予測部２６０及びイントラ予測部２６５は、予測部と通称され得る。即ち、予測部は、インター予測部１８０及びイントラ予測部１８５を含み得る。逆量子化部２２０と逆変換部２３０は、残差処理部と通称され得る。即ち、残差処理部は逆量子化部２２０と逆変換部２３０を含むことができる。エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、インター予測部２６０、及びイントラ予測部２６５は、実施例にかかって１つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）により構成されることができる。また、復号ピクチャバッファ２５０は、実施例にかかって１つのハードウェアコンポーネント（例えば、メモリ又はデジタル保存媒体）によって実現されることができる。また、メモリ２５０は、ＤＰＢ１７５を含むことができ、デジタル保存媒体によって構成されることもできる。
ビデオ／イメージの情報を含むビットストリームが入力されると、デコーディング装置２００は、図２のエンコーディング装置１００でビデオ／イメージの情報が処理されたプロセスに対応し、映像を復元することができる。例えば、デコーディング装置２００は、エンコーディング装置１００で適用された処理ユニットを利用してデコーディングを行うことができる。従って、デコーディングの際の処理ユニットは、例えば、コーディングユニットであってもよく、コーディングユニットはコーディングツリーユニット又は最大のコーディングユニットからクアッドツリー構造及び／又はバイナリツリー構造に従って分割されることができる。また、デコーディング装置２００を介してデコーディング及び出力された復元映像信号は再生装置を介して再生されることができる。
デコーディング装置２００は、図２のエンコーディング装置１００から出力された信号をビットストリームの形態で受信することができ、受信された信号はエントロピーデコーディング部２１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部２１０は、ビットストリームをパーシングして、映像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／映像の情報）を導出することができる。例えば、エントロピーデコーディング部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣ等のコーディング方法に基づいてビットストリーム内の情報をデコーディングし、映像の復元に必要なシンタックスエレメントの値、残差に関する変換係数の量子化された値を出力することができる。より詳細に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各構文要素に該当するビン（ｂｉｎ）を受信し、デコーディング対象の構文要素情報と周辺及びデコーディング対象のブロックのデコーディング情報、又は以前段階でデコーディングされたシンボル／ビンの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってビンの発生確率を予測し、ビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各構文要素の値に該当するシンボルを生成することができる。この際、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのためにデコーディングされたシンボル／ビンの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部２１０でデコーディングされた情報のうちの予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピーデコーディング部２１０でエントロピーデコーディングが行われた残差値、即ち、量子化された変換係数及び関連のパラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピーデコーディング部２１０でデコーディングされた情報のうちのフィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、エンコーディング装置１００から出力された信号を受信する受信部（図示せず）がデコーディング装置２００の内／外部のエレメントとしてさらに構成されることができ、又は受信部はエントロピーデコーディング部２１０の構成要素であってもよい。
逆量子化部２２０では、量子化された変換係数を逆量子化することによって変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロックの形態で再整列することができる。この場合、エンコーディング装置１００で行われた係数のスキャン順序に基づいて再整列を行われ得る。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を獲得することができる。
逆変換部２３０は、変換係数に対する逆変換を適用することによって残差信号（残差ブロック、残差サンプルアレイ）を出力することができる。
予測部は、現在ブロックに対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部２１０から出力された予測に関する情報に基づいて、現在ブロックにイントラ予測が適用されるか、又はインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定することができる。
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照することによって現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、又は離隔して位置してもよい。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部２６５は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２６０は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づき、現在ブロックに対する予測されたブロックを誘導することができる。この際、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャのインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）に対する情報をさらに含み得る。インター予測の場合、周辺ブロックは現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含み得る。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報の候補リストを構成し、受信された候補選択情報に基づいて、現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出することができる。多様な予測モードに基づいてインター予測が行われ得、予測に関する情報は、現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部２３５は、獲得された残差信号をインター予測部２６０又はイントラ予測部２６５から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象のブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用できる。
加算部２３５は、復元部又は復元ブロック生成部と呼ばれる。生成された復元信号は、現在ピクチャ内の次の処理対象のブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部２４０は、復元信号にフィルタリングを適用することによって、主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに多様なフィルタリング方法を適用し、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ２５０に送信することができる。多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ、ＡＬＦ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）等を含み得る。
復号ピクチャバッファ２５０に送信された修正された復元ピクチャは、インター予測部２６０により参照ピクチャに使用されることができる。
本明細書で、エンコーディング装置１００のフィルタリング部１６０、インター予測部１８０、及びイントラ予測部１８５で説明された実施例は、それぞれデコーディング装置のフィルタリング部２４０、インター予測部２６０、及びイントラ予測部２６５にも同一又は対応するように適用されることができる。
図４は、本明細書の実施例にかかるコンテンツストリーミングシステムの構造図の例を示す。
本明細書が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバー４１０、ストリーミングサーバー４２０、ウェブサーバー４３０、メディアストレージ４４０、ユーザー装置４５０、及びマルチメディア入力装置４６０を含むことができる。
エンコーディングサーバー４１０は、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これをストリーミングサーバー４２０に送信することができる。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置４６０がビットストリームを直接生成する場合、エンコーディングサーバー４１０は省略され得る。
ビットストリームは、本明細書が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、ストリーミングサーバー４２０は、ビットストリームを送信又は受信する過程で、一時的にビットストリームを保存することができる。
ストリーミングサーバー４２０は、ウェブサーバー４３０を介したユーザーの要請に基づいて、マルチメディアデータをユーザー装置４５０に送信し、ウェブサーバー４３０は、ユーザーにどのサービスがあるかを知らせる媒介体の役割をする。ユーザーがウェブサーバー４３０に希望するサービスを要請すると、ウェブサーバー４３０はこれをストリーミングサーバー４２０に伝達し、ストリーミングサーバー４２０はユーザーにマルチメディアデータを送信する。この際、コンテンツストリーミングシステムは、別途の制御サーバーを含むことができ、この場合、制御サーバーは、コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
ストリーミングサーバー４２０は、メディアストレージ４４０及び／又はエンコーディングサーバー４１０からコンテンツを受信することができる。例えば、ストリーミングサーバー４２０は、エンコーディングサーバー４１０からコンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、ストリーミングサーバー４２０はビットストリームを一定時間の間に保存することができる。
例えば、ユーザー装置４５０は、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ラップトップパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、ガラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージを含み得る。
コンテンツストリーミングシステム内の各サーバーは、分散サーバーとして運営されることができ、この場合、各サーバーで受信するデータは分散処理されることができる。
図５は、本明細書の実施例にかかるビデオ信号を処理するための装置のブロック図の例を示す。図５のビデオ信号処理装置は、図２のエンコーディング装置１００又は図３のデコーディング装置２００に該当し得る。
本明細書の実施例にかかるビデオ信号処理装置５００は、ビデオ信号を保存するメモリ５２０と、前記メモリと結合されつつ、ビデオ信号を処理するプロセッサ５１０とを含み得る。
本明細書の実施例にかかるプロセッサ５１０は、ビデオ信号の処理のための少なくとも１つのプロセシング回路で構成されることができ、ビデオ信号をエンコーディング又はデコーディングのためのコマンドを実行することによって、映像信号を処理することができる。即ち、プロセッサ５１０は、以下説明されるエンコーディング又はデコーディング方法を実行することによって、原本ビデオ信号をエンコーディングするか、エンコーディングされたビデオ信号をデコーディングすることができる。
図６は、本明細書の実施例にかかるブロックの分割構造の例であって、図６ａはＱＴ（ｑｕａｄ Ｔｒｅｅ、以下「ＱＴ」と称される）、図６ｂはＢＴ（ｂｉｎａｒｙ ｔｒｅｅ、以下「ＢＴ」と称される）、図６ｃはＴＴ（ｔｅｒｎａｒｙ ｔｒｅｅ、以下「ＴＴ」と称される）、図６ｄはＡＴ（ａｓｙｍｍｅｔｒｉｃ ｔｒｅｅ、以下「ＡＴ」と称される）によるブロックの分割構造の例を示す。
ビデオコーディングで１つのブロックはＱＴベースに分割されることができる。また、ＱＴによって分割された１つのサブブロック（ｓｕｂｂｌｏｃｋ）は、ＱＴを使用して再帰的にさらに分割されることができる。これ以上ＱＴ分割されないリーフブロック（ｌｅａｆ ｂｌｏｃｋ）は、ＢＴ、ＴＴ又はＡＴのうち少なくとも１つの方式によって分割されることができる。ＢＴは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（２ＮｘＮ、２ＮｘＮ）とｖｅｒｔｉｃａｌ ＢＴ（Ｎｘ２Ｎ、Ｎｘ２Ｎ）の２つの形態の分割を有することができる。ＴＴは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（２Ｎｘ１／２Ｎ、２ＮｘＮ、２Ｎｘ１／２Ｎ）とｖｅｒｔｉｃａｌ ＴＴ（１／２Ｎｘ２Ｎ、Ｎｘ２Ｎ、１／２Ｎｘ２Ｎ）の２つの形態の分割を有することができる。ＡＴはｈｏｒｉｚｏｎｔａｌ−ｕｐ ＡＴ（２Ｎｘ１／２Ｎ、２Ｎｘ３／２Ｎ）、ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ ＡＴ（２Ｎｘ３／２Ｎ、２Ｎｘ１／２Ｎ）、ｖｅｒｔｉｃａｌ−ｌｅｆｔ ＡＴ（１／２Ｎｘ２Ｎ、３／２Ｎｘ２Ｎ）、ｖｅｒｔｉｃａｌ−ｒｉｇｈｔ ＡＴ（３／２Ｎｘ２Ｎ、１／２Ｎｘ２Ｎ）の４つの形態の分割を有することができる。それぞれのＢＴ、ＴＴ、ＡＴは、ＢＴ、ＴＴ、ＡＴを使用して再帰的にさらに分割されることができる。
図６ａは、ＱＴの分割の例を示す。ブロックＡは、ＱＴによって４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割されることができる。サブブロックＡ１は、再度ＱＴによって４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）に分割されることができる。
図６ｂは、ＢＴの分割の例を示す。ＱＴによってこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＢＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ０のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
図６ｃは、ＴＴの分割の例を示す。ＱＴによってこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＴＴ（Ｃ０、Ｃ１、Ｃ２）又はｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｄ０、Ｄ１、Ｄ２）に分割されることができる。ブロックＣ１のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｅ０、Ｅ１、Ｅ２）又はｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。
図６ｄは、ＡＴの分割の例を示す。ＱＴによってこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＡＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ１のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
一方、ＢＴ、ＴＴ、ＡＴの分割は結合され得る。例えば、ＢＴによって分割されたサブブロックは、ＴＴ又はＡＴによる分割が可能である。また、ＴＴによって分割されたサブブロックは、ＢＴ又はＡＴによる分割が可能である。ＡＴによって分割されたサブブロックは、ＢＴ又はＴＴによる分割が可能である。例えば、ｈｏｒｉｚｏｎｔａｌ ＢＴの分割の以降、それぞれのサブブロックがｖｅｒｔｉ−ｃａｌ ＢＴに分割されることができ、又はｖｅｒｔｉｃａｌ ＢＴの分割の以降、それぞれのサブブロックがｈｏｒｉｚｏｎｔａｌ ＢＴに分割されることもできる。前記２種類の分割方法は、分割の順序は異なるが、最終的に分割される模様は同一である。
また、ブロックが分割されると、ブロックを探索する順序が多様に定義され得る。一般に、左側から右側に、上段から下段に探索を行い、ブロックを探索するというのは、各分割されたサブブロックの更なるブロックの分割可否を決定する順序を意味するか、ブロックがこれ以上分割されない場合、各サブブロックの符号化順序を意味するか、又はサブブロックから他の隣接ブロックの情報を参照する際の探索順序を意味し得る。
図７及び図８は、インター予測に基づくビデオ／映像のエンコーディング手続、及びエンコーディング装置内のインター予測部を示す。
エンコーディング装置１００は、現在ブロックに対するインター予測を行う（Ｓ７１０）。エンコーディング装置１００は、現在ブロックのインター予測モード及び動き情報を導出し、現在ブロックの予測サンプルを生成することができる。ここで、インター予測モードの決定、動き情報の導出、及び予測サンプルの生成手続は、同時に行われてもよく、いずれかの手続が他の手続より先に行われてもよい。例えば、エンコーディング装置１００のインター予測部１８０は、予測モード決定部１８１、動き情報導出部１８２、予測サンプル導出部１８３を含むことができ、予測モード決定部１８１で現在ブロックに対する予測モードを決定し、動き情報導出部１８２で現在ブロックの動き情報を導出し、予測サンプル導出部１８３で現在ブロックの予測サンプルを導出することができる。例えば、エンコーディング装置１００のインター予測部１８０は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定領域（サーチ領域）内で前記現在ブロックと類似するブロックをサーチし、現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャのインデックスを導出し、参照ブロックと現在ブロックの位置の差異に基づいて動きベクトルを導出することができる。エンコーディング装置１００は、多様な予測モードのうち、現在ブロックに対して適用されるモードを決定することができる。エンコーディング装置１００は、多様な予測モードに対するＲＤコスト（ｃｏｓｔ）を比較し、現在ブロックに対する最適の予測モードを決定することができる。
例えば、エンコーディング装置１００は、現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、マージ候補リストに含まれたマージ候補の指す参照ブロックのうち、現在ブロックとの差が、最小又は一定基準以下である参照ブロックを導出することができる。この場合、導出された参照ブロックと関連したマージ候補が選択され、選択されたマージ候補を指すマージインデックス情報が生成され、デコーディング装置２００にシグナリングされることができる。選択されたマージ候補の動き情報を利用し、現在ブロックの動き情報が導出できる。
別の例として、エンコーディング装置１００は、現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれたＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち選択されたＭＶＰ候補の動きベクトルを現在ブロックのＭＶＰとして利用できる。この場合、例えば、前述した動き推定によって導出された参照ブロックを指す動きベクトルが、現在ブロックの動きベクトルとして利用されることができ、ＭＶＰ候補のうち、現在ブロックの動きベクトルとの差が最も小さい動きベクトルを有するＭＶＰ候補が選択されたＭＶＰ候補になることができる。現在ブロックの動きベクトルからＭＶＰを引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出できる。この場合、ＭＶＤに関する情報がデコーディング装置２００にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、参照ピクチャのインデックスの値は、参照ピクチャのインデックス情報として構成され、別にデコーディング装置２００にシグナリングされることができる。
エンコーディング装置１００は、予測サンプルに基づいて残差サンプルを導出することができる（Ｓ７２０）。エンコーディング装置１００は、現在ブロックの原本サンプルと予測サンプルとの比較を通じて、残差サンプルを導出することができる。
エンコーディング装置１００は、予測情報及び残差情報を含む映像情報をエンコーディングする（Ｓ７３０）。エンコーディング装置１００は、エンコーディングされた映像情報をビットストリームの形態で出力することができる。予測情報は、予測手続に関する情報として、予測モード情報（例えば、スキップフラグ、マージフラグ、又はモードインデックス）及び動き情報を含み得る。動き情報は、動きベクトルを導出するための情報である候補選択情報（例えば、マージインデックス、ｍｖｐフラグ、又はｍｖｐインデックス）を含み得る。また、動き情報は、前述したＭＶＤに関する情報及び／又は参照ピクチャのインデックス情報を含み得る。さらに、動き情報は、Ｌ０予測、Ｌ１予測、又は双（ｂｉ）予測が適用されるか否かを示す情報を含み得る。残差情報は、残差サンプルに関する情報である。残差情報は、残差サンプルに対する量子化された変換係数に関する情報を含み得る。
出力されたビットストリームは、（デジタル）保存媒体に保存されてデコーディング装置に伝達されることができ、又はネットワークを介してデコーディング装置に伝達されることもできる。
一方、前述したように、エンコーディング装置は、前記参照サンプル及び前記残差サンプルに基づいて、復元ピクチャ（復元サンプル及び復元ブロック含む）を生成することができる。これは、デコーディング装置２００で行われるものと同一の予測結果をエンコーディング装置１００から導出するためであり、これを介して、コーディングの効率を高めることができるためである。従って、エンコーディング装置１００は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のための参照ピクチャとして活用できる。復元ピクチャにインループフィルタリング手続等がさらに適用できることは前述した通りである。
図９及び図１０は、インター予測に基づくビデオ／映像のデコーディング手続、及びデコーディング装置内のインター予測部を示す。
デコーディング装置２００は、エンコーディング装置１００で行われた動作と対応する動作を行うことができる。デコーディング装置２００は、受信された予測情報に基づいて現在ブロックに予測を行い、予測サンプルを導出することができる。
具体的に、デコーディング装置２００は受信された予測情報に基づいて、現在ブロックに対する予測モードを決定することができる（Ｓ９１０）。デコーディング装置２００は、予測情報内の予測モード情報に基づいて、現在ブロックにどんなインター予測モードが適用されるか決定できる。
例えば、デコーディング装置２００はマージフラグ（ｍｅｒｇｅ ｆｌａｇ）に基づいて、現在ブロックにマージモードが適用されるか、又は（Ａ）ＭＶＰモードが決定されるか否かを決定することができる。或いは、デコーディング装置２００は、モードインデックス（ｍｏｄｅ ｉｎｄｅｘ）に基づいて、多様なインター予測モードの候補のうち一つを選択することができる。インター予測モードの候補は、スキップモード、マージモード及び／又は（Ａ）ＭＶＰモードを含んでもよく、又は後述する多様なインター予測モードを含んでもよい。
デコーディング装置２００は、決定されたインター予測モードに基づいて、現在ブロックの動き情報を導出する（Ｓ９２０）。例えば、デコーディング装置２００は、現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、マージ候補リストに含まれたマージ候補のうち一つのマージ候補を選択し得る。マージ候補の選択は、マージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われ得る。選択されたマージ候補の動き情報から現在ブロックの動き情報が導出され得る。選択されたマージ候補の動き情報が現在ブロックの動き情報として利用され得る。
別の例として、デコーディング装置２００は、現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれたＭＶＰ候補のうち選択されたＭＶＰ候補の動きベクトルを現在ブロックのＭＶＰとして利用し得る。ＭＶＰの選択は、前述した選択情報（ＭＶＰフラグ又はＭＶＰインデックス）に基づいて行われ得る。この場合、デコーディング装置２００は、ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出し得、現在ブロックのＭＶＰとＭＶＤに基づいて、現在ブロックの動きベクトルを導出し得る。また、デコーディング装置２００は、参照ピクチャのインデックス情報に基づいて、現在ブロックの参照ピクチャのインデックスを導出し得る。現在ブロックに関する参照ピクチャリスト内で、参照ピクチャのインデックスの指すピクチャが、現在ブロックのインター予測のために参照される参照ピクチャとして導出され得る。
一方、後述するように、候補リストの構成なしで、前記現在ブロックの動き情報が導出され得、この場合、後述する予測モードで開始された手続によって、現在ブロックの動き情報が導出され得る。この場合、前述したような候補リストの構成は省略され得る。
デコーディング装置２００は、現在ブロックの動き情報に基づいて、現在ブロックに対する予測サンプルを生成することができる（Ｓ９３０）。この場合、デコーディング装置２００は、現在ブロックの参照ピクチャのインデックスに基づいて参照ピクチャを導出し、現在ブロックの動きベクトルが参照ピクチャ上で指す参照ブロックのサンプルを利用し、現在ブロックの予測サンプルを導出し得る。この場合、後述するように、場合によって、現在ブロックの予測サンプルのうち、全て又は一部に対する予測サンプルのフィルタリング手続がさらに行われ得る。
例えば、デコーディング装置２００のインター予測部２６０は、予測モード決定部２６１、動き情報導出部２６２、予測サンプル導出部２６３を含み得、予測モード決定部１８１で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部１８２で受信された動き情報に関する情報に基づいて、前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャのインデックス等）を導出し、予測サンプル導出部１８３から前記現在ブロックの予測サンプルを導出し得る。
デコーディング装置２００は、受信された残差情報に基づいて、前記現在ブロックに対する残差サンプルを生成する（Ｓ９４０）。デコーディング装置２００は、予測サンプル及び残差サンプルに基づいて現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる（Ｓ９５０）。以降、前記復元ピクチャにインループフィルタリング手続等がさらに適用され得ることは前述した通りである。
前述したようにインター予測手続は、インター予測モード決定段階、決定された予測モードによる動き情報導出段階、導出された動き情報に基づく予測実行（予測サンプルの生成）段階を含み得る。
インター予測モードの決定（Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）
ピクチャ内の現在ブロックの予測のために様々なインター予測モードが使用され得る。例えば、マージモード、スキップモード、ＭＶＰモード、アフィン（Ａｆｆｉｎｅ）モード等の様々なモードが使用され得る。ＤＭＶＲ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード等が付随的なモードとしてさらに使用され得る。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれてもよい。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれてもよい。
現在ブロックのインター予測モードを指す予測モード情報が、エンコーディング装置からデコーディング装置２００にシグナリングされ得る。予測モード情報は、ビットストリームに含まれてデコーディング装置２００で受信され得る。予測モード情報は、多数の候補モードのうち一つを指示するインデックス情報を含み得る。或いは、フラグ情報の階層的シグナリングを介して、インター予測モードを指示することもある。この場合、予測モード情報は、１つ以上のフラグを含み得る。例えば、エンコーディング装置１００は、スキップフラグをシグナリングしてスキップモードの適用可否を指示し、スキップモードが適用されない場合に、マージフラグをシグナリングしてマージモードの適用可否を指示し、マージモードが適用されない場合に、ＭＶＰモードが適用されるものと指示するか、更なる区分のためのフラグをさらにシグナリングすることもある。アフィンモードは、独立したモードにシグナリングされてもよく、又はマージモード又はＭＶＰモード等に従属的なモードにシグナリングされてもよい。例えば、アフィンモードは、後述するように、マージ候補リスト又はＭＶＰ候補リストの１つの候補で構成されることもできる。
インター予測モードによる動き情報の誘導（Ｄｅｒｉｖａｔｉｏｎ ｏｆ ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ａｃｃｏｒｄｉｎｇ ｔｏ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）
エンコーディング装置１００又はデコーディング装置２００は、現在ブロックの動き情報を利用してインター予測を行うことができる。エンコーディング装置１００は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手続を介して、現在ブロックに対する最適の動き情報を導出し得る。例えば、エンコーディング装置１００は、現在ブロックに対する原本ピクチャ内の原本ブロックを利用し、相関性の高い類似の参照ブロックを参照ピクチャ内の決められた探索範囲内で分数ピクセル単位で探索し得、これを介して、動き情報を導出し得る。ブロックの類似性は、位相（ｐｈａｓｅ）ベースのサンプル値の差に基づいて導出され得る。例えば、ブロックの類似性は、現在ブロック（又は現在ブロックのテンプレート）と参照ブロック（又は参照ブロックのテンプレート）間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）に基づいて計算され得る。この場合、探索領域内のＳＡＤが、最も小さい参照ブロックに基づいて動き情報を導出し得る。導出された動き情報は、インター予測モードに基づいて、様々な方法によってデコーディング装置にシグナリングされ得る。
マージモード及びスキップモード
マージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在の予測ブロックの動き情報が直接的に送信されず、周辺の予測ブロックの動き情報を利用し、現在の予測ブロックの動き情報を誘導することになる。従って、エンコーディング装置１００は、マージモードを利用したことを知らせるフラグ情報、及び周辺のどの予測ブロックを利用したかを知らせるマージインデックスを送信することによって、現在の予測ブロックの動き情報を指示し得る。
エンコーディング装置１００は、マージモードを行うために、現在の予測ブロックの動き情報を誘導するために利用されるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）をサーチすべきである。例えば、マージ候補ブロックは最大５つまで利用され得るが、本明細書はこれに限定されない。そして、マージ候補ブロックの最大の数はスライスヘッダで送信され得、本明細書はこれに限定されない。マージ候補ブロックを見付けた後、エンコーディング装置１００はマージ候補リストを生成し得、これらのうち最も小さいコストを有するマージ候補ブロックを最終のマージ候補ブロックとして選択し得る。
本明細書は、マージ候補リストを構成するマージ候補ブロックに対する様々な実施例を提供する。
マージ候補リストは、例えば、５つのマージ候補ブロックを利用し得る。例えば、４つの空間的マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１つの時間的マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を利用し得る。
図１１は、現在ブロックに対する空間的マージ候補の構成の例を示す。
図１１を参照すると、現在ブロックの予測のために、左側の隣接ブロックＡ１、左下側（ｂｏｔｔｏｍ−ｌｅｆｔ）の隣接ブロックＡ２、右上側（ｔｏｐ−ｒｉｇｈｔ）の隣接ブロックＢ０、上側の隣接ブロックＢ１、左上側（ｔｏｐ−ｌｅｆｔ）の隣接ブロックＢ２のうち少なくとも１つが使用され得る。現在ブロックに対するマージ候補リストは、図１２のような手続に基づいて構成され得る。
図１２は、本明細書の実施例にかかるマージ候補リストの構成のためのフローチャートの例を示す。
コーディング装置（エンコーディング装置１００又はデコーディング装置２００）は、現在ブロックの空間的周辺ブロックを探索して導出された空間的マージ候補をマージ候補リストに挿入する（Ｓ１２１０）。例えば、空間的周辺ブロックは、現在ブロックの左下側角の周辺ブロック、左側の周辺ブロック、右上側角の周辺ブロッ、上側の周辺ブロック、左上側角の周辺ブロックを含み得る。但し、これは、例示として前述した空間的周辺ブロック以外にも、右側の周辺ブロック、下側の周辺ブロック、右下側の周辺ブロック等の更なる周辺ブロックがさらに前記空間的周辺ブロックとして使用され得る。コーディング装置は、空間的周辺ブロックを優先順位に基づいて探索して可用なブロックを検出し、検出されたブロックの動き情報を空間的マージ候補として導出し得る。例えば、エンコーディング装置１００又はデコーディング装置２００は、図１１に示す５つのブロックをＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順に探索し、可用な候補を順次にインデキシングして、マージ候補リストで構成することができる。
コーディング装置は、現在ブロックの時間的周辺ブロックを探索して導出された時間的マージ候補を前記マージ候補リストに挿入する（Ｓ１２２０）。時間的周辺ブロックは、現在ブロックが位置する現在ピクチャと異なるピクチャである参照ピクチャ上に位置し得る。時間的周辺ブロックが位置する参照ピクチャは、同一位置のピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）又はコルピクチャ（ｃｏｌ ｐｉｃ−ｔｕｒｅ）と呼ばれ得る。時間的周辺ブロックは、コルピクチャ上での現在ブロックに対する同一位置のブロック（ｃｏ−ｌｏｃａｔｅｄ ｂｌｏｃｋ）の右下側角の周辺ブロック及び右下側のセンターブロックの順に探索され得る。一方、動きデータ圧縮（ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ）が適用される場合、コルピクチャに一定の保存単位毎に特定の動き情報を代表の動き情報として保存し得る。この場合、前記一定の保存単位内の全てのブロックに対する動き情報を保存する必要がなく、これを介して動きデータ圧縮の効果が得られる。この場合、一定の保存単位は、例えば、１６ｘ１６のサンプル単位、又は８ｘ８のサンプル単位等と予め決められることもあり、或いはエンコーディング装置１００からデコーディング装置２００に一定の保存単位に対するサイズ情報がシグナリングされることもある。動きデータ圧縮が適用される場合、時間的周辺ブロックの動き情報は時間的周辺ブロックが位置する一定の保存単位の代表の動き情報に代替され得る。即ち、この場合、実現の側面で見ると、時間的周辺ブロックの座標に位置する予測ブロックではなく、時間的周辺ブロックの座標（左上段のサンプルポジション）に基づいて、一定値だけ算術的右側シフトの後、算術的左側シフトした位置をカバーする予測ブロックの動き情報に基づいて時間的マージ候補が導出され得る。例えば、一定の保存単位が２ｎｘ２ｎのサンプル単位である場合、時間的周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）とすれば、修正された位置である（（ｘＴｎｂ＞＞ｎ）＜＜ｎ）、（ｙＴｎｂ＞＞ｎ）＜＜ｎ））に位置する予測ブロックの動き情報が時間的マージ候補のために使用され得る。具体的に、例えば、一定の保存単位が１６ｘ１６のサンプル単位である場合、時間的周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）とすれば、修正された位置である（（ｘＴｎｂ＞＞４）＜＜４）、（ｙＴｎｂ＞＞４）＜＜４））に位置する予測ブロックの動き情報が時間的マージ候補のために使用され得る。或いは、例えば、一定の保存単位が８ｘ８のサンプル単位である場合、時間的周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）とすれば、修正された位置である（（ｘＴｎｂ＞＞３）＜＜３）、（ｙＴｎｂ＞＞３）＜＜３））に位置する予測ブロックの動き情報が時間的マージ候補のために使用され得る。
コーディング装置は、現在のマージ候補の数が最大のマージ候補の数より小さいか否かを確認することができる（Ｓ１２３０）。最大のマージ候補の数は、予め定義されるか、又はエンコーディング装置１００からデコーディング装置２００にシグナリングされ得る。例えば、エンコーディング装置１００は、最大のマージ候補の数に関する情報を生成し、エンコーディングしてビットストリームの形態でデコーディング装置２００に伝達し得る。最大のマージ候補の数が全て満たされると、以降の候補追加過程は行われなくてもよい。
確認の結果、現在のマージ候補の数が前記最大のマージ候補の数より小さい場合、コーディング装置は、追加のマージ候補をマージ候補リストに挿入する（Ｓ１２４０）。追加のマージ候補は、例えば、ＡＴＭＶＰ（ａｄａｐｔｉｖｅ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）、結合された両方向予測（ｃｏｍｂｉｎｅｄ ｂｉ−ｐｒｅｄｉｃｔｉｖｅ）マージ候補（現在スライスのスライスタイプがＢタイプである場合）及び／又ゼロベクトル（ｚｅｒｏ ｖｅｃｔｏｒ）マージ候補を含み得る。
図１３は、予測候補リスト（ＭＶＰ候補リスト）を構成するためのフローチャートの例を示す。
ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的周辺ブロック（例えば、図１１の周辺ブロック）の動きベクトル及び／又は時間的周辺ブロック（又はＣｏｌブロック）に対応する動きベクトルを用いて、動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅ−ｄｉｃｔｏｒ、ＭＶＰ）候補リストが生成され得る。即ち、復元された空間的周辺ブロックの動きベクトル及び／又は時間的周辺ブロックに対応する動きベクトルは、動きベクトル予測子の候補として使用され得る。前記予測に関する情報は、前記リストに含まれた動きベクトル予測子の候補のうちから選択された最適の動きベクトル予測子の候補を指示する選択情報（例：ＭＶＰフラグ又はＭＶＰ又はインデックス）を含み得る。この際、予測部は前記選択情報を用いて、動きベクトル候補リストに含まれた動きベクトル予測子の候補のうちから、現在ブロックの動きベクトル予測子を選択し得る。エンコーディング装置１００の予測部は、現在ブロックの動きベクトルと動きベクトル予測子間の動きベクトル差分（ＭＶＤ）を求めることができ、これをエンコーディングし、ビットストリームの形態で出力することができる。即ち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値で求められる。この際、デコーディング装置の予測部は、前記予測に関する情報に含まれた動きベクトル差分を獲得し、前記動きベクトル差分と前記動きベクトル予測子の加算を介して、現在ブロックの前記動きベクトルを導出し得る。デコーディング装置の予測部は、参照ピクチャを指示する参照ピクチャのインデックス等を前記予測に関する情報から獲得又は誘導し得る。例えば、動きベクトル予測子候補リストは、図１３のように構成され得る。
図１３を参照すると、コーディング装置は、動きベクトルの予測のための空間的候補ブロックを探索して予測候補リストに挿入する（Ｓ１３１０）。例えば、コーディング装置は決められた探索の順序に従って周辺ブロックに対する探索を行い、空間的候補ブロックに対する条件を満たす周辺ブロックの情報を予測候補リスト（ＭＶＰ候補リスト）に追加し得る。
空間的候補ブロックリストを構成した後、コーディング装置は予測候補リストに含まれた空間的候補リストの数と、既設定された基準の数（例：２）とを比較する（Ｓ１３２０）。予測候補リストに含まれた空間的候補リストの数が基準の数（例：２）より大きいか等しい場合、コーディング装置は予測候補リストの構成を終了し得る。
しかしながら、予測候補リストに含まれた空間的候補リストの数が基準の数（例：２）より小さい場合、コーディング装置は時間的候補ブロックを探索して予測候補リストに追加挿入し（Ｓ１３３０）、時間的候補ブロックが使用できない場合、ゼロ動きベクトルを予測候補リストに追加する（Ｓ１３４０）。
予測サンプルの生成（Ｇｅｎｅｒａｔｉｏｎ ｏｆ ｐｒｅｄｉｃｔｉｏｎ ｓａｍｐｌｅ）
予測モードに応じて導出された動き情報に基づいて、現在ブロックに対する予測されたブロックが導出され得る。予測されたブロックは、現在ブロックの予測サンプル（予測サンプルアレイ）を含み得る。現在ブロックの動きベクトルが分数サンプル単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手続が行われ得、これを介して参照ピクチャ内で分数サンプル単位の参照サンプルに基づいて、前記現在ブロックの予測サンプルが導出され得る。現在ブロックにアフィン（ａｆｆｉｎｅ）インター予測が適用される場合、サンプル／サブブロック単位の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）に基づいて予測サンプルが生成され得る。両方向（ｂｉ−ｄｉｒｅｃｔｉｏｎ）の予測が適用される場合、第１方向の予測（例：Ｌ０予測）に基づいて導出された予測サンプルと、第２方向の予測（例：Ｌ１予測）に基づいて導出された予測サンプルの（位相による）加重和を介して、最終の予測サンプルが導出され得る。導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成され得、以降、インループフィルタリング等の手続が行われ得ることは前述した通りである。
アフィン動き予測（Ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）
図１４は、本発明の実施例にかかる動きモデル（ｍｏｔｉｏｎ ｍｏｄｅｌｓ）の例を示す。
従来の映像圧縮技術（例えば、ＨＥＶＣ（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ））は、符号化ブロックの動き（ｍｏｔｉｏｎ）を表現するために、１つの動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を使用する。ブロック毎に１つの動きベクトルを使用する方式がブロック単位の最適の動きを表現していることがあるが、実際の各画素の最適の動きではないことがある。したがって、画素単位で最適の動きベクトルを決定することができれば、符号化効率を高めることができる。そのため、本発明の実施例は、多数の動きモデル（ｍｕｌｔｉ ｍｏｔｉｏｎ ｍｏｄｅｌ）を使用し、ビデオ信号を符号化又は復号化する動き予測（ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）方法について説明する。特に、２つ乃至４つの制御点の動きベクトルを用いて、ブロックの各画素単位又はサブブロック単位で動きベクトルを表現し得、このような複数の制御点の動きベクトルを使用した予測技法は、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）、アフィン予測（ａｆｆｉｎｅ ｐｒｅｄｉｃｔｉｏｎ）等で称される。
本発明の実施例にかかるアフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）は、図１４に示すような４つの動きモデルを表現し得る。アフィン動きモデル（Ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）が表現し得る動きのうち３つの動き（トランスレーション（ｔｒａｎｓｌａｔｉｏｎ）、スケール（ｓｃａｌｅ）、ローテート（ｒｏｔａｔｅ））を表現するアフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を類似アフィン動きモデル（ｓｉｍｉｌａｒｉｔｙ（ｏｒ ｓｉｍｐｌｉｆｉｅｄ） ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）と称し、本発明の実施例を説明するにあたって、説明の便宜のために、類似アフィン動きモデル（ｓｉｍｉｌａｒｉｔｙ（ｏｒ ｓｉｍｐｌｉｆｉｅｄ） ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を基準に説明するが、本発明がこれに限定されるわけではない。
図１５は、本発明の実施例にかかるアフィン動き予測のための制御点の動きベクトルの例を示す。
図１５のように、アフィン動き予測は、２つの制御点の動きベクトル（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ、ＣＰＭＶ）ペア（ｐａｉｒ）、ｖ＿０及びｖ＿１を用いて、ブロックが含む画素位置（又はサブブロック）の動きベクトルを決定し得る。この際、動きベクトルの集合は、アフィン動きベクトルフィールド（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｉｅｌｄ、ＭＶＦ）と称される。この際、アフィン動きベクトルフィールドは、下記の数式１を用いて決定され得る。
数式１で、ｖ＿０（ｖ＿０＝｛ｖ＿０ｘ，ｖ＿０ｙ｝）は、現在ブロック１５００の左上側位置の第１の制御点の動きベクトル（ＣＰＭＶ０）を表し、ｖ＿１（ｖ＿１＝｛ｖ＿１ｘ，ｖ＿１ｙ｝）は、現在ブロック１５００の右上側位置の第２の制御点の動きベクトル（ＣＰＭＶ１）を表す。また、ｗは、現在ブロック１５００の幅（ｗｉｄｔｈ）を表す。ｖ（ｖ＝｛ｖ＿ｘ，ｖ＿ｙ｝）は、｛ｘ，ｙ｝位置における動きベクトルを表す。サブブロック（又は画素）単位の動きベクトルは、前記数式１を用いて誘導され得る。一実施例で、動きベクトルの精度は１／１６の精度でラウンディングされ得る。
図１６は、本発明の実施例にかかるアフィン動き予測が適用されたブロックの各サブブロック別の動きベクトルの例を示す。
図１６を参照すると、符号化又は復号化の過程でアフィン動きベクトルフィールド（ＭＶＦ）は、画素単位若しくはブロック単位で決定され得る。即ち、アフィン動き予測において、現在ブロックの動きベクトルは画素単位又はサブブロック単位で誘導され得る。
画素単位でアフィン動きベクトルフィールドが決定される場合、各画素値を基準に動きベクトルが得られ、ブロック単位の場合、ブロックの中央画素値を基準に該当ブロックの動きベクトルが得られる。本文書で、図１６のようにアフィン動きベクトルフィールド（ＭＶＦ）が４＊４のブロック単位で決定される場合が仮定される。但し、これは、説明の便宜のためのものであり、本発明の実施例が限定されるわけではない。図１６は、符号化ブロックが１６＊１６個のサンプルで構成され、４＊４サイズのブロック単位でアフィン動きベクトルフィールド（ＭＶＦ）が決定される場合の例を示す。
アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）は、アフィンマージモード（ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ又はＡＦ＿ＭＥＲＧＥ）と、アフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ又はＡＦ＿ＩＮＴＥＲ）とを含み得る。ＡＦ＿ＩＮＴＥＲモードは、４つのパラメータベース動きモデルを用いるＡＦ＿４＿ＩＮＴＥＲモードと、６つのパラメータベース動きモデルを用いるＡＦ＿６＿ＩＮＴＥＲモードとを含み得る。
アフィンマージモード（Ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ）
ＡＦ＿ＭＥＲＧＥは、アフィン動き予測としてコーディングされた周辺ブロックのアフィン動きモデルに応じて、制御点の動きベクトル（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＣＰＭＶ）を決定する。検索順序でアフィンコーディングされた周辺ブロックは、ＡＦ＿ＭＥＲＧＥのために使用され得る。１つ以上の隣接ブロックがアフィン動き予測としてコーディングされる際、現在ブロックはＡＦ＿ＭＥＲＧＥとしてコーディングされ得る。
即ち、アフィンマージモードが適用される場合、周辺ブロックのＣＰＭＶを用いて現在ブロックのＣＰＭＶを導出し得る。この場合、周辺ブロックのＣＰＭＶが、そのまま現在ブロックのＣＰＭＶに使用されることもあり、周辺ブロックのＣＰＭＶが、前記周辺ブロックのサイズ、及び前記現在ブロックのサイズ等に基づいて修正され、現在ブロックのＣＰＭＶに使用されることもある。
図１７は、本発明の実施例にかかるアフィンマージモード（ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ）でアフィン動き予測に使用される周辺ブロックの例を示す。
アフィンマージ（ＡＦ＿ＭＥＲＧＥ）モードで、エンコーダは、下記のような過程の符号化を行うことができる。
ステップ−１：現在の符号化ブロック１７００の周辺ブロックＡ乃至Ｅ１７１０、１７２０、１７３０、１７４０、１７５０をアルファベット順でスキャニング（ｓｃａｎｎｉｎｇ）し、スキャニング順序の基準の一番目にアフィン予測モードで符号化されたブロックをアフィンマージ（ＡＦ＿ＭＥＲＧＥ）の候補ブロックに決定
ステップ−２：決定された候補ブロックの制御点の動きベクトル（ＣＰＭＶ）を用いてアフィン動きモデルを決定
ステップ−３：候補ブロックのアフィン動きモデルに応じて、現在ブロック１７００の制御点の動きベクトル（ＣＰＭＶ）が決定され、現在ブロック１７００のＭＶＦを決定
図１８は、本発明の実施例にかかるアフィン動き予測が適用された周辺ブロックを使用し、アフィン動き予測が行われるブロックの例を示す。
例えば、図１８のようにブロックＡ１８２０がアフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）で符号化された場合、ブロックＡ１８２０を候補ブロックと決定した後、ブロックＡ１８２０の制御点の動きベクトル（ＣＰＭＶ）（例えば、ｖ２及びｖ３）を用いてアフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）を誘導した後、現在ブロック１８００の制御点の動きベクトル（ＣＰＭＶ）ｖ０及びｖ１を決定し得る。現在ブロック１８００の制御点の動きベクトル（ＣＰＭＶ）に基づいて、現在ブロック１８００のアフィン動きベクトルフィールド（ＭＶＦ）が決定され、符号化が行われ得る。
図１９は、本発明の実施例にかかる周辺のアフィン符号化ブロックを用いてマージ候補リストを生成する方法を説明するための図である。
図１９を参照すると、アフィンマージ候補を用いてＣＰＭＶペアを決定する場合、図１９に示すような候補が使用され得る。図１９で、候補リストのスキャン順序は、Ａ、Ｂ、Ｃ、Ｄ、Ｅに設定された場合を仮定する。但し、本発明がこれに限定されるわけではなく、様々な順序で予め設定され得る。
実施例として、仮に、周辺ブロック（即ち、Ａ、Ｂ、Ｃ、Ｄ、Ｅ）で利用可能なアフィンモード（又はアフィン予測）で符号化された候補（以下、アフィン候補と称される）の数が０であるとき、現在ブロックのアフィンマージモードはスキップされ得る。仮に、利用可能なアフィン候補の数が１つである場合（例えば、Ａ）、該当候補の動きモデルが現在ブロックの制御点の動きベクトル（ＣＰＭＶ＿０及びＣＰＭＶ＿１）を誘導するのに利用され得る。この場合、該当候補を指示するインデックスが要求（又はコーディング）されなくてもよい。仮に、利用可能なアフィン候補の数が２つ以上である場合、スキャニングの順序上、２つの候補がＡＦ＿ＭＥＲＧＥに対する候補リストで構成され得る。この場合、候補リスト内で選択された候補を指示するインデックスと同一の候補選択情報がシグナリングされ得る。前記選択情報は、フラグ又はインデックス情報であってもよく、ＡＦ＿ＭＥＲＧＥ＿ｆｌａｇ、ＡＦ＿ｍｅｒｇｅ＿ｉｄｘ等と称される。
本発明の実施例で、現在ブロックに対する動き補償は、サブブロックの大きさに基づいて行われ得る。この場合、アフィンブロック（即ち、現在ブロック）のサブブロックの大きさが誘導される。仮に、サブブロックの幅と高さがいずれも４つのルマサンプルより大きいと、各サブブロックに対する動きベクトルが導出され、ＤＣＴ−ＩＦベースの動き補償（輝度に対する１／１６ペル及び色差に対する１／３２）がサブブロックに対して行われ得る。そうでなければ、向上した二重線形補間フィルタベース動き補償（ｅｎｈａｎｃｅｄ ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ ｂａｓｅｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）が全アフィンブロックに対して行われ得る。
本発明の実施例で、マージ／スキップフラグ（ｍｅｒｇｅ／ｓｋｉｐ ｆｌａｇ）が真であり、ＣＵに対する幅と高さがいずれも８より大きいか等しいとき、ＣＵレベルでアフィンフラグはアフィンマージモードが使用されるかを指示するビットストリーム（ｂｉｔｓｔｒｅａｍ）を介してシグナリングされる。ＣＵがＡＦ＿ＭＥＲＧＥとしてコーディングされる際、最大値「５」を有するマージ候補のインデックスは、アフィンマージ候補リストで動き情報の候補がＣＵのために使用されることを指定するためにシグナリングされる。
図２０及び図２１は、本発明の実施例にかかるアフィン予測で符号化された周辺ブロックを使用し、アフィンマージ候補リストを構成する方法を説明するための図である。
図２０を参照すると、アフィンマージ候補リストは、次の段階で構成される。
１）モデルベースアフィン候補の挿入
モデルベースアフィン候補は、候補がアフィンモードでコーディングされた有効な周辺の再構成されたブロックから導出されるということを意味する。図２０に示すように、候補ブロックに対するスキャン順序は、左側（Ａ）、上側（ｂ）、右上側（Ｃ）、及び左下側（Ｄ）から左上側（Ｅ）である。
周辺の左下側ブロック（Ａ）が６−パラメータアフィンモードでコーディングされると、ブロック（Ａ）を含むＣＵの左上側角、右上側角、及び左下側角の動きベクトル（ｖ＿４、ｖ＿５、ｖ＿６）を得ることになる。現在ブロック上の左上側角の動きベクトル（ｖ＿０、ｖ＿１、ｖ＿２）は、６−パラメータアフィンモデルによる動きベクトル（ｖ＿４、ｖ＿５、ａｎｄ ｖ＿６）に従って計算される。
周辺の左下側ブロック（Ａ）が４−パラメータアフィンモードでコーディングされると、ブロック（Ａ）を含むＣＵの左上側角と右上側角の動きベクトル（ｖ＿４、ｖ＿５）を得ることになる。現在ブロック上の左上側角の動きベクトル（ｖ＿０、ｖ＿１）は、４−パラメータアフィンモデルによる動きベクトル（ｖ＿４、ｖ＿５）に従って計算される。
２）制御点ベースアフィン候補の挿入
図２０を参照すると、制御点ベース候補は、各制御点の周辺の動き情報を結合して候補が構成されることを意味する。
制御点に対する動き情報は、まず図２０に示す指定された空間の隣接ブロックと時間の隣接ブロックから導出される。ＣＰ＿ｋ（ｋ＝１、２、３、４）は、ｋ番目の制御点を表す。また、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、及びＧは、ＣＰ＿ｋ（ｋ＝１、２、３）を予測するための空間位置であり、Ｈは、ＣＰ４を予測するための時間位置である。
ＣＰ＿１、ＣＰ＿２、ＣＰ＿３、及びＣＰ＿４の座標は、それぞれ（０，０）、（Ｗ，０）、（Ｈ，０）、及び（Ｗ，Ｈ）であり、ここで、Ｗ及びＨは、現在ブロックの幅と高さである。
各制御点の動き情報は、次の優先順位に従って得られる。
ＣＰ＿１に対して、チェッキングの優先順位はＡ→Ｂ→Ｃであり、Ａが利用可能であれば、Ａが使用される。そうでなく、Ｂが利用可能であれば、Ｂが使用される。ＡとＢとも利用可能でなければ、Ｃが使用される。もし、３つの候補がいずれも利用可能でなければ、ＣＰ１の動き情報が得られない。
ＣＰ＿２に対して、チェッキングの優先順位はＥ→Ｄである。
ＣＰ＿３に対して、チェッキングの優先順位はＧ→Ｆである。
ＣＰ＿４に対して、Ｈが使用される。
第二に、制御点の組み合わせが動きモデルを構成するのに使用される。
２つの制御点の動きベクトルは、４−パラメータアフィンモデルで変換パラメータを算出するのに必要である。２つの制御点は、次の６つの組み合わせ（｛ＣＰ＿１，ＣＰ＿４｝、｛ＣＰ＿２，ＣＰ＿３｝、｛ＣＰ＿１，ＣＰ＿２｝、｛ＣＰ＿２，ＣＰ＿４｝、｛ＣＰ＿１，ＣＰ＿３｝、｛ＣＰ＿３，ＣＰ＿４｝）のいずれかから選択され得る。例えば、４−パラメータアフィン動きモデルを構成するのにＣＰ＿１及びＣＰ＿２の制御点を使用することは、「Ａｆｆｉｎｅ（ＣＰ＿１，ＣＰ＿２）」と表記される。
３つの制御点の動きベクトルは、６−パラメータアフィンモデルで変換パラメータを算出するのに必要である。３つの制御点は、次の４つの組み合わせ（｛ＣＰ＿１，ＣＰ＿２，ＣＰ＿４｝、｛ＣＰ＿１，ＣＰ＿２，ＣＰ＿３｝、｛ＣＰ＿２，ＣＰ＿３，ＣＰ＿４｝、｛ＣＰ＿１，ＣＰ＿３，ＣＰ＿４｝）のいずれかから選択され得る。例えば、６−パラメータアフィン動きモデルを構成するのにＣＰ＿１、ＣＰ＿２、及びＣＰ＿３の制御点を使用することは、「Ａｆｆｉｎｅ（ＣＰ＿１，ＣＰ＿２，ＣＰ＿３）」と表記される。
また、本発明の実施例で、アフィンマージモードで、アフィンマージ候補が存在すれば、それは常時６−パラメータアフィンモードとして考慮され得る。
アフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）
図２２は、本発明が実施例にかかるアフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）でアフィン動き予測に使用される周辺ブロックの例を示す。
図２２を参照すると、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）は、アフィンマージモード（ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ又はＡＦ＿ＭＥＲＧＥ）と、アフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ又はＡＦ＿ＩＮＴＥＲ）を含み得る。アフィンインターモード（ＡＦ＿ＩＮＴＥＲ）で、２つの制御点の動きベクトル予測（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＣＰＭＶＰ）と、ＣＰＭＶを決定した後、差に該当する制御点の動きベクトル差分値（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ＣＰＭＶＤ）がエンコーダからデコーダへ送信され得る。具体的なアフィンインターモード（ＡＦ＿ＩＮＴＥＲ）の符号化過程は、下記の通りである。
ステップ−１：２つのＣＰＭＶＰペア（ｐａｉｒ）の候補（ｃａｎｄｉｄａｔｅ）を決定
ステップ−１．１：最大１２個のＣＰＭＶＰ候補の組み合わせを決定（下記の数式２参照）
数式２で、ｖ＿０は、現在ブロック２２００の左上側制御点２２１０での動きベクトル（ＣＰＭＶ０）、ｖ＿１は、現在ブロック２２００の右上側制御点２２１１での動きベクトル（ＣＰＭＶ１）、ｖ＿２は、現在ブロック２２００の左下側制御点２２１２での動きベクトル（ＣＰＭＶ２）であり、ｖ＿Ａは、現在ブロック２２００の左上側制御点２２１０の左上側に隣接した周辺ブロックＡ２２２０の動きベクトル、ｖ＿Ｂは、現在ブロック２２００の左上側制御点２２１０の上側に隣接した周辺ブロックＢ２２２２の動きベクトル、ｖＣは、現在ブロック２２００の左上側制御点２２１０の左側に隣接した周辺ブロックＣ２２２４の動きベクトル、ｖ＿Ｄは、現在ブロック２２００の右上側制御点２２１１の上側に隣接した周辺ブロックＤ２２２６の動きベクトル、ｖ＿Ｅは、現在ブロック２２００の右上側制御点２２１１の右上側に隣接した周辺ブロックＥ２２２８の動きベクトル、ｖ＿Ｆは、現在ブロック２２００の左下側制御点２２１２の左側に隣接した周辺ブロックＦ２２３０の動きベクトル、ｖ＿Ｇは、現在ブロック２２００の左下側制御点２２１２の左側に隣接した周辺ブロックＧ２２３２の動きベクトルを表す。
ステップ−１．２：ＣＰＭＶＰ候補の組み合わせのうち差異値（ｄｉｆｆｅｒｅｎｃｅ ｖａｌｕｅ、ＤＶ）が小さい値を基準に整列（ｓｏｒｔｉｎｇ）し、上位２つの候補を使用（下記の数式３参照）
ｖ＿０ｘは、現在ブロック２２００の左上側制御点２２１０の動きベクトル（Ｖ０又はＣＰＭＶ０）のｘ軸エレメント、ｖ＿１ｘは、現在ブロック２２００の右上側制御点２２１１の動きベクトル（Ｖ１又はＣＰＭＶ１）のｘ軸エレメント、ｖ＿２ｘは、現在ブロック２２００の左下側制御点２２１２の動きベクトル（Ｖ＿２又はＣＰＭＶ＿２）のｘ軸エレメント、ｖ＿０ｙは、現在ブロック２２００の左上側制御点２２１０の動きベクトル（Ｖ＿０又はＣＰＭＶ＿０）のｙ軸エレメント、ｖ＿１ｙは、現在ブロック２２００の右上側制御点２２１１の動きベクトル（Ｖ＿１又はＣＰＭＶ＿１）のｙ軸エレメント、ｖ＿２ｙは、現在ブロック２２００の左下側制御点２２１２の動きベクトル（Ｖ＿２又はＣＰＭＶ＿２）のｙ軸エレメント、ｗは、現在ブロック２２００の幅（ｗｉｄｔｈ）、ｈは、現在ブロック２２００の高さ（ｈｅｉｇｈｔ）を表す。
ステップ−２：制御点動きベクトル予測子（ＣＰＭＶＰ）ペアの候補が２より小さい場合、ＡＭＶＰ候補リストを使用
ステップ−３：２つの候補それぞれに対して制御点の動きベクトル予測子（ＣＰＭＶＰ）を決定し、ＲＤコストを比較し、小さい値を有する候補とＣＰＭＶを最適に選択
ステップ−４：最適の候補に該当するインデックスと制御点の動きベクトル差分値（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ＣＰＭＶＤ）を送信
本発明の実施例で、ＡＦ＿ＩＮＴＥＲで、ＣＰＭＶＰ候補の構成過程が提供される。ＡＭＶＰと同じように、候補の数は２であり、候補リストの位置を指示するインデックスがシグナリングされる。
ＣＰＭＶＰ候補リストの構成過程は、次の通りである。
１）周辺ブロックをスキャンし、これがアフィン動き予測としてコーディングされるかをチェックする。スキャンされたブロックがアフィン予測としてコーディングされると、候補の数が２になるまでスキャンされた周辺ブロックのアフィン動きモデルから現在ブロックの動きベクトルペアを導出する。
２）候補の数が２より小さいと、候補の構成過程を行う。また、本発明の実施例で、４−パラメータ（２−制御点）アフィンインターモードがズーム−イン／アウト（ｚｏｏｍ−ｉｎ／ｏｕｔ）、及び回転の動きモデルとコンテンツを予測するのに使用される。図１５に示すように、ブロックのアフィン動きフィールド（ｆｉｅｌｄ）は、２つの制御点の動きベクトルにより記述される。
ブロックの動きベクトルフィールド（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｉｅｌｄ：ＭＶＦ）は、前述した式１により記述される。
従来技術で、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードは、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）インデックスとＭＶＤｓ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅｓ）をシグナリングするのに必要である。ＡＭＶＰモードが本発明に適用される際、アフィン＿フラグ（ａｆｆｉｎｅ＿ｆｌａｇ）は、アフィン予測が使用されるかを指示するようにシグナリングされる。アフィン予測が適用されると、ｉｎｔｅｒ＿ｄｉｒ、ｒｅｆ＿ｉｄｘ、ｍｖｐ＿ｉｎｄｅｘ、及び２つのＭＶＤｓ（ｍｖｄ＿ｘ及びｍｖｄ＿ｙ）のシンタックスがシグナリングされる。２つのアフィンＭＶＰペアを含むアフィンＭＶＰペアの候補リストが生成される。シグナリングされたｍｖｐ＿ｉｎｄｅｘは、これらのうち一つを選択するのに使用される。アフィンＭＶＰペアは、２つの種類のアフィンＭＶＰ候補により生成される。１つは、空間的継承アフィン候補（ｓｐａｔｉａｌ ｉｎｈｅｒｉｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅ）であり、もう１つは、コーナー導出されたアフィン候補（ｃｏｒｎｅｒ ｄｅｒｉｖｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅ）である。周辺のＣＵがアフィンモードでコーディングされると、空間的継承アフィン候補が生成され得る。周辺のアフィンコーディングされたブロックのアフィン動きモデルは、２−制御点のＭＶＰペア（ｔｗｏ−ｃｏｎｔｒｏｌ−ｐｏｉｎｔ ＭＶＰ ｐａｉｒ）の動きベクトルを生成するのに使用される。空間的継承アフィン候補の２−制御点ＭＶＰペアのＭＶは、次の式を使用することによって導出される。
Ｖ＿Ｂ０、Ｖ＿Ｂ１、及びＶ＿Ｂ２がある参照／周辺のＣＵの左上側ＭＶ、右上側 ＭＶ、及び左下側ＭＶに代替されることができる場合、（ｐｏｓＣｕｒＣＵ＿Ｘ、ｐｏｓＣｕｒＣＵ＿Ｙ）は、フレームの左上側サンプルに対する現在のＣＵの左上側サンプルの位置であり、（ｐｏｓＲｅｆＣＵ＿Ｘ、ｐｏｓＲｅｆＣＵ＿Ｙ）は、フレームの左上側サンプルに対する参照／周辺のＣＵの左上側サンプルの位置である。
図２３は、本発明が実施例にかかるアフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）でアフィン動き予測に使用される周辺ブロックの例を示す。
図２３を参照すると、ＭＶＰペアの数が２より小さいと、コーナー導出されたアフィン候補が使用される。周辺の動きベクトルは、図２３に示すように、アフィンＭＶＰペアを導出するのに使用される。第１のコーナー導出されたアフィン候補に対して、セットＡ（Ａ０、Ａ１、及びＡ２）で第１の利用可能なＭＶとセットＢ（Ｂ０及びＢ１）で第１の利用可能なＭＶは、第１のＭＶＰペアを構成するのに使用される。第２のコーナー導出されたアフィン候補に対して、セットＡで第１の利用可能なＭＶとセットＣ（Ｃ０及びＣ１）で第１の利用可能なＭＶは、右上側制御点のＭＶを計算するのに使用される。セットＡで第１の利用可能なＭＶと計算された右上側制御点ＭＶは、第２のＭＶＰペアである。
本発明の実施例で、２つ（３つ）の候補｛ｍｖ＿０，ｍｖ＿１｝（｛ｍｖ＿０，ｍｖ＿１，ｍｖ＿２）を含む２つの候補セットは、アフィン動きモデルの２つ（３つ）の制御点を予測するのに使用される。与えられた動きベクトルの差分（ｍｖｄ＿０，ｍｖｄ＿１，ｍｖｄ＿２）と制御点は、次の式を使用することによって計算される。
図２４及び図２５は、本発明の実施例にかかるアフィンインターモード（ａｆｆｉｎｅ ｉｎｔｅｒ ｍｏｄｅ）で周辺ブロックの動き情報を用いて動きベクトル候補を誘導する方法を例示する図である。
前記アフィン候補リストは、アフィン動きを空間的隣接ブロック（外挿されたアフィン候補）から延びて、空間的隣接ブロック（仮想のアフィン候補）からの動きベクトルの組み合わせにより添付される（ａｐｐｅｎｄｅｄ）。候補の集合は、下記のように設定される：
１．最大２つの異なるアフィンＭＶ予測子の集合が隣接ブロックのアフィン動きから誘導される。隣接ブロックＡ０、Ａ１、Ｂ０、Ｂ１、及びＢ２が図２４に示すように確認される。仮に、隣接ブロックがアフィン動きモデルによって符号化され、その参照フレームが現在ブロックの参照フレームと同一であると、現在ブロックの４−パラメータアフィンモデルに対する）２つ又は（６−パラメータアフィンモデルに対する）３つの制御点が隣接ブロックのアフィンモデルから誘導される。
２．図２５は、仮想のアフィン候補の集合を生成するために使用される隣接ブロックを示す。隣接ＭＶは、３つのグループに分割される：Ｓ＿０＝｛ｍｖ＿Ａ，ｍｖ＿Ｂ，ｍｖ＿Ｃ｝、Ｓ＿１＝｛ｍｖ＿Ｄ，ｍｖ＿Ｅ｝、Ｓ＿２＝｛ｍｖ＿Ｆ，ｍｖ＿Ｇ｝。ｍｖ＿０は、Ｓ０で現在ブロックと同一の参照ピクチャを参照する一番目のＭＶである。ｍｖ＿２は、Ｓ１で現在ブロックと同一の参照ピクチャを参照する一番目のＭＶである。
仮に、ｍｖ＿０とｍｖ＿１が与えられると、ｍｖ＿２は、下記の数式９により誘導され得る。
数式９で、現在ブロックのサイズは、ＷｘＨである。
仮に、ｍｖ＿０とｍｖ＿２のみが与えられると、ｍｖ＿１は、下記の数式１０により誘導され得る。
本発明の一実施例で、アフィンインター予測は、下記のシーケンス（ｓｅｑｕｅｎｃｅ）によって行われ得る。
入力：アフィン動きパラメータ、参照ピクチャのサンプル
出力：ＣＵの予測ブロック
プロセス
− アフィンブロックのサブ−ブロックのサイズを誘導
− サブ−ブロックの幅と、幅モード４ノルマサンプル（luma samples）より大きいと、
− それぞれのサブブロックに対して
− サブ−ブロックの動きベクトルを誘導
− ＤＣＴ−ＩＦベースの動き補償（ルマに対して１／１６ペル、色差に対して１／３２ペル）がサブ−ブロックに対して実行（ｉｎｖｏｋｅｄ）
− そうでなければ、向上したバイ−リニア補間フィルタ（ｅｎｈｅｎｃｅｄ ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ）ベースの補償が全アフィンブロックに対して実行される（ｉｎｖｏｋｅｄ）
また、本発明の一実施例で、マージ／スキップフラグが偽（ｆａｌｓｅ）であり、ＣＵに対する幅と高さが８より大きいか等しければ、ＣＵレベルでアフィンフラグがアフィンインターモードが使用されるか否かを指示するためにシグナリングされる。ＣＵがアフィンインターモードとしてコーディングされると、モデルフラグが４−パラメータ又は６−パラメータアフィンモデルが前記ＣＵに対して適用されるか否かを指示するためにシグナリングされる。もし、モデルフラグが真（ｔｒｕｅ）である場合、ＡＦ＿６＿ＩＮＴＥＲ ｍｏｄｅ（６−パラメータアフィンモデル）が適用され、３つのＭＶＤがパーシングされ、そうでなければ、ＡＦ＿４＿ＩＮＴＥＲ ｍｏｄｅ４−パラメータアフィンモデル）が適用され、２つのＭＶＤがパーシングされる。
ＡＦ＿４＿ＩＮＴＥＲモードで、アフィンマージモードと同様に、アフィンアフィンモードによりコーディングされた隣接ブロックから外挿された動きベクトルペアが生成され、一番目に候補リストに挿入される。
以降、もし候補リストのサイズが４より小さいと、動きベクトルペア｛（ｖ＿０，ｖ＿１）｜ｖ０＝｛ｖ＿Ａ，ｖ＿Ｂ，ｖ＿ｃ｝、ｖ＿１＝｛ｖ＿Ｄ，ｖ＿Ｅ｝｝を有する候補が隣接ブロックを使用することによって生成される。図２５に示すように、ｖ＿０は、ブロックＡ、Ｂ、Ｃの動きベクトルから選択される。隣接ブロックからの動きベクトルは、参照リストと隣接ブロックに対する参照のＰＯＣ現在のＣＵに対する参照のＰＯＣ及び現在のＣＵの間の関係によってスケールされる。また、隣接ブロックＤとＥからｖ＿１を選択する接近方式は類似する。候補リストが４より大きいと、候補は（候補ペアで２つの動きベクトルと同様に）隣接動きベクトルの一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）によって優先的に整列され、一番目の４つの候補が保存される。
もし、候補リストの数が４より小さい場合、リストは、各ＡＭＶＰ候補を複製することによって、動きベクトルペアによりパディングされる（ｐａｄｄｅｄ）。
ＡＦ＿６＿ＩＮＴＥＲモードで、アフィンマージモードと同様に、アフィンアフィンモードでコーディングされた隣接ブロックから外挿された動きベクトルトリプル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｔｒｉｐｌｅｓ）が生成され、候補リストに優先的に挿入される。
以降、候補リストのサイズが４より小さいと、動きベクトルトリプル｛（ｖ＿０，ｖ＿１，ｖ＿２）｜ｖ０＝｛ｖ＿Ａ，ｖ＿Ｂ，ｖ＿ｃ｝、ｖ１＝｛ｖ＿Ｄ，ｖ＿Ｅ｝、ｖ２＝｛ｖ＿Ｇ，ｖ＿Ｈ｝｝を含む候補が隣接ブロックを使用して生成される。図２５で示すように、ｖ＿０は、ブロックＡ、Ｂ、又はＣの動きベクトルから選択される。隣接ブロックからの動きベクトルは、参照リストと隣接ブロックに対する参照のＰＯＣ、現在ＣＵに対する参照のＰＯＣ、且つ現在ＣＵのＰＯＣの関係によってスケールされる。また、隣接ブロックＤとＥからｖ＿１を選択するための接近と、ＦとＧからｖ＿２を選択するための接近は類似する。候補リストが４より大きいと、候補は（３つの候補で２つの動きベクトルと同様に）隣接動きベクトルの一貫性によって整列され、一番目の４つの候補が保存される。
候補リストの数が４より小さいと、リストは、各ＡＭＶＰ候補を複製することによって（ｄｕｐｌｉｃａｔｉｎｇ）構成される動きベクトルトリプルによりパディングされ得る。
現在ＣＵのＣＰＭＶが誘導された以降、アフィンパラメータの数によって、現在ＣＵのＭＶＦが４−パラメータアフィンモデルに対する下記の数式１１によって生成され、６−パラメータアフィンモデルに対する下記の数式１２によって生成される。
ここで、サブ−ブロックのサイズＭｘＮは、下記の数式１３で誘導され、ＭｖＰｒｅは、動きベクトル部分の正確度（１／１６）である。
数式１２により誘導された以降、ＭとＮはｗとｈの分母（ｄｉｖｉｓｏｒ）にするために必要であれば下方修正しなければならない。Ｍ又はＮが８より小さいと、ＷＩＦが適用され、そうでなければ、サブ−ブロックベースのアフィン動き補償が適用される。
図２６は、本発明の実施例にかかるサブブロック単位のアフィン動きベクトルフィールドを誘導する方法の一例を示す。
図２６を参照すると、各ＭｘＮのサブ−ブロックの動きベクトルを誘導するために、図２６に示すような各サブ−ブロックの中央サンプルの動きベクトルは、数式１１ 又は数式１２によって計算され、１／１６部分の正確度でラウンディングされる（ｒｏｕｎｄｅｄ）。ＳＨＶＣ上方サンプリング補間フィルタが誘導された動きベクトルを使用し、各サブ−ブロックの予測を生成するために適用される。
ＨＥＶＣ動き補償補間フィルタと同一のフィルタ長さ及び正規化因子を有するＳＨＶＣ上方サンプリング補間フィルタは、更なる部分ペル位置（ａｄｄｉｔｉｏｎａｌ ｆｒａｃｔｉｏｎａｌ ｐｅｌ ｐｏｓｉｔｉｏｎｓ）に対する動き補償補間フィルタとして使用され得る。クロマ成分の動きベクトルの正確度は１／３２サンプルであり、１／３２ペル部分の位置の更なる補間フィルタは、２つの隣接した１／１６ペル部分の位置のフィルタの平均を使用することによって誘導される。
ＡＦ＿ＭＥＲＧＥモードは、通常のマージモードの選択が行われることと同じ方式でエンコーダ側で選択され得る。候補リストが優先的に生成され、候補で最小のＲＤ−コストが他のインターモードのＲＤ−コストと比較するために選択される。比較の結果は、ＡＦ＿ＭＥＲＧＥが適用されるか否かに対する決定である。
ＡＦ＿４＿ＩＮＴＥＲモードのために、ＲＤコストの確認はいずれの動きベクトルペアの候補が現在ＣＵの制御点の動きベクトル予測（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＣＰＭＶＰ）として選択されるかを決定するために使用される。現在のアフィンＣＵのＣＰＭＶＰが決定された以降、アフィン動きの推定が適用され、制御点の動きベクトル（ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ、ＣＰＭＶ）が獲得される。そうすると、ＣＰＭＶとＣＰＭＶＰとの差が決定される。
エンコーダ側で、ＡＦ＿ＭＥＲＧＥ又はＡＦ＿４＿ＩＮＴＥＲモードが以前のモード選択ステージで最適のモードとして決定される際にのみＡＦ＿６＿ＩＮＴＥＲモードが確認される。
本発明の一実施例で、アフィンインター（アフィンＡＭＶＰ）モードは、下記のように行われ得る：
１）ＡＦＦＩＮＥ＿ＭＥＲＧＥ＿ＩＭＰＲＯＶＥ：アフィンモードである一番目の隣接ブロックを探索する代わりに、改善点（ｉｍｐｒｏｖｅｍｅｎｔ）は、最大のコーディングユニットのサイズを有する隣接ブロックをアフィンマージ候補として探索しようとする。
２）ＡＦＦＩＮＥ＿ＡＭＶＬ＿ＩＭＰＲＯＶＥ：アフィンモードである隣接ブロックを通常のＡＭＶＰ手続と同様にアフィンＡＭＶＰ候補リストに追加する。
詳細なアフィンＡＭＶＰ候補リストの生成過程は下記の通りである。
第一に、左側下の隣接ブロックがアフィン動きモデルを使用し、現在の参照インデックスと同一の参照インデックスを有するか否かが確認される。もし存在しなければ、左側の隣接ブロックが同じ方法で確認される。もし存在しなければ、左側下の隣接ブロックがアフィン動きモデルを使用し、異なる参照インデックスを有するか否かが確認される。もし存在すれば、スケールされたアフィン動きベクトルが参照ピクチャリストに追加される。もし存在しなければ、左側の隣接ブロックが同じ方式で確認される。
第二に、右側上部の隣接ブロック、上部の隣接ブロック、及び左側上部の隣接ブロックが同じ方式で確認される。
前述した過程以降、２つの候補を探索すると、アフィンＡＭＶＰ候補リストを生成する動作を終了する。２つの候補を探索することができない場合、ＪＥＭソフトウェア内の元の動作がアフィンＡＭＶＰ候補リストを生成するために行われる。
３）ＡＦＦＩＮＥ＿ＳＩＸ＿ＰＡＲＡＭ：４−パラメータアフィン動きモデル以外に、６−パラメータアフィン動きモデルが更なるモデルとして追加される。
６−パラメータアフィン動きモデルが下記の数式１４を介して誘導される。
前述した動きモデルに６−パラメータが存在するので、左側上部の位置ＭＶ＿０、右側上部の位置ＭＶ＿１、且つ左側下部の位置ＭＶ＿２における３つの動きベクトルがモデルを決定するために要求される。３つの動きベクトルが４−パラメータアフィン動きモデルで２つの動きベクトルと類似の方式で決定され得る。アフィンモデルマージは、常時６−パラメータアフィン動きモデルとして設定される。
４）ＡＦＦＩＮＥ＿ＣＬＩＰ＿ＲＥＭＯＶＥ：全てのアフィン動きベクトルに対する動きベクトルの制約（ｃｏｎｓｔｒａｉｎｔｓ）を除去する。動き補償の過程が動きベクトルの制約そのものを制御するようにする。
アフィン動きモデル（Ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）
前述したように、アフィンインター予測（Ａｆｆｉｎｅ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）で様々なアフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）が使用又は考慮され得る。例えば、アフィン動きモデルは、前述した図１４のように、４つの動きを表現し得る。アフィン動きモデルが表現し得る動きのうち、３つの動き（トランスレーション（ｔｒａｎｓｌａｔｉｏｎ）、スケール（ｓｃａｌｅ）、ローテート（ｒｏｔａｔｅ））を表現するアフィン動きモデルを類似アフィン動きモデル（ｓｉｍｉｌａｒｉｔｙ（ｏｒ ｓｉｍｐｌｉｆｉｅｄ） ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）といえる。前記アフィン動きモデルのうち、どのモデルを使用するかによって導出されるＣＰＭＶの数及び／又は現在ブロックのサンプル／サブブロック単位のＭＶの導出方法が変わり得る。
本発明の一実施例で、適応的な４つ及び６つのパラメータ動きモデルが使用される。ＡＦ＿ＩＮＴＥＲで、６−パラメータ動きモデルがＪＥＭで存在する４−パラメータ動きモデルに加えて提案される。６−パラメータアフィン動きモデルが下記の数式１５のように説明される。
ここで、係数ａ、ｂ、ｃ、ｄ、ｅ、及びｆは、アフィン動きパラメータであり、（ｘ，ｙ）と（ｘ’，ｙ’）は、アフィン動きモデルの変換以前と以降のピクセル位置の座標である。ビデオコーディングでアフィン動きモデルを使用するために、もしＣＰＭＶ０、ＣＰＭＶ１、及びＣＰＭＶ２がＣＰ０（左上側）、ＣＰ１（右上側）、及びＣＰ２（左下側）に対するＭＶであれば、数式１６が下記のように説明され得る。
ここで、ＣＰＭＶ＿０＝｛ｖ＿０ｘ，ｖ＿０ｙ｝、ＣＰＭＶ＿１＝｛ｖ＿１ｘ，ｖ＿１ｙ｝、ＣＰＭＶ＿２＝｛ｖ＿２ｘ，ｖ＿２ｙ｝、及びｗとｈは、それぞれコーディングブロックの幅（ｗｉｄｔｈ）と高さ（ｈｅｉｇｈｔ）である。数式１６は、ブロックの動きベクトルフィールド（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｉｅｌｄ、ＭＶＦ）である。
フラグが隣接ブロックがアフィン予測でコーディングされた際、４−パラメータ又は６−パラメータアフィン動きモデルが使用されるか否かを指示するために、ＣＵレベルでパーシングされる。アフィン予測でコーディングされた隣接ブロックがなければ、フラグは省略され、４−パラメータのモデルがアフィン予測のために使用される。言い換えると、６−パラメータモデルが１つ又はそれ以上の隣接ブロックがアフィン動きモデルでコーディングされる条件で考慮される。ＣＰＭＶＤの数に関して、２つ及び３つのＣＰＭＶＤが４−パラメータ及び６−パラメータアフィン動きモデルに対してそれぞれシグナリングされる。
また、本発明の一実施例で、パターン−マッチングされた動きベクトル加工（ｐａｔｔｅｒｎ−ｍａｔｃｈｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）が使用され得る。ＪＥＭのパターン−マッチングされた動きベクトル誘導（ＪＥＭのエンコーダの説明で、名付けてＰＭＭＶＤ、以下ＰＭＶＤと略称）において、デコーダは、ＣＵ−レベルの探索のために開始のＭＶ候補を決定するために、いくつかの動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ、ＭＶ）を評価する必要がある。サブ−ＣＵ−レベルの探索で、最適のＣＵ−レベルのＭＶに加えて、いくつかのＭＶ候補が追加される。デコーダは、最適のＭＶを探索するために、このようなＭＶ候補を評価する必要があり、これは、多くのメモリ帯域を要求する。提案されたパターン−キャッチングされた動きベクトル精製（ｐａｔｔｅｒｎ−ｍａｔｃｈｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ、ＰＭＶＲ）で、ＪＥＭでＰＭＶＤでのテンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）と両方マッチング（ｂｉｌａｔｅｒａｌ ｍａｔｃｈｉｎｇ）のコンセプトが採択される。ＰＭＶＲが使用可能か否かを指示するために、スキップモード又はマージモードが選択された際、１つのＰＭＶＲ＿ｆｌａｇがシグナリングされる。ＰＭＶＤと比較し、意味あるようにメモリ帯域幅の要求を減少させるために、ＭＶ候補リストが生成され、もしＰＭＶＲが適用されると、開始のＭＶ候補のインデックスが明示的にシグナリングされる。
マージ候補リストの生成プロセスを使用することによって候補リストが生成されるが、サブ−ＣＵマージ候補、例えば、アフィン候補とＡＴＭＶＰ候補は除外される。両方向マッチング（ｂｉｌａｔｅｒａｌ ｍａｔｃｈｉｎｇ）のために、ただ単方向−予測（ｕｎｉ−ｐｒｅｄｉｃｔｉｏｎ）ＭＶ候補のみが含まれる。両方向−予測（ｂｕ−ｐｒｅｄｉｃｔｉｏｎ）ＭＶ候補は、２つの単方向−予測ＭＶ候補に分割される。また、（ＭＶの差が予め定義された臨界値より少ない）類似のＭＶ候補がやはり除去される。ＣＵ−レベルの探索のために、ダイヤモンド探索ＭＶ精製（ｄｉａｍｏｎｄ ｓｅａｒｃｈ ＭＶ ｒｅｆｉｎｅｍｅｎｔ）がシグナリングされたＭＶ候補から始めて行われる。
サブ−ＣＵ−レベルの探索は、ただ両方マッチングマージモード（ｂｉｌａｔｅｒａｌ ｍａｔｃｈｉｎｇ ｍｅｒｇｅ ｍｏｄｅ）でのみ使用可能である。全てのサブ−ＣＵに対するサブ−ＣＵ−レベルの探索の探索ウィンドウは、ＣＵ−レベルの探索の探索ウィンドウと同一である。従って、更なる帯域幅がサブ−ＣＵ−レベルの探索において要求されない。
モードでＭＶＰを精製するために、テンプレートマッチングも使用される。ＡＭＶＰモードで、２つのＭＶＰがＨＥＶＣ ＭＶＰ生成プロセスを使用することによって生成され、１つのＭＶＰインデックスがそれらのうち１つを選択するためにシグナリングされる。選択されたＭＶＰは、ＰＭＶＲでテンプレートマッチングを使用することによってさらに精製される。適応的動きベクトル解像度（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ、ＡＭＶＲ）が適用されると、テンプレートマッチングの精製以前に、ＭＶＰは該当する正確度でラウンディングされる（ｒｏｕｎｄｅｄ）。このような精製過程は、パターン−マッチングされた動きベクトル予測子精製（ｐａｔｔｅｒｎ−ｍａｔｃｈｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ、ＰＭＶＰＲ）と名付けられる。本文書の残りで特に定義しなければ、ＰＭＶＲはテンプレートマッチングＰＭＶＲ、両方向マッチングＰＭＶＲ、及びＰＭＶＰＲを含む。
メモリ帯域幅の要求を減少させるために、ＰＭＶＲは４ｘ４、４ｘ８、及び８ｘ４のＣＵに対して使用できなくなる。更なるメモリ帯域幅の要求量の減少のために、６４と同一のＣＵ領域に対する｛テンプレートマッチング、両方向マッチング｝の探索範囲が｛±２，±４｝と縮小し得、６４より大きいＣＵ領域に対する｛テンプレートマッチング、両方向マッチング｝の探索範囲が｛±６，±８｝と縮小し得る。本文書のＰＭＶＲセクションで説明された前述した全ての方法を使用することによって、ＨＥＶＣでの最悪の場合に比べて要求されるメモリ帯域幅がＪＥＭ−７．０のＰＭＶＤで４５．９ｘからＰＭＶＲで３．１ｘと減少した。
ＨＭＶＰ（Ｈｉｓｔｏｒｙ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）一般
一般に、映像圧縮技術は、２つの主要な技法として空間的及び時間的リダンダンシー（ｒｅｄｕｎｄａｎｃｙ）に対する探索（ｅｘｐｌｏｉｔｉｎｇ）を用いる。例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）及びＶＶＣは、いずれもインターコーディング（ｉｎｔｅｒ ｃｏｄｉｎｇ）の基底で２つの動き圧縮技法を使用する。１つは、マージ（ｍｅｒｇｅ）動きであり、もう１つは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）である。このような２つの予測モードに対する改善のために、様々な変更（ｍｏｄｉｆｉｃａｔｉｏｎｓ）が議論されている。これらは候補の数を増加させることから始めて、より空間的に拡張される候補に対する探索、及び非慣習的な（ｎｏｎ−ｔｒａｄｉｔｉｏｎａｌ）位置での時間的候補を検査することなどを含む。このような２つの技法は、一次的に可能な候補でリストを構成し、ＲＤ（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ）コストを最小化し、ビットストリームで選択された候補をシグナリングする。
特に、最近の映像圧縮技術では、以前にコーディングされたブロックの動き情報を保存し、保存された動き情報を以降にコーディングされるブロックの動き予測に用いるＨＭＶＰ（Ｈｉｓｔｏｒｙ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）が議論される。このようなＨＭＶＰは、マージリスト（又は、マージ候補リスト）又はＡＭＶＰリスト（又はＡＭＶＰ候補リスト）に追加され得る。
デコーダは、ＨＭＶＰのためにＦＩＦＯ（ｆｉｒｓｔ ｉｎ ｆｉｒｓｔ ｏｕｔ）システム（又は方式）で動作するＬＵＴ（ｌｏｏｋ−ｕｐ ｔａｂｌｅ）を維持する。本明細書で、ＬＵＴは、その名称に制限されず、テーブル、ＨＭＶＰテーブル、ＨＭＶＰ候補テーブル、バッファ、ＨＭＶＰバッファ、ＨＭＶＰ候補バッファ、ＨＭＶＰリスト、ＨＭＶＰ候補リスト等と称される。具体的に、非−アフィン（ｎｏｎ−ａｆｆｉｎｅ）ＰＵ（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）（又は、ＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ））がデコーディングされる際、その動き情報はＬＵＴに保存され、デコーダは、次のＰＵに対するデコーディングを進める。この際、保存される動き情報は、ｘ（水平）及びｙ（垂直）方向の動きベクトル、参照インデックス情報、及びモード情報等を含み得る。
デコーダは、漸進的に（ｐｒｏｇｒｅｓｓｉｖｅｌｙ）デコーディングされた非−アフィン候補の動き情報が保存されるＬＵＴを維持することができる。ＬＵＴのサイズは、予め定義されたＳ個の候補に制限され得る。一実施例として、ＬＵＴは、スライスの開始、ＣＴＵ行の開始、又はＣＴＵの開始でリセット（ｒｅｓｅｔ）され得る。
ＨＭＶＰは、マージモード及びＡＭＶＰモードでいずれも適用され得る。マージリストは、Ｂ個の候補を有し得、ＡＭＶＰリストは、２つの候補を有し得る。従来の映像圧縮技術で、マージリストは、次の候補で構成される：ｉ）空間候補、ｉｉ）時間候補、ｉｉｉ）両方向予測（Ｂｉ−Ｐｒｅｄ）候補、ｉｖ）ゼロ動き候補（ｚｅｒｏ ｍｏｔｉｏｎ ｃａｎｄｉｄａｔｅ）。最近、ＡＴＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）がさらに候補として考慮される方法が議論される。一例として、ＡＴＭＶＰ候補は、時間候補の以前にマージリストに挿入され得る。マージリストの候補は、最大のマージリストのサイズに到達するまでマージリストに追加される。重複候補（ｄｕｐｌｉｃａｔｅ ｃａｎｄｉｄａｔｅ）は、マージリストに追加されなくてもよい。ＡＭＶＰリストは、２つの候補が挿入され得る。一例として、２つの候補のうち１つは、使用可能な空間候補から選択され、二番目の候補は、時間候補から選択され得、リストが満たされない場合、ゼロ動きベクトル候補が追加され得る。
ＨＭＶＰは、ＬＵＴで候補が投入された順序と同じようにテーブルから抜け出すＦＩＦＯベースで適用される。
一実施例で、ＨＭＶＰがマージリストの構成に適用される際、ＨＭＶＰ候補は、下記のようにリストの３番目の位置に挿入（又は追加）され得る：
１．空間候補（Ｓｐａｔｉａｌ Ｃａｎｄｉｄａｔｅ）
２．時間候補（Ｔｅｍｐｏｒａｌ Ｃａｎｄｉｄａｔｅ）
３．ＬＵＴに対する最大Ｓ個のＨＭＶＰ候補（Ｕｐ ｔｏ Ｓ ＨＭＶＰ Ｃａｎｄｉｄａｔｅｓ ｆｏｒ ａ ＬＵＴ）
４．結合された両方向予測候補（Ｃｏｍｂｉｎｅｄ Ｂｉ−Ｐｒｅｄ Ｃａｎｄｉｄａｔｅ）
５．ゼロ動きベクトル候補（Ｚｅｒｏ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ）
一実施例で、ＨＭＶＰがＡＭＶＰリストの構成に適用される際、ＨＭＶＰは下記のように時間候補以降、３番目の位置に挿入され得る：
１．空間的候補（Ｓｐａｔｉａｌ Ｃａｎｄｉｄａｔｅ）
２．時間的候補（Ｔｅｍｐｏｒａｌ Ｃａｎｄｉｄａｔｅ）
３．最大Ｋ個のＨＭＶＰ候補（Ｕｐ ｔｏ Ｋ ＨＭＶＰ Ｃａｎｄｉｄａｔｅｓ）
４．ゼロ動きベクトル候補（Ｚｅｒｏ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ）
図２７は、本明細書の実施例にかかるＨＭＶＰを保存する方法を説明するためのフローチャートである。
図２７を参照すると、デコーダは、現在ＰＵ（又はＣＵ）をデコーディングする（Ｓ２７０１）。
デコーダは、現在ＰＵが非−アフィンモードでコーディングされたブロックであるか確認する（Ｓ２７０２）。ＨＭＶＰ候補の使用を容易にするために、もし現在ＰＵがアフィンモードでコーディングされたブロックである場合、デコーダは、現在ＰＵの動き情報をテーブルに保存しない。
現在ＰＵが非−アフィンモードでコーディングされたブロックである場合、デコーダは、現在ＰＵの動き情報をテーブルに保存（又はアップデート）する（Ｓ２７０３）。
本明細書の実施例で、ＨＭＶＰテーブルは２つの方法、即ち、ｉ）非制限的ＦＩＦＯ（ｕｎｃｏｎｓｔｒａｉｎｅｄ ＦＩＦＯ）、ｉｉ）制限的ＦＩＦＯ（ｃｏｎｓｔｒａｉｎｔ ＦＩＦＯ）方法でアップデートされ得る。前者で、重複する動き情報が存在し得るが、プルーニングプロセスは適用されない。これは、全般的なプロセスの複雑度を低減させるのに寄与する。一方、後者で、プルーニングプロセスが適用され、ＨＭＶＰテーブル内の重複する動き情報が存在しない。下記の図を参照して説明する。
図２８は、本明細書の実施例にかかる非制限的ＦＩＦＯ方式で動作するＨＭＶＰ テーブルを説明するための図である。
図２８を参照すると、テーブルに追加される候補は、テーブルの終端（右側）に追加される。反面、ＦＩＦＯ方式によってテーブルで排出される候補は、テーブルの前端（左側、最も古い候補）に位置する。
もし、インデックスＬ−１（即ち、終端）でテーブルが予め定義された最大数の候補で完全に満たされなければ、除去される候補なく、新しい候補が追加される。反面、テーブルが既に完全に満たされた場合、即ち、テーブルの最大数を満たす場合、テーブルで最も古い前端に位置した候補が除去され、新しい候補が追加される。
図２９は、本明細書の実施例にかかる制限的ＦＩＦＯ方式で動作するＨＭＶＰテーブルを説明するための図である。
図２９を参照すると、制限的ＦＩＦＯが使用される場合、新しい候補を追加することがいかなる重複を引き起こす場合（即ち、新しい候補が重複する動き情報を有する場合）プルーニングが行われる。実施例として、重複する動き情報を有する候補がテーブルに存在すると、テーブル内の重複する候補は除去され、現在の候補の動き情報が追加され得る。
ＨＭＶＰ候補に対して、多くの場合で（最も）最近の履歴ＭＶが空間候補（又は空間隣接候補）の動き情報と重複し得る。したがって、本実施例では、ＨＭＶＰ候補をＡＭＶＰ又はマージリストに追加する際、候補の追加順序をＨＭＶＰ ＬＵＴインデックスの順序と異なって設定する方法を提案する。
本明細書の実施例にかかると、ＨＭＶＰ候補を適応的に調節することによって、候補リストを効率的に構成でき、これを介して、二値化（ｂｉｎａｒｉｚａｔｉｏｎ）に使用されるシグナリングビンの数を減少させ、コーディング効率を高めることができる。即ち、マージリスト又はＡＭＶＰリストに追加されるＨＭＶＰ候補は、ＨＭＶＰリスト内のインデックスにより制限されないことがある。一実施例として、次の表１は、ＡＭＶＰ又はマージリストにＨＭＶＰ候補を追加する順序を変更する方法を例示する。
表１を参照すると、前述したように、（最も）最近に挿入されたＨＭＶＰ候補は、空間候補の動き情報と同一である可能性が高いため、これを考慮し、ＨＭＶＰ候補の追加順序をＨＭＶＰインデックスと関係なく予め定義し得る。
また、一実施例で、エンコーダ／デコーダは、ＨＭＶＰリスト内でｎ番目の候補から始めるＨＭＶＰ候補からマージリスト又はＡＭＶＰリストに追加し得る。次の表２は、ＡＭＶＰ又はマージリストに候補を追加する変更された順序を例示する。
表２を参照すると、ＨＭＶＰ候補は、２番目のインデックスからマージリスト又はＡＭＶＰリストに追加され得る。
一実施例で、テーブル（ＬＵＴ）内でのＨＭＶＰ候補の追加順序に関する情報は、エンコーダからデコーダにシグナリングされ得る。例えば、このような順序の情報は、上位レベルのシンタックス（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）を介して送信され得る。前記上位レベルのシンタックスは、例えば、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）及び／又は他の適切なシンタックスデータヘッダであり得る。
下記の表３は、本明細書で提案する方法が適用され得る上位レベルのシンタックス構造を例示する。
表３を参照すると、ｓｅｔ＿ＨＭＶＰ＿ｏｒｄｅｒ＿ｆｌａｇが１であることは、ｓｅｔ＿ＨＭＶＰ＿ｏｒｄｅｒ＿ｆｌａｇがＣＶＳで非−ＩＤＲ（ｎｏｎ−ＩＤＲ）ピクチャ内のスライスヘッダで存在することを指示する。ｓｅｔ＿ＨＭＶＰ＿ｏｒｄｅｒ＿ｆｌａｇが０であることは、ｓｅｔ＿ＨＭＶＰ＿ｏｒｄｅｒ＿ｆｌａｇがスライスヘッダで存在せず、ＶＣＳで適応的ＨＭＶＰが使用されないことを指示する。
下記の表４は、本明細書で提案する方法が適用され得るスライスセグメントヘッダシンタックス構造を例示する。
表４を参照すると、ｓｌｉｃｅ＿ＨＭＶＰ＿ｉｄｘは、使用される候補の順序に対するインデックスを意味する。例えば、ｓｌｉｃｅ＿ＨＭＶＰ＿ｉｄｘが０であることは、０、１、２、３等の基本ＨＭＶＰの順序を表現し得る。同様に、１のインデックス値は、３、２、１、０のＨＭＶＰ順序を表現するために使用され得る。
また、本明細書の一実施例で、ＨＭＶＰ ＬＵＴに加えて、ロングタームリスト（ｌｏｎｇ ｔｅｒｍ ｌｉｓｔ）を動き予測のために使用する方法を提案する。これを介して、維持されるＨＭＶＰ候補の数を増加させ得る。実施例として、２−ＨＭＶＰテーブルを考慮し得、ここで、１つは一般ＨＭＶＰ候補を保管し、もう１つは維持がさらに必要な候補をさらに保管するロングターム（ｌｏｎｇ ｔｅｒｍ）リストに使用できる。
次は、ロングタームリスト（又は、ロングタームＨＭＶＰリスト）を初期化して構成する方法を例示する。
− ＣＴＵ行の一番目のＣＴＵをデコーディングした後、以降のＣＴＵの１つ又はそれ以上の履歴ＭＶがロングタームＨＭＶＰ ＬＵＴに追加され得る。このようなロングタームＨＭＶＰ ＬＵＴは、次のＣＴＵ行まで使用されるか、アップデートされないことがある。
− 次のＣＴＵ行の開始で、ロングタームＨＭＶＰ ＬＵＴが、通常のＨＭＶＰ ＬＵＴを初期化するために使用され得る。その理由は、ＣＴＵ行の開始でＣＴＵのＨＭＶＰ候補が以前のＣＴＵ行の端での履歴ＭＶよりさらに互いに関連（ｃｏ−ｒｅｌａｔｅ）し得るためである。
− 前述したプロセスは繰り返され得る。
図３０は、本明細書の実施例にかかるＨＭＶＰ ＬＵＴ、及びロングタームＨＭＶＰ ＬＵＴを例示する図である。
図３０を参照すると、エンコーダ／デコーダは、ＨＭＶＰ候補を保存するための２つのＬＵＴを含み得る。このうちの１つは、ＨＭＶＰ ＬＵＴ（又は一般ＨＭＶＰ ＬＵＴ、ショートタームＨＭＶＰ ＬＵＴ）であり、もう１つは、ロングタームＨＭＶＰ ＬＵＴであり得る。ＨＭＶＰ候補は、マージ又はＡＭＶＰリストに全て追加される際、図３０に示すように、ＨＭＶＰ ＬＵＴ又はロングタームＬＵＴから追加され得る。
前述したロングタームＬＵＴの使用は、新しいシンタックスエレメントを用いてシグナリングされ得る。実施例として、前記シンタックスエレメントは、上位レベルのシンタックスを介してシグナリングされ得る。例えば、シンタックスエレメントは、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）及び／又は他のシンタックスデータヘッダに存在し得る。
また、本明細書の一実施例で、ＨＭＶＰ候補をＨＭＶＰ ＬＵＴに追加するにあたって、デコーディングのための柔軟性（ｆｌｅｘｉｂｉｌｉｔｙ）を考慮する方法を提案する。エンコーダ／デコーダは、ＨＭＶＰ候補をテーブルに追加するにあたって、ＰＵ（又はＣＵ）の１つ又はそれ以上の特性に対する決定（ｄｅｃｉｓｉｏｎ）の基準を考慮し得る。
実施例として、エンコーダ／デコーダは、ＨＭＶＰ候補をテーブルに追加するにあたって、次のような事項を考慮し得る。エンコーダ／デコーダは、ＰＵのモード（例えば、マージモード、アフィンモード、ＡＭＶＰモード等）及び／又はブロックのサイズのような特性を個別的に又は組み合わせて考慮して候補として追加し得る。一実施例で、これ以外に他の更なる特性が考慮されることもある。例えば、ＨＭＶＰ ＬＵＴのアップデートを考慮するマージタイプ（例えば、空間候補又は時間候補）、サブＰＵであるか否か等が、候補の選択基準として考慮され得る。前述した選択基準は、以前の履歴（又は、以前のＨＭＶＰ）との重複を減少させるために決定され得る。例えば、ＰＵがマージモードでコーディングされ、マージタイプが空間マージである場合、デコーダは、該当ＰＵの動き情報をＨＭＶＰ ＬＵＴにアップデートしなくてもよい。
図３１は、本明細書の実施例にかかるＨＭＶＰ ＬＵＴをアップデートする方法の一例を示す図である。
図３１を参照すると、エンコーダ／デコーダは、コーディングされた候補の動き情報を獲得する（Ｓ３１０１）。
エンコーダ／デコーダは、前記候補の動き情報をＬＵＴにアップデートするか否かを予め定義された決定の基準によって評価する（Ｓ３１０２）。前述したように、前記決定の基準は、前記候補のモード（例えば、マージモード、アフィンモード、ＡＭＶＰモード等）、前記候補のブロックサイズ及び／又は前記候補のマージタイプの少なくとも１つに関する特性を含み得る。
エンコーダ／デコーダは、前記決定の基準に基づいてＬＵＴをアップデートする（Ｓ４３０３）。即ち、前記候補が予め定義された決定の基準を満たす場合、エンコーダ／デコーダは、前記候補の動き情報をＬＵＴに追加し得る。
また、本明細書の一実施例で、ＨＭＶＰ候補をマージリスト（又はＡＭＶＰリスト）に追加するための重複性チェックに対する制限を提案する。重複性チェックに対する制限は、様々な方法で定義（又は実現）され得る。
一実施例で、エンコーダ／デコーダは、マージリスト内の最初の特定数の候補に対するプルーニングチェックの数を制限し得る。実施例として、エンコーダ／デコーダは、マージリストの一番目の候補から特定数番目の候補までの候補に対するプルーニングチェックの数を制限し得る。例えば、エンコーダ／デコーダは、マージリストの一番目の候補から特定数番目の候補までの候補に対するプルーニングプロセスを行うことができる。また、プルーニングチェックの対象になるＨＭＶＰ候補は、予め定義された数に制限され得る。
また、一実施例で、エンコーダ／デコーダは、プルーニングチェックをマージリスト内のマージ候補の特定タイプに対して行うことによって、プルーニングチェックを制限し得る。例えば、エンコーダ／デコーダは、ＨＭＶＰ候補を追加するにあたって、マージリストの空間候補に対してのみプルーニングチェックを行うことができる。或いは、例えば、エンコーダ／デコーダは、ＨＭＶＰ候補を追加するにあたって、マージリストの空間候補の一部に対してのみプルーニングチェックを行うことができる。前記空間候補の一部は、予め定義され得る。例えば、前記予め定義される空間候補の一部は、左側の隣接空間候補及び／又は上側の隣接空間候補の少なくとも１つであってもよい。或いは、例えば、エンコーダ／デコーダは、ＨＭＶＰ候補を追加するにあたって、マージリストの空間候補の一部に対してのみプルーニングチェックを行うことができ、前記空間候補の一部は、左側及び上側に予め定義され得る。前述した例示により、本明細書の実施例がこれに制限されるわけではなく、様々なタイプのマージ候補が組み合わされ、プルーニングチェックの対象に制限され得る。
図３２は、本明細書の実施例にかかるプルーニングチェックの対象になるＨＭＶＰ候補の数を制限する方法を例示する図である。
図３２を参照すると、本明細書の一実施例で、プルーニングチェックの対象になるＨＭＶＰ候補の数は、Ｍ個に制限され得る。エンコーダ／デコーダは、ＨＭＶＰ候補を用いてマージリストを構成するにあたって、ＨＭＶＰ ＬＵＴ内のＭ個の候補と前記マージリストのマージ候補間の動き情報の重複性可否をチェックすることができる。
或いは、エンコーダ／デコーダは、現在デコーディングされた処理ブロック（例えば、ＰＵ）の動き情報をＨＭＶＰ ＬＵＴに追加するにあたって、ＨＭＶＰ ＬＵＴ内のＭ個の候補と前記デコーディングされたＰＵの動き情報間の重複性可否をチェックできる。
図３３は、本明細書の実施例にかかるプルーニングチェックの実行方法の一例を示すフローチャートである。
図３３を参照すると、エンコーダ／デコーダは、デコーディングされた候補の動き情報を獲得し、プルーニングチェックの数を決定（又は解読）する（Ｓ３３０１、Ｓ３３０２）。前記プルーニングチェックの数は、前記で説明した（例えば、図３２で説明した）方法によって、エンコーダ／デコーダに予め定義され得る。エンコーダ／デコーダは、決定されたプルーニングチェックの数に基づいて、プルーニングチェックを行う（Ｓ４５０３）。
一実施例で、前記表３及び表４と同様の方法で、プルーニングチェックに関する情報は、上位レベルのシンタックスを介してシグナリングされ得る。この際、エンコーダからデコーダへ送信されるシンタックスエレメントは、プルーニングチェックの数を指示するために、特定の上位レベルのシンタックスを介してシグナリングされ得る。前記上位レベルのシンタックスは、例えば、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）及び／又は他のシンタックスデータヘッダに含まれ得る。
本明細書の一実施例で、ＨＭＶＰ候補を選択する効率的な方法を提案する。履歴動きベクトル候補（即ち、ＨＭＶＰ候補）をマージリスト（又はＡＭＶＰリスト）に挿入する際、ＨＭＶＰ候補は、既存のマージリストと重複しないようにするために、プルーニングチェックが行われ得る。この際、Ｍの大きさのマージリストとＮの大きさの履歴ＬＵＴ間の全体の重複チェックを行うためには、（Ｍ−１）ｘＮ回のチェックを必要とする。
したがって、本明細書の実施例で、ＨＭＶＰ候補の数はマージ候補に依存し得る。例えば、ＨＭＶＰ候補の数は、マージリストに存在する空間候補の数に依存し得る。或いは、例えば、ＨＭＶＰ候補の数は、マージリストに存在する空間候補及び時間候補の数に依存し得る。
もし、マージリストに存在するマージ候補がさらに存在する場合、マージリストのマージ候補の数及び／又はＨＭＶＰの数に基づく特定の基準（又は規則）に従って、プルーニングチェックを行うＨＭＶＰ候補の数が減少し得る。これを通じて、最悪のケースでの重複チェックの数が減ることがある。
例えば、大きさ（又は長さ）が６であるマージリストの場合、マージリストが満たされなければ、マージリストは、最大５個の空間又は他のマージ候補を含み得る。６個のＨＭＶＰリストでＨＭＶＰ候補を挿入するためには、最悪の場合、３０個の重複チェックが必要であるかもしれない。
一実施例で、プルーニングチェックの対象になるＨＭＶＰの数に対する制限に関する例示は、次の数式１７及び表５の通りである。
表５を参照すると、プルーニングチェックの対象になるＨＭＶＰの数を２つに制限することによって、最悪のケースで、ＨＭＶＰの追加のための重複チェックの数は、３０回の代わりに１２回と減少し得る。
本明細書の一実施例で、履歴ベース空間時間動きベクトル予測（ｈｉｓｔｏｒｙ−ｂａｓｅｄ ｓｐａｔｉａｌ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、Ｈ−ＳＴＭＶＰ）を使用してマージリストを構成する方法を提案する。Ｈ−ＳＴＭＶＰは、２つの履歴ベース空間ＭＶＰ、及びＴＭＶＰの平均に誘導される候補を表す。前記２つの空間ＨＭＶＰは、ＨＭＶＰバッファから獲得され得、前記ＴＭＶＰは、現在のマージリストから獲得され得る。ここで、前記空間候補は、現在ブロックの以前のデコーディング順序で最後の２つのコーディングされたＭＶから獲得された候補であり得る。
例えば、最後にコーディングされたＭＶ（本明細書でＭＶ＿Ｌと称する）、最後から二番目にコーディングされたＭＶ（本明細書でＭＶ＿（Ｌ−１）と称する）、及びＭＶ＿ＴＭＶＰは、マージリストに挿入されるＨ−ＳＴＭＶＰ候補を生成するのに使用され得る。
前述した３つの候補を全て使用できる場合、マージリストに追加されるＭＶは、次の数式１８により計算され得る。
一実施例として、仮に、前述した３つの候補のうち２つのみが利用可能であれば、２つの候補に対してのみ平均化され、Ｈ−ＳＴＭＶＰが生成され得る。同様に、１つの候補のみ使用可能であれば、前記１つの候補のみ使用され得る。使用可能な候補がない場合、Ｈ−ＳＴＭＶＰは、マージリストの構成に使用されなくてもよい。
本明細書の一実施例で、前述した数式１８以外に他の方法を利用し、Ｈ−ＳＴＭＶＰ候補の動きベクトルを獲得する方法を提案する。
例えば、３つ以上の候補を一度に平均化する代わりに、空間候補を先に平均化した後、この結果を使用して２つの候補を再度平均化することが計算的にさらに簡単であるかもしれない。これに対する例示は、次の数式の通りである。
又は、次のように平均値を獲得することもできる。
エンコーダ／デコーダは、数式１９乃至２１のように、まず、２つの候補を平均し、三番目の候補を用いて結果値を最終的に平均化できる。又は、エンコーダ／デコーダは、数式２２のように、２だけシフト演算を適用することによって、候補、即ち、ＭＶ＿Ｌにさらに高い重要度／加重値を付与し得る。前述した数式１９乃至２２を使用し、シフト演算だけで割り算の演算なしで平均値を誘導し得る。
本明細書の一実施例で、Ｈ−ＳＴＭＶＰを誘導するにあたって、２つの履歴ベース空間候補の代わりに、任意の数（ｎ）の空間候補を使用する方法を提案する。これらのｎ個の候補は、必ずしも連続的なデコーディング順序である必要はない。任意に、又は一部の規則に従って選択できる。
従って、前記で説明した数式１８は、次の数式２３のようにより一般的な方式で表現され得る。
別の一実施例で、もし、５つの空間候補を使用する場合を仮定すると、時間候補に適用される加重値を向上させることによって、Ｈ−ＳＴＭＶＰ候補を生成するために増加した空間候補の影響を最小化し、空間候補及び時間候補を適切に反映することができる。
従って、このために次の数式２４を用いて空間候補を共に平均した後、その結果を使用してＭＶ＿ＴＭＶＰを平均化することによって、前述した目的を達成することができる。
本明細書の一実施例で、Ｈ−ＳＴＭＶＰを誘導するために用いられる動きベクトル候補に加重値（又は加重因子）を追加する方法を提案する。この際、前記加重値は、経験的に決定されることもあり、固定された参照フレームまでの時間距離を考慮して決定されることもあり、又は履歴テーブルでの位置を考慮することによって決定されることもある。一例として、新しい候補は、以前の候補よりさらに多くの加重値を有し得る。
即ち、本実施例で、前記で説明した数式１８は、次の数式２５のように表現され得る。
この際、加重値は、同じ値を有してもよく、不均等に分散された値を有してもよい。
本明細書の一実施例で、Ｈ−ＳＴＭＶＰ候補を誘導するために使用される動きベクトルを単一参照ピクチャにスケーリングする方法を提案する。
図３４は、本明細書の一実施例にかかる互いに異なる参照ピクチャを参照する動きベクトルを用いて、Ｈ−ＳＴＭＶＰ候補を誘導する方法を説明するための図である。
図３４を参照すると、ＭＶ＿Ｌ、ＭＶ＿Ｌ−１、及びＭＶ＿ＴＭＶＰ候補は、それぞれ互いに異なる参照ピクチャを参照（又は指示）する場合を仮定する。即ち、図３４は、Ｈ−ＳＴＭＶＰ候補を生成するのに使用された各候補が異なる参照インデックスを有し得、結果として、異なる参照フレームを有し得ることを示す。
近接の参照フレームのあるフレームが、本質的にＨ−ＳＴＭＶＰの動きベクトルにさらに大きな影響を与え得るので、前述した数式１８乃至２５の平均を不均等な結果値にし得る。従って、均等な比較及び反映のために、全ての動きベクトルを単一参照フレームにスケーリングする方法を提案する。
この際、エンコーダでＲＤの最適化の一部として行われ、どの単一フレームが参照フレームに使用するのに最適であるかを決定し得る。実施例として、選択された参照フレームは、スライスヘッダに存在するＴＭＶＰ配列インデックスと類似のスライスヘッダでシグナリングされ得る。例えば、固定された規則を使用し、使用される参照フレームを生成することが可能である。或いは、例えば、Ｌ０から一番目に利用可能な基準フレームにスケーリングされるか、現在ピクチャの順序のカウントにスケーリングされ得る。
一実施例で、前述した目的を達成するために、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、コーディングツリーユニット及び／又は他のデータヘッダの一部であり得る上位レベルのシンタックス（ＨＬＳ）を用いて、単一の固定されたピクチャに対する情報をエンコーダがデコーダへ送信し得る。例えば、次の表６及び／又は表７のような上位レベルのシンタックス構造が定義され得る。
表６を参照すると、ｓｅｔ＿ＨＳＴＭＶＰ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが１と同一であると、ｓｅｔ＿ＨＳＴＭＶＰ＿ｉｄｘがＣＶＳで非ＩＤＲピクチャのスライスヘッダに存在することを示す。ｓｅｔ＿ＨＳＴＭＶＰ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが０であると、ｓｅｔ＿ＨＳＴＭＶＰ＿ｉｄｘがスライスヘッダに存在しないように示す。
表７を参照すると、ｓｌｉｃｅ＿ＨＭＶＰ＿ｉｄｘは、参照インデックスを指定する。一実施例として、参照インデックスは、リストＬ０に対して選択され得る。
本明細書の実施例で、前記で説明した実施例に関して、より詳細な実施例を説明する。具体的に、現在ブロックのＣＰＭＶを計算（又は誘導）するために、位置及び次元情報を使用してアフィンＨＭＶＰ候補を間接的に使用する方法を提案する。本明細書で、誘導されたＣＰＭＶは、相続されたアフィンＨＭＶＰ候補と称され得る。本明細書の実施例にかかる相続されたアフィンＨＭＶＰ候補は、前述したアフィンマージリスト及び／又はアフィンＡＭＶＰリストの生成プロセスで使用され得る。
図３５は、本明細書の実施例にかかる相続されたアフィンＨＭＶＰ候補を誘導するためのブロックの位置を例示する図である。
図３５を参照すると、アフィンＨＭＶＰ候補の位置及び次元に基づいて、現在ブロック３５０１のＣＰＭＶは、一般的な相続されたＣＰＭＶを周辺ブロックから誘導する方法と類似の方法で誘導され得る。即ち、エンコーダ／デコーダは、アフィンＨＭＶＰ候補である参照ブロック３５０２の位置及び次元（例えば、幅及び高さ）の情報に基づいて、現在ブロック３５０１の制御点の動きベクトルを誘導し得る。
一実施例として、現在ブロックの相続されたアフィンＨＭＶＰのＣＰＭＶは、次の数式２６及び２７を用いて誘導され得る。
数式２６及び２７で、ｐｏｓＣｕｒＣＵ＿Ｙは、現在ブロック３５０１の左上段のサンプルの垂直方向の座標値を表し、ｐｏｓＲｅｆＣＵ＿Ｙは、参照ブロック３５０２の左上段のサンプルの垂直方向の座標値を表す。ｐｏｓＣｕｒＣＵ＿Ｘは、現在ブロック３５０１の左上段のサンプルの水平方向の座標値を表し、ｐｏｓＲｅｆＣＵ＿Ｘは、参照ブロック３５０２の左上段のサンプルの水平方向の座標値を表す。ＲｅｆＣＵ＿ｈｅｉｇｈｔは、参照ブロック３５０２の高さを表し、ＲｅｆＣＵ＿ｗｉｄｔｈは、参照ブロック３５０２の幅を表す。
本明細書の一実施例で、アフィンＨＭＶＰ候補（直接又は相続されたＨＭＶＰ）を追加する際、アフィンマージ又はアフィンＡＭＶＰリストの生成に使用され得るアフィンＨＭＶＰ候補を選択するように制限事項が追加され得る。
一例として、アフィンＨＭＶＰ候補は、前記アフィンＨＭＶＰ候補が現在ブロックに隣接する場合にのみ、アフィンマージ又はアフィンＡＭＶＰリストに追加され得る。
別の一例として、アフィンＨＭＶＰ候補は、前記アフィンＨＭＶＰ候補が現在ブロックから特定の距離内に位置（又は存在）する場合にのみ、アフィンマージ又はアフィンＡＭＶＰリストに追加され得る。例えば、前記特定の距離は、予め定義されたピクセル距離であり得る。エンコーダ／デコーダは、アフィンＨＭＶＰ候補が利用可能であるか判断するために、前記アフィンＨＭＶＰ候補が予め定義された特定の距離内に位置するか否かを判断（又は決定）できる。
別の一例として、アフィンＨＭＶＰ候補は、現在ブロックを基準に特定の位置に位置（又は存在）する場合にのみ、アフィンマージ又はアフィンＡＭＶＰリストに追加され得る。例えば、前記特定の位置に存在する場合は、前記アフィンＨＭＶＰ候補が現在ブロックの左側又は上側の隣接ブロックの場合であり得る。
Ｎ個のエレメントを有するアフィンＨＭＶＰ ＬＵＴに対して、全てのエレメント又は最初のＭ個のエレメントに対する前述した確認プロセスが、マージ又はＡＭＶＰリストが満たされるまで、若しくは予め定義された特定のＨＭＶＰ候補の数に到達するまで行われ得る。
本明細書の一実施例で、アフィンＨＭＶＰ候補は、アフィンマージリスト及び／又はアフィンＡＭＶＰリストで既存に存在する相続されたアフィン候補を代替するのに使用する方法を提案する。
図３６は、本明細書の実施例にかかるアフィンマージリスト又はアフィンＡＭＶＰリストを例示する図である。
図３６を参照すると、エンコーダ／デコーダは、既存のアフィンマージリスト又はアフィンＡＭＶＰリストに存在する相続された候補を相続されたアフィンＨＭＶＰ候補に代替することができる。即ち、エンコーダ／デコーダは、現在ブロックにサブブロックベースのマージモードが適用される場合、相続されたアフィン候補、及び構成されたアフィン候補を用いてサブブロックベースのマージ候補リストを生成し、相続されたアフィンＨＭＶＰ候補を誘導し、前記サブブロックベースのマージ候補リストに含まれた少なくとも１つの相続されたアフィン候補を相続されたアフィンＨＭＶＰ候補に代替することができる。
また、本発明の一実施例で、アフィンＨＭＶＰのルックアップテーブル（ＬＵＴ）は、スライス、ＣＴＵ行（ｒｏｗ）、又はＣＴＵの開始で初期化され得る。これを介して、並列処理の遂行性を向上させることができる。
以下、後述する実施例では、ＨＭＶＰからの最悪のプルーニングチェック（ｐｒｕｎｉｎｇ ｃｈｅｃｋ）の数を減少させるための方法を提案する。
本明細書の実施例で、ＨＭＶＰ候補がマージリストに追加される場合、プルーニングチェックの数は、マージリスト内の利用可能な候補の数、及びマージリストに追加され得るＨＭＶＰ候補の数に基づいて決定され得る。以下で、本明細書の実施例を説明するにあたって、説明の便宜のために下記のように変数を定義して説明する。
− ＮＳＴ：マージリスト内利用可能な（又は存在する）候補の数
− ＮＨＭＶＰ：テーブル内ＨＭＶＰ候補の数（即ち、ＨＭＶＰテーブルの大きさ）
− ＮｍｒｇＴｏＢｅＡｄｄｅｄ：マージリストに追加されるＨＭＶＰ候補の数
− ＮＨＭＶＰＣｈｅｃｋｅｄ：プルーニングチェックされるＨＭＶＰ候補の数
− Ｎｍａｘ＿ｈｍｖｐ＿ｐｒｕｎｎｉｎｇ：ＨＭＶＰ候補をマージリストに追加するために要求される最悪の場合のプルーニングチェックの数
本明細書の一実施例で、ＨＭＶＰ候補は、次の条件によってマージリストに追加され得る。
− 第１の条件：ＬＵＴは、以前にプルーニングされた場合（即ち、ＨＭＶＰ ＬＵＴ内候補間に同一のｍｖはない場合）
− 第２の条件：ＨＭＶＰ ＬＵＴテーブルの大きさが６である場合
− 第３の条件：ＨＭＶＰ候補をマージリストに追加するために利用可能な（又は存在する）マージ候補の最大の数が４である場合。即ち、最大のマージリストの大きさ（又は最大のマージ候補）から１を減算した値よりもマージリスト内のマージ候補の数が小さい場合。例えば、最大のマージリストの大きさは６であってもよく、現在利用可能なマージ候補の数が５より小さい場合、ＨＭＶＰ候補を追加（又は挿入）し得る。言い換えると、ＨＭＶＰ候補は、マージリストのインデックス５までのみ追加され得る。
ＨＭＶＰ候補がマージリストに追加されると（即ち、マージ候補になると）、各ＨＭＶＰ候補は、マージ候補間の重複を除去するためにプルーニングチェックが必要なことがある。既存の映像圧縮技術によると、マージリストにＨＭＶＰを追加するために必要な最悪の（又は最悪の場合の）プルーニングチェックの数は、次の表８のように計算され得る。
表８を参照すると、既存の映像圧縮技術によると、ＨＭＶＰテーブル（又はＨＭＶＰリスト、ＨＭＶＰ候補リスト）内６つのＨＭＶＰ候補に対してプルーニングチェックが行われ得る。
具体的に、１）マージリスト内の候補が１つである場合、マージリストに追加されるＨＭＶＰ候補は４つであってもよい。また、６つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は４であってもよい。２）マージリスト内の候補が２つである場合、マージリストに追加されるＨＭＶＰ候補は３つであってもよい。また、６つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は７であってもよい。３）マージリスト内の候補が３つである場合、マージリストに追加されるＨＭＶＰ候補は２つであってもよい。また、６つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は９であってもよい。４）マージリスト内の候補が４つである場合、マージリストに追加されるＨＭＶＰ候補は１つであってもよい。また、６つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は１０であってもよい。
本明細書の実施例で、前記で説明した最悪のプルーニングチェックの数を減らすための方法を提案する。もし、マージリストにマージ候補がより多く存在する場合、マージ候補（即ち、非ＨＭＶＰ候補）が増加するのに伴って、ＨＭＶＰのコーディング影響が減少するため、プルーニングチェックするＨＭＶＰ候補の数が減少する必要があり得る。従って、本明細書の実施例で、エンコーダ／デコーダは、最悪のプルーニングチェックを減らすために、チェックされるＨＭＶＰ候補の数（ＮＨＭＶＰＣｈｅｃｋｅｄ）を、追加される利用可能なＨＭＶＰ候補の数（ＮｍｒｇＴｏＢｅＡｄｄｅｄ）と同じように設定され得る。この場合、最悪のプルーニングチェックの数は、次の表９のように計算され得る。
表９を参照すると、従来の映像圧縮技術と比較した際、ＨＭＶＰのための最悪のプルーニングチェックの数は、１０つから６つに減り得る。
表９を参照すると、一実施例で、１）マージリスト内の候補が１つである場合、マージリストに追加されるＨＭＶＰ候補は４つであってもよい。また、４つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は４であってもよい。２）マージリスト内の候補が２つである場合、マージリストに追加されるＨＭＶＰ候補は３つであってもよい。また、３つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は６であってもよい。３）マージリスト内の候補が３つである場合、マージリストに追加されるＨＭＶＰ候補は２つであってもよい。また、２つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は６であってもよい。４）マージリスト内の候補が４つである場合、マージリストに追加されるＨＭＶＰ候補は１つであってもよい。また、１つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は４であってもよい。
本明細書の実施例で、最悪のプルーニングチェックを減らすために、エンコーダ／デコーダは、プルーニングチェックされるＨＭＶＰ候補の数（ＮＨＭＶＰＣｈｅｃｋｅｄ）を、追加される利用可能なＨＭＶＰ候補の数（ＮｍｒｇＴｏＢｅＡｄｄｅｄ）とＫの和が同じ値に設定し得る。ここで、Ｋは、予め定義された定数値を表す。一例として、Ｋが１である場合、最悪のプルーニングチェックの数は、次の表１０のように計算され得る。
表１０を参照すると、一実施例で、１）マージリスト内の候補が１つである場合、マージリストに追加されるＨＭＶＰ候補は４つであってもよい。また、５つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は４であってもよい。２）マージリスト内の候補が２つである場合、マージリストに追加されるＨＭＶＰ候補は３つであってもよい。また、４つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は７であってもよい。３）マージリスト内の候補が３つである場合、マージリストに追加されるＨＭＶＰ候補は２つであってもよい。また、３つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は８であってもよい。４）マージリスト内の候補が４つである場合、マージリストに追加されるＨＭＶＰ候補は１つであってもよい。また、２つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は７であってもよい。
本明細書の実施例で、最悪の場合、プルーニングチェックを減少させるために、チェックされるＨＭＶＰ候補の数（ＮＨＭＶＰＣｈｅｃｋｅｄ）は、次の数式２８のように定義され得る。
数式２８で、Ｃは、予め定義された定数値を表す。もし、Ｃが２である場合、最悪のプルーニングチェックの数は、次の表１１のように計算され得る。
表１１を参照すると、一実施例で、１）マージリスト内の候補が１つである場合、 マージリストに追加されるＨＭＶＰ候補は４つであってもよい。また、６つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は４であってもよい。２）マージリスト内の候補が２つである場合、マージリストに追加されるＨＭＶＰ候補は３つであってもよい。また、６つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は７であってもよい。３）マージリスト内の候補が３つである場合、マージリストに追加されるＨＭＶＰ候補は２つであってもよい。また、４つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は９であってもよい。４）マージリスト内の候補が４つである場合、マージリストに追加されるＨＭＶＰ候補は、１つであってもよい。また、２つのＨＭＶＰ候補に対するプルーニングチェックが行われ得る。この場合、最悪のプルーニングチェックの数は７であってもよい。
ＨＭＶＰがマージリスト及び／又はＡＭＶＰリストの構成に追加される場合、マージリスト及び／又はＡＭＶＰリスト内に存在する候補との重複を避けるために、プルーニングが再度行われる必要性がある。もし、ＨＭＶＰ ＬＵＴが前記図２９で説明したように、制限的ＦＩＦＯ動作により既にプルーニングされた場合、ＨＭＶＰ候補をマージリストに挿入（又は追加）する際、ＨＭＶＰ候補の間で比較（又はプルーニングチェック）は必要ではないかもしれない。これによって、前記図２８で説明したような非制限的ＦＩＦＯテーブルを使用する場合に比べてプルーニングチェックの数を減ることができる。何故なら、ＨＭＶＰ候補間のプルーニングチェックは、ＨＭＶＰ候補をマージリストに挿入する際に必要なためである。前述したように、本明細書で、ＨＭＶＰ ＬＵＴはその名称に制限されず、ＬＵＴ、テーブル、ＨＭＶＰテーブル、ＨＭＶＰ候補テーブル、バッファ、ＨＭＶＰバッファ、ＨＭＶＰ候補バッファ、ＨＭＶＰリスト、ＨＭＶＰ候補リスト、ＨＭＶＰマージ候補リスト、履歴ベースマージ候補リスト等と称される。
本明細書の一実施例で、マージリスト及び／又はＡＭＶＰリストの構成のためのＨＭＶＰ候補の挿入プロセスを考慮したＨＭＶＰルックアップテーブル（ＬＵＴ）の大きさを定義し得る。具体的に、ＨＭＶＰ候補は、予め定義されたマージリストの大きさまで追加され得る。例えば、最大のマージリストの大きさが６で定義された場合、 ＨＭＶＰは、６番目の候補にならなくてもよい。もし、マージリストに５つのマージ候補が利用可能な（又は存在する）場合、ＨＭＶＰ候補は追加されなくてもよい。この場合、６番目の候補は、ＨＭＶＰを除いた候補（又はこれ以外の異なる方法）から選択され得る。従って、前述したＨＭＶＰ候補の挿入プロセスを考慮すると、本明細書の一実施例で、次のようなＨＭＶＰ ＬＵＴの大きさの選択方法を提案する。
一実施例として、ＨＭＶＰ ＬＵＴテーブルの大きさは、（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ - Ｋ）と同じように定義（又は設定）され得る。ここで、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、最大のマージ候補リスト（又はマージ候補リストの最大の数、最大のマージ候補の数）を表し、この際、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、６で定義され得る。Ｋは、予め定義された定数を表す。例えば、Ｋは１であってもよく、この際、ＨＭＶＰ ＬＵＴの大きさは５であってもよい。
本明細書の実施例にかかると、ＨＭＶＰをＭａｘＮｕｍＭｅｒｇｅＣａｎｄ - Ｋ（前述したように、例えば、Ｋは１）に制限することによって、ＨＭＶＰをマージリスト及び／又はＨＭＶＰテーブルに追加する際、最悪の（又は最悪の場合の）プルーニングチェックの数を減り得る（前記図２９で説明した制限されたＦＩＦＯ動作）。また、本発明の実施例にかかると、ＨＭＶＰ ＬＵＴの保存のためのメモリが減少し得る。
本明細書の実施例で、前述したＨＭＶＰテーブルの大きさを考慮し、ＨＭＶＰ動き候補を有するテーブルに対して、以下で説明する実施例のようなアップデートプロセスが適用され得る。以下の実施例は、ＨＭＶＰテーブルのアップデートプロセスの一例であって、本明細書の実施例がこれに限定されるわけではない。
ＨＭＶＰテーブルのアップデートプロセス
まず、ＨＭＶＰテーブルのアップデートプロセスの入力は、次のように定義され得る。
− 動きベクトルｍｖＬ０及びｍｖＬ１
− 参照インデックスｒｅｆＩｄｘＬ０及びｒｅｆＩｄｘＬ１
− 予測リスト活用フラグのｐｒｅｄＦｌａｇＬ０及びｐｒｅｄＦｌａｇＬ１
本アップデートプロセスの出力は、ＨＭＶＰ候補リストの修正された配列であってもよい。本プロセスで、ｍｖＣａｎｄは、前記動きベクトル、前記参照インデックス、前記予測リスト活用フラグを有する動きベクトル候補を指称する変数を表す。
本アップデートプロセスは、次のような段階で行われ得る。
１．変数ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔは、偽（ｆａｌｓｅ）に設定され、変数ｔｅｍｐＩｄｘは、０に設定される。ここで、ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔは、ＨＭＶＰ候補リストに同一の動き情報が存在するか表す変数であり、ｔｅｍｐＩｄｘは、現在の動きベクトルとＨＭＶＰ候補リスト内で同一の動き情報を有するＨＭＶＰ候補のインデックスを表す変数である。
２．ＨＭＶＰＣａｎｄＮｕｍが０より大きい場合、ＨＭＶＰＩｄｘ＝０．．ＨＭＶＰＣａｎｄＮｕｍ-１であるそれぞれのインデックスＨＭＶＰＩｄｘに対して、ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔの変数が真（ｔｒｕｅ）になるまで次の段階が適用され得る。ここで、ＨＭＶＰＣａｎｄＮｕｍは、ＨＭＶＰ候補リストのＨＭＶＰ候補の数を表し、ＨＭＶＰＩｄｘは、ＨＭＶＰ候補リスト内のＨＭＶＰ候補に割り当てられたインデックスを表す。
− 仮に、ｍｖＣａｎｄがＨＭＶＰＣａｎｄＬｉｓｔ［ＨＭＶＰＩｄｘ］（即ち、ＨＭＶＰ候補リスト内のＨＭＶＰＩｄｘを有するＨＭＶＰ候補）と同一の動きベクトル及び同一の参照インデックスを有する場合、ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔは真に設定され、ｔｅｍｐＩｄｘは、ＨＭＶＰＩｄｘに設定され得る。
３．また、ＨＭＶＰ候補リストは、次の段階によってアップデートされ得る。
（１）仮に、ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔが真であるか、又はＨＭＶＰＣａｎｄＮｕｍがＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋである場合（と同一である場合）、以下の段階が適用され得る。ここで、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄはマージリスト（又はマージ候補リスト）の大きさ（又はマージリストの最大候補の数、最大のマージ候補の数）を表す変数であり、Ｋは、任意の定数である。一実施例で、Ｋは、予め定義され得る。また、一実施例で、Ｋは１に設定され得、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ値が６に定義されることによって、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋは、５であってもよい。また、一実施例で、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋは５に設定され得る。例えば、ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔが真であるか、又はＨＭＶＰＣａｎｄＮｕｍが５である場合、以下の段階が適用され得る。
− ｉｄｘ＝（ｔｅｍｐＩｄｘ＋１）．．（ＨＭＶＰＣａｎｄＮｕｍ-１）であるそれぞれのインデックスｉｄｘに対して、ＨＭＶＰＣａｎｄＬｉｓｔ［ｉｄｘ−１］は、ＨＭＶＰＣａｎｄＬｉｓｔ［ｉｄｘ］に設定され得る。即ち、ｔｅｍｐＩｄｘ以降のインデックスを有するＨＭＶＰ候補のインデックスは、その値が１だけ減った値に設定され得る。
− ＨＭＶＰＣａｎｄＬｉｓｔ［ＨＭＶＰＣａｎｄＮｕｍ-１］は、ｍｖＣａｎｄに設定され得る。
（２）そうでなければ（即ち、ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔは偽であり、ＨＭＶＰＣａｎｄＮｕｍがＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋより小さい場合）、以下の段階が適用され得る。前述したように、一実施例で、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋは、５に設定され得る。例えば、そうでなければ（即ち、ｉｄｅｎｔｉｃａｌＣａｎｄＥｘｉｓｔは偽であり、ＨＭＶＰＣａｎｄＮｕｍが５より小さい場合）、以下の段階が適用され得る。
− ＨＭＶＰＣａｎｄＬｉｓｔ［ＨＭＶＰＣａｎｄＮｕｍ＋＋］は、ｍｖＣａｎｄに設定され得る。
一例として、本アップデートプロセスは、現在のスライスがＰ又はＢスライスである際に呼び出され得る。この際、変数ＨＭＶＰＣａｎｄＮｕｍは０に設定され、変数ＨＭＶＰＣａｎｄＬｉｓｔはＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋのエレメント配列で定義され得る。前述したように、一実施例で、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋは５に設定され得る。例えば、この際、変数ＨＭＶＰＣａｎｄＮｕｍは０に設定され、変数ＨＭＶＰＣａｎｄＬｉｓｔは５のエレメント配列で定義され得る。
以下では、ＨＭＶＰテーブルのアップデートプロセスの別の一例を説明する。
まず、本アップデートプロセスの入力は、次のように定義され得る。
− 動きベクトルｍｖＬ０及びｍｖＬ１
− 参照インデックスｒｅｆＩｄｘＬ０及びｒｅｆＩｄｘＬ１
− 予測リスト活用フラグｐｒｅｄＦｌａｇＬ０及びｐｒｅｄＦｌａｇＬ１
本アップデートプロセスの出力は、ＨＭＶＰ候補リストの修正された配列であってもよい。本プロセスで、ｍｖＣａｎｄは、前記動きベクトル、前記参照インデックス、前記予測リスト活用フラグを有する動きベクトル候補を指称する変数を表す。
本アップデートプロセスは、次のような段階で行われ得る。
１．ＨＭＶＰＩｄｘ＝０．．ＨＭＶＰＣａｎｄＮｕｍ−１であるそれぞれのインデックスＨＭＶＰＩｄｘに対して、変数ｓａｍｅＣａｎｄが真（ｔｒｕｅ）になるまで次の段階が順通り適用され得る。ここで、ｓａｍｅＣａｎｄは、ＨＭＶＰ候補リストに同一の動き情報が存在するか表す変数である。
− 仮に、ｍｖＣａｎｄがＨＭＶＰＣａｎｄＬｉｓｔ［ＨＭＶＰＩｄｘ］と同一の動きベクトル及び同一の参照インデックスを有する場合、ｓａｍｅＣａｎｄは真に設定される。
− そうでなければ、ｓａｍｅＣａｎｄは、偽（ｆａｌｓｅ）に設定される。
− ＨＭＶＰＩｄｘ＋＋（即ち、ＨＭＶＰＩｄｘは、１だけ増加する）
２．変数ｔｅｍｐＩｄｘは、ＨＭＶＰＣａｎｄＮｕｍに設定される。
３．ｓａｍｅＣａｎｄが真であるか、又はＨＭＶＰＣａｎｄＮｕｍがＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋである場合、ｔｅｍｐＩｄｘ＝（ｓａｍｅＣａｎｄ？ ＨＭＶＰＩｄｘ：１）．．ＨＭＶＰＣａｎｄＮｕｍ−１であるそれぞれのインデックスｔｅｍｐＩｄｘに対して、ＨＭＶＰＣａｎｄＬｉｓｔ［ｔｅｍｐＩｄｘ］は、ＨＭＶＰＣａｎｄＬｉｓｔ［ｔｅｍｐＩｄｘ−１］に複写（又は設定）される。Ｋは、任意の定数である。一実施例で、Ｋは、予め定義され得る。また、一実施例で、Ｋは１に設定され得、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ値が６で定義されることによって、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋは５であってもよい。また、一実施例で、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋは５に設定され得る。
４．ｍｖＣａｎｄは、ＨＭＶＰＣａｎｄＬｉｓｔ［ｔｅｍｐＩｄｘ］に複写される。
５．ＨＭＶＰＣａｎｄＮｕｍがＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋより小さいと、ＨＭＶＰＣａｎｄＮｕｍは１ずつ増加する。前述したように、一実施例で、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ-Ｋは５に設定され得る。
以上で説明した本明細書の実施例は、説明の便宜上、それぞれの実施例を区分して説明したが、本発明がこれに制限されるわけではない。即ち、前記で説明した実施例はそれぞれ独立に行われてもよく、１つ以上の様々な実施例が組み合わされて行われてもよい。
図３７を参照すると、説明の便宜のためにデコーダを中心に説明するが、本発明がこれに限定されるわけではなく、本明細書の実施例にかかる履歴ベース動きベクトル予測ベースのビデオ信号処理方法は、エンコーダとデコーダで同様に行われ得る。
デコーダは、履歴ベース動きベクトル予測に基づいてビデオ信号を処理する方法において、現在ブロックの隣接ブロックに基づいてマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成する（Ｓ３７０１）。
デコーダは、前記マージ候補リストに含まれたマージ候補の数が予め定義された第１の大きさより小さい場合、前記現在ブロックの履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を前記マージ候補リストに追加する（Ｓ３７０２）。
デコーダは、前記マージ候補リストに含まれたマージ候補の数が、予め定義された第２の大きさより小さい場合、前記マージリストにゼロ動きベクトルを追加する（Ｓ３７０３）。
デコーダは、前記マージ候補リスト内で前記現在ブロックのインター予測に用いられるマージ候補を指示するマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を獲得する（Ｓ３７０４）。
デコーダは、前記マージインデックスにより指示されるマージ候補の動き情報に基づいて、前記現在ブロックの予測サンプルを生成する（Ｓ３７０５）。
デコーダは、前記動き情報に基づいて履歴ベースマージ候補リスト（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）をアップデートする（Ｓ３７０６）。
実施例として、前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち、予め定義されたマージ候補と重複しない動き情報を有する場合、 前記マージ候補リストに追加され得る。
前述したように、実施例として、前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数に基づいて決定される大きさを有するように定義され得る。
前述したように、実施例として、前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数から１を減算した値の大きさを有するように定義され得る。
前述したように、実施例として、前記履歴ベースマージ候補リストの大きさは、５で定義され得る。
前述したように、実施例として、前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち、予め定義された特定の数のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加され得る。
前述したように、実施例として、前記履歴ベースマージ候補は、前記マージ候補リストに含まれた特定の空間のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加され得る。
前述したように、実施例として、前記履歴ベースマージ候補は、前記履歴ベースマージ候補リスト内で予め定義された特定の数の候補から誘導され得る。
本発明で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ、又はチップ上で実現されて行われ得る。例えば、各図で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われ得る。
また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送の送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイムの通信装置、モバイルストリーミング装置、保存媒体、カムコーダ、オーダーメイドビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含み得る。
また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取られる記録媒体に保存され得る。本発明によるデータ構造を有するマルチメディアデータもまた、コンピュータが読み取られる記録媒体に保存され得る。前記コンピュータが読み取られる記録媒体は、コンピュータで読み取られるデータが保存される全ての種類の保存装置及び分散保存装置を含む。前記コンピュータが読み取られる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ保存装置を含み得る。また、前記コンピュータが読み取られる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で実現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に保存されるか、有無線通信ネットワークを介して送信され得る。
また、本発明の実施例は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本発明の実施例によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に保存されることができる。
本明細書が適用されるデコーディング装置及びエンコーディング装置は、デジタル機器（ｄｉｇｉｔａｌ ｄｅ−ｖｉｃｅ）に含まれ得る。「デジタル機器（ｄｉｇｉｔａｌ ｄｅｖｉｃｅ）」とは、例えば、データ、コンテンツ、サービス等を送信、受信、処理及び出力の少なくとも１つを実行可能な全てのデジタル機器を含む。ここで、デジタル機器がデータ、コンテンツ、サービス等を処理することは、データ、コンテンツ、サービス等をエンコーディング及び／又はデコーディングする動作を含む。このようなデジタル機器は、有／無線ネットワーク（ｗｉｒｅ／ｗｉｒｅｌｅｓｓ ｎｅｔｗｏｒｋ）を介して、他のデジタル機器、外部サーバ（ｅｘｔｅｒｎａｌ ｓｅｒｖｅｒ）等とペアリング又は連結（ｐａｉｒｉｎｇ ｏｒ ｃｏｎｎｅｃｔ−ｉｎｇ）（以下「ペアリング」）されてデータを送受信し、必要に応じて変換（ｃｏｎｖｅｒｔｉｎｇ）する。
デジタル機器は、例えば、ネットワークＴＶ（ｎｅｔｗｏｒｋ ＴＶ）、ＨＢＢＴＶ（Ｈｙｂｒｉｄ Ｂｒｏａｄｃａｓｔ Ｂｒｏａｄｂａｎｄ ＴＶ）、スマートＴＶ（Ｓｍａｒｔ ＴＶ）、ＩＰＴＶ（ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ ｔｅｌｅｖｉｓｉｏｎ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍ−ｐｕｔｅｒ）等のような固定型機器（ｓｔａｎｄｉｎｇ ｄｅｖｉｃｅ）と、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、ラップトップ等のようなモバイル機器（ｍｏｂｉｌｅ ｄｅｖｉｃｅ ｏｒ ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅ）をいずれも含む。本明細書では、便宜上、後述する図３３ではデジタルＴＶを、図３４ではモバイル機器をデジタル機器の実施例として示して説明する。
一方、本明細書で記述される「有／無線ネットワーク」とは、デジタル機器又はデジタル機器と外部サーバの間で相互連結又は／及びデータの送受信のために様々な通信規格乃至プロトコルを支援する通信ネットワークを通称する。このような有／無線ネットワークは、規格により、現在又は今後支援される通信ネットワークとそのための通信プロトコルをいずれも含み得るので、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＣＶＢＳ（Ｃｏｍｐｏｓｉｔｅ Ｖｉｄｅｏ Ｂａｎｋｉｎｇ Ｓｙｎｃ）、コンポーネント、Ｓ−ビデオ（アナログ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＲＧＢ、Ｄ−ＳＵＢのような有線連結のための通信規格乃至プロトコルと、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎ−ｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗｉ−Ｆｉダイレクト（Ｄｉｒｅｃｔ）のような無線連結のための通信規格によって形成され得る。
以下、本明細書でただデジタル機器と名付ける場合には、文脈に応じて、固定型機器又はモバイル機器を意味するか、両者とも含む意味であってもよい。
一方、デジタル機器は、例えば、放送受信機能、コンピュータ機能乃至支援、少なくとも１つの外部入力（ｅｘｔｅｒｎａｌ ｉｎｐｕｔ）を支援する知能型機器であって、前述した有／無線ネットワークを介してＥ−メール（ｅ−ｍａｉｌ）、ウェブブラウジング（ｗｅｂ ｂｒｏｗｓｉｎｇ）、バンキング（ｂａｎｋｉｎｇ）、ゲーム（ｇａｍｅ）、アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）などを支援できる。また、前記デジタル機器は、手記方式の入力装置、タッチスクリーン（ｔｏｕｃｈ ｓｃｒｅｅｎ）、空間リモコン等少なくとも１つの入力又は制御手段（以下、入力手段）を支援するためのインターフェース（ｉｎｔｅｒｆａｃｅ）を備えることができる。デジタル機器は、標準化された汎用ＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を用いることができる。例えば、デジタル機器は、汎用のＯＳカーネル（ｋｅｒｎｅｌ）上に様々なアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）を追加（ａｄｄｉｎｇ）、削除（ｄｅｌｅｔｉｎｇ）、修正（ａｍｅｎｄｉｎｇ）、アップデート（ｕｐｄａｔｉｎｇ）などを行うことができ、それを介して更にユーザーフレンドリー（ｕｓｅｒ−ｆｒｉｅｎｄｌｙ）環境を構成して提供できる。
一方、本明細書で記述される外部入力は、外部入力機器、即ち、前述したデジタル機器と有／無線で連結され、それを介して関連データを送／受信して処理可能な全ての入力手段乃至デジタル機器を含む。ここで、前記外部入力は、例えば、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、プレイステーション（ｐｌａｙ ｓｔａｔｉｏｎ）やエックスボックス（Ｘ−Ｂｏｘ）のようなゲーム機器、スマートフォン、タブレットＰＣ、プリンター、スマートＴＶのようなデジタル機器をいずれも含む。
また、本明細書で記述される「サーバー（ｓｅｒｖｅｒ）」とは、クライアント（ｃｌｉｅｎｔ）、即ち、前述したデジタル機器にデータを供給する全てのデジタル機器乃至システムを含む意味であって、プロセッサ（ｐｒｏｃｅｓｓｏｒ）とも呼ぶ。このようなサーバーとしては、例えば、ウェブページ乃至ウェブコンテンツを提供するポータルサーバー（ｐｏｒｔａｌ ｓｅｒｖｅｒ）、広告データ（ａｄｖｅｒｔｉｓｉｎｇ ｄａｔａ）を提供する広告サーバー（ａｄｖｅｒｔｉｓｉｎｇ ｓｅｒｖｅｒ）、コンテンツを提供するコンテンツサーバー（ｃｏｎｔｅｎｔ ｓｅｒｖｅｒ）、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サービスを提供するＳＮＳサーバー（ＳＮＳ ｓｅｒｖｅｒ）、メーカーで提供するサービスサーバー（ｓｅｒｖｉｃｅ ｓｅｒｖｅｒ ｏｒ ｍａｎｕｆａｃｔｕｒｉｎｇ ｓｅｒｖｅｒ）などが含まれ得る。
その他に、本明細書で記述される「チャネル（ｃｈａｎｎｅｌ）」とは、データを送受信するための経路（ｐａｔｈ）、手段（ｍｅａｎｓ）等を意味するものであって、放送チャネル（ｂｒｏａｄｃａｓｔｉｎｇ ｃｈａｎｎｅｌ）を例に挙げることができる。ここで、放送チャネルは、デジタル放送の活性化によって物理チャネル（ｐｈｙｓｉｃａｌ ｃｈａｎｎｅｌ）、仮想チャネル（ｖｉｒｔｕａｌ ｃｈａｎｎｅｌ）、論理チャネル（ｌｏｇｉｃａｌ ｃｈａｎｎｅｌ）等の用語で表現される。放送チャネルは放送網と呼ばれ得る。このように、放送チャネルは、放送局で提供する放送コンテンツを提供又は受信機で接近するためのチャネルをいうもので、前記放送コンテンツは、主にリアルタイム放送（ｒｅａｌ−ｔｉｍｅ ｂｒｏａｄｃａｓｔｉｎｇ）に基づくので、ライブチャネル（ｌｉｖｅ ｃｈａｎｎｅｌ）ともいう。但し、最近では、放送のための媒体（ｍｅｄｉｕｍ）がさらに多様化され、リアルタイム放送以外に非リアルタイム（ｎｏｎ−ｒｅａｌ ｔｉｍｅ）放送も活性化されており、ライブチャネルはただリアルタイム放送だけでなく、場合によっては非リアルタイム放送を含む放送チャネル全体を意味する用語と理解されることもある。
本明細書では、前述した放送チャネル以外に、チャネルに関して「任意のチャネル（ａｒｂｉｔｒａｒｙ ｃｈａｎｎｅｌ）」をさらに定義する。前記任意のチャネルは、放送チャネルと共にＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）のようなサービスガイド（ｓｅｒｖｉｃｅ ｇｕｉｄｅ）と共に提供されることもでき、任意のチャネルだけでサービスガイド、ＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）又はＯＳＤ画面（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓ−ｐｌａｙ ｓｃｒｅｅｎ）を構成／提供することもできる。
一方、送受信機間に予め約束されたチャネルナンバを有する放送チャネルと異なり、任意のチャネルは受信機で任意に割り当てるチャネルであって、前記放送チャネルを表現するためのチャネルナンバとは基本的に重複しないチャネルナンバが割り当てられる。例えば、受信機は、特定の放送チャネルをチューニングすると、チューニングされたチャネルを介して放送コンテンツとそのためのシグナリング情報（ｓｉｇｎａｌｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を送信する放送信号を受信する。ここで、受信機は、前記シグナリング情報からチャネル情報をパーシング（ｐａｒｓｉｎｇ）し、パーシングされたチャネル情報に基づいてチャネルブラウザ（ｃｈａｎｎｅｌ ｂｒｏｗｓｅｒ）、ＥＰＧ等を構成してユーザーに提供する。ユーザーは、入力手段を介してチャネル切換の要請をすると、受信機は、それに対する方式である。
このように、放送チャネルは送受信端間で予め約束された内容であるので、任意のチャネルを放送チャネルと重複して割り当てる場合には、ユーザーの混同を招いたり、混同の可能性が存在するので、前述したように重複して割り当てないことが好ましい。一方、前記のように、任意のチャネルナンバを放送チャネルナンバと重複して割り当てなくても、ユーザーのチャネルサーフィン過程で依然として混同の恐れがあるので、これを考慮し、任意のチャネルナンバを割り当てることが要求される。何故なら、本明細書による任意のチャネルもやはり、従来の放送チャネルと同じように入力手段を介したユーザーのチャネル切換の要請によって、同じ方式で対応し、放送チャネルのように接近されるように実現できるためである。従って、任意のチャネルナンバは、ユーザーの任意のチャネルの接近便宜と放送チャネルナンバとの区分乃至識別便宜のために、放送チャネルのように数字の形態ではなく、任意のチャネル−１、任意のチャネル−２等のように文字が併記された形で定義して表示できる。一方、この場合、任意のチャネルナンバの表示は、任意のチャネル−１のように文字が併記された形であるが、受信機内部的には、前記放送チャネルのナンバのように数字の形で認識して実現できる。その他に、任意のチャネルナンバは、放送チャネルのように数字の形で提供されてもよく、動画チャネル−１、タイトル−１、ビデオ−１等のように放送チャネルと区分可能な様々な方式でチャネルナンバを定義して表示してもよい。
デジタル機器は、ウェブサービス（ｗｅｂ ｓｅｒｖｉｃｅ）のためにウェブブラウザ（ｗｅｂ ｂｒｏｗｓｅｒ）を実行して、様々な形態のウェブページ（ｗｅｂ ｐａｇｅ）をユーザーに提供する。ここで、前記ウェブページには、動画（ｖｉｄｅｏ ｃｏｎｔｅｎｔ）が含まれたウェブページも含まれるが、本明細書では、動画をウェブページから別途で、又は独立に分離して処理する。また、前記分離される動画は、前述した任意のチャネルナンバを割り当て、サービスガイド等を介して提供し、ユーザーがサービスガイドや放送チャネルの視聴過程で、チャネル切換の要請によって出力されるように実現できる。その他に、ウェブサービス以外にも、放送コンテンツ、ゲーム、アプリケーション等のサービスに対しても、所定のコンテンツ、イメージ、オーディオ、項目等を前記放送コンテンツ、ゲーム、アプリケーション自体から独立に分離処理し、その再生、処理等のために任意のチャネルナンバを割り当て、前述したように実現できる。
図３８は、デジタル機器を含むサービスシステム（ｓｅｒｖｉｃｅ ｓｙｓｔｅｍ）の一例を概略的に示す図である。
デジタル機器を含むサービスシステムは、コンテンツ提供者（Ｃｏｎｔｅｎｔ Ｐｒｏｖｉｄｅｒ；ＣＰ）３８１０、サービス提供者（Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ；ＳＰ）３８２０、ネットワーク提供者（Ｎｅｔｗｏｒｋ Ｐｒｏｖｉｄｅｒ；ＮＰ）３８３０、及びＨＮＥＤ（Ｈｏｍｅ Ｎｅｔｗｏｒｋ Ｅｎｄ Ｕｓｅｒ）（Ｃｕｓｔｏｍｅｒ）３８４０を含む。ここで、ＨＮＥＤ３８４０は、例えば、クライアント３８００、即ち、デジタル機器である。コンテンツ提供者３８１０は、各種のコンテンツを作製して提供する。このようなコンテンツ提供者３８１０として、図３８に示すように、地上波放送送出者（ｔｅｒｒｅｓｔｒｉａｌ ｂｒｏａｄｃａｓｔｅｒ）、ケーブル放送事業者（ｃａｂｌｅ ＳＯ （Ｓｙｓｔｅｍ Ｏｐｅｒａｔｏｒ））又はＭＳＯ（Ｍｕｌｔｉｐｌｅ ＳＯ）、衛星放送送出者（ｓａｔｅｌｌｉｔｅ ｂｒｏａｄｃａｓｔｅｒ）、様々なインターネット放送送出者（Ｉｎｔｅｒｎｅｔ ｂｒｏａｄｃａｓｔｅｒ）、個人コンテンツ提供者（Ｐｒｉｖａｔｅ ＣＰｓ）等を例示することができる。一方、コンテンツ提供者３８１０は、放送コンテンツ以外にも様々なアプリケーション等を提供する。
サービス提供者３８２０は、コンテンツ提供者３８１０が提供するコンテンツをサービスパッケージ化してＨＮＥＤ３８４０に提供する。例えば、図３８のサービス提供者３８２０は、第１の地上波放送、第２の地上波放送、ケーブルＭＳＯ、衛星放送、様々なインターネット放送、アプリケーションなどをパッケージ化してＨＮＥＤ３８４０に提供する。
サービス提供者３８２０は、ユニキャスト（ｕｎｉ−ｃａｓｔ）又はマルチキャスト（ｍｕｌｔｉ−ｃａｓｔ）方式でクライアント３００にサービスを提供する。一方、サービス提供者３８２０は、データを予め登録された多数のクライアント３８００に一度に送信できるが、このためにＩＧＭＰ（Ｉｎｔｅｒｎｅｔ Ｇｒｏｕｐ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）プロトコル等を用いることができる。
前述したコンテンツ提供者３８１０とサービス提供者３８２０は、同一の個体（ｓａｍｅ ｏｒ ｓｉｎｇｌｅ ｅｎｔｉｔｙ）であってもよい。例えば、コンテンツ提供者３８１０が作製したコンテンツをサービスパッケージ化してＨＮＥＤ３８４０に提供することによって、サービス提供者３８２０の機能も共に行うか、その反対のこともある。
ネットワーク提供者３８３０は、コンテンツ提供者３８１０又は／及びサービス提供者３８２０とクライアント３８００間のデータ交換のためのネットワーク網を提供する。
クライアント３８００は、ホームネットワークを構築してデータを送受信できる。
一方、サービスシステム内のコンテンツ提供者３８１０又は／及びサービス提供者３８２０は、送信されるコンテンツの保護のために、制限受信（ｃｏｎｄｉｔｉｏｎａｌ ａｃｃｅｓｓ）又はコンテンツ保護（ｃｏｎｔｅｎｔ ｐｒｏｔｅｃｔｉｏｎ）手段を利用することができる。この場合、クライアント３８００は、前記制限受信やコンテンツ保護に対応し、ケーブルカード（ＣａｂｌｅＣＡＲＤ）（ＰＯＤ：Ｐｏｉｎｔ ｏｆ Ｄｅ−ｐｌｏｙｍｅｎｔ）、ＤＣＡＳ（Ｄｏｗｎｌｏａｄａｂｌｅ ＣＡＳ）等のような処理手段を利用することができる。
その他に、クライアント３８００も、ネットワーク網（又は通信網）を介して、両方向のサービスを利用することができる。このような場合、むしろクライアント３８００がコンテンツ提供者の機能を行ってもよく、既存のサービス提供者３８２０は、これを受信して再度他のクライアントへ送信してもよい。
図３９は、デジタル機器の一実施例を説明するために示す構成のブロック図である。ここで、図３９は、例えば、図３８のクライアント３８００に該当し得、前述したデジタル機器を意味する。
デジタル機器３９００は、ネットワークインターフェース部（ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ）３９０１、ＴＣＰ／ＩＰマネージャー（ＴＣＰ／ＩＰ ｍａｎａｇｅｒ）３９０２、サービス伝達マネージャー（ｓｅｒｖｉｃｅ ｄｅｌｉｖｅｒｙ ｍａｎａｇｅｒ）３９０３、ＳＩデコーダ３９０４、逆多重化部（ｄｅｍｕｘ）３９０５、オーディオデコーダ（ａｕｄｉｏ ｄｅｃｏｄｅｒ）３９０６、ビデオデコーダ（ｖｉｄｅｏ ｄｅｃｏｄｅｒ）３９０７、ディスプレイ部（ｄｉｓｐｌａｙ Ａ／Ｖ ａｎｄ ＯＳＤ ｍｏｄｕｌｅ）３９０８、サービス制御マネージャー（ｓｅｒｖｉｃｅ ｃｏｎｔｒｏｌ ｍａｎａｇｅｒ）３９０９、サービスディスカバリーマネージャー（ｓｅｒｖｉｃｅ ｄｉｓｃｏｖｅｒｙ ｍａｎａｇｅｒ）３９１０、ＳＩ＆メタデータのデータベース（ＳＩ＆Ｍｅｔａｄａｔａ ＤＢ）３９１１、メタデータマネージャー（ｍｅｔａｄａｔａ ｍａｎａｇｅｒ）３９１２、サービスマネージャー３９１３、ＵＩマネージャー３９１４等を含んで構成される。
ネットワークインターフェース部３９０１は、ネットワーク網を介してＩＰパケット（ｉｎｔｅｒｎｅｔ ｐｒｏｔｏ−ｃｏｌ （ＩＰ） ｐａｃｋｅｔｓ）を受信又は送信する。即ち、ネットワークインターフェース部３９０１は、ネットワーク網を介してサービス提供者３８２０からサービス、コンテンツなどを受信する。
ＴＣＰ／ＩＰマネージャー３９０２は、デジタル機器３９００に受信されるＩＰパケットとデジタル機器３９００が送信するＩＰパケットに対して、即ち、ソース（ｓｏｕｒｃｅ）と目的地（ｄｅｓｔｉｎａｔｉｏｎ）間のパケットの伝達に関与する。また、ＴＣＰ／ＩＰマネージャー３９０２は、受信されたパケットを適切なプロトコルに対応するように分類し、サービス伝達マネージャー３９０３、サービスディスカバリーマネージャー３９１０、サービス制御マネージャー３９０９、メタデータマネージャー３９１２等に分類されたパケットを出力する。サービス伝達マネージャー３９０３は、受信されるサービスデータの制御を担当する。例えば、サービス伝達マネージャー３９０３は、リアルタイムストリーミング（ｒｅａｌ−ｔｉｍｅ ｓｔｒｅａｍｉｎｇ）データを制御する場合には、ＲＴＰ／ＲＴＣＰを使用することができる。前記リアルタイムストリーミングデータをＲＴＰを使用して送信する場合、サービス伝達マネージャー３９０３は、前記受信されたデータパケットをＲＴＰによってパーシング（ｐａｒｓｉｎｇ）して逆多重化部３９０５に送信するか、サービスマネージャー３９１３の制御によって、ＳＩ＆メタデータのデータベース３９１１に保存する。また、サービス伝達マネージャー３９０３は、ＲＴＣＰを用いて前記ネットワークの受信情報をサービスを提供するサーバー側にフィードバック（ｆｅｅｄｂａｃｋ）する。逆多重化部３９０５は、受信されたパケットをオーディオ、ビデオ、ＳＩ（ｓｙｓｔｅｍ ｉｎｆｏｒｍａｔｉｏｎ）データ等で逆多重化し、それぞれオーディオ／ビデオデコーダ３９０６／３９０７、ＳＩデコーダ３９０４に送信する。
ＳＩデコーダ３９０４は、例えば、ＰＳＩ（ｐｒｏｇｒａｍ ｓｐｅｃｉｆｉｃ ｉｎｆｏｒｍａｔｉｏｎ）、ＰＳＩＰ（ｐｒｏｇｒａｍ ａｎｄ ｓｙｓｔｅｍ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｔｏｃｏｌ）、ＤＶＢ−ＳＩ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｂｒｏａｄｃａｓｔｉｎｇ−ｓｅｒｖｉｃｅ ｉｎｆｏｒｍａｔｉｏｎ）等のサービス情報をデコーディングする。
また、ＳＩデコーダ３９０４は、デコーディングされたサービス情報を、例えば、ＳＩ＆メタデータのデータベース３９１１に保存する。このように保存されたサービス情報は、例えば、ユーザーの要請等によって該当構成により読み出されて用いられる。
オーディオ／ビデオデコーダ３９０６／３９０７は、逆多重化部３９０５で逆多重化された各オーディオデータとビデオデータをデコーディングする。このようにデコーディングされたオーディオデータ及びビデオデータは、ディスプレイ部３９０８を介してユーザーに提供される。
アプリケーションマネージャーは、例えば、ＵＩマネージャー３９１４とサービスマネージャー３９１３を含んで構成され得る。アプリケーションマネージャーは、デジタル機器３９００の全般的な状態を管理してユーザーインターフェースを提供し、他のマネージャーを管理することができる。
ＵＩマネージャー３９１４は、ユーザーのためのＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）をＯＳＤ（ｏｎ ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）等を用いて提供し、ユーザーからキーの入力を受けて、前記入力による機器動作を行う。例えば、ＵＩマネージャー３９１４は、ユーザーからチャネルの選択に関するキーの入力を受けると、前記キーの入力信号をサービスマネージャー３９１３に送信する。
サービスマネージャー３９１３は、サービス伝達マネージャー３９０３、サービスディスカバリーマネージャー３９１０、サービス制御マネージャー３９０９、メタデータマネージャー３９１２等のサービスに関するマネージャーを制御する。
また、サービスマネージャー３９１３は、チャネルマップ（ｃｈａｎｎｅｌ ｍａｐ）を作り、ユーザーインターフェースマネージャー３９１４から受信したキーの入力によって前記チャネルマップを用いてチャネルを選択する。また、サービスマネージャー３９１３は、ＳＩデコーダ３９０４からチャネルのサービス情報を送信されて選択されたチャネルのオーディオ／ビデオＰＩＤ（ｐａｃｋｅｔ ｉｄｅｎｔｉｆｉｅｒ）を逆多重化部３９０５に設定する。このように設定されるＰＩＤは、前述した逆多重化過程に用いられる。従って、逆多重化部３９０５は、前記ＰＩＤを用いてオーディオデータ、ビデオデータ、及びＳＩデータをフィルタリング（ｆｉｌｔｅｒｉｎｇ）する。
サービスディスカバリーマネージャー３９１０は、サービスを提供するサービス提供者を選択するのに必要な情報を提供する。サービスマネージャー３９１３からチャネルの選択に関する信号を受信すると、サービスディスカバリーマネージャー３９１０は、前記情報を用いてサービスを見つける。
サービス制御マネージャー３９０９は、サービスの選択と制御を担当する。例えば、サービス制御マネージャー３９０９は、ユーザーが既存の放送方式のような生放送（ｌｉｖｅ ｂｒｏａｄｃａｓｔ−ｉｎｇ）サービスを選択する場合、ＩＧＭＰ又はＲＴＳＰ等を使用し、ＶＯＤ（ｖｉｄｅｏ ｏｎ ｄｅｍａｎｄ）のようなサービスを選択する場合には、ＲＴＳＰを使用してサービスの選択、制御を行う。前記ＲＴＳＰプロトコルは、リアルタイムストリーミングに対してトリックモード（ｔｒｉｃｋ ｍｏｄｅ）を提供できる。また、サービス制御マネージャー３９０９は、ＩＭＳ（ＩＰ ｍｕｌｔｉｍｅｄｉａ ｓｕｂｓｙｓ−ｔｅｍ）、ＳＩＰ（ｓｅｓｓｉｏｎ ｉｎｉｔｉａｔｉｏｎ ｐｒｏｔｏｃｏｌ）を用いて、ＩＭＳゲートウェイ３９５０を介するセクションを初期化して管理できる。プロトコルは一実施例であり、実現例によって他のプロトコルを使用することもできる。
メタデータマネージャー３９１２は、サービスに関するメタデータを管理し、前記メタデータをＳＩ＆メタデータのデータベース３９１１に保存する。
ＳＩ＆メタデータのデータベース３９１１は、ＳＩデコーダ３９０４がデコーディングしたサービス情報、メタデータマネージャー３９１２が管理するメタデータ、及びサービスディスカバリーマネージャー３９１０が提供するサービス提供者を選択するのに必要な情報を保存する。また、ＳＩ＆メタデータのデータベース３９１１は、システムに対するセット−アップデータ等を保存し得る。
ＳＩ＆メタデータのデータベース３９１１は、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ＲＡＭ、ＮＶＲＡＭ）又はフラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）等を使用して実現されることもできる。
一方、ＩＭＳゲートウェイ３９５０は、ＩＭＳベースのＩＰＴＶサービスに接近するために必要な機能を集めたゲートウェイである。
図４０は、デジタル機器の別の実施例を説明するために示す構成のブロック図である。特に、図４０は、デジタル機器の別の実施例であって、モバイル機器の構成のブロック図を例示したものである。
図４０を参照すると、モバイル機器４０００は、無線通信部４０１０、Ａ／Ｖ（ａｕｄｉｏ／ｖｉｄｅｏ）入力部４０２０、ユーザー入力部４０３０、センシング部４０４０、出力部４０５０、メモリ４０６０、インターフェース部４０７０、制御部４０８０、及び電源供給部４０９０等を含み得る。図４０に示す構成要素が必須のものではないので、それより多くの構成要素を有するか、それよりも少ない構成要素を有するモバイル機器が実現されることもある。
無線通信部４０１０は、モバイル機器４０００と無線通信システムの間、又はモバイル機器と、モバイル機器が位置したネットワーク間の無線通信を可能にする１つ又はそれ以上のモジュールを含み得る。例えば、無線通信部４０１０は、放送受信モジュール４０１１、移動通信モジュール４０１２、無線インターネットモジュール４０１３、近距離通信モジュール４０１４、及び位置情報モジュール４０１５等を含み得る。
放送受信モジュール４０１１は、放送チャネルを介して外部の放送管理サーバーから放送信号及び／又は放送関連した情報を受信する。ここで、放送チャネルは、衛星チャネル、地上波チャネルを含み得る。放送管理サーバーは、放送信号及び／又は放送関連の情報を生成して送信するサーバー、又は既生成された放送信号及び／又は放送関連の情報を提供されて端末機に送信するサーバーを意味し得る。放送信号は、ＴＶ放送信号、ラジオ放送信号、データ放送信号を含むだけでなく、ＴＶ放送信号又はラジオ放送信号にデータ放送信号が結合した形態の放送信号も含み得る。
放送関連の情報は、放送チャネル、放送プログラム又は放送サービス提供者に関する情報を意味し得る。放送関連の情報は、移動通信網を介しても提供できる。このような場合には、移動通信モジュール４０１２により受信され得る。
放送関連の情報は、様々な形態、例えば、ＥＰＧ（ｅｌｅｃｔｒｏｎｉｃ ｐｒｏｇｒａｍ ｇｕｉｄｅ）又はＥＳＧ（ｅｌｅｃｔｒｏｎｉｃ ｓｅｒｖｉｃｅ ｇｕｉｄｅ）等の形態で存在し得る。
放送受信モジュール４０１１は、例えば、ＡＴＳＣ、ＤＶＢ−Ｔ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｂｒｏａｄｃａｓｔｉｎｇ−ｔｅｒｒｅｓｔｒｉａｌ）、ＤＶＢ−Ｓ（ｓａｔｅｌｌｉｔｅ）、ＭｅｄｉａＦＬＯ（ｍｅｄｉａ ｆｏｒｗａｒｄ ｌｉｎｋ ｏｎｌｙ）、ＤＶＢ−Ｈ（ｈａｎｄｈｅｌｄ）、ＩＳＤＢ−Ｔ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅｓ ｄｉｇｉｔａｌ ｂｒｏａｄｃａｓｔ−ｔｅｒｒｅｓｔｒｉａｌ）等デジタル放送システムを用いてデジタル放送信号を受信することができる。もちろん、放送受信モジュール５１１は、前述したデジタル放送システムだけでなく、他の放送システムに適するように構成されることもできる。
放送受信モジュール４０１１を介して受信された放送信号及び／又は放送関連の情報は、メモリ４０６０に保存され得る。
移動通信モジュール４０１２は、移動通信網上で基地局、外部端末、サーバーの少なくとも１つと無線信号を送受信する。無線信号は、音声信号、画像通話信号、又は文字／マルチメディアメッセージの送受信による様々な形態のデータを含み得る。
無線インターネットモジュール４０１３は、無線インターネットのアクセスのためのモジュールを含めて、モバイル機器４０００に内装されるか外装され得る。無線インターネット技術としては、ＷＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ（ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（ｗｏｒｌｄ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ）、ＨＳＤＰＡ（ｈｉｇｈ ｓｐｅｅｄ ｄｏｗｎｌｉｎｋ ｐａｃｋｅｔ ａｃｃｅｓｓ）等が用いられる。
近距離通信モジュール４０１４は、近距離通信のためのモジュールをいう。近距離通信（ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）技術として、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉ−ｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ， ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅｂａｎｄ）、ＺｉｇＢｅｅ、ＲＳ−２３２、ＲＳ−４８５等が用いられる。
位置情報モジュール４０１５は、モバイル機器４０００の位置情報の獲得のためのモジュールとして、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎ ｓｙｓｔｅｍ）モジュールを例に挙げることができる。
Ａ／Ｖ入力部４０２０は、オーディオ又は／及びビデオ信号の入力のためのものであって、ここには、カメラ４０２１とマイク４０２２等が含まれ得る。カメラ４０２１は、画像通話モード又は撮影モードでイメージセンサにより得られる停止映像又は動画等の画像フレームを処理する。処理された画像フレームは、ディスプレイ部４０５１に表され得る。
カメラ４０２１で処理された画像フレームは、メモリ４０６０に保存されるか無線通信部４０１０を介して外部へ送信され得る。カメラ４０２１は、使用環境によって２つ以上が備えられることもある。
マイク４０２２は、通話モード又は録音モード、音声認識モード等でマイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）により外部の音響信号が入力され、電気的な音声データで処理する。処理された音声データは、通話モードである場合、移動通信モジュール４０１２を介して移動通信基地局へ送信可能な形態に変換されて出力されることができる。マイク４０２２には、外部の音響信号が入力される過程で発生する雑音（ｎｏｉｓｅ）を除去するための様々な雑音除去のアルゴリズムが実現され得る。
ユーザー入力部４０３０は、ユーザーが端末機の動作制御のための入力データを発生させる。ユーザー入力部４０３０は、キーパッド（ｋｅｙ ｐａｄ）、ドームスイッチ（ｄｏｍｅ ｓｗｉｔｃｈ）、タッチパッド（定圧／静電）、 ジョグホイール（ｊｏｇ ｗｈｅｅｌ）、ジョグスイッチ（ｊｏｇ ｓｗｉｔｃｈ）等で構成され得る。
センシング部４０４０は、モバイル機器４０００の開閉状態、モバイル機器４０００の位置、ユーザーの接触有無、モバイル機器の方位、モバイル機器の加速／減速等のように、モバイル機器４０００の現在の状態を感知し、モバイル機器４０００の動作制御のためのセンシング信号を発生させる。例えば、モバイル機器４０００が移動されるか傾いた場合、モバイル機器の位置乃至傾き等をセンシングできる。また、電源供給部４０９０の電源供給有無、インターフェース部４０７０の外部機器の結合有無等もセンシングすることもできる。一方、センシング部４０４０は、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を含む近接センサ４０４１を含み得る。
出力部４０５０は、視覚、聴覚、又は触覚等に関する出力を発生させるためのものであって、ディスプレイ部４０５１、音響出力モジュール４０５２、アラーム部４０５３、及びハプティックモジュール４０５４等が含まれ得る。
ディスプレイ部４０５１は、モバイル機器４０００で処理される情報を表示（出力）する。例えば、モバイル機器が通話モードである場合、通話と関連したＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）又はＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を表示する。モバイル機器４０００が画像通話モード又は撮影モードである場合には、撮影又は／及び受信された映像又はＵＩ、ＧＵＩを表示する。
ディスプレイ部４０５１は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタの液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）の少なくとも１つを含み得る。
これらのうちの一部のディスプレイは、それを介して外部を見ることができるように透明型又は光透過型で構成され得る。これは、透明ディスプレイと呼ばれるが、前記透明ディスプレイの代表的な例としては、ＴＯＬＥＤ（ｔｒａｎｓｐａｒｅｎｔ ＯＬＥＤ）等がある。ディスプレイ部４０５１の後方構造もまた光透過型構造で構成され得る。このような構造により、ユーザーは端末機のボディのディスプレイ部４０５１の占める領域を介して、端末機のボディ（ｂｏｄｙ）の後方に位置した私物を見ることができる。
モバイル機器４０００の実現形態によって、ディスプレイ部４０５１が２つ以上存在し得る。例えば、モバイル機器４０００には、複数のディスプレイ部が１つの面に離隔されるか一体に配置されてもよく、また、互いに異なる面にそれぞれ配置されてもよい。
ディスプレイ部４０５１とタッチ動作を感知するセンサ（以下「タッチセンサ」という）が相互レイヤー構造をなす場合（以下「タッチ スクリーン」という）に、ディスプレイ部４０５１は、出力装置以外に入力装置としても使用され得る。タッチセンサは、例えば、タッチフィルム、タッチシート、タッチパッド等の形態を有し得る。
タッチセンサは、ディスプレイ部４０５１の特定部位に加えられた圧力、又はディスプレイ部４０５１の特定部位に発生する静電容量等の変化を電気的な入力信号に変換するように構成され得る。タッチセンサは、タッチされる位置及び面積だけでなく、タッチ時の圧力までも検出できるように構成され得る。
タッチセンサに対するタッチ入力がある場合、それに対応する信号は、タッチ制御器に送られる。タッチ制御器は、その信号を処理した後、対応するデータを制御部４０８０に送信する。これによって、制御部４０８０は、ディスプレイ部４０５１のどの領域がタッチされているか否か等が分かるようになる。
タッチスクリーンにより包まれるモバイル機器の内部領域、又は前記タッチスクリーンの近所に近接センサ４０４１が配置され得る。前記近接センサは、所定の検出面に接近する物体、或いは近傍に存在する物体の有無を電磁界の力又は赤外線を用いて機械的接触なしで検出するセンサをいう。近接センサは、接触式センサよりは、その寿命が長く、その活用もまた高い。
近接センサの例としては、透過型光電センサ、直接反射型光電センサ、ミラー反射型光電センサ、高周波発振型近接センサ、静電容量型近接センサ、磁気型近接センサ、赤外線近接センサ等がある。前記タッチスクリーンが静電式である場合には、前記ポインターの近接による電界の変化でポインターの近接を検出するように構成される。この場合、タッチスクリーン（タッチセンサ）は近接センサに分類されることもある。
以下では、説明の便宜のために、タッチスクリーン上にポインターが接触されながらも、近接されてポインターがタッチスクリーン上に位置することが認識されるようにする行為を「近接タッチ（ｐｒｏｘｉｍｉｔｙ ｔｏｕｃｈ）」と称し、前記タッチスクリーン上にポインターが実際に接触する行為を「接触タッチ（ｃｏｎｔａｃｔ ｔｏｕｃｈ）」と称する。タッチスクリーン上でポインターで近接タッチされる位置というのは、ポインターが近接タッチされる際、ポインターがタッチスクリーンに対して垂直に対応する位置を意味する。
近接センサは、近接タッチと、近接タッチパターン（例えば、近接タッチ距離、近接タッチ方向、近接タッチ速度、近接タッチ時間、近接タッチ位置、近接タッチ移動状態等）を感知する。感知された近接タッチ動作及び近接タッチパターンに相応する情報は、タッチスクリーン上に出力されることができる。
音響出力モジュール４０５２は、呼信号の受信、通話モード又は録音モード、音声認識モード、放送受信モード等で無線通信部４０１０から受信されるか、メモリ４０６０に保存されたオーディオデータを出力することができる。音響出力モジュール４０５２は、モバイル機器４０００で行われる機能（例えば、呼信号の受信音、メッセージ受信音等）に関する音響信号を出力することもある。このような音響出力モジュール４０５２には、レシーバ（ｒｅｃｅｉｖｅｒ）、スピーカー（ｓｐｅａｋｅｒ）、ブザー（ｂｕｚｚｅｒ）等が含まれ得る。
アラーム部４０５３は、モバイル機器４０００のイベントの発生を知らせるための信号を出力する。モバイル機器で発生するイベントの例としては、呼信号の受信、メッセージ受信、キー信号入力、タッチ入力等がある。アラーム部４０５３は、ビデオ信号やオーディオ信号以外に異なる形態、例えば、振動でイベントの発生を知らせるための信号を出力することもできる。
ビデオ信号やオーディオ信号は、ディスプレイ部４０５１や音声出力モジュール４０５２を介しても出力されることができ、ディスプレイ部及び音声出力モジュール４０５１、４０５２は、アラーム部４０５３の一部に分類されることもできる。
ハプティックモジュール（ｈａｐｔｉｃ ｍｏｄｕｌｅ）４０５４は、ユーザーが感じる様々な触覚効果を発生させる。ハプティックモジュール４０５４が発生させる触覚効果の代表的な例としては、振動がある。ハプティックモジュール４０５４が発生する振動の強さとパターン等は制御可能である。例えば、互いに異なる振動を合成して出力するか、順次に出力することもできる。
ハプティックモジュール４０５４は、振動以外にも、接触皮膚面に対して垂直運動するピン配列、噴射口や吸入口を介した空気の噴射力や吸入力、皮膚表面に対する擦れ、電極（ｅｌｅｃｔｒｏｄｅ）の接触、静電気力等の刺激による効果と、吸熱や発熱可能な素子を用いた冷温感の再現による効果等、様々な触覚効果を発生させることができる。
ハプティックモジュール４０５４は、直接的な接触を介して触覚効果を伝達することができるだけでなく、ユーザーが指や腕等の筋感覚を介して触覚効果を感じることができるように実現することもできる。ハプティックモジュール４０５４は、モバイル機器４０００の構成様態によって２つ以上が備えられる。
メモリ４０６０は、制御部４０８０の動作のためのプログラムを保存することができ、入／出力されるデータ（例えば、フォンブック、メッセージ、停止映像、動画等）を仮保存することもできる。メモリ４０６０は、前記タッチスクリーン上のタッチ入力の際に出力される様々なパターンの振動及び音響に関するデータを保存することができる。
メモリ４０６０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリ等）、ラム（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ロム（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクの少なくとも１つのタイプの保存媒体を含み得る。モバイル機器４０００は、インターネット（ｉｎｔｅｒｎｅｔ）上でメモリ４０６０の保存機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）に関して動作することもできる。
インターフェース部４０７０は、モバイル機器４０００に連結される全ての外部機器との通路の役割をする。インターフェース部４０７０は、外部機器からデータの送信を受けるか、電源が供給され、モバイル機器４０００内部の各構成要素に伝達するか、モバイル機器４０００内部のデータが外部機器へ送信されるようにする。例えば、有／無線ヘッドセットポート、外部充電器ポート、有／無線データポート、メモリカード（ｍｅｍｏｒｙ ｃａｒｄ）ポート、識別モジュールが備えられた装置を連結するポート、オーディオＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ）ポート、ビデオＩ／Ｏポート、イヤホーンポート等がインターフェース部４０７０に含まれ得る。
識別モジュールは、モバイル機器４０００の使用権限を認証するための各種情報を保存したチップであって、ユーザー認証モジュール（ｕｓｅｒ ｉｄｅｎｔｉｆｙ ｍｏｄｕｌｅ、ＵＩＭ）、加入者認証モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｙ ｍｏｄｕｌｅ、ＳＩＭ）、汎用ユーザー認証モジュール（ｕｎｉｖｅｒｓａｌ ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＵＳＩＭ）等を含み得る。識別モジュールが備えられた装置（以下「識別装置」）は、スマートカード（ｓｍａｒｔ ｃａｒｄ）の形式で作製され得る。従って、識別装置は、ポートを介して端末機４０００と連結され得る。
インターフェース部４０７０は、移動端末機４０００が外部のクレードル（ｃｒａｄｌｅ）と連結される際、クレードルからの電源が移動端末機４０００に供給される通路になるか、ユーザーによりクレードルで入力される各種の命令信号が移動端末機に伝達される通路になり得る。クレードルから入力される各種の命令信号又は電源は、移動端末機がクレードルに正確に装着されたことを認知するための信号として動作されることもある。
制御部４０８０は通常、モバイル機器の全般的な動作を制御する。例えば、音声通話、データ通信、画像通話等のための関連する制御及び処理を行う。制御部４０８０は、マルチメディアの再生のためのマルチメディアモジュール４０８１を備えることもできる。マルチメディアモジュール４０８１は、制御部４０８０内に実現されてもよく、制御部４０８０と別に実現されてもよい。制御部４０８０、特にマルチメディアモジュール４０８１は、前述したエンコーディング装置１００及び／又はデコーディング装置２００を含み得る。
制御部４０８０は、タッチスクリーン上で行われる筆記入力又は絵を描く入力をそれぞれ文字及びイメージで認識できるパターン認識処理を行うことができる。
電源供給部４０９０は、制御部４０８０の制御により外部の電源、内部の電源が認可され、各構成要素の動作に必要な電源を供給する。
ここに説明される様々な実施例は、例えば、ソフトウェア、ハードウェア、又はこれらの組み合わせたものを用いて、コンピュータ又はこれと類似する装置で読み取られる記録媒体内で実現されることができる。
ハードウェア的な実現によると、ここに説明される実施例は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅ−ｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃ−ｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ、プロセッサ、制御器、マイクロコントローラ（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能を実行するための電気的なユニットの少なくとも１つを用いて実現され得る。一部の場合に、本明細書で説明される実施例が制御部４０８０自体で実現され得る。
ソフトウェア的な実現によると、本明細書で説明される手続及び機能のような実施例は、別途のソフトウェアモジュールで実現され得る。ソフトウェアモジュールのそれぞれは、本明細書で説明される１つ以上の機能及び作動を行うことができる。適切なプログラム言語で書かれたソフトウェアアプリケーションでソフトウェアコードが実現され得る。ここで、ソフトウェアコードは、メモリ４０６０に保存あされれ、制御部４０８０により実行され得る。
図４１は、デジタル機器のまた別の実施例を説明するために示す構成のブロック図である。
デジタル機器４１００の別の例は、放送受信部４１０５、外部装置インターフェース部４１３５、保存部４１４０、ユーザー入力インターフェース部４１５０、制御部４１７０、ディスプレイ部４１８０、オーディオ出力部４１８５、電源供給部４１９０、及び撮影部（図示せず）を含み得る。ここで、放送受信部４１０５は、少なくとも１つのチューナー４１１０、復調部４１２０、及びネットワークインターフェース部４１３０を含み得る。但し、場合によって、放送受信部４１０５は、チューナー４１１０と復調部４１２０は備えるが、ネットワークインターフェース部４１３０は含まないことがあり、その反対の場合もある。また、放送受信部４１０５は示していないが、多重化部（ｍｕｌｔｉｐｌｅｘｅｒ）を備えてチューナー４１１０を経て復調部４１２０で復調された信号とネットワークインターフェース部４１３０を経て受信された信号を多重化することもできる。その他に、放送受信部４０２５は、やはり示していないが、逆多重化部（ｄｅｍｕｌｔｉｐｌｅｘｅｒ）を備えて前記多重化された信号を逆多重化するか、前記復調された信号又は前記ネットワークインターフェース部４１３０を経た信号を逆多重化することができる。
チューナー４１１０は、アンテナを介して受信されるＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）放送信号のうちユーザーにより選択されたチャネル、又は既保存された全てのチャネルをチューニングしてＲＦ放送信号を受信する。また、チューナー４１１０は、受信されたＲＦ放送信号を中間周波数（ｉｎｔｅｒｍｅｄｉａｔｅ ｆｒｅ−ｑｕｅｎｃｙ、ＩＦ）信号或いはベースバンド（ｂａｓｅｂａｎｄ）信号に変換する。
例えば、受信されたＲＦ放送信号がデジタル放送信号であると、デジタルＩＦ信号（ＤＩＦ）に変換し、アナログ放送信号であると、アナログベースバンド映像又は音声信号（ＣＶＢＳ／ＳＩＦ）に変換する。即ち、チューナー４１１０は、デジタル放送信号又はアナログ放送信号を全て処理することができる。チューナー４１１０で出力されるアナログベースバンド映像又は音声信号（ＣＶＢＳ／ＳＩＦ）は、制御部４１７０に直接入力されることができる。
また、チューナー４１１０は、ＡＴＳＣ（ａｄｖａｎｃｅｄ ｔｅｌｅｖｉｓｉｏｎ ｓｙｓｔｅｍ ｃｏｍｍｉｔｔｅｅ）方式による単一キャリアのＲＦ放送信号又はＤＶＢ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｂｒｏａｄｃａｓｔｉｎｇ）方式による複数のキャリアのＲＦ放送信号を受信することができる。
一方、チューナー４１１０は、アンテナを介して受信されるＲＦ放送信号のうち、チャネル記憶機能を介して保存された全ての放送チャネルのＲＦ放送信号を順次にチューニング及び受信し、これを中間周波数信号又はベースバンド信号に変換することができる。
復調部４１２０は、チューナー４１１０で変換されたデジタルＩＦ信号（ＤＩＦ）を受信して復調する。例えば、チューナー４１１０で出力されるデジタルＩＦ信号がＡＴＳＣ方式である場合、復調部４１２０は、例えば、８−ＶＳＢ（８−ｖｅｓｔｉｇａｌ ｓｉｄｅ ｂａｎｄ）復調を行う。また、復調部４１２０は、チャネルの復号化を行うこともできる。このため、復調部４１２０は、トレリスデコーダ（ｔｒｅｌｌｉｓ ｄｅｃｏｄｅｒ）、デインターリーバ（ｄｅ−ｉｎｔｅｒｌｅａｖｅｒ）、及びリードソロモンデコーダ（Ｒｅｅｄ−Ｓｏｌｏｍｏｎ ｄｅｃｏｄｅｒ）等を備え、トレリス復号化、デインターリービング、及びリードソロモン復号化を行うことができる。
例えば、チューナー４１１０で出力されるデジタルＩＦ信号がＤＶＢ方式である場合、復調部４１２０は、例えば、ＣＯＦＤＭＡ（ｃｏｄｅｄ ｏｒｔｈｏｇｏｎａｌ ｆｒｅｑｕｅｎｃｙ ｄｉｖｉｓｉｏｎ ｍｏｄｕｌａｔｉｏｎ）復調を行う。また、復調部４１２０は、チャネルの復号化を行うこともできる。このため、復調部４１２０は、コンボリューションデコーダ（ｃｏｎｖｏｌｕｔｉｏｎ ｄｅｃｏｄｅｒ）、デインターリーバ、及びリード−ソロモンデコーダなどを備え、コンボリューション復号化、デインターリービング、及びリードソロモン復号化を行うことができる。
復調部４１２０は、復調及びチャネルの復号化を行った後、ストリーム信号（ＴＳ）を出力することができる。この際、ストリーム信号は、映像信号、音声信号又はデータ信号が多重化された信号であってもよい。一例として、ストリーム信号は、ＭＰＥＧ−２規格の映像信号、ドルビー（Ｄｏｌｂｙ）ＡＣ−３規格の音声信号等が多重化されたＭＰＥＧ−２ ＴＳ（ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ）であってもよい。具体的に、ＭＰＥＧ−２ ＴＳは、４バイト（ｂｙｔｅ）のヘッダ（ｈｅａｄｅｒ）と１８４バイトのペイロード（ｐａｙｌｏａｄ）を含み得る。
一方、前述した復調部４１２０は、ＡＴＳＣ方式と、ＤＶＢ方式によってそれぞれ別に備えられることが可能である。即ち、デジタル機器は、ＡＴＳＣ復調部とＤＶＢ復調部をそれぞれ別に備えることができる。
復調部４１２０で出力したストリーム信号は、制御部４１７０に入力されることができる。制御部４１７０は、逆多重化、映像／音声信号の処理等を制御し、ディスプレイ部４１８０を介して映像を、オーディオ出力部４１８５を介して音声の出力を制御することができる。
外部装置インターフェース部４１３５は、デジタル機器４１００に様々な外部装置がインターフェーシングされるように環境を提供する。このため、外部装置インターフェース部４１３５は、Ａ／Ｖ入出力部（図示せず）又は無線通信部（図示せず）を含み得る。
外部装置インターフェース部４１３５は、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、ブルーレイ（ｂｌｕ−ｒａｙ）、ゲーム機器、カメラ、カムコーダ、コンピュータ（ノートパソコン、タブレット）、スマートフォン、ブルートゥース機器（ｂｌｕｅｔｏｏｔｈ ｄｅｖｉｃｅ）、クラウド（ｃｌｏｕｄ）等のような外部装置と有／無線で接続され得る。外部装置インターフェース部４１３５は、連結された外部装置を介して外部で入力される映像、音声又はデータ（イメージ含む）信号をデジタル機器の制御部４１７０に伝達する。制御部４１７０は、処理された映像、音声又はデータ信号を連結された外部装置に出力されるように制御できる。このため、外部装置インターフェース部４１３５は、Ａ／Ｖ入出力部（図示せず）又は無線通信部（図示せず）をさらに含み得る。
Ａ／Ｖ入出力部は、外部装置の映像及び音声信号をデジタル機器４１００に入力できるように、ＵＳＢ端子、ＣＶＢＳ（ｃｏｍｐｏｓｉｔｅ ｖｉｄｅｏ ｂａｎｋｉｎｇ ｓｙｎｃ）端子、コンポーネント端子、Ｓ−ビデオ端子（アナログ）、ＤＶＩ（ｄｉｇｉｔａｌ ｖｉｓｕａｌ ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅ−ｄｉａ ｉｎｔｅｒｆａｃｅ）端子、ＲＧＢ端子、Ｄ−ＳＵＢ端子等を含み得る。
無線通信部は、他の電子機器と近距離無線通信を行うことができる。デジタル機器４１００は、例えば、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、ＤＬＮＡ（ｄｉｇｉｔａｌ ｌｉｖｉｎｇ ｎｅｔｗｏｒｋ ａｌｌｉａｎｃｅ）等の通信プロトコルによって、他の電子機器とネットワークで連結され得る。
また、外部装置インターフェース部４１３５は、多様なセットトップボックスや前述した各種端子の少なくとも１つを介して接続され、セットトップボックスと入力／出力動作を行うこともできる。
一方、外部装置インターフェース部４１３５は、隣接する外部装置内のアプリケーション又はアプリケーションリストを受信し、制御部４１７０又は保存部４１４０へ伝達できる。
ネットワークインターフェース部４１３０は、デジタル機器４１００をインターネット網を含む有／無線ネットワークと連結するためのインターフェースを提供する。ネットワークインターフェース部４１３０は、有線ネットワークとの接続のために、例えば、イーサネット（ｅｔｈｅｒｎｅｔ）端子等を備えることができ、無線ネットワークとの接続のために、例えば、ＷＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ（ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（ｗｏｒｌｄ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ）、ＨＳＤＰＡ（ｈｉｇｈ ｓｐｅｅｄ ｄｏｗｎｌｉｎｋ ｐａｃｋｅｔ ａｃｃｅｓｓ）の通信規格などを用いることができる。
ネットワークインターフェース部４１３０は、接続されたネットワーク又は接続されたネットワークにリンクされた他のネットワークを介して、他のユーザー又は他のデジタル機器とデータを送信又は受信できる。特に、デジタル機器４１００に予め登録された他のユーザー又は他のデジタル機器のうち選択されたユーザー又は選択されたデジタル機器に、デジタル機器４１００に保存された一部のコンテンツデータを送信することができる。
一方、ネットワークインターフェース部４１３０は、接続されたネットワーク又は接続されたネットワークにリンクされた他のネットワークを介して、所定のウェブページに接続することができる。即ち、ネットワークを介して所定のウェブページに接続し、該当サーバーとデータを送信又は受信することができる。その他、コンテンツ提供者又はネットワーク運営者が提供するコンテンツ又はデータを受信することができる。即ち、ネットワークを介して、コンテンツ提供者又はネットワーク提供者から提供される映画、広告、ゲーム、ＶＯＤ、放送信号等のコンテンツ、及びそれに関する情報を受信することができる。また、ネットワーク運営者が提供するファームウェア（ｆｉｒｍｗａｒｅ）のアップデート情報及びアップデートファイルを受信することができる。さらに、インターネット又はコンテンツ提供者又はネットワーク運営者にデータを送信することができる。
また、ネットワークインターフェース部４１３０は、ネットワークを介して、公衆に公開（ｏｐｅｎ）されたアプリケーションのうち、希望するアプリケーションを選択して受信できる。
保存部４１４０は、制御部４１７０内の各信号処理及び制御のためのプログラムを保存することもでき、信号処理された映像、音声又はデータ信号を保存することもできる。
また、保存部４１４０は、外部装置インターフェース部４１３５又はネットワークインターフェース部４１３０から入力される映像、音声、又はデータ信号の仮保存のための機能を行うこともできる。保存部４１４０は、チャネル記憶機能を介して、所定の放送チャネルに関する情報を保存することができる。
保存部４１４０は、外部装置インターフェース部４１３５又はネットワークインターフェース部４１３０から入力されるアプリケーション又はアプリケーションリストを保存することができる。
また、保存部４１４０は、後述して説明する様々なプラットフォーム（ｐｌａｔｆｏｒｍ）を保存することもできる。
保存部４１４０は、例えば、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリ等）、ラム（ＲＡＭ）、ロム（ＥＥＰＲＯＭ等）の少なくとも１つのタイプの保存媒体を含み得る。デジタル機器４１００は、保存部４１４０内に保存されているコンテンツファイル（動画ファイル、停止映像ファイル、音楽ファイル、文書ファイル、アプリケーションファイル等）を再生してユーザーに提供できる。
図４１は、保存部４１４０が制御部４１７０と別に備えられた実施例を示しているが、本明細書の範囲はこれに限定されない。即ち、保存部４１４０は、制御部４１７０内に含まれることもある。
ユーザー入力インターフェース部４１５０は、ユーザーが入力した信号を制御部４１７０へ伝達するか、制御部４１７０の信号をユーザーに伝達する。
例えば、ユーザー入力インターフェース部４１５０は、ＲＦ通信方式、赤外線（ＩＲ）通信方式等、多様な通信方式によって、遠隔制御装置５７００から電源のオン／オフ、チャネル選択、画面設定等の制御信号を受信して処理するか、制御部４１７０の制御信号を遠隔制御装置５７００へ送信するように処理することができる。
また、ユーザー入力インターフェース部４１５０は、電源キー、チャネルキー、ボリュームキー、設定値などのローカルキー（図示せず）で入力される制御信号を制御部４１７０に伝達できる。
ユーザー入力インターフェース部４１５０は、ユーザーのジェスチャー（ｇｅｓｔｕｒｅ）をセンシング（ｓｅｎｓｉｎｇ）するセンシング部（図示せず）から入力される制御信号を制御部４１７０に伝達するか、制御部４１７０の信号をセンシング部（図示せず）へ送信できる。ここで、センシング部（図示せず）は、タッチセンサ、音声センサ、位置センサ、動作センサなどを含み得る。
制御部４１７０は、チューナー４１１０、復調部４１２０又は外部装置インターフェース部４１３５を介して入力されるストリームを逆多重化するか、逆多重化された信号を処理し、映像又は音声の出力のための信号を生成及び出力できる。制御部４１７０は、前述したエンコーディング装置及び／又はデコーディング装置を含み得る。
制御部４１７０で処理された映像信号は、ディスプレイ部４１８０に入力され、該当映像信号に対応する映像で表され得る。また、制御部４１７０で映像処理された映像信号は、外部装置インターフェース部４１３５を介して外部出力装置に入力され得る。
制御部４１７０で処理された音声信号は、オーディオ出力部４１８５にオーディオ出力され得る。また、制御部４１７０で処理された音声信号は、外部装置インターフェース部４１３５を介して外部出力装置に入力され得る。
図４１では示していないが、制御部４１７０は、逆多重化部、映像処理部等を含み得る。
制御部４１７０は、デジタル機器４１００の全般的な動作を制御することができる。例えば、制御部４１７０は、チューナー４１１０を制御し、ユーザーが選択したチャネル又は既保存されたチャネルに該当するＲＦ放送をチューニング（ｔｕｎｉｎｇ）するように制御できる。
制御部４１７０は、ユーザー入力インターフェース部４１５０を介して入力されたユーザー命令、又は内部のプログラムによってデジタル機器４１００を制御することができる。特に、ネットワークに接続してユーザーが希望するアプリケーション又はアプリケーションリストをデジタル機器４１００内にダウンロードを受けるようにすることができる。
例えば、制御部４１７０は、ユーザー入力インターフェース部４１５０を介して受信した所定のチャネルの選択命令によって選択したチャネルの信号が入力されるようにチューナー４１１０を制御する。また、選択したチャネルの映像、音声又はデータ信号を処理する。制御部４１７０は、ユーザーが選択したチャネル情報等が処理した映像又は音声信号と共に、ディスプレイ部４１８０又はオーディオ出力部４１８５を介して出力されることができるようにする。
別の例として、制御部４１７０は、ユーザー入力インターフェース部４１５０を介して受信した外部装置の映像再生命令によって、外部装置インターフェース部４１３５を介して入力される外部装置、例えば、カメラ又はカムコーダからの映像信号又は音声信号が、ディスプレイ部４１８０又はオーディオ出力部４１８５を介して出力されることができるようにする。
一方、制御部４１７０は、映像を表示するようにディスプレイ部４１８０を制御することができる。例えば、チューナー４１１０を介して入力される放送映像、又は外部装置インターフェース部４１３５を介して入力される外部入力映像、又はネットワークインターフェース部を介して入力される映像、又は保存部４１４０に保存された映像を、ディスプレイ部４１８０に表示するように制御できる。この際、ディスプレイ部４１８０に表示される映像は、停止映像（静止画）又は動画であってもよく、２Ｄ映像又は３Ｄ映像であってもよい。
また、制御部４１７０は、コンテンツを再生するように制御できる。この際のコンテンツは、デジタル機器４１００内に保存されたコンテンツ、又は受信された放送コンテンツ、外部から入力される外部入力コンテンツであってもよい。コンテンツは、 放送映像、外部入力映像、オーディオファイル、停止映像、接続されたウェブ画面、及び文書ファイルの少なくとも１つであってもよい。
一方、制御部４１７０は、アプリケーションビューの項目に進入する場合、デジタル機器４１００内又は外部のネットワークからダウンロード可能なアプリケーション又はアプリケーションリストを表示するように制御できる。
制御部４１７０は、様々なユーザーインターフェースと共に、外部のネットワークからダウンロードされるアプリケーションを設置及び駆動するように制御できる。また、ユーザーの選択により、実行されるアプリケーションに関する映像がディスプレイ部４１８０に表示されるように制御できる。
一方、図に示していないが、チャネル信号又は外部の入力信号に対応するサムネイルのイメージを生成するチャネルブラウジング処理部がさらに備えられることも可能である。
チャネルブラウジング処理部は、復調部４１２０で出力したストリーム信号（ＴＳ）又は外部装置インターフェース部４１３５で出力したストリーム信号等の入力を受け、入力されるストリーム信号から映像を抽出し、サムネイルの映像を生成することができる。
生成されたサムネイルの映像は、そのまま又は符号化され、制御部４１７０に入力され得る。また、生成されたサムネイルの映像は、ストリームの形態で符号化され、制御部４１７０に入力されることも可能である。制御部４１７０は、入力されたサムネイルの映像を用いて、複数のサムネイルの映像を備えるサムネイルリストをディスプレイ部４１８０に表示することができる。一方、このようなサムネイルリスト内のサムネイルの映像は、次第に又は同時にアップデートされ得る。これによって、ユーザーは、複数の放送チャネルの内容を簡便に把握できるようになる。
ディスプレイ部４１８０は、制御部４１７０で処理された映像信号、データ信号、ＯＳＤ信号又は外部装置インターフェース部４１３５で受信される映像信号、データ信号等をそれぞれＲ、Ｇ、Ｂ信号に変換して駆動信号を生成する。
ディスプレイ部４１８０は、ＰＤＰ、ＬＣＤ、ＯＬＥＤ、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）等が可能である。
一方、ディスプレイ部４１８０は、タッチスクリーンで構成され、出力装置以外に入力装置として使用されることも可能である。
オーディオ出力部４１８５は、制御部４１７０で音声処理された信号、例えば、ステレオ信号、３．１チャネル信号又は５．１チャネル信号の入力を受け、音声に出力する。音声出力部４１８５は、様々な形態のスピーカーで実現され得る。
一方、ユーザーのジェスチャーを感知するために、前述したように、タッチセンサ、音声センサ、位置センサ、動作センサの少なくとも１つを備えるセンシング部（図示せず）がデジタル機器４１００にさらに備えられる。センシング部（図示せず）で感知された信号は、ユーザー入力インターフェース部４１５０を介して制御部４１７０へ伝達されることができる。
一方、ユーザーを撮影する撮影部（図示せず）がさらに備えられる。撮影部（図示せず）で撮影された映像情報は、制御部４１７０に入力され得る。
制御部４１７０は、撮影部（図示せず）から撮影された映像、又はセンシング部（図示せず）からの感知された信号をそれぞれ又は組み合わせてユーザーのジェスチャーを感知することもできる。
電源供給部４１９０は、デジタル機器４１００全般にわたって、該当電源を供給する。
特に、システムオンチップ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ、ＳＯＣ）の形態で実現され得る制御部４１７０と、映像表示のためのディスプレイ部４１８０、及びオーディオの出力のためのオーディオ出力部４１８５に電源を供給することができる。
このため、電源供給部４１９０は、交流電源を直流電源に変換するコンバータ（図示せず）を備えることができる。一方、例えば、ディスプレイ部４１８０が多数のバックライトランプを備える液晶パネルとして実現される場合、輝度可変又はディミング（ｄｉｍｍｉｎｇ）駆動のために、ＰＷＭ動作可能なインバータ（図示せず）をさらに備えることもできる。
遠隔制御装置４２００は、ユーザー入力をユーザー入力インターフェース部４１５０へ送信する。このため、遠隔制御装置４２００は、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）通信、赤外線（ＩＲ）通信、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）方式等を使用することができる。
また、遠隔制御装置４２００は、ユーザー入力インターフェース部４１５０で出力した映像、音声又はデータ信号等を受信し、これを遠隔制御装置４２００で表示するか、音声又は振動を出力することができる。
前述したデジタル機器４１００は、固定型又は移動型のＡＴＳＣ方式又はＤＶＢ方式のデジタル放送信号の処理が可能なデジタル放送受信機であり得る。
その他に、本明細書によるデジタル機器は、示している構成のうち、必要に応じて一部の構成を省略するか、逆に示していない構成をさらに含むこともある。一方、デジタル機器は、前述したところと異なり、チューナーと復調部を備えず、ネットワークインターフェース部又は外部装置インターフェース部を介してコンテンツを受信して再生することもできる。
図４２は、図３９乃至図４１の制御部の詳細構成の一実施例を説明するために示した構成のブロック図である。
制御部の一例は、逆多重化部４２１０、映像処理部４２２０、ＯＳＤ（ｏｎ−ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）生成部４２４０、ミキサー（ｍｉｘｅｒ）４２５０、フレームレート変換部（ｆｒａｍｅ ｒａｔｅ ｃｏｎｖｅｒｔｅｒ、ＦＲＣ）４２５５、及びフォーマット（ｆｏｒｍａｔｔｅｒ）４２６０を含み得る。その他、前記制御部は示していないが、音声処理部とデータ処理部をさらに含み得る。
逆多重化部４２１０は、入力されるストリームを逆多重化する。例えば、逆多重化部４２１０は、入力されるＭＰＥＧ−２ ＴＳ映像、音声及びデータ信号で逆多重化できる。ここで、逆多重化部４２１０に入力されるストリーム信号は、チューナー又は復調部又は外部装置インターフェース部で出力されるストリーム信号であり得る。
映像処理部４２２０は、逆多重化された映像信号の映像処理を行う。このため、映像処理部４２２０は、映像デコーダ４２２５及びスケーラー４２３５を備えることができる。
映像デコーダ４２２５は、逆多重化された映像信号を復号し、スケーラー４２３５は、復号された映像信号の解像度をディスプレイ部で出力可能なようにスケーリング（ｓｃａｌｉｎｇ）する。
映像デコーダ４２２５は、様々な規格を支援することができる。例えば、映像デコーダ４２２５は、映像信号がＭＰＥＧ−２規格で符号化された場合には、ＭＰＥＧ−２デコーダの機能を行い、映像信号がＤＭＢ（ｄｉｇｉｔａｌ ｍｕｌｔｉｍｅｄｉａ ｂｒｏａｄｃａｓｔｉｎｇ）方式又はＨ．２６４規格で符号化された場合には、Ｈ．２６４デコーダの機能を行うことができる。
一方、映像処理部４２２０で復号された映像信号は、ミキサー４２５０に入力される。
ＯＳＤ生成部４２４０は、ユーザー入力によって、又は自体的にＯＳＤデータを生成する。例えば、ＯＳＤ生成部４２４０は、ユーザー入力インターフェース部の制御信号に基づいて、ディスプレイ部４１８０の画面に各種データをグラフィック（ｇｒａｐｈｉｃ）やテキスト（ｔｅｘｔ）の形態で表示するためのデータを生成する。生成されるＯＳＤデータは、デジタル機器のユーザーインターフェース画面、様々なメニュ画面、 ウィジェット（ｗｉｄｇｅｔ）、アイコン（ｉｃｏｎ）、視聴率情報（ｖｉｅｗｉｎｇ ｒａｔｅ ｉｎｆｏｒｍａｔｉｏｎ）等の様々なデータを含む。
ＯＳＤ生成部４２４０は、放送映像の字幕又はＥＰＧに基づく放送情報を表示するためのデータを生成することもできる。
ミキサー４２５０は、ＯＳＤ生成部４２４０で生成されたＯＳＤデータと、映像処理部で映像処理された映像信号とをミキシングして、フォーマット４２６０に提供する。復号された映像信号とＯＳＤデータとがミキシングされることによって、放送映像又は外部入力映像上にＯＳＤがオーバーレイ（ｏｖｅｒｌａｙ）されて表示される。
フレームレート変換部（ＦＲＣ）４２５５は、入力される映像のフレームレート（ｆｒａｍｅ ｒａｔｅ）を変換する。例えば、フレームレート変換部４２５５は、入力される６０Ｈｚ映像のフレームレートをディスプレイ部の出力周波数によって、例えば、１２０Ｈｚ又は２４０Ｈｚのフレームレートを有するように変換できる。前記のように、フレームレートを変換する方法には様々な方法が存在し得る。一例として、フレームレート変換部４２５５は、フレームレートを６０Ｈｚから１２０Ｈｚに変換する場合、第１のフレームと第２のフレームとの間に同一の第１のフレームを挿入するか、第１のフレームと第２のフレームから予測された第３のフレームを挿入することによって変換できる。別の例として、フレームレート変換部４２５５は、フレームレートを６０Ｈｚから２４０Ｈｚに変換する場合、既存のフレーム間に同一のフレーム又は予測されたフレームを３つさらに挿入して変換できる。一方、別のフレームの変換を行わない場合には、フレームレート変換部４２５５をバイパス（ｂｙｐａｓｓ）することもできる。
フォーマット４２６０は、入力されるフレームレート変換部４２５５の出力をディスプレイ部の出力フォーマットに合わせて変更する。例えば、フォーマット４２６０は、Ｒ、Ｇ、Ｂデータ信号を出力することができ、このようなＲ、Ｇ、Ｂデータ信号は、低い電圧差分信号（ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ、ＬＶＤＳ）又はｍｉｎｉ−ＬＶＤＳで出力されることができる。また、フォーマット４２６０は、入力されるフレームレート変換部４２５５の出力が３Ｄ映像信号である場合には、ディスプレイ部の出力フォーマットに合わせて３Ｄの形態で構成して出力することによって、ディスプレイ部を介して３Ｄサービスを支援することもできる。
一方、制御部内の音声処理部（図示せず）は、逆多重化された音声信号の音声処理を行うことができる。このような音声処理部（図示せず）は、様々なオーディオフォーマットを処理するように支援することができる。一例として、音声信号がＭＰＥＧ−２、ＭＰＥＧ−４、ＡＡＣ、ＨＥ−ＡＡＣ、ＡＣ−３、ＢＳＡＣ等のフォーマットで符号化された場合にも、これに対応するデコーダを備えて処理できる。
また、制御部内の音声処理部（図示せず）は、ベース（ｂａｓｅ）、トレブル（ｔｒｅｂｌｅ）、音量調節等を処理することができる。
制御部内のデータ処理部（図示せず）は、逆多重化されたデータ信号のデータ処理を行うことができる。例えば、データ処理部は、逆多重化されたデータ信号が符号化された場合にも、これを復号することができる。ここで、符号化されたデータ信号としては、各チャネルで放映される放送プログラムの開始時刻、終了時刻などの放送情報が含まれたＥＰＧ情報であり得る。
一方、前述したデジタル機器は、本明細書による例示であって、各構成要素は、実際に実現されるデジタル機器の仕様によって、統合、追加、又は省略され得る。即ち、必要に応じて、２以上の構成要素が１つの構成要素に合わさるか、１つの構成要素が２以上の構成要素に細分化され得る。また、各ブロックで行う機能は、本明細書の実施例を説明するためのものであり、その具体的な動作や装置は、本明細書の権利範囲を制限しない。
一方、デジタル機器は、装置内に保存された映像又は入力される映像の信号処理を行う映像信号処理装置であり得る。映像信号処理装置の別の例としては、図４１に示しているディスプレイ部４１８０とオーディオ出力部４１８５が除外されたセットトップボックス（ＳＴＢ）、前述したＤＶＤプレーヤー、ブルーレイプレーヤー、ゲーム機器、コンピュータ等がさらに例示され得る。
図４３は、一実施例にかかるデジタル機器のスクリーンがメイン映像（ｍａｉｎ ｉｍａｇｅ）と補助映像（ｓｕｂ ｉｍａｇｅ）を同時にディスプレイする一例示を示す図である。
一実施例にかかるデジタル機器は、スクリーン４３００にメイン映像４３１０と補助映像４３２０を同時にディスプレイできる。メイン映像４３１０は、第１の映像と呼ばれ、補助映像４３２０は、第２の映像と呼ばれる。メイン映像４３１０と補助映像４３２０は、動画、スチルイメージ、ＥＰＧ（ｅｌｅｃｔｒｏｎｉｃ ｐｒｏｇｒａｍ ｇｕｉｄｅ）、ＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎ−ｔｅｒｆａｃｅ）、ＯＳＤ（ｏｎ−ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）等を含み得、これに限定されない。メイン映像４３１０は、電子装置のスクリーン４３００に補助映像４３２０と同時にディスプレイされながら、電子装置のスクリーン４３００より大きさが相対的に小さい映像を意味し得、ＰＩＰ（ｐｉｃｔｕｒｅ ｉｎ ｐｉｃｔｕｒｅ）と称することもある。図４３では、メイン映像４３１０がデジタル機器のスクリーン４３００の左側上段にディスプレイされるものと示されているが、メイン映像４３１０がディスプレイされる位置は、これに限定されず、メイン映像４３１０は、デジタル機器のスクリーン４３００内の任意の位置でディスプレイされ得る。
メイン映像４３１０と補助映像４３２０は、相互直接又は間接的に関連し得る。一例示として、メイン映像４３１０はストリーミング（ｓｔｒｅａｍｉｎｇ）動画であり、補助映像４３２０は、ストリーミング動画と類似する情報を含む動画のサムネイル（ｔｈｕｍｂｎａｉｌ）を順次にディスプレイするＧＵＩであり得る。別の例示として、メイン映像４３１０は放送映像（ｂｒｏａｄｃａｓｔｅｄ ｉｍａｇｅ）であり、補助映像４３２０は、ＥＰＧであり得る。また別の例示として、メイン映像４３１０は放送映像であり、補助映像４３２０はＧＵＩであり得る。メイン映像４３１０と補助映像４３２０の例示は、これに限定されない。
一実施例で、メイン映像４３１０は放送チャネル（ｂｒｏａｄｃａｓｔｉｎｇ ｃｈａｎｎｅｌ）を介して受信した放送映像（ｂｒｏａｄｃａｓｔｉｎｇ ｉｍａｇｅ）であり、補助映像４３２０は放送チャネルを介して受信した放送映像に関する情報であり得る。放送チャネルを介して受信した放送映像に関する情報は、例えば、総合チャネル編成表、放送プログラムの詳細情報等を含むＥＰＧ情報、放送プログラムの再放送情報等を含み得、これに限定されない。
別の一実施例で、メイン映像４３１０は放送チャネルを介して受信した放送映像であり、補助映像４３２０は、デジタル機器に既保存された情報に基づいて生成された映像であり得る。デジタル機器に既保存された情報に基づいて生成された映像は、例えば、ＥＰＧの基本ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、基本チャネル情報、映像解像度（ｒｅｓｏｌｕｔｉｏｎ）の操作ＵＩ、就寝予約ＵＩ等を含み得、これに限定されない。
また別の一実施例で、メイン映像４３１０は、放送チャネルを介して受信した放送映像であり、補助映像４３２０は、ネットワーク網を介して受信した放送映像に関する情報であり得る。ネットワーク網を介して受信した放送映像に関する情報は、例えば、ネットワークに基づく検索エンジンを介して獲得された情報であり得る。より具体的に例を挙げると、ネットワークに基づく検索エンジンを介して、現在のメイン映像４３１０にディスプレイされている登場人物に関する情報が獲得され得る。
しかし、例示はこれに限定されず、ネットワーク網を介して受信した放送映像に関する情報は、例えば、人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）システムを使用することによって獲得され得る。より具体的に例を挙げると、ネットワークに基づくディープラーニング（ｄｅｅｐ−ｌｅａｒｎｉｎｇ）を用いて、現在のメイン映像４３１０にディスプレイされている場所の地図上推定位置（ｅｓｔｉｍａｔｅｄ−ｌｏｃａｔｉｏｎ ｉｎ ｍａｐ）が獲得され得、デジタル機器は、ネットワーク網を介して、現在のメイン映像４３１０にディスプレイされている場所の地図上推定位置に関する情報を受信することができる。
一実施例にかかるデジタル機器は、外部からメイン映像４３１０の映像情報及び補助映像４３２０の映像情報の少なくとも１つを受信することができる。メイン映像４３１０の映像情報は、例えば、放送チャネル（ｂｒｏａｄｃａｓｔｉｎｇ ｃｈａｎｎｅｌ）を介して受信した放送信号（ｂｒｏａｄｃａｓｔｉｎｇ ｓｉｇｎａｌ）、メイン映像４３１０のソースコード（ｓｏｕｒｃｅ ｃｏｄｅ）情報、ネットワーク網を介して受信したメイン映像４３１０のＩＰパケット（ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ ｐａｃｋｅｔ）情報等を含み得、これに限定されない。同様に、補助映像４３２０の映像情報は、例えば、放送チャネルを介して受信した放送信号、補助映像４３２０のソースコード情報、ネットワーク網を介して受信した補助映像４３２０のＩＰパケット情報等を含み得、これに限定されない。デジタル機器は、外部から受信されたメイン映像４３１０の映像情報又は補助映像４３２０の映像情報をデコーディングして用いることができる。但し、場合によって、デジタル機器は、メイン映像４３１０の映像情報又は補助映像４３２０の映像情報を内部に自体的に保存していることもある。
デジタル機器は、メイン映像４３１０の映像情報及び補助映像４３２０に関する情報に基づいて、メイン映像４３１０と補助映像４３２０をデジタル機器のスクリーン４３００にディスプレイできる。
一例示で、デジタル機器のデコーディング装置２００は、メイン映像のデコーディング装置と補助映像のデコーディング装置を含み、メイン映像のデコーディング装置と補助映像のデコーディング装置は、それぞれメイン映像４３１０の映像情報と補助映像４３２０の映像情報をデコーディングすることができる。レンダラは、メイン映像のレンダラ（第１のレンダラ）と補助映像のレンダラ（第２のレンダラ）を含み、メイン映像のレンダラは、メイン映像のデコーディング装置でデコーディングされた情報に基づいて、メイン映像４３１０をデジタル機器のスクリーン４３００の第１の領域にディスプレイされるようにすることができ、補助映像のレンダラは、補助映像のデコーディング装置でデコーディングされた情報に基づいて、補助映像４３２０をデジタル機器のスクリーン４３００の第２の領域にディスプレイされるようにすることができる。
また別の例示で、デジタル機器のデコーディング装置２００は、メイン映像４３１０の映像情報と補助映像４３２０の映像情報をデコーディングすることができる。デコーディング装置２００でデコーディングされた情報に基づいて、レンダラは、メイン映像４３１０及び補助映像４３２０を共に処理して、同時にデジタル機器のスクリーン４３００にディスプレイされるようにすることができる。
即ち、本文書によると、デジタル機器で映像サービス処理方法を提供することができる。前記映像サービス処理方法によると、映像情報を受信する段階、前記映像情報に基づいて（メイン）映像をデコーディングする段階、デコーディングされた映像をディスプレイ内の第１の領域にレンダリング又はディスプレイする段階、ディスプレイ内の第２の領域に補助映像をレンダリング又はディスプレイする段階を含み得る。この場合、第１の映像をデコーディングする段階は、前述した図３によるデコーディング装置２００でのデコーディング手続に従うことができる。例えば、前述したように、第１の映像をデコーディングする段階は、インター又はイントラ予測に基づいて現在ブロックに対する予測サンプルを導出する段階、受信された残差情報に基づいて現在ブロックに対する残差サンプルを導出する段階（省略可能）、及び予測サンプル及び／又は残差サンプルに基づいて復元サンプルを生成する段階を含み得る。さらに、第１の映像をデコーディングする段階は、復元サンプルを含む復元ピクチャにインループフィルタリング手続を行うことを含むこともできる。
例えば、前記補助映像は、ＥＰＧ（ｅｌｅｃｔｒｏｎｉｃ ｐｒｏｇｒａｍ ｇｕｉｄｅ）、ＯＳＤ（ｏｎ ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）、又はＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）であってもよい。例えば、前記映像情報は、放送網（ｂｒｏａｄｃａｓｔ ｎｅｔｗｏｒｋ）を介して受信され、前記補助映像に関する情報は、前記放送網を介して受信されることができる。例えば、前記映像情報は、通信網（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ）を介して受信され、前記補助映像に関する情報は、前記通信網を介して受信されることができる。例えば、前記映像情報は、放送網を介して受信され、前記補助映像に関する情報は、通信網を介して受信されることができる。例えば、前記映像情報は、放送網又は通信網を介して受信され、前記補助映像に関する情報は、前記デジタル機器内の保存媒体に保存されていてもよい。
以上で説明された実施例は、本発明の構成要素と特徴が所定の形態で結合されたものである。各構成要素又は特徴は、別途の明示的言及がない限り、選択的なものと考慮されるべきである。各構成要素又は特徴は、他の構成要素や特徴と結合されない形態で実施され得る。また、一部の構成要素及び／又は特徴を結合し、本発明の実施例を構成することも可能である。本発明の実施例で説明される動作の順序は変更され得る。いずれかの実施例の一部の構成や特徴は他の実施例に含まれてもよく、又は他の実施例の対応する構成又は特徴と交替し得る。特許請求範囲で明示的な引用関係がない請求項を結合して実施例を構成するか、出願後の補正によって新しい請求項に含ませ得ることは自明である。
本発明にかかる実施例は、様々な手段、例えば、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア又はそれらの結合などにより実現され得る。ハードウェアによる実現の場合、本発明の一実施例は、１つ又はそれ以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ等により実現され得る。
ファームウェアやソフトウェアによる実現の場合、本明細書の一実施例は、以上で説明された機能又は動作を行うモジュール、手続、関数等の形態で実現され得る。ソフトウェアコードは、メモリに保存され、プロセッサによって駆動され得る。前記メモリは、前記プロセッサの内部又は外部に位置し、既に公知となった多様な手段により前記プロセッサとデータをやり取りすることができる。
本発明は、本発明の必須的特徴を外れない範囲で、他の特定の形態で具体化できることは当業者にとって自明である。従って、前述した詳細な説明は、全ての面で制限的に解釈されてはならず、例示的なものと考慮されるべきである。本発明の範囲は、添付された請求項の合理的解釈によって決定されなければならず、本発明の等価的範囲内での全ての変更は、本発明の範囲に含まれる。
以上、前述した本発明の好ましい実施例は、例示の目的のために開示されたものであって、当業者であれば、以下添付される特許請求範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な他の実施例を改良、変更、代替又は付加等が可能である。
Claims (14)
- 履歴ベース動きベクトル予測に基づいてビデオ信号を処理する方法において、
現在ブロックの隣接ブロックに基づいて、マージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成する段階と、
前記マージ候補リストに含まれたマージ候補の数が、予め定義された第１の大きさより小さい場合、前記現在ブロックの履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を前記マージ候補リストに追加する段階と、
前記マージ候補リストに含まれたマージ候補の数が、予め定義された第２の大きさより小さい場合、前記マージリストにゼロ動きベクトルを追加する段階と、
前記マージ候補リスト内で前記現在ブロックのインター予測に用いられるマージ候補を指示するマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を獲得する段階と、
前記マージインデックスにより指示されるマージ候補の動き情報に基づいて、前記現在ブロックの予測サンプルを生成する段階と、
前記動き情報に基づいて、履歴ベースマージ候補リスト（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）をアップデートする段階とを含み、
前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち予め定義されたマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加される、ビデオ信号処理方法。 - 前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数に基づいて決定される大きさを有するように定義される、請求項１に記載のビデオ信号処理方法。
- 前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数から１を減算した値の大きさを有するように定義される、請求項１に記載のビデオ信号処理方法。
- 前記履歴ベースマージ候補リストの大きさは５で定義される、請求項１に記載のビデオ信号処理方法。
- 前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち、予め定義された特定の数のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加される、請求項１に記載のビデオ信号処理方法。
- 前記履歴ベースマージ候補は、前記マージ候補リストに含まれた特定の空間のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加される、請求項１に記載のビデオ信号処理方法。
- 前記履歴ベースマージ候補は、前記履歴ベースマージ候補リスト内で予め定義された特定の数の候補から誘導される、請求項６に記載のビデオ信号処理方法。
- インター予測に基づいてビデオ信号を処理する装置において、
前記ビデオ信号を保存するメモリと、
前記メモリと結合したプロセッサとを含み、
前記プロセッサは、
現在ブロックの隣接ブロックに基づいてマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成し、
前記マージ候補リストに含まれたマージ候補の数が、予め定義された第１の大きさより小さい場合、前記現在ブロックの履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を前記マージ候補リストに追加し、
前記マージ候補リストに含まれたマージ候補の数が、予め定義された第２の大きさより小さい場合、前記マージリストにゼロ動きベクトルを追加し、
前記マージ候補リスト内で前記現在ブロックのインター予測に用いられるマージ候補を指示するマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を獲得し、
前記マージインデックスにより指示されるマージ候補の動き情報に基づいて前記現在ブロックの予測サンプルを生成し、
前記動き情報に基づいて履歴ベースマージ候補リスト（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）をアップデートし、
前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち、予め定義されたマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加される、ビデオ信号処理装置。 - 前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数に基づいて決定される大きさを有するように定義される、請求項８に記載のビデオ信号処理装置。
- 前記履歴ベースマージ候補リストは、前記マージ候補リストの最大のマージ候補の数から１を減算した値の大きさを有するように定義される、請求項８に記載のビデオ信号処理装置。
- 前記履歴ベースマージ候補リストの大きさは５で定義される、請求項８に記載のビデオ信号処理装置。
- 前記履歴ベースマージ候補は、前記マージ候補リストに含まれたマージ候補のうち、予め定義された特定の数のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加される、請求項８に記載のビデオ信号処理装置。
- 前記履歴ベースマージ候補は、前記マージ候補リストに含まれた特定の空間のマージ候補と重複しない動き情報を有する場合、前記マージ候補リストに追加される、請求項８に記載のビデオ信号処理装置。
- 前記履歴ベースマージ候補は、前記履歴ベースマージ候補リスト内で予め定義された特定の数の候補から誘導される、請求項１３に記載のビデオ信号処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962787364P | 2019-01-01 | 2019-01-01 | |
| US62/787,364 | 2019-01-01 | ||
| PCT/KR2020/000071 WO2020141914A1 (ko) | 2019-01-01 | 2020-01-02 | 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021513795A true JP2021513795A (ja) | 2021-05-27 |
Family
ID=71406619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020543029A Pending JP2021513795A (ja) | 2019-01-01 | 2020-01-02 | 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11924406B2 (ja) |
| EP (1) | EP3731522A4 (ja) |
| JP (1) | JP2021513795A (ja) |
| KR (1) | KR102443965B1 (ja) |
| CN (1) | CN112042191B (ja) |
| WO (1) | WO2020141914A1 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210297659A1 (en) | 2018-09-12 | 2021-09-23 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for starting checking hmvp candidates depend on total number minus k |
| JP2021530184A (ja) * | 2018-06-29 | 2021-11-04 | 北京字節跳動網絡技術有限公司Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | マージ／ａｍｖｐにｈｍｖｐ候補を追加する際の一部／全部プルーニング |
| US11463685B2 (en) | 2018-07-02 | 2022-10-04 | Beijing Bytedance Network Technology Co., Ltd. | LUTS with intra prediction modes and intra mode prediction from non-adjacent blocks |
| US11528501B2 (en) | 2018-06-29 | 2022-12-13 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between LUT and AMVP |
| US11589071B2 (en) | 2019-01-10 | 2023-02-21 | Beijing Bytedance Network Technology Co., Ltd. | Invoke of LUT updating |
| US11641483B2 (en) | 2019-03-22 | 2023-05-02 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
| US11695921B2 (en) | 2018-06-29 | 2023-07-04 | Beijing Bytedance Network Technology Co., Ltd | Selection of coded motion information for LUT updating |
| US11877002B2 (en) | 2018-06-29 | 2024-01-16 | Beijing Bytedance Network Technology Co., Ltd | Update of look up table: FIFO, constrained FIFO |
| US11895318B2 (en) | 2018-06-29 | 2024-02-06 | Beijing Bytedance Network Technology Co., Ltd | Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks |
| US11909989B2 (en) | 2018-06-29 | 2024-02-20 | Beijing Bytedance Network Technology Co., Ltd | Number of motion candidates in a look up table to be checked according to mode |
| US11909951B2 (en) | 2019-01-13 | 2024-02-20 | Beijing Bytedance Network Technology Co., Ltd | Interaction between lut and shared merge list |
| US11956464B2 (en) | 2019-01-16 | 2024-04-09 | Beijing Bytedance Network Technology Co., Ltd | Inserting order of motion candidates in LUT |
| US11973971B2 (en) | 2018-06-29 | 2024-04-30 | Beijing Bytedance Network Technology Co., Ltd | Conditions for updating LUTs |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11356657B2 (en) * | 2018-01-26 | 2022-06-07 | Hfi Innovation Inc. | Method and apparatus of affine inter prediction for video coding system |
| EP4351146A2 (en) * | 2018-04-13 | 2024-04-10 | LG Electronics Inc. | Method and apparatus for inter prediction in video processing system |
| KR20190133629A (ko) * | 2018-05-23 | 2019-12-03 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| CN113812165B (zh) * | 2019-05-09 | 2023-05-23 | 北京字节跳动网络技术有限公司 | 对hmvp表的改进 |
| CN113423004B (zh) * | 2021-08-23 | 2021-11-30 | 杭州一知智能科技有限公司 | 基于解耦译码的视频字幕生成方法和系统 |
| WO2023132615A1 (ko) * | 2022-01-04 | 2023-07-13 | 현대자동차주식회사 | 쌍 머지 후보들을 생성하여 머지 후보 리스트를 구성하는 비디오 부호화/복호화 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048904A1 (en) * | 2016-09-06 | 2018-03-15 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| JP2021052373A (ja) * | 2018-12-28 | 2021-04-01 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
Family Cites Families (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1204279A3 (en) * | 2000-10-31 | 2002-05-15 | Interuniversitair Microelektronica Centrum Vzw | A method and apparatus for adaptive encoding framed data sequences |
| US8797414B2 (en) * | 2010-12-23 | 2014-08-05 | Samsung Electronics Co., Ltd. | Digital image stabilization device |
| MX351933B (es) * | 2011-08-29 | 2017-11-01 | Ibex Pt Holdings Co Ltd | Método para generar un bloque de predicción en modo de predicción de vector de movimiento avanzada (amvp). |
| KR101835625B1 (ko) * | 2011-10-26 | 2018-04-19 | 인텔렉추얼디스커버리 주식회사 | 움직임 후보 리스트 생성 방법 및 그를 이용한 부호화 장치 |
| EP2806637B1 (en) * | 2012-01-19 | 2020-10-21 | Electronics And Telecommunications Research Institute | Method for image coding/decoding |
| US20170310988A1 (en) * | 2014-12-09 | 2017-10-26 | Mediatek Inc. | Method of Motion Vector Predictor or Merge Candidate Derivation in Video Coding |
| US10560718B2 (en) * | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
| KR102660666B1 (ko) * | 2018-06-29 | 2024-04-26 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut들을 업데이트하기 위한 조건들 |
| BR112020024202A2 (pt) * | 2018-06-29 | 2021-02-17 | Beijing Bytedance Network Technology Co., Ltd. | método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório |
| CN110662053B (zh) * | 2018-06-29 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 使用查找表的视频处理方法、装置和存储介质 |
| KR20210025537A (ko) * | 2018-06-29 | 2021-03-09 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념 |
| KR20210024502A (ko) * | 2018-06-29 | 2021-03-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝 |
| BR112021000004A8 (pt) * | 2018-07-06 | 2023-02-07 | Mediatek Inc | Informações de movimento herdadas para decodificar uma unidade de codificação atual em um sistema de codificação de vídeo |
| US11606575B2 (en) * | 2018-07-10 | 2023-03-14 | Qualcomm Incorporated | Multiple history based non-adjacent MVPs for wavefront processing of video coding |
| MX2023002949A (es) * | 2018-07-18 | 2023-11-07 | Beijing Dajia Internet Information Tech Co Ltd | Métodos y aparato de codificación de video que usa el campo técnico de predicción de vectores de movimiento basado en el historial. |
| US10958934B2 (en) * | 2018-07-27 | 2021-03-23 | Tencent America LLC | History-based affine merge and motion vector prediction |
| EP3834422A4 (en) * | 2018-08-10 | 2021-09-15 | Huawei Technologies Co., Ltd. | CODIFICATION PROCESS, DEVICE AND SYSTEM WITH MERGING MODE |
| US11336914B2 (en) * | 2018-08-16 | 2022-05-17 | Qualcomm Incorporated | History-based candidate list with classification |
| TWI820211B (zh) * | 2018-09-12 | 2023-11-01 | 大陸商北京字節跳動網絡技術有限公司 | 取決於總數減去k的開始檢查hmvp候選的條件 |
| CN113170178A (zh) * | 2018-09-12 | 2021-07-23 | 北京达佳互联信息技术有限公司 | 对合并候选列表的构建的修改 |
| US11297330B2 (en) * | 2018-09-22 | 2022-04-05 | Lg Electronics Inc. | Method and apparatus for processing video signal based on inter prediction |
| US11070796B2 (en) * | 2018-09-28 | 2021-07-20 | Qualcomm Incorporated | Ultimate motion vector expression based pruning for video coding |
| WO2020071829A1 (ko) * | 2018-10-04 | 2020-04-09 | 엘지전자 주식회사 | 히스토리 기반 영상 코딩 방법 및 그 장치 |
| US20200112715A1 (en) * | 2018-10-05 | 2020-04-09 | Qualcomm Incorporated | History-based motion vector prediction for inter prediction coding |
| CN114449266B (zh) * | 2018-10-08 | 2023-02-17 | 北京达佳互联信息技术有限公司 | 用于对视频信号进行编码的方法 |
| SG11202103661XA (en) * | 2018-10-10 | 2021-05-28 | Huawei Tech Co Ltd | Inter prediction method and apparatus |
| KR102466900B1 (ko) * | 2018-10-11 | 2022-11-14 | 삼성전자주식회사 | 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 방법, 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 장치 |
| EP3861743B1 (en) * | 2018-10-24 | 2023-12-27 | Huawei Technologies Co., Ltd. | Video decoder and methods |
| EP3854092A4 (en) * | 2018-11-02 | 2021-11-17 | Beijing Bytedance Network Technology Co. Ltd. | KEEPING TABLES FOR THE STORAGE OF HMVP CANDIDATES |
| WO2020098713A1 (en) * | 2018-11-13 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate list construction for prediction |
| WO2020098802A1 (en) * | 2018-11-15 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Merge with mvd for affine |
| WO2020098813A1 (en) * | 2018-11-16 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Usage for history-based affine parameters |
| US11381807B2 (en) * | 2018-11-21 | 2022-07-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods of video picture coding with sub-block merge simplification and related apparatuses |
| WO2020103935A1 (en) * | 2018-11-22 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Blending method for inter prediction with geometry partition |
| SG11202105354YA (en) * | 2018-11-22 | 2021-06-29 | Huawei Tech Co Ltd | An encoder, a decoder and corresponding methods for inter prediction |
| US11184633B2 (en) * | 2018-11-27 | 2021-11-23 | Qualcomm Incorporated | Simplification of history-based motion vector prediction |
| WO2020108649A1 (en) * | 2018-11-29 | 2020-06-04 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between intra block copy mode and inter prediction tools |
| WO2020114407A1 (en) * | 2018-12-03 | 2020-06-11 | Beijing Bytedance Network Technology Co., Ltd. | Partial pruning method for hmvp mode |
| WO2020117016A1 (ko) * | 2018-12-06 | 2020-06-11 | 엘지전자 주식회사 | 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
| US11122288B2 (en) * | 2018-12-06 | 2021-09-14 | Qualcomm Incorporated | Spatio-temporal motion vector prediction patterns for video coding |
| US11197017B2 (en) * | 2018-12-06 | 2021-12-07 | Tencent America LLC | Methods and apparatuses for video coding |
| CN116847107A (zh) * | 2018-12-06 | 2023-10-03 | Lg电子株式会社 | 基于帧间预测处理和编码视频信号的方法和数据发送方法 |
| US11012697B2 (en) * | 2018-12-07 | 2021-05-18 | Qualcomm Incorporated | Shared candidate list and parallel candidate list derivation for video coding |
| CA3190343A1 (en) * | 2018-12-12 | 2020-06-18 | Lg Electronics Inc. | Method and apparatus for processing video signal based on history based motion vector prediction |
| US10855992B2 (en) * | 2018-12-20 | 2020-12-01 | Alibaba Group Holding Limited | On block level bi-prediction with weighted averaging |
| KR20240000647A (ko) * | 2018-12-28 | 2024-01-02 | 고도 가이샤 아이피 브릿지 1 | 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법, 동화상 복호 프로그램, 기록 매체, 전송 방법 및 기록 방법 |
| WO2020139184A1 (en) * | 2018-12-28 | 2020-07-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Generating a motion vector predictor list |
| BR112021012479A2 (pt) * | 2018-12-28 | 2021-09-08 | Jvckenwood Corporation | Dispositivo de codificação de imagem em movimento, método de codificação de imagem em movimento, programa de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de decodificação de imagem em movimento e programa de decodificação de imagem em movimento |
| US11032574B2 (en) * | 2018-12-31 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding |
-
2020
- 2020-01-02 EP EP20736070.2A patent/EP3731522A4/en not_active Ceased
- 2020-01-02 JP JP2020543029A patent/JP2021513795A/ja active Pending
- 2020-01-02 CN CN202080002083.1A patent/CN112042191B/zh active Active
- 2020-01-02 WO PCT/KR2020/000071 patent/WO2020141914A1/ko unknown
- 2020-01-02 KR KR1020207019979A patent/KR102443965B1/ko active IP Right Grant
- 2020-07-23 US US16/937,409 patent/US11924406B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048904A1 (en) * | 2016-09-06 | 2018-03-15 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| JP2021052373A (ja) * | 2018-12-28 | 2021-04-01 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
Non-Patent Citations (4)
| Title |
|---|
| BROSS, BENJAMIN ET AL.: "Versatile Video Coding (Draft 3)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L1001 (version 11), JPN6021035838, 20 December 2018 (2018-12-20), ISSN: 0004920714 * |
| ZHANG, LI ET AL.: "CE4: History-based Motion Vector Prediction (Test 4.4.7)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L0266 (version 3), JPN6021035839, 4 October 2018 (2018-10-04), ISSN: 0004920713 * |
| ZHANG, LI ET AL.: "CE4-related: History-based Motion Vector Prediction", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUB, vol. JVET-K0104 (version 5), JPN6021035836, 18 July 2018 (2018-07-18), ISSN: 0004754101 * |
| ZHAO, JIE ET AL.: "CE4-related: Simplification to History Based Motion Vector Prediction", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L0309 (version 3), JPN6021035837, 3 October 2018 (2018-10-03), ISSN: 0004754102 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11695921B2 (en) | 2018-06-29 | 2023-07-04 | Beijing Bytedance Network Technology Co., Ltd | Selection of coded motion information for LUT updating |
| US11528501B2 (en) | 2018-06-29 | 2022-12-13 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between LUT and AMVP |
| US11973971B2 (en) | 2018-06-29 | 2024-04-30 | Beijing Bytedance Network Technology Co., Ltd | Conditions for updating LUTs |
| US11909989B2 (en) | 2018-06-29 | 2024-02-20 | Beijing Bytedance Network Technology Co., Ltd | Number of motion candidates in a look up table to be checked according to mode |
| US11706406B2 (en) | 2018-06-29 | 2023-07-18 | Beijing Bytedance Network Technology Co., Ltd | Selection of coded motion information for LUT updating |
| US11528500B2 (en) | 2018-06-29 | 2022-12-13 | Beijing Bytedance Network Technology Co., Ltd. | Partial/full pruning when adding a HMVP candidate to merge/AMVP |
| US11895318B2 (en) | 2018-06-29 | 2024-02-06 | Beijing Bytedance Network Technology Co., Ltd | Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks |
| US11877002B2 (en) | 2018-06-29 | 2024-01-16 | Beijing Bytedance Network Technology Co., Ltd | Update of look up table: FIFO, constrained FIFO |
| JP7100200B2 (ja) | 2018-06-29 | 2022-07-12 | 北京字節跳動網絡技術有限公司 | マージ／ａｍｖｐにｈｍｖｐ候補を追加する際の一部／全部プルーニング |
| JP2021530184A (ja) * | 2018-06-29 | 2021-11-04 | 北京字節跳動網絡技術有限公司Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | マージ／ａｍｖｐにｈｍｖｐ候補を追加する際の一部／全部プルーニング |
| US11463685B2 (en) | 2018-07-02 | 2022-10-04 | Beijing Bytedance Network Technology Co., Ltd. | LUTS with intra prediction modes and intra mode prediction from non-adjacent blocks |
| US20210297659A1 (en) | 2018-09-12 | 2021-09-23 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for starting checking hmvp candidates depend on total number minus k |
| US11589071B2 (en) | 2019-01-10 | 2023-02-21 | Beijing Bytedance Network Technology Co., Ltd. | Invoke of LUT updating |
| US11909951B2 (en) | 2019-01-13 | 2024-02-20 | Beijing Bytedance Network Technology Co., Ltd | Interaction between lut and shared merge list |
| US11956464B2 (en) | 2019-01-16 | 2024-04-09 | Beijing Bytedance Network Technology Co., Ltd | Inserting order of motion candidates in LUT |
| US11962799B2 (en) | 2019-01-16 | 2024-04-16 | Beijing Bytedance Network Technology Co., Ltd | Motion candidates derivation |
| US11641483B2 (en) | 2019-03-22 | 2023-05-02 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112042191B (zh) | 2024-03-19 |
| US20200404254A1 (en) | 2020-12-24 |
| EP3731522A4 (en) | 2021-04-14 |
| US11924406B2 (en) | 2024-03-05 |
| WO2020141914A1 (ko) | 2020-07-09 |
| KR102443965B1 (ko) | 2022-09-19 |
| CN112042191A (zh) | 2020-12-04 |
| KR20200094788A (ko) | 2020-08-07 |
| EP3731522A1 (en) | 2020-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7073501B2 (ja) | 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置 | |
| KR102443965B1 (ko) | 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 | |
| JP7260557B2 (ja) | インター予測に基づいて、ビデオ信号を処理するための方法および装置 | |
| US11570430B2 (en) | Method and device for processing video signal on basis of inter-prediction | |
| US20220078407A1 (en) | Method and apparatus for processing video signal on basis of inter prediction | |
| RU2807594C2 (ru) | Способ и устройство для обработки видеосигнала на основании основанного на истории предсказания вектора движения | |
| RU2773431C1 (ru) | Способ и устройство для обработки видеосигнала на основании основанного на истории предсказания вектора движения |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200811 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200811 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221115 |