CN111771376B - 以基于历史的运动向量预测为基础处理视频信号的方法和设备 - Google Patents
以基于历史的运动向量预测为基础处理视频信号的方法和设备 Download PDFInfo
- Publication number
- CN111771376B CN111771376B CN201980014711.5A CN201980014711A CN111771376B CN 111771376 B CN111771376 B CN 111771376B CN 201980014711 A CN201980014711 A CN 201980014711A CN 111771376 B CN111771376 B CN 111771376B
- Authority
- CN
- China
- Prior art keywords
- merge
- hmvp
- candidates
- candidate list
- merge candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 446
- 238000000034 method Methods 0.000 title claims abstract description 204
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 239000013598 vector Substances 0.000 title claims description 215
- 230000002123 temporal effect Effects 0.000 claims description 38
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 256
- 108091006146 Channels Proteins 0.000 description 109
- 230000008569 process Effects 0.000 description 71
- 239000000523 sample Substances 0.000 description 58
- 238000013138 pruning Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 45
- 238000004891 communication Methods 0.000 description 42
- 238000003860 storage Methods 0.000 description 36
- 238000009966 trimming Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 238000001914 filtration Methods 0.000 description 19
- 230000005236 sound signal Effects 0.000 description 17
- 230000002829 reductive effect Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 230000007774 longterm Effects 0.000 description 13
- 238000009795 derivation Methods 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 10
- 230000011664 signaling Effects 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 5
- 208000018633 pure hair and nail ectodermal dysplasia Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 238000001824 photoionisation detection Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000591286 Homo sapiens Myocardin-related transcription factor A Proteins 0.000 description 1
- 102100034099 Myocardin-related transcription factor A Human genes 0.000 description 1
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 229920000306 polymethylpentene Polymers 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
根据本发明公开了一种处理视频信号的方法及其装置。具体地，基于帧间预测来处理视频信号的方法可包括以下步骤：基于与当前块空间和时间邻近的块来编译合并候选列表；向合并候选列表添加基于当前块的历史的基于历史的合并候选；获取指示合并候选列表中要用于当前块的帧间预测的合并候选的合并索引；基于合并索引所指示的合并候选的运动信息来生成当前块的预测样本；以及基于运动信息来更新基于历史的合并候选列表，其中，如果基于历史的合并候选的运动信息不与包括在合并候选列表中的合并候选当中预定的合并候选的运动信息相同，则基于历史的合并候选被添加到合并候选列表。
Description
相关申请的交叉引用
本申请是2019年12月12日提交的国际申请No.PCT/KR2019/017607在35 U.S.371下的国家阶段提交，其要求2018年12月12日提交的美国临时申请No.62/778,835的权益，其全部内容通过引用并入本文。
技术领域
本公开的实施方式涉及基于帧间预测来处理视频信号的方法和设备，更具体地，涉及一种使用基于历史的运动向量预测来执行帧间预测的方法和设备。
背景技术
压缩编码意指一系列通过通信线路发送数字化信息的信号处理技术或者以适合于存储介质的形式存储信息的技术。包括画面、图像、音频等的介质可以是压缩编码的目标，具体地，对画面执行压缩编码的技术被称为视频图像压缩。
下一代视频内容应该具有高空间分辨率、高帧频和高场景表示维度的特性。为了处理这些内容，将导致存储器存储、存储器存取速率和处理能力急剧增加。
因此，需要设计一种高效地处理下一代视频内容的编码工具。
发明内容
技术问题
本公开的实施方式的目的在于提出在将HMVP候选添加到合并候选列表(或AMVP候选列表)时对冗余检查的约束以用于增强预测效率。
本公开的实施方式的另一目的在于提出一种定义HMVP表的大小以便高效地将HVMV候选应用于合并候选列表(或AMVP候选列表)的方法。
本公开的实施方式中要实现的技术目的不限于上述技术目的，本公开所属领域的普通技术人员可从以下描述显而易见地理解上面没有描述的其它技术目的。
技术方案
在本公开的实施方式的一方面，一种以基于历史的运动向量预测为基础处理视频信号的方法可包括以下步骤：基于当前块的空间邻近块和时间邻近块来配置合并候选列表；将当前块的基于历史的合并候选添加到合并候选列表；获得指示合并候选列表内用于当前块的帧间预测的合并候选的合并索引；基于合并索引所指示的合并候选的运动信息来生成当前块的预测样本；以及基于运动信息来更新基于历史的合并候选列表，其中，当基于历史的合并候选具有与包括在合并候选列表中的合并候选中的预定义的合并候选不同的运动信息时，基于历史的合并候选被添加到合并候选列表。
在实施方式中，可基于合并候选列表内的合并候选的最大数量来确定基于历史的合并候选列表的大小。
在实施方式中，基于历史的合并候选列表的大小可被确定为从合并候选列表内的合并候选的最大数量减1的值。
在实施方式中，基于历史的合并候选列表的大小可被定义为5。
在实施方式中，当基于历史的合并候选包括与包括在合并候选列表中的合并候选当中的特定数量的预定义合并候选的运动信息不同的运动信息时，基于历史的合并候选可被添加到合并候选列表。
在实施方式中，当基于历史的合并候选包括与包括在合并候选列表中的特定空间合并候选的运动信息不同的运动信息时，基于历史的合并候选可被添加到合并候选列表。
在实施方式中，可从基于历史的合并候选列表内的预定数量的候选推导基于历史的合并候选。
在实施方式的另一方面，一种基于帧间预测来处理视频信号的设备可包括：存储器，其被配置为存储视频信号；以及处理器，其被组合到存储器，其中，处理器被配置用于：基于当前块的空间邻近块和时间邻近块来配置合并候选列表；将当前块的基于历史的合并候选添加到合并候选列表；获得指示合并候选列表内用于当前块的帧间预测的合并候选的合并索引；基于合并索引所指示的合并候选的运动信息来生成当前块的预测样本；并且基于运动信息来更新基于历史的合并候选列表，其中，当基于历史的合并候选具有与包括在合并候选列表中的合并候选中的预定义的合并候选不同的运动信息时，基于历史的合并候选被添加到合并候选列表。
技术效果
根据本公开的实施方式，通过限制用于添加到合并候选列表(或AMVP候选列表)的冗余检查，根据冗余检查的复杂度可改进并且压缩性能可增强。
根据本公开的实施方式，通过定义HMVP表的大小，与存储HMVP表关联的存储器负担可减小。
在本公开中可获得的效果不限于上述效果，本公开所属领域的普通技术人员可从以下描述显而易见地理解上面没有描述的其它技术效果。
附图说明
附图作为详细描述的一部分被包括以便帮助理解本公开，附图提供本公开的实施方式并且与详细描述一起描述本公开的技术特性。
图1示出根据本公开的实施方式的视频编码系统的示例。
图2是应用本公开的实施方式，并且是对视频/图像信号进行编码的编码设备的示意性框图。
图3是应用本公开的实施方式，并且是对视频/图像信号进行解码的解码设备的示意性框图。
图4示出根据本公开的实施方式的内容流系统的结构图的示例。
图5示出根据本公开的实施方式的处理视频信号的设备的框图的示例。
图6是根据本公开的实施方式的块分裂结构的示例，图6a至图6d分别示出根据四叉树(QT)、二叉树(BT)、三叉树(TT)和不对称树(AT)的块分裂结构的示例。
图7和图8分别是根据本公开的实施方式的编码设备内的基于帧间预测的视频/图像编码过程和帧间预测器。
图9和图10分别是根据本公开的实施方式的解码设备内的基于帧间预测的视频/图像解码过程和帧间预测器。
图11示出为当前块构造空间合并候选的示例。
图12是示出根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
图13是示出根据应用本公开的实施方式的配置预测候选列表(MVP候选列表)的方法的流程图。
图14示出根据本公开的实施方式的运动模型的示例。
图15示出根据本公开的实施方式的用于仿射运动预测的控制点运动向量的示例。
图16示出已应用根据本公开的实施方式的仿射运动预测的块的各个子块的运动向量的示例。
图17示出根据本公开的实施方式的在仿射合并模式下用于仿射运动预测的邻近块的示例。
图18示出使用已应用根据本公开的实施方式的仿射运动预测的邻近块执行仿射运动预测的块的示例。
图19是用于描述根据本公开的实施方式的使用邻居仿射编码块生成合并候选列表的方法的图。
图20和图21是用于描述根据本公开的实施方式的使用通过仿射预测编码的邻近块来构造仿射合并候选列表的方法的图。
图22示出根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
图23示出根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
图24和图25是示出根据本公开的实施方式的在仿射帧间模式下使用邻近块的运动信息来推导运动向量候选的方法的图。
图26示出根据本公开的实施方式的子块单元的仿射运动向量场的示例。
图27是用于描述根据本公开的实施方式的存储HMVP的方法的流程图。
图28是用于描述根据本公开的实施方式的以无约束FIFO方式操作的HMVP表的图。
图29是用于描述根据本公开的实施方式的以约束FIFO方式操作的HMVP表的图。
图30是示出根据本公开的实施方式的HMVP LUT和长期HMVP LUT的图。
图31是示出根据本公开的实施方式的更新HMVP LUT的方法的示例的图。
图32是示出根据本公开的实施方式的限制HMVP候选(即，修剪检查的目标)的数量的方法的图。
图33是示出根据本公开的实施方式的执行修剪检查的方法的示例的流程图。
图34是用于描述根据本公开的实施方式的使用参考不同参考画面的运动向量来推导H-STMVP候选的方法的图。
图35是示出根据本公开的实施方式的用于推导继承的仿射HMVP候选的块的位置的图。
图36是示出根据本公开的实施方式的仿射合并列表或仿射AMVP列表的图。
图37是示出根据应用本公开的实施方式的以基于历史的运动向量预测为基础处理视频信号的方法的流程图。
图38是示意性地示出包括数字装置的服务系统的示例的图。
图39是示出根据实施方式的数字装置的框图。
图40是示出数字装置的另一实施方式的配置框图。
图41是示出根据另一实施方式的数字装置的框图。
图42是示出图39至图41的控制单元的详细配置的框图。
图43是示出根据实施方式的数字装置的屏幕同时显示主图像和子图像的示例的图。
具体实施方式
以下，将参照附图描述本公开的优选实施方式。下面将利用附图描述的描述是为了描述本公开的示例性实施方式，而非旨在描述可实现本公开的仅有实施方式。下面的描述包括特定细节以便提供本公开的完美理解。然而，将理解，对于本领域技术人员而言，本公开可在没有这些特定细节的情况下具体实现。在一些情况下，为了防止本公开的技术概念不清楚，公知的结构或装置可被省略，或者可被描绘为集中于结构或装置的核心功能的框图。
在一些情况下，为了防止本公开的技术概念不清楚，公知的结构或装置可被省略，或者可被描绘为集中于结构或装置的核心功能的框图。
此外，尽管在本公开中尽可能选择目前广泛使用的一般术语作为术语，但是在特定情况下使用申请人任意选择的术语。由于在这种情况下将在说明书的对应部分中清楚地描述术语的含义，所以将理解，本公开将不简单地由仅在本公开的描述中使用的术语解释，而是应该弄清术语的含义。
可提供下面的描述中使用的特定术语以帮助理解本公开。此外，在本公开的技术概念的范围内，特定术语可被修改为其它形式。例如，信号、数据、样本、画面、切片、拼块、帧、块等可在各个编码过程中适当地替换和解释。
以下，在本说明书中，“处理单元”意指执行诸如预测、变换和/或量化的编码/解码处理过程的单元。处理单元可被解释为具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
此外，处理单元可被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。另选地，处理单元可对应于用于色度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。此外，本公开不限于此，处理单元可被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
此外，处理单元本质上不限于正方形块，可按具有三个或更多个顶点的多边形形式构造。
此外，以下，在本说明书中，像素、画面元素、系数(变换系数或一阶变换之后的变换系数)等通常被称为样本。此外，使用样本可意指使用像素值、画面元素值、变换系数等。
图1示出根据本公开的实施方式的视频编码系统的示例。
视频编码系统可包括源装置10和接收装置20。源装置10可通过存储介质或网络将编码的视频/图像信息或数据以文件或流格式发送到接收装置20。
源装置10可包括视频源11、编码设备12和发送器13。接收装置20可包括接收器21、解码设备22和渲染器23。源装置可被称为视频/图像编码设备，接收装置可被称为视频/图像解码设备。发送器13可包括在编码设备12中。接收器21可包括在解码设备22中。渲染器可包括显示器，并且该显示器可被配置为单独的装置或外部组件。
视频源可通过视频/图像的捕获、合成或生成过程来获取视频/图像数据。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像存档等。例如，视频/图像生成装置可包括计算机、平板和智能电话，并且可电子地生成视频/图像数据。例如，可通过计算机等生成虚拟视频/图像数据，并且在这种情况下，视频/图像捕获过程可由生成相关数据的过程代替。
编码设备12可对输入的视频/图像进行编码。为了压缩和编码效率，编码设备12可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/视频信息)可按比特流的形式输出。
发送器13可通过数字存储介质或网络将编码的视频/视频信息或以比特流的形式输出的数据以文件或流格式发送到接收装置的接收器。数字存储介质可包括诸如通用串行总线USB、安全数字SD、紧凑盘CD、数字视频盘DVD、蓝光、硬盘驱动器HDD和固态驱动器SSD的各种存储介质。发送器13可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器21可提取比特流并将其发送到解码设备22。
解码设备22可通过执行与编码设备12的操作对应的诸如去量化、逆变换和预测的一系列过程来将视频/图像数据解码。
渲染器23可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
图2是应用本公开的实施方式，并且是对视频/图像信号进行编码的编码设备的示意性框图。
参照图2，编码设备100可被配置为包括图像分割器110、减法器115、变换器120、量化器130、去量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可被共同称为预测器。换言之，预测器可包括帧间预测器180和帧内预测器185。变换器120、量化器130、去量化器140和逆变换器150可包括在残差处理器中。残差处理器还可包括减法器115。在一个实施方式中，图像分割器110、减法器115、变换器120、量化器130、去量化器140、逆变换器150、加法器155、滤波器160、帧间预测器180、帧内预测器185和熵编码器190可被配置成一个硬件组件(例如，编码器或处理器)。此外，存储器170可在实施方式中利用硬件组件(例如，存储器或数字存储介质)配置，并且可包括解码画面缓冲器(DPB)。
图像分割器110可将输入到编码设备100的输入图像(或画面或帧)分割为一个或更多个处理单元。例如，处理单元可被称为编码单元(CU)。在这种情况下，编码单元可基于四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分裂。例如，一个编码单元可基于四叉树结构和/或二叉树结构被分裂为深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，然后可应用二叉树结构。另选地，可首先应用二叉树结构。根据本公开的编码过程可基于不再分裂的最终编码单元执行。在这种情况下，最大编码单元可根据图像特性基于编码效率直接用作最终编码单元，或者如果需要，编码单元可被递归地分裂为深度更深的编码单元。因此，具有最优尺寸的编码单元可用作最终编码单元。在这种情况下，编码过程可包括诸如稍后描述的预测、变换或重构的过程。又如，处理单元还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元中的每一个可从各个最终编码单元分割或划分。预测单元可以是用于样本预测的单元，变换单元可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。
单元可根据情况与块或区域互换地使用。在通常情况下，M×N块可指示配置有M列和N行的样本集合或变换系数的集合。通常，样本可指示像素或像素的值，并且可仅指示亮度分量的像素/像素值或者仅指示色度分量的像素/像素值。在样本中，一个画面(或图像)可用作与像素对应的术语。
编码设备100可通过从输入图像信号(原始块或原始样本阵列)减去帧间预测器180或帧内预测器185所输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。所生成的残差信号被发送到变换器120。在这种情况下，如所示，编码设备100内从输入图像信号(原始块或原始样本阵列)减去预测信号(预测块或预测样本阵列)的单元可被称为减法器115。预测器可对处理目标块(以下称为当前块)执行预测，并且可生成包括当前块的预测样本的预测块。预测器可确定是否在当前块或CU单元中应用帧内预测或应用帧间预测。预测器可生成关于预测的各种信息(例如，稍后将在各个预测模式的描述中描述的预测模式信息)，并且可将信息发送到熵编码器190。关于预测的信息可在熵编码器190中被编码，并且可按比特流形式输出。
帧内预测器185可参考当前画面内的样本来预测当前块。所参考的样本可邻近当前块设置，或者可根据预测模式与当前块间隔开。在帧内预测中，预测模式可包括多个非角模式和多个角模式。例如，非角模式可包括DC模式和平面模式。例如，根据预测方向的精细度，角模式可包括33个角预测模式或65个角预测模式。在这种情况下，例如，根据配置，可使用比33个角预测模式或65个角预测模式更多或更少的角预测模式。帧内预测器185可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可基于参考画面上的运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，运动信息可基于邻近块与当前块之间的运动信息的相关性被预测为块、子块或样本单元。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可包括当前画面内的空间邻近块和参考画面内的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为共置参考块或共置CU(colCU)的名称。包括时间邻近块的参考画面可被称为共置画面(colPic)。例如，帧间预测器180可基于邻近块来构造运动信息候选列表，并且可生成指示哪一候选用于推导当前块的运动向量和/或参考画面索引的信息。可基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可不发送残差信号。在运动信息预测(MVP)模式的情况下，邻近块的运动向量可用作运动向量预测器。可通过用信号通知运动向量差来指示当前块的运动向量。
通过帧间预测器180或帧内预测器185生成的预测信号可用于生成重构信号或残差信号。
变换器120可通过对残差信号应用变换方案来生成变换系数。例如，变换方案可包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。在这种情况下，GBT意指如果像素之间的关系信息被表示为图形，从该图形获得的变换。CNT意指基于使用所有先前重构的像素生成的预测信号获得的变换。此外，变换过程可应用于具有相同尺寸的正方形形式的像素块，或者可应用于具有可变尺寸而非正方形形式的块。
量化器130可将变换系数量化并将其发送到熵编码器190。熵编码器190可对量化的信号(关于量化的变换系数的信息)进行编码并将其以比特流形式输出。关于量化的变换系数的信息可被称为残差信息。量化器130可基于系数扫描顺序以一维向量形式重排块形式的量化的变换系数，并且可基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。熵编码器190可执行诸如指数Golomb、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的各种编码方法。除了量化的变换系数之外，熵编码器190可一起或单独地对视频/图像重构所需的信息(例如，句法元素的值)进行编码。编码的信息(例如，编码的视频/图像信息)可按比特流的形式发送或存储在网络抽象层(NAL)单元中。比特流可经由网络发送或者可被存储在数字存储介质中。在这种情况下，网络可包括广播网络和/或通信网络。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。发送熵编码器190所输出的信号的发送器(未示出)和/或用于存储信号的存储装置(未示出)可被配置为编码设备100的内部/外部元件，或者发送器可以是熵编码器190的元件。
量化器130所输出的量化的变换系数可用于生成预测信号。例如，可通过在循环内通过去量化器140和逆变换器150对量化的变换系数应用去量化和逆变换来重构残差信号。加法器155可将重构的残差信号与帧间预测器180或帧内预测器185所输出的预测信号相加，因此可生成重构信号(重构画面、重构块或重构样本阵列)。如果如已应用跳过模式的情况中一样针对处理目标块不存在残差，则预测块可用作重构块。加法器155可被称为重构器或重构块生成器。所生成的重构信号可用于当前画面内的下一处理目标块的帧内预测，并且可通过滤波用于下一画面的帧间预测(如稍后将描述的)。
滤波器160可通过对重构信号应用滤波来改进主观/客观画面质量。例如，滤波器160可通过对重构画面应用各种滤波方法来生成修改的重构画面。修改的重构画面可被存储在DPB 170中。例如，各种滤波方法可包括解块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。滤波器160可生成用于滤波的各种信息(如稍后将在各个滤波方法的描述中描述的)，并且可将其发送到熵编码器190。滤波信息可由熵编码器190编码并以比特流形式输出。
发送到DPB 170的修改的重构画面可用作帧间预测器180中的参考画面。如果应用帧间预测，则编码设备可避免编码设备100和解码设备中的预测失配并改进编码效率。
DPB 170可存储修改的重构画面以便使用修改的重构画面作为帧间预测器180中的参考画面。
图3是应用本公开的实施方式，并且是将视频/图像信号解码的解码设备的示意性框图。
参照图3，解码设备200可被配置为包括熵解码器210、去量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可被统称为预测器。即，预测器可包括帧间预测器180和帧内预测器185。去量化器220和逆变换器230可被统称为残差处理器。即，残差处理器可包括去量化器220和逆变换器230。根据实施方式，熵解码器210、去量化器220、逆变换器230、加法器235、滤波器240、帧间预测器260和帧内预测器265可被配置成一个硬件组件(例如，解码器或处理器)。此外，存储器170可在实施方式中以硬件组件(例如，存储器或数字存储介质)配置，并且可包括解码画面缓冲器(DPB)。
当输入包括视频/图像信息的比特流时，解码设备200可根据图2的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备200可使用编码设备中应用的处理单元来执行解码。因此，例如，用于解码的处理单元可以是编码单元。根据四叉树结构和/或二叉树结构，可从编码树单元或最大编码单元分裂编码单元。此外，可通过回放装置回放通过解码设备200解码和输出的重构的图像信号。
解码设备200可按比特流形式接收图1的编码设备所输出的信号。所接收的信号可通过熵解码器210解码。例如，熵解码器210可通过解析比特流来推导用于图像重构(或画面重构)的信息(例如，视频/图像信息)。例如，熵解码器210可基于诸如指数Golomb编码、CAVLC或CABAC的编码方法将比特流内的信息解码，并且可输出用于图像重构的句法元素的值或关于残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，可从比特流接收与各个句法元素对应的面元(bin)，可使用邻近和解码目标块的解码目标句法元素信息和解码信息或先前步骤中解码的符号/面元的信息来确定上下文模型，可基于所确定的上下文模型来预测面元发生的概率，并且可通过对面元执行算术解码来生成与各个句法元素的值对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可使用针对下一符号/面元的上下文模型解码的符号/面元的信息来更新上下文模型。熵解码器2110中解码的信息当中关于预测的信息可被提供给预测器(帧间预测器260和帧内预测器265)。与已在熵解码器210中执行熵解码的残差值有关的参数信息(即，量化的变换系数)可被输入到去量化器220。此外，熵解码器210中解码的信息当中关于滤波的信息可被提供给滤波器240。此外，接收编码设备所输出的信号的接收器(未示出)可被进一步配置为解码设备200的内部/外部元件，或者接收器可以是熵解码器210的元件。
去量化器220可将量化的变换系数去量化并输出变换系数。去量化器220可按二维块形式重排量化的变换系数。在这种情况下，可基于编码设备中执行的系数扫描顺序来执行重排。去量化器220可使用量化参数(例如，量化步长信息)对量化的变换系数执行去量化，并且可获得变换系数。
逆变换器230可通过对变换系数应用逆变换来输出残差信号(残差块或残差样本阵列)。
预测器可对当前块执行预测，并且可生成包括当前块的预测样本的预测块。预测器可基于熵解码器210所输出的关于预测的信息来确定是否对当前块应用帧内预测或应用帧间预测，并且可确定详细帧内/帧间预测模式。
帧内预测器265可参考当前画面内的样本来预测当前块。根据预测模式，所参考的样本可邻近当前块设置或者可与当前块间隔开。在帧内预测中，预测模式可包括多个非角模式和多个角模式。帧内预测器265可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器260可基于参考画面上的运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，运动信息可基于邻近块与当前块之间的运动信息的相关性被预测为块、子块或样本单元。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可包括当前画面内的空间邻近块和参考画面内的时间邻近块。例如，帧间预测器260可基于邻近块来配置运动信息候选列表，并且可基于所接收的候选选择信息来推导当前块的运动向量和/或参考画面索引。可基于各种预测模式执行帧间预测。关于预测的信息可包括指示当前块的帧间预测模式的信息。
加法器235可通过将所获得的残差信号与帧间预测器260或帧内预测器265所输出的预测信号(预测块或预测样本阵列)相加来生成重构信号(重构画面、重构块或重构样本阵列)。如果如已应用跳过模式的情况中一样针对处理目标块不存在残差，则预测块可用作重构块。
加法器235可被称为重构器或重构块生成器。所生成的重构信号可用于当前画面内的下一处理目标块的帧内预测，并且可用于下一画面通过滤波的帧间预测(如稍后将描述的)。
滤波器240可通过对重构信号应用滤波来改进主观/客观画面质量。例如，滤波器240可通过对重构画面应用各种滤波方法来生成修改的重构画面，并且可将修改的重构画面发送到DPB 250。例如，各种滤波方法可包括解块滤波、样本自适应偏移SAO、自适应环路滤波器ALF和双边滤波器。
DPB 250中发送(修改)的重构画面可用作帧间预测器260中的参考画面。
在本公开中，编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可分别相同地或以对应方式应用于解码设备200的滤波器240、帧间预测器260和帧内预测器265。
图4示出根据本公开的实施方式的内容流系统的结构图的示例。
应用本公开的内容流系统可主要包括编码服务器410、流服务器420、web服务器430、媒体存储装置440、用户装置450和多媒体输入装置460。
编码服务器410可将从多媒体输入装置(例如，智能电话、相机、摄像机等)输入的内容压缩为数字数据以生成比特流并将其发送到流服务器420。作为另一示例，当诸如智能电话、相机和摄像机的多媒体输入装置460直接生成比特流时，编码服务器410可被省略。
可通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流服务器420可在发送或接收比特流的过程中暂时存储比特流。
流服务器420通过web服务器430基于用户请求将多媒体数据发送到用户装置450，并且web服务器430用作告知用户存在什么服务的中介。当用户通过web服务器430请求期望的服务时，web服务器430将其传送到流服务器420，并且流服务器420将多媒体数据发送给用户。此时，内容流系统可包括单独的控制服务器，在这种情况下控制服务器用于控制内容流系统中的装置之间的命令/响应。
流服务器420可从媒体存储装置440和/或编码服务器410接收内容。例如，流服务器420可从编码服务器410实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器420可将比特流存储预定时间。
例如，用户装置450可包括移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理PDA、便携式多媒体播放器PMP、导航终端、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器HMD、数字TV、台式计算机和数字标牌)。
内容流系统中的各个服务器可作为分布式服务器操作，并且在这种情况下，从各个服务器接收的数据可按分布式方式处理。
图5示出根据本公开的实施方式的处理视频信号的设备的框图的示例。视频信号处理设备可对应于图2的编码设备100或图3的解码设备200。
根据本公开的实施方式的视频信号处理设备500可包括用于存储视频信号的存储器520以及用于与存储器520组合处理视频信号的处理器510。
根据本公开的实施方式的处理器510可配置有用于处理视频信号的至少一个处理电路，并且可通过执行用于对视频信号进行编码或解码的指令来处理视频信号。即，处理器510可通过执行下述编码或解码方法来对原始视频信号进行编码或将编码的视频信号解码。
图6是根据本公开的实施方式的块分裂结构的示例，图6a至图6d分别示出根据四叉树(QT)、二叉树(BT)、三叉树(TT)和不对称树(AT)的块分裂结构的示例。
在视频编码中，一个块可基于QT来分裂。另外，按QT分裂的一个子块可进一步使用QT递归地分裂。不再QT分裂的叶块可按BT、TT或AT中的至少一个分裂。BT可具有两种类型的分裂：水平BT(2N×N、2N×N)和垂直BT(N×2N、N×2N)。TT可具有两种类型的分裂：水平TT(2N×1/2N、2N×N、2N×1/2N)和垂直TT(1/2N×2N、N×2N、1/2N×2N)。AT可具有四种类型的分裂：水平向上AT(2N×1/2N、2N×3/2N)、水平向下AT(2N×3/2N、2N×1/2N)、垂直向左AT(1/2N×2N、3/2Nx2N)、垂直向右AT(3/2N×2N、1/2N×2N)。各个BT、TT、AT可进一步使用BT、TT、AT递归地分裂。
图6a示出QT划分的示例。块A可按QT分裂为四个子块A0、A1、A2和A3。子块A1可按QT再次分裂为四个子块B0、B1、B2和B3。
图6b示出BT划分的示例。不再按QT分裂的块B3可被分裂为垂直BT(C0、C1)或水平BT(D0、D1)。作为块C0，各个子块可进一步以水平BT(E0、E1)或垂直BT(F0、F1)的形式递归地分裂。
图6c示出TT划分的示例。不再按QT分裂的块B3可被分裂为垂直TT(C0、C1、C2)或水平TT(D0、D1、D2)。作为块C1，各个子块可进一步递归地分裂为水平TT(E0、E1、E2)或垂直TT(F0、F1、F2)的形式。
图6d示出AT划分的示例。不再按QT分裂的块B3可被分裂为垂直AT(C0、C1)或水平AT(D0、D1)。作为块C1，各个子块可进一步以水平AT(E0、E1)或垂直TT(F0、F1)的形式递归地分裂。
此外，BT、TT和AT划分可被组合。例如，按BT分裂的子块可按TT或AT分裂。另外，按TT分裂的子块可按BT或AT分裂。按AT分裂的子块可按BT或TT分裂。例如，在水平BT分裂之后，各个子块可被分裂为verti-cal BT，或者在垂直BT分裂之后，各个子块可被分裂为水平BT。两种类型的分裂方法具有不同的分裂次序，但最终分裂形状相同。
此外，当块被分裂时，搜索块的次序可不同地定义。通常，从左至右和从上至下执行搜索操作。搜索块可意指确定是否进一步分裂各个分裂的子块的次序、或者当块不再分裂时各个子块的编码次序、或者当子块参考其它邻近块的信息时的搜索次序。
图7和图8分别是根据本公开的实施方式的编码设备内的基于帧间预测的视频/图像编码过程和帧间预测器。
编码设备100对当前块执行帧间预测(S710)。编码设备100可推导当前块的帧间预测模式和运动信息，并且可生成当前块的预测样本。在这种情况下，帧间预测模式确定、运动信息推导和预测样本生成过程可同时执行，并且任一个过程可在另一过程之前执行。例如，编码设备100的帧间预测器180可包括预测模式确定单元181、运动信息推导单元182和预测样本推导单元183。预测模式确定单元181可确定当前块的预测模式。运动信息推导单元182可推导当前块的运动信息。预测样本推导单元183可推导当前块的预测样本。例如，编码设备100的帧间预测器180可通过运动估计在参考画面的给定区域(搜索区域)内搜索与当前块相似的块，并且可推导相对于当前块具有最小差或给定基准或更小的差的参考块。帧间预测器180可基于参考块来推导指示参考块所在的参考画面的参考画面索引，并且可基于参考块与当前块之间的位置差来推导运动向量。编码设备100可在各种预测模式当中确定应用于当前块的模式。编码设备可比较各种预测模式的RD成本，并且可为当前块确定最优预测模式。
例如，如果对当前块应用跳过模式或合并模式，则编码设备100可配置稍后描述的合并候选列表，并且可推导包括在合并候选列表中的合并候选所指示的参考块当中相对于当前块具有最小差或给定基准或更小的差的参考块。在这种情况下，可选择与推导的参考块关联的合并候选。指示所选合并候选的合并索引信息可被生成并用信号通知给解码设备200。可使用所选合并候选的运动信息来推导当前块的运动信息。
又如，如果对当前块应用(A)MVP模式，则编码设备可配置稍后描述的(A)MVP候选列表，并且可使用在(A)MVP候选列表中所包括的mvp候选当中选择的运动向量预测器(mvp)候选的运动向量作为当前块的mvp。在这种情况下，例如，指示通过运动估计推导的参考块的运动向量可用作当前块的运动向量。mvp候选当中包括相对于当前块的运动向量具有最小差的运动向量的mvp候选可成为所选mvp候选。可推导运动向量差(MVD)，即，通过从当前块的运动向量减去mvp而获得的差。在这种情况下，关于MVD的信息可用信号通知给解码设备200。此外，如果应用(A)MVP模式，则参考画面索引的值可被配置为参考画面索引信息并且可单独地用信号通知给解码设备。
编码设备100可基于预测样本来推导残差样本(S720)。编码设备100可通过当前块的原始样本与预测样本之间的比较来推导残差样本。
编码设备100对包括预测信息和残差信息的图像信息进行编码(S730)。编码设备可按比特流形式输出编码的图像信息。预测信息可包括关于预测模式信息的信息(例如，跳过标志、合并标志或模式索引)和运动信息作为与预测过程有关的信息。与运动信息有关的信息可包括候选选择信息(例如，合并索引、mvp标志或mvp索引)，即，用于推导运动向量的信息。此外，与运动信息有关的信息可包括关于MVD的信息和/或参考画面索引信息。此外，与运动信息有关的信息可包括指示是否应用L0预测、L1预测或双预测的信息。残差信息是关于残差样本的信息。残差信息可包括关于残差样本的量化的变换系数的信息。
输出比特流可被存储在(数字)存储介质中并发送到解码设备，或者可经由网络发送到解码设备。
此外，如上所述，编码设备可基于参考样本和残差样本来生成重构画面(包括重构样本和重构块)。这是为了在编码设备100中推导与解码设备200中执行的那些相同的预测结果。因此，编码效率可改进。因此，编码设备100可将重构画面(或重构样本和重构块)存储在存储器中，并且可使用重构画面作为用于帧间预测的参考画面。如上所述，可进一步对重构画面应用环路滤波过程。
图9和图10分别是根据本公开的实施方式的解码设备内的基于帧间预测的视频/图像解码过程和帧间预测器。
解码设备200可执行与编码设备100中执行的操作对应的操作。解码设备200可基于所接收的预测信息对当前块执行预测，并且可推导预测样本。
具体地，解码设备200可基于所接收的预测信息来确定当前块的预测模式(S910)。解码设备200可基于预测信息内的预测模式信息来确定对当前块应用哪一帧间预测模式。
例如，解码设备200可基于合并标志来确定是否对当前块应用合并模式或(A)MVP模式。另选地，解码设备200可基于模式索引选择各种帧间预测模式候选之一。帧间预测模式候选可包括跳过模式、合并模式和/或(A)MVP模式，或者可包括稍后描述的各种帧间预测模式。
解码设备200基于所确定的帧间预测模式来推导当前块的运动信息(S920)。例如，如果对当前块应用跳过模式或合并模式，则解码设备200可配置稍后描述的合并候选列表并选择包括在合并候选列表中的合并候选之一。可基于合并索引来执行合并候选的选择。可从所选合并候选的运动信息推导当前块的运动信息。所选合并候选的运动信息可用作当前块的运动信息。
又如，如果对当前块应用(A)MVP模式，则解码设备200可配置稍后描述的(A)MVP候选列表，并且可使用在(A)MVP候选列表中所包括的运动向量预测器(mvp)候选当中选择的mvp候选的运动向量作为当前块的mvp。该选择可基于选择信息(mvp标志或mvp索引)来执行。在这种情况下，解码设备200可基于关于MVD的信息来推导当前块的MVD。解码设备可基于当前块的mvp和MVD来推导当前块的运动向量。此外，解码设备可基于参考画面索引信息来推导当前块的参考画面索引。关于当前块的参考画面列表内的参考画面索引所指示的画面可被推导为当前块的帧间预测所参考的参考画面。
此外，如稍后将描述的，可推导当前块的运动信息而无需候选列表配置。在这种情况下，可根据稍后描述的预测模式中公开的过程来推导当前块的运动信息。在这种情况下，诸如上述的候选列表配置可被省略。
解码设备200可基于当前块的运动信息来生成当前块的预测样本(S930)。在这种情况下，解码设备200可基于当前块的参考画面索引来推导参考画面，并且可通过当前块的运动向量推导参考画面上所指示的当前块的预测样本。在这种情况下，如稍后将描述的，可根据情况对当前块的一些或所有预测样本进一步执行预测样本滤波过程。
例如，解码设备200的帧间预测器260可包括预测模式确定单元261、运动信息推导单元262和预测样本推导单元263。解码设备200可基于从预测模式确定单元261接收的预测模式信息来确定当前块的预测模式，可基于与从运动信息推导单元262接收的运动信息有关的信息来推导当前块的运动信息(运动向量和/或参考画面索引)。预测样本推导单元263可推导当前块的预测样本。
解码设备200基于所接收的残差信息来生成当前块的残差样本(S940)。解码设备200可基于预测样本和残差样本来生成当前块的重构样本，并且可基于重构样本来生成重构画面(S950)。此后，如上所述，可对重构画面进一步应用环路滤波过程。
如上所述，帧间预测过程可包括帧间预测模式确定步骤、根据所确定的预测模式的运动信息推导步骤以及基于所推导的运动信息的预测执行(预测样本生成)步骤。
帧间预测模式的确定
各种帧间预测模式可用于画面内的当前块的预测。例如，可使用诸如合并模式、跳过模式、MVP模式和仿射模式的各种模式。可进一步使用解码器侧运动向量细化(DMVR)模式、自适应运动向量分辨率(AMVR)模式等作为附加模式。仿射模式可被称为仿射运动预测模式。MVP模式可被称为高级运动向量预测(AMVP)模式。
可从编码设备将指示当前块的帧间预测模式的预测模式信息用信号通知给解码设备。预测模式信息可包括在比特流中并由解码设备接收。预测模式信息可包括指示多个候选模式之一的索引信息。另选地，可通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可包括一个或更多个标志。例如，可进一步用信号通知标志，以便通过用信号通知跳过标志来指示是否应用跳过模式，如果不应用跳过模式，则通过用信号通知合并标志来指示是否应用合并模式，如果不应用合并模式或者为了附加标识，则指示应用MVP模式。仿射模式可用信号通知为独立模式，或者可用信号通知为取决于合并模式或MVP模式的模式。例如，仿射模式可被配置为合并候选列表或MVP候选列表之一，如稍后将描述的。
根据帧间预测模式的运动信息的推导
编码设备100或解码设备200可使用当前块的运动信息来执行帧间预测。编码设备100可根据运动估计过程来推导当前块的最优运动信息。例如，编码设备100可在参考画面内所确定的搜索范围内以分数像素单元为当前块使用原始画面内的原始块搜索具有相似相关性的参考块。因此，编码设备可推导运动信息。可根据基于相位的样本值之间的差来推导块的相似性。例如，可基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的SAD(绝对差和)来计算块的相似性。在这种情况下，可基于搜索区域内具有最小SAD的参考块来推导运动信息。可基于帧间预测模式使用多种方法将所推导的运动信息用信号通知给解码设备。
合并模式和跳过模式
如果应用合并模式，则不直接发送当前预测块的运动信息，并且使用邻近预测块的运动信息来推导当前预测块的运动信息。因此，编码设备100可通过发送通知使用了合并模式的标志信息以及通知使用了哪一邻近预测块的合并索引来指示当前预测块的运动信息。
编码设备100应该搜索用于推导当前预测块的运动信息的合并候选块，以便执行合并模式。例如，可使用最多5个合并候选块，但本公开不限于此。此外，可在切片头中发送合并候选块的最大数量，本公开不限于此。在搜索合并候选块之后，编码设备100可生成合并候选列表，并且可在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
本公开的实施方式提供了构造合并候选列表的合并候选块的各种实施方式。
例如，合并候选列表可使用5个合并候选块。例如，可使用4个空间合并候选和1个时间合并候选。
图11示出为当前块构造空间合并候选的示例。
参照图11，对于当前块的预测，可使用左邻近块A1、左下邻近块A2、右上邻近块B0、上邻近块B1和左上邻近块B2中的至少一个。可基于图12所示的过程来配置当前块的合并候选列表。
图12是示出根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
编码设备(编码设备100或解码设备200)搜索当前块的空间邻近块并将所推导的空间合并候选插入到合并候选列表中(S1210)。例如，空间邻近块可包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。在这种情况下，这是示例，除了这些空间邻近块之外，可进一步使用诸如右邻近块、下邻近块和右下邻近块的附加邻近块作为空间邻近块。编码设备可通过基于优先级搜索空间邻近块来检测可用块，并且可推导所检测的块的运动信息作为空间合并候选。例如，编码设备100或解码设备200可按A1、B1、B0、A0和B2的顺序搜索图11所示的5个块，并且可通过顺序地索引可用候选来配置合并候选列表。
编码设备搜索当前块的时间邻近块并将所推导的时间合并候选插入到合并候选列表中(S1220)。时间邻近块可位于参考画面(即，与当前块所在的当前画面不同的画面)上。时间邻近块所在的参考画面可被称为共置画面或col画面。可在col画面上按当前块的共置块的右下角邻近块和右下中心块的顺序搜索时间邻近块。此外，如果应用运动数据压缩，则特定运动信息可作为各个给定存储单元的代表性运动信息被存储在col画面中。在这种情况下，没有必要将所有块的运动信息存储在给定存储单元内，因此可获得运动数据压缩效果。在这种情况下，例如，给定存储单元可被预定为16×16样本单元或8×8样本单元，或者可从编码设备100将给定存储单元的尺寸信息用信号通知给解码设备200。如果应用运动数据压缩，则时间邻近块的运动信息可由时间邻近块所在的给定存储单元的代表性运动信息替代。即，在这种情况下，在实现方面，在基于时间邻近块的坐标(左上样本位置)而非时间邻近块的坐标所在的预测块执行算术右移达给定值之后，可基于覆盖算术左移位置的预测块的运动信息来推导时间合并候选。例如，如果给定存储单元是2n×2n样本单元，则假设时间邻近块的坐标为(xTnb,yTnb)，位于((xTnb>>n)<<n),(yTnb>>n)<<n))(即，修改位置)的预测块的运动信息可用于时间合并候选。具体地，例如，如果给定存储单元是16×16样本单元，则假设时间邻近块的坐标为(xTnb,yTnb)，位于((xTnb>>4)<<4),(yTnb>>4)<<4))(即，修改位置)的预测块的运动信息可用于时间合并候选。另选地，例如，如果给定存储单元是8×8样本单元，则假设时间邻近块的坐标为(xTnb,yTnb)，位于((xTnb>>3)<<3),(yTnb>>3)<<3))(即，修改位置)的预测块的运动信息可用于时间合并候选。
编码设备可检查合并候选的当前数量是否小于合并候选的最大数量(S1230)。合并候选的最大数量可预定义或者可从编码设备100用信号通知给解码设备200。例如，编码设备100可生成关于合并候选的最大数量的信息，可对该信息进行编码，并且可将该信息以比特流形式发送到解码设备200。如果满足合并候选的最大数量，则可不执行候选添加过程。
如果作为检查的结果，合并候选的当前数量小于合并候选的最大数量，则编码设备将添加的合并候选插入到合并候选列表中(S1240)。例如，添加的合并候选可包括ATMVP(自适应时间运动向量预测)、组合双预测合并候选(如果当前切片的切片类型为B型)和/或零向量合并候选。
图13是示出根据应用本公开的实施方式的配置预测候选列表(MVP候选列表)的方法的流程图。
如果应用运动向量预测(MVP)模式，则可基于重构的空间邻近块(例如，图11中描述的邻近块)的运动向量和/或与时间邻近块(或Col块)对应的运动向量来生成运动向量预测器(mvp)候选列表。即，重构的空间邻近块的运动向量和/或时间邻近块的运动向量可用作运动向量预测器候选。关于预测的信息可包括指示在列表中所包括的运动向量预测器候选当中选择的最优运动向量预测器候选的选择信息(例如，MVP标志或MVP索引)。在这种情况下，预测器可使用选择信息在运动向量候选列表中所包括的运动向量预测器候选当中选择当前块的运动向量预测器。编码设备100的预测器可计算当前块的运动向量与运动向量预测器之间的运动向量差(MVD)，可对MVD进行编码，并且可按比特流形式输出编码的MVD。即，MVD可被计算为通过从当前块的运动向量减去运动向量预测器而获得的值。在这种情况下，解码设备的预测器可获得包括在关于预测的信息中的运动向量差，并且可通过运动向量差和运动向量预测器的相加来推导当前块的运动向量。解码设备的预测器可从关于预测的信息获得或推导指示参考画面的参考画面索引。例如，运动向量预测器候选列表可如图13所示配置。
参照图13，编码设备搜索用于运动向量预测的空间候选块并将其插入到预测候选列表中(S1310)。例如，编码设备可根据预定搜索次序来搜索邻近块，并将满足空间候选块的条件的邻近块的信息添加到预测候选列表(MVP候选列表)。
在构造空间候选块列表之后，编码设备将包括在预测候选列表中的空间候选的数量与预设参考数量(例如，2)进行比较(S1320)。如果包括在预测候选列表中的空间候选的数量大于或等于参考数量(例如，2)，则编码设备可结束预测候选列表的构造。
但是如果包括在预测候选列表中的空间候选列表的数量小于参考数量(例如，2)，则编码设备搜索时间候选块并将其插入到预测候选列表中(S1330)，并且当时间候选块不可用时，将零运动向量添加到预测候选列表(S1340)。
预测样本的生成
可基于根据预测模式推导的运动信息来推导当前块的预测块。预测块可包括当前块的预测样本(预测样本阵列)。当当前块的运动向量指示分数样本单元时，可执行插值过程，并且由此，可基于参考画面中的分数样本单元的参考样本来推导当前块的预测样本。当对当前块应用仿射帧间预测时，可基于样本/子块单元的运动向量来生成预测样本。当应用双向预测时，可通过基于第一方向预测(例如，L0预测)推导的预测样本与基于第二方向预测推导的预测样本的加权(根据相位)和来推导最终预测样本。可基于所推导的预测样本来生成重构样本和重构画面，然后如上所述，可执行诸如环路滤波的过程。
仿射运动预测
图14示出根据本公开的实施方式的运动模型的示例。
在传统图像压缩技术(例如，高效视频编码(HEVC))中，一个运动向量用于表示编码块的运动。尽管可使用针对各个块使用一个运动向量的方法来表示块单元的最优运动，但是其可能不是各个画面元素的实际最优运动。因此，如果以画面元素单元确定最优运动向量，则编码效率可增加。因此，本公开的实施方式描述了使用多运动模型对视频信号进行编码或解码的运动预测方法。具体地，可使用2至4个控制点处的运动向量以块或子块单元的各个画面元素单元表示运动向量。使用多个控制点的运动向量的预测方案可被称为仿射运动预测或仿射预测。
根据本公开的实施方式的仿射运动模型可表示4个运动模型，例如图14所示的那些。表示可由仿射运动模型表示的运动当中的三个运动(平移、缩放和旋转)的仿射运动模型被称为相似性(或简化)仿射运动模型。在描述本公开的实施方式时，为了描述方便，基本上描述了相似性(或简化)仿射运动模型，但本公开不限于此。
图15示出根据本公开的实施方式的用于仿射运动预测的控制点运动向量的示例。
如图15所示，在仿射运动预测中，可使用两控制点运动向量(CPMV)对v_0和v_1来确定包括在块中的画面元素位置(或子块)的运动向量。在这种情况下，运动向量的集合可被称为仿射运动向量场(MVF)。在这种情况下，可使用式1来确定仿射运动向量场。
[式1]
在式1中，v_0(v_0＝{v_0x,v_0y})指示当前块1500的左上位置的第一控制点处的运动向量CPMV0。v_1(v_1＝{v_1x,v_1y})指示当前块1500的右上位置的第二控制点处的运动向量CPMV1。此外，w指示当前块1500的宽度。v(v＝{v_x,v_y})指示{x,y}位置处的运动向量。可使用式1来推导子块(或画面元素)单元的运动向量。在一个实施方式中，运动向量精度可被取整为1/16精度。
图16示出应用了根据本公开的实施方式的仿射运动预测的块的各个子块的运动向量的示例。
参照图16，在编码或解码过程中，可按画面元素单元或块单元确定仿射运动向量场(MVF)。即，在仿射运动预测中，可按画面元素单元或子块单元推导当前块的运动向量。
如果以画面元素单元确定仿射运动向量场，则可基于各个画面元素值来获得运动向量。在块单元的情况下，可基于块的中心画面元素值来获得对应块的运动向量。在本文献中，假设如图16中一样以4*4块单元确定仿射运动向量场(MVF)。在这种情况下，这是为了描述方便，本公开的实施方式不限于此。图16示出以16*16样本配置编码块并且以4*4尺寸的块单元确定仿射运动向量场(MVF)的情况的示例。
仿射运动预测可包括仿射合并模式(或AF_MERGE)和仿射帧间模式(或AF_INTER)。AF_INTER模式可包括使用基于4参数的运动模型的AF_4_INTER模式和使用基于6参数的运动模型的AF_6_INTER模式。
仿射合并模式
AF_MERGE基于编码为仿射运动预测的邻近块的仿射运动模型来确定控制点运动向量(CPMV)。按搜索顺序仿射编码的邻近块可用于AF_MERGE。当一个或更多个邻近块被编码为仿射运动预测时，当前块可被编码为AF_MERGE。
即，如果应用仿射合并模式，则可使用邻近块的CPMV来推导当前块的CPMV。在这种情况下，邻近块的CPMV可没有任何改变地用作当前块的CPMV，并且邻近块的CPMV可基于邻近块的尺寸和当前块的尺寸被修改并且可用作当前块的CPMV。
图17示出根据本公开的实施方式的在仿射合并模式下用于仿射运动预测的邻近块的示例。
在仿射合并(AF_MERGE)模式下，编码器可如以下过程一样执行编码。
步骤1：按字母顺序扫描当前编码块1700的邻近块A至E 1710、1720、1730、1740和1750，并确定基于扫描顺序首先根据仿射预测模式编码的块作为仿射合并的候选块(AF_MERGE)。
步骤2：使用所确定的候选块的控制点运动向量(CPMV)来确定仿射运动模型。
步骤3：基于候选块的仿射运动模型来确定当前块1700的控制点运动向量(CPMV)并确定当前块1700的MVF。
图18示出使用应用了根据本公开的实施方式的仿射运动预测的邻近块执行仿射运动预测的块的示例。
例如，如图18中，如果块A 1820已根据仿射模式编码，则在块A 1820被确定为候选块之后，可使用块A 1820的控制点运动向量(CPMV)(例如，v2和v3)来推导仿射运动模型，并且可确定当前块1800的控制点运动向量(CPMV)v0和v1。可基于当前块1800的控制点运动向量(CPMV)来确定当前块1800的仿射运动向量场(MVF)，并且可执行编码。
图19是用于描述根据本公开的实施方式的使用邻居仿射编码块生成合并候选列表的方法的图。
参照图19，如果使用仿射合并候选确定CPMV对，则可使用诸如图19所示的候选。在图19中，假设候选列表的扫描顺序被设定为A、B、C、D和E。在这种情况下，本公开不限于此，可预设各种顺序。
在实施方式中，如果邻近块(即，A、B、C、D、E)中可用的根据仿射模式(或仿射预测)编码的候选(以下称为仿射候选)的数量为0，则可跳过当前块的仿射合并模式。如果可用仿射候选的数量为一(例如，A)，则可使用对应候选的运动模型来推导当前块的控制点运动向量(CPMV_0和CPMV_1)。在这种情况下，可能不需要(或编码)指示对应候选的索引。如果可用仿射候选的数量为两个或更多，则扫描顺序上的两个候选可被配置为AF_MERGE的候选列表。在这种情况下，可用信号通知候选选择信息，例如指示在候选列表内选择的候选的索引。选择信息可以是标志或索引信息，并且可被称为AF_MERGE_flag或AF_merge_idx。
在本公开的实施方式中，可基于子块的尺寸执行对当前块的运动补偿。在这种情况下，推导仿射块(即，当前块)的子块尺寸。如果子块的宽度和高度中的每一个大于4个亮度样本，则可推导各个子块的运动向量，并且可对子块执行基于DCT-IF的运动补偿(对于亮度，1/16像素，对于色度，1/32)。如果否，则可对所有仿射块执行基于增强双线性插值滤波器的运动补偿。
在本公开的实施方式中，如果合并/跳过标志为真并且CU的宽度和高度二者均大于或等于8，则在CU级别，通过指示是否使用仿射合并模式的比特流用信号通知仿射标志。当CU被编码为AF_MERGE时，用信号通知最大值为“5”的合并候选索引以指定在仿射合并候选列表中运动信息候选用于CU。
图20和图21是用于描述根据本公开的实施方式的使用通过仿射预测编码的邻近块构造仿射合并候选列表的方法的图。
参照图20，通过以下步骤配置仿射合并候选列表。
1)插入基于模型的仿射候选
基于模型的仿射候选意指从根据仿射模式编码的有效邻近重构块推导候选。如图20所示，候选块的扫描顺序从左A、上B、右上C和左下D到左上E。
如果在6参数仿射模式下对邻近左下块A进行编码，则获得包括块A的CU的左上角、右上角和左下角的运动向量(v_4、v_5、v_6)。根据6参数仿射模型基于运动向量(v_4、v_5和v_6)来计算当前块的左上角的运动向量(v_0、v_1、v_2)。
如果在4参数仿射模式下对邻近左下块A进行编码，则获得包括块A的CU的左上角和右上角的运动向量(v_4、v_5)。根据4参数仿射模型基于运动向量(v_4、v_5)来计算当前块上的左上角的运动向量(v_0、v_1)。
2)插入基于控制点的仿射候选
参照图20，基于控制点的候选意指通过将控制点的邻近运动信息组合来配置候选。
首先从图20所示的指定的空间邻近块和时间邻近块推导控制点的运动信息。CP_k(k＝1,2,3,4)指示第k控制点。此外，A、B、C、D、E、F和G是用于预测CP_k(k＝1,2,3)的空间位置，H是用于预测CP4的时间位置。
CP_1、CP_2、CP_3和CP_4的坐标分别为(0,0)、(W,0)，(H,0)和(W,H)。在这种情况下，W和H是当前块的宽度和高度。
基于以下优先级获得各个控制点的运动信息。
关于CP_1，检查优先级为A→B→C，并且如果A可用，则使用A。如果否，并且如果B可用，则使用B。如果A和B二者均不可用，则使用C。如果所有三个候选均不可用，则无法获得CP_1的运动信息。
关于CP_2，检查优先级为E→D。
关于CP_3，检查优先级为G→F。
关于CP_4，使用H。
其次，使用控制点的组合来配置运动模型。
在4参数仿射模型中需要两个控制点的运动向量以计算变换参数。可从以下6种组合之一选择两个控制点：{CP_1,CP_4}、{CP_2,CP_3}、{CP_1,CP_2}、{CP_2,CP_4}、{CP_1,CP_3}和{CP_3,CP_4}。例如，使用CP_1和CP_2控制点来构造4参数仿射运动模型被标记为“仿射(CP_1,CP_2)”。
在6参数仿射模型中需要三个控制点的运动向量以计算变换参数。可从以下4种组合之一选择三个控制点：{CP_1,CP_2,CP_4}、{CP_1,CP_2,CP_3}、{CP_2,CP_3,CP_4}和{CP_1,CP_3,CP_4}。例如，使用CP_1、CP_2和CPv3控制点来构造6参数仿射运动模型被标记为“仿射(CP_1,CP_2,CP_3)”。
此外，在本公开的实施方式中，如果在仿射合并模式下存在仿射合并候选，则这可总是被视为6参数仿射模式。
仿射帧间模式
图22示出根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
参照图22，仿射运动预测可包括仿射合并模式(或AF_MERGE)和仿射帧间模式(或AF_INTER)。在仿射帧间模式(AF_INTER)下，在确定2控制点运动向量预测(CPMVP)和CPMV之后，可从编码器将与差对应的控制点运动向量差(CPMVD)发送到解码器。仿射帧间模式(AF_INTER)的详细编码过程可与下述相同。
步骤1：确定两CPMVP对候选
步骤1.1：确定最多12种CPMVP候选组合(参考式2)
[式2]
{(v0,v1,v2)|v0＝{vA,vB,vc},v1＝{vD,vE},v2＝{vF,vG}}
在式2中，v_0指示当前块2200的左上控制点2210处的运动向量CPMV0。v_1指示当前块2200的右上控制点2211处的运动向量CPMV1。v_2指示当前块2200的左下侧的控制点2212处的运动向量CPMV2。v_A指示A 2220与当前块2200的左上控制点2210的左上方邻近的邻近块的运动向量。v_B指示与当前块2200的左上控制点2210的上方邻近的邻近块B 2222的运动向量。v_C指示与当前块2200的左上控制点2210的左侧邻近的邻近块C 2224的运动向量。v_D是与当前块2200的右上控制点2211的上方邻近的邻近块D 2226的运动向量。v_E指示与当前块2200的右上控制点2211的右上方邻近的邻近块E 2228的运动向量。v_F指示与当前块2200的左下控制点2212的左侧邻近的邻近块F 2230的运动向量。v_G指示与当前块2200的左下控制点2212的左侧邻近的邻近块G 2232的运动向量。
步骤1.2：基于具有小差值(DV)的值对CPMVP候选组合进行排序，并使用前两个候选(参考下面的式3)
[式3]
DV＝|(v1x-v0x)*h-(v2y-v0y)*w|+|(v1y-v0y)*h+(v2x-v0x)*w|
v_0x指示当前块2200的左上控制点2210处的运动向量(V0或CPMV0)的x轴元素。v_1x指示当前块2200的右上控制点2211处的运动向量(V1或CPMV1)的x轴元素。v_2x指示当前块2200的左下控制点2212处的运动向量(V_2或CPMV_2)的x轴元素。v_0y指示当前块2200的左上控制点2210处的运动向量(V_0或CPMV_0)的y轴元素。v_1y指示当前块2200的右上控制点2211处的运动向量(V_1或CPMV_1)的y轴元素。v_2y指示当前块2200的左下控制点2212处的运动向量(V_2或CPMV_2)的y轴元素。w指示当前块2200的宽度。h指示当前块2200的高度。
步骤2：当控制点运动向量预测器(CPMVP)对候选小于2时，使用AMVP候选列表
步骤3：确定两个候选中的每一个的控制点运动向量预测器(CPMVP)，并且通过比较RD成本和CPMV来最优选择具有较小值的候选
步骤4：发送与最优候选对应的索引和控制点运动向量差(CPMVD)
在本公开的实施方式中，提供在AF_INTER下构造CPMVP候选的过程。与AMVP相同，候选的数量为2，并且用信号通知指示候选列表的位置的索引。
构造CPMVP候选列表的过程如下。
1)通过扫描邻近块来检查邻近块是否被编码为仿射运动预测。如果扫描的块被编码为仿射预测，则从扫描的邻近块的仿射运动模型推导当前块的运动向量对，直至候选的数量变为2。
2)如果候选的数量小于2，则执行候选配置过程。此外，在本公开的实施方式中，使用4参数(2控制点)仿射帧间模式来预测放大/缩小和旋转的运动模型和内容。如图15所示，块的仿射运动场由两个控制点运动向量描述。
块的运动向量场(MVF)由上述式1描述。
在传统技术中，需要高级运动向量预测(AMVP)模式来扫描运动向量预测(MVP)索引和运动向量差(MVD)。当对本公开应用AMVP模式时，用信号通知仿射标志(affine_flag)以指示是否使用仿射预测。如果应用仿射预测，则用信号通知inter_dir、ref_idx、mvp_index和两个MVD(mvd_x和mvd_y)的句法。生成包括两个仿射MVP对的仿射MVP对候选列表。用信号通知mvp_index用于选择两个仿射MVP对之一。仿射MVP对由两种类型的仿射MVP候选生成。一个是空间继承的仿射候选，另一个是角推导的仿射候选。如果在仿射模式下对邻近CU进行编码，则可生成空间继承的仿射候选。使用邻近仿射编码的块的仿射运动模型来生成2控制点MVP对的运动向量。使用下式来推导空间继承的仿射候选的2控制点MVP对的MV。
[式4]
V0x＝VB0x+(VB2_x-VB0x)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1x-VB0x)*(posCurCU_X-posRefCU_X)/RefCU_width
[式5]
V0y＝VB0y+(VB2_y-VB0y)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1y-VB0y)*(posCurCU_X-posRefCU_X)/RefCU_width
如果V_B0、V_B1和V_B2可由给定参考/邻近CU的左上MV、右上MV和左下MV替代，(posCurCU_X,posCurCU_Y)是用于帧的左上样本的当前CU的左上样本的位置。(posRefCU_X,posRefCU_Y)是用于帧的左上样本的参考/邻近CU的左上样本的位置。
[式6]
V1x＝VB0x+(VB1x-VB0x)*CU_width/RefCU_width
[式7]
V1y＝VB0y+(VB1y-VB0y)*CU_width/RefCU_width
图23示出根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
参照图23，当MVP对的数量小于2时，使用角推导的仿射候选。如图23所示，使用邻近运动向量来推导仿射MVP对。关于第一角推导的仿射候选，使用集合A(A0、A1和A2)中的第一可用MV和集合B(B0和B1)中的第一可用MV来配置第一MVP对。关于第二角推导的仿射候选，使用集合A中的第一可用MV和集合C(C0和C1)中的第一可用MV来计算右上控制点的MV。集合A中的第一可用MV和所计算的右上控制点MV是第二MVP对。
在本公开的实施方式中，使用包括两个(三个)候选{mv_0,mv_1}({mv_0,mv_1,mv_2)的两个候选集合来预测仿射运动模型的两个(三个)控制点。使用下式来计算给定运动向量差(mvd_0、mvd_1、mvd_2)和控制点。
[式8]
图24和图25是示出根据本公开的实施方式的在仿射帧间模式下使用邻近块的运动信息来推导运动向量候选的方法的图。
在仿射候选列表中，仿射运动从空间邻近块(外推的仿射候选)扩展，并且仿射候选列表附加了来自空间邻近块(虚拟仿射候选)的运动向量的组合。候选集合如下设定：
1.从邻近块的仿射运动推导最多两个不同的仿射MV预测器集合。如图24所示检查邻近块A0、A1、B0、B1和B2。如果邻近块通过仿射运动模型编码并且对应参考帧与当前块的参考帧相同，则从邻近块的仿射模型推导当前块的两个控制点(对于4参数仿射模型)或当前块的三个控制点(对于6参数仿射模型)。
2.图25示出用于生成虚拟仿射候选集合的邻近块。邻近MV被分成三个组：S_0＝{mv_A,mv_B,mv_C}，S_1＝{mv_D,mv_E}，S_2＝{mv_F,mv_G}。mv_0是参考与S0中的当前块相同的参考画面的第一MV。mv_2是参考与S1中的当前块相同的参考画面的第一MV。
如果给定mv_0和mv_1，则可通过下面的式9推导mv_2。
[式9]
在式9中，当前块尺寸为W×H。
如果仅给定mv_0和mv_2，则可通过下面的式10推导mv_1。
[式10]
在本公开的实施方式中，可根据以下顺序执行仿射帧间预测。
输入：仿射运动参数，参考画面样本
输出：CU的预测块
处理器
推导仿射块的子块尺寸
-如果子块的宽度和高度二者均大于4个亮度样本，
--关于各个子块，
-推导子块的运动向量
-对子块执行(调用)基于DCT-IF的运动补偿(对于亮度，1/16像素，对于色度，1/32像素)
-如果否，则对所有仿射块执行(调用)基于增强双线性插值滤波器的补偿
此外，在本公开的实施方式中，如果合并/跳过标志为假并且CU的宽度和高度大于或等于8，则用信号通知仿射标志以便指示是否将在CU级别使用仿射帧间模式。如果在仿射帧间模式下对CU进行编码，则用信号通知模型标志以便指示是否对CU应用4参数或6参数仿射模型。如果模型标志为真，则应用AF_6_INTER模式(6参数仿射模型)并且解析MVD。如果否，则应用AF_4_INTER模式(4参数仿射模型)并且解析两个MVD。
在AF_4_INTER模式下，类似于仿射合并模式，生成从通过仿射模式编码的邻近块外推的运动向量对并优先插入到候选列表中。
此后，如果候选列表的大小小于4，则使用邻近块来生成具有运动向量对{(v_0,v_1)|v0＝{v_A,v_B,v_c},v_1＝{v_D,v_E}}的候选。如图25所示，从块A、B和C的运动向量选择v_0。基于参考列表、用于邻近块参考的POC、用于当前CU参考的POC和当前CU之间的关系来缩放来自邻近块的运动向量。此外，从邻近块D和E选择v_1的方法相似。当候选列表大于4时，首先基于邻近运动向量(类似于候选对中的两个运动向量)的一致性对候选进行排序，并且保留前4个候选。
如果候选列表的数量小于4，则通过复制AMVP候选由运动向量对填充列表。
在AF_6_INTER模式下，类似于仿射合并模式，生成从在仿射合并模式下编码的邻近块外推的运动向量三元组(仿射运动向量三元组)并优先插入到候选列表中。
此后，当候选列表的大小小于4时，使用邻近块来生成包括运动向量三元组{(v_0,v_1,v_2)|v0＝{v_A,v_B,v_c},v1＝{v_D,v_E},v2＝{v_G,v_H}}的候选。如图25所示，从块A、B或C的运动向量选择v_0。基于参考列表、用于邻近块参考的POC、用于当前CU参考的POC和当前CU之间的关系缩放来自邻近块的运动向量。此外，从邻近块D和E选择v_1的方法类似于从F和G选择v_2。当候选列表大于4时，基于邻近运动向量(类似于三个候选中的两个运动向量)的一致性对候选进行排序，并且保留前4个候选。
当候选列表的数量小于4时，可由通过复制各个AMVP候选而配置的运动向量三元组填充列表。
在推导当前CU的CPMV之后，基于仿射参数的数量，当前CU的MVF针对4参数仿射模型根据式11来生成，针对6参数仿射模型根据式12来生成。
[式11]
[式12]
在这种情况下，在式13中推导子块尺寸M×N，并且MvPre是运动向量部分精度(1/16)。
[式13]
在通过式12推导之后，如果需要，M和N需要下调，以使其为w和h的因数。当M或N小于8时，应用WIF。如果否，则应用基于子块的仿射运动补偿。
图26示出根据本公开的实施方式的子块单元的仿射运动向量场的示例。
参照图26，为了推导各个M×N子块的运动向量，根据式11或式12来计算各个子块的中心样本的运动向量(例如，图26所示)，并以1/16部分精度取整。使用SHVC上采样插值滤波器以使用推导的运动向量来生成各个子块的预测。
具有与HEVC运动补偿插值滤波器相同的滤波器长度和归一化因子的SHVC上采样插值滤波器可用作附加分数像素位置的运动补偿插值滤波器。色度分量运动向量精度为1/32样本。使用两个邻近1/16像素部分位置的滤波器的平均来推导1/32像素部分位置的附加插值滤波器。
可在编码器侧使用选择常见合并模式的相同方法选择AF_MERGE模式。优先生成候选列表，并且在候选中选择最小RD成本以用于与其它帧间模式的RD成本比较。比较的结果是确定是否应用AF_MERGE。
对于AF_4_INTER模式，使用RD成本的检查来确定是否选择运动向量对候选作为当前CU的控制点运动向量预测(CPMVP)。在确定当前仿射CU的CPMVP之后，应用仿射运动估计，并且获得控制点运动向量(CPMV)。因此，确定CPMV和CPMVP之间的差。
在编码器侧，仅在先前模式选择阶段中AF_MERGE或AF_4_INTER模式被确定为最优模式时，才标识AF_6_INTER模式。
在本公开的实施方式中，可如下执行仿射帧间(仿射AMVP)模式：
1)AFFINE_MERGE_IMPROVE：代替在仿射模式下搜索第一邻近块，改进是搜索具有最大编码单元大小的邻近块作为仿射合并候选。
2)AFFINE_AMVL_IMPROVE：类似于常见AMVP过程，仿射模式下的邻近块被添加到仿射AMVP候选列表。
生成仿射AMVP候选列表的详细过程如下。
首先，标识左下方的邻近块是否使用仿射运动模型并具有与当前参考索引相同的参考索引。如果不存在邻近块，则使用相同的方法标识左邻近块。如果不存在邻近块，则标识左下方的邻近块是否使用仿射运动模型并具有不同的参考索引。如果存在邻近块，则缩放的仿射运动向量被添加到参考画面列表。如果不存在邻近块，则使用相同的方法标识左邻近块。
其次，使用相同的方法标识右上邻近块、上邻近块和左上邻近块。
在这些过程之后，如果检索到两个候选，则生成仿射AMVP候选列表的过程终止。如果未检索到两个候选，则执行JEM软件内的原始操作以生成仿射AMVP候选列表。
3)AFFINE_SIX_PARAM：除了4参数仿射运动模型之外，添加6参数仿射运动模型作为附加模型。
通过式14推导6参数仿射运动模型。
[式14]
需要左上位置MV_0、右上位置MV_1和左下位置MV_2的三个运动向量来确定模型，因为在运动模型中存在6个参数。可使用与4参数仿射运动模型中的两个运动向量的方法类似的方法来确定三个运动向量。仿射模型合并总是被设定为6参数仿射运动模型。
4)AFFINE_CLIP_REMOVE：去除所有仿射运动向量的运动向量约束。进行运动补偿过程以控制运动向量约束本身。
仿射运动模型
如上所述，可在仿射帧间预测中使用或考虑各种仿射运动模型。例如，如图14中一样，仿射运动模型可表示四个运动。能够表示仿射运动模型所能够表示的运动当中的三个运动(平移、缩放和旋转)的仿射运动模型可被称为相似性(或简化)仿射运动模型。CPMV的数量和/或推导当前块的样本/子块单元MV的方法可根据使用哪一个仿射运动模型而不同。
在本公开的实施方式中，使用自适应四和六参数运动模型。在AF_INTER中，除了存在于JEM中的4参数运动模型之外，提出了6参数运动模型。像式15一样描述6参数仿射运动模型。
[式15]
x′＝a*x+b*y+c
y′＝d*x+e*y+f
在这种情况下，系数a、b、c、d、e和f是仿射运动参数。(x,y)和(x',y')是仿射运动模型变换前后的像素位置的坐标。在视频编码中，为了使用仿射运动模型，如果CPMV0、CPMV1和CPMV2是CP0(左上)、CP1(右上)和CP2(左下)的MV，则式16可描述如下。
[式16]
在这种情况下，CPMV_0＝{v_0x,v_0y}，CPMV_1＝{v_1x,v_1y}，CPMV_2＝{v_2x,v_2y}，并且w和h是各个编码块的宽度和高度。式16是块的运动向量场(MVF)。
在CU级别解析标志以便指示当邻近块作为仿射预测编码时是否使用4参数或6参数仿射运动模型。如果不存在作为仿射预测编码的邻近块，则省略该标志，并且4参数模型用于仿射预测。换言之，在一个或更多个邻近块在仿射运动模型中编码的条件下考虑6参数模型。关于CPMVD的数量，针对4参数和6参数仿射运动模型用信号通知两个或三个CPMVD中的每一个。
此外，在本公开的实施方式中，可使用模式匹配的运动向量细化。在JEM的模式匹配运动向量推导(PMMVD，以下在JEM编码器描述中缩写为PMVD)中，解码器需要评估一些运动向量(MV)以便确定用于CU级别搜索的起始MV候选。在子CU级别搜索中，除了最优CU级别MV之外添加一些MV候选。解码器需要评估这些MV候选以便搜索最优MV。这需要大存储器带。在所提出的模式匹配运动向量细化(PMVR)中，在JEM中采用PMVD中的模板匹配和双边匹配的概念。当选择跳过模式或合并模式以指示PMVR是否可用时，用信号通知一个PMVR_flag。为了与PMVD相比有意义地减小存储器带宽要求，生成MV候选列表。如果应用PMVR，则明确地用信号通知起始MV候选索引。
使用合并候选列表生成过程来生成候选列表，但是排除子CU合并候选(例如，仿射候选和ATMVP候选)。对于双边匹配，仅包括单预测MV候选。双预测MV候选被分成两个单元预测MV候选。此外，还去除相似MV候选(具有小于预定义的阈值的MV差)。对于CU级别搜索，从用信号通知的MV候选开始执行菱形搜索MV细化。
子CU级别搜索仅在双边匹配合并模式下可用。用于所有子CU的子CU级别搜索的搜索窗口与用于CU级别搜索的搜索窗口相同。因此，在子CU级别搜索中不需要附加带宽。
为了在模式下细化MVP，还使用模板匹配。在AMVP模式下，使用HEVC MVP生成过程来生成两个MVP，并且用信号通知一个MVP索引以选择两个MVP之一。在PMVR中使用模板匹配进一步细化所选MVP。如果应用自适应运动向量分辨率(AMVR)，则在模板匹配细化之前以对应精度对MVP取整。这种细化过程被称为模式匹配运动向量预测器细化(PMVPR)。在本文献的其余部分中，除非另外具体地定义，否则PMVR包括模板匹配PMVR、双向匹配PMVR和PMVPR。
为了减小存储器带宽要求，PMVR不可用于4×4、4×8和8×4CU。为了减小所需附加存储器带宽的量，等于64的CU区域的{模板匹配,双向匹配}的搜索范围可减小至{±2,±4}。大于64的CU区域的{模板匹配,双向匹配}的搜索范围可减小至{±6,±8}。与HEVC中的最坏情况相比，所需存储器带宽从JEM-7.0的PMVD中的45.9x减小至使用本文献的PMVR部分中描述的所有方法的PMVR中的3.1x。
生成基于历史的运动向量预测(HMVP)
通常，图像压缩技术使用利用空间和时间冗余作为两个主要方案。例如，高效视频编码(HEVC)和VVC二者使用基于帧间编码的两个运动压缩方案。一个是合并运动，另一个是高级运动向量预测(AMVP)。为了改进两个预测模式，正在讨论各种修改。各种修改包括增加候选的数量以搜索更空间扩展的候选以及在非传统位置检查时间候选。这两个方案主要包括使用可用候选来构造列表、最小化速率失真(RD)成本以及在比特流中用信号通知所选候选。
具体地，在最近的图像压缩技术中，讨论了存储先前编码的块的运动信息并且所存储的运动信息用于随后编码的块的运动预测的HMVP。这种HMVP可被添加到合并列表(或合并候选列表)或AMVP列表(或AMVP候选列表)。
解码器为HMVP维持以先进先出(FIFO))系统(或方法)操作的查找表(LUT)。在本公开中，LUT不限于其名称，可被称为表、HMVP表、HMVP候选表、缓冲器、HMVP缓冲器、HMVP候选缓冲器、HMVP列表或HMVP候选列表。具体地，当非仿射预测单元(PU)(或编码单元(CU))被解码时，对应运动信息被存储在LUT中。解码器对下一PU执行解码。在这种情况下，所存储的运动信息可包括x(水平)和y(垂直)方向上的运动向量、参考索引信息和模式信息。
解码器维持存储逐步解码的非仿射候选的运动信息的LUT。LUT的大小可限于预定义的S个候选。在一个实施方式中，LUT可在切片开始、CTU行开始或CTU开始处重置。
合并模式和AMVP模式二者可应用HMVP。合并列表可具有B个候选，AMVP列表可具有两个候选。在传统图像压缩技术中，合并列表配置有以下候选：i)空间候选、ii)时间候选、iii)双向预测(Bi-Pred)候选、iv)零运动候选。最近讨论了另外考虑高级运动向量预测(ATMVP)作为候选的方法。例如，ATMVP候选可在时间候选之前插入到合并列表中。合并列表的候选被添加到合并列表，直至其达到最大合并列表大小。重复候选可不添加到合并列表。两个候选可被插入到AMVP列表中。例如，两个候选中的第一候选可选自可用空间候选，第二候选可选自时间候选。如果列表未填满，则可添加零运动向量候选。
基于候选与其输入次序相同地离开LUT的FIFO次序应用HMVP。
在一个实施方式中，当对合并列表配置应用HMVP时，HMVP候选可如下插入(或添加)到列表的第三位置：
1.空间候选
2.时间候选
3.至多LUT的S个HMVP候选
4.组合的Bi-Pred候选
5.零运动向量候选
在一个实施方式中，当对AMVP列表配置应用HMVP时，HMVP可如下在时间候选之后插入到第三位置中：
1.空间候选
2.时间候选
3.至多K个HMVP候选
4.零运动向量候选
图27是用于描述根据本公开的实施方式的存储HMVP的方法的流程图。
参照图27，解码器将当前PU(或CU)解码(S2701)。
解码器检查当前PU是不是在非仿射模式下编码的块(S2702)。为了方便使用HMVP候选，如果当前PU是在仿射模式下编码的块，则解码器不将当前PU的运动信息存储在表中。
如果当前PU是在非仿射模式下编码的块，则解码器将当前PU的运动信息存储(或更新)在表中(S2703)。
在本公开的实施方式中，可使用两个方法来更新HMVP表，即，i)无约束FIFO ii)约束FIFO方法。在前者中，可存在冗余运动信息，但不应用修剪过程。这有助于降低整个过程的复杂度。另一方面，在后者中，应用修剪过程并且不存在冗余运动信息。这参照下图来描述。
图28是用于描述根据本公开的实施方式的以无约束FIFO方式操作的HMVP表的图。
参照图28，添加到表的候选被添加在表的末尾(右侧)。相反，根据FIFO方法从表排出的候选位于表的前端(左侧，最老候选)。
如果在索引L-1(即，末尾)处表未完全填满最大数量的预定义的候选，则添加新的候选而不去除候选。相反，如果表已经完全填满，即，如果满足表的最大数量，则位于前端(即，表中最老)的候选被去除，并且添加新的候选。
图29是用于描述根据本公开的实施方式的以约束FIFO方式操作的HMVP表的图。
参照图29，在使用约束FIFO的情况下，如果添加新的候选导致任何冗余(即，新的候选包括冗余运动信息)，则执行修剪。在实施方式中，如果表中存在具有冗余运动信息的候选，则去除表中的冗余候选，并且可添加当前候选的运动信息。
关于HMVP候选，在许多情况下，最新历史MV可与空间候选(或空间邻近候选)的运动信息交叠。因此，本实施方式提出一种当HMVP候选被添加到AMVP或合并列表时与HMVPLUT索引次序不同地设定候选的添加次序的方法。
根据本公开的实施方式，可通过自适应地调节HMVP候选来高效地配置候选列表。因此，用于二值化的信令面元的数量可减少，并且编码效率可改进。即，添加到合并列表或AMVP列表的HMVP候选可不由HMVP列表中的索引限制。作为实施方式，下表1示出改变将HMVP候选添加到AMVP或合并列表的次序的方法。
[表1]
参照表1，如上所述，很有可能最近插入的HMVP候选可具有与空间候选相同的运动信息。因此，考虑到该可能性，HMVP候选的添加次序可预定义，而与HMVP索引无关。
此外，在一个实施方式中，编码器或解码器可从列表中的第n候选开始将HMVP候选从HMVP候选添加到合并列表或AMVP列表。下表2示出将候选添加到AMVP或合并列表的改变的次序。
[表2]
参照表2，HMVP候选可从第二索引添加到合并列表或AMVP列表。
在一个实施方式中，可从编码器将关于表(LUT)内的HMVP候选的添加次序的信息用信号通知给解码器。例如，这种次序信息可通过高级句法(HLS)发送。例如，高级句法可以是序列参数集、画面参数集、切片头、编码树单元、编码单元和/或另一适当的句法数据头。
表3示出可应用本公开中提出的方法的高级句法结构。
[表3]
参照表3，set_HMVP_order_flag等于1指示在CVS中的非IDR画面内的切片头中存在set_HMVP_order_flag。set_HMVP_order_flag等于0指示在切片头中不存在set_HMVP_order_flag并且在VCS中不使用自适应HMVP。
表4示出可应用本公开中提出的方法的切片片段头句法结构。
[表4]
参照表4，slice_HMVP_idx意指所使用的候选序列的索引。例如，slice_HMVP_idx等于0可表示基本HMVP序列(例如，0、1、2、3)。同样，索引值1可用于表示3、2、1、0的HMVP序列。
在本公开的实施方式中，除了HMVP LUT之外，提出一种针对运动预测使用长期列表的方法。因此，所维持的HMVP候选的数量可增加。在实施方式中，可考虑2-HMVP表。在这种情况下，一个可用于存储常见HMVP候选，另一个可用作存储需要进一步维持的候选的长期列表。
下面示出重置并构造长期列表(或长期HMVP列表)的方法。
-在CTU行的第一CTU被解码之后，后续CTU的一个或更多个历史MV可被添加到长期HMVP LUT。这种长期HMVP LUT可不使用或更新直至下一CTU行。
-在下一CTU行开始处，长期HMVP LUT可用于重置常见HMVP LUT。这样做的原因是与先前CTU行末尾处的历史MV相比，CTU行开始处的CTU的HMVP候选可更相关。
--上述过程可重复。
图30是示出根据本公开的实施方式的HMVP LUT和长期HMVP LUT的图。
参照图30，编码器或解码器可包括两个LUT以用于存储HMVP候选。一个可以是HMVPLUT(或常见HMVP LUT或短期HMVP LUT)，另一个可以是长期HMVP LUT。当HMVP候选被添加到合并和AMVP列表二者时，其可如图30所示从HMVP LUT或长期LUT添加。
可使用新的句法元素用信号通知长期LUT的使用。在实施方式中，可通过高级句法用信号通知句法元素。例如，句法元素可存在于序列参数集、画面参数集、切片头、编码树单元、编码单元和/或另一适当的句法数据头中。
在本公开的实施方式中，提出了一种在将HMVP候选添加到HMVP LUT时考虑解码的灵活性的方法。编码器/解码器可在将HMVP候选添加到HMVP LUT时考虑PU(或CU)的一个或更多个特性的决策标准。
在实施方式中，编码器/解码器可在将HMVP候选添加到表时考虑以下内容。编码器/解码器可通过单独地或组合考虑诸如PU的模式(例如，合并模式、仿射模式或AMVP模式)和/或块的尺寸的特性来将候选添加到表。在一个实施方式中，除了这些特性之外，可考虑其它附加特性。例如，考虑HMVP LUT更新的合并类型(例如，空间候选或时间候选)、是不是子PU等可被视为选择候选的标准。可确定选择标准以减小与先前历史(或先前HMVP)的冗余。例如，如果PU在合并模式下编码并且合并类型是空间合并，则解码器可不利用对应PU的运动信息更新HMVP LUT。
图31是示出根据本公开的实施方式的更新HMVP LUT的方法的示例的图。
参照图31，编码器/解码器获得编码的候选的运动信息(S3101)。
编码器/解码器基于预定义的决策标准来评估是否利用候选的运动信息更新LUT(S3102)。如上所述，决策标准可包括与候选的模式(例如，合并模式、仿射模式或AMVP模式)、候选的块尺寸和/或候选的合并类型中的一个或更多个有关的特性。
编码器/解码器基于决策标准来更新LUT(S4303)。即，如果候选满足预定义的决策标准，则编码器/解码器可将候选的运动信息添加到LUT。
在本公开的实施方式中，提出了对用于将HMVP候选添加到合并列表(或AMVP列表)的冗余检查的约束。对冗余检查的约束可按各种方式定义或实现。
在一个实施方式中，编码器/解码器可限制针对合并列表中的第一特定数量的候选的修剪检查的数量。作为实施方式，编码器/解码器可限制针对从合并列表的第一候选到特定候选的候选的修剪检查的数量。例如，编码器/解码器可对从合并列表的第一候选到特定候选的候选执行修剪过程。并且，HMVP候选(即，修剪检查的目标)可被限制为预定义的数量。
此外，在一个实施方式中，编码器/解码器可通过对合并列表内的特定类型的合并候选执行修剪检查来限制修剪检查。例如，编码器/解码器可在添加HMVP候选时仅对合并列表的空间候选执行修剪检查。另选地，例如，编码器/解码器可在添加HMVP候选时仅对合并列表的一些空间候选执行修剪检查。一些空间候选可预定义。例如，预定义的空间候选可以是左邻近空间候选和/或上邻近空间候选中的至少一个。或者，例如，在添加HMVP候选时，编码器/解码器可仅对合并列表的一部分空间候选执行修剪检查，并且这部分空间候选可被预定义为左侧和上侧。本公开的实施方式不限于上述示例，其它类型可被组合并限制为修剪检查的目标。
图32是示出根据本公开的实施方式的限制HMVP候选(即，修剪检查的目标)的数量的方法的图。
参照图32，在本公开的实施方式中，HMVP候选(即，修剪检查的目标)的数量可被限制为M。编码器/解码器可在使用HMVP候选构造合并列表时检查HMVP LUT内的前M个候选与合并列表的合并候选之间的运动信息的冗余。
另选地，编码器/解码器可在将解码的处理块(例如，PU)的运动信息添加到HMVPLUT时检查HMVP LUT内的前M个候选与当前解码的PU之间的运动信息的冗余。
图33是示出根据本公开的实施方式的执行修剪检查的方法的示例的流程图。
参照图33，编码器/解码器获得解码的候选的运动信息并确定(或解码)修剪检查的数量(S3301、S3302)。可在编码器/解码器中根据上述(例如，在图32中描述)方法预定义修剪检查的数量。编码器/解码器基于所确定的修剪检查的数量来执行修剪检查(S3303)。
在一个实施方式中，如表4和表5中一样，可通过高级句法用信号通知与修剪检查有关的信息。在这种情况下，可通过用于指示修剪检查的数量的更高级句法用信号通知从编码器发送到解码器的句法元素。例如，高级句法可包括在序列参数集、画面参数集、切片头、编码树单元、编码单元和/或其它适当的句法数据头中。
在本公开的实施方式中，提出了一种选择HMVP候选的高效方法。当历史运动向量候选(即，HMVP候选)被插入到合并列表(或AMVP列表)中时，可执行修剪检查以使得HMVP候选不与现有合并列表交叠。此时，为了在大小M的合并列表与大小N的历史LUT之间执行总冗余检查，需要(M-1)×N次检查。
因此，在本公开的实施方式中，HMVP候选的数量可取决于合并候选。例如，HMVP候选的数量可取决于存在于合并列表中的空间候选的数量。另选地，例如，HMVP候选的数量可取决于存在于合并列表中的空间候选和时间候选的数量。
如果合并列表中存在另一合并候选，则基于合并候选的数量和/或合并列表的HVVP的数量将基于特定标准(或规则)执行修剪检查的HMVP候选的数量可减少。因此，最坏情况下的冗余检查的数量可减少。
例如，在大小(或长度)为6的合并列表的情况下，如果合并列表完全填满，则合并列表可包括最多5个空间或其它合并候选。为了将HMVP候选插入到6个HMVP列表中，在最坏情况下可能需要30次冗余检查。
在一个实施方式中，式17和表5中示出与对要成为修剪检查的目标的HMVP的数量的约束有关的示例。
[式17]
if(existing_candidates>＝3)
number_hist_to_check＝7-existing_candidates；
[表5]
参照表5，通过将HMVP(即，修剪检查的目标)的数量限制为2，在最坏情况下针对HMVP添加的冗余检查的数量可减少12倍而非30倍。
在本公开的实施方式中，提出了一种使用基于历史的空间时间运动向量预测(H-STMVP)来构造合并列表的方法。H-STMVP指示作为两个基于历史的空间MVP和TMVP的平均推导的候选。这两个空间HMVP可从HMVP缓冲器获得。TMVP可从当前合并列表获得。在这种情况下，空间候选可以是从当前块之前按解码顺序最后2个编码的MV获得的候选。
例如，最后编码的MV(本公开中称为MV_L)、倒数第二个MV(本公开中称为MV_(L-1))和MV_TMVP可用于生成要插入到合并列表中的H-STMVP候选。
如果所有三个候选均可使用，则添加到合并列表的MV可由下面的式18计算。
[式18]
{MVL+MVL-1+MVTMVP}*43/128
在一个实施方式中，如果三个候选中仅两个可用，则仅两个候选可被平均以生成H-STMVP。同样，如果仅一个候选可用，则这一个候选可使用。如果不存在可用候选，则H-STMVP可不用于合并列表配置。
在本公开的实施方式中，提出了一种使用式18以外的另一方法获得H-STMVP候选的运动向量的方法。
例如，代替一次对三个或更多个候选取平均，首先对空间候选取平均，然后使用平均结果再次对两个候选取平均可在计算上更简单。其示例示出于下面的式中。
[式19]
<[(MVL+MVL-1)＞＞1+MVTMVP]＞＞1>
另选地，可如下获得平均值。
[式20]
<[(MVL+MVTMVP)＞＞1+MVL-1]＞＞1>
[式21]
<[(MVL-1+MVTMVP)＞＞1+MVL]＞＞1>
[式22]
<[2 MVL+MVL-1+MVTMVP]＞＞2>
编码器/解码器可首先如式19至式21中对两个候选取平均，然后可使用第三候选对结果值取平均。另选地，编码器/解码器可通过如式22中应用两次移位运算来向候选(即，MV_L)指派更高的重要性/权重。可使用式19至式22仅通过移位运算推导平均值而无需除法运算。
在本公开的实施方式中，提出了一种在推导H-STMVP时使用给定数量(n)的空间候选而非两个基于历史的空间候选的方法。n个候选不需要是本质上连续的解码顺序。可随机地或根据一些规则选择n个候选。
因此，可类似下面的式23使用更一般的方法表示式18。
[式23]
{MV1+MV2+…+MVn+MVTMVP}*1/(n+1)
在另一实施方式中，假设使用5个空间候选，空间候选增加对生成H-STMVP候选的影响可最小化，并且空间候选和时间候选可通过改进应用于时间候选的权重来适当地合并。
因此，为此，在使用式24对空间候选一起取平均之后，可通过使用平均结果对MV_TMVP取平均来实现上述目的。
[式24]
[{MV1+MV2++MVn}*1/n+MVTMVP]*1/2
在本公开的实施方式中，提出了一种向用于推导H-STMVP的运动向量候选添加权重(或加权因子)的方法。在这种情况下，权重可通过经验确定，或者可通过考虑直至固定参考帧的时间距离来确定，或者可通过考虑历史表中的位置来确定。例如，新的候选可具有比先前候选更重的权重。
即，在本实施方式中，可类似下面的式25表示式18。
[式25]
{MV＝w1.MVL+w2.MVL-1+w3.MVTMVP}
在这种情况下，权重可具有相同的值或分布不均匀的值。
在本公开的实施方式中，提出了一种缩放用于推导H-STMVP候选的运动向量作为单个参考画面的方法。
图34是用于描述根据本公开的实施方式的使用参考不同参考画面的运动向量来推导H-STMVP候选的方法的图。
参照图34，假设MV_L、MV_L-1和MV_TMVP候选参考(或指示)各个不同的参考画面。即，图34示出用于生成H-STMVP候选的候选可具有不同的参考索引，因此具有不同的参考帧。
式18至式25的平均可得到不等的结果值，因为具有接近参考帧的帧可本质上对H-STMVP的运动向量具有更大的影响。因此，提出了一种为了相等的比较和合并将所有运动向量缩放为单个参考帧的方法。
在这种情况下，编码器可确定作为RD优化的一部分执行的哪一单个帧最适合于用作参考帧。在实施方式中，类似于存在于切片头中的TMVP阵列索引，可在切片头中用信号通知所选参考帧。例如，要使用的参考帧可使用固定规则来生成。另选地，例如，可从L0作为第一可用参考帧缩放列表，或者可基于当前画面序列计数来缩放列表。
在一个实施方式中，为了实现上述目的，编码器可使用高级句法(HLS)向解码器发送用于单个固定画面的信息，其可以是序列参数集、画面参数集、切片头、编码树单元和/或另一数据头的一部分。例如，可定义诸如下面的表6和/或表7的高级句法结构。
[表6]
参照表6，set_HSTMVP_ref_pic_flag等于1指示在CVS中的非IDR画面的切片头中存在set_HSTMVP_idx。set_HSTMVP_ref_pic_flag等于0指示在切片头中不存在set_HSTMVP_idx。
[表7]
参照表7，slice_HMVP_idx指定参考索引。在一个实施方式中，可关于列表L0选择参考索引。
在本公开的实施方式中，将关于上述实施方式描述更详细的实施方式。具体地，提出了一种使用位置和尺寸信息来间接使用仿射HMVP候选以便计算或推导当前块的CPMV的方法。在本公开中，推导的CPMV可被称为继承的仿射HVMP候选。根据本公开的实施方式的继承的仿射HMVP候选可在上述仿射合并列表和/或仿射AMVP列表生成过程中使用。
图35是示出根据本公开的实施方式的用于推导继承的仿射HMVP候选的块的位置的图。
参照图35，可按照与从邻近块推导一般继承的CPMV的方法相似的方式基于仿射HMVP候选的位置和尺寸推导当前块3501的CPMV。即，编码器/解码器可基于作为仿射HMVP候选的参考块3502的位置和尺寸(例如，宽度和高度)信息来推导当前块3501的控制点的运动向量。
作为实施方式，可使用下面的式26和式27来推导当前块的继承的仿射HMVP的CPMV。
[式26]
V0x＝VB0x+(VB2_x-VB0x)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1x-VB0x)*(posCurCU_X-posRefCU_X)/RefCU_width
[式27]
V0y＝VB0y+(VB2_y-VB0y)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1y-VB0y)*(posCurCU_X-posRefCU_X)/RefCU_width
在式26和式27中，posCurCU_Y表示当前块3501的左上样本的垂直坐标值，posRefCU_Y表示参考块3502的左上样本的垂直坐标值。posCurCU_X表示当前块3501的左上样本的水平坐标值，posRefCU_X表示参考块3502的左上样本的水平坐标值。RefCU_height表示参考块3502的高度，RefCU_width表示参考块3502的宽度。
在本公开的一个实施方式中，在添加仿射HMVP候选(直接或继承的HMVP)时，可添加限制以选择可用于生成仿射合并列表或仿射AMVP列表的仿射HMVP候选。
作为示例，仅当仿射HMVP候选与当前块相邻时，仿射HMVP候选才可被添加到仿射合并列表或仿射AMVP列表。
作为另一示例，仅当仿射HMVP候选位于(或存在于)距当前块的特定距离内时，仿射HMVP候选才可被添加到仿射合并列表或仿射AMVP列表。例如，特定距离可以是预定义的像素距离。编码器/解码器可确定仿射HMVP候选是否位于预定义的特定距离内以确定仿射HMVP候选是否可用。
作为另一示例，仅当仿射HMVP候选基于当前块位于(或存在于)特定位置时，仿射HMVP候选才可被添加到仿射合并列表或仿射AMVP列表。例如，当仿射HMVP候选存在于特定位置时，这可能是仿射HMVP候选是当前块的左或上邻近块的情况。
对于具有N个元素的仿射HMVP LUT，可执行对所有元素或前M个元素的上述验证过程，直至合并或AMVP列表已满或者直至达到预定义数量的HMVP候选。
在本公开的一个实施方式中，提出了一种仿射HMVP候选用于替换已经存在于仿射合并列表和/或仿射AMVP列表中的继承的仿射候选的方法。
图36是示出根据本公开的实施方式的仿射合并列表或仿射AMVP列表的图。
参照图36，编码器/解码器可利用继承的仿射HMVP候选替换存在于现有仿射合并列表或仿射AMVP列表中的继承的候选。即，当对当前块应用基于子块的合并模式时，编码器/解码器可使用继承的仿射候选和已经构造的仿射候选来生成基于子块的合并候选列表，推导继承的仿射HMVP候选，并利用继承的仿射HMVP候选替换包括在基于子块的合并候选列表中的至少一个继承的仿射候选。
另外，在本公开的一个实施方式中，仿射HMVP查找表(LUT)可在切片、CTU行或CTU的开始处初始化。由此，可改进并行处理的性能。
以下，在下面的实施方式中，提出了一种从HMVP减少最坏修剪检查的数量的方法。
在本公开的实施方式中，当HMVP候选被添加到合并列表时，可基于合并列表中的可用候选的数量和可添加到合并列表的HMVP候选的数量来确定修剪检查的数量。以下，在描述本公开的实施方式中，为了描述方便，如下定义变量。
-NST：合并列表中的可用(或现有)候选的数量
-NHMVP：表中的HMVP候选的数量(即，HMVP表大小)
-NmrgToBeAdded：添加到合并列表的HMVP候选的数量
-NHMVPChecked：修剪检查的HMVP候选的数量
-Nmax_hmvp_prunning：将HMVP候选添加到合并列表所需的最坏情况修剪检查的数量
在本公开的一个实施方式中，可根据以下条件将HMVP候选添加到合并列表。
-第一条件：当LUT先前被修剪时(即，HMVP LUT中的候选之间不存在相同的mv)
-第二条件：当HMVP LUT表的大小为6时
-第三条件：当将HMVP候选添加到合并列表的可用(或现有)合并候选的最大数量为4时。即，这是当合并列表中的合并候选的数量小于通过从最大合并列表大小(或合并候选的最大数量)减去1而获得的值时。例如，最大合并列表大小可为6，并且如果当前可用的合并候选的数量小于5，则可添加(或插入)HMVP候选。换言之，HMVP候选可仅添加直至合并列表索引5。
当HMVP候选被添加到合并列表(即，成为合并候选)时，各个HMVP候选可能需要修剪检查以去除合并候选之间的重复。根据现有图像压缩技术，可如下表8所示计算将HMVP添加到合并列表所需的最坏修剪检查数量。
[表8]
| NST | NmrgToBeAdded | NHMVPChecked | Nmax_hmvp_prunning |
| 0 | 5 | 6 | 0 |
| 1 | 4 | 6 | 4 |
| 2 | 3 | 6 | 7 |
| 3 | 2 | 6 | 9 |
| 4 | 1 | 6 | 10 |
参照表8，根据现有图像压缩技术，可对HMVP表(或HMVP列表、HMVP候选列表)中的六个HMVP候选执行修剪检查。
具体地，1)当合并列表中存在一个候选时，添加到合并列表的HMVP候选可为4。然后，可执行针对六个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为4。2)当合并列表中存在两个候选时，添加到合并列表的HMVP候选可为3。然后，可执行针对六个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为7。3)当合并列表中存在三个候选时，添加到合并列表的HMVP候选可为2。然后，可执行针对六个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为9。4)当合并列表中存在四个候选时，添加到合并列表的HMVP候选可为1。然后，可执行针对六个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为10。
在本公开的实施方式中，提出了一种减少上述最坏修剪检查的数量的方法。如果合并列表中存在更多合并候选，则由于HMVP的编码效果随着合并候选(即，非HMVP候选)增加而减小，所以要修剪的HMVP候选的数量可能需要减少。因此，在本公开中的实施方式，编码器/解码器可将要检查的HMVP候选的数量(NHMVPChecked)设定为等于要添加的可用HMVP候选的数量(NmrgToBeAdded)以便减少最坏修剪检查的数量。在这种情况下，可如下表9所示计算最坏修剪检查的数量。
[表9]
| NST | NmrgToBeAdded | NHMVPChecked | Nmax_hmvp_prunning |
| 0 | 5 | 5 | 0 |
| 1 | 4 | 4 | 4 |
| 2 | 3 | 3 | 6 |
| 3 | 2 | 2 | 6 |
| 4 | 1 | 1 | 4 |
参照表9，与传统图像压缩技术相比，针对HMVP的最坏修剪检查的数量可从10减少至6。
参照表9，在实施方式中，1)当合并列表中存在一个候选时，添加到合并列表的HMVP候选可为4。然后，可执行针对四个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为4。2)当合并列表中存在两个候选时，添加到合并列表的HMVP候选可为3。然后，可执行针对三个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为6。3)当合并列表中存在三个候选时，添加到合并列表的HMVP候选可为2。然后，可执行针对两个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为6。4)当合并列表中存在四个候选时，添加到合并列表的HMVP候选可为1。然后，可执行针对一个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为4。
在本公开的实施方式中，为了减少最坏修剪检查的数量，编码器/解码器可将要修剪检查的HMVP候选的数量(NHMVPChecked)设定为与要添加的可用HMVP候选的数量(NmrgToBeAdded)与K之和相同。这里，K表示预定义的常数值。作为示例，当K为1时，可如下表10所示计算最坏修剪检查数量。
[表10]
| NST | NmrgToBeAdded | NHMVPChecked | Nmax_hmvp_prunning |
| 0 | 5 | 6 | 0 |
| 1 | 4 | 5 | 4 |
| 2 | 3 | 4 | 7 |
| 3 | 2 | 3 | 8 |
| 4 | 1 | 2 | 7 |
参照表10，在实施方式中，1)当合并列表中存在一个候选时，添加到合并列表的HMVP候选可为4。然后，可执行针对五个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为4。2)当合并列表中存在两个候选时，添加到合并列表的HMVP候选可为3。然后，可执行针对四个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为7。3)当合并列表中存在三个候选时，添加到合并列表的HMVP候选可为2。然后，可执行针对三个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为8。4)当合并列表中存在四个候选时，添加到合并列表的HMVP候选可为1。然后，可执行针对两个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为7。
在本公开的实施方式中，为了减少最坏情况下的修剪检查，要检查的HMVP候选的数量(NHMVPChecked)可如下面的式28定义。
[式28]
NHMVPChecked＝min(NHMVP，C*NmrgToBeAdded)
在式28中，C表示预定义的常数值。如果C为2，则可如下表11所示计算最坏修剪检查数量。
[表11]
| NST | NmrgToBeAdded | NHMVPChecked | Nmax_hmvp_prunning |
| 0 | 5 | 6 | 0 |
| 1 | 4 | 6 | 4 |
| 2 | 3 | 6 | 7 |
| 3 | 2 | 4 | 9 |
| 4 | 1 | 2 | 7 |
参照表11，在实施方式中，1)当合并列表中存在一个候选时，添加到合并列表的HMVP候选可为4。然后，可执行针对六个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为4。2)当合并列表中存在两个候选时，添加到合并列表的HMVP候选可为3。然后，可执行针对六个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为7。3)当合并列表中存在三个候选时，添加到合并列表的HMVP候选可为2。然后，可执行针对四个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为9。4)当合并列表中存在四个候选时，添加到合并列表的HMVP候选可为1。然后，可执行针对两个HMVP候选的修剪检查。在这种情况下，最坏修剪检查的数量可为7。
当HMVP被添加到合并列表和/或AMVP列表时，需要再次执行修剪以避免与存在于合并列表和/或AMVP列表中的候选的重复。如果如上面在图29中所述已经通过有限FIFO操作修剪了HMVP LUT，则在将HMVP候选插入(或添加)到合并列表时，可能不需要HMVP候选之间的比较(或修剪检查)。因此，当如上面在图28中所述使用非限制FIFO表时，修剪检查的数量可减少。这是因为在将HMVP候选插入到合并列表中时需要HMVP候选之间的修剪检查。如上所述，在本公开中，HMVP LUT不限于其名称，可被称为LUT、表、HMVP表、HMVP候选表、缓冲器、HMVP缓冲器、HMVP候选缓冲器、HMVP列表、HMVP候选列表、HMVP合并候选列表、基于历史的合并候选列表等。
在本公开的一个实施方式中，可定义考虑用于构造合并列表和/或AMVP列表的HMVP候选插入过程的HMVP查找表(LUT)的大小。具体地，可添加HMVP候选直至预定义的合并列表大小。例如，当最大合并列表的大小被定义为6时，HMVP可能不是第6候选。如果在合并列表中5个合并候选可用(或存在)，则可能无法添加HMVP候选。在这种情况下，可从HMVP以外的候选(或根据另一方法)选择第六候选。因此，考虑上述HMVP候选插入过程，在本公开的一个实施方式中，提出了以下HMVP LUT大小选择方法。
作为实施方式，HMVP LUT表大小可被定义或设定为等于(MaxNumMergeCand-K)。这里，MaxNumMergeCand指示最大合并候选列表(或包括在合并候选列表中的候选的最大数量或合并候选的最大数量)，此时，MaxNumMergeCand可被定义为6。K表示预定义的常数。例如，K可为1，HMVP LUT大小可为5。
根据本公开的实施方式，通过将HMVP限制为MaxNumMergeCand-K(如上所述，例如，K为1)，在将HMVP添加到合并列表和/或HMVP表时最坏修剪检查数量(或最坏情况)可减少。(图29中先前描述的有限FIFO操作)。另外，根据本公开的实施方式，用于存储HMVP LUT的存储器可减少。
在本公开的实施方式中，考虑到上述HMVP表大小，诸如下述实施方式的更新过程可应用于具有HMVP运动候选的表。以下实施方式是HMVP表更新过程的示例，本公开的实施方式不限于此。
HMVP表更新过程
首先，HMVP表更新过程的输入可如下定义。
-运动向量mvL0和mvL1
-参考索引refIdxL0和refIdxL1
-预测列表利用标志predFlagL0和preFlagL1
该更新过程的输出可以是HMVP候选列表的修改阵列。在此过程中，mvCand表示指示具有运动向量、参考索引和预测列表利用标志的运动向量候选的变量。
此更新过程可在以下步骤中执行。
1.变量identicalCandExist被设定为假，并且变量tempIdx被设定为0。这里，identicalCandExist是指示HMVP候选列表中是否存在相同的运动信息的变量，tempIdx是指示HMVP候选列表中具有与当前运动向量相同的运动信息的HMVP候选的索引的变量。
2.如果HMVPCandNum大于0，则对于具有HMVPIdx＝0..HMVPCandNum-1的各个索引HMVPIdx，可应用以下步骤，直至identicalCandExist变量为真。这里，HMVPCandNum表示HMVP候选列表中的HMVP候选的数量，HMVPIdx表示指派给HMVP候选列表中的HMVP候选的索引。
-如果mvCand具有与HMVPCandList[HMVPIdx](即，HMVP候选列表中具有HMVPIdx的HMVP候选)相同的运动向量和相同的参考索引，则identicalCandExist可被设定为真，并且tempIdx可被设定为HMVPIdx。
3.并且，HMVP候选列表可根据以下步骤更新。
(1)如果identicalCandExist为真或者HMVPCandNum为MaxNumMergeCand-K，则可应用以下步骤。这里，MaxNumMergeCand是指示合并列表(或合并候选列表)的大小(或合并列表的候选的最大数量、合并候选的最大数量)的变量，K是任意常数。在实施方式中，K可预定义。此外，在实施方式中，K可被设定为1，并且当MaxNumMergeCand值被定义为6时MaxNumMergeCand-K可为5。另外，在实施方式中，MaxNumMergeCand-K可被设定为5。例如，如果identicalCandExist为真或者HMVPCandNum为5，则可应用以下步骤。
-对于具有idx＝(tempIdx+1)..(HMVPCandNum-1)的各个索引idx，HMVPCandList[idx-1]可被设定为HMVPCandList[idx]。即，具有tempIdx之后的索引的HMVP候选的索引可被设定为值减小一的值。
-HMVPCandList[HMVPCandNum-1]可被设定为mvCand。
(2)否则(即，如果identicalCandExist为假，并且HMVPCandNum小于MaxNumMergeCand-K)，可应用以下步骤。如上所述，在实施方式中，MaxNumMergeCand-K可被设定为5。例如，否则(即，identicalCandExist为假，并且HMVPCandNum小于5)，可应用以下步骤。
-HMVPCandList[HMVPCandNum++]可被设定为mvCand。
作为示例，当当前切片为P或B切片时，可调用此更新过程。此时，变量HMVPCandNum被设定为0，变量HMVPCandList可被定义为MaxNumMergeCand-K的元素阵列。如上所述，在实施方式中，MaxNumMergeCand-K可被设定为5。例如，此时，变量HMVPCandNum可被设定为0，变量HMVPCandList可被定义为5的元素阵列。
以下，将描述HMVP表更新过程的另一示例。
首先，更新过程的输入可如下定义。
-运动向量mvL0和mvL1
-参考索引refIdxL0和refIdxL1
-预测列表利用标志predFlagL0和preFlagL1
此更新过程的输出可以是HMVP候选列表的修改阵列。在此过程中，mvCand表示指示具有运动向量、参考索引和预测列表利用标志的运动向量候选的变量。
此更新过程可在以下步骤中执行。
1.对于具有HMVPIdx＝0..HMVPCandNum-1的各个索引HMVPIdx，可依次应用以下步骤，直至变量sameCand变为真。这里，sameCand是指示HMVP候选列表中是否存在相同的运动信息的变量。
-如果mvCand具有与HMVPCandList[HMVPIdx]相同的运动向量和相同的参考索引，则sameCand被设定为真。
-否则，sameCand被设定为假。
-HMVPIdx++(即，HMVPIdx增加1)
2.变量tempIdx被设定为HMVPCandNum。
3.如果sameCand为真或者HMVPCandNum为MaxNumMergeCand-K，则对于具有tempIdx＝(sameCand？HMVPIdx:1)..HMVPCandNum-1的各个索引tempIdx，HMVPCandList[tempIdx]被复制或设定为HMVPCandList[tempIdx-1]。K是任意常数。在实施方式中，K可预定义。此外，在实施方式中，K可被设定为1，并且当MaxNumMergeCand值被定义为6时MaxNumMergeCand-K可为5。另外，在实施方式中，MaxNumMergeCand-K可被设定为5。
4.mvCand被复制到HMVPCandList[tempIdx]。
5.如果HMVPCandNum小于MaxNumMergeCand-K，则HMVPCandNum增加一。如上所述，在实施方式中，MaxNumMergeCand-K可被设定为5。
为了描述方便，本公开的上述实施方式可被划分并描述，但本公开不限于此。即，上述实施方式可独立地执行，或者一个或更多个实施方式可被组合并执行。
图37是示出根据应用本公开的实施方式的以基于历史的运动向量预测为基础来处理视频信号的方法的流程图。
参照图37，为了描述方便，基本上描述了解码器，但本公开不限于此。根据本公开的实施方式的以基于历史的运动向量预测为基础处理视频信号的方法可在编码器和解码器中相同地执行。
在以基于历史的运动向量预测为基础处理视频信号的方法中，解码器基于当前块的邻近块来配置合并候选列表(S3701)。
解码器将当前块的基于历史的合并候选添加到合并候选列表(S3702)。
解码器获取指示合并候选列表中用于当前块的帧间预测的合并候选的合并索引(S3703)。
解码器基于合并索引所指示的合并候选的运动信息来生成当前块的预测样本(S3704)。
解码器基于运动信息来更新基于历史的合并候选列表(S3705)。
如上所述，作为实施方式，如果基于历史的合并候选具有不与包括在合并候选列表中的合并候选当中的预定义的合并候选交叠的运动信息，则基于历史的合并候选可被添加到合并候选列表。
如上所述，作为实施方式，基于历史的合并候选列表可被定义为具有基于合并候选列表的合并候选的最大数量确定的大小。
如上所述，作为实施方式，基于历史的合并候选列表可被定义为具有通过从合并候选列表的合并候选的最大数量减去1而获得的值的大小。
如上所述，作为实施方式，基于历史的合并候选列表的大小可被定义为5。
如上所述，作为实施方式，如果基于历史的合并候选具有不与包括在合并候选列表中的合并候选当中的预定义的特定数量的合并候选交叠的运动信息，则基于历史的合并候选可被添加到合并候选列表。
如上所述，作为实施方式，如果基于历史的合并候选具有不与包括在合并候选列表中的特定空间合并候选交叠的运动信息，则基于历史的合并候选可被添加到合并候选列表。
如上所述，作为实施方式，可从基于历史的合并候选列表内的预定义数量的候选推导基于历史的合并候选。
如上所述，作为实施方式，当合并列表不满足合并列表的最大数量时，解码器可将零运动向量添加到合并列表。
本公开中描述的实施方式可在处理器、微处理器、控制器或芯片上实现并执行。例如，图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现并执行。
此外，应用本公开的解码器和编码器可包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、用于监视的相机、视频对话装置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流服务提供装置、三维(3D)视频装置、视频电话装置和医疗视频装置中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可包括游戏机、蓝光播放器、互联网接入TV、家庭影院系统、智能电话、平板PC和数字视频记录仪(DVR)。
此外，应用本公开的处理方法可按照由计算机执行的程序的形式生成，并且可被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储装置。例如，计算机可读记录介质可包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网的传输)。此外，使用编码方法生成的比特流可被存储在计算机可读记录介质中，或者可经由有线和无线通信网络发送。
此外，本公开的实施方式可使用程序代码被实现为计算机程序产品。程序代码可由根据本公开的实施方式的计算机执行。程序代码可被存储在可由计算机读取的载体上。
应用本公开的解码设备和编码设备可包括在数字装置中。术语“数字装置”包括能够执行例如数据、内容和服务的发送、接收、处理和输出中的至少一个的所有数字装置。这里，数字装置对数据、内容、服务等的处理包括对数据、内容、服务等进行编码和/或解码的操作。数字装置通过有线/无线网络与其它数字装置、外部服务器等配对或连接(以下成为“配对”)，以发送和接收数据并且如果需要对其进行转换。
例如，数字装置包括诸如网络TV、HBBTV(混合广播宽带TV)、智能TV、IPTV(互联网协议电视)、PC等的固定装置(或常设装置)以及诸如PDA(个人数字助理)、智能电话、平板PC、膝上型计算机的移动装置(或手持装置)。在稍后描述的本公开中，为了方便，图39示出并描述数字TV作为数字装置的实施方式，图40示出并描述移动装置作为数字装置的实施方式。
此外，本文中描述的术语“有线/无线网络”是指支持用于数字装置之间或数字装置与外部服务器之间的互连和/或数据发送和接收的各种通信标准或协议的通信网络。这些有线/无线网络可包括当前和未来支持的通信网络及其通信协议，并且可通过诸如USB(通用串行总线)、CVBS(复合视频消隐同步)、Component、S-Video(模拟)、DVI(数字视觉接口)、HDMI(高清多媒体接口)、RGB、D-SUB等的有线连接通信标准或协议形成，并且通过诸如蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、数字生活网络联盟(DLNA)、无线LAN(WLAN)(Wi-Fi))、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、LTE(长期演进)、Wi-Fi直连(Direct)等的无线连接通信标准形成。
以下，在本公开中简单提及数字装置的情况下，根据上下文，其可意指固定装置或移动装置或者包括二者。
此外，例如，数字装置是支持广播接收功能、计算机功能和至少一个外部输入的智能装置，并且可通过上述有线/无线网络支持电子邮件、web浏览、银行业务、游戏和应用。另外，数字装置可包括用于支持诸如手操作输入装置、触摸屏和空间遥控器的至少一个输入或控制手段(以下称为输入手段)的接口。数字装置可使用标准化的通用操作系统(OS)。例如，数字装置可添加、删除、修改和更新通用OS内核上的各种应用，并且可通过其配置并提供更用户友好的环境。
此外，本公开中描述的外部输入包括外部输入装置，即，有线/无线连接到上述数字装置并通过其发送/接收相关数据的所有输入手段或数字装置。这里，外部输入可包括诸如高清多媒体接口(HDMI)、诸如游戏平台或X-Box的游戏装置、智能电话、平板PC、打印机或智能TV的所有装置。
并且，本公开中描述的术语“服务器”包括客户端，即，向上述数字装置供应数据的所有数字装置或系统，并且被称为处理器。这种服务器的示例包括提供网页或web内容的门户服务器、提供广告数据的广告服务器、提供内容的内容服务器以及社交媒体服务(SNS)服务器、服务服务器或者制造商所提供的制造服务器等。
此外，本文中描述的“信道”意指用于发送和接收数据的路径、手段等，并且可由广播信道举例说明。这里，根据数字广播的启用，广播信道以物理信道、虚拟信道和逻辑信道的术语表示。广播信道可被称为广播网络。如上所述，广播信道是指用于提供或访问广播台所提供的广播内容的信道，并且广播内容主要基于实时广播并且也称为实况信道。然而，最近，用于广播的介质变得更加多样化，除了实时广播之外还启用了非实时广播。其也可被理解为意指整个信道的术语。因此，实况信道可被理解为不仅意指实时广播，而且在一些情况下意指包括非实时广播的整个广播信道的术语。
在本公开中，关于上述广播信道以外的信道进一步定义“任意信道”。任意信道可连同广播信道一起提供诸如电子节目指南(EPG)的服务指南。服务指南、GUI(图形用户界面)或OSD画面(屏幕上显示画面)可仅利用任意信道配置/提供。
此外，与收发器之间具有预定信道号的广播信道不同，任意信道是在接收器中随机分配的信道，并且向任意信道分配基本上不与用于表示广播信道的信道号交叠的信道号。例如，当调谐特定广播信道时，接收器接收通过调谐的信道发送广播内容及其信令信息的广播信号。这里，接收器从信令信息解析信道信息，并基于解析的信道信息来配置信道浏览器、EPG等并将其提供给用户。当用户通过输入手段发出信道改变请求时，接收器相应地作出响应。
如上所述，由于在发送终端和接收终端之间预先约定广播信道，所以当任意信道以交叠方式分配给广播信道时，可能造成用户混淆，或者可能存在混淆的可能性，因此优选的是如上所述不重复分配。此外，即使任意信道号如上所述不与广播信道号交叠，在用户的信道浏览过程中仍存在混淆，并且需要考虑这一点来分配任意信道号。这是因为根据本公开的任意信道也可被实现为以与传统广播信道相同的方式响应于用户通过输入手段的信道切换请求来访问。因此，为了方便用户访问任意信道并且为了方便与广播信道号区分或辨别，任意信道号可按字符并行书写的形式(例如，任意信道1、任意信道2等)定义和显示，而非类似广播信道的数字形式。在这种情况下，尽管任意信道号的显示可按如任意信道1中书写字符的形式实现，但是接收器可内部识别并实现数字形式的任意信道作为广播信道号。另外，任意信道号可按数字形式提供(例如，广播信道)，并且还可按可与广播信道区分的各种方式定义并显示信道号(例如，视频信道1、标题1和视频1)。
数字装置执行用于web服务的web浏览器，并向用户提供各种类型的网页。这里，网页包括包含视频内容的网页，并且在本公开中，与网页分开或独立地处理视频。并且，分离的视频可如上所述分配给任意信道，并通过服务指南等提供，并在观看服务指南或广播信道的过程中根据信道切换请求输出。此外，除了web服务之外，对于诸如广播内容、游戏和应用的服务，与广播内容、游戏和应用本身分开处理预定内容、图像、音频、项目等，并且任意信道号可被指派用于其再现、处理等，并且可如上所述实现。
图38是示意性地示出包括数字装置的服务系统的示例的图。
包括数字装置的服务系统包括内容提供商CP 3810、服务提供商SP 3820、网络提供商NP 3830和家庭网络终端用户HNED(客户)3840。这里，例如，HNED 3840是客户端3800(即，数字装置)。内容提供商3810制作并提供各种内容。如图38所示，作为这种内容提供商3810，可举例说明地面广播商、有线SO(系统运营商)或MSO(多SO)、卫星广播商、各种互联网广播商、专用CP等。此外，除了广播内容之外，内容提供商3810还提供各种应用。
服务提供商3820将内容提供商3810所提供的内容通过对内容进行打包来作为服务分组提供给HNED 3840。例如，图38的服务提供商3820将第一地面广播、第二地面广播、有线MSO、卫星广播、各种互联网广播、应用等打包并将其提供给HNED 3840。
服务提供商3820以单播或多播方式向客户端3800提供服务。并且，服务提供商3820可一次向多个预注册的客户端3800发送数据，为此，可使用互联网组管理协议IGMP协议。
上述内容提供商3810和服务提供商3820可以是相同或单个实体。例如，内容提供商3810所提供的内容可以是打包并提供给HNED 3840的服务，因此一起执行服务提供商3820的功能，反之亦然。
网络提供商3830提供网络以用于内容提供商3810或/和服务提供商3820与客户端3800之间的数据交换。
客户端3800可建立家庭网络以发送和接收数据。
此外，服务系统中的内容提供商3810或/和服务提供商3820可使用条件接入或内容保护手段以保护所发送的内容。在这种情况下，响应于限制接收或内容保护，客户端3800可使用诸如CableCARD(POD：部署点)、DCAS(可下载CAS)等的处理手段。
另外，客户端3800还可通过网络(或通信网络)使用双向服务。在这种情况下，客户端3800可相反执行内容提供商的功能，并且现有服务提供商3820可接收其并将其发送回另一客户端。
图39是示出根据实施方式的数字装置的框图。这里，例如，图39可对应于图38的客户端3800，并且是指上述数字装置。
数字装置3900包括网络接口3901、TCP/IP管理器3902、服务传送管理器3903、SI解码器3904、解复用器(demux)3905、音频解码器3906、视频解码器3907、显示模块(显示A/V和OSD)3908、服务控制管理器3909、服务发现管理器3910、SI和元数据数据库3911、元数据管理器3912、服务管理器3913、UI管理器3914等。
网络接口3901通过网络接收或发送IP分组。即，网络接口3901通过网络从服务提供商3820接收服务、内容等。
TCP/IP管理器3902参与了数字装置3900所接收的IP分组和数字装置3900所发送的IP分组的源与目的地之间的分组传输。并且TCP/IP管理器3902与适当协议对应对所接收的分组进行分类并将分类的分组输出给服务传送管理器3905、服务发现管理器3910、服务控制管理器3909、元数据管理器3912等。服务传送管理器3903负责控制所接收的服务数据。例如，服务传送管理器3903可在控制实时流数据时使用RTP/RTCP。当使用RTP发送实时流数据时，服务传送管理器3903在服务管理器3913的控制下根据RTP来解析所接收的数据分组并将其发送到解复用器3905或将其存储在SI和元数据数据库3911中。并且，服务传送管理器3903使用RTCP将网络接收信息反馈给提供服务的服务器。解复用器3905将所接收的分组解复用为音频、视频和系统信息SI数据，并将其分别发送到音频/视频解码器3906/3907和SI解码器3904。
SI解码器3904对诸如节目特定信息PSI、节目和系统信息协议PSIP以及数字视频广播服务信息DVB-SI的服务信息进行解码。
并且，例如，SI解码器3904将解码的服务信息存储在SI和元数据数据库3911中。以这种方式存储的服务信息可按对应配置(例如，应用户的请求)读取和使用。
音频/视频解码器3906/3907将解复用器3905所解复用的各个音频数据和视频数据解码。因此解码的音频数据和视频数据通过显示模块3908被提供给用户。
例如，应用管理器可包括UI管理器3914和服务管理器3913。应用管理器管理数字装置3900的总体状态，提供用户界面，并管理其它管理器。
UI管理器3914使用屏幕上显示OSD等为用户提供图形用户界面GUI，并从用户接收键输入以根据输入执行装置操作。例如，当UI管理器3914从用户接收到关于信道选择的键输入时，UI管理器3914将键输入信号发送到服务管理器3913。
服务管理器3913控制与服务关联的管理器，例如服务传送管理器3903、服务发现管理器3910、服务控制管理器3909和元数据管理器3912。
并且，服务管理器3913创建信道映射并根据从用户界面管理器3914接收的键输入使用信道映射选择信道。并且，服务管理器3913从SI解码器3904接收信道服务信息并将所选信道的音频/视频分组标识符PID设定为解复用器3905。以这种方式设定的PID在上述解复用过程中使用。因此，解复用器3905使用PID来过滤音频数据、视频数据和SI数据。
服务发现管理器3910提供选择提供服务的服务提供商所需的信息。当从服务管理器3913接收到关于信道选择的信号时，服务发现管理器3910使用该信息寻找服务。
服务控制管理器3909负责选择和控制服务。例如，当用户选择诸如传统广播方法的实况广播服务时，服务控制管理器3909使用IGMP或RTSP等，并且当选择诸如VOD(视频点播)的服务时使用RTSP来选择和控制服务。RTSP协议可提供用于实时流的技巧模式。并且，服务控制管理器3909可使用IP多媒体子系统IMS和会话发起协议SIP通过IMS网关3950来初始化和管理会话。该协议是一个实施方式，可根据实现示例使用其它协议。
元数据管理器3912管理与服务关联的元数据并将元数据存储在SI和元数据数据库3911中。
SI和元数据数据库3911存储由SI解码器3904解码的服务信息、由元数据管理器3912管理的元数据以及选择由服务发现管理器3910提供的服务提供商所需的信息。并且，SI和元数据数据库3911可存储系统的设置数据等。
SI和元数据数据库3911可使用非易失性RAM NVRAM、闪存等来实现。
此外，IMS网关3950是收集访问基于IMS的IPTV服务所需的功能的网关。
图40是示出数字装置的另一实施方式的配置框图。具体地，图40示出作为数字装置的另一实施方式的移动装置的框图。
参照图40，移动装置4000可包括无线通信单元4010、音频/视频A/V输入单元4020、用户输入单元4030、感测单元4040、输出单元4050、存储器4060、接口单元4070、控制单元4080和电源单元4090。图40所示的组件不是必需的，因此可实现具有更多或更少组件的移动装置。
无线通信单元4010可包括允许移动装置4000与无线通信系统之间或者移动装置与移动装置所在的网络之间的无线通信的一个或更多个模块。例如，无线通信单元4010可包括广播接收模块4011、移动通信模块4012、无线互联网模块4013、短距离通信模块4014和位置信息模块4015。
广播接收模块4011通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。这里，广播信道可包括卫星信道和地面信道。广播管理服务器可意指生成并发送广播信号和/或广播相关信息的服务器或者接收先前生成的广播信号和/或广播相关信息并将其发送到终端的服务器。广播信号可包括TV广播信号、无线电广播信号和数据广播信号，并且还可包括数据广播信号与TV广播信号或无线电广播信号组合的组合信号。
广播相关信息可意指与广播信道、广播节目或广播服务提供商有关的信息。广播相关信息也可通过移动通信网络提供。在这种情况下，其可由移动通信模块4012接收。
广播相关信息可按各种形式(例如，电子节目指南EPG或电子服务指南ESG)存在。
广播接收模块4011可使用诸如例如ATSC、地面数字视频广播DVB-T、卫星DVB-S、仅媒体前向链路MediaFLO、手持DVB-H、地面综合服务数字广播ISDB-T等的数字广播系统来接收数字广播信号。当然，广播接收模块4011可被配置为适合于其它广播系统以及上述数字广播系统。
通过广播接收模块4011接收的广播信号和/或广播相关信息可被存储在存储器4060中。
移动通信模块4012向移动通信网络上的基站、外部终端和服务器中的至少一个发送无线电信号以及从其接收无线电信号。根据语音信号、视频呼叫信号或文本/多媒体消息的发送和接收，无线信号可包括各种类型的数据。
无线互联网模块4013包括用于无线互联网接入的模块，并且可被内置于移动装置4000中或移动装置4000的外部。作为无线互联网技术，可使用无线LAN(WLAN)(Wi-Fi)、无线宽带Wibro、全球微波接入互操作性Wimax和高速下行链路分组接入HSDPA。
短距离通信模块4014是指用于短距离通信的模块。可使用短距离通信蓝牙、RFID(射频识别)、红外通信(IrDA，红外数据协会)、UWB(超宽带)、ZigBee、RS-232、RS-485等。
位置信息模块4015是用于获得移动装置4000的位置信息的模块，并且作为示例可使用全球定位系统GPS模块。
A/V输入单元4020用于音频或/和视频信号输入，并且可包括相机4021、麦克风4022等。相机4021处理由图像传感器在视频呼叫模式或拍摄模式下获得的诸如静止图像或运动画面的图像帧。所处理的图像帧可显示在显示单元4051上。
由相机4021处理的图像帧可被存储在存储器4060中或通过无线通信单元4010发送到外部。根据使用环境，可提供两个或更多个相机4021。
麦克风4022在呼叫模式或记录模式、语音识别模式等下通过麦克风接收外部声音信号，并将其处理为电子语音数据。所处理的语音数据可在呼叫模式下按可通过移动通信模块4012发送到移动通信基站的形式转换并输出。麦克风4022可利用去除在接收外部声音信号的过程中生成的噪声的各种降噪算法来实现。
用户输入单元4030为用户生成输入数据以控制终端的操作。用户输入单元4030可由键区、圆顶开关、触摸板(压力型/电容型)、滚轮、轻摇开关等配置。
感测单元4040显示移动装置4000的当前状态，例如移动装置4000的打开/关闭状态、移动装置4000的位置、是否存在用户接触、移动装置的取向以及移动装置的加速/减速。其感测并生成用于控制移动装置4000的操作的感测信号。例如，当移动装置4000被移动或倾斜时，可感测移动装置的位置或倾斜。并且，可感测是否向电源单元4090供电或者外部装置是否联接到接口单元4070。此外，感测单元4040可包括接近传感器4041，其包括近场通信NFC。
输出单元4050用于生成与视觉、听觉或触觉有关的输出，并且可包括显示单元4051、音频输出模块4052、警报单元4053和触觉模块4054。
显示单元4051显示或输出移动装置4000所处理的信息。例如，当移动装置处于呼叫模式时，显示与呼叫有关的用户界面UI或图形用户界面GUI。当移动装置4000处于视频呼叫模式或拍摄模式时，显示拍摄和/或接收的视频、UI或GUI。
显示部分4051可包括液晶显示器LCD、薄膜晶体管液晶显示器TFT LCD、有机发光二极管OLED和柔性显示器以及3D显示器。
这些显示器中的一些可为透明型或透光型，以使得可通过其看到外面。这可被称为透明显示器，透明显示器的典型示例是透明OLED TOLED。显示单元4051的后部结构也可被配置成透光结构。利用该结构，用户可通过终端主体的显示单元4051所占据的区域观看位于终端主体后面的对象。
根据移动装置4000的实现形式，可存在两个或更多个显示单元4051。例如，多个显示单元可与一个表面间隔开或者一体地设置在移动装置4000中，或者可分别设置在不同的表面上。
当显示单元4051和检测触摸操作的传感器(以下称为“触摸传感器”)形成互层结构(以下称为“触摸屏”)时，除了输出装置之外，显示单元4051可用作输入装置。触摸传感器可具有例如触摸膜、触摸片或触摸板的形式。
触摸传感器可被配置为将施加到显示单元4041的特定部分的压力或显示单元4051的特定部分中产生的电容的变化转换为电输入信号。触摸传感器可被配置为不仅检测触摸位置和区域，而且检测触摸时的压力。
如果对触摸传感器存在触摸输入，则对应信号被发送到触摸控制器。触摸控制器处理信号，然后将对应数据发送到控制器4080。因此，控制单元4080可知道显示单元4051的哪一区域被触摸等。
接近传感器4041可设置在移动装置的由触摸屏围绕或在触摸屏附近的内部区域中。接近传感器是指在没有机械接触的情况下使用机械力或红外光检测是否存在接近预定检测表面的对象或附近的对象的传感器。与接触传感器相比，接近传感器具有更长的寿命和更高的利用率。
接近传感器的示例包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡型接近传感器、电容型接近传感器、磁型接近传感器和红外接近传感器。当触摸屏为电容型时，其被配置为由于电场根据指点器的接近的变化而检测指点器的接近。在这种情况下，触摸屏(触摸传感器)可被分类为接近传感器。
以下，为了描述方便，在指点器未在触摸屏上触摸的情况下使得指点器被识别为定位在触摸屏上的动作被称为“接近触摸”，在触摸屏上实际触摸指点器的动作被称为“接触触摸”。在触摸屏上作为与指点器的接近触摸的位置意指当指点器接近触摸时指点器与触摸屏垂直对应的位置。
接近传感器检测接近触摸和接近触摸模式(例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等)。与所感测的接近触摸操作和接近触摸模式对应的信息可输出在触摸屏上。
音频输出模块4052可输出在呼叫信号接收、呼叫模式或记录模式、语音识别模式、广播接收模式等下从无线通信单元4010接收的音频数据或者存储在存储器4060中的音频数据。音频输出模块4052还可输出与移动装置4000中执行的功能有关的音频信号(例如，呼叫信号接收声音、消息接收声音等)。音频输出模块4052可包括接收器、扬声器和蜂鸣器。
警报模块4053输出用于通知移动装置4000的事件的发生的信号。在移动装置中产生的事件的示例包括呼叫信号接收、消息接收、键信号输入和触摸输入。除了视频信号或音频信号之外，警报单元4053可输出用于通过其它形式(例如，振动)通知事件的发生的信号。
视频信号或音频信号也可通过显示单元4051或音频输出模块4052输出，以使得显示单元4051和音频输出模块4052可被分类为警报模块4053的一部分。
触觉模块4054生成用户可感觉到的各种触觉效果。振动是由触觉模块4054生成的触觉效果的典型示例。由触觉模块4054生成的振动的强度和模式是可控的。例如，不同的振动可被合成并输出或者顺序地输出。
除了振动之外，触觉模块4054可生成各种触觉效果，包括诸如相对于皮肤的接触表面垂直移动的插针排列、通过喷射或吸入的空气的喷射力或吸入力、在皮肤表面上擦过、与电极的接触、静电力等的刺激效果以及利用能够吸热或发热的元件来再现冷和热的感觉的效果。
触觉模块4054可不仅通过直接接触来传送触觉效果，而且实现其以使得用户可通过诸如手指或手臂的肌觉来感觉到触觉效果。根据移动装置4000的配置方面，可提供两个或更多个触觉模块4054。
存储器4060可存储用于控制单元4080的操作的程序，并且可暂时存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。当触摸输入在触摸屏上时，存储器4060可存储与各种模式的振动和声音输出有关的数据。
存储器4060可包括闪存型、硬盘型、多媒体卡微型、卡型存储器(例如，SD或XD存储器等)、随机存取存储器RAM、静态随机存取存储器SRAM、只读存储器ROM、电可擦除可编程只读存储器EEPROM、可编程只读存储器PROM、磁存储器、光盘中的至少一种的存储介质。移动装置4000可与在互联网上执行存储器4060的存储功能的web存储装置结合操作。
接口单元4070用作与连接到移动装置4000的所有外部装置的通道。接口单元4070从外部装置接收数据，接收电力，并将数据发送到移动装置4000内部的各个组件，或允许移动装置4000内部的数据被发送到外部装置。例如，有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接配备有识别模块的装置的端口、音频输入/输出端口、视频I/O端口、耳机端口等可包括在接口单元4070中。
识别模块是存储用于认证移动装置4000的使用权限的各种信息的芯片，并且可包括用户识别模块UIM、订户身份模块SIM、通用订户身份模块USIM等。配备有识别模块的装置(以下称为“识别装置”)可按智能卡格式制造。因此，识别装置可通过端口连接到终端4000。
当移动终端4000连接到外部支架时，接口单元4070可成为来自支架的电力被供应给移动终端4000的通道或者用户从支架输入各种命令信号的通道。从支架输入的各种命令信号或电力可用作识别出移动终端被正确地安装在支架上的信号。
控制单元4080通常控制移动装置的总体操作。例如，其执行与语音呼叫、数据通信、视频呼叫等有关的控制和处理。控制单元4080可包括用于多媒体回放的多媒体模块4081。多媒体模块4081可被实现于控制单元4080中，或者可与控制单元4080分开实现。控制单元4080(具体地，多媒体模块4081)可包括上述编码装置100和/或解码装置200。
控制单元4080可执行能够将在触摸屏上执行的手写输入或绘画输入分别识别为字符和图像的模式识别过程。
电源单元4090在控制单元4080的控制下接收外部电力和内部电力并供应各个组件的操作所需的电力。
本文所描述的各种实施方式可使用例如软件、硬件或其组合实现于计算机或类似装置可读记录介质中。
根据硬件实现方式，本文所描述的实施方式可使用专用集成电路ASIC、数字信号处理器DSP、数字信号处理器件DSPD、可编程逻辑器件PLD、现场可编程门阵列FPGA、处理器、控制器、微控制器、微处理器和执行功能的电气单元中的至少一个来实现。在一些情况下，本文所描述的实施方式可由控制单元4080本身实现。
根据软件实现方式，诸如本文所描述的过程和功能的实施方式可被实现为单独的软件模块。各个软件模块可执行本文所描述的一个或更多个功能和操作。软件代码可实现于以适当编程语言编写的软件应用中。这里，软件代码被存储在存储器4060中并且可由控制单元4080执行。
图41是示出根据另一实施方式的数字装置的框图。
数字装置4100的另一示例可包括广播接收单元4105、外部装置接口单元4156、存储单元4140、用户输入接口单元4150、控制单元4170、显示单元4180、音频输出单元4185、电源单元4190和拍摄单元(未示出)。这里，广播接收单元4105可包括至少一个调谐器4110、解调单元4120和网络接口单元4130。然而，根据情况，广播接收单元4105可包括调谐器4110和解调器4120，但是可不包括网络接口单元4130，反之亦然。另外，尽管未示出，广播接收单元4105可配备有复用器以将由调谐器4110调谐，然后由解调单元4120解调的信号与通过网络接口单元4130接收的信号复用。另外，尽管未示出，广播接收单元4105可配备有解复用器以将复用的信号、解调的信号或已通过网络接口单元4130的信号解复用。
调谐器4110通过调谐用户所选择的信道或者通过天线接收的射频RF广播信号当中所有预存储的信道来接收RF广播信号。并且，调谐器4110将所接收的RF广播信号转换为中频IF信号或基带信号。
例如，如果所接收的RF广播信号是数字广播信号，则其被转换为数字IF信号DIF，如果是模拟广播信号，则其被转换为模拟基带视频或音频信号CVBS/SIF。即，调谐器4110可处理数字广播信号或模拟广播信号二者。从调谐器4110输出的模拟基带视频或音频信号CVBS/SIF可直接输入到控制器4170。
调谐器4110可接收根据高级电视系统委员会ATSC方案的单载波RF广播信号或者根据数字视频广播DVB方案的具有多个载波的RF广播信号。
此外，调谐器4110可顺序地调谐并接收通过天线接收的RF广播信号当中通过信道存储功能存储的所有广播信道的RF广播信号，并将其转换为中频信号或基带信号。
解调单元4120接收并解调由调谐器4110转换的数字IF信号DIF。例如，当从调谐器4110输出的数字IF信号是ATSC系统时，例如，解调单元4120执行8残留边带8-VSB解调。另外，解调单元4120可执行信道解码。为此，解调单元4120可包括网格解码器、解交织器、里德-所罗门解码器等，并执行网格解码、解交织和里德-所罗门解码。
例如，当从调谐器4110输出的数字IF信号是DVB方法时，例如，解调单元4120执行编码正交频分调制COFDMA解调。此外，解调单元4120可执行信道解码。为此，解调单元4120可包括卷积解码器、解交织器和里德-所罗门解码器，并执行卷积解码、解交织和里德-所罗门解码。
解调单元4120可在解调和信道解码之后输出流信号TS。在这种情况下，流信号可以是视频信号、音频信号或数据被复用的信号。例如，流信号可以是MPEG-2标准视频信号、杜比AC-3标准音频信号等被复用的MPEG-2传输流TS。具体地，MPEG-2TS可包括4字节的头和184字节的有效载荷。
此外，可根据ATSC方法和DVB方法单独地提供上述解调单元4120。即，数字装置可单独地包括ATSC解调器和DVB解调器。
从解调器4120输出的流信号可输入到控制器4170。控制单元4170可控制解复用、视频/音频信号处理等，并且控制通过显示单元4180输出的图像和通过音频输出单元4185输出的音频。
外部装置接口单元4156提供各种外部装置与数字装置4100接口的环境。为此，外部装置接口单元4135可包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
外部装置接口4156可按有线/无线方式连接到诸如数字多功能盘(DVD)、蓝光、游戏装置、相机、摄像机、计算机(膝上型计算机、平板)、智能电话、蓝牙装置和云的外部装置。外部装置接口单元4156将通过连接的外部装置从外部输入的视频、音频或数据(包括图像)信号发送到数字装置的控制器4170。控制单元4170可控制所处理的图像、音频或数据信号输出到连接的外部装置。为此，外部装置接口单元4156还可包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
A/V输入/输出单元可包括USB端子、复合视频消隐同步CVBS端子、component端子、S-video端子(模拟)和DVI(数字视觉接口)端子、HDMI(高清多媒体接口)端子、RGB端子、D-SUB端子等，以将外部装置的视频和音频信号输入到数字装置4100。
无线通信单元可与其它电子装置执行短距离无线通信。数字装置4100可根据例如蓝牙、射频识别RFID、红外数据协会IrDA、超宽带UWB、ZigBee、数字生活网络联盟DLNA等的通信协议与其它电子装置联网。
并且，外部装置接口单元4156可连接到上述各种机顶盒和各种终端中的至少一个，并与机顶盒执行输入/输出操作。
此外，外部装置接口单元4156可接收相邻外部装置中的应用或应用列表并将其发送到控制单元4170或存储单元4140。
网络接口单元4130提供用于将数字装置4100与包括互联网的有线/无线网络连接的接口。例如，网络接口单元4130可包括用于与有线网络连接的以太网端子等，并且使用诸如例如无线LAN(WLAN)(Wi-FI)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)和高速下行链路分组接入(HSDPA)的通信标准来与无线网络连接。
网络接口单元4130可通过连接的网络或链接到连接的网络的另一网络与其它用户或其它数字装置发送或接收数据。具体地，存储在数字装置4100中的一些内容数据可被发送给数字装置4100中预先注册的另一用户或所选用户或其它数字装置当中的所选数字装置。
此外，网络接口单元4130可通过连接的网络或链接到连接的网络的另一网络访问预定网页。即，可通过网络连接到预定网页并且与对应服务器发送或接收数据。另外，可接收内容提供商或网络运营商所提供的内容或数据。即，可通过网络接收诸如内容提供商或网络提供商所提供的电影、广告、游戏、VOD、广播信号和相关信息的内容。此外，可接收网络运营商所提供的固件的更新信息和更新文件。网络接口单元4130还可将数据发送到互联网或内容提供商或网络运营商。
另外，网络接口单元4130可通过网络从向公众开放的应用当中选择并接收期望的应用。
存储单元4140可将用于处理和控制各个信号的程序存储在控制器4170中，或者可存储经信号处理的图像、音频或数据信号。
另外，存储单元4140可执行用于暂时存储从外部装置接口单元4135或网络接口单元4130输入的图像、音频或数据信号的功能。存储单元4140可通过信道记忆功能来存储与预定广播信道有关的信息。
存储单元4140可存储从外部装置接口单元4135或网络接口单元4130输入的应用或应用列表。
另外，存储单元4140可存储稍后描述的各种平台。
存储单元4140可包括例如闪存型、硬盘型、多媒体卡微型和卡型存储器(例如，SD或XD存储器等)、RAM和ROM(EEPROM等)当中的至少一个存储介质。数字装置4100可播放存储在存储单元4140中的内容文件(视频文件、静止图像文件、音乐文件、文档文件、应用文件等)并提供给用户。
图41示出存储单元4140与控制单元4170分开设置的实施方式，但本公开的范围不限于此。即，存储单元4140可包括在控制单元4170中。
用户输入接口单元4150将用户输入的信号发送到控制单元4170或将来自控制单元4170的信号发送到用户。
例如，用户输入接口单元4150可根据诸如RF通信方法和红外IR通信方法的各种通信方法从遥控装置4200接收与控制电源开/关、信道选择和画面设置有关的控制信号并处理它。或者，用户输入接口单元4150可处理来自控制单元4170的控制信号以发送到遥控装置4200。
并且，用户输入接口单元4150可将从诸如电源键、频道键、音量键和值设置键的本地键(未示出)输入的控制信号发送到控制器4170。
用户输入接口单元4150可将从感测用户的手势的感测单元(未示出)输入的控制信号发送到控制单元4170，或者将来自控制单元4170的信号发送到感测单元(未示出)。这里，感测单元(未示出)可包括触摸传感器、语音传感器、位置传感器和运动传感器。
控制器4170可将通过调谐器4110、解调器4120或外部装置接口4156输入的流解复用或者处理解复用的信号以生成并输出信号以用于视频或音频输出。控制单元4170可包括上述编码设备和/或解码设备。
由控制器4170处理的图像信号可被输入到显示单元4180并显示为与图像信号对应的图像。另外，由控制单元4170处理的图像信号可通过外部装置接口单元4156输入到外部输出装置。
由控制单元4170处理的音频信号可以是输出到音频输出单元4185的音频。另外，由控制器4170处理的音频信号可通过外部装置接口4156输入到外部输出装置。
尽管图41中未示出，控制单元4170可包括解复用器、图像处理器等。
控制单元4170可控制数字装置4100的总体操作。例如，控制单元4170可控制调谐器4110调谐与用户所选择的信道或预存储的信道对应的RF广播。
控制单元4170可按照通过用户输入接口单元4150输入的用户命令或内部程序来控制数字装置4100。具体地，可访问网络并将期望的应用或应用列表下载到数字装置4100中。
例如，控制单元4170控制调谐器4110以便于根据通过用户输入接口单元4150接收的预定信道选择命令选择的信道的信号输入，并处理所选信道的视频、音频或数据信号。控制单元4170允许用户所选择的信道信息等连同处理的图像或音频信号一起通过显示单元4180或音频输出单元4185输出。
作为另一示例，根据通过用户输入接口单元4150接收的外部装置图像回放命令，控制单元4170可允许通过外部装置接口单元4135从外部装置(例如，相机或摄像机)输入的视频信号或音频信号通过显示单元4180或音频输出单元4185输出。
此外，控制单元4170可控制显示单元4180显示图像。例如，控制单元4170可控制显示单元4180显示通过调谐器4110输入的广播图像、通过外部装置接口单元4156输入的外部输入图像、通过网络接口单元输入的图像或存储在存储单元4140中的图像。此时，显示在显示单元4180上的图像可以是静止图像或视频，并且可以是2D视频或3D视频。
另外，控制单元4170可控制播放内容。此时，内容可以是存储在数字装置4100中的内容或所接收的广播内容或从外部输入的外部输入内容。内容可以是广播图像、外部输入图像、音频文件、静止图像、连接的web画面和文档文件中的至少一个。
当进入应用查看项时，控制单元4170可控制显示位于数字装置4100内或可从外部网络下载的应用列表或应用。
控制单元4170可控制连同各种用户界面一起安装并操作从外部网络下载的应用。并且，控制单元4170可按用户的选择控制与要执行的应用有关的图像显示在显示单元4180上。
尽管图中未示出，可进一步配备有信道浏览处理单元以用于生成与信道信号或外部输入信号对应的缩略图图像。
信道浏览处理单元可接收从解调单元4120输出的流信号TS或从外部装置接口单元4156输出的流信号，从输入的流信号提取图像，并生成缩略图图像。
所生成的缩略图图像可原样或编码地输入到控制单元4170。另外，所生成的缩略图图像可按流形式编码并输入到控制单元4170。控制单元4170可使用输入的缩略图图像在显示单元4180上显示包括多个缩略图图像的缩略图列表。该缩略图列表中的缩略图图像可顺序地或同时更新。因此，用户可容易地掌握多个广播信道的内容。
显示单元4180将控制器4170所处理的图像信号、数据信号、OSD信号等或从外部装置接口单元4156接收的图像信号和数据信号分别转换为R、G和B信号，并生成驱动信号。
显示单元4180可以是PDP、LCD、OLED、柔性显示器、3D显示器等。
显示单元4180可被配置为触摸屏并且除了输出装置之外还用作输入装置。
音频输出单元4185接收控制器4170所处理的信号(例如，立体声信号、3.1声道信号或5.1声道信号)并将其作为音频输出。音频输出单元4185可被实现为各种类型的扬声器。
此外，为了感测用户的手势，如上所述，具有触摸传感器、语音传感器、位置传感器和运动传感器中的至少一个的感测单元(未示出)可进一步设置在数字装置4100中。由感测单元(未示出)检测的信号可通过用户输入接口单元4150发送到控制单元4170。
可进一步设置用于拍摄用户的拍摄单元(未示出)。由拍摄单元(未示出)拍摄的图像信息可被输入到控制单元4170。
控制单元4170可单独地或与拍摄单元(未示出)所捕获的图像或感测单元(未示出)所感测的信号组合检测用户的手势。
电源单元4190贯穿数字装置4100供电。
具体地，电源4190可向可按系统芯片SOC的形式实现的控制单元4170、用于图像显示的显示单元4180和用于音频输出的音频输出单元4185供电。
为此，电源单元4190可包括将AC电转换为DC电的转换器(未示出)。例如，当显示单元4180被实现为具有多个背光灯的液晶面板时，可进一步提供可PWM操作的逆变器(未示出)以用于亮度改变或调光驱动。
遥控装置4200将用户输入发送到用户输入接口单元4150。为此，遥控装置4200可使用蓝牙、RF(射频)通信、红外IR通信、UWB(超宽带)、紫蜂(ZigBee)方法等。
另外，遥控装置4200可接收从用户输入接口单元4150输出的图像、音频或数据信号，将其显示在遥控装置4200上，或者输出语音或振动。
上述数字装置4100可以是能够处理固定或移动ATSC型或DVB型数字广播信号的数字广播接收器。
此外，根据需要，根据本公开的数字装置可省略一些组件或者还包括未示出的组件。如上所述，数字装置可不具有调谐器和解调器，并且还可通过网络接口单元或外部装置接口单元接收并播放内容。
图42是示出图39至图41的控制单元的详细配置的框图。
控制单元的示例可包括解复用单元4210、图像处理单元4220、屏幕上显示OSD生成单元4240、混合器4250、帧频转换器FRC 4255和格式化器4260。另外，尽管未示出，控制单元还可包括语音处理单元和数据处理单元。
解复用单元4210将输入的流解复用。例如，解复用单元4210可将输入的MPEG-2TS解复用为视频、音频和数据信号。这里，输入到解复用单元4210的流信号可以是从调谐器或解调器或外部装置接口输出的流信号。
图像处理单元4220执行解复用的图像信号的图像处理。为此，图像处理单元4220可包括视频解码器4225和缩放器4235。
视频解码器4225将解复用的视频信号解码，并且缩放器4235缩放要输出在显示单元上的解码的视频信号的分辨率。
视频解码器4225可支持各种标准。例如，当视频信号以MPEG-2标准编码时，视频解码器4225执行MPEG-2解码器的功能，并且当视频信号以数字多媒体广播DMB方法或H.264标准编码时，视频解码器4225执行H.264解码器的功能。
由视频处理单元4220解码的视频信号被输入到混合器4250。
OSD生成单元4240根据用户输入或自己生成OSD数据。例如，OSD生成单元4240基于用户输入接口单元的控制信号生成用于将各种数据以图形或文本形式显示在显示单元4180的屏幕上的数据。所生成的OSD数据包括诸如数字装置的用户界面画面、各种菜单画面、微件、图标和收视率信息的各种数据。
OSD生成单元4240可基于EPG生成用于显示广播图像的字幕或广播信息的数据。
混合器4250将OSD生成单元4240所生成的OSD数据与视频处理单元所处理的图像信号混合，并将其提供给格式化器4260。由于解码的视频信号和OSD数据被混合，所以OSD叠加显示在广播视频或外部输入视频上。
帧频转换器FRC 4255转换输入视频的帧频。例如，根据显示单元的输出频率，帧频转换器4255可将输入的60Hz图像帧频转换为具有例如120Hz或240Hz的帧频。如上所述，转换帧频的方法中可存在各种方法。例如，当帧频转换器4255将帧频从60Hz转换为120Hz时，在第一帧与第二帧之间插入相同的第一帧，或者在第一帧与第二帧之间插入从第一帧和第二帧预测的第三帧。作为另一示例，当帧频转换器4255将帧频从60Hz转换为240Hz时，可在现有帧之间插入三个相同的帧或预测的帧。如果不执行单独的帧转换，则帧频转换单元4255可被绕过。
格式化器4260改变帧频转换器4255的输出以匹配显示单元的输出格式。例如，格式化器4260可输出R、G和B数据信号，并且这些R、G和B数据信号可作为低压差分信令LVDS或mini-LVDS输出。另外，当帧频转换器4255的输出是3D视频信号时，格式化器4260可通过根据显示单元的输出格式将输出配置为3D格式来通过显示单元支持3D服务。
控制单元中的音频处理单元(未示出)可执行解复用的音频信号的音频处理。音频处理单元(未示出)可支持各种音频格式。例如，即使当音频信号以诸如MPEG-2、MPEG-4、AAC、HE-AAC、AC-3、BSAC的格式编码时，音频处理单元也可设置有与之对应的解码器。
另外，控制单元中的音频处理单元(未示出)可处理低音、高音、音量控制等。
控制单元中的数据处理单元(未示出)可执行解复用的数据信号的数据处理。例如，即使被编码，数据处理单元可将解复用的数据信号解码。这里，编码的数据信号可以是包括广播信息(例如，各个信道上广播的广播节目的开始时间和结束时间)的EPG信息。
此外，上述数字装置是根据本公开的示例，根据实际数字装置的规格，各个组件可被集成、添加或省略。即，如果需要，两个或更多个组件可被组合成一个组件，或者一个组件可被细分成两个或更多个组件。另外，各个块中执行的功能是为了描述本公开的实施方式，具体操作或装置不限制本公开的范围。
数字装置可以是执行存储在装置中的图像或输入的图像的信号处理的图像信号处理装置。作为图像信号处理设备的另一示例，可进一步举例说明机顶盒STB、DVD播放器、蓝光播放器、游戏装置、计算机等，其中排除了图41所示的显示单元4180和音频输出单元4185。
图43是示出根据实施方式的数字装置的画面同时显示主图像和子图像的示例的图。
根据实施方式的数字装置可在画面4300上同时显示主图像4310和辅助图像或子图像4320。主图像4310可被称为第一图像，辅助图像4320可被称为第二图像。主图像4310和辅助图像4320可包括视频、静止图像、电子节目指南EPG、图形用户界面GUI、屏幕上显示OSD等，并且不限于此。主图像4310可意指在连同辅助图像4320一起同时显示在电子装置的画面4300上的同时尺寸相对小于电子装置的画面4300的图像，并且可被称为画中画PIP。在图43中，主图像4310显示在数字装置的画面4300的左上方，但是主图像4310显示的位置不限于此，主图像4310可显示在数字装置的画面4300内的任何位置。
主图像4310和辅助图像4320可彼此直接或间接相关。作为示例，主图像4310可以是流视频，辅助图像4320可以是顺序地显示包括与流视频相似的信息的视频的缩略图的GUI。作为另一示例，主图像4310可以是广播图像，辅助图像4320可以是EPG。作为另一示例，主图像4310可以是广播图像，辅助图像4320可以是GUI。主图像4310和辅助图像4320的示例不限于此。
在一个实施方式中，主图像4310是通过广播信道接收的广播图像，辅助图像4320可以是与通过广播信道接收的广播图像有关的信息。例如，与通过广播信道接收的广播图像有关的信息可包括EPG信息，包括综合信道时间表和广播节目详细信息以及广播节目评论信息，但不限于此。
在另一实施方式中，主图像4310是通过广播信道接收的广播图像，辅助图像4320可以是基于预存储在数字装置中的信息生成的图像。例如，基于预存储在数字装置中的信息生成的图像可包括EPG的基本用户界面UI、基本信道信息、图像分辨率操纵UI和就寝时间预约UI，但不限于此。
在另一实施方式中，主图像4310是通过广播信道接收的广播图像，辅助图像4320可以是与通过网络接收的广播图像有关的信息。例如，与通过网络接收的广播图像有关的信息可以是通过基于网络的搜索引擎获得的信息。更具体地，例如，可通过基于网络的搜索引擎来获得与当前显示在主图像4310上的角色有关的信息。
然而，示例不限于此，可使用例如人工智能AI系统来获得与通过网络接收的广播图像有关的信息。更具体地，例如，可使用基于网络的深度学习来获得当前显示在主图像4310上的地方在地图中的估计位置，并且数字装置可通过网络接收关于当前显示在主图像4310上的地方在地图上的估计位置的信息。
根据实施方式的数字装置可从外部接收主图像4310的图像信息和辅助图像4320的图像信息中的至少一个。例如，主图像4310的图像信息可包括通过广播信道接收的广播信号、主图像4310的源代码信息以及通过网络接收的主图像4310的IP分组(互联网协议分组)信息，但不限于此。类似地，例如，辅助图像4320的图像信息包括通过广播信道接收的广播信号、辅助图像4320的源代码信息、通过网络接收的辅助图像4320的IP分组信息等，但不限于此。数字装置可解码并使用从外部接收的主图像4310的图像信息或辅助图像4320的图像信息。然而，在一些情况下，数字装置可内部存储主图像4310的图像信息或辅助图像4320的图像信息。
数字装置可基于主图像4310的图像信息以及与辅助图像4320有关的信息将主图像4310和辅助图像4320显示在数字装置的画面4300上。
在一个示例中，数字装置的解码设备200包括主图像解码设备和辅助图像解码设备，并且主图像解码设备和辅助图像解码设备可分别将主图像4310的图像信息和辅助图像4320的图像信息解码。渲染器包括主视频渲染器(第一渲染器)和辅助视频渲染器(第二渲染器)。主图像渲染器可基于主图像解码设备所解码的信息将主图像4310显示在数字装置的画面4300的第一区域上，并且辅助图像渲染器可基于辅助图像解码设备所解码的信息使得辅助图像4320显示在数字装置的画面4300的第二区域上。
在另一示例中，数字装置的解码设备200可将主图像4310的图像信息和辅助图像4320的图像信息解码。基于解码设备200所解码的信息，渲染器可将主图像4310和辅助图像4320一起处理以同时显示在数字装置的画面4300上。
即，根据本文献，可提供一种处理数字装置中的图像服务的方法。该图像服务处理方法可包括：接收图像信息；基于图像信息将(主)图像解码；将解码的图像渲染或显示在显示器上的第一区域中；以及将辅助图像辅助图像渲染或显示在显示器上的第二区域中。在这种情况下，将第一图像解码的步骤可遵循根据上述图3的解码设备200中的解码过程。例如，如上所述，将第一图像解码的步骤可包括：基于帧间或帧内预测来推导当前块的预测样本；基于所接收的残差信息来推导当前块的残差样本；以及基于预测样本和/或残差样本来生成重构样本。另外，将第一图像解码的步骤可包括对包括重构样本的重构画面执行环路滤波过程。
例如，辅助图像可以是电子节目指南EPG、屏幕上显示OSD或图形用户界面GUI。例如，可通过广播网络接收图像信息，并且可通过广播网络接收关于辅助图像的信息。例如，可通过通信网络接收图像信息，并且可通过通信网络接收关于辅助图像的信息。例如，可通过广播网络接收图像信息，并且关于辅助图像的信息可通过通信网络接收。例如，可通过广播网络或通信网络接收图像信息，并且关于辅助图像的信息可被存储在数字装置中的存储介质中。
在上述实施方式中，本公开的元素和特性已按特定形式组合。除非明确地另外描述，否则各个元素或特性可被视为可选的。各个元素或特性可按不与其它元素或特性组合的形式实现。此外，一些元素和/或特性可被组合以形成本公开的实施方式。本公开的实施方式中描述的操作顺序可改变。实施方式的一些元素或特性可包括在另一实施方式中，或者可由另一实施方式的对应元素或特性代替。显然，实施方式可通过将权利要求中不具有明确的引用关系的权利要求组合来构造，或者可在提交申请之后通过修改作为新的权利要求而被包括。
根据本公开的实施方式可由例如硬件、固件、软件或其组合的各种手段实现。在通过硬件实现的情况下，本公开的实施方式可使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。
在通过固件或软件实现的情况下，本公开的实施方式可按照执行上述功能或操作的模块、过程或函数的形式实现。软件代码可被存储在存储器中并由处理器驱动。存储器可位于处理器内部或外部，并且可通过各种已知手段与处理器交换数据。
对于本领域技术人员而言显而易见的是，在不脱离本公开的本质特性的情况下，本公开可按其它特定形式实现。因此，详细描述不应被解释为限制性的，而是应该被解释为从所有方面均是例示性的。本公开的范围应该由所附权利要求的合理分析确定，并且本公开的等同范围内的所有改变均包括在本公开的范围内。
工业实用性
出于例示性目的公开了本公开的上述优选实施方式，在不脱离所附权利要求中公开的本公开的技术精神和范围的情况下，本领域技术人员可改进、改变、替代或添加各种其它实施方式。
Claims (7)
1.一种由图像解码设备以基于历史的运动向量预测为基础执行的处理视频信号的方法，该方法包括以下步骤：
基于当前块的空间邻近块和时间邻近块来配置合并候选列表；
将所述当前块的基于历史的运动向量预测器HMVP候选添加到所述合并候选列表；以及
基于所述合并候选列表内的由合并索引指示的合并候选的运动信息来生成所述当前块的预测样本，
其中，基于所述运动信息来更新HMVP候选列表，
其中，基于比较所述HMVP候选的运动信息与包括在所述合并候选列表中的合并候选当中的预定空间合并候选的运动信息的结果来将所述HMVP候选添加到所述合并候选列表，
所述预定空间合并候选仅包括所述当前块的左邻近空间合并候选和上邻近空间合并候选，
其中，所述HMVP候选列表的最大大小小于所述合并候选列表的最大大小，
其中，基于另外需要两个或更多个候选以实现所述合并候选列表来将所述HMVP候选添加到所述合并候选列表，并且
其中，所述HMVP候选不作为最后的候选被添加到所述合并候选列表。
2.根据权利要求1所述的方法，其中，所述合并候选列表的最大大小是所述合并候选列表的可用最大大小当中的最大大小。
3.根据权利要求1所述的方法，其中，所述合并候选列表的可用大小是通过比特流来用信号通知的。
4.根据权利要求3所述的方法，其中，所述合并候选列表的最大大小限定在处理所述视频信号期间用来设定所述合并候选列表的可用合并候选的最大数量。
5.根据权利要求1所述的方法，其中，所述HMVP候选列表的最大大小限定在处理所述视频信号期间用来设定所述HMVP候选列表的可用HMVP候选的最大数量。
6.一种由图像编码设备以基于历史的运动向量预测为基础执行的处理视频信号的方法，该方法包括以下步骤：
基于当前块的空间邻近块和时间邻近块来配置合并候选列表；
将所述当前块的基于历史的运动向量预测器HMVP候选添加到所述合并候选列表；并且
基于所述合并候选列表内的合并候选的运动信息来生成所述当前块的预测样本，以及
生成指示用于生成所述预测样本的所述合并候选的合并索引，
其中，基于所述运动信息来更新HMVP候选列表，
其中，基于比较所述HMVP候选的运动信息与包括在所述合并候选列表中的合并候选当中的预定空间合并候选的运动信息的结果来将所述HMVP候选添加到所述合并候选列表，
所述预定空间合并候选仅包括所述当前块的左邻近空间合并候选和上邻近空间合并候选，
其中，所述HMVP候选列表的最大大小小于所述合并候选列表的最大大小，
其中，基于另外需要两个或更多个候选以实现所述合并候选列表来将所述HMVP候选添加到所述合并候选列表，并且
其中，所述HMVP候选不作为最后的候选被添加到所述合并候选列表。
7.一种发送由图像编码方法以基于历史的运动向量预测为基础生成的视频信号的方法，该方法包括以下步骤：
基于当前块的空间邻近块和时间邻近块来配置合并候选列表；
将所述当前块的基于历史的运动向量预测器HMVP候选添加到所述合并候选列表；
基于所述合并候选列表内的合并候选的运动信息来生成所述当前块的预测样本；以及
生成指示用于生成所述预测样本的所述合并候选的合并索引，
其中，基于所述运动信息来更新HMVP候选列表，
其中，基于比较所述HMVP候选的运动信息与包括在所述合并候选列表中的合并候选当中的预定空间合并候选的运动信息的结果来将所述HMVP候选添加到所述合并候选列表，
其中，所述HMVP候选列表的最大大小小于所述合并候选列表的最大大小，
其中，基于另外需要两个或更多个候选以实现所述合并候选列表来将所述HMVP候选添加到所述合并候选列表，并且
其中，所述HMVP候选不作为最后的候选被添加到所述合并候选列表。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889512.7A CN116668685A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备执行的处理视频信号的方法和发送方法 |
| CN202310893656.XA CN116668686A (zh) | 2018-12-12 | 2019-12-12 | 图像解码设备、图像编码设备和信号发送设备 |
| CN202310889882.0A CN116684589A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备和视频信号发送设备 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862778835P | 2018-12-12 | 2018-12-12 | |
| US62/778,835 | 2018-12-12 | ||
| PCT/KR2019/017607 WO2020122640A1 (ko) | 2018-12-12 | 2019-12-12 | 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310893656.XA Division CN116668686A (zh) | 2018-12-12 | 2019-12-12 | 图像解码设备、图像编码设备和信号发送设备 |
| CN202310889512.7A Division CN116668685A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备执行的处理视频信号的方法和发送方法 |
| CN202310889882.0A Division CN116684589A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备和视频信号发送设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111771376A CN111771376A (zh) | 2020-10-13 |
| CN111771376B true CN111771376B (zh) | 2023-08-08 |
Family
ID=71075459
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310893656.XA Pending CN116668686A (zh) | 2018-12-12 | 2019-12-12 | 图像解码设备、图像编码设备和信号发送设备 |
| CN201980014711.5A Active CN111771376B (zh) | 2018-12-12 | 2019-12-12 | 以基于历史的运动向量预测为基础处理视频信号的方法和设备 |
| CN202310889882.0A Pending CN116684589A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备和视频信号发送设备 |
| CN202310889512.7A Pending CN116668685A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备执行的处理视频信号的方法和发送方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310893656.XA Pending CN116668686A (zh) | 2018-12-12 | 2019-12-12 | 图像解码设备、图像编码设备和信号发送设备 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310889882.0A Pending CN116684589A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备和视频信号发送设备 |
| CN202310889512.7A Pending CN116668685A (zh) | 2018-12-12 | 2019-12-12 | 图像编解码设备执行的处理视频信号的方法和发送方法 |
Country Status (9)
| Country | Link |
|---|---|
| US (4) | US11477478B2 (zh) |
| EP (1) | EP3716626A4 (zh) |
| JP (3) | JP7073501B2 (zh) |
| KR (3) | KR102615471B1 (zh) |
| CN (4) | CN116668686A (zh) |
| BR (1) | BR112020014544A2 (zh) |
| CA (2) | CA3190343A1 (zh) |
| MX (2) | MX2020007287A (zh) |
| WO (1) | WO2020122640A1 (zh) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016146494A1 (en) * | 2015-03-13 | 2016-09-22 | Koninklijke Kpn N.V. | Method and control system for controlling provisioning of a service in a network |
| US11356657B2 (en) * | 2018-01-26 | 2022-06-07 | Hfi Innovation Inc. | Method and apparatus of affine inter prediction for video coding system |
| JP7460617B2 (ja) | 2018-06-29 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | Ｌｕｔ更新条件 |
| EP3797516A1 (en) | 2018-06-29 | 2021-03-31 | Beijing Bytedance Network Technology Co. Ltd. | Interaction between lut and amvp |
| KR20210024502A (ko) | 2018-06-29 | 2021-03-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝 |
| WO2020003278A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Update of look up table: fifo, constrained fifo |
| CN110662057B (zh) | 2018-06-29 | 2022-06-21 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、设备以及存储比特流的方法 |
| CN110662056B (zh) | 2018-06-29 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 哪个查找表需要更新或不更新 |
| EP3791588A1 (en) | 2018-06-29 | 2021-03-17 | Beijing Bytedance Network Technology Co. Ltd. | Checking order of motion candidates in lut |
| TWI723444B (zh) | 2018-06-29 | 2021-04-01 | 大陸商北京字節跳動網絡技術有限公司 | 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念 |
| EP4307679A3 (en) | 2018-07-02 | 2024-06-19 | Beijing Bytedance Network Technology Co., Ltd. | Luts with intra prediction modes and intra mode prediction from non-adjacent blocks |
| TW202025760A (zh) | 2018-09-12 | 2020-07-01 | 大陸商北京字節跳動網絡技術有限公司 | 要檢查多少個hmvp候選 |
| BR112021012418A2 (pt) * | 2018-12-28 | 2021-09-08 | Jvckenwood Corporation | Dispositivo de codificação de imagem, método de codificação de imagem, dispositivo de decodificação de imagem e método de decodificação de imagem |
| US11102476B2 (en) * | 2018-12-28 | 2021-08-24 | Qualcomm Incorporated | Subblock based affine motion model |
| BR112021012481A2 (pt) * | 2018-12-28 | 2021-09-08 | Jvckenwood Corporation | Dispositivo de codificação de imagem em movimento, método de codificação de imagem em movimento, programa de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de decodificação de imagem em movimento, e programa de decodificação de imagem em movimento |
| KR20230141934A (ko) | 2018-12-28 | 2023-10-10 | 고도 가이샤 아이피 브릿지 1 | 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램 |
| RU2768971C1 (ru) * | 2018-12-28 | 2022-03-28 | ДжейВиСиКЕНВУД Корпорейшн | Устройство кодирования движущихся изображений, способ кодирования движущихся изображений, программа кодирования движущихся изображений, устройство декодирования движущихся изображений, способ декодирования движущихся изображений и программа декодирования движущихся изображений |
| CN113491126B (zh) | 2018-12-28 | 2024-04-05 | 知识产权之桥一号有限责任公司 | 图像编码装置、图像编码方法以及图像编码程序、图像解码装置、图像解码方法以及图像解码程序 |
| CN112042191B (zh) * | 2019-01-01 | 2024-03-19 | Lg电子株式会社 | 以基于历史的运动矢量为基础预测处理视频信号的方法和设备 |
| CN113273186A (zh) | 2019-01-10 | 2021-08-17 | 北京字节跳动网络技术有限公司 | Lut更新的调用 |
| CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
| CN113302937B (zh) | 2019-01-16 | 2024-08-02 | 北京字节跳动网络技术有限公司 | 运动候选推导 |
| EP4243417A3 (en) * | 2019-03-11 | 2023-11-15 | Alibaba Group Holding Limited | Method, device, and system for determining prediction weight for merge mode |
| US10979716B2 (en) * | 2019-03-15 | 2021-04-13 | Tencent America LLC | Methods of accessing affine history-based motion vector predictor buffer |
| CN113615193B (zh) | 2019-03-22 | 2024-06-25 | 北京字节跳动网络技术有限公司 | Merge列表构建和其他工具之间的交互 |
| WO2020224639A1 (en) * | 2019-05-09 | 2020-11-12 | Beijing Bytedance Network Technology Co., Ltd. | Improvement on hmvp table |
| EP3967040A4 (en) | 2019-06-06 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | CONSTRUCTION OF MOTION CANDIDATE LISTS FOR VIDEO ENCODING |
| WO2020244659A1 (en) | 2019-06-06 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between sub-block based intra block copy and different coding tools |
| WO2020259426A1 (en) * | 2019-06-22 | 2020-12-30 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate list construction for intra block copy mode |
| CN113079372B (zh) * | 2021-06-07 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 帧间预测的编码方法、装置、设备及可读存储介质 |
| CN113486754B (zh) * | 2021-06-29 | 2024-01-09 | 中国科学院自动化研究所 | 基于视频的事件演化预测方法、系统 |
| WO2023057488A1 (en) * | 2021-10-05 | 2023-04-13 | Interdigital Vc Holdings France, Sas | Motion vector coding with input motion vector data |
| WO2023132631A1 (ko) * | 2022-01-04 | 2023-07-13 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| US20230396794A1 (en) * | 2022-06-07 | 2023-12-07 | Tencent America LLC | Systems and methods for motion vector predictor list improvements |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1335021A (zh) * | 1999-11-29 | 2002-02-06 | 索尼公司 | 视频/音频信号处理方法和视频/音频信号处理设备 |
| WO2013077659A1 (ko) * | 2011-11-24 | 2013-05-30 | 에스케이텔레콤 주식회사 | 모션 벡터의 예측 부호화/복호화 방법 및 장치 |
| KR20140017020A (ko) * | 2011-06-20 | 2014-02-10 | 퀄컴 인코포레이티드 | 일원화된 병합 모드 및 적응적 모션 벡터 예측 모드 후보 선택 |
| CN105678808A (zh) * | 2016-01-08 | 2016-06-15 | 浙江宇视科技有限公司 | 运动目标跟踪方法及装置 |
| TW201640893A (zh) * | 2015-01-26 | 2016-11-16 | 高通公司 | 以子預測單元為基礎之先進時間運動向量預測 |
| WO2018105757A1 (ko) * | 2016-12-05 | 2018-06-14 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 디코딩 방법 및 장치 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI575945B (zh) * | 2011-09-28 | 2017-03-21 | Jvc Kenwood Corp | A motion picture decoding apparatus, a motion picture decoding method, and a recording medium |
| US20130114717A1 (en) | 2011-11-07 | 2013-05-09 | Qualcomm Incorporated | Generating additional merge candidates |
| BR122015021739A2 (pt) * | 2011-11-08 | 2019-08-27 | Samsung Electronics Co Ltd | método para decodificar uma imagem |
| US20130188715A1 (en) * | 2012-01-09 | 2013-07-25 | Qualcomm Incorporated | Device and methods for merge list reordering in video coding |
| RU2673846C1 (ru) * | 2012-07-02 | 2018-11-30 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для прогнозирования вектора движения для кодирования видео или декодирования видео |
| KR20140127177A (ko) * | 2013-04-23 | 2014-11-03 | 삼성전자주식회사 | 시점 합성 예측을 이용한 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 복호화 방법 및 그 장치 |
| US9992512B2 (en) * | 2014-10-06 | 2018-06-05 | Mediatek Inc. | Method and apparatus for motion vector predictor derivation |
| US10560718B2 (en) * | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
| US10491902B1 (en) * | 2018-07-16 | 2019-11-26 | Tencent America LLC | Method and apparatus for history-based motion vector prediction |
| US11336914B2 (en) * | 2018-08-16 | 2022-05-17 | Qualcomm Incorporated | History-based candidate list with classification |
| CN117082259A (zh) * | 2018-10-10 | 2023-11-17 | 华为技术有限公司 | 帧间预测方法及装置 |
| US11184633B2 (en) * | 2018-11-27 | 2021-11-23 | Qualcomm Incorporated | Simplification of history-based motion vector prediction |
| WO2020114406A1 (en) * | 2018-12-03 | 2020-06-11 | Beijing Bytedance Network Technology Co., Ltd. | Partial pruning method for inter prediction |
| US11012697B2 (en) * | 2018-12-07 | 2021-05-18 | Qualcomm Incorporated | Shared candidate list and parallel candidate list derivation for video coding |
-
2019
- 2019-12-12 WO PCT/KR2019/017607 patent/WO2020122640A1/ko active Application Filing
- 2019-12-12 CN CN202310893656.XA patent/CN116668686A/zh active Pending
- 2019-12-12 CN CN201980014711.5A patent/CN111771376B/zh active Active
- 2019-12-12 MX MX2020007287A patent/MX2020007287A/es unknown
- 2019-12-12 CA CA3190343A patent/CA3190343A1/en active Pending
- 2019-12-12 BR BR112020014544-0A patent/BR112020014544A2/pt unknown
- 2019-12-12 JP JP2020538052A patent/JP7073501B2/ja active Active
- 2019-12-12 KR KR1020227039995A patent/KR102615471B1/ko active IP Right Grant
- 2019-12-12 KR KR1020237043224A patent/KR20230175329A/ko active Application Filing
- 2019-12-12 CN CN202310889882.0A patent/CN116684589A/zh active Pending
- 2019-12-12 CA CA3088504A patent/CA3088504C/en active Active
- 2019-12-12 EP EP19897417.2A patent/EP3716626A4/en not_active Ceased
- 2019-12-12 CN CN202310889512.7A patent/CN116668685A/zh active Pending
- 2019-12-12 KR KR1020207022374A patent/KR102468805B1/ko active IP Right Grant
-
2020
- 2020-06-09 US US16/896,532 patent/US11477478B2/en active Active
- 2020-07-13 MX MX2024001296A patent/MX2024001296A/es unknown
-
2022
- 2022-03-31 JP JP2022059348A patent/JP7303346B2/ja active Active
- 2022-09-09 US US17/941,628 patent/US11653022B2/en active Active
-
2023
- 2023-03-29 US US18/127,857 patent/US11849075B2/en active Active
- 2023-06-22 JP JP2023102468A patent/JP7488945B2/ja active Active
- 2023-11-07 US US18/387,809 patent/US12120342B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1335021A (zh) * | 1999-11-29 | 2002-02-06 | 索尼公司 | 视频/音频信号处理方法和视频/音频信号处理设备 |
| KR20140017020A (ko) * | 2011-06-20 | 2014-02-10 | 퀄컴 인코포레이티드 | 일원화된 병합 모드 및 적응적 모션 벡터 예측 모드 후보 선택 |
| WO2013077659A1 (ko) * | 2011-11-24 | 2013-05-30 | 에스케이텔레콤 주식회사 | 모션 벡터의 예측 부호화/복호화 방법 및 장치 |
| TW201640893A (zh) * | 2015-01-26 | 2016-11-16 | 高通公司 | 以子預測單元為基礎之先進時間運動向量預測 |
| CN107211156A (zh) * | 2015-01-26 | 2017-09-26 | 高通股份有限公司 | 以子预测单元为基础的先进时间运动向量预测 |
| CN105678808A (zh) * | 2016-01-08 | 2016-06-15 | 浙江宇视科技有限公司 | 运动目标跟踪方法及装置 |
| WO2018105757A1 (ko) * | 2016-12-05 | 2018-06-14 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 디코딩 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023112113A (ja) | 2023-08-10 |
| US12120342B2 (en) | 2024-10-15 |
| CN116668686A (zh) | 2023-08-29 |
| EP3716626A4 (en) | 2021-05-19 |
| EP3716626A1 (en) | 2020-09-30 |
| US20240171771A1 (en) | 2024-05-23 |
| CA3088504A1 (en) | 2020-06-18 |
| CN116684589A (zh) | 2023-09-01 |
| JP2021510265A (ja) | 2021-04-15 |
| CN111771376A (zh) | 2020-10-13 |
| KR20200098703A (ko) | 2020-08-20 |
| US20230029880A1 (en) | 2023-02-02 |
| US20200359049A1 (en) | 2020-11-12 |
| JP7073501B2 (ja) | 2022-05-23 |
| KR102468805B1 (ko) | 2022-11-18 |
| CN116668685A (zh) | 2023-08-29 |
| JP2022087172A (ja) | 2022-06-09 |
| WO2020122640A1 (ko) | 2020-06-18 |
| MX2020007287A (es) | 2020-09-10 |
| JP7488945B2 (ja) | 2024-05-22 |
| JP7303346B2 (ja) | 2023-07-04 |
| US11653022B2 (en) | 2023-05-16 |
| KR20230175329A (ko) | 2023-12-29 |
| US11477478B2 (en) | 2022-10-18 |
| US11849075B2 (en) | 2023-12-19 |
| CA3088504C (en) | 2023-04-04 |
| MX2024001296A (es) | 2024-02-13 |
| KR20220156983A (ko) | 2022-11-28 |
| BR112020014544A2 (pt) | 2021-08-03 |
| CA3190343A1 (en) | 2020-06-18 |
| US20230239497A1 (en) | 2023-07-27 |
| KR102615471B1 (ko) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111771376B (zh) | 以基于历史的运动向量预测为基础处理视频信号的方法和设备 | |
| CN112042191B (zh) | 以基于历史的运动矢量为基础预测处理视频信号的方法和设备 | |
| CN111788832B (zh) | 基于帧间预测对视频信号进行处理的方法和装置 | |
| US11570430B2 (en) | Method and device for processing video signal on basis of inter-prediction | |
| US20220078407A1 (en) | Method and apparatus for processing video signal on basis of inter prediction | |
| US20220021884A1 (en) | Method and apparatus for processing video signal on basis of inter prediction | |
| RU2807594C2 (ru) | Способ и устройство для обработки видеосигнала на основании основанного на истории предсказания вектора движения |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |