CN112042191A - 以基于历史的运动矢量为基础预测处理视频信号的方法和设备 - Google Patents
以基于历史的运动矢量为基础预测处理视频信号的方法和设备 Download PDFInfo
- Publication number
- CN112042191A CN112042191A CN202080002083.1A CN202080002083A CN112042191A CN 112042191 A CN112042191 A CN 112042191A CN 202080002083 A CN202080002083 A CN 202080002083A CN 112042191 A CN112042191 A CN 112042191A
- Authority
- CN
- China
- Prior art keywords
- merge
- merge candidate
- candidates
- candidate list
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 456
- 239000013598 vector Substances 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 200
- 238000012545 processing Methods 0.000 title claims abstract description 76
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 264
- 230000008569 process Effects 0.000 description 82
- 238000013138 pruning Methods 0.000 description 71
- 239000000523 sample Substances 0.000 description 49
- 239000013256 coordination polymer Substances 0.000 description 47
- 238000010586 diagram Methods 0.000 description 44
- 238000004891 communication Methods 0.000 description 42
- 238000003860 storage Methods 0.000 description 41
- 230000002123 temporal effect Effects 0.000 description 25
- 238000001914 filtration Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 230000005236 sound signal Effects 0.000 description 18
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 238000009795 derivation Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 230000007774 longterm Effects 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 11
- 230000000670 limiting effect Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 230000011664 signaling Effects 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 241001025261 Neoraja caerulea Species 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 238000001824 photoionisation detection Methods 0.000 description 3
- 239000013074 reference sample Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000018633 pure hair and nail ectodermal dysplasia Diseases 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 101000591286 Homo sapiens Myocardin-related transcription factor A Proteins 0.000 description 1
- 102100034099 Myocardin-related transcription factor A Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
公开了处理视频信号的方法及其设备。具体地，一种以基于历史的运动矢量预测为基础处理视频信号的方法可以包括以下步骤：基于当前块的邻近块来构造合并候选列表；当所述合并候选列表中所包括的合并候选的数目小于预定义的第一大小时，将所述当前块的基于历史的合并候选添加到所述合并候选列表；当所述合并候选列表中所包括的合并候选的数目小于预定义的第二大小时，将零运动矢量添加到所述合并候选列表；获取指示所述合并候选列表中的将用于所述当前块的帧间预测的合并候选的合并索引；基于由所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测样本；以及基于所述运动信息来更新基于历史的合并候选列表。
Description
技术领域
本公开的实施方式涉及基于帧间预测处理视频信号的方法和设备，并且更具体地，涉及使用基于历史的运动矢量预测来执行帧间预测的方法和设备。
背景技术
压缩编码意指用于通过通信线路传输数字化信息的一系列信号处理技术或用于以适于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容应该具有高空间分辨率、高帧频和高维度场景呈现的特征。为了处理这些内容，将导致存储器存储、存储器访问速率和处理能力急剧增加。
因此，需要设计用于高效处理下一代视频内容的编码工具。
发明内容
技术问题
本公开的实施方式的一个目的是提出在将HMVP候选添加到合并候选列表(或AMVP候选列表)时的冗余校验的限制以增强预测效率。
本公开的实施方式的另一个目的是提出定义HMVP表的大小以便将HVMV候选高效应用于合并候选列表(或AMVP候选列表)的方法。
本公开的实施方式中要实现的技术目的不限于以上提到的技术目的，并且根据下面的描述，以上未描述的其它技术目的会被本公开所属领域的普通技术人员清楚地理解。
技术方案
在本公开的实施方式的一方面，一种以基于历史的运动矢量预测为基础处理视频信号的方法可以包括以下步骤：基于当前块的邻近块来配置合并候选列表；当所述合并候选列表中所包括的合并候选的数目小于第一预定数目时，将所述当前块的基于历史的合并候选添加到所述合并候选列表；当所述合并候选列表中所包括的合并候选的数目小于第二预定数目时，将零运动矢量添加到所述合并候选列表；获得指示所述合并候选列表中的用于所述当前块的帧间预测的合并候选的合并索引；基于由所述合并索引所指示的所述合并候选的运动信息来生成所述当前块的预测样本；以及基于所述运动信息来更新基于历史的合并候选列表，其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的合并候选当中的预定义的合并候选的运动信息不同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
在实施方式中，所述基于历史的合并候选列表可以被定义为具有基于所述合并候选列表中的合并候选的最大数目而确定的大小。
在实施方式中，所述基于历史的合并候选列表可以被定义为具有与通过从所述合并候选列表中的合并候选的最大数目中减一而获得的值相同的大小。
在实施方式中，所述基于历史的合并候选列表的大小可以被定义为5。
在实施方式中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的合并候选当中的特定数目的预定义合并候选的运动信息不同的运动信息时，所述基于历史的合并候选可以被添加到所述合并候选列表。
在实施方式中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的特定空间合并候选的运动信息不同的运动信息时，所述基于历史的合并候选可以被添加到所述合并候选列表。
在实施方式中，所述基于历史的合并候选可以从所述基于历史的合并候选列表内的预定数目的候选推导。
在实施方式的另一方面，一种基于帧间预测处理视频信号的设备可以包括：存储器，该存储器被配置为存储所述视频信号；以及处理器，该处理器被组合到所述存储器，其中，所述处理器被配置用于：基于当前块的邻近块来配置合并候选列表；当所述合并候选列表中所包括的合并候选的数目小于第一预定数目时，将所述当前块的基于历史的合并候选添加到所述合并候选列表；当所述合并候选列表中所包括的合并候选的数目小于第二预定数目时，将零运动矢量添加到所述合并候选列表；获得指示所述合并候选列表中的用于所述当前块的帧间预测的合并候选的合并索引；基于由所述合并索引所指示的所述合并候选的运动信息来生成所述当前块的预测样本；以及基于所述运动信息来更新基于历史的合并候选列表，其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的合并候选当中的预定义的合并候选的运动信息不同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
技术效果
根据本公开的实施方式，通过限制用于添加到合并候选列表(或AMVP候选列表)的冗余校验，可以提高根据冗余校验的复杂度并且可以增强压缩性能。
根据本公开的实施方式，可以通过定义HMVP表的大小来减少与存储HMVP表关联的存储器负担。
本公开中能获得的效果不限于以上提到的效果，并且根据下面的描述，以上未描述的其它技术效果会被本公开所属领域的普通技术人员清楚地理解。
附图说明
为了帮助理解本公开而被包括为具体实施方式的一部分的附图提供了本公开的实施方式，并且连同具体实施方式一起来描述本公开的技术特征。
图1例示了根据本公开的实施方式的视频编码系统的示例。
图2是应用本公开的实施方式，并且是用于对视频/图像信号进行编码的编码设备的示意性框图。
图3是应用本公开的实施方式，并且是用于对视频/图像信号进行解码的解码设备的示意性框图。
图4示出了根据本公开的实施方式的内容流传输系统的结构示图的示例。
图5示出了根据本公开的实施方式的用于处理视频信号的设备的框图的示例。
图6是根据本公开的实施方式的块分割结构的示例，图6a、图3b至图3d分别例示了根据QT(四叉树，以下称为“QT”)、BT(二叉树，以下称为“BT”)、TT(三叉树，以下称为“TT”)和AT(不对称树，以下称为“AT”)的块分割结构的示例。
图7和图8分别是根据本公开的实施方式的基于帧间预测的视频/图像编码过程和编码设备内的帧间预测器。
图9和图10分别是根据本公开的实施方式的基于帧间预测的视频/图像解码过程和解码设备内的帧间预测器。
图11例示了构造当前块的空间合并候选的示例。
图12是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
图13是例示了根据应用本公开的实施方式的配置预测候选列表(MVP候选列表)的方法的流程图。
图14例示了根据本公开的实施方式的运动模型的示例。
图15例示了根据本公开的实施方式的用于仿射运动预测的控制点运动矢量的示例。
图16例示了已经应用了根据本公开的实施方式的仿射运动预测的块的每个子块的运动矢量的示例。
图17例示了根据本公开的实施方式的在仿射合并模式下用于仿射运动预测的邻近块的示例。
图18例示了使用已经应用了根据本公开的实施方式的仿射运动预测的邻近块对其执行仿射运动预测的块的示例。
图19是用于描述根据本公开的实施方式的使用邻近仿射编码块来生成合并候选列表的方法的示图。
图20和图21是用于描述根据本公开的实施方式的使用通过仿射预测编码的邻近块来构造仿射合并候选列表的方法的示图。
图22例示了根据本公开的实施方式的用于仿射帧间模式下的仿射运动预测的邻近块的示例。
图23例示了根据本公开的实施方式的用于仿射帧间模式下的仿射运动预测的邻近块的示例。
图24和图25是例示了根据本公开的实施方式的在仿射帧间模式下使用邻近块的运动信息来推导运动矢量候选的方法的示图。
图26例示了根据本公开的实施方式的子块单元的仿射运动矢量场的示例。
图27是用于描述根据本公开的实施方式的存储HMVP的方法的流程图。
图28是用于描述根据本公开的实施方式的以非限制性FIFO方式操作的HMVP表的示图。
图29是用于描述根据本公开的实施方式的以限制性FIFO方式操作的HMVP表的示图。
图30是例示了根据本公开的实施方式的长期HMVP LUT和HMVP LUT的示图。
图31是例示了根据本公开的实施方式的更新HMVP LUT的方法的示例的示图。
图32是例示了根据本公开的实施方式的限制HMVP候选(即，修剪检查的目标)的数目的方法的示图。
图33是例示了根据本公开的实施方式的执行修建检查的方法的示例的流程图。
图34是用于描述根据本公开的实施方式的使用参照不同参考图片的运动矢量推导H-STMVP候选的方法的示图。
图35是例示了根据本公开的实施方式的用于推导继承的仿射HMVP候选的块的位置的示图。
图36是例示了根据本公开的实施方式的仿射合并列表或仿射AMVP列表的示图。
图37是例示了根据应用本公开的实施方式的以基于历史的运动矢量预测为基础来处理视频信号的方法的流程图。
图38是示意性示出了包括数字装置的服务系统的示例的示图。
图39是例示了根据实施方式的数字装置的框图。
图40是例示了数字装置的另一实施方式的配置框图。
图41是例示了根据另一实施方式的数字装置的框图。
图42是例示了图39至图41的控制单元的详细配置的框图。
图43是例示了根据实施方式的其中数字装置的屏幕同时显示主图像和子图像的示例的示图。
具体实施方式
下文中，将参照附图来描述本公开的优选实施方式。下面将利用附图描述的说明书是为了描述本公开的示例性实施方式，并且不旨在描述能实现本公开的唯一实施方式。下面的描述包括特定细节，以便提供对本公开的完全理解。然而，要理解，本领域的技术人员可以在没有特定细节的情况下实施本公开。
在一些情况下，为了防止本公开的技术构思不清楚，可以省略公知的结构或装置，或者可以将这些结构或装置描绘为侧重于结构或装置的核心功能的框图。
另外，尽管当前广泛使用的通用术语被尽可能地选择为本公开中的术语，但是在特定情况下使用由申请人任意选择的术语。由于在这种情况下将在说明书的对应部分中清楚地描述该术语的含义，因此要理解，本公开不会简单地通过仅在本公开的说明书中使用的术语来解释，而是应该弄清术语的含义。
可以提供用于下面描述的特定术语，以有助于理解本公开。此外，可以在本公开的技术构思的范围内，将特定术语修改为其它形式。例如，可以在每个编码处理中适当地替代和解释信号、数据、样本、图片、切片、瓦片、帧、块等。
下文中，在本说明书中，“处理单元”意指执行诸如预测、变换和/或量化这样的编码/解码处理过程的单元。处理单元可以被解释为具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
此外，处理单元可以被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。另选地，处理单元可以对应于用于色度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。此外，本公开不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
此外，处理单元本质上不限于方形块，并且可以以具有三个或更多个顶点的多边形形式构造。
此外，下文中，在本说明书中，像素、图片元素、系数(变换系数或一阶变换之后的变换系数)等一般被称为样本。此外，使用样本可以意味着使用像素值、图片元素值、变换系数等。
图1例示了根据本公开的实施方式的视频编码系统的示例。
视频编码系统可以包括源装置10和接收装置20。源装置10可以通过存储介质或网络以文件或流传输格式将编码后的视频/图像信息或数据发送到接收装置20。
源装置10可以包括视频源11、编码设备12和发送器13。接收装置20可以包括接收器21、解码设备22和渲染器23。源装置可以被称为视频/图像编码设备，并且接收装置可以被称为视频/图像解码设备。发送器13可以被包括在编码设备12中。接收器21可以被包括在解码设备22中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部部件。
视频源可以通过视频/图像的捕获、合成或生成处理来获取视频/图像数据。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板和智能电话，并且可以电子地生成视频/图像数据。例如，可以通过计算机等来生成虚拟视频/图像数据，并且在这种情况下，可以通过生成相关数据的处理来代替视频/图像捕获处理。
编码设备12可以对输入视频/图像进行编码。编码设备12可以针对压缩和编码效率执行诸如预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/视频信息)可以以比特流的形式输出。
发送器13可以通过数字存储介质或网络以文件或流传输格式将以比特流形式输出的编码后的视频/视频信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如通用串行总线USB、安全数字SD、光盘CD、数字视频盘DVD、蓝光、硬盘驱动器HDD和固态驱动器SSD这样的各种存储介质。发送器13可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器21可以提取比特流，并且将它发送到解码设备22。
解码设备22可以通过执行与编码设备12的操作对应的诸如反量化、逆变换和预测这样的一系列过程对视频/图像数据进行解码。
渲染器23可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
图2是应用本公开的实施方式，并且是用于对视频/图像信号进行编码的编码设备的示意性框图。
参照图2，编码设备100可以被配置为包括图像划分器110、减法器115、变换器120、量化器130、反量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以被统称为预测器。换句话说，预测器可以包括帧间预测器180和帧内预测器185。变换器120、量化器130、反量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。在一个实施方式中，图像划分器110、减法器115、变换器120、量化器130、反量化器140、逆变换器150、加法器155、滤波器160、帧间预测器180、帧内预测器185和熵编码器190可以被配置为一个硬件部件(例如，编码器或处理器)。此外，在一个实施方式中，存储器170可以配置有硬件部件(例如，存储器或数字存储介质)，并且可以包括解码图片缓冲器(DPB)。
图像划分器110将输入到编码设备100的输入图像(或图片或帧)划分成一个或更多个处理单元。例如，处理单元可以被称为编码单元(CU)。在这种情况下，可以基于四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割出编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元分割成深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，然后可以应用二叉树结构。另选地，可以首先应用二叉树结构。可以基于不再被分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，最大编码单元可以根据图像特性基于编码效率被直接用作最终编码单元，或者如有必要，编码单元可以被递归地分割成深度更深的编码单元。因此，具有最佳大小的编码单元可以被用作最终编码单元。在这种情况下，编码过程可以包括随后将描述的诸如预测、变换或重构这样的过程。对于另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从每个最终编码单元划分或分割出预测单元和变换单元中的每一个。预测单元可以是样本预测的单元，并且变换单元可以是推导其变换系数的单元和/或在其中从变换系数推导残差信号的单元。
单元可以视情形与块或区域可互换地使用。在常见情况下，M×N块可以指示配置有M列N行样本的集合或变换系数的集合。通常，样本可以指示像素或像素的值，并且可以指示仅亮度分量的像素/像素值或者仅色度分量的像素/像素值。在样本中，一张图片(或图像)可以被用作与像素或图素对应的术语。
编码设备100可以通过从输入图像信号(原始块或原始样本数组)中减去由帧间预测器180或帧内预测器185输出的预测信号(预测块或预测样本数组)来生成残差信号(残差块或残差样本数组)。所生成的残差信号被发送到变换器120。在这种情况下，如所例示的，在编码设备100内从输入图像信号(原始块或原始样本数组)中减去预测信号(预测块或预测样本数组)的单元可以被称为减法器115。预测器可以对处理目标块(下文中，被称为当前块)执行预测，并且可以生成包括当前块的预测样本的预测块。预测器可以以当前块或CU为单元确定应用帧内预测还是帧间预测。预测器可以生成如随后在对每种预测模式的说明中描述的诸如预测模式信息这样的各种关于预测的信息，并且可以将信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且可以以比特流的形式被输出。
帧内预测器185可以参考当前图片内的样本来预测当前块。所参考的样本可以被定位成邻近当前块，或者可以根据预测模式与当前块间隔开。在帧内预测中，预测模式可以包括多种非角度模式和多种角度模式。例如，非角度模式可以包括DC模式和平面模式。例如，取决于预测方向的精细程度，角度模式可以包括33种角度预测模式或65种角度预测模式。在这种情况下，例如，取决于配置，可以使用多于或少于33种角度预测模式或65种角度预测模式的角度预测模式。帧内预测器185可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于由参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可以包括当前图片内的空间邻近块和参考图片内的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为共位参考块或共位CU(colCU)。包括时间邻近块的参考图片可以被称为共位图片(colPic)。例如，帧间预测器180可以基于邻近块来构造运动信息候选列表，并且可以生成指示哪个候选被用于推导当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不能发送残差信号。在运动矢量预测(MVP)模式的情况下，邻近块的运动矢量可以被用作运动矢量预测子。可以通过发信号通知运动矢量差来指示当前块的运动矢量。
通过帧间预测器180或帧内预测器185生成的预测信号可以被用于生成重构信号或残差信号。
变换器120可以通过向残差信号应用变换方案来生成变换系数。例如，变换方案可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。在这种情况下，GBT意指在将像素之间的关系信息表示为曲线图的情况下从曲线图获得的变换。CNT意指基于使用所有先前重构的像素生成的预测信号而获得的变换。此外，变换处理可以被应用于正方形形式的大小相同的像素块，或者可以被应用于非正方形形式的大小可变的块。
量化器130可以对变换系数进行量化，并且将其传输到熵编码器190。熵编码器190可以对量化后的信号(关于量化后的变换系数的信息)进行编码并且以比特流的形式输出它。关于量化后的变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描顺序将块形式的量化后的变换系数重新布置成一维矢量形式，并且可以基于一维矢量形式的量化后的变换系数来生成关于量化后的变换系数的信息。熵编码器190可以执行诸如指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)这样的各种编码方法。熵编码器190可以对视频/图像重构所必需的信息(例如，语法元素的值)和量化后的变换系数一起或分别进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)为单元进行发送或存储。可以通过网络发送比特流，或者可以将其存储在数字存储介质中。在这种情况下，网络可以包括广播网络和/或通信网络。数字存储介质可以包括诸如USB、SD、CD、DVD、Blueray、HDD和SSD这样的各种存储介质。发送由熵编码器190输出的信号的发送器(未例示)和/或用于存储该信号的存储器(未例示)可以被配置为编码设备100的内部/外部元件，或者发送器可以是熵编码器190的元件。
由量化器130输出的量化后的变换系数可以用于生成预测信号。例如，可以通过利用环路内的反量化器140和逆变换器150对量化后的变换系数应用反量化和逆变换来重构残差信号。加法器155可以将重构后的残差信号与由帧间预测器180或帧内预测器185输出的预测信号相加，因此可以生成重构信号(重构图片、重构块或重构样本数组)。如果如在已经应用了跳过模式的情况下一样没有用于处理目标块的残差，则预测块可以被用作重构块。加法器155可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且可以用于如随后将描述的通过滤波进行的下一图片的帧间预测。
滤波器160可以通过向重构信号应用滤波来改善主观/客观图片质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改后的重构图片。修改后的重构图片可以被存储在DPB 170中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。预测器160可以生成如随后在对每种滤波方法的描述中描述的用于滤波的各种信息，并且可以将它们发送到熵编码器190。滤波信息可以被熵编码器190编码并且以比特流的形式输出。
发送到DPB 170的修改后的重构图片可以被用作帧间预测器180中的参考图片。如果应用帧间预测，则编码设备可以避免编码设备100与解码设备之间的预测失配并且提高编码效率。
DPB 170可以存储修改后的重构图片，以便在帧间预测器180中使用修改后的重构图片作为参考图片。
图3是应用本公开的实施方式，并且是用于对视频/图像信号进行解码的解码设备的示意性框图。
参照图3，解码设备200可以被配置为包括熵解码器210、反量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以被统称为预测器。即，预测器可以包括帧间预测器180和帧内预测器185。反量化器220和逆变换器230可以被统称为残差处理器。即，残差处理器可以包括反量化器220和逆变换器230。熵解码器210、反量化器220、逆变换器230、加法器235、滤波器240、帧间预测器260和帧内预测器265可以根据实施方式被配置为一个硬件部件(例如，解码器或处理器)。此外，在一个实施方式中，存储器170可以配置有硬件部件(例如，存储器或数字存储介质)，并且可以包括解码图片缓冲器(DPB)。
当输入包括视频/图像信息的比特流时，解码设备200可以根据图2的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备200可以使用在编码设备中应用的处理单元来执行解码。因此，用于解码的处理单元可以是例如编码单元。取决于四叉树结构和/或二叉树结构，可以从编码树单元或最大编码单元中分割出编码单元。此外，可以通过回放装置回放通过解码设备200解码和输出的重构图像信号。
解码设备200可以以比特流形式接收由图1的编码设备输出的信号。可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过对比特流进行解析来推导用于图像重构(或图片重构)的信息(例如，视频/图像信息)。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC或CABAC这样的编码方法对比特流内的信息进行解码，并且可以输出用于图像重构的语法元素的值或关于残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，可以从比特流接收与每个语法元素对应的bin，可以使用邻近和解码目标块的解码信息和解码目标语法元素信息或在先前步骤中解码的符号/bin的信息来确定上下文模型，可以基于所确定的上下文模型来预测出现bin的概率，并且可以通过对bin执行算术解码来生成与每个语法元素的值对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器2110中解码的信息当中的关于预测的信息可以被提供给预测器(帧间预测器260和帧内预测器265)。与已经在熵解码器210中执行熵解码的残差值相关的参数信息(即，量化后的变换系数)可以被输入到反量化器220。此外，在熵解码器210中解码的信息当中的关于滤波的信息可以被提供到滤波器240。此外，接收由编码设备输出的信号的接收器(未例示)可以另外被配置为解码设备200的内部/外部元件，或者接收器可以是熵解码器210的元件。
反量化器220可以对量化后的变换系数进行反量化，并且输出变换系数。反量化器220可以将量化后的变换系数重新布置为二维块形式。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新布置。反量化器220可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化，并且可以获得变换系数。
逆变换器230可以通过向变换系数应用逆变换来输出残差信号(残差块或残差样本数组)。
预测器可以对当前块执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以基于由熵解码器210输出的关于预测的信息来确定向当前块应用帧内预测还是应用帧间预测，并且可以确定详细的帧内/帧间预测模式。
帧内预测器265可以参考当前图片内的样本来预测当前块。所参考的样本可以被定位成邻近当前块，或者可以根据预测模式与当前块间隔开。在帧内预测中，预测模式可以包括多种非角度模式和多种角度模式。帧内预测器265可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器260可以基于由参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可以包括当前图片中内的空间邻近块和参考图片内的时间邻近块。例如，帧间预测器260可以基于邻近块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测。关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器235可以通过将所获得的残差信号与由帧间预测器260或帧内预测器265输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图片、重构块或重构样本数组)。如果像在已经应用了跳过模式的情况下一样没有用于处理目标块的残差，则预测块可以被用作重构块。
加法器235可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且可以用于随后将描述的通过滤波进行的下一图片的帧间预测。
滤波器240可以通过向重构信号应用滤波来改善主观/客观图片质量。例如，滤波器240可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片发送到DPB 250。各种滤波方法可以包括例如解块滤波、样本自适应偏移SAO、自适应环路滤波器ALF和双边滤波器。
在DPB 250中发送(修改的)重构图片可以被用作帧间预测器260中的参考图片。
在本公开中，在编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以分别被以相同或对应的方式应用于解码设备200的滤波器240、帧间预测器260和帧内预测器265。
图4示出了根据本公开的实施方式的内容流传输系统的结构示图的示例。
应用本公开的内容流传输系统可以主要包括编码服务器410、流传输服务器420、网络服务器430、媒体存储440、用户装置450和多媒体输入装置460。
编码服务器410可以将从诸如智能手机、相机、摄像机等这样的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将它传输到流传输服务器420。作为另一示例，当诸如智能电话、相机和摄像机这样的多媒体输入装置460直接生成比特流时，可以省略编码服务器410。
可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器420可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器420基于用户通过网络服务器430的请求将多媒体数据传输到用户装置450，并且网络服务器430用作将存在什么服务告知用户的中介。当用户通过网络服务器430请求所期望的服务时，网络服务器430将其传送到流传输服务器420，并且流传输服务器420将多媒体数据传输到用户。此时，内容流传输系统可以包括单独的控制服务器，在这种情况下，控制服务器用于控制内容流传输系统中的装置间的命令/响应。
流传输服务器420可以从媒体存储器440和/或编码服务器410接收内容。例如，流传输服务器420可以从编码服务器410实时地接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器420可以将比特流存储预定时间。
例如，用户装置450可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理PDA、便携式多媒体播放器PMP、导航终端、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器HMD)、数字TV、台式计算机和数字标牌。
内容流传输系统中的每个服务器都可以作为分布式服务器操作，并且在这种情况下，从每个服务器接收到的数据可以被以分布式方式处理。
图5示出了根据本公开的实施方式的用于处理视频信号的设备的框图的示例。视频信号处理设备可以对应于图2的编码设备100或图3的解码设备200。
根据本公开的实施方式的视频信号处理设备500可以包括用于存储视频信号的存储器520以及用于在与存储器520组合时处理视频信号的处理器510。
根据本公开的实施方式的处理器510可以被配置有用于处理视频信号的至少一个处理电路，并且可以通过执行用于对视频信号进行编码或解码的指令来处理视频信号。即，处理器510可以通过执行下述编码或解码方法对原始视频信号进行编码或者对编码后的视频信号进行解码。
图6是根据本公开的实施方式的块分割结构的示例，图6a至图6d分别例示了根据四叉树(QT)、二叉树(BT)、三叉树(TT)和不对称树(AT)的块分割结构的示例。
在视频编码中，可以基于QT分割一个块。另外，可以使用QT进一步递归地分割按QT分割的一个子块。可以按BT、TT或AT中的至少一个对不再被QT分割的叶块进行分割。BT可以具有两种类型的分割：水平BT(2N×N,2N×N)和垂直BT(N×2N,N×2N)。TT可以具有两种类型的分割：水平TT(2N×1/2N,2N×N,2N×1/2N)和垂直TT(1/2N×2N,N×2N,1/2N×2N)。AT可以具有四种类型的分割：水平上AT(2N×1/2N,2N×3/2N)、水平下AT(2N×3/2N,2N×1/2N)、垂直左AT(1/2N×2N,3/2N×2N)和垂直右AT(3/2N×2N,1/2N×2N)。可以使用BT、TT和AT进一步递归地分割每个BT、TT和AT。
图6a示出了QT分割的示例。块A可以按QT被分割成四个子块A0、A1、A2和A3。子块A1可以按QT再被分割成四个子块B0、B1、B2和B3。
图6b示出了BT分割的示例。不再按QT分割的块B3可以被分割成垂直BT(C0,C1)或水平BT(D0,D1)。作为块C0，每个子块可以以水平BT(E0,E1)或垂直BT(F0,F1)的形式进一步被递归地分割。
图6c示出了TT分割的示例。不再按QT分割的块B3可以被分割成垂直TT(C0,C1,C2)或水平TT(D0,D1,D2)。作为块C1，每个子块可以进一步被递归地分割成水平TT(E0,E1,E2)或垂直TT(F0,F1,F2)的形式。
图6d示出了AT分割的示例。不再按QT分割的块B3可以被分割成垂直AT(C0,C1)或水平AT(D0,D1)。作为块C1，每个子块可以按水平TT(E0,E1)或垂直TT(F0,F1)的形式进一步被递归地分割。
此外，BT、TT和AT分割可以被组合。例如，按BT分割的子块可以按TT或AT被分割。另外，按TT分割的子块可以按BT或AT被分割。按AT分割的子块可以按BT或TT被分割。例如，在水平BT分割之后，每个子块可以被分割成垂直BT，或者在垂直BT分割之后，每个子块可以被分割成水平BT。两种类型的分割方法具有不同的分割顺序，但最终的分割形状相同。
此外，当块被分割时，可以不同地定义块的搜索顺序。通常，从左到右并从上到下地执行搜索操作。对块进行搜索可以意味着确定是否进一步分割每个分割的子块的顺序，或者当块不再被分割时各个子块的编码顺序或当子块参考其它邻近块的信息时的搜索顺序。
图7和图8分别是根据本公开的实施方式的基于帧间预测的视频/图像编码过程和编码设备内的帧间预测器。
编码设备100对当前块执行帧间预测(S710)。编码设备100可以推导当前块的帧间预测模式和运动信息，并且可以生成当前块的预测样本。在这种情况下，可以同时执行帧间预测模式确定、运动信息推导和预测样本生成过程，或者任一个过程可以在另一过程之前执行。例如，编码设备100的帧间预测器180可以包括预测模式确定单元181、运动信息推导单元182和预测样本推导单元183。预测模式确定单元181可以确定当前块的预测模式。运动信息推导单元182可以推导当前块的运动信息。预测样本推导单元183可以推导当前块的预测样本。例如，编码设备100的帧间预测器180可以通过运动估计针对与当前块近似的块搜索参考图片的给定区域(搜索区域)，并且可以推导具有与当前块的最小差值或给定基准或更小的差值的参考块。帧间预测器180可以基于参考块来推导指示参考块所位于的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差来推导运动矢量。编码设备100可以确定各种预测模式当中的应用于当前块的模式。编码设备可以将各种预测模式下的RD成本进行比较，并且可以确定当前块的最佳预测模式。
例如，如果向当前块应用跳过模式或合并模式时，则编码设备100可以配置随后将描述的合并候选列表，并且可以推导出在由合并候选列表中所包括的合并候选所指示的参考块当中的具有与当前块的最小差值或给定基准或更小的差值的参考块。在这种情况下，可以选择与推导出的参考块关联的合并候选。可以生成指示所选择的合并候选的合并索引信息，并将其发信号通知给解码设备200。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。
对于另一示例，如果向当前块应用(A)MVP模式，则编码设备可以配置随后将描述的(A)MVP候选列表，并且可以使用在(A)MVP候选列表中所包括的mvp(运动矢量预测子)候选当中选择的mvp候选的运动矢量作为当前块的mvp。在这种情况下，例如，可以使用指示通过运动估计而推导出的参考块的运动矢量作为当前块的运动矢量。在mvp候选当中，包括与当前块的运动矢量的差值最小的运动矢量的mvp候选可以成为所选择的mvp候选。可以推导作为通过从当前块的运动矢量中减去mvp而获得的差值的运动矢量差(MVD)。在这种情况下，关于MVD的信息可以被发信号通知给解码设备200。此外，如果应用(A)MVP模式，则参考图片索引的值可以被配置为参考图片索引信息并且可以被单独发信号通知给解码设备。
编码设备100可以基于预测样本来推导残差样本(S720)。编码设备100可以通过当前块的原始样本与预测样本之间的比较来推导残差样本。
编码设备100对包括预测信息和残差信息的图像信息进行编码(S730)。编码设备可以以比特流形式输出编码后的图像信息。预测信息还可以包括与预测模式信息(例如，跳过标志、合并标志或模式索引)和运动信息相关的信息作为与预测过程相关的信息。与运动信息相关的信息可以包括作为用于推导运动矢量的信息的候选选择信息(例如，合并索引、MVP标志或MVP索引)。此外，与运动信息相关的信息可以包括关于MVD的信息和/或参考图片索引信息。此外，与运动信息相关的信息可以包括指示是应用L0预测、L1预测还是双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化后的变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且被传输到解码设备，或者可以通过网络被传输到解码设备。
此外，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了在编码设备100中推导与在解码设备200中执行的预测结果相同的预测结果。因此，可以提高编码效率。因此，编码设备100可以将重构图片(或重构样本和重构块)存储在存储器中，并且可以使用重构图片作为帧间预测的参考图片。如上所述，还可以向重构图片应用环路滤波过程。
图9和图10分别是根据本公开的实施方式的基于帧间预测的视频/图像解码过程和解码设备内的帧间预测器。
解码设备200可以执行与编码设备100中执行的操作对应的操作。解码设备200可以基于接收到的预测信息对当前块执行预测，并且可以推导预测样本。
具体地，解码设备200可以基于接收到的预测信息来确定当前块的预测模式(S910)。解码设备200可以基于预测信息内的预测模式信息来确定向当前块应用哪种帧间预测模式。
例如，解码设备200可以基于合并标记来确定是向当前块应用合并模式还是(A)MVP模式。另选地，解码设备200可以基于模式索引选择各种帧间预测模式候选中的一种。帧间预测模式候选可以包括跳过模式、合并模式和/或(A)MVP模式，或者可以包括随后将描述的各种帧间预测模式。
解码设备200基于所确定的帧间预测模式来推导当前块的运动信息(S920)。例如，如果向当前块应用跳过模式或合并模式，则解码设备200可以配置随后将描述的合并候选列表，并且选择合并候选列表中所包括的合并候选中的一个。可以基于合并索引来执行合并候选的选择。可以从所选择的合并候选的运动信息来推导当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。
对于另一示例，如果向当前块应用(A)MVP模式，则解码设备200可以配置随后将描述的(A)MVP候选列表，并且可以使用在(A)MVP候选列表中所包括的MVP(运动矢量预测子)候选当中选择的MVP候选的运动矢量作为当前块的MVP。可以基于选择信息(MVP标志或MVP索引)来执行选择。在这种情况下，解码设备200可以基于关于MVD的信息来推导当前块的MVD。解码设备可以基于当前块的MVP和MVD来推导当前块的运动矢量。此外，解码设备可以基于参考图片索引信息来推导当前块的参考图片索引。由关于当前块的参考图片列表内的参考图片索引所指示的图片可以被推导为当前块的帧间预测所参考的参考图片。
此外，如随后将描述的，可以在没有候选列表配置的情况下推导当前块的运动信息。在这种情况下，可以根据随后将描述的预测模式下公开的过程来推导当前块的运动信息。在这种情况下，可以省略诸如上述候选列表配置这样的候选列表配置。
解码设备200可以基于当前块的运动信息来生成当前块的预测样本(S930)。在这种情况下，解码设备200可以基于当前块的参考图片索引来推导参考图片，并且可以推导由当前块的运动矢量在参考图片上指示的当前块的预测样本。在这种情况下，如随后将描述的，可以根据情况对当前块的一些或所有预测样本进一步执行预测样本过滤过程。
例如，解码设备200的帧间预测器260可以包括预测模式确定单元261、运动信息推导单元262和预测样本推导单元263。解码设备200可以基于从预测模式确定单元261接收到的预测模式信息来确定当前块的预测模式，可以基于与从运动信息推导单元262接收到的运动信息相关的信息来推导当前块的运动信息(运动矢量和/或参考图片索引)。预测样本推导单元263可以推导当前块的预测样本。
解码设备200基于接收到的残差信息来生成当前块的残差样本(S940)。解码设备200可以基于预测样本和残差样本来生成当前块的重构样本，并且可以基于重构样本来生成重构图片(S950)。此后，如上所述，还可以向重构图片应用环路滤波过程。
如上所述，帧间预测过程可以包括帧间预测模式确定步骤、根据所确定的预测模式的运动信息推导步骤以及基于所推导的运动信息的预测执行(预测样本生成)步骤。
帧间预测模式的确定
可以使用各种帧间预测模式来预测图片中的当前块。例如，可以使用诸如合并模式、跳过模式、MVP模式和仿射模式这样的各种模式。解码器侧运动矢量修正(DMVR)模式、自适应运动矢量分辨率(AMVR)模式等还可以被用作附加模式。仿射模式可以被称为仿射运动预测模式。MVP模式可以被称为高级运动矢量预测(AMVP)模式。
可以从编码设备向解码设备发信号通知指示当前块的帧间预测模式的预测模式信息。预测模式信息可以被包括在比特流中并且被解码设备接收。预测模式信息可以包括指示多种候选模式中的一种的索引信息。另选地，可以通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。例如，还可以发信号通知标志，以便通过发信号通知跳过标志来指示是否应用跳过模式、在不应用跳过模式的情况下通过发信号通知合并标志来指示是否应用合并模式并且在不应用合并模式的情况下应用MVP模式，或者还可以为了进行附加识别而发信号通知标志。仿射模式可以被发信号通知为独立模式，或者可以被发信号通知为取决于合并模式或MVP模式的模式。例如，仿射模式可以被配置为合并候选列表或MVP候选列表中的一个，如随后将描述的。
根据帧间预测模式的运动信息的推导
编码设备100或解码设备200可以使用当前块的运动信息来执行帧间预测。编码设备100可以根据运动估计过程来推导当前块的最佳运动信息。例如，编码设备100可以在参考图片内的确定的搜索范围内以分数像素为单元使用当前块的原始图片内的原始块来搜索具有相近相关性的参考块。因此，编码设备可以推导运动信息。可以以基于相位的样本值之间的差值为基础来推导块的相似度。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的SAD(绝对差值之和)来计算块的相似度。在这种情况下，可以基于在搜索区域内的具有最小SAD的参考块来推导运动信息。可以基于帧间预测模式使用多种方法将推导出的运动信息发信号通知给解码设备。
合并模式和跳过模式
如果应用合并模式，则不直接传输当前预测块的运动信息，并且使用邻近预测块的运动信息来推导当前预测块的运动信息。因此，编码设备100可以通过发送通知已经使用合并模式的标志信息和通知已经使用了哪个邻近预测块的合并索引来指示当前预测块的运动信息。
编码设备100应该搜索用于推导当前预测块的运动信息的合并候选块，以便执行合并模式。例如，可以使用最多多达5个合并候选块，但是本公开不限于此。此外，可以在切片头中传输最大数目的合并候选块，并且本公开不限于此。在搜索合并候选块之后，编码设备100可以生成合并候选列表，并且可以在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
本公开的实施方式提供了构造合并候选列表的合并候选块的各种实施方式。
例如，合并候选列表可以使用5个合并候选块。例如，可以使用4个空间合并候选和1个时间合并候选。
图11例示了构造当前块的空间合并候选的示例。
参照图11，为了预测当前块，可以使用左邻近块A1、左下邻近块A2、右上邻近块B0、上邻近块B1和左上邻近块B2中的至少一个。可以基于图12中示出的过程来构造当前块的合并候选列表。
图12是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
编码设备(编码设备100或解码设备200)搜索当前块的空间邻近块，并且将推导出的空间合并候选插入到合并候选列表中(S1210)。例如，空间邻近块可以包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。在这种情况下，这是示例，并且除了所述空间邻近块之外，诸如右邻近块、下邻近块和右下邻近块这样的附加邻近块也可以被用作空间邻近块。编码设备可通过基于优先级搜索空间邻近块来检测可用块，并且可以将检测到的块的运动信息推导为空间合并候选。例如，编码设备100或解码设备200可以以A1、B1、B0、A0和B2的顺序搜索图11中例示的5个块，并且可以通过对可用候选依次编索引来配置合并候选列表。
编码设备搜索当前块的时间邻近块，并且将推导出的时间合并候选插入到合并候选列表中(S1220)。时间邻近块可以位于参考图片上，即，与当前块所处的当前图片不同的图片上。时间邻近块所位于的参考图片可以被称为共位图片或col图片。可以按col图片上的当前块的共位块的右下角邻近块和右下中心块的顺序搜索时间邻近块。此外，如果应用运动数据压缩，则特定运动信息可以作为每个给定存储单元的代表性运动信息被存储在col图片中。在这种情况下，不必在给定存储单元内存储所有块的运动信息，因此可以获得运动数据压缩效果。在这种情况下，例如，给定存储单元可以被预定为16×16样本单元或8×8样本单元，或者给定存储单元的大小信息可以被从编码设备100发信号通知给解码设备200。如果应用运动数据压缩，则可以用时间邻近块所处的给定存储单元的代表性运动信息来替换时间邻近块的运动信息。即，在这种情况下，在实现方式方面，在基于时间邻近块(而非时间邻近块的坐标所处的预测块)的坐标(左上样本位置)按给定值执行算术右移位之后，可以基于覆盖算术左移位后的位置的预测块的运动信息来推导时间合并候选。例如，如果给定的存储单元是2n×2n样本单元，假定时间邻近块的坐标是(xTnb，yTnb)，则位于((xTnb>>n)<<n),(yTnb>>n)<<n))即修改后位置的预测块的运动信息可以被用于时间合并候选。具体地，例如，如果给定存储单元是16×16样本单元，假定时间邻近块的坐标是(xTnb，yTnb)，则位于((xTnb>>4)<<4),(yTnb>>4)<<4))即修改后位置的预测块的运动信息可以被用于时间合并候选。另选地，例如，如果给定存储单元是8×8样本单元，假定时间邻近块的坐标是(xTnb，yTnb)，则位于(xTnb>>3)<<3),(yTnb>>3)<<3))即修改后位置的预测块的运动信息可以被用于时间合并候选。
编码设备可以检查当前合并候选数目是否小于最大合并候选数目(S1230)。最大合并候选数目可以是预定义的，或者可以被从编码设备100发信号通知给解码设备200。例如，编码设备100可以生成关于最大合并候选数目的信息，可以对该信息进行编码，并且可以以比特流形式将该信息发送到解码设备200。如果最大合并候选数目已满，则可以不执行候选添加处理。
如果检查的结果是当前合并候选数目小于最大合并候选数目，则编码设备将所添加的合并候选插入到合并候选列表中(S1240)。例如，所添加的合并候选可以包括ATMVP(自适应时间运动矢量预测)、组合的双向预测合并候选(如果当前切片的切片类型为B型)和/或零矢量合并候选。
图13是例示了根据应用本公开的实施方式的配置预测候选列表(MVP候选列表)的方法的流程图。
如果应用运动矢量预测(MVP)模式，则可以基于重构的空间邻近块(例如，图11中描述的邻近块)的运动矢量和/或与时间邻近块(或Col块)对应的运动矢量来生成运动矢量预测子(mvp)候选列表。即，可以使用重构的空间邻近块的运动矢量和/或时间邻近块的运动矢量作为运动矢量预测子候选。关于预测的信息可以包括指示在列表中所包括的运动矢量预测子候选当中选择的最佳运动矢量预测子候选的选择信息(例如，MVP标志或MVP索引)。在这种情况下，预测器可以使用选择信息在运动矢量候选列表中所包括的运动矢量预测子候选当中选择当前块的运动矢量预测子。编码设备100的预测器可以计算当前块的运动矢量与运动矢量预测子之间的运动矢量差(MVD)，可以对MVD进行编码并且可以以比特流形式输出编码后的MVD。即，MVD可以被计算为通过从当前块的运动矢量中减去运动矢量预测子而获得的值。在这种情况下，解码设备的预测器可以获取关于预测的信息中包括的运动矢量差，并且可以通过将运动矢量差与运动矢量预测子相加来推导当前块的运动矢量。解码设备的预测器可以从关于预测的信息来获得或推导指示参考图片的参考图片索引。例如，可以如图13中例示地配置运动矢量预测子候选列表。
参照图13，编码设备搜索用于运动矢量预测的空间候选块，并且将其插入到预测候选列表中(S1310)。例如，编码设备可以根据预定搜索顺序来搜索邻近块，并且将满足空间候选块的条件的邻近块的信息添加到预测候选列表(MVP候选列表)。
在构造空间候选块列表之后，编码设备将预测候选列表中所包括的空间候选的数量与预设参考数量(例如，2)进行比较(S1320)。如果预测候选列表中所包括的空间候选的数量大于或等于参考数量(例如，2)，则编码设备可以结束预测候选列表的构造。
但是，如果预测候选列表中所包括的空间候选列表的数量小于参考数量(例如，2)，则编码设备搜索时间候选块并将其插入到预测候选列表中(S1330)，并且当时间候选块不可用时，将零运动矢量添加到预测候选列表(S1340)。
预测样本的生成
可以基于根据预测模式推导出的运动信息来推导当前块的预测块。预测块可以包括当前块的预测样本(预测样本数组)。在当前块的运动矢量指示分数样本单位时，可以执行插值过程，并且据此，可以基于参考图片中的以分数样本为单位的参考样本来推导当前块的预测样本。当向当前块应用仿射帧间预测时，可以基于以样本/子块为单位的运动矢量来生成预测样本。当应用双向预测时，可以通过基于第一方向预测(例如，L0预测)推导出的预测样本与基于第二方向预测推导出的预测样本的(根据相位)加权的和来推导最终预测样本。可以基于推导出的预测样本来生成重构样本和重构图片，并且如上所述，可以在此后执行诸如环路滤波这样的过程。
仿射运动预测
图14例示了根据本公开的实施方式的运动模型的示例。
在常规的图像压缩技术(例如，高效视频编码(HEVC))中，使用一个运动矢量来表示编码块的运动。尽管可以使用针对每个块使用一个运动矢量的方法来表示块单元的最佳运动，但它可能不是每个图片元素的实际最佳运动。因此，如果以图片元素为单元确定最佳运动矢量，则能提高编码效率。因此，本公开的实施方式描述了使用多运动模型对视频信号进行编码或解码的运动预测方法。具体地，可以使用2至4个控制点的运动矢量在块或子块单元的每个图片元素单元中表示运动矢量。使用多个控制点的运动矢量的预测方案可以被称为仿射运动预测或仿射预测。
根据本公开的实施方式的仿射运动模型可以表示诸如图14中例示的运动模型这样的4种运动模型。表示可以由仿射运动模型表示的运动当中的三个运动(平移、缩放和旋转)的仿射运动模型被称为相似(或简化的)仿射运动模型。在描述本公开的实施方式时，为了描述的方便，基本上描述了相似(或简化的)仿射运动模型，但是本公开不限于此。
图15例示了根据本公开的实施方式的用于仿射运动预测的控制点运动矢量的示例。
如图15中所示，在仿射运动预测中，可以使用两控制点运动矢量(CPMV)对v_0和v_1来确定块中所包括的图片元素位置(或子块)的运动矢量。在这种情况下，运动矢量集合可以被称为仿射运动矢量场(MVF)。在这种情况下，可以使用式1来确定仿射运动矢量场。
[式1]
在式1中，v_0(v_0＝{v_0x，v_0y})指示在当前块1500的左上位置的第一控制点处的运动矢量CPMV0。v_1(v_1＝{v_1x，v_1y})指示在当前块1500的右上位置的第二控制点处的运动矢量CPMV1。此外，w指示当前块1500的宽度。v(v＝{v_x，v_y})指示在{x，y}位置处的运动矢量。可以使用式1推导子块(或图片元素)单元的运动矢量。在一个实施方式中，运动矢量精度可以四舍五入为1/16精度。
图16例示了已经应用了根据本公开的实施方式的仿射运动预测的块的每个子块的运动矢量的示例。
参照图16，在编码或解码处理中，可以以图片元素为单元或者以块为单元确定仿射运动矢量场(MVF)。即，在仿射运动预测中，可以以图片元素为单元或者以子块为单元推导当前块的运动矢量。
如果以图片元素为单元确定仿射运动矢量场，则可以基于每个图片元素值获得运动矢量。在块单元的情况下，可以基于块的中心图片元素值来获得对应块的运动矢量。在该文献中，假定以4×4块为单元确定仿射运动矢量场(MVF)，如图16中中一样。在这种情况下，这是为了便于描述，并且本公开的实施方式不限于此。图16例示了编码块配置有16×16样本并且以4×4大小的块为单元确定仿射运动矢量场(MVF)的情况的示例。
仿射运动预测可以包括仿射合并模式(或AF_MERGE)和仿射帧间模式(或AF_INTER)。AF_INTER模式可以包括使用基于4个参数的运动模型的AF_4_INTER模式和使用基于6个参数的运动模型的AF_6_INTER模式。
仿射合并模式
AF_MERGE基于被编码为仿射运动预测的邻近块的仿射运动模型来确定控制点运动矢量(CPMV)。在搜索序列中被仿射编码的邻近块可以用于AF_MERGE。当一个或更多个邻近块被编码为仿射运动预测时，当前块可以被编码为AF_MERGE。
即，如果应用仿射合并模式，则可以使用邻近块的CPMV来推导当前块的CPMV。在这种情况下，邻近块的CPMV可以在没有任何改变的情况下用作当前块的CPMV，并且邻近块的CPMV可以基于邻近块的大小和当前块的大小来修改，并且可以被用作当前块的CPMV。
图17例示了根据本公开的实施方式的在仿射合并模式下用于仿射运动预测的邻近块的示例。
在仿射合并(AF_MERGE)模式下，编码器可以执行如以下处理中的编码。
步骤-1：按字母顺序扫描当前编码块1700的邻近块A至E 1710、1720、1730、1740和1750，并且将基于扫描序列根据仿射预测模式首先编码的块确定为仿射合并(AF_MERGE)的候选块。
步骤-2：使用所确定的候选块的控制点运动矢量(CPMV)来确定仿射运动模型
步骤-3：基于候选块的仿射运动模型来确定当前块1700的控制点运动矢量(CPMV)，并且确定当前块1700的MVF。
图18例示了使用已经应用了根据本公开的实施方式的仿射运动预测的邻近块对其执行仿射运动预测的块的示例。
例如，如图18中一样，如果已经根据仿射模式对块A 1820进行了编码，则在块A1820被确定为候选块之后，可以使用块A 1820的控制点运动矢量(CPMV)(例如，v2和v3)来推导仿射运动模型，并且可以确定当前块1800的控制点运动矢量(CPMV)v0和v1。可以基于当前块1800的控制点运动矢量(CPMV)来确定当前块1800的仿射运动矢量场(MVF)，并且可以执行编码。
图19是用于描述根据本公开的实施方式的使用邻近仿射编码块来生成合并候选列表的方法的示图。
参照图19，如果使用仿射合并候选来确定CPMV对，则可以使用诸如图19中例示的候选这样的候选。在图19中，假定候选列表的扫描序列已经被设置为A、B、C、D和E。在这种情况下，本公开不限于此，并且可以预设各种序列。
在实施方式中，如果根据在邻近块(即，A、B、C、D、E)中可用的仿射模式(或仿射预测)编码的候选(下文中被称为仿射候选)的数目为0，并且当前块的仿射合并模式可以被跳过。如果可用仿射候选的数目为1(例如，A)，则可以使用对应候选的运动模型来推导当前块的控制点运动矢量(CPMV_0和CPMV_1)。在这种情况下，指示对应候选的索引可以不被要求(或编码)。如果可用仿射候选的数目为2或更多，则扫描序列中的两个候选可以被配置为AF_MERGE的候选列表。在这种情况下，可以发信号通知诸如指示在候选列表内选择的候选的索引这样的候选选择信息。选择信息可以是标志或索引信息，并且可以被称为AF_MERGE_flag或AF_merge_idx。
在本公开的实施方式中，可以基于子块的大小对当前块执行运动补偿。在这种情况下，推导仿射块(即，当前块)的子块大小。如果子块的宽度和高度中的每一个都大于4个亮度样本，则可以推导每个子块的运动矢量，并且可以对子块执行基于DCT-IF的运动补偿(针对亮度，1/16图素；针对色度，1/32图素)。如若不然，则可以对所有仿射块执行基于增强型双线性插值滤波的运动补偿。
在本公开的实施方式中，如果合并/跳过标志为真并且CU的宽度和高度二者大于或等于8，则以CU级，通过比特流发信号通知仿射标志，指示是否使用仿射合并模式。当CU被编码为AF_MERGE时，发信号通知具有最大值“5”的合并候选索引，以指定针对仿射合并候选列表中的CU使用运动信息候选。
图20和图21是用于描述根据本公开的实施方式的使用通过仿射预测编码的邻近块来构造仿射合并候选列表的方法的示图。
参照图20，通过以下步骤来配置仿射合并候选列表。
1)插入基于模型的仿射候选
基于模型的仿射候选意味着，候选是从根据仿射模式编码的有效邻近重构块推导的。如图20中例示的，候选块的扫描顺序是从左A、上B、右上C和左下D到左上E。
如果以6参数仿射模式对邻近左下块A进行编码，则获得包括块A的CU的左上角、右上角和左下角的运动矢量(v_4，v_5，v_6)。根据6参数仿射模型，基于运动矢量(v_4，v_5和v_6)来计算当前块左上角的运动矢量(v_0，v_1，v_2)。
如果以4参数仿射模式对邻近的左下块A进行编码，则获得包括块A的CU的左上角和右上角的运动矢量(v_4，v_5)。根据4参数仿射模型，基于运动矢量(v_4，v_5)来计算当前块左上角的运动矢量(v_0，v_1)。
2)插入基于控制点的仿射候选
参照图20，基于控制点的候选意味着通过组合控制点的邻近运动信息来配置候选。
首先，从图20中例示的指定的空间邻近块和时间邻近块推导控制点的运动信息。CP_k(k＝1、2、3、4)表示第k个控制点。此外，A、B、C、D、E、F和G是用于预测CP_k(k＝1、2、3)的空间位置，并且H是用于预测CP4的时间位置。
CP_1、CP_2、CP_3和CP_4的坐标分别为(0，0)、(W，0)、(H，0)和(W，H)。在这种情况下，W和H是当前块的宽度和高度。
基于以下优先级获得每个控制点的运动信息。
针对CP_1，检查优先级为A→B→C，并且如果A可用，则使用A。如若不然，如果B可用，则使用B。如果A和B二者不可用，则使用C。如果这三个候选都不可用，则不能获得CP_1的运动信息。
针对CP_2，检查优先级为E→D。
针对CP_3，检查优先级为G→F。
针对CP_4，使用H。
其次，使用控制点的组合来配置运动模型。
需要两个控制点的运动矢量来计算4参数仿射模型中的变换参数。这两个控制点可以选自以下6个组合{CP_1,CP_4}、{CP_2,CP_3}、{CP_1,CP_2}、{CP_2,CP_4}、{CP_1,CP_3}和{CP_3,CP_4}中的一个。例如，使用CP_1和CP_2控制点来构造4参数仿射运动模型时被标记为“仿射(CP_1，CP_2)”。
需要三个控制点的运动矢量计算6参数仿射模型中的变换参数。这三个控制点可以选自以下4个组合{CP_1,CP_2,CP_4}、{CP_1,CP_2,CP_3}、{CP_2,CP_3,CP_4}和{CP_1,CP_3,CP_4}中的一个。例如，使用CP_1、CP_2和CP_3控制点来构造6参数仿射运动模型被标记为“仿射(CP_1，CP_2,CP_3)”。
此外，在本公开的实施方式中，如果仿射合并候选在仿射合并模式下存在，则这可以始终被认为是6参数仿射模式。
仿射帧间模式
图22例示了根据本公开的实施方式的用于仿射帧间模式下的仿射运动预测的邻近块的示例。
参照图22，仿射运动预测可以包括仿射合并模式(或AF_MERGE)和仿射帧间模式(或AF_INTER)。在仿射帧间模式(AF_INTER)下，在确定2-控制点运动矢量预测(CPMVP)和CPMV之后，与差值相对应的控制点运动矢量差(CPMVD)可以被从编码器发送到解码器。仿射帧间模式(AF_INTER)的详细编码处理可以与下述相同。
步骤-1：确定两CPMVP对候选
步骤-1.1：确定最多12个CPMVP候选组合(参照式2)
[式2]
{(v0，v1，v2)|v0＝{vA，vB，vC}，v1＝{vD，vE}，v2＝{vF，vG}}
在式2中，v_0指示当前块2200的左上控制点2210处的运动矢量CPMV0。v_1指示当前块2200的右上控制点2211处的运动矢量CPMV1。v_2指示当前块2200的左下侧的控制点2212处的运动矢量CPMV2。v_A指示与当前块2200的左上控制点2210的左上方邻近的邻近块A 2220的运动矢量。v_B指示与当前块2200的左上控制点2210的上方邻近的邻近块B 2222的运动矢量。v_C指示与当前块2200的左上控制点2210的左方邻近的邻近块C 2224的运动矢量。v_D是与当前块2200的右上控制点2211的上方邻近的邻近块D 2226的运动矢量。v_E指示与当前块2200的右上控制点2211的右上方邻近的邻近块E 2228的运动矢量。v_F指示与当前块2200的左下控制点2212的左方邻近的邻近块F 2230的运动矢量。v_G指示与当前块2200的左下控制点2212的左方邻近的邻近块G 2232的运动矢量。
步骤-1.2：基于具有小差异值(DV)的值对CPMVP候选组合进行排序，并且使用前两个候选(参照下式3)
[式3]
DV＝|(v1x-v0x)*h-(v2y-v0y)*w|+|(v1y-v0y)*h+(v2x-v0x)*w|
v_0x指示当前块2200的左上控制点2210处的运动矢量(V_0或CPMV_0)的x轴元素。v_1x指示当前块2200的右上控制点2211处的运动矢量(V_1或CPMV1)的x轴元素。v_2x指示当前块2200的左下控制点2212处的运动矢量(V_2或CPMV_2)的x轴元素。v_0y指示当前块2200的左上控制点2210处的运动矢量(V_0或CPMV_0)的y轴元素。v_1y指示当前块2200的右上控制点2211处的运动矢量(V_1或CPMV_1)的y轴元素。v_2y指示当前块2200的左下控制点2212处的运动矢量(V_2或CPMV_2)的y轴元素。w指示当前块2200的宽度。h指示当前块2200的高度。
步骤-2：当控制点运动矢量预测子(CPMVP)对候选小于2时，使用AMVP候选列表。
步骤-3：确定两个候选中的每一个的控制点运动矢量预测子(CPMVP)，并且通过比较RD成本与CPMV来最佳地选择具有较小值的候选。
步骤-4：发送与最佳候选对应的索引和控制点运动矢量差(CPMVD)。
在本公开的实施方式中，提供了在AF_INTER下构造CPMVP候选的处理。与AMVP相同地，候选数目为2，并且发信号通知指示候选列表位置的索引。
构造CPMVP候选列表的处理如下。
1)通过扫描邻近块来检查邻近块是否被编码为仿射运动预测。如果经扫描的块被编码为仿射预测，则从经扫描的邻近块的仿射运动模型推导当前块的运动矢量对，直到候选数目变为2。
2)如果候选数目小于2，则执行候选配置处理。此外，在本公开的实施方式中，使用4参数(2控制点)仿射帧间模式来预测放大/缩小和旋转运动的模型以及内容。如图15中例示的，通过两控制点运动矢量来描述块的仿射运动场。
通过上述式1描述块的运动矢量场(MVF)。
在常规技术中，高级运动矢量预测(AMVP)模式对于扫描运动矢量预测(MVP)索引和运动矢量差(MVD)是必需的。当向本公开应用AMVP模式时，发信号通知仿射标志(affine_flag)，以指示是否使用仿射预测。如果应用了仿射预测，则发信号通知inter_dir、ref_idx、mvp_index和两个MVD(mvd_x和mvd_y)的语法。生成包括两个仿射MVP对的仿射MVP对候选列表。使用发信号通知的mvp_index来选择两个仿射MVP对中的一个。通过两种类型的仿射MVP候选来生成仿射MVP对。一个是空间继承的仿射候选，而另一个是角落推导的仿射候选。如果在仿射模式下对邻近CU进行编码，则可以生成空间继承的仿射候选。使用邻近仿射编码块的仿射运动模型来生成2控制点MVP对的运动矢量。使用下式来推导空间继承的仿射候选的2控制点MVP对的MV。
[式4]
V0x＝VB0x+(VB2_x-VB0x)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1x-VB0x)*(posCurCU_X-posRefCU_X)/RefCU_width
[式5]
V0y＝VB0y+(VB2_y-VB0y)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1y-VB0y)*(posCurCU_X-posRefCU_X)/RefCU_width
如果V_B0、V_B1和V_B2可以被给定参考/邻近CU的左上MV、右上MV和左下MV替换，则(posCurCU_X，posCurCU_Y)是针对帧的左上样本的当前CU的左上样本的位置。(posRefCU_X，posRefCU_Y)是针对帧的左上样本的参考/邻近CU的左上样本的位置。
[式6]
V1x＝VB0x+(VB1x-VB0x)*CU_width/RefCU_width
[式7]
V1y＝VB0y+(VB1y-VB0y)*CU_width/RefCU_width
图23例示了根据本公开的实施方式的用于仿射帧间模式下的仿射运动预测的邻近块的示例。
参照图23，当MVP对的数目小于2时，使用角落推导的仿射候选。如图23中例示的，使用邻近运动矢量来推导仿射MVP对。针对第一角落推导的仿射候选，使用集合A(A0、A1和A2)中的第一可用MV和集合B(B0和B1)中的第一可用MV来配置第一MVP对。针对第二角落推导的仿射候选，使用集合A中的第一可用MV和集合C(C0和C1)中的第一可用MV来计算右上控制点的MV。集合A中的第一可用MV和计算出的右上控制点MV是第二MVP对。
在本公开的实施方式中，使用包括两个(三个)候选{mv_0，mv_1}({mv_0，mv_1，mv_2})的两个候选集来预测仿射运动模型的两个(三个)控制点。使用下式来计算给定的运动矢量差(mvd_0、mvd_1、mvd_2)和控制点。
[式8]
图24和图25是例示了根据本公开的实施方式的在仿射帧间模式下使用邻近块的运动信息来推导运动矢量候选的方法的示图。
在仿射候选列表中，仿射运动从空间邻近块(外推仿射候选)扩展，并且仿射候选列表附带有来自空间邻近块(虚拟仿射候选)的运动矢量的组合。候选集被如下地设置：
1.从邻近块的仿射运动推导最多两个不同的仿射MV预测子集合。如图24中例示地检查邻近块A0、A1、B0、B1和B2。如果通过仿射运动模型对邻近块进行编码并且对应的参考帧与当前块的参考帧相同，则从邻近块的仿射模型推导当前块的两个控制点(对于4参数仿射模型)或当前块的三个控制点(对于6参数仿射模型)。
2.图25例示了用于生成虚拟仿射候选集的邻近块。邻近MV被分为三组：S_0＝{mv_A，mv_B，mv_C}、S_1＝{mv_D，mv_E}和S_2＝{mv_F，mv_G}。mv_0是S0中的指参考与当前块相同的参考图片的第一MV。mv_2是S1中的参考与当前块相同的参考图片的第一MV。
如果给定了mv_0和mv_1，则可以通过下式9推导mv_2。
[式9]
在式9中，当前块大小为W×H。
如果仅给定了mv_0和mv_2，则可以通过下式10推导mv_1。
[式10]
在本公开的实施方式中，可以根据以下顺序来执行仿射帧间预测。
输入：仿射运动参数、参考图片样本
输出：CU的预测块
处理器
推导仿射块的子块大小
-如果子块的宽度和高度二者大于4个亮度样本，
--针对每个子块
-推导子块的运动矢量
-对子块执行基于DCT-IF的运动补偿(针对亮度，1/16图素；针对色度，1/32图素)(调用)
-如若不然，则对所有仿射块执行(调用)基于增强型双线性插值滤波的补偿
此外，在本公开的实施方式中，如果合并/跳过标志为假并且CU的宽度和高度大于或等于8，则发信号通知仿射标志，以便指示是否将以CU级使用仿射帧间模式。如果以仿射帧间模式对CU进行编码，则发信号通知模型标志，以便指示是向CU应用4参数仿射模型还是6参数仿射模型。如果模型标志为真，则应用AF_6_INTER模式(6参数仿射模型)并对MVD进行解析。如若不然，则应用AF_4_INTER模式(4参数仿射模型)，并且对两个MVD进行解析。
在AF_4_INTER模式下，类似于仿射合并模式，生成从通过仿射模式编码的邻近块外推的运动矢量对，并且将其优先插入到候选列表中。
此后，如果候选列表的大小小于4，则使用邻近块生成具有运动矢量对{(v_0，v_1)/v0＝{v_A，v_B，v_c}、v_1＝{v_D，v_E}}的候选。如图25中例示的，从块A、B和C的运动矢量中选择v_0。基于参考列表、用于参考邻近块的POC、用于参考当前CU的POC和当前CU之间的关系对来自邻近块的运动矢量进行缩放。此外，从邻近块D和E中选择v_1的方法相似。当候选列表大于4时，首先，基于邻近运动矢量(类似于候选对中的两个运动矢量)的一致性对候选进行排序，并且保留前4个候选。
如果候选列表的数目小于4，则通过复制AMVP候选用运动矢量对填充列表。
在AF_6_INTER模式下，类似于仿射合并模式，生成从以仿射合并模式编码的邻近块外推的运动矢量三元组(仿射运动矢量三元组)，并且将其优先插入到候选列表中。
此后，当候选列表的大小小于4时，使用邻近块生成包括运动矢量三元组{(v_0,v_1,v_2)|v0＝{v_A,v_B,v_c},v1＝{v_D,v_E},v2＝{v_G,v_H}}的候选。如图25中例示的，从块A、B或C的运动矢量中选择v_0。基于参考列表、用于参考邻近块的POC、用于参考当前CU的POC和当前CU之间的关系对来自邻近块的运动矢量进行缩放。此外，从邻近块D和E中选择v_1的方法类似于从F和G中选择v_2。当候选列表大于4时，将基于邻近运动矢量(类似于三个候选中的两个运动矢量)的一致性对候选进行排序，并且保留前四个候选。
当候选列表的数目小于4时，用通过复制相应AMVP候选而配置的运动矢量三元组来填充列表。
在推导出当前CU的CPMV之后，基于仿射参数的数目，针对4参数仿射模型根据式11来生成当前CU的MVF，并且针对6参数仿射模型根据式12来生成当前CU的MVF。
[式11]
[式12]
在这种情况下，在式13中推导子块大小M×N，并且MvPre是运动矢量部分精度(1/16)。
[式13]
在通过式12推导之后，如有必要，M和N需要被下调，以便使其成为w和h的因数。当M或N小于8时，应用WIF。如若不然，则应用基于子块的仿射运动补偿。
图26例示了根据本公开的实施方式的子块单元的仿射运动矢量场的示例。
参照图26，为了推导每个M×N子块的运动矢量，每个子块的中心样本的运动矢量根据式11或式12来计算(如图26中所例示)，并以1/16的部分精度四舍五入。SHVC上采样插值滤波器用于使用推导出的运动矢量来生成每个子块的预测。
可以使用具有与HEVC运动补偿插值滤波器相同的滤波器长度和归一化因子的SHVC上采样插值滤波器作为用于附加分数图素位置的运动补偿插值滤波器。色度分量运动矢量精度为1/32样本。使用两个邻近1/16图素部分位置的滤波器的平均值来推导1/32图素部分位置的附加插值滤波器。
可以使用与选择公共合并模式相同的方法在编码器侧选择AF_MERGE模式。优先生成候选列表，并且在候选中选择最小RD成本以与其它帧间模式的RD成本进行比较。比较的结果将确定是否应用AF_MERGE。
对于AF_4_INTER模式，使用RD成本检查来确定是否选择运动矢量对候选作为当前CU的控制点运动矢量预测(CPMVP)。在确定当前仿射CU的CPMVP之后，应用仿射运动估计，并且获得控制点运动矢量(CPMV)。因此，确定了CPMV与CPMVP之间的差值。
在编码器侧，只有当在先前模式选择阶段将AF_MERGE或AF_4_INTER模式确定为最佳模式时，才识别AF_6_INTER模式。
在本公开的实施方式中，可以如下地执行仿射帧间(仿射AMVP)模式：
1)AFFINE_MERGE_IMPROVE：作为以仿射模式搜索第一邻近块的替代，改进是搜索具有最大编码单元大小的邻近块作为仿射合并候选。
2)AFFINE_AMVL_IMPROVE：仿射模式下的邻近块被添加到仿射AMVP候选列表中，类似于常见的AMVP过程。
生成仿射AMVP候选列表的详细处理如下。
首先，识别左下方的邻近块是否使用仿射运动模型并具有与当前参考索引相同的参考索引。如果不存在该邻近块，则使用相同方法识别左邻近块。如果不存在该邻近块，则识别左下方的邻近块是否使用仿射运动模型并具有不同的参考索引。如果存在该邻近块，则缩放后的仿射运动矢量被添加到参考图片列表。如果不存在该邻近块，则使用相同方法识别左邻近块。
其次，使用相同的方法来识别右上邻近块、上邻近块和左上邻近块。
在这些处理之后，如果检索到两个候选，则终止生成仿射AMVP候选列表的处理。如果未检索到两个候选，则执行JEM软件内的原始操作，以生成仿射AMVP候选列表。
3)AFFINE_SIX_PARAM：除了4参数仿射运动模型之外，还添加6参数仿射运动模型作为附加模型。
通过式14推导6参数仿射运动模型。
[式14]
因为运动模型中存在6个参数，所以需要左上位置MV_0、右上位置MV_1和左下位置MV_2处的三个运动矢量来确定模型。可以使用与4参数仿射运动模型中的两个运动矢量的方法相似的方法来确定三个运动矢量。仿射模型合并始终被设置为6参数仿射运动模型。
4)AFFINE_CLIP_REMOVE：去除对所有仿射运动矢量的运动矢量限制。进行运动补偿处理，以控制运动矢量限制本身。
仿射运动模型
如上所述，在仿射帧间预测中可以使用或考虑各种仿射运动模型。例如，仿射运动模型可以表示如图14中的四个运动。能够表示能够由仿射运动模型表示的运动当中的三种运动(平移、缩放和旋转)的仿射运动模型可以被称为相似(或简化的)仿射运动模型。CPMV的数目和/或推导当前块的样本/子块单元MV的方法可以根据使用了仿射运动模型中的哪一个而不同。
在本公开的实施方式中，使用自适应的四个和六个参数运动模型。在AF_INTER中，除了JEM中存在的4参数运动模型之外，还提出了6参数运动模型。如同式15中地描述6参数仿射运动模型。
[式15]
x′＝a*x+b*y+c
y′＝d*x+e*y+f
在这种情况下，系数a、b、c、d、e和f是仿射运动参数。(x，y)和(x'，y')是仿射运动模型变换前后像素位置处的坐标。在视频编码中，为了使用仿射运动模型，如果CPMV0、CPMV1和CPMV2是CP0(左上方)、CP1(右上方)和CP2(左下方)的MV，则可以如下地描述式16。
[式16]
在这种情况下，CPMV_0＝{v_0x，v_0y}，CPMV_1＝{v_1x，v_1y}，CPMV_2＝{v_2x，v_2y}并且w和h是每个编码块的宽度和高度。式16是该块的运动矢量场(MVF)。
以CU级对标志进行解析，以便指示当邻近块被编码为仿射预测时是使用4参数仿射运动模型还是6参数仿射运动模型。如果不存在被编码为仿射预测的邻近块，则省略标志并且将4参数模型用于仿射预测。换句话说，在仿射运动模型中对一个或更多个邻近块进行编码的条件下，考虑6参数模型。关于CPMVD的数目，针对4参数仿射运动模型和6参数仿射运动模型发信号通知两个或三个CPMVD中的每一个。
此外，在本公开的实施方式中，可使用模式匹配的运动矢量细化。在JEM的模式匹配运动矢量推导(PMMVD，下文中被简称为JEM编码器描述中的PMVD)中，解码器需要评估一些运动矢量(MV)，以便确定用于CU级搜索的起始MV候选。在子CU级搜索中，除了最佳CU级MV之外，还添加了一些MV候选。解码器需要评估这种MV候选，以便搜索最佳MV。这需要大量存储段。在所提出的模式匹配运动矢量细化(PMVR)中，在JEM中采用PMVD中的模板匹配和双边匹配的概念。当选择跳过模式或合并模式以指示PMVR是否可用时，发信号通知一个PMVR_flag。为了与PMVD相比有意义地减少存储带宽需求，生成MV候选列表。如果应用PMVR，则显式地发信号通知起始MV候选索引。
使用合并候选列表生成处理来生成候选列表，但是排除了子CU合并候选，例如，仿射候选和ATMVP候选。对于双边匹配，仅包括单向预测MV候选。双向预测MV候选被分成两个单向预测MV候选。此外，还去除了(MV差小于预定义的阈值的)相似MV候选。对于CU级搜索，从发信号通知的MV候选开始执行菱形搜索MV细化。
子CU级搜索仅在双边匹配合并模式下可用。所有子CU的子CU级搜索的搜索窗口与CU级搜索的搜索窗口相同。因此，在子CU级搜索中不需要附加的带宽。
为了在模式下细化MVP，还使用了模板匹配。在AMVP模式下，使用HEVC MVP生成处理来生成两个MVP，并且发信号通知一个MVP索引以选择两个MVP中的一个。使用PMVR中的模板匹配进一步细化所选择的MVP。如果应用了自适应运动矢量分辨率(AMVR)，则在模板匹配细化之前，以对应的精度对MVP进行四舍五入。这种细化处理被称为模式匹配运动矢量预测子细化(PMVPR)。在本文献的其余部分中，除非另有特别定义，否则PMVR包括模板匹配PMVR、双向匹配PMVR和PMVPR。
为了减少存储带宽需求，PMVR不可用于4×4、4×8和8×4CU。为了减少所需附加存储带宽的量，等于64的CU区域的{模板匹配，双向匹配}的搜索范围可以被减小至{±2,±4}。对于大于64的CU区域的{模板匹配，双向匹配}的搜索范围可以被减小至{±6，±8}。与HEVC中的最坏情况相比，使用本文献的PMVR部分中描述的所有方法，所需的存储带宽从JEM-7.0的PMVD中的45.9x减小至PMVR中的3.1x。
常见基于历史的运动矢量预测(HMVP)
通常，图像压缩技术使用对空间和时间冗余的探索作为两个主要方案。例如，高效视频编码(HEVC)和VVC二者使用基于帧间编码的两种运动压缩方案。一种是合并运动，而另一种是高级运动矢量预测(AMVP)。为了改进这两种预测模式，正在讨论各种修改。各种修改包括增加候选的数目以在非传统位置处检查时间候选并搜索空间上更扩展的候选。这两种方案包括主要使用可用的候选构造列表、使速率失真(RD)成本最小化并且在比特流中发信号通知所选择的候选。
具体地，在最近的图像压缩技术中，讨论了其中存储有先前编码的块的运动信息并且将所存储的运动信息用于随后编码的块的运动预测的HMVP。这种HMVP可以被添加到合并列表(或合并候选列表)或AMVP列表(或AMVP候选列表)。
解码器维护在HMVP的先进先出(FIFO)系统(或方法)中操作的查找表(LUT)。在本公开中，LUT不限于其名称，可以被称为表、HMVP表、HMVP候选表、缓冲器、HMVP缓冲器、HMVP候选缓冲器、HMVP列表或HMVP候选列表。具体地，当非仿射预测单元(PU)(或编码单元(CU))被解码时，对应的运动信息被存储在LUT中。解码器对下一个PU执行解码。在这种情况下，所存储的运动信息可以包括在x(水平)和y(垂直)方向上的运动矢量、参考索引信息和模式信息。
解码器维护其中存储有逐步解码后的非仿射候选的运动信息的LUT。LUT的大小可以限于预定义的S候选。在一个实施方式中，可以在切片的开始、CTU行的开始或CTU的开始重置LUT。
HMVP可以应用合并模式和AMVP模式二者。合并列表可以具有B个候选，并且AMVP列表可以具有两个候选。在常规图像压缩技术中，合并列表配置有以下候选：i)空间候选、ii)时间候选、iii)双向预测(Bi-Pred)候选、iv)零运动候选。最近，讨论了另外将高级运动矢量预测(ATMVP)视为候选的方法。例如，ATMVP候选可以在时间候选之前被插入到合并列表中。合并列表的候选被添加到合并列表中，直到它们达到最大合并列表大小。重复候选可以不被添加到合并列表。两个候选可以被插入到AMVP列表中。例如，可以从可用空间候选中选择两个候选中的第一候选，并且可以从时间候选中选择第二候选。如果列表未被填充，则可以添加零运动矢量候选。
HMVP是基于FIFO顺序应用的，按该顺序，候选以与其输入顺序相同的顺序离开LUT。
在一个实施方式中，当HMVP被应用于合并列表配置时，可以如下地将HMVP候选插入(或添加)到列表的第三位置：
1.空间候选
2.时间候选
3.LUT的多达S个HMVP候选
4.组合的双向预测候选
5.零运动矢量候选
在一个实施方式中，当HMVP被应用于AMVP列表配置时，可以如下地在时间候选之后将HMVP候选插入到第三位置：
1.空间候选
2.时间候选
3.多达K个HMVP候选
4.零运动矢量候选
图27是用于描述根据本公开的实施方式的存储HMVP的方法的流程图。
参照图27，解码器对当前PU(或CU)进行解码(S2701)。
解码器检查当前PU是否是以非仿射模式编码的块(S2702)。为了促进HMVP候选的使用，如果当前PU是以仿射模式编码的块，则解码器不将当前PU的运动信息存储在表中。
如果当前PU是以非仿射模式编码的块，则解码器在表中存储(或者更新)当前PU的运动信息(S2703)。
在本公开的实施方式中，可以使用两种方法即i)非限制性FIFO ii)限制性FIFO方法来更新HMVP表。在前者中，可能存在冗余的运动信息，但不应用修剪处理。这有助于降低整个处理的复杂度。另一方面，在后者中应用修剪处理，并且不存在冗余运动信息。参照下图对此进行描述。
图28是用于描述根据本公开的实施方式的以非限制性FIFO方式操作的HMVP表的示图。
参照图28，添加到表中的候选被添加到表的末尾(右侧)。相反，根据FIFO方法从表中排出的候选位于表的前端(左侧，最老的候选)。
如果在索引L-1(即，端部)处未用最大数目的预定义候选完全填充表，则在不去除候选的情况下添加新的候选。相反，如果表已被完全填满，即，如果满足了表的最大数目，则去除位于前端的(即，表中最旧的)候选并添加新的候选。
图29是用于描述根据本公开的实施方式的以限制性FIFO模式操作的HMVP表的示图。
参照图29，在使用限制性FIFO的情况下，如果添加新候选造成任何冗余(即，新候选包括冗余运动信息)，则执行修剪。在实施方式中，如果在表中存在具有冗余运动信息的候选，则去除表内的冗余候选，并且可以添加当前候选的运动信息。
关于HMVP候选，在许多情况下，最新历史MV可与空间候选(或空间邻近候选)的运动信息交叠。因此，本实施方式提出了在HMVP候选被添加到AMVP或合并列表时与HMVP LUT索引顺序不同地设置候选的添加顺序的方法。
根据本公开的实施方式，可以通过自适应地调节HMVP候选来高效地配置候选列表。因此，可以减少用于二值化的信令bin的数目，并且可以提高编码效率。即，添加到合并列表或AMVP列表的HMVP候选可以不受HMVP列表中的索引限制。作为实施方式，下表1例示了改变将HMVP候选添加到AMVP或合并列表的顺序的方法。
【表1】
参照表1，如上所述，很有可能最新近插入的HMVP候选可以具有与空间候选相同的运动信息。因此，可以通过考虑概率而不顾及HMVP索引来预定义HMVP候选的添加顺序。
此外，在一个实施方式中，编码器或解码器可以从开始于列表中的第n个候选的HMVP候选起，将HMVP候选添加到合并列表或AMVP列表。下表2例示了将候选添加到AMVP或合并列表的改变后的顺序。
[表2]
参照表2，可以从第二索引起，将HMVP候选添加到合并列表或AMVP列表。
在一个实施方式中，关于表(LUT)内的HMVP候选的添加顺序的信息可以被从编码器发信号通知给解码器。例如，可以通过高级语法(HLS)发送这样的顺序信息。例如，高级语法可以是序列参数集、图片参数集、切片头、编码树单元、编码单元和/或另一适当的语法数据头。
表3例示了可以应用本公开中提出的方法的高级语法结构。
[表3]
参照表3，set_HMVP_order_flag等于1指示set_HMVP_order_flag存在于CVS中的非IDR图片内的切片头中。set_HMVP_order_flag等于0指示在切片头中不存在set_HMVP_order_flag并且在VCS中不使用自适应HMVP。
图4例示了可以应用本公开中提出的方法的切片片段头语法结构。
[表4]
参照表4，slice_HMVP_idx意指所使用的候选的序列的索引。例如，slice_HMVP_idx等于0可以表示诸如0、1、2、3这样的基本HMVP序列。同样，索引值1可以用于表示HMVP序列3、2、1、0。
在本公开的实施方式中，除了HMVP LUT之外，还提出了使用长期列表进行运动预测的方法。因此，可以增加所维护的HMVP候选的数目。在实施方式中，可以考虑2-HMVP表。在这种情况下，一个可以用于存储普通HMVP候选，另一个可以用作其中存储有需要被进一步维护的候选的长期列表。
下面说明重置和构造长期列表(或长期HMVP列表)的方法。
-在对CTU行中的第一个CTU进行解码之后，可以将后续CTU的一个或更多个历史MV添加到长期HMVP LUT。这种长期HMVP LUT可以不被使用或者更新，直到下一个CTU行。
-在下一个CTU行的开始处，可以使用长期HMVP LUT来重置普通HMVP LUT。这样做的原因是，与前一CTU行的末尾处的历史MV相比，CTU行的开始处的CTU的HMVP候选可能更加相关。
-可以重复以上处理。
图30是例示了根据本公开的实施方式的长期HMVP LUT和HMVP LUT的示图。
参照图30，编码器或解码器可以包括两个用于存储HMVP候选的LUT。一个可以是HMVP LUT(或普通HMVP LUT或短期HMVP LUT)，而另一个可以是长期HMVP LUT。当HMVP候选被添加到合并列表和AMVP列表二者中时，可以从HMVP LUT或长期LUT添加它，如图30中例示的。
可以通过使用新语法元素来发信号通知长期LUT的使用。在一个实施方式中，可以通过高级语法发信号通知该语法元素。例如，语法元素可以存在于序列参数集、图片参数集、切片头、编码树单元、编码单元和/或另一适当的语法数据头中。
在本公开的实施方式中，提出了在向HMVP LUT添加HMVP候选时考虑解码的灵活性的方法。编码器/解码器可以考虑在将HMVP候选添加到HMVP LUT时针对PU(或CU)的一个或更多个特性的决策标准。
在实施方式中，编码器/解码器可以在将HMVP候选添加到表中时考虑以下内容。编码器/解码器可以通过分别或组合地考虑诸如PU的模式(例如，合并模式、仿射模式或AMVP模式)和/或块的大小这样的特性来将候选添加到表中。在一个实施方式中，除了这些特性之外，还可以考虑其它附加特性。例如，其中考虑了HMVP LUT更新、是否是子PU等的合并类型(例如，空间候选或时间候选)可以被认为是用于选择候选的标准。可以确定选择标准，以减少与先前历史(或先前HMVP)的冗余。例如，如果PU以合并模式被编码并且合并类型是空间合并，则解码器可以不用对应PU的运动信息来更新HMVP LUT。
图31是例示了根据本公开的实施方式的更新HMVP LUT的方法的示例的示图。
参照图31，编码器/解码器获得编码后的候选的运动信息(S3101)。
编码器/解码器基于预定义的决策标准来评估是否用候选的运动信息来更新LUT(S3102)。如上所述，决策标准可以包括与候选的模式(例如，合并模式、仿射模式或AMVP模式)、候选的块大小和/或候选的合并类型中的一个或更多个相关的特性。
编码器/解码器基于决策标准来更新LUT(S4303)。即，如果候选满足预定义的决策标准，则编码器/解码器可以将候选的运动信息添加到LUT。
在本公开的实施方式中，提出了对用于将HMVP候选添加到合并列表(或AMVP列表)的冗余校验的限制。可以以各种方式定义或实现对冗余校验的限制。
在一个实施方式中，编码器/解码器可以限制针对合并列表中的第一特定数目的候选的修剪检查的数目。作为实施方式，编码器/解码器可以限制针对从合并列表的第一候选到特定候选的候选的修剪检查的数目。例如，编码器/解码器可以对从合并列表的第一候选到特定候选的候选执行修剪处理。并且，HMVP候选即修剪检查的目标可以限于预定数目。
此外，在一个实施方式中，编码器/解码器可以通过对合并列表内的特定类型的合并候选执行修剪检查来限制修剪检查。例如，编码器/解码器可以在添加HMVP候选时仅对合并列表的空间候选执行修剪检查。另选地，例如，编码器/解码器可以在添加HMVP候选时仅对合并列表的一些空间候选执行修剪检查。空间候选中的一些可以是预定义的。例如，预定义的空间候选可以是左邻近空间候选和/或上邻近空间候选中的至少一个。或者，例如，在添加HMVP候选时，编码器/解码器可以仅对合并列表的空间候选的一部分执行修剪检查，并且空间候选的该部分可以被预定义为左侧和上侧。本公开的实施方式不限于以上示例，并且其它类型可以被组合和限制为修剪检查的目标。
图32是例示了根据本公开的实施方式的限制HMVP候选(即，修剪检查的目标)的数目的方法的示图。
参照图32，在本公开的实施方式中，HMVP候选(即，修剪检查的目标)的数目可以限于M。编码器/解码器可以在使用HMVP候选构造合并列表时检查HMVP LUT内的前M个候选与该合并列表的合并候选之间的运动信息的冗余。
另选地，编码器/解码器可以在将解码后的处理块(例如，PU)的运动信息添加到HMVP LUT中时，检查HMVP LUT内的前M个候选与当前解码的PU之间的运动信息的冗余。
图33是例示了根据本公开的实施方式的执行修建检查的方法的示例的流程图。
参照图33，编码器/解码器获得解码后的候选的运动信息，并且确定(或解码)修剪检查的次数(S3301、S3302)。可以根据上述的(例如，在图32中描述的)方法在编码器/解码器中预定义修剪检查的次数。编码器/解码器基于所确定的修剪检查次数来执行修剪检查(S3303)。
在一个实施方式中，如表3和表4中一样，可以通过高级语法来发信号通知与修剪检查相关的信息。在这种情况下，可以通过用于指示修剪检查的次数的较高级语法来发信号通知从编码器发送到解码器的语法元素。例如，高级语法可以被包括在序列参数集、图片参数集、切片头、编码树单元、编码单元和/或其它适当的语法数据头中。
在本公开的实施方式中，提出了选择HMVP候选的高效方法。当历史运动矢量候选(即，HMVP候选)被插入到合并列表(或AMVP列表)中时，可以执行修剪检查，使得HMVP候选不与现有的合并列表交叠。此时，为了在大小为M的合并列表与大小为N的历史LUT之间执行总冗余校验，需要(M-1)×N次的检查。
因此，在本公开的实施方式中，HMVP候选的数目可以取决于合并候选。例如，HMVP候选的数目可以取决于合并列表中存在的空间候选的数目。另选地，例如，HMVP候选的数目可以取决于合并列表中存在的空间候选和时间候选的数目。
如果合并列表中存在另一合并候选，则将基于以合并候选的数目和/或合并列表的HMVP的数目为基础的特定标准(或规则)来执行修建检查的HMVP候选的数目可以减少。因此，最坏情况下的冗余校验次数可以减少。
例如，在大小(或长度)为6的合并列表的情况下，如果合并列表被完全填满，则合并列表可以包括最多5个空间或其它合并候选。为了将HMVP候选插入到6个HMVP列表中，在最坏情况下可能需要30次冗余校验。
在一个实施方式中，在式17和表5中例示了与对作为修剪检查目标的HMVP的数目的限制相关的示例。
[式17]
if(existing_candidates>＝3)
number_hist_to_check＝7-existing_candidates
[表5]
| 现有候选的数目 | 待检查现有候选的数目 | 待检查历史MV的数目 | 检查的数目 |
| 1 | 1 | 6 | 6 |
| 2 | 2 | 6 | 12 |
| 3 | 3 | 4 | 12 |
| 4 | 4 | 3 | 12 |
| 5 | 5 | 2 | 10 |
参照表5，通过将HMVP(即，修剪检查的目标)的数目限制为2，最坏情况下针对HMVP添加的冗余校验的次数减少12倍而非30倍。
在本公开的实施方式中，提出了使用基于历史的空间时间运动矢量预测(H-STMVP)来构造合并列表的方法。H-STMVP指示被推导为两个基于历史的空间MVP和TMVP的平均值的候选。可以从HMVP缓冲器获得两个空间HMVP。可以从当前合并列表获得TMVP。在这种情况下，空间候选可以是从在当前块之前的解码序列中的最后2个编码后的MV获得的候选。
例如，可以使用最后编码的MV(本公开中被称为MV_L)、倒数第二个MV(在本公开中被称为MV_(L-1))以及MV_TMVP来生成将被插入到合并列表中的H-STMVP候选。
如果可以使用所有三个候选，则可以通过下式18计算添加到合并列表中的MV。
[式18]
{MVL+MVL-1+MVTMVP}*43/128
在一个实施方式中，如果三个候选中只有两个候选可用，则仅两个候选可以被求平均，以生成H-STMVP。同样，如果只有一个候选可用，则可以使用这一个候选。如果不存在可用的候选，则H-STMVP可以不被用于合并列表配置。
在本公开的实施方式中，提出了使用除了式18之外的另一方法来获得H-STMVP候选的运动矢量的方法。
例如，作为一次对三个或更多个候选求平均的替代，首先对空间候选求平均然后再次使用求平均的结果对两个候选求平均可能在计算上更简单。在下式中例示了其示例。
[式19]
<[(MVL+MVL-1)＞＞1+MVTMVP]＞＞1>
另选地，可以如下地获得平均值。
[式20]
<[(MVL+MVTMVP)＞＞1+MVL-1]＞＞1>
[式21]
<[(MVL-1+MVTMVP)＞＞1+MVL]＞＞1>
[式22]
<[2 MVL+MVL-1+MVTMVP]＞＞2>
编码器/解码器可以首先如式19至式21中一样对两个候选求平均，然后可以使用第三候选对结果值求平均。另选地，编码器/解码器可以通过应用如式22中一样的两次移位运算来向候选(即，MV_L)指派更高的重要性/权重。可使用式19至式22仅通过移位运算来在不进行除法运算的情况下推导平均值。
在本公开的实施方式中，提出了在推导H-STMVP时使用给定数目(n)的空间候选而非两个基于历史的空间候选的方法。n个候选不需要是本质上连续的解码序列。可以随机地或者根据某个规则来选择n个候选。
因此，可以使用如同下式23一样的更通用的方法来表示式18。
[式23]
{MV1+MV2+...+MVn+MVTMVP}*1/(n+1)
在另一实施方式中，假定使用5个空间候选，通过提高应用于时间候选的权重，可以适当地并入空间候选和时间候选，并且可以使空间候选增加对生成H-STMVP候选的影响最小化。
因此，为此，在使用式24将空间候选一起求平均之后，可以通过使用求平均的结果对MV_TMVP求平均来实现以上目的。
[式24]
[{MV1+MV2++MVn}*1/n+MVTMVP]*1/2
在本公开的实施方式中，提出了将权重(或加权因子)添加到用于推导H-STMVP的运动矢量候选的方法。在这种情况下，权重可以是按经验确定的，或者可以通过考虑直至固定参考帧的时间距离来确定，或者可以通过考虑历史表中的位置来确定。例如，新的候选可以具有比先前候选更重的权重。
即，在本实施方式中，式18可以如同下式25地被表示。
[式25]
{MV＝w1.MVL+w2.MVL-1+w3.MVTMVP}
在这种情况下，权重可以具有相同的值或分布不均的值。
在本公开的实施方式中，提出了缩放用于将H-STMVP候选推导为单个参考图片的运动矢量的方法。
图34是用于描述根据本公开的实施方式的使用参照不同参考图片的运动矢量推导H-STMVP候选的方法的示图。
参照图34，假定MV_L、MV_L-1和MV_TMVP候选参考(或指示)相应不同的参考图片。即，图34例示了用于生成H-STMVP候选的候选可以具有不同的参考索引并因此具有不同的参考帧。
可以使式18至式25的平均值是不相等的结果值，因为具有附近参考帧的帧实际上会对H-STMVP的运动矢量产生更大的影响。因此，提出了将所有运动矢量缩放成单个参考帧以进行相等比较和并入的方法。
在这种情况下，编码器可以确定作为RD优化的一部分执行的哪单个帧最适合用作参考帧。在实施方式中，可以在类似于切片头中存在的TMVP数组索引的切片头中发信号通知所选择的参考帧。例如，可以使用固定规则来生成待使用的参考帧。另选地，例如，列表可以从L0被缩放为第一可用参考帧，或者列表可以基于当前图片序列计数被缩放。
在一个实施方式中，为了实现以上目的，编码器可以使用可以是序列参数集、图片参数集、切片头、编码树单元和/或另一数据头的一部分的高级语法(HLS)来向解码器发送单个固定图片的信息。例如，可以定义诸如下面的表6和/或表7这样的高级语法结构。
[表6]
参照表6，set_HSTMVP_ref_pic_flag等于1指示set_HSTMVP_idx存在于CVS中的非IDR图片内的切片头中。set_HSTMVP_ref_pic_flag等于0指示set_HSTMVP_idx不存在于切片头中。
[表7]
参照表7，slice_HMVP_idx指定参考索引。在一个实施方式中，可以针对列表L0选择参考索引。
在本公开的实施方式中，将针对上述实施方式描述更详细的实施方式。具体地，提出了通过使用位置和尺寸信息来间接使用仿射HMVP候选以便计算或推导当前块的CPMV的方法。在本公开中，所推导出的CPMV可以被称为继承的仿射HVMP候选。根据本公开的实施方式的继承的仿射HMVP候选可以被用在上述仿射合并列表和/或仿射AMVP列表生成处理中。
图35是例示了根据本公开的实施方式的用于推导继承的仿射HMVP候选的块的位置的示图。
参照图35，可以以与从邻近块推导一般的继承CPMV的方法类似的方式，基于仿射HMVP候选的位置和尺寸来推导当前块3501的CPMV。即，编码器/解码器可以基于作为仿射HMVP候选的参考块3502的位置和尺寸(例如，宽度和高度)信息来推导当前块3501的控制点的运动矢量。
作为实施方式，可以通过使用下面的式26和式27来推导当前块的继承的仿射HMVP的CPMV。
[式26]
V0x＝VB0x+(VB2_x-VB0x)×(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1x-VB0x)×(posCurCU_X-posRefCU_X)/RefCU_width
[式27]
V0y＝VB0y+(VB2_y-VB0y)×(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1y-VB0y)×(posCurCU_X-posRefCU_X)/RefCU_width
在式26和式27中，posCurCU_Y表示当前块3501的左上样本的垂直坐标值，并且posRefCU_Y表示参考块3502的左上样本的垂直坐标值。posCurCU_X表示当前块3501的左上样本的水平坐标值，并且posRefCU_X表示参考块3502的左上样本的水平坐标值。RefCU_height表示参考块3502的高度，并且RefCU_width表示参考块3502的宽度。
在本公开的一个实施方式中，当添加仿射HMVP候选(直接或继承的HMVP)时，可以添加限制，以选择能够用于生成仿射合并列表或仿射AMVP列表的仿射HMVP候选。
作为示例，仅当仿射HMVP候选与当前块相邻时，仿射HMVP候选才可以被添加到仿射合并列表或仿射AMVP列表。
作为另一示例，仅当仿射HMVP候选位于(或存在于)距当前块的特定距离内时，仿射HMVP候选才可以被添加到仿射合并列表或仿射AMVP列表中。例如，特定距离可以是预定义的像素距离。编码器/解码器可以确定仿射HMVP候选是否位于预定的特定距离内，以确定仿射HMVP候选是否可用。
作为另一示例，仅当仿射HMVP候选位于(或存在于)基于当前块的特定位置时，仿射HMVP候选才可以被添加到仿射合并列表或仿射AMVP列表中。例如，当仿射HMVP候选存在于特定位置时，可能存在仿射HMVP候选是当前块的左或上邻近块的情况。
对于具有N个元素的仿射HMVP LUT，可以对所有元素或前M个元素执行上述验证处理，直到合并列表或AMVP列表已满或者直到达到预定义数目的HMVP候选。
在本公开的一个实施方式中，提出了仿射HMVP候选被用于替换仿射合并列表和/或仿射AMVP列表中已经存在的继承的仿射候选的方法。
图36是例示了根据本公开的实施方式的仿射合并列表或仿射AMVP列表的示图。
参照图36，编码器/解码器可以用继承的仿射HMVP候选替换现有仿射合并列表或仿射AMVP列表中存在的继承的候选。也就是说，当向当前块应用基于子块的合并模式时，编码器/解码器可以使用继承的仿射候选和已经构造的仿射候选来生成基于子块的合并候选列表，推导继承的仿射HMVP候选，并且用继承的仿射HMVP候选替换基于子块的合并候选列表中所包括的至少一个继承的仿射候选。
另外，在本公开的一个实施方式中，仿射HMVP查找表(LUT)可以在切片、CTU行或CTU的起始处被初始化。由此，能够提高并行处理的性能。
下文中，在以下实施方式中，提出了用于减少HMVP的最坏修剪检查的次数的方法。
在本公开的实施方式中，当HMVP候选被添加到合并列表时，可以基于合并列表中的可用候选的数目和能够被添加到合并列表中的HMVP候选的数目来确定修剪检查的次数。下文中，在描述本公开的实施方式时，为了便于描述，如下地定义变量。
-NST：合并列表中可用(或现有)候选的数目
-NHMVP：表中HMVP候选的数目(即，HMVP表大小)
-NmrgToBeAdded：添加到合并列表的HMVP候选的数目
-NHMVPChecked：经修剪检查的HMVP候选的数目
-Nmax_hmvp_prunning：将HMVP候选添加到合并列表所需的最坏情况的修剪检查的次数
在本公开的一个实施方式中，可以根据以下条件将HMVP候选添加到合并列表。
-第一条件：当先前对LUT了进行修剪时(即，HMVP LUT中的候选之间没有相同的mv)
-第二条件：当HMVP LUT表的大小为6时
-第三条件：当将HMVP候选添加到合并列表的可用(或现有)合并候选的最大数目为4时。即，这是当合并列表中的合并候选的数目小于通过从最大合并列表大小(或最大合并候选数目)中减去1而获得的值时。例如，最大合并列表大小可以为6，并且如果当前可用的合并候选的数目小于5，则可以添加(或插入)HMVP候选。换句话说，HMVP候选最多只能被添加到合并列表索引5。
当HMVP候选被添加到合并列表(即，成为合并候选)时，每个HMVP候选可能需要修剪检查，以去除合并候选之间的重复。根据现有的图像压缩技术，可以如下表8中所示地计算将HMVP添加到合并列表所需的最坏的修剪检查次数。
[表8]
| N<sub>ST</sub> | N<sub>mrgToBeAdded</sub> | N<sub>HMVPChecked</sub> | N<sub>max_hmvp_prunning</sub> |
| 0 | 5 | 6 | 0 |
| 1 | 4 | 6 | 4 |
| 2 | 3 | 6 | 7 |
| 3 | 2 | 6 | 9 |
| 4 | 1 | 6 | 10 |
参照表8，根据现有的图像压缩技术，可以对HMVP表(或HMVP列表、HMVP候选列表)中的六个HMVP候选执行修剪检查。
具体地，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4个。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3个。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2个。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为9。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1个。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为10。
在本公开的实施方式中，提出了用于减少上述最坏修剪检查的次数的方法。如果合并列表中有更多的合并候选，则由于HMVP的编码效果随合并候选(即，非HMVP候选)的增加而降低，因此可能需要减少待修剪HMVP候选的数目。因此，在本公开的实施方式中，编码器/解码器可以将待检查的HMVP候选的数目(NHMVPChecked)设置成等于待添加的可用HMVP候选的数目(NmrgToBeAdded)，以便减少最坏修剪检查的次数。在这种情况下，可以如下表9中所示地计算最坏修剪检查的次数。
[表9]
| N<sub>ST</sub> | N<sub>mrgToBeAdded</sub> | N<sub>HMVPChecked</sub> | N<sub>max_hmvp_prunning</sub> |
| 0 | 5 | 5 | 0 |
| 1 | 4 | 4 | 4 |
| 2 | 3 | 3 | 6 |
| 3 | 2 | 2 | 6 |
| 4 | 1 | 1 | 4 |
参照表9，与常规的图像压缩技术相比，HMVP的最坏修剪检查的次数可以从10减少至6。
参照表9，在实施方式中，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4个。然后，可以对四个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3个。然后，可以对三个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为6。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2个。然后，可以对两个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为6。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1个。然后，可以对一个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。
在本公开的实施方式中，为了减少最坏修剪检查的次数，编码器/解码器可以将待修剪检查的HMVP候选的数目(NHMVPChecked)设置成与待添加的可用HMVP候选的数目(NmrgToBeAdded)与k之和相同。这里，K表示预定义的恒定值。作为示例，当K为1时，可以如表10中所示地计算最坏修剪检查次数。
[表10]
| N<sub>ST</sub> | N<sub>mrgToBeAdded</sub> | N<sub>HMVPChecked</sub> | N<sub>max_hmvp_prunning</sub> |
| 0 | 5 | 6 | 0 |
| 1 | 4 | 5 | 4 |
| 2 | 3 | 4 | 7 |
| 3 | 2 | 3 | 8 |
| 4 | 1 | 2 | 7 |
参照表10，在实施方式中，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4个。然后，可以对五个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3个。然后，可以对四个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2个。然后，可以对三个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为8。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1个。然后，可以对两个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。
在本公开的实施方式中，为了减少最坏情况下的修剪检查，待检查的HMVP候选的数目(NHMVPChecked)可以被定义为下式28。
[式28]
NHMVPChecked＝min(NHMVP，C*NmrgToBeAdded)
在式28中，C表示预定义的恒定值。如果C为2，可以如表11中所示地计算最坏修剪检查次数。
[表11]
| N<sub>ST</sub> | N<sub>mrgToBeAdded</sub> | N<sub>HMVPChecked</sub> | N<sub>max_hmvp_prunning</sub> |
| 0 | 5 | 6 | 0 |
| 1 | 4 | 6 | 4 |
| 2 | 3 | 6 | 7 |
| 3 | 2 | 4 | 9 |
| 4 | 1 | 2 | 7 |
参照表11，在实施方式中，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4个。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3个。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2个。然后，可以对四个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为9。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1个。然后，可以对两个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。
当将HMVP添加到合并列表和/或AMVP列表时，需要再次执行修剪，以避免与合并列表和/或AMVP列表中现有的候选重复。如果HMVP LUT已经通过以上图29中描述的受限FIFO操作被修剪，则当将HMVP候选插入(或添加)到合并列表时，可以不需要进行HMVP候选之间的比较(或修剪检查)。为此原因，当使用如以上图28中描述的非限制性FIFO表时，修剪检查的次数可以减少。这是因为将HMVP候选插入到合并列表中时必须在HMVP候选之间进行修剪检查。如上所述，在本公开中，HMVP LUT不限于其名称，并且可以被称为LUT、表、HMVP表、HMVP候选表、缓冲器、HMVP缓冲器、HMVP候选缓冲器、HMVP列表、HMVP候选列表、HMVP合并候选列表、基于历史的合并候选列表等。
在本公开的一个实施方式中，可以考虑用于构造合并列表和/或AMVP列表的HMVP候选插入处理来定义HMVP查找表(LUT)的大小。具体地，HMVP候选可以被添加到预定义的合并列表大小。例如，当最大合并列表的大小被定义为6时，HMVP可以不是第六候选。如果在合并列表中5个合并候选可用(或存在)，则可以不添加HMVP候选。在这种情况下，可以从除了HMVP之外的候选中(或者根据另一种方法)选择第六候选。因此，考虑到上述HMVP候选插入处理，在本公开的一个实施方式中，提出了以下的HMVP LUT大小选择方法。
作为实施方式，HMVP LUT表大小可以被定义或设置为等于(MaxNumMergeCand-K)。这里，MaxNumMergeCand指示最大合并候选列表(或合并候选列表中所包括的最大候选数目或合并候选的最大数目)，并且此时，MaxNumMergeCand可以被定义为6。K表示预定义的常数。例如，K可以为1，并且HMVP LUT大小可以为5。
根据本公开的实施方式，通过将HMVP限于MaxNumMergeCand-K(如上所述，例如，K为1)，当将HMVP添加到合并列表和/或HMVP表时，修剪检查的最坏数目(或最坏情况)可以减小。(先前在图29中描述的受限FIFO操作)。另外，根据本公开的实施方式，可以减少用于存储HMVP LUT的存储器。
在本公开的实施方式中，考虑到上述HMVP表大小，诸如以下描述的实施方式这样的更新处理可以被应用于具有HMVP运动候选的表。以下实施方式是HMVP表更新处理的示例，并且本公开的实施方式不限于此。
HMVP表更新处理
首先，可以如下地定义HMVP表更新处理的输入。
-运动矢量mvL0和mvL1
-参考索引refIdxL0和refIdxL1
-预测列表利用标志predFlagL0和preFlagL1
该更新处理的输出可以是HMVP候选列表的修改后的数组。在该处理中，mvCand表示指示具有运动矢量、参考索引和预测列表利用标志的运动矢量候选的变量。
可以在以下步骤中执行该更新处理。
1.变量identicalCandExist被设置为假(false)，并且变量tempIdx被设置为0。这里，identicalCandExist是指示在HMVP候选列表中是否存在相同的运动信息的变量，并且tempIdx是指示在HMVP候选列表中的具有与当前运动矢量相同的运动信息的HMVP候选的索引的变量。
2.如果HMVPCandNum大于0，则对于HMVPIdx＝0，…..，HMVPCandNum-1的每个索引HMVPIdx，可以应用以下步骤，直到identicalCandExist变量为真(true)。这里，HMVPCandNum表示HMVP候选列表中的HMVP候选的数目，并且HMVPIdx表示指派给HMVP候选列表中的HMVP候选的索引。
-如果mvCand具有与HMVPCandList[HMVPIdx]相同的运动矢量和相同的参考索引(即，HMVP候选列表中具有HMVPIdx的HMVP候选)，则identicalCandExist可以被设置为真，而tempIdx可以被设置为HMVPIdx。
3.并且，可以根据以下步骤来更新HMVP候选列表。
(1)如果identicalCandExist为真或HMVPCandNum为MaxNumMergeCand-K，则可以应用以下步骤。这里，MaxNumMergeCand是指示合并列表(或合并候选列表)的大小(或合并列表的候选的最大数目、合并候选的最大数目)的变量，并且K是任意常数。在实施方式中，可以预定义K。另外，在实施方式中，当MaxNumMergeCand值被定义为6时，K可以被设置为1，并且MaxNumMergeCand-K可以是5。另外，在实施方式中，MaxNumMergeCand-K可以被设置为5。例如，如果identicalCandExist为真或者HMVPCandNum为5，则可以应用以下步骤。
-对于idx＝(tempIdx+1)......(HMVPCandNum-1)的每个索引idx，HMVPCandList[idx-1]可以被设置为HMVPCandList[idx]。即，具有tempIdx之后的索引的HMVP候选的索引可以被设置为其值减小1得到的值。
-HMVPCandList[HMVPCandNum-1]可以被设置为mvCand。
(2)否则(即，如果identicalCandExist为假并且HMVPCandNum小于MaxNumMergeCand-K)，则可以应用以下步骤。如上所述，在实施方式中，MaxNumMergeCand-K可以被设置为5。例如，否则(即，identicalCandExist为假并且HMVPCandNum小于5)，可以应用以下步骤。
-HMVPCandList[HMVPCandNum++]可以被设置为mvCand。
作为示例，当当前切片为P或B切片时，可以调用该更新处理。此时，变量HMVPCandNum被设置为0，并且变量HMVPCandList可以被定义为MaxNumMergeCand-K的元素数组。如上所述，在实施方式中，MaxNumMergeCand-K可以被设置为5。例如，此时，变量HMVPCandNum可以被设置为0，变量HMVPCandList可以被定义为5个元素的数组。
下文中，将描述HMVP表更新处理的另一示例。
首先，可以如下地定义更新处理的输入。
-运动矢量mvL0和mvL1
-参考索引refIdxL0和refIdxL1
-预测列表利用标志predFlagL0和preFlagL1
该更新处理的输出可以是HMVP候选列表的修改后的数组。在该处理中，mvCand表示指示具有运动矢量、参考索引和预测列表利用标志的运动矢量候选的变量。
可以在以下步骤中执行该更新处理。
1.对于HMVPIdx＝0…..HMVPCandNum-1的每个索引HMVPIdx，可以按顺序地应用以下步骤，直到变量sameCand变为真。这里，sameCand是指示在HMVP候选列表中是否存在相同运动信息的变量。
-如果mvCand与HMVPCandList[HMVPIdx]具有相同的运动矢量和相同的参考索引，则sameCand被设置为真。
-否则，sameCand被设置为假。
-HMVPIdx++(即，HMVPIdx增加1)
2.变量tempIdx被设置为HMVPCandNum。
3.如果sameCand为真或HMVPCandNum为MaxNumMergeCand–K，则对于tempIdx＝(sameCand？HMVPIdx：1)……HMVPCandNum-1的每个索引tempIdx，HMVPCandList[tempIdx]被复制或设置到HMVPCandList[tempIdx-1]。K为任意常数。在实施方式中，可以预定义K。另外，在实施方式中，当MaxNumMergeCand值被定义为6时，K可以被设置为1，并且MaxNumMergeCand-K可以是5。另外，在实施方式中，MaxNumMergeCand-K可以被设置为5。
4.mvCand被复制到HMVPCandList[tempIdx]。
5.如果HMVPCandNum小于MaxNumMergeCand–K，则HMVPCandNum增加1。如上所述，在实施方式中，MaxNumMergeCand-K可以被设置为5。
为了便于描述，可以对本公开的以上提到的实施方式进行划分和描述，但是本公开不限于此。即，上述实施方式可以被独立地执行，或者可以组合并执行一个或更多个实施方式。
参考图37，为了描述的方便，基本上描述了解码器，但是本公开不限于此。根据本公开的实施方式的以基于历史的运动矢量预测为基础处理视频信号的方法可以在编码器和解码器中相同地执行。
在以基于历史的运动矢量预测为基础处理视频信号的方法中，解码器基于当前块的邻近块来配置合并候选列表(S3701)。
当合并候选列表中所包括的合并候选的数目小于预定的第一大小时，解码器将当前块的基于历史的合并候选添加到合并候选列表(S3702)。
当合并候选列表中所包括的合并候选的数目小于预定的第二大小时，解码器将零运动矢量添加到合并列表(S3703)。
解码器获得指示合并候选列表中的用于当前块的帧间预测的合并候选的合并索引(S3704)。
解码器基于由合并索引所指示的合并候选的运动信息来生成当前块的预测块(S3705)。
解码器基于运动信息来更新基于历史的合并候选列表(S3706)。
作为实施方式，如果基于历史的合并候选具有与合并候选列表中所包括的合并候选当中的预定义的合并候选的运动信息不交叠的运动信息，则基于历史的合并候选可以被添加到合并候选列表。
如上所述，作为实施方式，基于历史的合并候选列表可以被定义为具有基于合并候选列表的最大合并候选数目确定的大小。
如上所述，作为实施方式，基于历史的合并候选列表可以被定义为具有通过从合并候选列表的最大合并候选数目中减去1而获得的值的大小。
如上所述，作为实施方式，基于历史的合并候选列表的大小可以被定义为5。
如上所述，作为实施方式，如果基于历史的合并候选具有与合并候选列表中所包括的合并候选当中的预定义数目的合并候选的运动信息不交叠的运动信息，则基于历史的合并候选可以被添加到合并候选列表。
如上所述，作为实施方式，如果基于历史的合并候选具有与合并候选列表中所包括的特定空间合并候选的运动信息不交叠的运动信息，则基于历史的合并候选可以被添加到合并候选列表。
如上所述，作为实施方式，可以从基于历史的合并候选列表内的预定义数目的候选推导出基于历史的合并候选。
本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现并执行。
此外，应用本公开的解码器和编码器可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频对话装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话装置和医疗视频装置中，并且可以被用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏控制台、Blueray播放器、互联网访问TV、家庭影院系统、智能手机、平板PC和数字录像机(DVR)。
此外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了计算机可读数据的所有类型的存储装置。计算机可读记录介质可以包括例如Blueray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网进行传输)的形式实现的介质。此外，使用编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
此外，本公开的实施方式可以使用程序代码被实现为计算机程序产品。根据本公开的实施方式可以由计算机执行程序代码。程序代码可以被存储在可供计算机读取的载体上。
应用本公开的解码设备和编码设备可以被包括在数字装置中。术语“数字装置”包括能够执行例如数据、内容和服务的发送、接收、处理和输出中的至少一个的所有数字装置。这里，由数字装置处理数据、内容、服务等包括对数据、内容、服务等进行编码和/或解码的操作。数字装置通过有线/无线网络与其它数字装置、外部服务器等进行配对或连接(下文中被称为“配对”)以发送和接收数据，并且在必要时转换它。
例如，数字装置包括诸如网络TV、HBBTV(混合广播宽带TV)、智能TV、IPTV(互联网协议电视)、PC等这样的固定装置(或立式装置)以及诸如PDA(个人数字助理)、智能电话、平板PC、膝上型计算机这样的移动装置(或手持装置)。在随后描述的公开中，为了方便起见，图39示出并描述了数字TV作为数字装置的实施方式，并且图40示出和描述了移动装置作为数字装置的实施方式。
此外，本文中描述的术语“有线/无线网络”是指支持用于数字装置之间或数字装置与外部服务器之间的互连和/或数据发送和接收的各种通信标准或协议的通信网络。这些有线/无线网络可以包括当前和未来支持的通信网络以及针对它们的通信协议，并且可以由诸如USB(通用串行总线)、CVBS(复合视频消隐同步)、Component(分量)、S-Video(模拟)、DVI(数字视觉接口)、HDMI(高清多媒体接口)、RGB、D-SUB等这样的针对有线连接的通信标准或协议形成，并且由诸如Bluetooth(蓝牙)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、数字生活网络联盟(DLNA)、无线LAN(WLAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组访问)、LTE(长期演进)、Wi-Fi Direct(直连)等这样的针对无线连接的通信标准形成。
下文中，在本公开中简单地指代数字装置的情况下，取决于上下文，它可以意指固定装置或移动装置或者包括二者。
此外，数字装置是例如支持广播接收功能、计算机功能和至少一个外部输入的智能装置，并且可以通过上述有线/无线网络支持电子邮件、网络浏览、银行业务、游戏和应用。另外，数字装置可以包括用于支持诸如手动输入装置、触摸屏和空间遥控器这样的至少一个输入或控制装置(下文中，被称为输入装置)的接口。数字装置可以使用标准化的通用操作系统(OS)。例如，数字装置可以在通用OS内核上进行各种应用的添加、删除、修改和更新，并且可以通过它们来配置和提供对用户更加友好的环境。
此外，本公开中描述的外部输入包括外部输入装置，即，有线/无线连接到上述数字装置并通过其发送/接收相关数据的所有输入装置或数字装置。这里，外部输入可以包括诸如高清多媒体接口(HDMI)、诸如游戏机或X-box这样的游戏装置、智能电话、平板PC、打印机或智能TV这样的所有装置。
并且，本公开中描述的术语“服务器”包括客户端，即，向上述数字装置供应数据的所有数字装置或系统，并且被称为处理器。这种服务器的示例包括提供网页或网络内容的门户服务器、提供广告数据的广告服务器、提供内容的内容服务器以及社交媒体服务(SNS)服务器、服务服务器或由制造商提供的制造服务器等。
此外，本文中描述的“信道”意指用于发送和接收数据的路径、装置等，并且可以以广播频道为示例。这里，根据数字广播的激活，依据物理信道、虚拟信道和逻辑信道表示广播频道。广播频道可以被称为广播网络。如上所述，广播频道是指用于提供或访问由广播站提供的广播内容的频道，并且广播内容主要基于实时广播，并且也被称为实况频道。然而，近来，用于广播的介质已经变得更加多样化，并且除了实时广播之外，还激活了非实时广播。其也可以被理解为意味着整个频道的术语。因此，实况频道可以被理解为在某些情况下不仅意味着实时广播而且还意味着包括非实时广播的整个广播频道的术语。
在本公开中，针对除了上述广播频道之外的频道进一步定义“任意频道”。任意频道可以与广播频道一起提供诸如电子节目指南(EPG)这样的服务指南。可以仅用任意频道来配置/提供服务指南、GUI(图形用户界面)或OSD屏幕(屏上显示屏)。
此外，与在收发器之间具有预定频道号的广播频道不同，任意频道是在接收器中任意分配的频道，并且基本上不与用于表达广播频道的频道号交叠的频道号被分配给任意频道。例如，当调谐特定的广播频道时，接收器接收通过调谐后的频道发送广播内容及其信令信息的广播信号。这里，接收器从信令信息中解析频道信息，并且基于解析的频道信息来配置频道浏览器、EPG等并将其提供给用户。当用户通过输入装置发出频道改变请求时，接收器相应地做出响应。
如上所述，由于预先在发送终端和接收终端之间承诺了广播频道，所以当以交叠的方式将任意频道分配给广播频道时，会给用户造成混乱，或者可能有混乱的可能，因此最好如上所述不进行重复分配。此外，即使如上所述任意频道号不与广播频道号交叠，用户的频道冲浪过程中仍然存在混乱，并且需要考虑此来分配任意频道号。这是因为，根据本公开的任意频道也可以被实现为响应于用户以与常规广播频道相同的方式通过输入装置进行的对频道切换的请求而被访问。因此，任意频道号可以被定义和显示为诸如任意频道-1、任意频道-2等这样的字符被一并写入的形式，而非如同广播频道那样的数字形式，以方便用户访问任意频道并且方便区分或区别于广播频道号。在这种情况下，尽管按如任意频道-1一样的字符被写入的形式来实现任意频道号的显示，但是接收器可以像广播频道号一样在内部以数字形式识别和实现任意频道。另外，可以以诸如广播频道这样的数字的形式提供任意频道号，并且还能够以可以与广播频道区分开的各种方式来定义和显示频道号(如视频频道-1、字幕-1和视频-1)。
该数字装置执行用于网络服务的网络浏览器，并且向用户提供各种类型的网页。这里，网页包括含视频内容的网页，并且在本公开中，视频与网页被分开或独立地处理。并且，分开后的视频可以被分配给如上所述的任意频道，并通过服务指南等提供，并且在观看服务指南或广播频道的过程中根据频道切换请求输出。另外，作为网络服务的补充，对于诸如广播内容、游戏和应用这样的服务，预定的内容、图像、音频、条目等被与广播内容、游戏和应用本身分开处理，并且任意频道号可以被指派以进行其再现、处理等，并且可以被如上所述地实现。
图38是示意性示出了包括数字装置的服务系统的示例的示图。
包括数字装置的服务系统包括内容提供商CP 3810、服务提供商SP 3820、网络提供商NP 3830和家庭网络终端用户HNED(客户)3840。这里，HNED 3840是例如客户端3800，即，数字装置。内容提供商3810产生并提供各种内容。如图38中所示，作为这种内容提供商3810，地面广播方、有线SO(系统运营商)或MSO(多个SO)、卫星广播方、各种互联网广播方、私有CP等可以被作为示例。此外，内容提供商3810除了广播内容之外还提供各种应用。
服务提供商3820通过对由内容提供商3810提供的内容进行打包来将该内容作为服务包提供给HNED 3840。例如，图38的服务提供商3820将第一地面广播、第二地面广播、有线MSO、卫星广播、各种互联网广播、应用等打包并将其提供给HNED3840。
服务提供商3820以单播或多播方式向客户端300提供服务。并且，服务提供商3820可以一次将数据发送到多个预先注册的客户端3800，并且为此，可以使用互联网组管理协议IGMP协议。
上述的内容提供商3810和服务提供商3820可以是相同或单个的实体。例如，内容提供商3810提供的内容可以是打包并且被提供给HNED 3840的服务，因此服务提供商3820的功能也可以一起执行，或反之亦然。
网络提供商3830提供用于内容提供商3810或/和服务提供商3820与客户端3800之间的数据交换的网络。
客户端3800可以建立家庭网络以发送和接收数据。
此外，服务系统中的内容提供商3810或/和服务提供商3820可以使用有条件访问或内容保护装置来保护所发送的内容。在这种情况下，客户端300可以响应于限制接收或内容保护而使用诸如CableCARD(POD：部署点)、DCAS(可下载的CAS)等这样的处理装置。
另外，客户端3800还可以通过网络(或通信网络)使用双向服务。在这种情况下，客户端3800反而可以执行内容提供商的功能，并且现有服务提供商3820可以接收它并且将它发送回到另一客户端。
图39是例示了根据实施方式的数字装置的框图。这里，例如，图39可以对应于图38的客户端3800，并且指代上述的数字装置。
数字装置3900包括网络接口3901、TCP/IP管理器3902、服务传送管理器3903、SI解码器3904、解复用器(demux)3905、音频解码器3906、视频解码器3907、显示模块(显示A/V和OSD)3908、服务控制管理器3909、服务发现管理器3910、SI和元数据数据库3911、元数据管理器3912、服务管理器3913、UI管理器3914等。
网络接口3901通过网络接收或发送IP分组。即，网络接口3901通过网络从服务提供商3820接收服务、内容等。
TCP/IP管理器3902参与针对由数字装置3900接收的IP分组和由数字装置3900发送的IP分组的源和目的地之间的分组传输。并且，TCP/IP管理器3902对接收到的分组进行分类以对应于适当的协议，并且将分类后的分组输出到服务传送管理器3905、服务发现管理器3910、服务控制管理器3909、元数据管理器3912等。服务传送管理器3903负责控制接收到的服务数据。例如，当控制实时流传输数据时，服务传送管理器3903可以使用RTP/RTCP。当使用RTP发送实时流传输数据时，在服务管理器3913的控制下，服务传送管理器3903根据RTP来解析接收到的数据分组并且将其发送到解复用器3905或者将其存储在SI和元数据数据库3911中。并且，服务传送管理器3903使用RTCP将网络接收信息反馈到提供服务的服务器。解复用器3905将接收到的分组解复用为音频、视频和系统信息SI数据，并且将它们分别发送到音频/视频解码器3906/3907和SI解码器3904。
SI解码器3904对诸如节目特定信息PSI、节目和系统信息协议PSIP和数字视频广播-服务信息DVB-SI这样的服务信息进行解码。
并且，SI解码器3904例如将解码后的服务信息存储在SI和元数据数据库3911中。以这种方式存储的服务信息可以例如根据用户的请求由相应的配置来读取和使用。
音频/视频解码器3906/3907对由解复用器3905解复用的每个音频数据和视频数据进行解码。因此而解码后的音频数据和视频数据通过显示模块3908被提供给用户。
应用管理器可以包括例如UI管理器3914和服务管理器3913。应用管理器管理数字装置3900的整体状态，提供用户界面，并且管理其它管理器。
UI管理器3914使用屏上显示器OSD等为用户提供图形用户界面GUI，并且从用户接收键输入，以根据该输入执行装置操作。例如，当UI管理器3914从用户接收到关于频道选择的键输入时，UI管理器3914将键输入信号发送到服务管理器3913。
服务管理器3913控制诸如服务传送管理器3903、服务发现管理器3910、服务控制管理器3909和元数据管理器3912这样的与服务关联的管理器。
并且，服务管理器3913创建频道图，并且根据从用户接口管理器3914接收到的键输入使用频道图来选择频道。并且，服务管理器3913从SI解码器3904接收频道服务信息，并且将所选择的频道的音频/视频分组标识符PID设置到解复用器3905。以这种方式设置的PID被用于上述的解复用处理。因此，解复用器3905使用PID对音频数据、视频数据和SI数据进行滤波。
服务发现管理器3910提供选择提供服务的服务提供商所必需的信息。当从服务管理器3913接收到关于频道选择的信号时，服务发现管理器3910使用该信息来寻找服务。
服务控制管理器3909负责选择和控制服务。例如，当用户选择诸如常规广播方法这样的实况广播服务时，服务控制管理器3909使用IGMP或RTSP等，并且当选择诸如VOD(视频点播)这样的服务时，服务控制管理器3909使用RTSP来选择和控制服务。RTSP协议可以为实时流传输提供特技模式。并且，服务控制管理器3909可以使用IP多媒体子系统IMS和会话发起协议SIP通过IMS网关3950来初始化和管理会话。协议可以是一个实施方式，并且可以根据实现方式示例来使用其它协议。
元数据管理器3912管理与服务关联的元数据并且将元数据存保存于SI和元数据数据库3911中。
SI和元数据数据库3911存储由SI解码器3904解码的服务信息、由元数据管理器3912管理的元数据以及由服务发现管理器3910提供的选择服务提供商所必需的信息。并且，SI和元数据数据库3911可以存储用于系统的设置数据等。
可以使用非易失性RAM NVRAM、闪存等来实现SI和元数据数据库3911。
此外，IMS网关3950是收集访问基于IMS的IPTV服务所必需的功能的网关。
图40是例示了数字装置的另一实施方式的配置框图。具体地，图40例示了作为数字装置的另一实施方式的移动装置的框图。
参照图40，移动装置4000可以包括无线通信单元4010、音频/视频A/V输入单元4020、用户输入单元4030、感测单元4040、输出单元4050、存储器4060、接口单元4070、控制单元4080和电源单元4090。图40中示出的部件不是必需的，因此可以实现具有更多或更少部件的移动装置。
无线通信单元4010可以包括一个或更多个模块，这些模块使得移动装置4000与无线通信系统之间或者移动装置与移动装置所处的网络之间能够进行无线通信。例如，无线通信单元4010可以包括广播接收模块4011、移动通信模块4012、无线互联网模块4013、短距离通信模块4014和位置信息模块4015。
广播接收模块4011通过广播频道从外部广播管理服务器接收广播信号和/或广播相关信息。这里，广播频道可以包括卫星信道和/或地面信道。广播管理服务器可以意味着生成并发送广播信号和/或广播相关信息的服务器、或接收先前生成的广播信号和/或广播相关信息并且将其发送到终端的服务器。广播信号可以包括TV广播信号、无线电广播信号和数据广播信号，并且还可以包括数据广播信号与TV广播信号或无线电广播信号相结合而成的组合信号。
广播相关信息可以意指与广播频道、广播节目或广播服务提供商相关的信息。还可以通过移动通信网络来提供广播相关信息。在这种情况下，可以由移动通信模块4012来接收它。
广播相关信息可以以例如电子节目指南EPG或电子服务指南ESG这样的各种形式存在。
广播接收模块4011可以使用诸如(例如)ATSC、地面数字视频广播DVB-T、卫星DVB-S、媒体单一前向链路MediaFLO、手持式DVB-H、地面综合业务数字广播ISDB-T等这样的数字广播系统来接收数字广播信号。当然，广播接收模块4011可以被配置为除了上述数字广播系统之外还适用于其它广播系统。
通过广播接收模块4011接收的广播信号和/或广播相关信息可以被存储在存储器4060中。
移动通信模块4012在移动通信网络上与基站、外部终端和服务器中的至少一个进行无线电信号的发送和接收。无线信号可以根据语音信号、视频呼叫信号或文本/多媒体消息的发送和接收而包括各种类型的数据。
无线互联网模块4013包括用于无线互联网接入的模块，并且可以被构建在移动装置4000的内部或外部。作为无线互联网技术，可以使用无线LAN(WLAN)(Wi-Fi)、无线宽带Wibro、全球微波接入互操作性Wimax以及高速下行链路分组接入HSDPA。
短距离通信模块4014是指用于短距离通信的模块。作为短距离通信，可以使用蓝牙、RFID(射频识别)、红外通信(IrDA，红外数据协会)、UWB(超宽带)、ZigBee、RS-232、RS-485等。
位置信息模块4015是用于获得移动装置4000的位置信息的模块，并且可以使用全球定位系统GPS模块作为示例。
A/V输入单元4020用于音频和/或视频信号输入，并且可以包括相机4021、麦克风4022等。相机4021对在视频呼叫模式或拍摄模式下由图像传感器所获得的诸如静止图像或运动图片这样的图像帧进行处理。处理后的图像帧可以被显示在显示单元4051上。
经相机4021处理的图像帧可以被存储在存储器4060中，或者通过无线通信单元4010被发送给外部。可以根据使用环境设置两台或更多台相机4021。
麦克风4022在呼叫模式或记录模式、语音识别模式等下通过麦克风接收外部声音信号，并且将它作为电子语音数据进行处理。处理后的语音数据可以被转换并输出成可以在呼叫模式下通过移动通信模块4012被发送到移动通信基站的形式。可以通过用于去除在接收外部声音信号的过程中生成的噪声的各种降噪算法来实现麦克风4022。
用户输入单元4030生成被用户用于控制终端操作的输入数据。用户输入单元4030可以由键盘、圆顶开关、触摸板(压力型/电容型)、滚轮、拨动开关或类似物配置。
感测单元4040显示诸如移动装置4000的打开/关闭状态、移动装置4000的位置、是否存在用户接触、移动设装置的方向以及移动装置的加速/减速这样的移动装置4000的当前状态。它感测并生成用于控制移动装置4000的操作的感测信号。例如，当移动装置4000移动或倾斜时，可以感测移动装置的位置或倾斜。并且，可以感测电力是否被供应到电源单元4090或者外部装置是否被联接到接口单元4070。此外，感测单元4040可以包括包含近场通信NFC的接近传感器4041。
输出单元4050用于生成与视觉、听觉或触觉相关的输出，并且可以包括显示单元4051、音频输出模块4052、警报单元4053和触觉模块4054。
显示单元4051显示或输出经移动装置4000处理的信息。例如，当移动装置处于呼叫模式时，显示与呼叫相关的用户界面UI或图形用户界面GUI。当移动装置4000处于视频呼叫模式或拍摄模式时，显示所拍摄和/或接收的视频、UI或GUI。
显示部分4051可以包括液晶显示器LCD、薄膜晶体管-液晶显示器TFT-LCD、有机发光二极管OLED、柔性显示器和3D显示器。
这些显示器中的一些可以是透明类型或透光类型，使得可以通过它们看到外部。这可以被称为透明显示器，并且透明显示器的典型示例是透明OLED TOLED。显示单元4051的后部结构也可以被配置为透光结构。利用这种结构，用户可以通过终端主体的显示单元4051所占据的区域看到位于终端主体后方的物体。
根据移动装置4000的实现形式，可以存在两个或更多个显示单元4051。例如，多个显示单元可以在移动装置4000中彼此分隔开或者一体地设置在一个表面上，或者可以被分别设置在不同的表面上。
当显示单元4051和检测触摸操作的传感器(下文中，被称为“触摸传感器”)形成相互层结构(下文中，被称为“触摸屏”)时，显示单元4051还可以被用作输入装置以及输出装置。触摸传感器可具有例如触摸膜、触摸片或触摸板的形式。
触摸传感器可以被配置为将施加于显示单元4041的特定部分的压力或在显示单元4051的特定部分中产生的电容的变化转换成电输入信号。触摸传感器可以被配置为不仅检测被触摸的位置和区域，而且还检测触摸时的压力。
如果对触摸传感器进行触摸输入，则对应信号被发送到触摸控制器。触摸控制器对信号进行处理，然后将对应数据发送到控制器4080。因此，控制单元4080可得知显示单元4051的哪个区域已经被触摸等。
接近传感器4041可以设置在移动装置的被触摸屏包围的内部区域中或在触摸屏附近。接近传感器是指在不进行机械接触的情况下使用电磁场或红外光检测靠近预定检测表面的物体或附近物体的存在与否的传感器。接近传感器比接触传感器具有更长的使用寿命和更高的利用率。
接近传感器的示例包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡型接近传感器、电容型接近传感器、磁型接近传感器和红外接近传感器。当触摸屏是电容型时，它被配置为由于根据指示器的接近度的电场变化而检测指示器的接近度。在这种情况下，触摸屏(触摸传感器)可以被归类为接近传感器。
下文中，为了便于描述，致使指示器被识别为处于触摸屏上而非由指示器在触摸屏上触摸的动作被称为“接近触摸”，并且指示器实际上在触摸屏上触摸的动作被称为“接触触摸”。触摸屏上的利用指示器接近触摸的位置意指当指示器被接近触摸时指示器垂直对应于触摸屏的位置。
接近传感器检测接近触摸和接近触摸模式(例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等)。与感测到的接近触摸操作和接近触摸模式对应的信息可以被在触摸屏上输出。
音频输出模块4052可以输出在呼叫信号接收、呼叫模式或记录模式、语音识别模式、广播接收模式或类似模式下从无线通信单元4010接收的音频数据或存储在存储器4060中的音频数据。音频输出模块4052还可以输出与移动装置4000中执行的功能相关的音频信号(例如，呼叫信号接收音、消息接收音等)。音频输出模块4052可以包括受话器、扬声器和蜂鸣器。
警报模块4053输出用于通知发生了移动装置4000的事件的信号。在移动装置中产生的事件的示例包括呼叫信号接收、消息接收、键信号输入和触摸输入。除了视频信号或音频信号之外，警报单元4053可以通过其它形式(例如，振动)输出通知事件发生的信号。
视频信号或音频信号还可以通过显示单元4051或音频输出模块4052输出，使得显示单元4051和音频输出模块4051和4052可以被归类为警报模块4053的一部分。
触觉模块4054产生用户能感觉到的各种触觉效果。振动是触觉模块4054所产生的触觉效果的典型示例。触觉模块4054所产生的振动的强度和模式是可控的。例如，不同的振动可以被合成并输出或者被顺序地输出。
除了振动之外，触觉模块4054还可以产生各种触觉效果，包括诸如相对于皮肤的接触表面垂直移动的引脚排列、通过喷射或吸入的空气的喷射力或吸入力、皮肤表面上的摩擦、与电极接触、静电力等这样的刺激效果以及通过使用能够吸收热或产生热的元件再现冷热感而带来的效果。
触觉模块4054可以不仅通过直接接触来传递触觉效果，而且实现它，使得用户通过诸如手指或手臂这样的肌肉的感觉能感觉到触觉效果。可以根据移动装置4000的配置方面来提供至少两个或更多个触觉模块4054。
存储器4060可以存储用于控制单元4080的操作的程序，或者可以暂时存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。存储器4060可以存储与各种振动模式相关的数据，以及当触摸被输入到触摸屏上时输出的声音。
存储器4060可以包括闪存型、硬盘型、多媒体卡微型、卡型存储器(例如，SD或XD存储器等)、随机存取存储器RAM、静态随机存取存储器SRAM、只读存储器ROM、电可擦除可编程只读存储器EEPROM、可编程只读存储器PROM、磁存储器和光盘中的至少一种的存储介质。移动装置4000可以与在互联网上执行存储器4060的存储功能的网络存储器相结合地操作。
接口单元4070用作与连接到移动装置4000的所有外部装置的通道。接口单元4070接收来自外部装置的数据，接收电力，并且将数据发送到移动装置4000内的每个部件，或者使移动装置4000内的数据能够被发送到外部装置。例如，有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接装配有识别模块的装置的端口、音频输入/输出端口、视频I/O端口、耳机端口等可以被包括在接口单元4070中。
识别模块是存储用于认证移动装置4000的使用权限的各种信息的芯片，并且可以包括用户识别模块UIM、订户识别模块SIM、全球订户识别模块USIM等。配备有识别模块的装置(下文中，被称为“识别装置”)可按智能卡格式制造。因此，识别装置可以通过端口连接到终端4000。
当移动终端4000连接到外部支架时，接口单元4070可以成为来自支架的电力被供应到移动终端4000所经过的通道或用户通过其从支架输入各种命令信号的通道。从支架输入的各种命令信号或电力可以作为用于识别出移动终端被正确安装在支架上的信号来操作。
控制单元4080通常控制移动装置的整体操作。例如，它执行与语音呼叫、数据通信、视频呼叫等相关的控制和处理。控制单元4080可以包括用于多媒体回放的多媒体模块4081。多媒体模块4081可以在控制单元4080中实现，或者可以与控制单元4080分开实现。控制单元4080(具体地，多媒体模块4081)可以包括上述的编码装置100和/或解码装置200。
控制单元4080可以执行能够将在触摸屏上执行的手写输入或绘图输入分别识别为字符和图像的模式识别处理。
电源单元4090在控制单元4080的控制下接收外部电力和内部电力，并且供应每个部件的操作所需的电力。
可以使用例如软件、硬件或其组合在计算机或类似的装置可读记录介质中实现本文中描述的各种实施方式。
根据硬件实现方式，可以使用专用集成电路ASIC、数字信号处理器DSP、数字信号处理器件DSPD、可编程逻辑器件PLD、现场可编程门阵列FPGA、处理器、控制器、微控制器、微处理器和用于执行功能的电气单元中的至少一个来实现本文中描述的实施方式。在某些情况下，可以用控制单元4080本身来实现本文中描述的实施方式。
根据软件实现方式，诸如本文中描述的过程和功能这样的实施方式可以被实现为单独的软件模块。软件模块中的每一个都可以执行本文中描述的一个或更多个功能和操作。软件代码可以通过以适宜编程语言编写的软件应用来实现。这里，软件代码被存储在存储器4060中，并且可以由控制单元4080运行。
图41是例示了根据另一实施方式的数字装置的框图。
数字装置4100的另一示例可以包括广播接收单元4105、外部装置接口单元4156、存储单元4140、用户输入接口单元4150、控制单元4170、显示单元4180、音频输出单元4185、电源单元4190和拍摄单元(未示出)。这里，广播接收单元4105可以包括至少一个调谐器4110、解调单元4120和网络接口单元4130。然而，取决于情况，广播接收单元4105可以包括调谐器4110和解调器4120，但是可以不包括网络接口单元4130，反之亦然。另外，尽管未示出，但是广播接收单元4105可以配备有复用器，以复用由调谐器4110调谐然后由解调单元4120解调的信号以及通过网络接口单元4130接收的信号。另外，尽管未示出，但广播接收单元4105可以配备有解复用器，以对复用后的信号、解调后的信号或已经经过网络接口单元4130的信号进行解复用。
调谐器4110通过调谐由用户所选择的频道或所有预先存储的频道来接收通过天线接收到的射频RF广播信号当中的RF广播信号。并且，调谐器4110将接收到的RF广播信号转换成中频IF信号或基带信号。
例如，如果接收到的RF广播信号是数字广播信号，则它被转换成数字IF信号DIF，并且如果它是模拟广播信号，则它被转换成模拟基带视频或音频信号CVBS/SIF。即，调谐器4110可以处理数字广播信号或模拟广播信号二者。从调谐器4110输出的模拟基带视频或音频信号CVBS/SIF可以被直接输入到控制器4170。
调谐器4110可以根据高级电视系统委员会ATSC方案接收单载波RF广播信号，或者根据数字视频广播DVB方案接收具有多个载波的RF广播信号。
此外，调谐器4110可以顺序地调谐和接收通过天线接收的RF广播信号当中的通过频道存储功能存储的所有广播频道的RF广播信号，并且将它们转换成中频信号或基带信号。
解调单元4120接收并解调由调谐器4110转换的数字IF信号DIF。例如，当从调谐器4110输出的数字IF信号是ATSC系统时，解调单元4120执行例如8残留边带8-VSB解调。另外，解调单元4120可以执行信道解码。为此，解调单元4120可以包括网格解码器、解交织器、里德-所罗门(Reed-Solomon)解码器等，并且执行网格解码、解交织和里德-所罗门解码。
例如，当从调谐器4110输出的数字IF信号是DVB方法时，解调单元4120例如执行编码的正交频分调制COFDMA解调。另外，解调单元4120可以执行矢量解码。为此，解调单元4120可以包括卷积解码器、解交织器和里德所罗门解码器，并且执行卷积解码、解交织和里德所罗门解码。
解调单元4120可以在解调和频道解码之后输出流信号TS。在这种情况下，流信号可以是其中视频信号、音频信号或数据被复用的信号。例如，流信号可以是其中MPEG-2标准视频信号、杜比AC-3标准音频信号等被复用的MPEG-2传输流TS。具体地，MPEG-2TS可以包括4字节的报头和184字节的有效载荷。
此外，能够根据ATSC方法和DVB方法分别提供上述解调单元4120。即，数字装置可以分别包括ATSC解调器和DVB解调器。
从解调器4120输出的流信号可以被输入到控制器4170。控制单元4170可以控制解复用、视频/音频信号处理等，并且控制通过显示单元4180输出的图像和通过音频输出单元4185输出的音频。
外部装置接口单元4156提供了各种外部装置与数字装置4100对接的环境。为此，外部装置接口单元4135可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
外部装置接口4156可以以有线/无线方式连接到诸如数字多功能盘(DVD)、蓝光、游戏装置、相机、摄像机、计算机(膝上型、平板)、智能手机、Bluetooth装置和云这样的外部装置。外部装置接口单元4156将通过连接的外部装置从外部输入的视频、音频或(包括图像的)数据信号发送到数字装置的控制器4170。控制单元4170可以控制处理后的图像、音频或数据信号，以将其输出到连接的外部装置。为此，外部装置接口单元4156还可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
A/V输入/输出单元可以包括USB端子、复合视频消隐同步CVBS端子、分量端子、S-video端子(模拟)和DVI(数字视觉接口)端子、HDMI(高清多媒体接口)端子、RGB端子、D-SUB端子等，以将外部装置的视频信号和音频信号输入到数字装置4100。
无线通信单元可以与其它电子装置执行短距离无线通信。例如，数字装置4100可以根据通信协议(例如，Bluetooth、射频识别RFID、红外数据协会IrDA、超宽带UWB、ZigBee和数字生活网络联盟DLNA等)与其它电子装置联网。
并且，外部装置接口单元4156可以连接到上述各种机顶盒和各种端子中的至少一个，并且用该机顶盒执行输入/输出操作。
此外，外部装置接口单元4156可以接收相邻外部装置中的应用或应用列表并且将它传输到控制单元4170或存储单元4140。
网络接口单元4130提供用于将数字装置4100与包括互联网网络的有线/无线网络连接的接口。网络接口单元4130可以包括例如用于与有线网络连接的以太网端子等，并且使用诸如(例如)无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)和用于与无线网络连接的高速下行链路分组接入(HSDPA)这样的通信标准。
网络接口单元4130可以通过所连接网络或与所连接网络链接的另一网络与其它用户或其它数字装置进行数据的发送或接收。具体地，存储在数字装置4100中的某些内容数据可以被发送给预先注册在数字装置4100中的另一用户，或者发送给其它数字装置中的所选择的数字装置或所选择的用户。
此外，网络接口单元4130可以通过所连接网络或与所连接网络链接的另一网络访问预定的网页。即，能够通过网络连接到预定的网页，并且与对应的服务器进行数据的发送或接收。另外，可以接收由内容提供商或网络运营商提供的内容或数据。即，能够通过网络接收由内容提供商或网络提供商提供的诸如电影、广告、游戏、VOD、广播信号和相关信息这样的内容。另外，能够接收由网络运营商提供的固件的更新信息和更新文件。网络接口单元4130还可以将数据发送到互联网或内容提供商或网络运营商。
另外，网络接口单元4130可以通过网络选择并接收对公众开放的应用当中的所期望应用。
存储单元4140可以存储用于处理并控制控制器4170中的每个信号的程序，或者可以存储信号处理后的图像、语音或数据信号。
另外，存储单元4140可以执行临时存储从外部装置接口单元4135或网络接口单元4130输入的图像、音频或数据信号的功能。存储单元4140可以通过频道记忆功能存储与预定广播频道相关的信息。
存储单元4140可以存储从外部装置接口单元4135或网络接口单元4130输入的应用或应用列表。
另外，存储单元4140可以存储随后描述的各种平台。
存储单元4140可以包括例如闪存类型、硬盘类型、多媒体卡微型类型和卡类型存储器(例如，SD或XD存储器等)、RAM和ROM(EEPROM等)当中的至少一种存储介质。数字装置4100可以播放存储在存储单元4140中的内容文件(视频文件、静止图像文件、音乐文件、文档文件、应用文件等)并且将其提供给用户。
图41例示了其中存储单元4140与控制单元4170分开设置的实施方式，但是本公开的范围不限于此。即，存储单元4140可以被包括在控制单元4170中。
用户输入接口单元4150将由用户输入的信号传输到控制单元4170或者将来自控制单元4170的信号传输到用户。
例如，用户输入接口单元4150可以根据诸如RF通信方法和红外IR通信方法这样的各种通信方法从远程控制装置4200接收与控制电源开/关、频道选择和屏幕设置相关的控制信号，并且对其进行处理。或者，用户输入接口单元4150可以处理来自控制单元4170的控制信号，以使其被传输到远程控制装置4200。
并且，用户输入接口单元4150可以将从诸如电源键、频道键、音量键和值设置键这样的本地键(未示出)输入的控制信号传输到控制器4170。
用户输入接口单元4150可以将从感测用户姿势的感测单元(未示出)输入的控制信号传输到控制单元4170，或者将来自控制单元4170的信号传输到感测单元(未示出)。这里，感测单元(未示出)可以包括触摸传感器、语音传感器、位置传感器和运动传感器。
控制器4170可以对通过调谐器4110、解调器4120或外部装置接口4156输入的流进行解复用，或者处理解复用后的信号，以生成和输出视频或音频输出的信号。控制单元4170可以包括上述的编码设备和/或解码设备。
经控制器4170处理的图像信号可以被输入到显示单元4180并且被显示为与图像信号对应的图像。另外，经控制单元4170处理的图像信号可以通过外部装置接口单元4156被输入到外部输出装置。
经控制单元4170处理的音频信号可以是被输出到音频输出单元4185的音频。另外，经控制器4170处理的音频信号可以通过外部装置接口4156被输入到外部输出装置。
尽管未在图41中例示，但控制单元4170可以包括解复用器、图像处理器等。
控制单元4170可以控制数字装置4100的整体操作。例如，控制单元4170可以控制调谐器4110以调谐与用户所选择的频道或预存储的频道对应的RF广播。
控制单元4170可以根据通过用户输入接口单元4150输入的用户命令或内部程序控制数字装置4100。具体地，能够接入网络并且将所期望的应用或应用列表下载到数字装置4100中。
例如，控制单元4170控制调谐器4110，以便输入根据通过用户输入接口单元4150接收的预定频道选择命令选择的频道的信号并处理所选择频道的视频、音频或数据信号。控制单元4170允许由用户选择的频道信息等与处理后的图像或音频信号一起通过显示单元4180或音频输出单元4185输出。
作为另一示例，根据通过用户输入接口单元4150接收的外部装置图像回放命令，控制单元4170可以允许通过外部装置接口单元4135从外部装置(例如，相机或摄像机)输入的视频信号或音频信号通过显示单元4180或音频输出单元4185输出。
此外，控制单元4170可以控制显示单元4180以显示图像。例如，控制单元4170可以控制显示单元4180以显示通过调谐器4110输入的广播图像、通过外部装置接口单元4156输入的外部输入图像、通过网络接口单元输入的图像或存储在存储单元4140中的图像。此时，显示在显示单元4180上的图像可以是静止图像或视频，并且可以是2D视频或3D视频。
另外，控制单元4170可以进行控制以播放内容。此时，内容可以是存储在数字装置4100中的内容或接收到的广播内容或从外部输入的外部输入内容。内容可以是广播图像、外部输入图像、音频文件、静止图像、所连接的网络屏幕和文档文件中的至少一个。
当输入应用查看条目时，控制单元4170可以进行控制，以显示位于数字装置4100内或者可以从外部网络下载的应用的列表或应用。
控制单元4170可以进行控制，以安装和操作从外部网络下载的应用连同各种用户界面。并且，控制单元4170可以按照用户的选择来控制与待执行应用相关的图像被显示在显示单元4180上。
尽管未在图中示出，但还能够进一步配备有频道浏览处理单元，以生成与频道信号或外部输入信号对应的缩略图图像。
频道浏览处理单元可以接收从解调单元4120输出的流信号TS或从外部装置接口单元4156输出的流信号，从输入的流信号中提取图像，并且生成缩略图图像。
所生成的缩略图图像可以被原样地或被编码后输入到控制单元4170。另外，缩略图图像可以以流形式被编码，并且被输入到控制单元4170。控制单元4170可以使用输入的缩略图图像将包括多个缩略图图像的缩略图列表显示在显示单元4180上。该缩略图列表中的缩略图图像可以被依次或同时更新。因此，用户可以容易地掌握多个广播频道的内容。
显示单元4180将经控制器4170处理的图像信号、数据信号、OSD信号等或从外部装置接口单元4156接收的图像信号和数据信号分别转换成R、G和B信号，并且生成驱动信号。
显示单元4180可以是PDP、LCD、OLED、柔性显示器、3D显示器等。
除了输出装置之外，显示单元4180还可以被配置为触摸屏并用作输入装置。
音频输出单元4185接收经控制器4170处理的信号(例如，立体声信号、3.1声道信号或5.1声道信号)，并且将其作为音频输出。音频输出单元4185可以被实现为各种类型的扬声器。
此外，为了感测用户的姿势，如上所述，还可以在数字装置4100中设置具有触摸传感器、语音传感器、位置传感器和运动传感器中的至少一个的感测单元(未示出)。由感测单元(未示出)检测的信号可以通过用户输入接口单元4150被传输到控制单元4170。
还可以设置用于拍摄用户的拍摄单元(未示出)。拍摄单元(未示出)所拍摄的图像信息可以被输入到控制单元4170。
控制单元4170可以通过独立地或与由拍摄单元(未示出)捕获的图像或由感测单元(未示出)感测的信号相结合地检测用户的姿势。
电源单元4190可以向整个数字装置4100供应电力。
具体地，电源单元4190可以向按片上系统SOC形式实现的控制单元4170、用于图像显示的显示器单元4180和用于音频输出的音频输出单元4185供应电力。
为此，电源单元4190可以包括将AC电力转换成DC电力的转换器(未示出)。例如，当显示单元4180被实现为具有多个背光灯的液晶面板时，还可以设置用于亮度改变或调光驱动的可进行PWM操作的逆变器(未示出)。
远程控制装置4200将用户输入发送到用户输入接口单元4150。为此，远程控制装置4200可以使用Bluetooth、RF(射频)通信、红外IR通信、UWB(超宽带)、ZigBee(ZigBee)方法等。
另外，远程控制装置4200可以接收从用户输入接口单元4150输出的图像、音频或数据信号，将其显示在远程控制装置4200上，或者输出语音或振动。
上述的数字装置4100可以是能够处理固定或移动ATSC型或DVB型数字广播信号的数字广播接收器。
此外，根据本公开的数字装置可以在需要时省略一些部件或者还包括未例示的部件。如上所述，数字装置可以没有调谐器和解调器，并且还可以通过网络接口单元或外部装置接口单元来接收和播放内容。
图42是例示了图39至图41的控制单元的详细配置的框图。
控制单元的示例可以包括解复用单元4210、图像处理单元4220、屏上显示器OSD生成单元4240、混合器4250、帧频转换器FRC 4255和格式化器4260。另外，尽管未示出，但控制单元还可以包括语音处理单元和数据处理单元。
解复用单元4210可以对输入流进行解复用。例如，解复用单元4210可以将输入的MPEG-2TS解复用成视频信号、音频信号和数据信号。这里，输入到解复用单元4210的流信号可以是从调谐器或解调器或外部装置接口输出的流信号。
图像处理单元4220执行解复用后的图像信号的图像处理。为此，图像处理单元4220可以包括视频解码器4225和缩放器4235。
视频解码器4225对解复用后的视频信号进行解码，并且缩放器4235缩放解码后的视频信号的分辨率，以在显示单元上输出。
视频解码器4225可以支持各种标准。例如，当视频信号以MPEG-2标准被编码时，视频解码器4225执行MPEG-2解码器的功能，并且当视频信号以数字多媒体广播DMB方法或H.264标准被编码时，视频解码器4225执行H.264解码器的功能。
经视频处理单元4220解码的视频信号被输入到混合器4250。
OSD生成单元4240根据用户输入或自己生成OSD数据。例如，OSD生成单元4240基于用户输入接口单元的控制信号，生成用于在显示单元4180的屏幕上按图形或文本形式显示各种数据的数据。所生成的OSD数据包括诸如数字装置的用户界面屏幕、各种菜单屏幕、窗口小部件、图标和收视率信息这样的各种数据。
OSD生成单元4240可以基于EPG来生成用于显示广播信息或广播图像的字幕的数据。
混合器4250将OSD生成单元4240生成的OSD数据与经视频处理单元处理的图像信号混合并且将其提供到格式化器4260。因为解码后的视频信号与OSD数据被混合，所以OSD被叠加显示在广播视频或外部输入视频上。
帧频转换器FRC 4255转换输入视频的帧频。例如，取决于显示单元的输出频率，帧频转换器4255可以将输入的60Hz图像帧频转换成具有例如120Hz或240Hz的帧频。如上所述，关于用于转换帧频的方法，存在各种方法。例如，当帧频转换器4255将帧频从60Hz转换成120Hz时，将相同的第一帧插入第一帧和第二帧之间，或者将从第一帧和第二帧预测的第三帧插入第一帧和第二帧之间。作为另一示例，当帧频转换器4255将帧频从60Hz转换成240Hz时，可以将三个相同的帧或预测的帧插入现有帧之间。如果不执行单独的帧转换，则可以绕过帧频转换单元4255。
格式化器4260改变帧频转换器4255的输出，以匹配显示单元的输出格式。例如，格式化器4260可以输出R、G和B数据信号，并且这些R、G和B数据信号可以被作为低压差分信令LVDS或小LVDS输出。另外，当帧频转换器4255的输出为3D视频信号时，格式化器4260可以通过根据显示单元的输出格式将输出配置为3D格式来通过显示单元支持3D服务。
控制单元中的音频处理单元(未示出)可以对解复用后的音频信号执行音频处理。音频处理单元(未示出)可以支持各种音频格式。例如，即使当音频信号以诸如MPEG-2、MPEG-4、AAC、HE-AAC、AC-3、BSAC这样的格式编码时，音频处理单元也可以设置有与其对应的解码器。
另外，控制单元中的音频处理单元(未示出)可以处理低音、高音、音量控制等。
控制单元中的数据处理单元(未示出)可以对解复用后的数据信号执行数据处理。例如，数据处理单元即使在解复用后的数据信号的被编码时也可以对解复用后的数据信号进行解码。这里，编码后的数据信号可以是EPG信息，EPG信息包括诸如在每个频道上广播的广播节目的开始时间和结束时间这样的广播信息。
此外，上述数字装置是根据本公开的示例，并且可以取决于实际数字装置的规格来集成、添加或省略每个部件。也就是说，如有必要，两个或更多个部件可以被组合在一个部件中，或者一个部件可以被细分成两个或更多个部件。另外，每个块中执行的功能是用于描述本公开的实施方式，并且特定操作或装置没有限制本公开的范围。
数字装置可以是执行存储在装置中的图像或输入图像的信号处理的图像信号处理装置。作为图像信号处理设备的另一示例，除了图41中示出的显示单元4180和音频输出单元4185之外，可以例示机顶盒STB、DVD播放器、蓝光播放器、游戏装置、计算机等。
图43是例示了根据实施方式的其中数字装置的屏幕同时显示主图像和子图像的示例的示图。
根据实施方式的数字装置可以在屏幕4300上同时显示主图像4310和辅助图像或子图像4320。主图像4310可以被称为第一图像，并且辅助图像4320可以被称为第二图像。主图像4310和辅助图像4320可以包括视频、静止图像、电子节目指南EPG、图形用户界面GUI、屏上显示器OSD等，并且不限于此。主图像4310可以意指在连同辅助图像4320一起同时显示在电子装置的屏幕4300上时大小相对小于电子装置的屏幕4300的图像，并且可以被称为画中画PIP。在图43中，主图像4310被显示在数字装置的屏幕4300的左上方，但是主图像4310的显示位置不限于此，并且主图像4310可以显示在数字装置的屏幕4300中的任何位置处。
主图像4310和辅助图像4320可以直接或间接地彼此相关。作为示例，主图像4310可以是流传输视频，并且辅助图像4320可以是GUI，所述GUI依次显示包括与流传输视频相似的信息的视频的缩略图。作为另一示例，主图像4310可以是广播图像，并且辅助图像4320可以是EPG。作为另一示例，主图像4310可以是广播图像，并且辅助图像4320可以是GUI。主图像4310和辅助图像4320的示例不限于此。
在一个实施方式中，主图像4310是通过广播频道接收的广播图像，并且辅助图像4320可以是与通过广播频道接收的广播图像相关的信息。与通过广播频道接收的广播图像相关的信息可以包括例如EPG信息以及广播节目评论信息，但不限于此，该EPG信息包括综合频道时间表和广播节目详细信息。
在另一实施方式中，主图像4310是通过广播频道接收的广播图像，并且辅助图像4320可以是基于预先存储在数字装置中的信息而生成的图像。基于预先存储在数字装置中的信息生成的图像可以包括例如EPG的基本用户界面UI、基本频道信息、图像分辨率操纵UI以及就寝时间预定UI，而不限于此。
在另一实施方式中，主图像4310是通过广播频道接收的广播图像，并且辅助图像4320可以是与通过网络接收的广播图像相关的信息。与通过网络接收的广播图像相关的信息可以是例如通过基于网络的搜索引擎获得的信息。更具体地，例如，可以通过基于网络的搜索引擎来获得与当前正显示在主图像4310上的字符相关的信息。
然而，示例不限于此，并且可以通过使用例如人工智能AI系统来获得与通过网络接收的广播图像相关的信息。更具体地，例如，可以通过使用基于网络的深度学习来获得当前正显示在主图像4310上的地点的地图上的估计位置，并且数字装置可以通过网络接收关于当前正显示在主图像4310上的地点的地图上的所估计位置的信息。
根据实施方式的数字装置可以从外部接收主图像4310的图像信息和辅助图像4320的图像信息中的至少一个。主图像4310的图像信息可以包括例如通过广播频道接收的广播信号、主图像4310的源代码信息以及通过网络接收的主图像4310的IP分组(互联网协议分组)信息，但不限于此。类似地，辅助图像4320的图像信息包括例如通过广播频道接收的广播信号、辅助图像4320的源代码信息、通过网络接收的辅助图像4320的IP分组信息等，但不限于此。数字装置可以对从外部接收的主图像4310的图像信息或辅助图像4320的图像信息进行解码和使用。然而，在某些情况下，数字装置可以在内部存储主图像4310的图像信息或辅助图像4320的图像信息。
数字装置可以基于主图像4310的图像信息和与辅助图像4320相关的信息将主图像4310和辅助图像4320显示在数字装置的屏幕4300上。
在一个示例中，数字装置的解码设备200包括主图像解码设备和辅助图像解码设备，并且主图像解码设备和辅助图像解码设备可以分别对主图像4310的图像信息和辅助图像4320的图像信息进行解码。渲染器包括主视频渲染器(第一渲染器)和辅助视频渲染器(第二渲染器)。主图像渲染器可以基于经主图像解码设备解码的信息将主图像4310显示在数字装置的屏幕4300的第一区域上，并且辅助图像渲染器可以基于经辅助图像解码设备解码的信息来致使辅助图像4320显示在数字装置的屏幕4300的第二区域上。
在另一示例中，数字装置的解码设备200可以对主图像4310的图像信息和辅助图像4320的图像信息进行解码。基于经解码设备200解码的信息，渲染器可以将主图像4310和辅助图像4320一起处理，以同时被显示在数字装置的屏幕4300上。
即，根据本文献，能够提供在数字装置中处理图像服务的方法。图像服务处理方法可以包括：接收图像信息，基于图像信息对(主)图像进行解码，将解码后的图像渲染或显示在显示器上的第一区域中，在显示器上的第二区域中渲染或显示辅助图像。在这种情况下，对第一图像进行解码的步骤可以遵循根据上述图3的解码设备200中的解码过程。例如，如上所述，对第一图像进行解码的步骤可以包括：基于帧间或帧内预测来推导当前块的预测样本，基于接收到的残差信息来推导当前块的残差样本，并且基于预测样本和/或残差样本来生成重构样本。另外，对第一图像进行解码的步骤可以包括对包括重构样本的重构图片执行环路滤波过程。
例如，辅助图像可以是电子节目指南EPG、屏上显示器OSD或图形用户界面GUI。例如，可以通过广播网络接收图像信息，并且可以通过广播网络接收关于辅助图像的信息。例如，可以通过通信网络接收图像信息，并且可以通过通信网络接收关于辅助图像的信息。例如，可以通过广播网络接收图像信息，并且可以通过通信网络接收关于辅助图像的信息。例如，可以通过广播网络或通信网络接收图像信息，并且关于辅助图像的信息可以被存储在数字装置中的存储介质中。
在以上提到的实施方式中，本公开的元件和特征已经按特定形式进行了组合。这些元件或特征中的每一个都可以被认为是可选的，除非另有明确描述。这些元件或特征中的每一个都可以按不与其它元件或特征组合的形式来实现。此外，这些元件和/或特征中的一些可以被组合，以形成本公开的实施方式。可以改变本公开的实施方式中描述的操作的顺序。实施方式的一些元件或特征可以被包含在另一个实施方式中，或者可以被另一个实施方式的对应元件或特征替换。显而易见，实施方式可以通过提交申请之后的修改被包括为新权利要求或者通过在权利要求书中没有明确引用关系的权利要求的组合来构造。
根据本公开的实施方式可以通过各种装置(例如，硬件、固件、软件或它们的组合)来实现。在由硬件实现的情况下，本公开的实施方式可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。
在由固件或软件实现的情况下，本公开的实施方式可以按执行以上提到的功能或操作的模块、过程或功能的形式来实现。软件代码可以被存储在存储器中并且由处理器驱动。存储器可以位于处理器的内部或外部并且可以利用各种已知手段与处理器交换数据。
本领域的技术人员显而易见的是，可以在不脱离本公开的必要特性的情况下按其它特定形式来实现本公开。因此，具体实施方式不应该被解释为是限制性的，而是应该被解释为从所有方面来说都是例示性的。本公开的范围应该通过对所附权利要求的合理分析来确定，并且在本公开的等同范围内的所有修改被包括在本公开的范围内。
工业实用性
为了例示性目的已经公开了本公开的以上提到的优选实施方式，并且本领域的技术人员在不脱离所附权利要求书中公开的本公开的技术精神和范围的情况下，能改进、改变、替代或添加各种其它实施方式。
Claims (14)
1.一种以基于历史的运动矢量预测为基础处理视频信号的方法，该方法包括以下步骤：
基于当前块的邻近块来配置合并候选列表；
当所述合并候选列表中所包括的合并候选的数目小于第一预定数目时，将所述当前块的基于历史的合并候选添加到所述合并候选列表；
当所述合并候选列表中所包括的合并候选的数目小于第二预定数目时，将零运动矢量添加到所述合并候选列表；
获得指示所述合并候选列表中的用于所述当前块的帧间预测的合并候选的合并索引；
基于由所述合并索引所指示的所述合并候选的运动信息来生成所述当前块的预测样本；以及
基于所述运动信息来更新基于历史的合并候选列表，
其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的合并候选当中的预定义的合并候选的运动信息不同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
2.根据权利要求1所述的方法，其中，所述基于历史的合并候选列表被定义为具有基于所述合并候选列表中的合并候选的最大数目而确定的大小。
3.根据权利要求1所述的方法，其中，所述基于历史的合并候选列表被定义为具有与通过从所述合并候选列表中的合并候选的最大数目中减去一而获得的值相同的大小。
4.根据权利要求1所述的方法，其中，所述基于历史的合并候选列表的大小被定义为5。
5.根据权利要求1所述的方法，其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的合并候选当中的特定数目的预定义合并候选的运动信息不同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
6.根据权利要求1所述的方法，其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的特定空间合并候选的运动信息不同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
7.根据权利要求6所述的方法，其中，所述基于历史的合并候选是从所述基于历史的合并候选列表内的预定数目的候选推导出的。
8.一种基于帧间预测处理视频信号的设备，该设备包括：
存储器，该存储器被配置为存储所述视频信号；以及
处理器，该处理器被组合到所述存储器，
其中，所述处理器被配置用于：
基于当前块的邻近块来配置合并候选列表；
当所述合并候选列表中所包括的合并候选的数目小于第一预定数目时，将所述当前块的基于历史的合并候选添加到所述合并候选列表；
当所述合并候选列表中所包括的合并候选的数目小于第二预定数目时，将零运动矢量添加到所述合并候选列表；
获得指示所述合并候选列表中的用于所述当前块的帧间预测的合并候选的合并索引；
基于由所述合并索引所指示的所述合并候选的运动信息来生成所述当前块的预测样本；以及
基于所述运动信息来更新基于历史的合并候选列表，
其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的合并候选当中的预定义的合并候选的运动信息不同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
9.根据权利要求8所述的设备，其中，所述基于历史的合并候选列表被定义为具有基于所述合并候选列表中的合并候选的最大数目而确定的大小。
10.根据权利要求8所述的设备，其中，所述基于历史的合并候选列表被定义为具有与通过从所述合并候选列表中的合并候选的最大数目中减去一而获得的值相同的大小。
11.根据权利要求8所述的设备，其中，所述基于历史的合并候选列表的大小被定义为5。
12.根据权利要求8所述的设备，其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的合并候选当中的特定数目的预定义合并候选的运动信息不同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
13.根据权利要求8所述的设备，其中，当所述基于历史的合并候选包括与所述合并候选列表中所包括的特定空间合并候选的运动信息不相同的运动信息时，所述基于历史的合并候选被添加到所述合并候选列表。
14.根据权利要求13所述的设备，其中，所述基于历史的合并候选是从所述基于历史的合并候选列表内的预定数目的候选推导出的。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962787364P | 2019-01-01 | 2019-01-01 | |
| US62/787,364 | 2019-01-01 | ||
| PCT/KR2020/000071 WO2020141914A1 (ko) | 2019-01-01 | 2020-01-02 | 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112042191A true CN112042191A (zh) | 2020-12-04 |
| CN112042191B CN112042191B (zh) | 2024-03-19 |
Family
ID=71406619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080002083.1A Active CN112042191B (zh) | 2019-01-01 | 2020-01-02 | 以基于历史的运动矢量为基础预测处理视频信号的方法和设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11924406B2 (zh) |
| EP (1) | EP3731522A4 (zh) |
| JP (1) | JP2021513795A (zh) |
| KR (1) | KR102443965B1 (zh) |
| CN (1) | CN112042191B (zh) |
| WO (1) | WO2020141914A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113423004A (zh) * | 2021-08-23 | 2021-09-21 | 杭州一知智能科技有限公司 | 基于解耦译码的视频字幕生成方法和系统 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3744094A4 (en) * | 2018-01-26 | 2021-11-03 | MediaTek Inc. | METHOD AND DEVICE FOR AFFINE INTER-PREDICTION FOR A VIDEO ENCODING SYSTEM |
| KR102513585B1 (ko) * | 2018-04-13 | 2023-03-24 | 엘지전자 주식회사 | 비디오 처리 시스템에서 인터 예측 방법 및 장치 |
| WO2019225993A1 (ko) * | 2018-05-23 | 2019-11-28 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| KR20240007299A (ko) | 2018-06-29 | 2024-01-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 룩업 테이블의 업데이트: fifo, 제약된 fifo |
| KR102611261B1 (ko) | 2018-06-29 | 2023-12-08 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 업데이트 대상 lut 또는 비업데이트 lut의 구별 |
| KR20240005239A (ko) | 2018-06-29 | 2024-01-11 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut와 amvp 사이의 상호작용 |
| BR112020024142A2 (pt) | 2018-06-29 | 2021-03-02 | Beijing Bytedance Network Technology Co., Ltd. | método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório |
| JP7137008B2 (ja) | 2018-06-29 | 2022-09-13 | 北京字節跳動網絡技術有限公司 | １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念 |
| JP7460617B2 (ja) | 2018-06-29 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | Ｌｕｔ更新条件 |
| CN110662057B (zh) | 2018-06-29 | 2022-06-21 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、设备以及存储比特流的方法 |
| WO2020008350A1 (en) | 2018-07-02 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Luts with intra prediction modes and intra mode prediction from non-adjacent blocks |
| TW202025760A (zh) | 2018-09-12 | 2020-07-01 | 大陸商北京字節跳動網絡技術有限公司 | 要檢查多少個hmvp候選 |
| WO2020143741A1 (en) | 2019-01-10 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Invoke of lut updating |
| CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
| CN113330739A (zh) | 2019-01-16 | 2021-08-31 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的插入顺序 |
| CN113615193A (zh) | 2019-03-22 | 2021-11-05 | 北京字节跳动网络技术有限公司 | Merge列表构建和其他工具之间的交互 |
| CN113812165B (zh) * | 2019-05-09 | 2023-05-23 | 北京字节跳动网络技术有限公司 | 对hmvp表的改进 |
| WO2023132615A1 (ko) * | 2022-01-04 | 2023-07-13 | 현대자동차주식회사 | 쌍 머지 후보들을 생성하여 머지 후보 리스트를 구성하는 비디오 부호화/복호화 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1204279A2 (en) * | 2000-10-31 | 2002-05-08 | Interuniversitair Microelektronica Centrum Vzw | A method and apparatus for adaptive encoding framed data sequences |
| CN102572278A (zh) * | 2010-12-23 | 2012-07-11 | 三星电子株式会社 | 利用自适应滤波的数字图像稳定化方法 |
Family Cites Families (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX343471B (es) * | 2011-08-29 | 2016-11-07 | Ibex Pt Holdings Co Ltd | Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp). |
| KR20130045785A (ko) * | 2011-10-26 | 2013-05-06 | 경희대학교 산학협력단 | 메모리 관리 방법 및 그를 이용한 복호화 장치 |
| BR122022002972B1 (pt) * | 2012-01-19 | 2022-11-22 | Electronics And Telecommunications Research Institute | Aparelho de decodificação de imagem |
| EP3205109A4 (en) * | 2014-12-09 | 2018-03-07 | MediaTek Inc. | Method of motion vector predictor or merge candidate derivation in video coding |
| US10560718B2 (en) * | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
| US10721489B2 (en) * | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| JP7460617B2 (ja) * | 2018-06-29 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | Ｌｕｔ更新条件 |
| CN110662057B (zh) * | 2018-06-29 | 2022-06-21 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、设备以及存储比特流的方法 |
| BR112020024142A2 (pt) * | 2018-06-29 | 2021-03-02 | Beijing Bytedance Network Technology Co., Ltd. | método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório |
| JP7137008B2 (ja) * | 2018-06-29 | 2022-09-13 | 北京字節跳動網絡技術有限公司 | １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念 |
| KR20240007299A (ko) * | 2018-06-29 | 2024-01-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 룩업 테이블의 업데이트: fifo, 제약된 fifo |
| BR112021000004A8 (pt) * | 2018-07-06 | 2023-02-07 | Mediatek Inc | Informações de movimento herdadas para decodificar uma unidade de codificação atual em um sistema de codificação de vídeo |
| US11606575B2 (en) * | 2018-07-10 | 2023-03-14 | Qualcomm Incorporated | Multiple history based non-adjacent MVPs for wavefront processing of video coding |
| WO2020018486A1 (en) * | 2018-07-18 | 2020-01-23 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and apparatus of video coding using history-based motion vector prediction |
| US10958934B2 (en) * | 2018-07-27 | 2021-03-23 | Tencent America LLC | History-based affine merge and motion vector prediction |
| CN112567755B (zh) * | 2018-08-10 | 2022-11-08 | 华为技术有限公司 | 使用合并模式的译码方法、设备、系统 |
| US11336914B2 (en) * | 2018-08-16 | 2022-05-17 | Qualcomm Incorporated | History-based candidate list with classification |
| TW202025760A (zh) * | 2018-09-12 | 2020-07-01 | 大陸商北京字節跳動網絡技術有限公司 | 要檢查多少個hmvp候選 |
| CN113170178A (zh) * | 2018-09-12 | 2021-07-23 | 北京达佳互联信息技术有限公司 | 对合并候选列表的构建的修改 |
| KR102616766B1 (ko) * | 2018-09-22 | 2023-12-27 | 엘지전자 주식회사 | 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
| US11070796B2 (en) * | 2018-09-28 | 2021-07-20 | Qualcomm Incorporated | Ultimate motion vector expression based pruning for video coding |
| ES2966115T3 (es) * | 2018-10-04 | 2024-04-18 | Lg Electronics Inc | Métodos de codificación de imagen basados en historial |
| US20200112715A1 (en) * | 2018-10-05 | 2020-04-09 | Qualcomm Incorporated | History-based motion vector prediction for inter prediction coding |
| HUE062341T2 (hu) * | 2018-10-08 | 2023-10-28 | Beijing Dajia Internet Information Tech Co Ltd | Kereszt-komponenses lineáris model egyszerûsítése |
| AU2019356644B2 (en) * | 2018-10-10 | 2022-12-08 | Huawei Technologies Co., Ltd. | Inter prediction method and apparatus |
| WO2020076130A1 (ko) * | 2018-10-11 | 2020-04-16 | 삼성전자 주식회사 | 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 방법, 및 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 장치 |
| CN117459720A (zh) * | 2018-10-24 | 2024-01-26 | 华为技术有限公司 | 视频编解码器和方法 |
| CN111147850B (zh) * | 2018-11-02 | 2022-10-11 | 北京字节跳动网络技术有限公司 | 用于基于历史的运动矢量预测的表维护 |
| WO2020098714A1 (en) * | 2018-11-13 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Multiple hypothesis for sub-block prediction blocks |
| WO2020098803A1 (en) * | 2018-11-15 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Harmonization between affine mode and other inter coding tools |
| WO2020098813A1 (en) * | 2018-11-16 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Usage for history-based affine parameters |
| US11381807B2 (en) * | 2018-11-21 | 2022-07-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods of video picture coding with sub-block merge simplification and related apparatuses |
| KR102638710B1 (ko) * | 2018-11-22 | 2024-02-19 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 인터 예측을 위한 인코더, 디코더 및 대응 방법 |
| CN113170112B (zh) * | 2018-11-22 | 2024-05-10 | 北京字节跳动网络技术有限公司 | 用于具有几何分割的帧间预测的构建方法 |
| US11184633B2 (en) * | 2018-11-27 | 2021-11-23 | Qualcomm Incorporated | Simplification of history-based motion vector prediction |
| CN113170181B (zh) * | 2018-11-29 | 2023-12-08 | 北京字节跳动网络技术有限公司 | 块内拷贝模式中的仿射继承方法 |
| CN113170128B (zh) * | 2018-12-03 | 2024-05-28 | 北京字节跳动网络技术有限公司 | 帧间预测的部分修剪方法 |
| US11122288B2 (en) * | 2018-12-06 | 2021-09-14 | Qualcomm Incorporated | Spatio-temporal motion vector prediction patterns for video coding |
| KR102527298B1 (ko) * | 2018-12-06 | 2023-04-27 | 엘지전자 주식회사 | 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
| US11197017B2 (en) * | 2018-12-06 | 2021-12-07 | Tencent America LLC | Methods and apparatuses for video coding |
| US11570430B2 (en) * | 2018-12-06 | 2023-01-31 | Lg Electronics Inc. | Method and device for processing video signal on basis of inter-prediction |
| US11012697B2 (en) * | 2018-12-07 | 2021-05-18 | Qualcomm Incorporated | Shared candidate list and parallel candidate list derivation for video coding |
| CN111771376B (zh) * | 2018-12-12 | 2023-08-08 | Lg电子株式会社 | 以基于历史的运动向量预测为基础处理视频信号的方法和设备 |
| US10855992B2 (en) * | 2018-12-20 | 2020-12-01 | Alibaba Group Holding Limited | On block level bi-prediction with weighted averaging |
| KR20230158635A (ko) * | 2018-12-28 | 2023-11-20 | 고도 가이샤 아이피 브릿지 1 | 화상 부호화 장치, 화상 부호화 방법, 기록 매체, 화상 복호 장치, 화상 복호 방법, 격납 방법 및 전송 방법 |
| CN112352433A (zh) * | 2018-12-28 | 2021-02-09 | Jvc建伍株式会社 | 动图像编码装置、动图像编码方法以及动图像编码程序、动图像解码装置、动图像解码方法以及动图像解码程序 |
| BR112021012426A8 (pt) * | 2018-12-28 | 2022-08-02 | Jvckenwood Corp | Dispositivo de codificação de imagem em movimento, método de codificação de imagem em movimento, programa de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de decodificação de imagem em movimento e programa de decodificação de imagem em movimento |
| WO2020139184A1 (en) * | 2018-12-28 | 2020-07-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Generating a motion vector predictor list |
| US11032574B2 (en) * | 2018-12-31 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding |
-
2020
- 2020-01-02 JP JP2020543029A patent/JP2021513795A/ja active Pending
- 2020-01-02 WO PCT/KR2020/000071 patent/WO2020141914A1/ko unknown
- 2020-01-02 CN CN202080002083.1A patent/CN112042191B/zh active Active
- 2020-01-02 EP EP20736070.2A patent/EP3731522A4/en not_active Ceased
- 2020-01-02 KR KR1020207019979A patent/KR102443965B1/ko active IP Right Grant
- 2020-07-23 US US16/937,409 patent/US11924406B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1204279A2 (en) * | 2000-10-31 | 2002-05-08 | Interuniversitair Microelektronica Centrum Vzw | A method and apparatus for adaptive encoding framed data sequences |
| CN102572278A (zh) * | 2010-12-23 | 2012-07-11 | 三星电子株式会社 | 利用自适应滤波的数字图像稳定化方法 |
Non-Patent Citations (3)
| Title |
|---|
| BENJAMIN BROSS 等: "Versatile Video Coding (Draft 3)", 《JVET MEETING》 * |
| LI ZHANG ET AL: "CE4-related: History-based Motion Vector Prediction", 《JVET MEETING》 * |
| ZHAO (LGE) J ET AL: "CE4-related: Simplification to History Based Motion Vector Prediction", 《MPEG MEETING》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113423004A (zh) * | 2021-08-23 | 2021-09-21 | 杭州一知智能科技有限公司 | 基于解耦译码的视频字幕生成方法和系统 |
| CN113423004B (zh) * | 2021-08-23 | 2021-11-30 | 杭州一知智能科技有限公司 | 基于解耦译码的视频字幕生成方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020141914A1 (ko) | 2020-07-09 |
| US11924406B2 (en) | 2024-03-05 |
| JP2021513795A (ja) | 2021-05-27 |
| KR20200094788A (ko) | 2020-08-07 |
| EP3731522A4 (en) | 2021-04-14 |
| KR102443965B1 (ko) | 2022-09-19 |
| CN112042191B (zh) | 2024-03-19 |
| US20200404254A1 (en) | 2020-12-24 |
| EP3731522A1 (en) | 2020-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111771376B (zh) | 以基于历史的运动向量预测为基础处理视频信号的方法和设备 | |
| CN112042191B (zh) | 以基于历史的运动矢量为基础预测处理视频信号的方法和设备 | |
| US11910000B2 (en) | Method and device for processing video signal on basis of inter prediction | |
| US20220116587A1 (en) | Method and device for processing video signal on basis of inter-prediction | |
| US20220078407A1 (en) | Method and apparatus for processing video signal on basis of inter prediction | |
| RU2807594C2 (ru) | Способ и устройство для обработки видеосигнала на основании основанного на истории предсказания вектора движения | |
| RU2773431C1 (ru) | Способ и устройство для обработки видеосигнала на основании основанного на истории предсказания вектора движения |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |