CN111788832A - 基于帧间预测对视频信号进行处理的方法和装置 - Google Patents

基于帧间预测对视频信号进行处理的方法和装置 Download PDF

Info

Publication number
CN111788832A
CN111788832A CN201980016043.XA CN201980016043A CN111788832A CN 111788832 A CN111788832 A CN 111788832A CN 201980016043 A CN201980016043 A CN 201980016043A CN 111788832 A CN111788832 A CN 111788832A
Authority
CN
China
Prior art keywords
merge
list
candidates
candidate
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980016043.XA
Other languages
English (en)
Other versions
CN111788832B (zh
Inventor
赵杰
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202310779268.9A priority Critical patent/CN116708812A/zh
Priority to CN202310779488.1A priority patent/CN116847107A/zh
Priority to CN202310783572.0A priority patent/CN116708813A/zh
Priority to CN202310777022.8A priority patent/CN116684635A/zh
Publication of CN111788832A publication Critical patent/CN111788832A/zh
Application granted granted Critical
Publication of CN111788832B publication Critical patent/CN111788832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种对视频信号进行处理的方法及其设备。具体地，基于帧间预测对视频信号进行处理的方法包括以下步骤：基于当前块的邻近块来配置合并列表；如果所述合并列表中所包括的合并候选的数目小于预设的第一预定数目时，将基于历史的合并候选列表中的基于历史的合并候选添加到所述合并列表，所述基于历史的合并候选表示所述当前块之前编码的块的运动信息；获取指示来自所述合并列表中的要被用于当前块的帧间预测的合并候选的合并索引；以及基于所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，其中，将所述基于历史的合并候选添加到所述合并列表的步骤可以包括以下步骤：检查所述基于历史的合并候选列表中的预设的第二预定数目的基于历史的合并候选是否具有与所述合并列表中所包括的合并候选的运动信息交叠的运动信息。

Description

基于帧间预测对视频信号进行处理的方法和装置
技术领域
本公开的实施方式涉及基于帧间预测对视频信号进行处理的方法和设备，并且更具体地，涉及使用基于历史的运动向量预测来执行帧间预测的方法和设备。
背景技术
压缩编码意指用于通过通信线路传输数字化信息的一系列信号处理技术或用于以适于存储介质的形式存储信息的技术。包括图片、图像、音频等的媒体可以是压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容应该具有高空间分辨率、高帧频和高尺寸场景呈现的特征。为了处理这些内容，将导致存储器存储、存储器访问速率和处理能力急剧增加。
因此，需要设计用于高效地处理下一代视频内容的编码工具。
发明内容
技术问题
本公开的实施方式的目的是提出对为了将HMVP候选添加到合并列表(或AMVP列表)而进行的冗余检查的约束。
本公开的实施方式中要实现的技术目的不限于以上提到的技术目的，并且根据下面的描述，以上未描述的其它技术目的可以被本公开所属领域的普通技术人员清楚地理解。
技术方案
在本公开的实施方式的一方面，一种基于帧间预测对视频信号进行处理的方法可以包括以下步骤：基于当前块的邻近块来配置合并列表；当所述合并列表中所包括的合并候选的数目小于第一预定数目时，将基于历史的合并候选列表中所包括的基于历史的合并候选添加到所述合并列表；获得指示所述合并列表内的用于所述当前块的帧间预测的合并候选的合并索引；以及基于所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，其中，将所述基于历史的合并候选添加到所述合并列表的步骤包括以下步骤：检查所述基于历史的合并候选列表内的第二预定数目的基于历史的合并候选是否具有与所述合并列表中所包括的合并候选相同的运动信息。
在实施方式中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的合并候选中的预先定义的合并候选不同的运动信息时，可以将所述第二预定数目的基于历史的合并候选添加到合并列表。
在实施方式中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的合并候选中的第三预定数目的预先定义的合并候选不同的运动信息时，可以将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
在实施方式中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的预先定义的空间合并候选不同的运动信息时，可以将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
在实施方式中，所述第一预定数目可以被限定为从最大合并候选数目中减去1而得到的值。
在实施方式中，添加基于历史的合并候选的步骤可以包括以下步骤：当所述合并列表中包括三个当前合并候选时，检查两个基于历史的合并候选是否具有与所述合并列表中所包括的合并候选相同的运动信息。
在实施方式的另一方面，一种基于帧间预测对视频信号进行处理的设备可以包括：存储器，该存储器被配置为存储视频信号；以及处理器，该处理器被组合到所述存储器，其中，所述处理器被配置用于：基于当前块的邻近块来配置合并列表；当所述合并列表中所包括的合并候选的数目小于第一预定数目时，将基于历史的合并候选列表中所包括的基于历史的合并候选添加到所述合并列表；获得指示所述合并列表内的用于所述当前块的帧间预测的合并候选的合并索引；以及基于所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，其中，所述处理器还被配置用于检查所述基于历史的合并候选列表内的第二预定数目的基于历史的合并候选是否具有与所述合并列表中所包括的合并候选相同的运动信息。
技术效果
根据本公开的实施方式，通过限制为了添加到合并列表(或AMVP列表)进行的冗余检查，能够改善根据冗余检查的复杂度并且能够提高效率。
本公开中能获得的效果不限于以上提到的效果，并且根据下面的描述，以上未描述的其它技术效果可以被本公开所属领域的普通技术人员清楚地理解。
附图说明
为了帮助理解本公开而被包括作为具体实施方式的部分的附图提供了本公开的实施方式，并且连同具体实施方式一起来描述本公开的技术特征。
图1例示了根据本公开的实施方式的作为视频信号处理设备示例的编码器的功能配置的示例。
图2是应用本公开的实施方式，并且是其中执行视频/图像信号的解码的解码设备的示意性框图。
图3是应用本公开的实施方式，并且是示出了多类型树结构的示例的视图。
图4是可以应用本公开的实施方式，并且是例示了具有嵌套的多类型树的四叉树结构的分割划分信息的信令机制的示图。
图5是可以应用本公开的实施方式，并且是例示了基于四叉树和嵌套的多类型树结构将CTU分割为多个CU的方法的示图。
图6是可以应用本公开的实施方式，并且是例示了用于限制三叉树分割的方法的示图。
图7是可以应用本公开的实施方式，并且是例示了可能在二进制树分割和三叉树分割中出现的冗余分割图案的示图。
图8和图9分别是例示了根据本公开的实施方式的基于帧间预测的视频/图像编码方法和根据本公开的实施方式的编码设备中的帧间预测单元的示图。
图10和图11分别是根据本公开的实施方式的基于帧间预测的视频/图像解码过程和解码设备内的帧间预测器。
图12是应用了本公开的实施方式，并且是用于说明在合并模式或跳变模式下使用的邻近块的视图。
图13是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
图14是例示了根据应用本公开的实施方式的构造合并候选列表的方法的流程图。
图15例示了根据本公开的实施方式的运动模型的示例。
图16例示了根据本公开的实施方式的用于仿射运动预测的控制点运动向量的示例。
图17例示了已经应用了根据本公开的实施方式的仿射运动预测的块的每个子块的运动向量的示例。
图18例示了根据本公开的实施方式的在仿射合并模式下用于仿射运动预测的邻近块的示例。
图19例示了使用已经应用了根据本公开的实施方式的仿射运动预测的邻近块对其执行仿射运动预测的块的示例。
图20是用于描述根据本公开的实施方式的使用邻近仿射编码块来生成合并候选列表的方法的示图。
图21和图22是用于描述根据本公开的实施方式的使用通过仿射预测编码的邻近块来构造仿射合并候选列表的方法的示图。
图23例示了根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
图24例示了根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
图25和图26是例示了根据本公开的实施方式的在仿射帧间模式下使用邻近块的运动信息来导出运动向量候选的方法的示图。
图27例示了根据本公开的实施方式的子块单元的仿射运动向量场的示例。
图28示例性地示出了根据本公开的实施方式的在应用了仿射运动模型的帧间预测下生成预测块的方法和运动向量。
图29是例示了根据本公开的实施方式的基于控制点的运动向量来执行运动补偿的方法的示图。
图30是例示了根据本公开的实施方式的基于非正方形块中的控制点的运动向量来执行运动补偿的方法的示图。
图31是例示了根据本公开的实施方式的基于非正方形块中的控制点的运动向量来执行运动补偿的方法的示图。
图32至图38是例示了根据本公开的实施方式的基于非正方形块中的控制点的运动向量来执行运动补偿的方法的示图。
图39是用于描述根据本公开的实施方式的存储HMVP的方法的流程图。
图40是用于描述根据本公开的实施方式的在未受约束FIFO模式下操作的HMVP表的示图。
图41是用于描述根据本公开的实施方式的在约束FIFO模式下操作的HMVP表的示图。
图42是例示了根据本公开的实施方式的HMVP LUT和长期HMVP LUT的示图。
图43是例示了根据本公开的实施方式的更新HMVP LUT的方法的示例的示图。
图44是例示了根据本公开的实施方式的限制HMVP候选的数目(即，修剪检查的目标)的方法的示图。
图45是例示了根据本公开的实施方式的执行修剪检查的方法的示例的流程图。
图46是用于描述根据本公开的实施方式的使用参考不同参考图片的运动向量的H-STMVP候选的方法的示图。
图47是例示了根据本公开的实施方式的用于导出继承的仿射HMVP候选的块的位置的示图。
图48是例示了根据本公开的实施方式的仿射合并列表或仿射AMVP列表的示图。
图49是例示了根据应用本公开的实施方式的基于帧间预测对视频信号进行处理的方法的流程图。
图50示出了根据本公开的实施方式的用于对视频信号进行处理的设备的框图的示例。
图51例示了应用本公开的视频编码系统。
图52示出了内容流传输系统的结构示图。
图53是示意性地示出了包括数字装置的服务系统的示例的示图。
图54是例示了根据实施方式的数字装置的框图。
图55是例示了数字装置的另一实施方式的配置框图。
图56是例示了根据另一实施方式的数字装置的框图。
图57是例示了图54至图56的控制单元的详细配置的框图。
图58是例示了根据实施方式的其中数字装置的屏幕同时显示主图像和子图像的示例的示图。
具体实施方式
下文中，将参照附图来描述本公开的优选实施方式。下面将利用附图描述的说明书是为了描述本公开的示例性实施方式，并且不旨在描述能实现本公开的唯一实施方式。下面的描述包括特定细节，以便提供对本公开的完美理解。然而，本领域的技术人员要理解，可以在没有特定细节的情况下实施本公开。在一些情况下，为了防止本公开的技术构思不清楚，可以省略公知的结构或器件，或者可以将这些结构或器件描绘为侧重于结构或器件的核心功能的框图。
在一些情况下，为了防止本公开的技术构思不清楚，可以省略公知的结构或器件，或者可以将这些结构或器件描绘为侧重于结构或器件的核心功能的框图。
另外，尽管当前广泛使用的通用术语被尽可能地选择作为本公开中的术语，但是在特定情况下使用由申请人任意选择的术语。由于在这种情况下将在说明书的对应部分中清楚地描述该术语的含义，因此要理解，本公开不会仅通过仅在本公开的说明书中使用的术语来解释，而是应该弄清楚术语的含义。
可以提供用于下面描述的特定术语，以有助于理解本公开。此外，可以在本公开的技术构思的范围内将特定术语修改为其它形式。例如，可以在每个编码处理中适当地替代和解释信号、数据、样本、图片、切片、图块、帧、块等。
本文献是关于视频/图像编码。例如，本文献中公开的方法/实施方式可以应用于以通用视频编码(VVC)标准或下一代视频/图像编码标准公开的方法。
在本文献中，图片通常是指表示特定时间段中的一副图像的单元，并且切片/图块是编码中构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元CTU。一个图片可以由多个切片/图块构成。
像素或画素(pel)可以意指构成一幅图片(或图像)的最小单元。并且，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者可以仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。在一些情况下，可以将单元与诸如块或区域这样的术语互换地使用。在常见情况下，M×N块可以表示由M列和N行构成的样本或变换系数的组(或阵列)。
在本文献中，“/”和“，”被解释为“和/或”。例如，“A/B”被解释为“A和/或B”，并且“A、B”被解释为“A和/或B”。另外，“A/B/C”意指“A、B和/或C中的至少一个”。另外，“A、B和C”意指“A、B和/或C中的至少一个”。(在本文献中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“A/B”可以意指“A和/或B”。另外，“A、B”可以意指“A和/或B”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A、B、C”可以意指“A、B和/或C中的至少一个”。)
另外，本文献中的“或”将被解释为“和/或”。例如，“A或B”可以意指1)仅“A”、2)仅“B”或3)“A和B”。换句话说，本文献中的“或”可以意指“附加地或另选地”。(另外，在该文献中，术语“或”应该被解释为指示“和/或”。例如，表述“A或B”可以包括1)仅A、2)仅B和/或3)A和B二者。换句话说，本文献中的术语“或”应该被解释为指示“附加地或另选地”。)
下文中，在本说明书中，“处理单元”意指执行诸如预测、变换和/或量化这样的编码/解码处理过程的单元。下文中，为了便于描述，处理单元可以被称为“处理块”或“块”。
处理单元可以被解释为具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
此外，处理单元可以被解释为是用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。另选地，处理单元可以对应于用于色度分量的编码树块(CTB)、编码块(CB)、预测块(PB)或变换块(TB)。此外，本公开不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
此外，处理单元本质上不限于方形块，并且可以以具有三个或更多个顶点的多边形形式构造。
此外，下文中，在本说明书中，像素等通常被称为样本。此外，使用样本可以意指使用像素值。
图1例示了根据本公开的实施方式的作为视频信号处理设备的示例的编码器的功能配置的示例。
参照图1，编码设备100可以被配置为包括图像划分器110、减法器115、变换器120、量化器130、反量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以常常被称为预测器。换句话说，预测器可以包括帧间预测器180和帧内预测器185。变换器120、量化器130、反量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。在一个实施发送中，图像划分器110、减法器115、变换器120、量化器130、反量化器140、逆变换器150、加法器155、滤波器160、帧间预测器180、帧内预测器185和熵编码器190可以被配置为一个硬件部件(例如，编码器或处理器)。此外，存储器170可以包括解码图片缓冲器(DPB)，并且可以被配置有数字存储介质。
图像划分器110将输入到编码设备100的输入图像(或图片或帧)划分成一个或更多个处理单元。例如，处理单元可以被称为编码单元(CU)。在这种情况下，可以基于四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元分割成深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，然后可以应用二叉树结构。另选地，可以首先应用二叉树结构。可以基于不再被分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，最大编码单元可以根据图像特性基于编码效率被直接用作最终编码单元，或者如有必要，编码单元可以被递归地分割成深度更深的编码单元。因此，具有最佳大小的编码单元可以被用作最终编码单元。在这种情况下，编码过程可以包括随后将描述的诸如预测、变换或重构这样的过程。对于另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从每个最终编码单元划分或分割出预测单元和变换单元中的每一个。预测单元可以是样本预测的单元，并且变换单元可以是导出变换系数的单元和/或根据变换系数导出残差信号的单元。
单元可以视情形与块或区域可互换地使用。在常见情况下，M×N块可以指示包括M列和N行的样本的集合或变换系数集合。通常，样本可以指示像素或像素的值，并且可以仅指示亮度分量的像素/像素值或者仅指示色度分量的像素/像素值。在样本中，一个图片(或图像)可以被用作与像素或图素对应的术语。
编码设备100可以通过从输入图像信号(原始块或原始样本阵列)中减去由帧间预测器180或帧内预测器185输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。所生成的残差信号被发送到变换器120。在这种情况下，如所例示的，在编码器内从输入图像信号(原始块或原始样本阵列)中减去预测信号(预测块或预测样本阵列)的单元可以被称为减法器115。预测器可以对处理目标块(下文中，被称为当前块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以确定以当前块或CU为单元应用帧内预测还是帧间预测。预测器可以生成如随后对每种预测模式的描述的诸如预测模式信息这样的关于预测的各种信息，并且可以将所述信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且可以以比特流的形式被输出。
帧内预测器185可以参考当前图片内的样本来预测当前块。所参考的样本可以被定位成邻近当前块，或者可以根据预测模式与当前块间隔开。在帧内预测中，预测模式可以包括多种非角度模式和多种角度模式。例如，非角度模式可以包括DC模式和平面模式。例如，取决于预测方向的精细程度，角度模式可以包括33种角度预测模式或65种角度预测模式。在这种情况下，例如，取决于配置，可以使用多于或少于这33种角度预测模式或65种角度预测模式的角度预测模式。帧内预测器185可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可以包括当前图片内的空间邻近块和参考图片内的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被表示为称为共同定位参考块或共同定位CU(colCU)的名称。包括时间邻近块的参考图片可以被称为共同定位图片(colPic)。例如，帧间预测器180可以基于邻近块来构造运动信息候选列表，并且可以生成指示哪个候选被用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳变模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳变模式的情况下，与合并模式不同，不能发送残差信号。在运动信息预测(MVP)模式的情况下，邻近块的运动向量可以被用作运动向量预测项。可以通过发信号通知运动向量差来指示当前块的运动向量。
通过帧间预测器180或帧内预测器185生成的预测信号可以被用于生成重构信号或残差信号。
变换器120可以通过向残差信号应用变换方案来生成变换系数。例如，变换方案可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于曲线图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。在这种情况下，GBT意指在将像素之间的关系信息表示为曲线图时从曲线图获得的变换。CNT意指基于使用所有先前重构的像素生成的预测信号而获得的变换。此外，变换过程可以被应用于正方形形式的大小相同的像素块，或者可以被应用于非正方形形式的大小可变的块。
量化器130可以对变换系数进行量化，并且将其传输到熵编码器190。熵编码器190可以对量化后的信号(关于量化后的变换系数的信息)进行编码并且以比特流的形式输出它。关于量化后的变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描顺序将块形式的量化后的变换系数重新布置成一维向量形式，并且可以基于一维向量形式的量化后的变换系数来生成关于量化后的变换系数的信息。熵编码器190可以执行诸如指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)这样的各种编码方法。除了量化后的变换系数之外，熵编码器190还可以一起或分别地对视频/图像重构所需的信息(例如，语法元素的值)进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)为单元进行发送或存储。可以通过网络传输比特流，或者可以将其存储在数字存储介质中。在这种情况下，网络可以包括广播网络和/或通信网络。数字存储介质可以包括诸如USB、SD、CD、DVD、Blueray、HDD和SSD这样的各种存储介质。发送由熵编码器190输出的信号的发送器(未例示)和/或用于存储信号的存储装置(未例示)可以被配置为编码设备100的内部/外部元件，或者发送器可以是熵编码器190的元件。
由量化器130输出的量化后的变换系数可以用于生成预测信号。例如，可以通过环路内的反量化器140和逆变换器150对量化后的变换系数应用反量化和逆变换来重构残差信号。加法器155可以将重构后的残差信号与由帧间预测器180或帧内预测器185输出的预测信号相加，因此可以生成重构信号(重构图片、重构块或重构样本阵列)。如果如在已经应用了跳变模式的情况下一样没有用于处理目标块的残差，则预测块可以被用作重构块。加法器155可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且如随后将描述的一样可以用于通过滤波进行的下一图片的帧间预测。
滤波器160可以通过向重构信号应用滤波来改善主观/客观图片质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改后的重构图片。修改后的重构图片可以被存储在存储器170中，具体地，存储在存储器170的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。预测器160可以生成如随后将对每种滤波方法的描述中描述的用于滤波的各种信息，并且可以将它们发送到熵编码器190。滤波信息可以被熵编码器190编码并且以比特流形式输出。
发送到存储器170的修改后的重构图片可以被用作帧间预测器180中的参考图片。如果应用帧间预测，则编码设备可以避免编码设备100与解码设备之间的预测失配并且提高编码效率。
存储器170的DPB可以存储修改后的重构图片，以便在帧间预测器180中使用修改后的重构图片作为参考图片。存储器170可以存储已经从其导出(或编码)当前图片内的运动信息的块的运动信息和/或已经重构的图片内的块的运动信息。所存储的运动信息可以被发送到帧间预测器180，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片内的重构块的重构样本，并且可以将它们发送到帧内预测器185。
图2是应用本公开的实施方式，并且是其中执行视频/图像信号的解码的解码设备的示意性框图。
参照图2，解码设备200可以被配置为包括熵解码器210、反量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器261和帧内预测器262。帧间预测器261和帧内预测器262可以被统称为预测器260。即，预测器可以包括帧间预测器180和帧内预测器185。反量化器220和逆变换器230可以被统称为残差处理器。即，残差处理器可以包括反量化器220和逆变换器230。熵解码器210、反量化器220、逆变换器230、加法器235、滤波器240、帧间预测器261和帧内预测器262可以根据实施方式被配置为一个硬件部件(例如，解码器或处理器)。此外，存储器170可以包括解码图片缓冲器(DPB)，并且可以被配置有数字存储介质。
当输入包括视频/图像信息的比特流时，解码设备200可以按照在图2的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备200可以使用在编码设备中应用的处理单元来执行解码。因此，用于解码的处理单元可以是例如编码单元。取决于四叉树结构和/或二叉树结构，可以从编码树单元或最大编码单元中分割出编码单元。此外，可以通过回放装置回放通过解码设备200解码和输出的重构图像信号。
解码设备200可以以接收由图1的编码设备输出的比特流形式的信号。可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过对比特流进行解析来导出针对图像重构(或图片重构)的信息(例如，视频/图像信息)。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC或CABAC这样的编码方法对比特流内的信息进行解码，并且可以输出针对图像重构的语法元素的值或关于残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，可以从比特流接收与每个语法元素对应的bin，可以使用对目标语法元素信息进行解码以及对邻近和解码目标块的信息或在先前步骤中解码的符号/bin的信息进行解码来确定上下文模型，可以基于所确定的上下文模型来预测出现bin的概率，并且可以通过对bin执行算术解码来生成与每个语法元素的值对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器2110中解码的信息当中的关于预测的信息可以被提供给预测器(帧间预测器261和帧内预测器262)。与熵解码器210中已经被执行熵解码的残差值相关的参数信息(即，量化后的变换系数)可以被输入到解量化器220。此外，在熵解码器210中解码的信息当中的关于滤波的信息可以被提供到滤波器240。此外，接收由编码设备输出的信号的接收器(未例示)可以进一步被配置为解码设备200的内部/外部元件，或者接收器可以是熵解码器210的元件。
反量化器220可以对量化后的变换系数进行反量化，并且输出变换系数。反量化器220可以将量化后的变换系数重新布置为二维块形式。在这种情况下，可以基于编码设备中执行的系数扫描顺序来执行重新布置。反量化器220可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化，并且可以获得变换系数。
逆变换器230可以通过向变换系数应用逆变换来输出残差信号(残差块或残差样本阵列)。
预测器可以对当前块执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以基于由熵解码器210输出的关于预测的信息来确定向当前块应用帧内预测还是应用帧间预测，并且可以确定详细的帧内/帧间预测模式。
帧内预测器262可以参考当前图片内的样本来预测当前块。所参考的样本可以被定位成邻近当前块，或者可以根据预测模式与当前块间隔开。在帧内预测中，预测模式可以包括多种非角度模式和多种角度模式。帧内预测器262可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器261可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，邻近块可以包括当前图片中内的空间邻近块和参考图片内的时间邻近块。例如，帧间预测器261可以基于邻近块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测。关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器235可以通过将所获得的残差信号与由帧间预测器261或帧内预测器262输出的预测信号(预测块或预测样本阵列)相加来生成重构信号(重构图片、重构块或重构样本阵列)。如果如在已经应用了跳变模式的情况下一样没有用于处理目标块的残差，则预测块可以被用作重构块。
加法器235可以被称为重构器或重构块生成器。如随后将描述的，所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且可以用于通过滤波进行的下一图片的帧间预测。
滤波器240可以通过向重构信号应用滤波来改善主观/客观图片质量。例如，滤波器240可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片发送到存储器250，尤其是发送到存储器的DPB 250。各种滤波方法可以包括例如去块滤波、样本自适应偏移SAO、自适应环路滤波器ALF和双边滤波器。
在存储器250的DPB中发送(修改)的重构图片可以被用作帧间预测器261中的参考图片。存储器250可以存储已经从其导出(或解码)当前图片内的运动信息的块的运动信息和/或已经重构的图片内的块的运动信息。所存储的运动信息可以被发送到帧间预测器261，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片内的重构块的重构样本，并且可以将它们发送到帧内预测器262。
在本公开中，在编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以被分别相同地或以对应的方式应用于解码设备200的滤波器240、帧间预测器261和帧内预测器262。
块分割
可以基于各种详细技术来执行根据本文献的视频/图像编码方法。各种详细技术被示意性地描述如下。对于本领域技术人员显而易见的是，以下技术可以与已经描述的和/或随后将描述的视频/图像编码/解码过程中的诸如预测、残差处理((逆)变换、(反)量化)、语法元素编码、滤波和分割/划分这样的相关过程关联。
可以在编码设备的图像划分器110中执行根据本文献的块分割过程。分割相关信息可以在熵编码器190中被(编码)处理，并且以比特流形式发送到解码设备。解码设备的熵解码器210可以基于从比特流获得的分割相关信息来导出当前图片的块分割结构，并且可以基于块分割结构来执行一系列过程(例如，预测、残差处理、块重构和环路内滤波)。
将图片分割成CTU
图片可以被分割成一系列编码树单元(CTU)。CTU可以对应于编码树块(CTB)。另选地，CTU可以包括亮度样本的编码树块和对应色度样本的两个编码树块。换句话说，相对于包括三个样本阵列的图片，CTU可以包括亮度样本的N×N块和色度样本的两个对应块。
用于编码和预测的CTU的最大允许大小可以不同于用于变换的CTU的最大允许大小。例如，CTU内的亮度块的最大允许大小可以是128×128。
使用树结构对CTU进行分割
可以基于四叉树(QT)结构来分割CTU。四叉树结构可以被称为四叉树结构。这是为了并入各种本地特性。此外，在文献中，可以基于除了四叉树之外还包括二叉树(BT)和三叉树(TT)的多类型树结构划分来分割CTU。下文中，QTBT结构可以包括基于四叉树和二叉树的分割结构。QTBTTT可以包括基于四叉树、二叉树和三叉树的分割结构。另选地，QTBT结构可以包括基于四叉树、二叉树和三叉树的分割结构。在编码树结构中，CU可以具有正方形形状或矩形形状。CTU可以被分割为四叉树结构。此后，四叉树结构的叶节点可以被多类型树结构附加地分割。
图3是应用了本公开的实施方式，并且是示出了多类型树结构的示例的视图。
在本公开的一个实施方式中，多类型树结构可以包括四种分割类型，如图3中所示。这4种分割类型可以包括垂直二元分割SPLIT_BT_VER、水平二元分割SPLIT_BT_HOR、垂直三元分割SPLIT_TT_VER和水平三元分割SPLIT_TT_HOR。多类型树结构的叶节点可以被称为CU。这些CU可以被用于预测和变换过程。在本文献中，通常，CU、PU或TU可以具有相同的块大小。在这种情况下，如果最大支持的变换长度小于CU的颜色分量的宽度或高度，则CU和TU可以具有不同的块大小。
图4是可以应用本公开的实施方式，并且是例示了具有嵌套的多类型树的四叉树结构的分割划分信息的信令机制的示图。
在这种情况下，CTU被当作四叉树的根进行处理，并且首先被分割为四叉树结构。每个四叉树叶节点可以被进一步分割成多类型树结构。在多类型树结构中，发信号通知第一标志(例如，mtt_split_cu_flag)来指示是否另外对对应节点进行分割。如果另外对对应节点进行分割，则可以发信号通知第二标志(例如，mtt_split_cu_verticla_flag)以指示分割方向。此后，可以发信号通知第三标志(例如，mtt_split_cu_binary_flag)以指示分割类型是二元分割还是三元分割。例如，可以基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag如同表1一样导出CU的多类型树分割模式(MttSplitMode)。
[表1]
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
图5是可以应用本公开的实施方式，，并且是例示了基于四叉树和嵌套的多类型树结构将CTU分割为多个CU的方法的示图。
在这种情况下，粗体块边缘指示四叉树分割，并且其余边缘指示多类型树分割。具有多类型树的四叉树分割可以提供内容适配的编码树结构。CTU可以对应于编码块(CB)。另选地，CU可以包括亮度样本的编码块和对应色度样本的两个编码块。以亮度样本为单元，CU的大小可以大于CTU，或者可以小于4×4。例如，在4:2:0颜色格式(或色度格式)的情况下，最大色度CB大小可以是64×64，并且最小色度CB大小可以是2×2。
在本文献中，例如，最大允许亮度TB大小可以是64×64，并且最大允许色度TB大小可以是32×32。如果基于树结构分割的CB的宽度或高度大于最大变换宽度或高度，则可以分割对应CB，直到自动地(或隐式地)满足水平和垂直方向上的TB大小约束为止。
此外，对于具有多类型树的四叉树编码树方案，可以将以下参数限定并标识为SPS语法元素。
-CTU大小：四叉树的根节点大小
-MinQTSize：最小允许四叉树叶节点大小
-MaxBtSize：最大允许二叉树根节点大小
-MaxTtSize：最大允许三叉树根节点大小
-MaxMttDepth：从四叉树叶中分割的多类型树的最大允许分层深度
-MinBtSize：最小允许二叉树叶节点大小
-MinTtSize：最小允许三叉树叶节点大小
例如，在具有多类型树的四叉树编码树结构的情况下，CTU大小可以被设置为128×128亮度样本和两个对应色度样本的64×64块(以4:2:0色度格式)。在这种情况下，MinOTSize可以被设置为16×16，MaxBtSize可以被设置为128×128，MaxTtSzie可以被设置为64×64，并且MinBtSize和MinTtSize(用于宽度和高度二者)可以被设置为4×4，并且MaxMttDepth可以被设置为4。可以向CTU应用四叉树分割，以生成四叉树叶节点。四叉树叶节点可以被称为叶QT节点。四叉树叶节点可以具有16×16大小(即，MinOTSize)至128×128大小(即，CTU大小)。如果叶QT节点为128×128，则可以不将其附加地分割成二叉树/三叉树。这样的原因是，尽管叶QT节点被分割，但是它超过了MaxBtsize和MaxTtszie(即，64×64)。在其它情况下，叶QT节点可以被附加地分割成多类型树。因此，叶QT节点是用于多类型树的根节点，并且叶QT节点的多类型树深度(mttDepth)值可以为0。如果多类型树深度达到MaxMttdepth(例如，4)，则可以不再考虑附加分割。如果多类型树节点的宽度等于MinBtSize并且小于或等于2×MinTtSize，则可以不再考虑附加水平分割。如果多类型树节点的高度等于MinBtSize并且小于或等于2×MinTtSize，则可以不再考虑附加垂直划分。
图6是可以应用本公开的实施方式，并且是例示了用于限制三叉树分割的方法的示图。
参照图6，为了使硬件解码器中能够有64×64亮度块和32×32色度流水线设计，在特定情况下可以约束TT分割。例如，如果亮度编码块的宽度或高度大于预设的特定值(例如，32、64)，则如图6中所示，可以约束TT分割。
在本公开中，编码树方案能支持亮度和色度块具有单独的块树结构。关于P切片和B切片，一个CTU内的亮度CTB和色度CTB可以被约束为具有相同的编码树结构。然而，相对于I切片，亮度块和色度块可以具有单独的块树结构。如果应用单独的块树模式，则可以基于特定的编码树结构将亮度CTB分割成CU。可以基于不同的编码树结构将色度CTB分割成色度CU。这可能意味着，I切片内的CU可以被配置有亮度分量的编码块或两个色度分量的编码块，并且P或B切片内的CU可以被配置有三种颜色分量的块。
在以上提到的“使用树结构对CTU进行分割”中，已经描述了具有多类型树的四叉树编码树结构，但是分割CU的结构不限于此。例如，BT结构和TT结构可以被解释为被包括在多分割树(MPT)结构中的概念，并且CU可以被解释为通过QT结构和MPT结构进行分割。在其中通过QT结构和MPT结构对CU进行分割的一个示例中，可以通过发信号通知包括指示QT结构的叶节点被分割成多少块的语法元素(例如，MPT_split_type)以及包括指示在垂直方向和水平方向中的哪一个上分割QT结构的叶节点的信息的语法元素(例如，MPT_split_mode)来确定分割结构。
在另一示例中，可以使用与QT结构、BT结构或TT结构的方法不同的方法来分割CU。即，与其中基于QT结构将深度较深的CU分割为深度较浅的CU的1/4大小，或者基于BT结构将深度较深的CU分割为深度较浅的CU的1/2大小，或者基于TT结构将深度较深的CU分割为深度较浅的CU的1/4或1/2大小的情况不同，深度较深的CU可以被分割为深度较浅的CU的1/5、1/3、3/8、3/5、2/3或5/8大小。分割CU的方法不限于此。
如果树节点块的一部分超过底或右图片边界，则可以约束对应的树节点块，以使得所有编码CU的所有样本都位于图片边界内。在这种情况下，例如，可以应用以下的划分规则。
-如果树节点块的一部分超过底图片边界和右图片边界二者，
-如果块是QT节点并且块的大小大于最小QT大小，则强制以QT分割模式对块进行分割。
-否则，强制以SPLIT_BT_HOR模式对块进行分割
-否则，如果树节点块的一部分超过底图片边界，
-如果块是QT节点，并且块的大小大于最小QT大小，并且块的大小大于最大BT大小，则强制以QT分割模式对块进行分割。
-否则，如果块是QT节点，并且块的大小大于最小QT大小并且块的大小小于或等于最大BT大小，则强制以QT分割模式或SPLIT_BT_HOR模式对块进行分割。
-否则(块是BTT节点或者块的大小小于或等于最小QT大小)，则强制以SPLIT_BT_HOR模式对块进行分割。
-否则，如果树节点块的一部分超过右图片边界，
-如果块是QT节点，并且块的大小大于最小QT大小，并且块的大小大于最大BT大小，则强制以QT分割模式对块进行分割。
-否则，如果块是QT节点，并且块的大小大于最小QT大小并且块的大小小于或等于最大BT大小，则强制以QT分割模式或SPLIT_BT_VER模式对块进行分割。
-否则(块是BTT节点或者块的大小小于或等于最小QT大小)，则强制以SPLIT_BT_VER模式对块进行分割。
此外，上述具有多类型树的四叉树编码块结构能提供非常灵活的块分割结构。由于多类型树所支持的分割类型，导致取决于不同的分割模式，可能潜在地获得相同的编码块结构结果。通过约束这些冗余分割图案的出现，可以减少分割信息的数据量。参照图7对此进行描述。
图7是可以应用本公开的实施方式，并且是例示了可能在二进制树分割和三叉树分割中出现的冗余分割图案的示图。
如图7中例示的，在一个方向上两级的连续二元分割具有与三元分割之后用于中心分割的二元分割相同的编码块结构。在这种情况下，可以约束用于三叉树分割的中心分割的二叉树分割(在给定方向上)。可以向所有图片的CU应用这种约束。如果这种特定分割受到约束，则可以通过并入这种约束情况来修改对应语法元素的信令。因此，可以减少发信号通知的用于分割的位数。例如，如图7中例示的示例中一样，如果用于CU的中心分割的二元树分割受到约束，则不发信号通知指示分割是二元分割还是三元分割的mtt_split_cu_binary_flag语法元素，并且对应值可以被解码器解释为0。
预测
为了恢复被执行解码的当前处理单元，可以使用当前图片或包括当前处理单元的其它图片的被解码部分。
仅将当前图片用于重构(即，仅执行图片内预测)的图片(切片)可以被称为帧内图片或I图片(切片)。使用至少一个运动向量和参考索引来预测相应单元的图片(切片)可以被称为预测图片或P图片(切片)。使用多达两个运动向量和两个参考索引的图片(切片)可以被称为双预测图片或B图片(切片)。
帧内预测是指从解码后的相同图片(或切片)的数据元素(例如，样本值等)导出当前处理块的预测方法。也就是说，它意指通过参照当前图片中的重构区域预测当前处理块的像素值的方法。
下文中，将更详细地描述帧间预测。
帧间预测(或图片间预测)
帧间预测是指基于除了当前图片之外的图片的数据元素(例如，样本值或运动向量)导出当前处理块的预测方法。即，它意指通过参照除了当前图片之外的另一重构图片中的重构区域预测当前处理块的像素值的方法。
帧间预测(或图片间预测)是移除图片之间存在的冗余的技术，并且主要是通过运动估计和运动补偿执行的。
本公开描述了以上参照图1和图2描述的帧间预测方法的详细技术。在解码器的情况下，可以描述随后描述的图10的基于帧间预测的视频/图像解码方法以及图11的解码设备中的帧间预测单元。另外，相对于编码器，随后可以描述图8的基于帧间预测的视频/图像编码方法和图9的编码设备中的帧间预测单元。另外，通过图8和图9编码的数据可以以比特流的形式存储。
编码/解码设备的预测单元可以通过基于块执行帧间预测来导出预测样本。帧间预测可以表示以取决于除了当前图片之外的图片的数据元素(例如，样本值、运动信息等)的方式而导出的预测。当向当前块应用帧间预测时，可以基于参考图片索引所指示的参考图片上的运动向量所指定的参考块(参考样本阵列)来导出当前块的预测块(预测样本阵列)。
此时，为了减少在帧间预测模式下传输的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单元来预测当前块的运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。
在应用帧间预测时，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片与包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被用诸如共同定位参考块或colCU这样的名称表示，并且包括时间邻近块的参考图片可以被称为共同定位图片colPic。例如，可以基于当前块的邻近块来构造运动信息候选列表，并且可以发信号通知指示选择(使用)哪个候选来导出当前块的运动向量和/或参考图片索引的标志或索引信息。
可以基于各种预测模式来执行帧间预测。例如，在跳变模式和合并模式下，当前块的运动信息可以与所选择的邻近块的运动信息相同。在跳变模式下，与合并模式不同，不能发送残差信号。在运动向量预测MVP模式下，所选择的邻近块的运动向量被用作运动向量预测项，并且可以发信号通知运动向量差。在这种情况下，可以使用运动向量预测项和运动向量差之和来导出当前块的运动向量。
图8和图9分别是例示了根据本公开的实施方式的基于帧间预测的视频/图像编码方法和根据本公开的实施方式的编码设备中的帧间预测单元的示图。
参照图8和图9，可以由编码设备的帧间预测器180执行S801，并且可以由编码设备的残差处理单元执行S802。具体地，可以由编码设备的减法器115执行S802。在S803中，由帧间预测单元180导出预测信息，并且可以由熵编码器190对预测信息进行编码。在S803中，由残差处理单元导出残差信息，并且可以由熵编码器190对残差信息进行编码。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本量化后的变换系数的信息。
如上所述，可以通过编码设备的变换器120将残差样本导出为变换系数，并且可以将变换系数导出为通过量化器130量化的量化系数。可以在熵编码器190中通过残差编码过程对关于量化后的变换系数的信息进行编码。
编码设备100对当前块执行帧间预测(S801)。编码设备100可以导出当前块的帧间预测模式和运动信息，并且可以生成当前块的预测样本。在这种情况下，可以同时执行帧间预测模式确定、运动信息导出和预测样本生成过程，或者任一个过程都可以是在另一过程之前执行的。例如，编码设备100的帧间预测器180可以包括预测模式确定单元181、运动信息导出单元182和预测样本导出单元183。预测模式确定单元181可以确定当前块的预测模式。运动信息导出单元182可以导出当前块的运动信息。预测样本导出单元183可以导出当前块的预测样本。
例如，编码设备100的帧间预测器180可以通过运动估计针对与当前块相似的块搜索参考图片的给定区域(搜索区域)，并且可以导出相对于当前块具有最小差值或者给定参考或更小的差值的参考块。帧间预测器180可以基于参考块来导出指示参考块位于其中的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差来导出运动向量。编码设备100可以确定各种预测模式当中的应用于当前块的模式。编码设备可以将各种预测模式下的RD成本进行比较，并且可以确定用于当前块的最佳预测模式。
例如，如果向当前块应用跳变模式或合并模式时，编码设备100可以配置随后将描述的合并候选列表，并且可以导出合并候选列表中所包括的合并候选所指示的参考块当中的相对于当前块具有最小差值或者给定参考或更小的差值的参考块。在这种情况下，可以选择与导出的参考块关联的合并候选。可以生成指示所选择的合并候选的合并索引信息，并将其发信号通知给解码设备200。可以使用所选择的合并候选的运动信息来导出当前块的运动信息。
对于另一示例，如果向当前块应用(A)MVP模式时，编码设备可以配置随后将描述的(A)MVP候选列表，并且可以使用在(A)MVP候选列表中所包括的运动向量预测项(mvp)候选当中选择的mvp候选的运动向量作为当前块的mvp。在这种情况下，例如，可以使用指示通过运动估计而导出的参考块的运动向量作为当前块的运动向量。mvp候选当中的包括相对于当前块的运动向量具有最小差值的运动向量的mvp候选可以成为所选择的mvp候选。可以导出作为通过从当前块的运动向量中减去mvp而获得的差值的运动向量差(MVD)。在这种情况下，关于MVD的信息可以被发信号通知给解码设备200。此外，如果应用(A)MVP模式，则参考图片索引的值可以被配置为参考图片索引信息并且可以被分别发信号通知给解码设备。
编码设备100可以基于预测样本来导出残差样本(S802)。编码设备100可以通过当前块的原始样本与预测样本之间的比较来导出残差样本。
编码设备100对包括预测信息和残差信息的图像信息进行编码(S803)。编码设备可以以比特流形式输出编码后的图像信息。预测信息可以包括关于预测模式信息(例如，跳变标志、合并标志或模式索引)的信息和与运动信息相关的信息作为与预测过程相关的信息。与运动信息相关的信息可以包括作为用于导出运动向量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索引)。此外，与运动信息相关的信息可以包括关于MVD的信息和/或参考图片索引信息。
此外，与运动信息相关的信息可以包括指示是应用L0预测、L1预测还是双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本量化后的变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且被传输到解码设备，或者可以经由网络被传输到解码设备。
此外，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了在编码设备100中导出与在解码设备200中执行的预测结果相同的预测结果。因此，可以提高编码效率。因此，编码设备100可以将重构图片(或重构样本和重构块)存储在存储器中，并且可以使用它作为用于帧间预测的参考图片。如上所述，还可以向重构图片应用环路内滤波过程。
图10和图11分别是根据本公开的实施方式的基于帧间预测的视频/图像解码过程和解码设备内的帧间预测器。
参照图10和图11，解码设备200可以执行与在编码设备100中执行的操作对应的操作。解码设备200可以基于接收到的预测信息对当前块执行预测，并且可以导出预测样本。
S1001至S1003可以由解码设备的帧间预测器261执行，并且S1004的残差信息可以由解码设备的熵解码器210从比特流中获得。解码设备的残差处理单元可以基于残差信息来导出当前块的残差样本。具体地，残差处理单元的反量化器220通过基于以残差信息为基础导出的量化后的变换系数执行反量化来导出变换系数。残差处理单元的逆变换器230可以对变换系数执行逆变换，以导出当前块的残差样本。可以由解码设备的加法器235或恢复单元来执行S1005。
具体地，解码设备200可以基于接收到的预测信息来确定针对当前块的预测模式(S1001)。解码设备200可以基于预测信息内的预测模式信息来确定向当前块应用哪种帧间预测模式。
例如，解码设备200可以基于合并标志来确定是向当前块应用合并模式还是(A)MVP模式。另选地，解码设备200可以基于模式索引来选择各种帧间预测模式候选中的一种。帧间预测模式候选可以包括跳变模式、合并模式和/或(A)MVP模式，或者可以包括随后将描述的各种帧间预测模式。
解码设备200基于所确定的帧间预测模式来导出当前块的运动信息(S1002)。例如，如果向当前块应用跳变模式或合并模式，则解码设备200可以配置随后将描述的合并候选列表，并且选择合并候选列表中所包括的合并候选中的一个。可以基于上述选择信息(合并索引)来执行选择。可以根据所选择的合并候选的运动信息来导出当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。
对于另一示例，如果向当前块应用(A)MVP模式，则解码设备200可以配置随后将描述的(A)MVP候选列表，并且可以使用在(A)MVP候选列表中所包括的运动向量预测项(mvp)候选当中选择的mvp候选的运动向量作为当前块的mvp。可以基于选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，解码设备200可以基于关于MVD的信息来导出当前块的MVD。解码设备可以基于当前块的mvp和MVD来导出当前块的运动向量。此外，解码设备可以基于参考图片索引信息来导出当前块的参考图片索引。关于当前块的参考图片列表内的参考图片索引所指示的图片可以被导出为针对当前块的帧间预测所参考的参考图片。
此外，如随后将描述的，可以在没有候选列表配置的情况下导出当前块的运动信息。在这种情况下，可以根据随后将描述的预测模式下公开的过程来导出当前块的运动信息。在这种情况下，可以省略诸如上述候选列表配置这样的候选列表配置。
解码设备200可以基于当前块的运动信息来生成针对当前块的预测样本(S1003)。在这种情况下，解码设备200可以基于当前块的参考图片索引来导出参考图片，并且可以导出通过当前块的运动向量在参考图片上指示的当前块的预测样本。在这种情况下，如随后将描述的，可以根据情况对当前块的一些或所有预测样本进一步执行预测样本过滤过程。
例如，解码设备200的帧间预测器261可以包括预测模式确定单元261、运动信息导出单元262和预测样本导出单元263。解码设备200可以基于从预测模式确定单元261接收到的预测模式信息来确定当前块的预测模式，可以基于与从运动信息导出单元262接收到的运动信息相关的信息来导出当前块的运动信息(运动向量和/或参考图片索引)。预测样本导出单元263可以导出当前块的预测样本。
解码设备200基于接收到的残差信息来生成针对当前块的残差样本(S1004)。解码设备200可以基于预测样本和残差样本来生成针对当前块的重构样本，并且可以基于重构样本来生成重构图片(S1005)。此后，如上所述，还可以向重构图片应用环路内滤波过程。
如上所述，帧间预测过程可以包括帧间预测模式确定步骤、根据所确定的预测模式的运动信息导出步骤以及基于所导出的运动信息的预测执行(预测样本生成)步骤。
确定帧间预测模式
可以使用各种帧间预测模式来预测图片中的当前块。例如，可以使用诸如合并模式、跳变模式、MVP模式和仿射模式这样的各种模式。解码器侧运动向量修正(DMVR)模式、自适应运动向量分辨率(AMVR)模式等可以被进一步用作附加模式。仿射模式可以被称为仿射运动预测模式。MVP模式可以被称为高级运动向量预测(AMVP)模式。
可以从编码设备向解码设备发信号通知指示当前块的帧间预测模式的预测模式信息。预测模式信息可以被包括在比特流中并且被解码设备接收。预测模式信息可以包括指示多种候选模式中的一种的索引信息。另选地，可以通过标志信息的分级信令来指示帧间预测模式。
在这种情况下，预测模式信息可以包括一个或更多个标志。例如，可以进一步发信号通知标志，以便通过发信号通知跳变标志来指示是否应用跳变模式，在不应用跳变模式时通过发信号通知合并标志来指示是否应用合并模式，并且在不应用合并模式时或者为了进行附加识别而指示应用MVP模式。仿射模式可以被作为独立模式发信号通知，或者可以被作为取决于合并模式或MVP模式的模式发信号通知。例如，仿射模式可以被配置为合并候选列表或MVP候选列表中的一个，如随后将描述的。
根据帧间预测模式导出运动信息
编码设备100或解码设备200可以使用当前块的运动信息来执行帧间预测。编码设备100可以根据运动估计过程来导出当前块的最佳运动信息。例如，编码设备100可以在参考图片内所确定的搜索范围内以分数像素为单元使用当前块的原始图片内的原始块来搜索具有相似相关性的参考块。因此，编码设备可以导出运动信息。可以以基于相位的样本值之间的差值为基础来导出块的相似度。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的SAD(绝对差值之和)来计算块的相似度。在这种情况下，可以基于在搜索区域内的具有最小SAD的参考块来导出运动信息。可以基于帧间预测模式使用多种方法将导出的运动信息发信号通知给解码设备。
合并模式和跳变模式
图12是应用了本公开的实施方式，并且是用于说明在合并模式或跳变模式下使用的邻近块的视图。
如果应用合并模式，则不直接发送当前预测块的运动信息，并且使用邻近预测块的运动信息来导出当前预测块的运动信息。因此，编码设备100可以通过发送通知已经使用了合并模式的标志信息和通知已经使用了哪个邻近预测块的合并索引来指示当前预测块的运动信息。
编码设备100可以搜索用于导出当前预测块的运动信息的合并候选块，以便执行合并模式。例如，可以使用最多多达5个合并候选块，但是本公开不限于此。此外，可以在切片头或图块组头中传输最大数目的合并候选块，并且本公开不限于此。在搜索合并候选块之后，编码设备100可以生成合并候选列表，并且可以在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
本公开的实施方式提供了构造合并候选列表的合并候选块的各种实施方式。
例如，合并候选列表可以使用5个合并候选块。例如，可以使用4个空间合并候选和1个时间合并候选。
对于详细的示例，在空间合并候选的情况下，图12中例示的块可以被用作空间合并候选。
图13是例示了根据应用本公开的实施方式的配置合并候选列表的方法的流程图。
参照图13，编码设备(编码设备100或解码设备200)搜索当前块的空间邻近块，并且将导出的空间合并候选插入合并候选列表中(S1301)。例如，空间邻近块可以包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。在这种情况下，这是示例，并且除了空间邻近块之外，诸如右邻近块、下邻近块和右下邻近块这样的附加邻近块可以被进一步用作空间邻近块。编码设备可通过基于优先级搜索空间邻近块来检测可用块，并且可以将检测到的块的运动信息导出为空间合并候选。例如，编码设备100或解码设备200可以以A1、B1、B0、A0和B2的顺序搜索图11中例示的5个块，并且可以通过对可用候选依次编索引来配置合并候选列表。
编码设备搜索当前块的时间邻近块，并且将导出的时间合并候选插入合并候选列表中(S1302)。时间邻近块可以位于参考图片上，即，与当前块所处的当前图片不同的图片上。时间邻近块所处的参考图片可以被称为共同定位图片或col图片。可以按col图片上的当前块的共同定位块的右下角邻近块和右下中心块的序列中搜索时间邻近块。
此外，如果应用运动数据压缩，则特定运动信息可以作为针对每个给定存储单元的代表性运动信息被存储在col图片中。在这种情况下，不必在给定存储单元内存储所有块的运动信息，因此可以获得运动数据压缩效果。在这种情况下，例如，给定存储单元可以被预定为16×16样本单元或8×8样本单元，或者针对给定存储单元的大小信息可以被从编码设备100发信号通知给解码设备200。如果应用运动数据压缩，则可以用时间邻近块所处的给定存储单元的代表性运动信息来替换时间邻近块的运动信息。
即，在这种情况下，在实现方式方面，在基于并非时间邻近块的坐标所处的预测块的时间邻近块的坐标(左上样本位置)按给定值执行算术右移位之后，可以基于覆盖算术左移位后的位置的预测块的运动信息来导出时间合并候选。例如，如果给定的存储单元是2n×2n样本单元，则假定时间邻近块的坐标是(xTnb，yTnb)，位于((xTnb>>n)<<n),(yTnb>>n)<<n))(即，修改后的位置)的预测块的运动信息可以被用于时间合并候选。
具体地，例如，如果给定存储单元是16×16样本单元，则假定时间邻近块的坐标是(xTnb，yTnb)，位于((xTnb>>4)<<4),(yTnb>>4)<<4))(即，修改后的位置)的预测块的运动信息可以被用于时间合并候选。另选地，例如，如果给定存储单元是8×8样本单元，则假定时间邻近块的坐标是(xTnb，yTnb)，位于(xTnb>>3)<<3),(yTnb>>3)<<3))(即，修改后的位置)的预测块的运动信息可以被用于时间合并候选。
编码设备可以检查当前合并候选数目是否小于最大合并候选数目(S1303)。最大合并候选数目可以是预先定义的，或者可以被从编码设备100发信号通知给解码设备200。例如，编码设备100可以生成关于最大合并候选数目的信息，可以对该信息进行编码，并且可以以比特流形式将该信息发送到解码设备200。如果最大合并候选数目已满，则可以不执行候选添加过程。
如果作为检查的结果，当前合并候选数目小于最大合并候选数目，则编码设备将所添加的合并候选插入合并候选列表中(S1240)。例如，所添加的合并候选可以包括ATMVP(自适应时间运动向量预测)，组合的双向预测合并候选(如果当前切片的切片类型为B类型)和/或零向量合并候选。
如果作为检查的结果，当前合并候选数目不小于最大合并候选数目，则编码设备可以终止合并候选列表的配置。在这种情况下，编码器可以基于速率失真(RD)成本在构造合并候选列表的合并候选当中选择最佳合并候选，并且可以向解码器发信号通知指示所选择的合并候选的选择信息(例如，合并索引)。解码器可以基于合并候选列表和选择信息来选择最佳合并候选。
所选择的合并候选的运动信息可以被用作当前块的运动信息。如上所述，可以基于当前块的运动信息来导出当前块的预测样本。编码器可以基于预测样本来导出当前块的残差样本，并且可以向解码器发信号通知与残差样本相关的残差信息。解码器可以基于以残差信息和预测样本为基础导出的残差样本来生成重构样本。如上所述，解码器可以基于重构样本来生成重构图片。
如果应用跳变模式，则可以使用与应用合并模式相同的方法来导出当前块的运动信息。在这种情况下，如果应用跳变模式，则省略对应块的残差信号。因此，预测样本可以被直接用作重构样本。
MVP模式
图14是例示了根据应用本公开的实施方式的构造合并候选列表的方法的流程图。
如果应用运动向量预测(MVP)模式，则可以基于重构的空间邻近块(例如，图12中描述的邻近块)的运动向量和/或与时间邻近块(或Col块)对应的运动向量来生成运动向量预测项(mvp)候选列表。即，可以使用重构的空间邻近块的运动向量和/或时间邻近块的运动向量作为运动向量预测项候选。
关于预测的信息可以包括指示列表中所包括的运动向量预测项候选当中选择的最佳运动向量预测项候选的选择信息(例如，MVP标志或MVP索引)。在这种情况下，预测器可以使用选择信息来从运动向量候选列表中所包括的运动向量预测项候选当中选择当前块的运动向量预测项。编码设备100的预测器可以计算当前块的运动向量与运动向量预测项之间的运动向量差(MVD)，可以对MVD进行编码并且可以以比特流形式输出编码后的MVD。即，MVD可以被计算为通过从当前块的运动向量中减去运动向量预测项而得到的值。在这种情况下，解码设备的预测器可以获取关于预测的信息中所包括的运动向量差，并且可以通过将运动向量差与运动向量预测项相加来导出当前块的运动向量。解码设备的预测器可以根据关于预测的信息来获得或导出指示参考图片的参考图片索引。例如，可以如图14中例示地配置运动向量预测项候选列表。
仿射运动预测
图15例示了根据本公开的实施方式的运动模型的示例。
在常规的图像压缩技术(例如，高效视频编码(HEVC))中，使用一个运动向量来表示编码块的运动。尽管可以针对每个块使用一个运动向量来表示块单元的最佳运动，但是它可以不是每个图片元素的实际最佳运动。因此，如果以像素元素为单元确定最佳运动向量，则能提高编码效率。因此，本公开的实施方式描述了使用多运动模型对视频信号进行编码或解码的运动预测方法。具体地，可以使用运动向量在2至4个控制点处以块或子块单元的每个图片元素单元中表示运动向量。使用多个控制点的运动向量的预测方案可以被称为仿射运动预测或仿射预测。
根据本公开的实施方式的仿射运动模型可以表示例诸如图14中例示的运动模型这样的4种运动模型。表示可以由仿射运动模型表示的运动当中的三种运动(平移、缩放和旋转)的仿射运动模型被称为相似(或简化)仿射运动模型。在描述本公开的实施方式中，为了描述的方便，基本上描述了相似(或简化)仿射运动模型，但是本公开不限于此。
图16例示了根据本公开的实施方式的用于仿射运动预测的控制点运动向量的示例。
如图16中所示，在仿射运动预测中，可以使用两控制点运动向量(CPMV)对v_0和v_1来确定块中所包括的图片元素位置(或子块)的运动向量。在这种情况下，运动向量集合可以被称为仿射运动向量场(MVF)。在这种情况下，可以使用式1来确定仿射运动向量场。
[式1]
Figure BDA0002655053360000291
在式1中,v_0(v_0＝{v_0x,v_0y})指示在当前块1300的左上位置的第一控制点处的运动向量CPMV0。v_1(v_1＝{v_1x,v_1y})指示当前块1300的右上位置的第二控制点处的运动向量CPMV1。此外，w指示当前块1300的宽度。v(v＝{v_x,v_y})指示在{x，y}位置处的运动向量。可以使用式1来导出子块(或图片元素)单元的运动向量。在一个实施方式中，运动向量精度可以被四舍五入为1/16精度。
图17例示了已经应用了根据本公开的实施方式的仿射运动预测的块的每个子块的运动向量的示例。
参照图17，在编码或解码过程中，可以以图片元素为单元或者以块为单元确定仿射运动向量场(MVF)。即，在仿射运动预测中，可以以图片元素为单元或者以子块为单元导出当前块的运动向量。
如果以图片元素为单元确定仿射运动向量场，则可以基于每个图片元素值获得运动向量。在块单元的情况下，可以基于块的中心图片元素值来获得对应块的运动向量。在该文献中，假定如图17中一样，以4×4块为单元确定仿射运动向量场(MVF)。在这种情况下，这是为了便于描述，并且本公开的实施方式不限于此。图17例示了编码块被配置有16×16样本并且以4×4大小的块为单元确定仿射运动向量场(MVF)的情况的示例。
仿射运动预测可以包括仿射合并模式(或AF_MERGE)和仿射帧间模式(或AF_INTER)。AF_INTER模式可以包括使用基于4个参数的运动模型的AF_4_INTER模式和使用基于6个参数的运动模型的AF_6_INTER模式。
仿射合并模式
AF_MERGE基于被编码为仿射运动预测的邻近块的仿射运动模型来确定控制点运动向量(CPMV)。在搜索序列中被仿射编码的邻近块可以用于AF_MERGE。当一个或更多个邻近块被编码为仿射运动预测时，当前块可以被编码为AF_MERGE。
即，如果应用仿射合并模式，则可以使用邻近块的CPMV来导出当前块的CPMV。在这种情况下，邻近块的CPMV可以在没有任何改变的情况下用作当前块的CPMV，并且可以基于邻近块的大小和当前块的大小来修改邻近块的CPMV，并且可以使用其作为当前块的CPMV。
图18例示了根据本公开的实施方式的在仿射合并模式下用于仿射运动预测的邻近块的示例。
在仿射合并(AF_MERGE)模式下，编码器可以执行如以下过程中的编码。
步骤1：按字母顺序对当前编码块1800的邻近块A至E 1810、1820、1830、1840和1850进行扫描，并且将首先基于扫描序列根据仿射预测模式进行编码的块确定为仿射合并(AF_MERGE)的候选块
步骤2：使用所确定的候选块的控制点运动向量(CPMV)来确定仿射运动模型
步骤3：基于候选块的仿射运动模型来确定当前块1800的控制点运动向量(CPMV)，并且确定当前块1800的MVF
图19例示了使用已经应用了根据本公开的实施方式的仿射运动预测的邻近块对其执行仿射运动预测的块的示例。
例如，如图19中一样，如果已经根据仿射模式对块A 1920进行了编码，则在块A1920被确定为候选块之后，可以使用块A 1920的控制点运动向量(CPMV)(例如，v2和v3)来导出仿射运动模型，并且可以确定当前块1900的控制点运动向量(CPMV)v0和v1。可以基于当前块1900的控制点运动向量(CPMV)来确定当前块1900的仿射运动向量场(MVF)，并且可以执行编码。
图20是用于描述根据本公开的实施方式的使用邻近仿射编码块来生成合并候选列表的方法的示图。
参照图20，如果使用仿射合并候选来确定CPMV对，则可以使用诸如图20中例示的候选这样的候选。在图20中，假定候选列表的扫描序列已经被设置为A、B、C、D和E。在这种情况下，本公开不限于此，并且各种序列可以是预设的。
在实施方式中，如果根据在邻近块(即，A、B、C、D、E)中可用的仿射模式(或仿射预测)编码的候选(下文中被称为仿射候选)的数目为0，则当前块的仿射合并模式可以被跳变。如果可用仿射候选的数目为1个(例如，A)，则可以使用对应候选的运动模型来导出当前块的控制点运动向量(CPMV_0和CPMV_1)。在这种情况下，可以不需要指示对应候选的索引(或对其进行编码)。如果可用仿射候选的数目为2个或更多个，则扫描序列上的两个候选可以被配置为AF_MERGE的候选列表。在这种情况下，可以发信号通知诸如指示在候选列表内选择的候选的索引这样的候选选择信息。选择信息可以是标志或索引信息，并且可以被称为AF_MERGE_flag或AF_merge_idx。
在本公开的实施方式中，可以基于子块的大小对当前块执行运动补偿。在这种情况下，导出仿射块(即，当前块)的子块大小。如果子块的宽度和高度中的每一个都大于4个亮度样本，则可以导出每个子块的运动向量，并且可以对子块执行基于DCT-IF的运动补偿(针对亮度的1/16pel和针对色度的1/32pel)。如若不然，则可以对所有仿射块执行基于增强型双线性插值滤波器的运动补偿。
在本公开的实施方式中，如果合并/跳变标志为真并且CU的宽度和高度二者大于或等于8，则以CU级，通过指示是否使用仿射合并模式比特流发信号通知仿射标志。当CU被编码为AF_MERGE时，发信号通知最大值为“5”的合并候选索引，以指定针对仿射合并候选列表中的CU使用运动信息候选。
图21和图22是用于描述根据本公开的实施方式的使用通过仿射预测编码的邻近块来构造仿射合并候选列表的方法的示图。
参照图21，通过以下步骤来配置仿射合并候选列表。
1)插入基于模型的仿射候选
基于模型的仿射候选意指候选是从根据仿射模式编码的有效邻近重构块导出的。如图21中例示的，候选块的扫描顺序是从左A、上B、右上C和左下D到左上E。
如果以6参数仿射模式对邻近左下块A进行编码，则获得包括块A的CU的左上角、右上角和左下角的运动向量(v_4,v_5,v_6)。根据6参数仿射模型，基于运动向量(v_4,v_5和v_6)来计算当前块的左上角的运动向量(v_0,v_1,v_2)。
如果以4参数仿射模式对邻近左下块A进行编码，则获得包括块A的CU的左上角和右上角的运动向量(v_4,v_5)。根据4参数仿射模型，基于运动向量(v_4,v_5)来计算当前块的左上角的运动向量(v_0,v_1)。
2)插入基于控制点的仿射候选
参照图21，基于控制点的候选意指通过组合控制点的邻近运动信息来配置候选。
首先，从图21中例示的所指定的空间邻近块和时间邻近块导出控制点的运动信息。Cp_k(k＝1、2、3、4)表示第k个控制点。此外，A、B、C、D、E、F和G是用于预测CP_k(k＝1、2、3)的空间位置，并且H是用于预测CP4的时间位置。
CP_1、CP_2、CP_3和CP_4的坐标分别为(0,0)、(W,0)、(H,0)和(W,H)。在这种情况下，W和H是当前块的宽度和高度。
基于以下优先级获得每个控制点的运动信息。
相对于CP_1，检查优先级为A→B→C，并且如果A可用，则使用A。如若不然并且如果B可用，则使用B。如果A和B二者都不可用，则使用C。如果这三个候选都不可用，则不能获得CP_1的运动信息。
相对于CP_2，检查优先级为E→D。
相对于CP_3，检查优先级为G→F。
相对于CP_4，使用H。
其次，使用控制点的组合来配置运动模型。
为了在4参数仿射模型中计算变换参数，必须使用两个控制点的运动向量。这两个控制点可以选自以下6个组合{CP_1,CP_4}、{CP_2,CP_3}、{CP_1,CP_2}、{CP_2,CP_4}、{CP_1,CP_3}和{CP_3,CP_4}中的一个。例如，在构造4参数仿射运动模型时使用CP_1和CP_2控制点被标记为“仿射(CP_1,CP_2)”。
为了在6参数仿射模型中计算变换参数，必须使用三个控制点的运动向量。这三个控制点可以选自以下4个组合{CP_1,CP_2,CP_4}、{CP_1,CP_2,CP_3}、{CP_2,CP_3,CP_4}和{CP_1,CP_3,CP_4}中的一个。例如，在构造6参数仿射运动模型时使用CP_1、CP_2和CP_3控制点被标记为“仿射(CP_1,CP_2,CP_3)”。
此外，在本公开的实施方式中，如果在仿射合并模式下存在仿射合并候选，则这可以始终被认为是6参数仿射模式。
仿射帧间模式
图23例示了根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
参照图23，仿射运动预测可以包括仿射合并模式(或AF_MERGE)和仿射帧间模式(或AF_INTER)。在仿射帧间模式(AF_INTER)下，在确定2控制点运动向量预测(CPMVP)和CPMV之后，与差值相对应的控制点运动向量差(CPMVD)可以被从编码器发送到解码器。仿射帧间模式(AF_INTER)的详细编码过程可以与下述的详细编码过程相同。
步骤1：确定两个CPMVP对候选
步骤1.1：确定最多12个CPMVP候选组合(参照式2)
[式2]
{(v0，v1，v2)|v0＝{vA，vB，vc}，v1＝{vD，vE}，v2＝{vF，vG}}
在式2中，v_0指示当前块2300的左上控制点2310处的运动向量CPMV0。v_1指示当前块2300的右上控制点2311处的运动向量CPMV1。v_2指示当前块2300左下侧的控制点2312处的运动向量CPMV2。v_A指示与当前块2300的左上控制点2310的左上方邻近的邻近块A2320的运动向量。v_B指示与当前块2300的左上控制点2310的上方邻近的邻近块B 2322的运动向量。v_C指示与当前块2300的左上控制点2310的左方邻近的邻近块C 2324的运动向量。v_D是与当前块2300的右上控制点2311的上方邻近的邻近块D 2326的运动向量。v_E指示与当前块2300的右上控制点2311的右上方邻近的邻近块E 2328的运动向量。v_F指示与当前块2300的左下控制点2312的左方邻近的邻近块F 2330的运动向量。v_G指示与当前块2300的左下控制点2312的左下方邻近的邻近块G 2332的运动向量。
步骤1.2：根据差值(DV)小的值对CPMVP候选组合进行排序，并且使用前两个候选(参照下式3)
[式3]
DV＝|(v1x-v0x)*h-(v2y-v0y)*w|+|(v1y-v0y)*h+(v2x-v0x)*w|
v_0x指示当前块2300的左上控制点2310处的运动向量(V0或CPMV0)的x轴元素。v_1x指示当前块2300的右上控制点2311处的运动向量(V_1或CPMV_1)的x轴元素。v_2x指示当前块2300的左下控制点2312处的运动向量(V_2或CPMV_2)的x轴元素。v_0y指示当前块2300的左上控制点2310处的运动向量(V_0或CPMV_0)的y轴元素。v_1y指示当前块2300的右上控制点2311处的运动向量(V_1或CPMV_1)的y轴元素。v_2y指示当前块2300的左下控制点2312处的运动向量(V_2或CPMV_2)的y轴元素。w指示当前块2300的宽度。h指示当前块2300的高度。
步骤2：当控制点运动向量预测项(CPMVP)对候选小于2时，使用AMVP候选列表
步骤3：确定两个候选中的每一个的控制点运动向量预测项(CPMVP)，并且通过将RD成本与CPMV进行比较来最佳地选择值较小的候选。
步骤4：发送与最佳候选对应的索引和控制点运动向量差(CPMVD)
在本公开的实施方式中，提供了在AF_INTER下构造CPMVP候选的过程。与AMVP相同地，候选的数目为2，并且发信号通知指示候选列表的位置的索引。
构造CPMVP候选列表的过程如下。
1)通过扫描邻近块来检查是否将邻近块编码为仿射运动预测。如果经扫描的块被编码为仿射预测，则根据经扫描的邻近块的仿射运动模型导出当前块的运动向量对，直到候选的数目变为2。
2)如果候选的数目小于2，则执行候选配置过程。此外，在本公开的实施方式中，使用4参数(2控制点)仿射帧间模式来预测放大/缩小和旋转的运动模型以及内容。如图16中例示的，通过两个控制点运动向量来描述块的仿射运动场。
通过上式1描述了块的运动向量场(MVF)。
在常规技术中，高级运动向量预测(AMVP)模式对于扫描运动向量预测(MVP)索引和运动向量差(MVD)是必需的。当向本公开应用AMVP模式时，发信号通知仿射标志(affine_flag)以指示是否使用仿射预测。如果应用了仿射预测，则发信号通知inter_dir、ref_idx、mvp_index和两个MVD(mvd_x和mvd_y)的语法。生成包括两个仿射MVP对的仿射MVP对候选列表。使用发信号通知的mvp_index来选择这两个仿射MVP对中的一个。由两种类型的仿射MVP候选来生成仿射MVP对。一个是空间继承的仿射候选，而另一个是角导出的仿射候选。如果在仿射模式下对邻近CU进行编码，则可以生成空间继承的仿射候选。使用邻近仿射编码块的仿射运动模型来生成2控制点MVP对的运动向量。使用下式来导出空间继承的仿射候选的2控制点MVP对的MV。
[式4]
V0x＝VB0x+(VB2_x-VB0x)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1x-VB0x)*(posCurCU_X-posRefCU_X)/RefCU_width
[式5]
V0y＝VB0y+(VB2_y-VB0y)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1y-VB0y)*(posCurCU_X-posRefCU_X)/RefCU_width
如果V_B0、V_B1和V_B2可以用给定参考/邻近CU的左上MV、右上MV和左下MV替换，则(posCurCU_X,posCurCU_Y)是针对帧的左上样本的当前CU的左上样本的位置。(posRefCU_X,posRefCU_Y)是针对帧的左上样本的参考/邻近CU的左上样本的位置。
[式6]
V1x＝VB0x+(VB1x-VB0x)*CU_width/RefCU_width
[式7]
V1y＝VB0y+(VB1y-VB0y)*CU_width/RefCU_width
图24例示了根据本公开的实施方式的在仿射帧间模式下用于仿射运动预测的邻近块的示例。
参照图24，当MVP对的数目小于2时，使用角导出的仿射候选。如图24中例示的，使用相邻运动向量来导出仿射MVP对。相对于第一角导出的仿射候选，使用集合A(A0、A1和A2)中的第一可用MV和集合B(B0和B1)中的第一可用MV来配置第一MVP对。相对于第二角导出的仿射候选，使用集合A中的第一可用MV和集合C(C0和C1)中的第一可用MV来计算右上控制点的MV。集合A中的第一可用MV和计算出的右上控制点MV是第二MVP对。
在本公开的实施方式中，使用包括两个(三个)候选{mv_0,mv_1}({mv_0,mv_1,mv_2})的两个候选集来预测仿射运动模型的两个(三个)控制点。使用下式来计算给定的运动向量差(mvd_0、mvd_1、mvd_2)和控制点。
[式8]
Figure BDA0002655053360000361
Figure BDA0002655053360000362
Figure BDA0002655053360000363
图25和图26是例示了根据本公开的实施方式的在仿射帧间模式下使用邻近块的运动信息来导出运动向量候选的方法的示图。
在仿射候选列表中，仿射运动从空间邻近块(外推仿射候选)扩展，并且仿射候选列表附带有来自空间邻近块(虚拟仿射候选)的运动向量的组合。候选集被如下地设置：
1.从邻近块的仿射运动导出最多两个不同的仿射MV预测变量集。如图25中例示地检查邻近块A0、A1、B0、B1和B2。如果通过仿射运动模型对邻近块进行编码并且对应的参考帧与当前块的参考帧相同，则从邻近块的仿射模型导出当前块的两个控制点(对于4参数仿射模型)或三个控制点(对于6参数仿射模型)。
2.图26例示了用于生成虚拟仿射候选集的邻近块。邻近MV被分为三组：S_0＝{mv_A,mv_B,mv_C}、S_1＝{mv_D,mv_E}和S_2＝{mv_F,mv_G}。mv_0是S0中的与当前块的参考图片相同的参考图片的第一MV。mv_2是S1中的与当前块的参考图片相同的参考图片的第一MV。
如果给定了mv_0和mv_1，则可以通过下式9导出mv_2。
[式9]
Figure BDA0002655053360000364
在式9中，当前块大小为W×H。
如果给定了仅mv_0和mv_2，则可以通过下式10导出mv_1。
[式10]
Figure BDA0002655053360000365
在本公开的实施方式中，可以根据以下顺序来执行仿射帧间预测。
输入：仿射运动参数、参考图片样本
输出：CU的预测块
处理器
导出仿射块的子块大小
-如果子块的宽度和高度二者都大于4个亮度样本，
--相对于每个子块
-导出子块的运动向量
-对(被调用的)子块基于DCT-IF执行运动补偿(针对亮度的1/16pel和针对色度的1/32pel)
-如若不然，则对所有仿射块执行(调用)基于增强型双线性插值滤波器的补偿
此外，在本公开的实施方式中，如果合并/跳变标志为假并且CU的宽度和高度大于或等于8，则发信号通知仿射标志，以便指示是否将以CU级使用仿射帧间模式。如果以仿射帧间模式编对CU进行编码，则发信号通知模型标志，以便指示是向CU应用4参数仿射模型还是6参数仿射模型。如果模型标志为真，则应用AF_6_INTER模式(6参数仿射模型)并对MVD进行解析。如若不然，则应用AF_4_INTER模式(4参数仿射模型)，并且对两个MVD进行解析。
在AF_4_INTER模式下，类似于仿射合并模式，生成从通过仿射模式编码的邻近块外推的运动向量对，并且将其优先插入候选列表中。
此后，如果候选列表的大小小于4，则使用邻近块生成具有运动向量对{(v_0,v_1)|v0＝{v_A,v_B,v_c},v_1＝{v_D,v_E}}的候选。如图26中例示的，从块A、B和C的运动向量中选择v_0。基于参考列表、用于参考邻近块的POC、用于参考当前CU的POC和当前CU之间的关系对来自邻近块的运动向量进行缩放。此外，从邻近块D和E中选择v_1的接近方法相似。当候选列表大于4时，首先基于邻近运动向量(类似于候选对中的两个运动向量)的一致性对候选进行排序，并且保留前4个候选。
如果候选列表的数目小于4，则通过复制AMVP候选由运动向量对填充列表。
在AF_6_INTER模式下，类似于仿射合并模式，生成从在仿射合并模式下编码的邻近块外推的运动向量三元组(仿射运动向量三元组)，并且将其优先插入候选列表中。
此后，当候选列表的大小小于4时，使用邻近块生成包括运动向量对{(v_0,v_1,v_2)|v0＝{v_A,v_B,v_c},v1＝{v_D,v_E},v2＝{v_G,v_H}}的候选。如图26中例示的，从块A、B或C的运动向量中选择v_0。基于参考列表、用于参考邻近块的POC、用于参考当前CU的POC和当前CU之间的关系对来自邻近块的运动向量进行缩放。此外，从邻近块D和E中选择v_1的方法类似于从F和G中选择v_2。当候选列表大于4时，将基于邻近运动向量的一致性对候选进行排序(类似于三个运动向量中的两个运动候选)，并且保留前四个候选。
当候选列表的数目小于4时，由通过复制相应AMVP候选而配置的运动向量三元组来填充列表。
在导出当前CU的CPMV之后，基于仿射参数的数目，针对4参数仿射模型根据式11来生成当前CU的MVF，并且针对6参数仿射模型根据式12来生成当前CU的MVF。
[式11]
Figure BDA0002655053360000381
[式12]
Figure BDA0002655053360000382
在这种情况下，在式13中导出子块大小M×N，并且MvPre是运动向量部分精度(1/16)。
[式13]
Figure BDA0002655053360000383
在通过式12导出之后，如有必要，M和N需要被下调，以便使其成为w和h的因数。当M或N小于8时，应用WIF。如若不然，则应用基于子块的仿射运动补偿。
图27例示了根据本公开的实施方式的子块单元的仿射运动向量场的示例。
参照图27，为了导出每个M×N子块的运动向量，根据式11或式12计算诸如图27中例示的运动向量这样的每个子块的中心样本的运动向量。SHVC上采样内插滤波器被用于使用导出的运动向量来生成每个子块的预测。
可以使用具有与HEVC运动补偿内插滤波器相同的滤波器长度和归一化因子的SHVC上采样内插滤波器作为用于附加分数图素位置的运动补偿内插滤波器。色度分量运动向量精度为1/32样本。使用两个邻近1/16图素部分位置的滤波器的平均值来导出1/32图素部分位置的附加内插滤波器。
可以使用选择公共合并模式的相同方法在编码器侧选择AF_MERGE模式。优先地生成候选列表，并且在候选中选择最小RD成本以与其它帧间模式的RD成本进行比较。比较的结果是确定是否应用AF_MERGE。
对于AF_4_INTER模式，使用RD成本的检查来确定是否选择运动向量对候选作为当前CU的控制点运动向量预测(CPMVP)。在确定当前仿射CU的CPMVP之后，应用仿射运动估计，并且获得控制点运动向量(CPMV)。因此，确定了CPMV与CPMVP之间的差值。
在编码器侧，只有当在先前模式选择阶段将AF_MERGE或AF_4_INTER模式确定为最佳模式时，才识别AF_6_INTER模式。
在本公开的实施方式中，可以如下地执行仿射帧间(仿射AMVP)模式：
1)AFFINE_MERGE_IMPROVE：作为以仿射模式搜索第一邻近块的替代，改进是搜索具有最大编码单元大小的邻近块作为仿射合并候选。
2)AFFINE_AMVL_IMPROVE：仿射模式下的邻近块被添加到仿射AMVP候选列表中，类似于常见的AMVP过程。
生成仿射AMVP候选列表的详细过程如下。
首先，识别左下方的邻近块是否使用仿射运动模型并且具有与当前参考索引相同的参考索引。如果不存在邻近块，则使用相同方法来识别左邻近块。如果不存在邻近块，则识别在左下方的邻近块是否使用仿射运动模型并且具有不同的参考索引。如果存在邻近块，则缩放后的仿射运动向量被添加到参考图片列表。如果不存在邻近块，则使用相同方法来识别左邻近块。
其次，使用相同的方法来识别右上邻近块、上邻近块和左上邻近块。
在这些过程之后，如果检索到两个候选，则终止生成仿射AMVP候选列表的过程。如果未检索到两个候选，则执行JEM软件内的原始操作，以生成仿射AMVP候选列表。
3)AFFINE_SIX_PARAM：除了4参数仿射运动模型之外，还添加6参数仿射运动模型作为附加模型。
通过式14导出6参数仿射运动模型。
[式14]
Figure BDA0002655053360000391
因为在运动模型中存在6个参数，所以确定模型需要左上位置MV_0、右上位置MV_1和左下位置MV_2处的三个运动向量。可以使用与4参数仿射运动模型中的两个运动向量的方法相似的方法来确定三个运动向量。仿射模型合并始终被设置为6参数仿射运动模型。
4)AFFINE_CLIP_REMOVE：移除针对所有仿射运动向量的运动向量约束。进行运动补偿过程，以控制运动向量约束本身。
仿射运动模型
如上所述，在仿射帧间预测中，可以使用或考虑各种仿射运动模型。例如，仿射运动模型可以表示四个运动，如图15中一样。能够表示能够由仿射运动模型表示的运动当中的三种运动(平移、缩放和旋转)的仿射运动模型可以被称为相似(或简化)仿射运动模型。CPMV的数目和/或导出当前块的样本/子块单元MV的方法可以根据使用了仿射运动模型中的哪一种而不同。
在本公开的实施方式中，使用自适应的四个和六个参数运动模型。在AF_INTER中，除了JEM中存在的4参数运动模型之外，还提出了6参数运动模型。如同式15中地描述6参数仿射运动模型。
[式15]
x′＝a*x+b*y+c
y′＝d*x+e*y+f
在这种情况下，系数a、b、c、d、e和f是仿射运动参数。(x，y)和(x'，y')是仿射运动模型变换前后像素位置处的坐标。在视频编码中，为了使用仿射运动模型，如果CPMV0、CPMV1和CPMV2是CP0(左上)、CP1(右上)和CP2(左下)的MV，则可以如下地描述式16。
[式16]
Figure BDA0002655053360000401
在这种情况下，CPMV_0＝{v_0x,v_0y}、CPMV_1＝{v_1x,v_1y}、CPMV_2＝{v_2x,v_2y}并且w和h是每个编码块的宽度和高度。式16是该块的运动向量场(MVF)。
以CU级对标志进行解析，以便指示在邻近块被编码为仿射预测时是使用4参数仿射运动模型还是6参数仿射运动模型。如果不存在被编码为仿射预测的邻近块，则省略标志并且将4参数模型用于仿射预测。换句话说，在仿射运动模型中对一个或更多个邻近块进行编码的状况下，考虑6参数模型。关于CPMVD的数目，相对于4参数仿射运动模型和6参数仿射运动模型发信号通知两个或三个CPMVD中的每一个。
此外，在本公开的实施方式中，可使用图案匹配的运动向量修正。在JEM的图案匹配运动向量导出(PMMVD，下文中被简称为JEM编码器描述中的PMVD)中，解码器需要评估一些运动向量(MV)，以便确定用于CU级搜索的起始MV候选。在子CU级搜索中，除了最佳CU级MV之外，还添加了一些MV候选。解码器需要评估这些MV候选，以便搜索最佳MV。这需要大存储带。在所提出的图案匹配运动向量修正(PMVR)中，在JEM中采用PMVD中的模板匹配和双边匹配的概念。当选择了跳变模式或合并模式以指示PMVR是否可用时，发信号通知一个PMVR_flag。为了与PMVD相比有意义地减少存储带宽需求，生成了MV候选列表。如果应用PMVR，则显式地发信号通知起始MV候选索引。
使用合并候选列表生成过程来生成候选列表，但是排除了子CU合并候选，例如，仿射候选和ATMVP候选。对于双边匹配，仅包括单预测MV候选。双预测MV候选被分成两个单元预测MV候选。此外，还移除了相似的MV候选(具有小于预定义的阈值的MV差)。对于CU级搜索，从发信号通知的MV候选开始执行菱形搜索MV修正。
子CU级搜索仅在双边匹配合并模式下可用。所有子CU的子CU级搜索的搜索窗口与CU级搜索的搜索窗口相同。因此，在子CU级搜索中不必有附加的带宽。
为了在某种模式下修正MVP，还使用了模板匹配。在AMVP模式下，使用HEVC MVP生成过程来生成两个MVP，并且发信号通知一个MVP索引以选择这两个MVP中的一个。使用PMVR中的模板匹配来进一步修正所选择的MVP。如果应用了自适应运动向量分辨率(AMVR)，则在模板匹配修正之前，以对应的精度对MVP进行四舍五入。这种修正过程被称为图案匹配运动向量预测项修正(PMVPR)。在本文献的其余部分中，除非另有特别定义，否则PMVR包括模板匹配PMVR、双向匹配PMVR和PMVPR。
为了减少存储带宽要求，PMVR不可用于4×4、4×8和8×4个CU。为了减少所需附加存储带宽的量，等于64的CU区域的{模板匹配，双向匹配}的搜索范围可以被减小至{±2,±4}。对于大于64的CU区域的{模板匹配，双向匹配}的搜索范围可以被减小至{±6，±8}。与HEVC中的最坏情况相比，使用本文献的PMVR部分中描述的所有方法，所需的存储带宽从JEM-7.0的PMVD中的45.9x减小至PMVR中的3.1x。
仿射：当在非QT区块中使用仿射时应用的技术
图28示例性地示出了根据本公开的实施方式的在应用了仿射运动模型的帧间预测下生成预测块的方法和运动向量。
参照图28，可以看到在应用仿射运动模型时导出运动向量的等式。可以基于下式17来导出运动向量
[式17]
Figure BDA0002655053360000421
在这种情况下,v_x指示当前块内的(x，y)坐标样本的样本单元运动向量的x分量。v_y指示当前块内的(x，y)坐标样本的样本单元运动向量的y分量。即，(v_x,v_y)是(x，y)坐标样本的样本单元运动向量。在这种情况下，a、b、c、d、e、f指示用于从当前块的控制点(CP)导出(x，y)坐标的样本单元运动向量(运动信息)的等式的参数。CP可以被表示为控制图片元素。这些参数可以从以PU为单元发送的每个PU的CP的运动信息导出。可以向块的每个样本应用用于导出从CP的运动信息导出的样本单元运动向量的等式，并且该等式可以被导出为取决于每个样本的x轴和y轴之间的相对位置的参考图像内的样本位置。可以根据QTBT(TT)块分割结构、不对称类型或对称类型、或块位置，取决于块的大小来不同地导出样本单元运动向量。通过随后将描述的图29至图38例示其详细的实施方式。
图29是例示了根据本公开的实施方式的基于控制点的运动向量来执行运动补偿的方法的示图。
参照图29，假定当前块是2N×2N块对此进行描述。例如，当前块内的左上样本的运动向量可以据称是v_0。此外，使用与当前块邻近的邻近块的样本作为CP，CP的运动向量可以为v_1和v_2。即，如果当前块的宽度和高度为S并且当前块的左上样本位置处的坐标为(xp，yp)，则CP的CP0的坐标可以为(xp，yp)，CP的CP1的坐标可以为(xp+S，yp)，CP的CP2的坐标可以为(xp，yp+S)。CP0的运动向量可以为v_0，CP1的运动向量可以为v_1，并且CP2的运动向量可以为v_2。可以使用CP的运动向量来导出样本单元运动向量。可以基于下式18来导出样本单元运动向量
[式18]
Figure BDA0002655053360000431
在这种情况下,v_x、v_y指示每个当前块内具有(x，y)坐标的样本的运动向量的x分量、y分量。v_x0、v_y0分别指示CP0的运动向量v_0的x分量、y分量。v_x1、v_y1分别指示CP1的运动向量v_1的x分量、y分量。v_x2、v_y2分别指示CP2的运动向量v_2的x分量、y分量。可以使用诸如式1.3.4.4-2这样的用于导出样本单元运动向量的等式基于当前块内的相对位置来导出当前块内每个样本的运动向量。
图30是例示了根据本公开的实施方式的基于非正方形块中的控制点的运动向量来执行运动补偿的方法的示图。
图30例示了被分割成N×2N的块的CP。可以使用与分割类型2N×2N的情况相同的方法来导出用于导出当前块内的样本单元运动向量的等式。在导出该式的过程中，可以使用适于当前块的形状的宽度值。为了导出样本单元运动向量，可以导出三个CP，并且可以如同图1.3.4.4-3一样调整CP的位置。即，如果当前块的宽度和高度分别为S/2和S并且当前块的左上样本位置处的坐标为(xp，yp)，则CP的CP0的坐标可以为(xp，yp)，CP的CP1的坐标可以为(xp+S/2，yp)，并且CP的CP2的坐标可以为(xp，yp+S)。可以基于下式19来导出样本单元运动向量。
[式19]
Figure BDA0002655053360000432
在这种情况下，vx、vy分别指示当前块内的(x，y)坐标处的样本的运动向量的x分量、y分量。v_x0、v_y0分别指示CP0的运动向量v_0的x分量、y分量。v_x1、v_y1分别指示CP1的运动向量v_1的x分量、y分量。v_x2、v_y2分别指示CP2的运动向量v_2的x分量、y分量。式19例示了用于通过考虑当前块的宽度为S/2来导出样本单元运动向量的等式。可以基于当前块内的相对位置来导出使用诸如式1.3.4.4.-3这样的用于导出样本单元运动向量的等式基于分割类型N×2N从CU分割的当前块内的每个样本。
图31是例示了根据本公开的实施方式的基于非正方形块中的控制点的运动向量来执行运动补偿的方法的示图。
图31例示了基于分割类型2N×N被分割的块。为了导出样本单元运动向量，可以导出三个CP。可以如同图31一样调整CP的位置，并且可以基于图31中例示的当前块的形状将高度调整成S/2。即，如果当前块的宽度和高度分别为S和S/2并且当前块的左上样本位置处的坐标为(xp，yp)，则CP的CP0的坐标可以为(xp，yp)，CP的CP1的坐标可以为(xp+S，yp)，并且CP的CP2的坐标可以为(xp，yp+S/2)。可以如同下式20一样导出样本单元运动向量。
[式20]
Figure BDA0002655053360000441
在这种情况下，v_x、v_y分别指示当前块内的(x，y)坐标处的样本的运动向量的x分量、y分量。v_x0、v_y0分别指示CP0的运动向量v_0的x分量、y分量。v_x1、v_y1分别指示CP1的运动向量v_1的x分量、y分量。v_x2、v_y2分别指示CP2的运动向量v_2的x分量、y分量。式20例示了用于通过考虑当前块的高度为S/2来导出样本单元运动向量的等式。可以基于当前块内的相对位置来导出使用诸如式1.3.4.4.-4这样的用于导出样本单元运动向量的等式基于分割类型N×2N从CU分割的当前块内的每个样本。
图32至图38是例示了根据本公开的实施方式的基于非正方形块中的控制点的运动向量来执行运动补偿的方法的示图。
图32例示了不对称型当前块的CP。如图32中例示的，不对称型当前块的宽度和高度可以分别据称为W和H。为了导出样本单元运动向量，可以导出针对每个当前块的三个CP，并且可以根据当前块的形状基于宽度和高度来调整CP的坐标，如在图32中一样。即，如果当前块的宽度和高度为W和H并且每个当前块的左上样本位置处的坐标为(xp，yp)，则CP的CP0的坐标可以被设置为(xp，yp)，CP的CP1的坐标可以被设置为(xp+W，yp)，并且CP的CP2的坐标可以被设置为(xp，yp+H)。在这种情况下，可以基于下式21来导出当前块内的样本单元运动向量。
[式21]
Figure BDA0002655053360000442
在这种情况下,v_x、v_y分别指示当前块内的(x，y)坐标处的样本的运动向量的x分量、y分量。v_x0、v_y0分别指示CP0的运动向量v_0的x分量、y分量。v_x1、v_y1分别指示CP1的运动向量v_1的x分量、y分量。v_x2、v_y2分别指示CP2的运动向量v_2的x分量、y分量。式21例示了用于通过考虑不对称型当前块的宽度和高度来导出样本单元运动向量的等式。
此外，根据本公开，为了减少以块为单元指示的CP的运动信息的数据量，可以基于当前块的运动信息或当前块的邻近样本来选择针对至少一个CP的运动信息预测候选。运动信息预测候选可以被称为仿射运动信息候选或仿射运动向量候选。仿射运动信息候选可以包括例如在图33至图38中公开的内容。
ATMVP简化
高级时间运动向量预测(ATMVP)是使用时间运动信息候选进行的帧间预测，但是可以指示使用被提议以改善现有TMVP的运动信息候选进行的帧间预测。在本公开的实施方式中，ATMVP不限于其名称，并且ATMVP可以被称为子块时间合并候选、基于子块的时间合并候选、子块时间运动向量预测项、基于子块的时间运动向量预测项等。
具体地，使用在当前块的右下块或当前块的中心位置处的colPB的运动向量作为时间运动信息候选，可以不将帧内运动并入TMVP中。相反，如果应用了ATMVP，则在邻近块的运动向量所指示的位置处的colPB的运动向量可以被用作ATMVP候选。
在应用ATMVP的示例中，在首先在依次检查合并候选配置的同时搜索可用空间邻近块的运动向量之后，参考图片中的时间向量所指示的位置可以被导出为col-PB(ATMVP候选)。此外，可以使用时间向量在每个子块单元中使用对应块的运动向量。在这种情况下，如果特定子块中不存在MV，则位于对应块的中央处的块的MV被用作不可用子块的MV，并且被作为代表性MV存储。
此外，可以提出使用ATMVP但是能够减少所使用的存储量的各种ATMVP简化方案。
在实施方式中，由于用于找到对应块的参考图片被约束为共同定位图片(在切片片段头中指定)，因此能减少存储器的使用。在示例中，可以使用多达4个参考图片。为了找到对应的块，可以以扫描顺序根据空间候选中的一个导出时间向量。如果当前候选具有与共同定位图片相同的参考图片，则搜索处理器可以结束。
作为示例，可以对ATMVP和STMVP子块合并模式进行修改。
1.以图片/切片级添加信令，以使得各种子块大小能够被用于基于ATMVP/STMVP的运动导出。
2.通过使得能够使用一个共同定位图片来简化基于ATMVP的运动导出。
在实施方式中，提出了支持由ATMVP和STMVP模式导出的运动场的粒度的图片/切片级适配。具体地，提出了在序列参数集(SPS)中发信号通知用于导出参照SPS的切片中的ATMVP和STMVP的运动参数的子块大小的默认值。另外，在切片片段头中发信号通知一个标志。如果该标志等于0，则它指示如SPS中指定的默认子块大小被用于当前切片中的基于ATMVP/STMVP的运动导出。否则(即，标志被设置为1)，在切片片段头中发信号通知另一语法元素，以指定用于切片的ATMVP/STMVP子块大小。
在实施方式中，使用一种简单的编码方法来决定当前图片的ATMVP/STMVP子块大小。基于同一时间层中的最后被编码的图片中的ATMVP/STMVP块的平均大小来选择两个ATMVP/STMVP子块大小(4和8)中的一个。假定刚刚编码的图片是第k时间层中的第i个图片并且它包含由ATMVP模式和STMVP模式编码的N个CU。此外，假定这些CU的大小为S0,S1,…,SN-1。ATMVP/STMVP CU的平均大小被计算为
Figure BDA0002655053360000461
然后，当对同一第k时间层中的第(i+1)个图片进行编码时，根据下式22来确定对应ATMVP/STMVP子块大小
Figure BDA0002655053360000462
[式22]
Figure BDA0002655053360000463
在实施方式中，对于每个时间层中的第一个图片，ATMVP/STMVP子块大小可以总是被设置为4。
在实施方式中，可以使用以下两个步骤来导出ATMVP。
(1)如果邻近CU可用并且该CU的MV不同于现有候选列表中的那些MV，则编码器/解码器可以按照A1、B1、B0和A0的顺序添加来自空间邻近CU的运动向量，如图12中所示。可用且唯一的空间候选的数目可以被表示为N0；
(2)可以使用来自N0个空间候选中的第一MV候选来确定共同定位图片和从中获取每个子块的运动的位置(通过根据MV添加位移)。如果N0等于0，则使用在切片头中发信号通知的共同定位图片和零运动的共同定位位置来获取每个子块的运动。
如果使用多个参考图片，则用于ATMVP的不同CU的共同定位图片可能并不总是相同的。对于当前图片中的不同CU，具有用于ATMVP导出的不同共同定位图片可能意指需要获取多个参考图片的运动场，由于存储带宽的增加，导致这是不期望的。因此，在实施方式中，提出了简化的设计来使用与在切片头处发信号通知的与HEVC中相同的共同定位图片作为用于ATMVP导出的共同定位图片。以块级，如果邻近块A的参考图片与该共同定位图片不同，则可以使用HEVC时间MV缩放方法来缩放块A的MV，并且可以在ATMVP中使用块A的缩放后的MV。
用于获取共同定位图片Rcol中的运动场的运动向量可以被表示为MVcol。为了使由于MV缩放带来的影响最小化，在此响应中，按以下方式选择用于导出MVcol的空间候选列表中的MV。如果候选MV的参考图片是共同定位图片，则选择该MV并将其不进行任何缩放地用作MVcol。否则，选择具有最接近共同定位图片的参考图片的MV，以在缩放的情况下导出MVcol。
常见的基于历史的运动向量预测(HMVP)
通常，图像压缩技术使用针对空间和时间冗余的开发作为两个主要方案。例如，高效视频编码(HEVC)和VVC二者使用基于帧间编码的两种运动压缩方案。一种是合并运动，而另一种是高级运动向量预测(AMVP)。为了改进两种预测模式，正在讨论各种修改。所述各种修改包括增加候选的数目以搜索在空间上更扩展的候选以及在非传统位置处检查时间候选。这两种方案包括主要使用可用的候选来构造列表，使速率失真(RD)成本最小化并且在比特流中发信号通知所选择的候选。
具体地，在最近的图像压缩技术中，讨论了其中存储有先前编码的块的运动信息并且将所存储的运动信息用于随后编码的块的运动预测的HMVP。这种HMVP可以被添加到合并列表(或合并候选列表)或AMVP列表(或AMVP候选列表)。
解码器保持在HMVP的先进先出(FIFO)系统(或方法)中操作的查找表(LUT)。在本公开中，LUT不限于其名称，而是可以被称为表、HMVP表、HMVP候选表、缓冲器、HMVP缓冲器、HMVP候选缓冲器、HMVP列表或HMVP候选列表。具体地，当非仿射预测单元(PU)(或编码单元(CU))被解码时，对应的运动信息被存储在LUT中。解码器对下一个PU执行解码。在这种情况下，所存储的运动信息可以包括在x(水平)方向和y(垂直)方向上的运动向量、参考索引信息和模式信息。
解码器保持其中存储有逐步解码后的非仿射候选的运动信息的LUT。LUT的大小可以限于预先定义的S个候选。在一个实施方式中，可以在切片的开始、CTU行的开始或CTU的开始重置LUT。
HMVP可以应用合并模式和AMVP模式二者。合并列表可以具有B个候选，并且AMVP列表可以具有两个候选。在常规图像压缩技术中，合并列表被配置有以下候选：i)空间候选、ii)时间候选、iii)双向预测(Bi-Pred)候选、iv)零运动候选。最近，讨论了附加地将高级运动向量预测(ATMVP)视为候选的方法。例如，ATMVP候选可以在时间候选之前被插入合并列表中。合并列表的候选被添加到合并列表，直到它们达到最大合并列表大小。重复候选可以不被添加到合并列表。两个候选可以被插入AMVP列表中。例如，可以从可用空间候选中选择这两个候选中的第一候选，并且可以从时间候选中选择第二候选。如果列表未被填充，则可以添加零运动向量候选。
HMVP是基于FIFO顺序应用的，按该FIFO顺序，候选与其输入顺序相同地离开LUT。
在一个实施方式中，当HMVP被应用于合并列表配置时，可以如下地将HMVP候选插入(或添加)到列表的第三位置：
1.空间候选
2.时间候选
3.LUT的多达S个HMVP候选
4.组合的双预测候选
5.零运动向量候选
在一个实施方式中，当HMVP被应用于合并列表配置时，可以如下地在时间候选之后将HMVP候选插入第三位置：
1.空间候选
2.时间候选
3.多达K个HMVP候选
4.零运动向量候选
图39是用于描述根据本公开的实施方式的存储HMVP的方法的流程图。
参照图39，解码器对当前PU(或CU)进行解码(S3901)。
解码器检查当前PU是否是以非仿射模式编码的块(S3902)。为了利于使用HMVP候选，如果当前PU是以仿射模式编码的块，则解码器不将当前PU的运动信息存储在表中。
如果当前PU是以非仿射模式编码的块，则解码器将当前PU的运动信息存储在表中(或者更新它)(S3903)。
在本公开的实施方式中，可以使用两种方法(即，i)未受约束FIFO方法和ii)约束FIFO方法)来更新HMVP表。在前者中，可能存在冗余的运动信息，但不应用修剪过程。这有助于降低整个过程的复杂度。参照下图对此进行描述。
图40是用于描述根据本公开的实施方式的在未受约束FIFO模式下操作的HMVP表的示图。
参照图40，添加到表中的候选被添加到表的末尾(右侧)。相反，根据FIFO方法从表中离开的候选位于表的前端(左侧，最旧的候选)。
如果在索引L-1(即，末尾)处未用最大数目的预定义候选完全填充表，则在不移除候选的情况下添加新的候选。相反，如果表已被完全填满，即，如果满足了表的最大数目，则移除位于前端(即，表中最旧)的候选并添加新的候选。
图41是用于描述根据本公开的实施方式的在约束FIFO模式下操作的HMVP表的示图。
参照图41，在使用约束FIFO的情况下，如果添加新候选导致任何冗余，则执行修剪。在实施方式中，如果在表中存在具有冗余运动信息的候选，则移除表内的冗余候选，并且可以添加当前候选的运动信息。
实施方式1
关于HMVP候选，在许多情况下，最新历史MV可与空间候选(或空间邻近候选)的运动信息交叠。因此，本实施方式提出了在HMVP候选被添加到AMVP或合并列表时与HMVP LUT索引顺序不同地设置候选的添加顺序的方法。
根据本公开的实施方式，可以通过自适应地调整HMVP候选来高效地配置候选列表。因此，可以减少用于二值化的信令bin的数目，并且可以提高编码效率。
即，添加到合并列表或AMVP列表的HMVP候选可以不受HMVP列表中的索引限制。作为实施方式，下表2例示了改变将HMVP候选添加到AMVP或合并列表的顺序的方法。
[表2]
Figure BDA0002655053360000501
参照表2，如上所述，很有可能最近插入的HMVP候选可以具有与空间候选相同的运动信息。因此，可以通过考虑概率而不顾及HMVP索引来预先限定HMVP候选的添加顺序。
此外，在一个实施方式中，编码器或解码器可以从列表中的第n个候选开始的HMVP候选起将HMVP候选添加到合并列表或AMVP列表。下表3例示了将候选添加到AMVP或合并列表的改变后的顺序。
[表3]
Figure BDA0002655053360000502
参照表3，可以从第二索引起将HMVP候选添加到合并列表或AMVP列表。
在一个实施方式中，关于表(LUT)内的HMVP候选的添加顺序的信息可以被从编码器发信号通知给解码器。例如，可以通过高级语法(HLS)发送这样的顺序信息。例如，高级语法可以是序列参数集、图片参数集、切片头、编码树单元、编码单元和/或另一适当的语法数据头。
图4例示了可以应用本公开中提出的方法的高级语法结构。
[表4]
Figure BDA0002655053360000511
参照表4，set_HMVP_order_flag等于1指示set_HMVP_order_flag存在于CVS中的非IDR图片内的切片头中。set_HMVP_order_flag等于0指示在切片头中不存在set_HMVP_order_flag并且在VCS中不使用自适应HMVP。
图5例示了可以应用本公开中提出的方法的切片片段头语法结构。
[表5]
Figure BDA0002655053360000512
参照表5，slice_HMVP_idx意指所使用的候选的序列的索引。例如，slice_HMVP_idx等于0可以表示诸如0、1、2、3这样的基本HMVP序列。同样，索引值1可以被用于表示3、2、1、0的HMVP序列。
实施方式2
在本公开的实施方式中，除了HMVP LUT之外，还提出了使用长期列表进行运动预测的方法。因此，可以增加所保持的HMVP候选的数目。在实施方式中，可以考虑2-HMVP表。在这种情况下，一个可以用于存储一般的HMVP候选，而另一个可以用作其中存储有需要被进一步保持的候选的长期列表。
下面说明重置并构造长期列表(或长期HMVP列表)的方法。
-在对CTU行中的第一个CTU进行解码之后，可以将后续CTU的一个或更多个历史MV添加到长期HMVP LUT。这种长期HMVP LUT可以不被使用，或者被更新直到下一个CTU行。
-在下一个CTU行的开始处，可以使用长期HMVP LUT来重置公共HMVP LUT。这样做的原因是，与前一CTU行的末尾处的历史MV相比，CTU行的开始处的CTU的HMVP候选可能更加相关。
-可以重复以上过程。
图42是例示了根据本公开的实施方式的长期HMVP LUT的HMVP LUT的示图。
参照图42，可以存在两个LUT。一个可以是HMVP LUT(或一般HMVP LUT或短期HMVPLUT)，而另一个可以是长期HMVP LUT。当HMVP候选被添加到合并列表和AMVP列表二者中时，可以从HMVP LUT或长期LUT添加它，如图30中例示的。
可以通过采用新语法元素来通过高级语法指示长期LUT的使用。例如，语法元素可以是以序列参数集、图片参数集、切片头、编码树单元、编码单元和/或另一适当的语法数据头存在的。
实施方式3
在本公开的实施方式中，提出了在向HMVP LUT添加HMVP候选时考虑用于解码的灵活性的方法。编码器/解码器可以考虑针对PU(或CU)的一种或更多种特性的决策。
在实施方式中，编码器/解码器可以在将HMVP候选添加到表中时考虑以下内容。编码器/解码器可以通过单独地或组合地考虑诸如PU的模式(例如，合并模式、仿射模式或AMVP模式)和/或块的大小这样的特性来将候选添加到表中。在一个实施方式中，除了这些特性之外，还可以考虑其它特性。例如，其中考虑了HMVP LUT更新、是否是子PU等的合并类型(例如，空间候选或时间候选)可以被认为是用于选择候选的准则。可以确定选择准则，以减少具有先前历史(或先前HMVP)的冗余。例如，如果PU以合并模式被编码并且合并类型是空间合并，则解码器可以不用对应PU的运动信息来更新HMVP LUT。
图43是例示了根据本公开的实施方式的更新HMVP LUT的方法的示例的示图。
参照图43，编码器/解码器获得编码后的候选的运动信息(S4301)。
编码器/解码器基于预先定义的决策准则来评估是否用候选的运动信息来更新LUT(S4302)。决策准则可以包括与候选的模式(例如，合并模式、仿射模式或AMVP模式)、候选的块大小和/或候选的合并类型中的一个或更多个相关的特性。
编码器/解码器基于决策准则来更新LUT(S4303)。即，如果候选满足预先定义的决策准则，则编码器/解码器可以将候选的运动信息添加到LUT。
实施方式4
在本公开的实施方式中，提出了对为了将HMVP候选添加到合并列表(或AMVP列表)而进行的冗余检查的约束。对冗余检查的约束可以以各种方式来实现。
在一个实施方式中，编码器/解码器可以限制针对合并列表中的候选的第一特定数目的修剪检查的次数。作为实施方式，编码器/解码器可以将针对候选的修剪检查的次数从合并列表中的第一候选限制到特定候选。例如，编码器/解码器可以对从合并列表中的第一候选到特定候选的候选执行修剪过程。并且，HMVP候选(即，修剪检查的目标)可以限于预定数目。
此外，在一个实施方式中，编码器/解码器可以通过对合并列表内的特定类型的合并候选执行修剪检查来限制修剪检查。例如，编码器/解码器可以在添加HMVP候选时仅对合并列表中的空间候选执行修剪检查。另选地，例如，编码器/解码器可以在添加HMVP候选时仅对合并列表中的一些空间候选执行修剪检查。空间候选中的一些可以是预先定义的。例如，预先定义的空间候选可以是左邻近空间候选和/或上邻近空间候选中的至少一个。本公开的实施方式不限于此，并且其它类型可以被组合并限制为修剪检查的目标。
图44是例示了根据本公开的实施方式的限制HMVP候选的数目(即，修剪检查的目标)的方法的示图。
参照图44，在本公开的实施方式中，HMVP候选的数目(即，修剪检查的目标)可以限于M。
编码器/解码器可以在使用HMVP候选来构造合并列表时检查HMVP LUT内的前M个候选与合并列表的合并候选之间的运动信息的冗余。
另选地，编码器/解码器可以在将解码后的处理块(例如，PU)的运动信息添加到HMVP LUT中时检查HMVP LUT内的前M个候选与当前解码后的PU之间的运动信息的冗余。
图45是例示了根据本公开的实施方式的执行修剪检查的方法的示例的流程图。
参照图45，编码器/解码器获得解码后的候选的运动信息，并且确定(或解码)修剪检查的次数(S4501、S4502)。
编码器/解码器基于所确定的修剪检查次数来执行修剪检查(S4503)。
在一个实施方式中，如表4和表5中一样，可以通过高级语法来发信号通知与修剪检查相关的信息。在这种情况下，从编码器发送到解码器的语法元素可以被包括在特个报头中，以便指示要被执行的修剪检查的次数。例如，高级语法可以被包括在序列参数集、图片参数集、切片头、编码树单元、编码单元和/或其它适当的语法数据头中。
实施方式5
在本公开的实施方式中，提出了选择HMVP候选的高效方法。当历史运动向量候选(即，HMVP候选)被插入合并列表(或AMVP列表)中时，可以执行修剪检查，以使得HMVP候选不与现有的合并列表交叠。
为了在大小为M的合并列表与大小为N的历史LUT之间执行总冗余检查，必须进行(M-1)×N次的检查。因此，在本公开的实施方式中，HMVP候选的数目可以取决于现有的合并候选。例如，HMVP候选的数目可以取决于合并列表中存在的空间候选的数目。另选地，例如，HMVP候选的数目可以取决于合并列表中存在的空间候选和时间候选的数目。
如果合并列表中存在另一合并候选，则将基于以合并候选的数目和/或合并列表的HVVP的数目为基础的特定准则(或规则)来执行修剪检查的HMVP候选的数目可以减少。因此，最坏情况下的冗余检查的次数可以减少。
例如，在大小(或长度)为6的合并列表的情况下，如果合并列表被完全填满，则合并列表可以包括最多5个空间或其它合并候选。为了将HMVP候选插入6个HMVP列表中，在最坏的情况下可能必须进行30次冗余检查。
在一个实施方式中，在式23和表6中例示了与要被检查的HMVP的数目的约束相关的示例。
[式23]
if(existing_candidates>＝3)
number_hist_to_check＝7-existing_candidates
[表6]
现有候选的# 待检查现有候选的# 待检查历史MV的# 检查的#
1 1 6 6
2 2 6 12
3 3 4 12
4 4 3 12
5 5 2 10
参照表6，通过将HMVP的数目(即，修剪检查的目标)限制为2，最坏情况下为了添加HMVP进行的冗余检查的次数减少12倍而非30倍。
实施方式6
在本公开的实施方式中，提出了使用基于历史的空间时间运动向量预测(H-STMVP)来构造合并列表的方法。H-STMVP指示导出为两个基于历史的空间MVP和TMVP的平均值的候选。可以从HMVP缓冲器获得两个空间HMVP。可以从当前合并列表获得TMVP。在这种情况下，空间候选可以是从在当前块之前的解码序列中的最后2个编码后的MV获得的候选。
例如，可以使用最后编码的MV(本公开中被称为MV_L)、倒数第二个MV(在本公开中被称为MV_(L-1))以及MV_TMVP来生成将被插入合并列表中的H-STMVP候选。
如果可以使用所有这三个候选，则可以通过下式24计算添加到合并列表中的MV。
[式24]
{MVL+MVL-1+MVTMvP}*43/128
在一个实施方式中，如果这三个候选中只有两个候选可用，则仅两个候选可以被求平均，以生成H-STMVP。同样，如果只有一个候选可用，则可以使用这一个候选。如果不存在可用的候选，则H-STMVP不被用于合并列表配置。
在本公开的实施方式中，提出了使用除了式24之外的方法来获得H-STMVP候选的运动向量的方法。
例如，作为一次对三个或更多个候选求平均的替代方式，首先对空间候选求平均，然后再使用求平均的结果对两个候选求平均，这可能使计算更简单。在下式中例示了其示例。
[式25]
<[(MVL+MVL-1)》1+MVTMVP]》1>
另选地，可以如下地获得平均值。
[式26]
<[(MVL+MVTMVP)》1+MVL-1]》1>
[式27]
<[(MVL-1+MVTMVP)》1+MVL]》1>
[式28]
<[2MVL+MVL-1+MVTMVP]》2>
编码器/解码器可以首先如式25至式27中一样对两个候选求平均，然后可以使用第三候选对结果值求平均。另选地，编码器/解码器可以通过应用如式28中一样的两次移位运算来向候选(即，MV_L)指派更高的重要性/权重。可使用式25至式28仅通过移位运算在不进行除法运算的情况下导出平均值。
实施方式7
在本公开的实施方式中，提出了在导出H-STMVP时使用给定数目的空间候选而非两个基于历史的空间候选的方法。n个候选不需要是本质上连续的解码序列。可以随机地或者根据某一规则来选择n个候选。
因此，可以使用更通用的方法(如同下式29一样)来表示上述的式24。
[式29]
{MV1+MV2+...+MVn+MVTMVP}*1/(n+1)
在另一实施方式中，假定使用5个空间候选，可以使空间候选增加对生成H-STMVP候选的影响最小化，并且可以通过提高应用于时间候选的权重来适当地并入空间候选和时间候选。
因此，为此，在使用式30将空间候选一起求平均之后，可以通过使用求平均的结果对MV_TMVP进行平均来实现以上目的。
[式30]
[{MV1+MV2++MVn}*1/n+MVTMVP]*1/2
实施方式8
在本公开的实施方式中，提出了将权重(或加权因子)添加到用于导出H-STMVP的运动向量候选的方法。在这种情况下，权重可以是按经验确定的，或者可以通过考虑直至固定参考系的时间距离来确定的，或者可以通过考虑历史表中的位置来确定。例如，新的候选可能比先前候选更重的权重。
即，在本实施方式中，上述的式24可以如同下式31表示。
[式31]
{MV＝w1.MVL+w2.MVL-1+w3.MVTMVP}
Figure BDA0002655053360000571
在这种情况下，权重可以具有相同的值或分布不均的值。
实施方式9
在本公开的实施方式中，提出了对用于将H-STMVP候选导出为单个参考图片的运动向量进行缩放的方法。
图46是用于描述根据本公开的实施方式的使用参照不同参考图片的运动向量的H-STMVP候选的方法的示图。
参照图46，假定MV_L、MV_L-1和MV_TMVP候选参考(或指示)相应不同的参考图片。即，图46例示了用于生成H-STMVP候选的候选可以具有不同的参考索引并因此具有不同的参考帧。
可以使式24至式31的平均值为不相等的结果值，因为具有紧密参考帧的帧实际上会对H-STMVP的运动向量产生更大的影响。因此，提出了将所有运动向量缩放成单个参考帧以进行相等比较和合并的方法。
在这种情况下，编码器可以确定作为RD优化的部分执行的哪一单帧最适合用作参考帧。在实施方式中，可以在与切片头中存在的TMVP阵列索引类似的切片头中发信号通知所选择的参考帧。例如，可以使用固定规则来生成待使用的参考帧。另选地，例如，列表可以被缩放作为L0中的第一可用参考帧，或者列表可以基于当前图片序列计数被缩放。
在一个实施方式中，为了实现以上目的，编码器可以使用可以是序列参数集、图片参数集、切片头、编码树单元和/或另一数据头的部分的高级语法(HLS)向解码器发送单个固定图片的信息。例如，可以限定诸如下面的表6和/或表7这样的高级语法结构。
[表7]
Figure BDA0002655053360000581
参照表7，set_HSTMVP_ref_pic_flag等于1指示set_HSTMVP_idx存在于CVS中的非IDR图片内的切片头中。set_HSTMVP_ref_pic_flag等于0指示set_HSTMVP_idx不存在于切片头中。
[表8]
Figure BDA0002655053360000582
参照表8，slice_HMVP_idx指定参考索引。在一个实施方式中，可以相对于列表L0选择参考索引。
实施方式10
在本公开的实施方式中，将相对于上述实施方式描述更详细的实施方式。具体地，提出了通过使用位置和尺寸信息来间接使用仿射HMVP候选以便计算或导出当前块的CPMV的方法。在本公开中，所导出的CPMV可以被称为继承的仿射HVMP候选。根据本公开的实施方式的继承的仿射HMVP候选可以被用在上述仿射合并列表和/或仿射AMVP列表生成过程中。
图47是例示了根据本公开的实施方式的用于导出继承的仿射HMVP候选的块的位置的示图。
参照图47，可以以与从邻近块导出常见继承CPMV的方法类似的方式基于仿射HMVP候选的位置和尺寸来导出当前块4701的CPMV。即，编码器/解码器可以基于作为仿射HMVP候选的参考块4702的位置和尺寸(例如，宽度和高度)信息来导出当前块4701的控制点的运动向量。
作为实施方式，可以通过使用下面的式32和式33来导出当前块的继承的仿射HMVP的CPMV。
[式32]
V0x＝VB0x+(VB2_x-VB0x)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1x-VB0x)*(posCurCU_X-posRefCU_X)/RefCU_width
[式33]
V0y＝VB0y+(VB2_y-VB0y)*(posCurCU_Y-posRefCU_Y)/RefCU_height+(VB1y-VB0y)*(posCurCU_X-posRefCU_X)/RefCU_width
在式32和式33中，posCurCU_Y表示当前块4701的左上样本的垂直坐标值，并且posRefCU_Y表示参考块4702的左上样本的垂直坐标值。posCurCU_X表示当前块4701的左上样本的水平坐标值，并且posRefCU_X表示参考块4702的左上样本的水平坐标值。RefCU_height表示参考块4702的高度，并且RefCU_width表示参考块4702的宽度。
实施方式11
在本公开的一个实施方式中，当添加仿射HMVP候选(直接或继承的HMVP)时，可以添加约束，以选择能够被用于生成仿射合并列表或仿射AMVP列表的仿射HMVP候选。
作为示例，仅当仿射HMVP候选与当前块相邻时，仿射HMVP候选才可以被添加到仿射合并列表或仿射AMVP列表。
作为另一示例，仅当仿射HMVP候选位于(或存在于)距当前块的特定距离内时，仿射HMVP候选才可以被添加到仿射合并列表或仿射AMVP列表中。例如，特定距离可以是预先定义的像素距离。编码器/解码器可以确定仿射HMVP候选是否位于预定的特定距离内，以确定仿射HMVP候选是否可用。
作为另一示例，仅当仿射HMVP候选位于(或存在于)基于当前块的特定位置时，仿射HMVP候选才可以被添加到仿射合并列表或仿射AMVP列表中。例如，当仿射HMVP候选存在于特定位置时，可能存在仿射HMVP候选是当前块的左或上邻近块的情况。
对于具有N个元素的仿射HMVP LUT，可以对所有元素或前M个元素执行上述验证过程，直到合并或AMVP列表已满或者直到达到预先定义数目的HMVP候选。
实施方式12
在本公开的一个实施方式中，提出了仿射HMVP候选被用于替换仿射合并列表和/或仿射AMVP列表中已经存在的继承的仿射候选的方法。
图48是例示了根据本公开的实施方式的仿射合并列表或仿射AMVP列表的示图。
参照图48，编码器/解码器可以用继承的仿射HMVP候选替换现有的仿射合并列表或仿射AMVP列表中存在的继承的候选。也就是说，当向当前块应用基于子块的合并模式时，编码器/解码器可以使用继承的仿射候选和已经构造的仿射候选来生成基于子块的合并候选列表，导出继承的仿射HMVP候选，并且用继承的仿射HMVP候选替换基于子块的合并候选列表中所包括的至少一个继承的仿射候选。
另外，在本公开的一个实施方式中，仿射HMVP查找表(LUT)可以在切片、CTU行或CTU的开始处被初始化。由此，能够提高并行处理的性能。
下文中，在以下实施方式中，提出了用于减少HMVP的最坏修剪检查的次数的方法。
实施方式13
在本公开的实施方式中，当HMVP候选被添加到合并列表时，可以基于合并列表中的可用候选的数目和可以被添加到合并列表中的HMVP候选的数目来确定修剪检查的次数。下文中，在描述本公开的实施方式时，为了便于描述，如下地定义变量。
-NST：合并列表中可用(或现有)候选的数目
-NHMVP：表中HMVP候选的数目(即，HMVP表大小)
-NmrgToBeAdded：添加到合并列表的HMVP候选的数目
-NHMVPChecked：经修剪检查的HMVP候选的数目
-Nmax_HMVP_prunning：将HMVP候选添加到合并列表所需的最坏情况的修剪检查的次数
在本公开的一个实施方式中，可以根据以下条件将HMVP候选添加到合并列表。
-第一条件：当先前对LUT进行修剪时(即，HMVP LUT中的候选之间没有相同的mv)
-第二条件：当HMVP LUT表的大小为6时
-第三条件：当将HMVP候选添加到合并列表的可用(或现有)合并候选的最大数目为4时。即，这是当合并列表中的合并候选的数目小于通过从最大合并列表大小(或最大合并候选数目)中减去1而得到的值时。例如，最大合并列表大小可以为6，并且如果当前可用的合并候选的数目小于5，则可以添加(或插入)HMVP候选。换句话说，HMVP候选最多只能被添加到合并列表索引5。
当HMVP候选被添加到合并列表(即，成为合并候选)时，每个HMVP候选可能需要修剪检查，以移除合并候选之间的重复。根据现有的图像压缩技术，可以如下表8中所示地计算将HMVP添加到合并列表所需的最坏修剪检查次数。
[表9]
NsT N<sub>mrgToBeAdded</sub> N<sub>HMVPChecked</sub> N<sub>max_hmvp_prunning</sub>
0 5 6 0
1 4 6 4
2 3 6 7
3 2 6 9
4 1 6 10
参照表9，根据现有的图像压缩技术，可以对HMVP表(或HMVP列表、HMVP候选列表)中的六个HMVP候选执行修剪检查。
具体地，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为9。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为10。
实施方式14
在本公开的实施方式中，提出了用于减少上述最坏修剪检查的次数的方法。如果合并列表中有更多个合并候选，则由于HMVP的编码效果随合并候选(即，非HMVP候选)增加而降低，因此可能需要减少待修剪的HMVP候选的数目。因此，在本公开的实施方式中，编码器/解码器可以将待检查的HMVP候选的数目(NHMVPChecked)设置成等于待添加的可用HMVP候选的数目(NmrgToBeAdded)，以便减少最坏修剪检查的次数。在这种情况下，可以如下表10中所示地计算最坏修剪检查的次数。
[表10]
N<sub>ST</sub> N<sub>mrgToBeAdded</sub> N<sub>HMVPChecked</sub> N<sub>max_hmvp_prunning</sub>
0 5 5 0
1 4 4 4
2 3 3 6
3 2 2 6
4 1 1 4
参照表10，与常规的图像压缩技术相比，HMVP的最坏修剪检查的次数可以从10减少至6。
参照表10，在实施方式中，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4。然后，可以对四个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3。然后，可以对三个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为6。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2。然后，可以对两个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为6。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1。然后，可以对一个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。
实施方式15
在本公开的实施方式中，为了减少最坏修剪检查的次数，编码器/解码器可以将待修剪检查的HMVP候选的数目(NHMVPChecked)设置成与待添加的可用HMVP候选的数目(NmrgToBeAdded)与k之和相同。这里，k表示预先定义的恒定值。作为示例，当K为1时，可以如表10中所示地计算最坏修剪检查次数。
[表11]
N<sub>ST</sub> N<sub>mrgToBeAdded</sub> N<sub>HMVPChecked</sub> N<sub>max_hmvp_prunning</sub>
0 5 6 0
1 4 5 4
2 3 4 7
3 2 3 8
4 1 2 7
参照表11，在实施方式中，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4。然后，可以对五个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3。然后，可以对四个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2。然后，可以对三个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为8。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1。然后，可以对两个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。
实施方式16
在本公开的实施方式中，为了在最坏情况下减少修剪检查，待检查的HMVP候选的数目(NHMVPChecked)可以被限定为下式34。
[式34]
NHMVPChecked＝min(NHMVP，C*NmrgToBeAdded)
在式34中，C表示预先定义的恒定值。如果C为2，可以如表12中所示地计算最坏修剪检查次数。
[表12]
N<sub>ST</sub> N<sub>mrgToBeAdded</sub> N<sub>HMVPChecked</sub> N<sub>max_hmvp_prunning</sub>
0 5 6 0
1 4 6 4
2 3 6 7
3 2 4 9
4 1 2 7
参照表12，在实施方式中，1)当合并列表中有一个候选时，添加到合并列表中的HMVP候选可以为4。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为4。2)当合并列表中有两个候选时，添加到合并列表中的HMVP候选可以为3。然后，可以对六个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。3)当合并列表中有三个候选时，添加到合并列表中的HMVP候选可以为2。然后，可以对四个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为9。4)当合并列表中有四个候选时，添加到合并列表中的HMVP候选可以为1。然后，可以对两个HMVP候选执行修剪检查。在这种情况下，最坏修剪检查的次数可以为7。
为了便于描述，可以对本公开的以上提到的实施方式进行划分和描述，但是本公开不限于此。即，上述的实施方式1至实施方式12可以被独立地执行，或者可以组合并执行一个或更多个实施方式。
图49是例示了根据应用本公开的实施方式的基于帧间预测对视频信号进行处理的方法的流程图。
参考图49，为了描述的方便，基本上描述了解码器，但是本公开不限于此。根据本公开的实施方式的基于帧间预测对视频信号进行处理的方法可以在编码器和解码器中相同地执行。
解码器基于当前块的邻近块来配置合并列表或合并候选列表(S4901)。
当合并列表中所包括的合并候选的数目小于预定的第一大小时，解码器将基于历史的合并候选列表中的基于历史的合并候选添加到合并列表(S4902)。这里，基于历史的合并候选表示在当前块之前编码的块的运动信息。
解码器获得指示合并列表中的用于当前块的帧间预测的合并候选的合并索引(S4903)。
解码器基于合并索引所指示的合并候选的运动信息来生成当前块的预测块(S4904)。
如上所述，作为实施方式，将基于历史的合并候选添加到合并列表的步骤可以包括以下步骤：检查基于历史的合并候选列表中的预先定义的第二数目的基于历史的合并候选是否与它们的运动信息中的合并列表中所包括的合并候选交叠。
如上所述，作为实施方式，如果基于历史的合并候选具有与合并列表中所包括的合并候选当中的预先定义的合并候选的运动信息不交叠的运动信息，则第二数目的基于历史的合并候选可以被添加到合并列表。
如上所述，作为实施方式，如果基于历史的合并候选具有与合并列表中所包括的合并候选当中的预先定义的第三数目的合并候选的运动信息不交叠的运动信息，则第二数目的基于历史的合并候选可以被添加到合并列表。
如上所述，作为实施方式，如果基于历史的合并候选具有与合并列表中所包括的特定空间合并候选的运动信息不交叠的运动信息，则第二数目的基于历史的合并候选可以被添加到合并候选列表。
如上所述，作为实施方式，第一特定数目可以被限定为通过从最大合并候选中减去1而得到的值。
如上所述，作为实施方式，将基于历史的合并候选添加到合并列表的步骤可以包括以下步骤：当在合并列表中包括三个当前合并候选时，检查两个基于历史的合并候选是否具有与合并列表中所包括的合并候选交叠的运动信息。
图50示出了根据本公开的实施方式的用于对视频信号进行处理的设备的框图的示例。图50的视频信号处理装置可以与图1的编码设备100或图2的解码设备200对应。
根据本公开的实施方式的视频信号处理设备5000可以包括用于存储视频信号的存储器5020以及用于在与存储器5020组合的同时对视频信号进行处理的处理器5010。
根据本公开的实施方式的处理器5010可以被配置有用于对视频信号进行处理的至少一个处理电路，并且可以通过执行对视频信号进行编码或解码的指令来处理视频信号。即，处理器5010可以通过执行上述编码或解码方法对原始视频信号进行编码或者对编码后的视频信号进行解码。
图51例示了应用本公开的视频编码系统。
视频编码系统可以包括源装置和接收装置。源装置可以通过存储介质或网络以文件或流传输格式将编码后的视频/图像信息或数据发送到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。源装置可以被称为视频/图像编码设备，并且接收装置可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部部件。
视频源可以通过视频/图像的捕获、合成或生成过程来获取视频/图像数据。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以电子地生成视频/图像数据。例如，可以通过计算机等来生成虚拟视频/图像数据，并且在这种情况下，可以通过生成相关数据的过程来替换视频/图像捕获过程。
编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编码效率的预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流传输格式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如通用串行总线USB、安全数字SD、光盘CD、数字视频盘DVD、蓝光、硬盘驱动HDD和固态驱动SSD这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以提取比特流，并且将它发送到解码设备。
解码设备可以通过执行与编码设备操作对应的诸如反量化、逆变换和预测这样的一系列过程对视频/图像数据进行解码。
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
图52示出了内容流传输系统的结构示图。
参照图52，应用本公开的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器可以将从诸如智能电话、相机、摄像机等这样的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将它传输到流传输服务器。作为另一示例，当诸如智能电话、相机和摄像机这样的多媒体输入装置460直接生成比特流时，可以省略编码服务器。
可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时地存储比特流。
流传输服务器基于用户的请求通过网络服务器将多媒体数据传输到用户装置，并且网络服务器用作将存在什么服务告知用户的介质。当用户通过网络服务器请求所期望的服务时，网络服务器将其传送到流传输服务器，流传输服务器将多媒体数据发送到用户。此时，内容流传输系统可以包括单独的控制服务器，在这种情况下，控制服务器用于控制内容流传输系统中的装置之间的命令/响应。
流传输服务器可以从媒体存储装置和/或编码服务器接收内容。例如，流传输服务器可以从编码服务器实时地接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以将比特流存储达预定时间。
例如，用户装置可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理PDA、便携式多媒体播放器PMP、导航终端、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器HMD、数字TV、台式计算机和数字标牌。
内容流传输系统中的每个服务器都可以作为分布式服务器操作，并且在这种情况下，从每个服务器接收到的数据可以被以分布式方式处理。
如上所述，本公开描述的实施方式可以在处理器、微处理器、控制器或芯片上实现并执行。例如，图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现并执行。
此外，应用本公开的解码器和编码器可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话装置和医疗视频装置中，并且可以被用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏控制台、Blueray播放器、互联网访问TV、家庭影院系统、智能电话、平板PC和数字录像机(DVR)。
此外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了计算机可读数据的所有种类的存储装置。计算机可读记录介质可以包括例如Blueray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网进行传输)的形式实现的介质。此外，使用编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
此外，本公开的实施方式可以使用程序代码被实现为计算机程序产品。可以由根据本公开的实施方式的计算机执行程序代码。程序代码可以被存储在可供计算机读取的载波上。
应用本公开的解码设备和编码设备可以被包括在数字装置中。术语“数字装置”包括能够执行例如数据、内容和服务的发送、接收、处理和输出中的至少一个的所有数字装置。这里，由数字装置处理数据、内容、服务等包括对数据、内容、服务等进行编码和/或解码的操作。数字装置通过有线/无线网络与其它数字装置、外部服务器等进行配对或连接(下文中被称为“配对”)以发送和接收数据，并且在有必要时转换它。
例如，该数字装置包括诸如网络TV、HBBTV(混合广播宽带电视)、智能TV、IPTV(互联网协议电视)、PC等这样的固定装置(或立式装置)以及诸如PDA(个人数字助理)、智能电话、平板PC、便携式计算机这样的移动装置(或手持装置)。在随后描述的公开中，为了方便起见，图54示出并描述了数字TV作为数字装置的实施方式，并且图55示出和描述了移动装置作为数字装置的实施方式。
此外，本公开中描述的术语“有线/无线网络”是指支持数字装置之间或数字装置与外部服务器之间的互连和/或数据发送和接收的各种通信标准或协议的通信网络。这些有线/无线网络可以包括当前和未来支持的通信网络以及针对它们的通信协议，并且可以由诸如USB(通用串行总线)、CVBS(复合视频消隐同步)、组件、S-Video(模拟)、DVI(数字视觉接口)、HDMI(高清多媒体接口)、RGB、D-SUB等这样的针对有线连接的通信标准或协议形成，并且由诸如Bluetooth、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、数字生活网络联盟(DLNA)、无线LAN(WLAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(世界微波访问互操作性)、HSDPA(高速下行链路分组访问)、LTE(长期演进)、Wi-Fi Direct(直连)等这样的针对无线连接的通信标准形成。
下文中，在本公开中简单地参照数字装置的情况下，取决于背景，它可以意指固定装置或移装置或者包括二者。
此外，数字装置是例如支持广播接收功能、计算机功能和至少一个外部输入的智能装置，并且可以通过有线/无线网络支持电子邮件、网络浏览、银行业务、游戏和应用。另外，数字装置可以包括用于支持诸如手动输入装置、触摸屏和空间遥控器这样的至少一个输入或控制装置(下文中，被称为输入装置)的接口。数字装置可以使用标准化的通用操作系统(OS)。例如，数字装置可以在通用OS内核上进行各种应用的添加、删除、修改和更新，并且可以通过它们来配置和提供更加用户友好的环境。
此外，本公开中描述的外部输入包括外部输入装置，即，有线/无线地连接到上述数字装置并通过其发送/接收相关数据的所有输入装置或数字装置。这里，外部输入可以包括诸如高清多媒体接口(HDMI)、诸如游戏机或X-box这样的游戏装置、智能电话、平板PC、打印机或智能TV这样的所有装置。
并且，本公开中描述的术语“服务器”包括客户端，即，向上述数字装置供应数据的所有数字装置或系统，并且被称为处理器。这种服务器的示例包括提供网页或网络内容的门户服务器、提供广告数据的广告服务器、提供内容的内容服务器以及社交媒体服务(SNS)服务器、服务服务器或由制造商提供的制造服务器等。
此外，本文中描述的“信道”意指用于发送和接收数据的路径、装置等，并且可以以广播频道为示例。这里，根据数字广播的激活，依据物理信道、虚拟信道和逻辑信道表示广播频道。广播频道可以被称为广播网络。如上所述，广播频道是指用于提供或访问由广播站提供的广播内容的信道，并且广播内容主要基于实时广播，并且也被称为实况频道。然而，近来，用于广播的媒体已经变得更加多样化，并且除了实时广播之外，还激活了非实时广播。其也可以被理解为意指整个频道的术语。因此，实况频道可以被理解为在一些情况下不仅意味着实时广播而且还意味着包括非实时广播的整个广播频道的术语。
在本公开中，关于除了上述广播信频道之外的频道进一步定义“任意频道”。任意频道可以与广播频道一起提供诸如电子节目指南(EPG)这样的服务指南。可以仅用任意频道来配置/提供服务指南、GUI(图形用户界面)或OSD屏幕(屏幕显示屏)。
此外，与具有在收发器之间的预定频道号的广播频道不同，任意频道是在接收器中任意分配的频道，并且基本上没有与用于表达广播频道的频道号交叠的频道号被分配给任意频道。例如，当调谐特定的广播频道时，接收器接收广播信号，该广播信号通过调谐后的频道传输广播内容及其信令信息。这里，接收器从信令信息中解析频道信息，并且基于解析出的频道信息来配置频道浏览器、EPG等并将其提供给用户。当用户通过输入装置发出频道改变请求时，接收器相应地作出响应。
如上所述，由于预先在发送终端和接收终端之间承诺了广播频道，所以当以交叠的方式将任意频道分配给广播频道时，会给用户造成混乱，或者可能有混乱的可能，因此如上所述，有效的是不分配重复项。此外，即使如上所述任意频道号不与广播频道号交叠，用户的频道浏览过程中仍然存在混乱，并且需要考虑此来分配任意频道号。这是因为，根据本公开的任意频道也可以被实现为响应于用户对输入的频道切换的请求而以与常规广播频道相同的方式被访问。因此，任意频道号可以被定义并显示为诸如任意频道-1、任意频道-2等这样的被并行写入字符的形式，而非如同广播频道的数字形式，以方便用户接入任意频道并且以方便区分或辨别广播频道号。在这种情况下，尽管如任意频道-1中一样按被写入字符的形式来实现任意频道号的显示，但是接收器可以将数字形式的任意频道在内部识别并实现为广播频道号。另外，可以以诸如广播频道这样的数字的形式提供任意频道号，并且还能够以可以与诸如视频频道-1、字幕1和视频-1这样的广播频道区分开的各种方式来定义和显示频道号。
该数字装置执行用于网络服务的网络浏览器，并且向用户提供各种类型的网页。这里，网页还包括含视频内容的网页，并且在本公开中，视频与网页被分开或独立地处理。并且，如上所述，分离后的视频可以被分配给任意频道，并通过服务指南等提供，并且在观看服务指南或广播频道的过程中根据频道切换请求输出。另外，除了网络服务之外，对于诸如广播内容、游戏和应用这样的服务，预定的内容、图像、音频、条目等被与广播内容、游戏和应用本身分开处理，并且可以指派任意频道号以进行其再现、处理等，并且可以被如上所述地实现。
图53是示意性地示出了包括数字装置的服务系统的示例的示图。
包括数字装置的服务系统的示例包括内容提供商CP 5310、服务提供商SP 5320、网络提供商NP 5330和家庭网络终端用户HNED(客户)5340。这里，HNED 5340是例如客户端5300，即，数字装置。内容提供商5310产生并提供各种内容。如图53中所示，作为这种内容提供商5310，地面广播商、有线SO(系统运营商)或MSO(多个SO)、卫星广播商、各种互联网广播商、私有CP等可以被作为示例。此外，内容提供商5310除了提供广播内容之外，还提供各种应用。
服务提供商5320对由内容提供商5310提供的内容进行打包来将该内容作为服务包提供给HNED 5340。例如，图53的服务提供商5320将第一地面广播、第二地面广播、有线MSO、卫星广播、各种互联网广播、应用等打包并将其提供给HNED 5340。
服务提供商5320以单播或多播方式向客户端300提供服务。并且，服务提供商5320可以一次将数据发送到多个预先注册的客户端5300，并且为此，可以使用互联网组管理协议IGMP协议。
上述的内容提供商5310和服务提供商5320可以是相同或单个的实体。例如，内容提供商5310提供的内容可以被服务打包并且被提供给HNED 5340，因此服务提供商5320的功能也可以一起执行，或反之亦然。
网络提供商5330提供用于内容提供商5310或/和服务提供商5320与客户端5300之间的数据交换的网络。
客户端5300可以建立家庭网络以发送和接收数据。
此外，服务系统中的内容提供商5310或/和服务提供商5320可以使用有条件访问或内容保护装置来保护所发送的内容。在这种情况下，客户端300可以响应于约束接收或内容保护而使用诸如CableCARD(POD：部署点)、DCAS(可下载的CAS)等这样的处理装置。
另外，客户端5300还可以通过网络(或通信网络)使用双向服务。在这种情况下，客户端5300仍然可以执行内容提供商的功能，并且现有服务提供商5320可以接收它并且将它发送回到另一客户端。
图54是例示了根据实施方式的数字装置的框图。这里，例如，图54可以对应于图53的客户端5300，并且是指上述的数字装置。
数字装置5400包括网络接口5401、TCP/IP管理器5402、服务传送管理器5403、SI解码器5404、解复用器(demux)5405、音频解码器5406、视频解码器5407、显示模块(显示器A/V和OSD)5408、服务控制管理器5409、服务发现管理器5410、SI和元数据DB 5411、元数据管理器5412、服务管理器5413、UI管理器5414等。
网络接口5401通过网络接收或发送IP分组。即，网络接口5401通过网络从服务提供商5320接收服务、内容等。
TCP/IP管理器5402参与数字装置5400接收的IP分组和数字装置5400发送的IP分组的源和目的地之间的分组传输。并且，TCP/IP管理器5402对接收到的分组进行分类以对应于适当的协议，并且将分类后的分组输出到服务传送管理器5405、服务发现管理器5410、服务控制管理器5409、元数据管理器5412等。服务传送管理器5403负责控制接收到的服务数据。例如，当控制实时流传输数据时，服务传送管理器5403可以使用RTP/RTCP。当使用RTP发送实时流传输数据时，在服务管理器5413的控制下，服务传送管理器5403根据RTP来解析接收到的数据分组并且将其发送到解复用器5405或者将其存储在SI和元数据数据库5411中。并且，服务传送管理器5403使用RTCP将网络接收信息反馈到提供服务的服务器。解复用器5405将接收到的分组解复用为音频、视频和系统信息SI数据，并且分别将它们发送到音频/视频解码器5406/5407和SI解码器5404。
SI解码器5404对诸如节目特定信息PSI、节目和系统信息协议PSIP以及数字视频广播-服务信息DVB-SI这样的服务信息进行解码。
并且，SI解码器5404例如将解码后的服务信息存储在SI和元数据数据库5411中。以这种方式存储的服务信息可以由相应的配置(例如，按用户的请求)来读取和使用。
音频/视频解码器5406/5407对由解复用器5405解复用的每个音频数据和视频数据进行解码。解码后的音频数据和视频数据通过显示模块5408被提供给用户。
应用管理器可以包括例如UI管理器5414和服务管理器5413。应用管理器管理数字装置5400的整体状态，提供用户界面，并且管理其它管理器。
UI管理器5414使用屏幕显示OSD等为用户提供图形用户界面GUI，并且从用户接收键输入，以根据该输入执行装置操作。例如，当UI管理器5414从用户接收到用于频道选择的键输入时，UI管理器5414将键输入信号发送到服务管理器5413。
服务管理器5413控制诸如服务传送管理器5403、服务发现管理器5410、服务控制管理器5409和元数据管理器5412这样的与服务关联的管理器。
并且，服务管理器5413创建频道图，并且根据从用户接口管理器5414接收到的键输入使用频道图来选择频道。并且，服务管理器5413从SI解码器5404接收频道服务信息，并且将所选择频道的音频/视频分组标识符PID设置用于解复用器5405。以这种方式设置的PID被用于上述的解复用过程。因此，解复用器5405使用PID对音频数据、视频数据和SI数据进行滤波。
服务发现管理器5410提供选择提供服务的服务提供商所需的信息。当从服务管理器5413接收到关于频道选择的信号时，服务发现管理器5410使用该信息来找寻服务。
服务控制管理器5409负责选择和控制服务。例如，当用户选择诸如常规广播商法这样的实况广播服务时，服务控制管理器5409使用IGMP或RTSP等，并且当选择诸如VOD(视频点播)这样的服务时，服务控制管理器5409使用RTSP来选择和控制服务。RTSP协议可以为实时流传输提供特技模式。并且，服务控制管理器5409可以使用IP多媒体子系统IMS和会话发起协议SIP通过IMS网关5450来初始化和管理会话。协议可以是一个实施方式，并且可以根据实现方式示例来使用其它协议。
元数据管理器5412管理与服务关联的元数据并且将元数据存保存于SI和元数据数据库5411中。
SI和元数据数据库5411存储由SI解码器5404解码的服务信息、由元数据管理器5412管理的元数据以及由服务发现管理器5410提供的选择服务提供商所需的信息。并且，SI和元数据数据库5411可以存储用于系统的系统设置数据等。
可以使用非易失性RAM NVRAM、闪存等来实现SI和元数据数据库5411。
此外，IMS网关5450是收集访问基于IMS的IPTV服务所需的功能的网关。
图55是例示了数字装置的另一实施方式的配置框图。具体地，图55例示了作为数字装置的另一实施方式的移动装置的框图。
参照图55，移动装置5500可以包括无线通信单元5510、音频/视频A/V输入单元5520、用户输入单元5530、感测单元5540、输出单元5550、存储器5560、接口单元5570、控制单元5580和电源单元5590。图55中示出的部件不是必需的，因此可以实现具有更多或更少部件的移动装置。
无线通信单元5510可以包括一个或更多个模块，这些模块使得移动装置5500与无线通信系统之间或者移动装置与移动装置所处的网络之间能够进行无线通信。例如，无线通信单元5510可以包括广播接收模块5511、移动通信模块5512、无线互联网模块5513、短距离通信模块5514和位置信息模块5515。
广播接收模块5511通过广播频道从外部广播管理服务器接收广播信号和/或广播相关信息。这里，广播频道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器、或者接收先前生成的广播信号和/或广播相关信息并且将其发送到终端的服务器。广播信号可以包括TV广播信号、无线电广播信号和数据广播信号，并且还可以包括数据广播信号与TV广播信号或无线电广播信号相结合的广播信号。
广播相关信息可以意指与广播频道、广播节目或广播服务提供商相关的信息。还可以通过移动通信网络来提供广播相关信息。在这种情况下，可以由移动通信模块5512来接收它。
广播相关信息可以以例如电子节目指南EPG或电子服务指南ESG的形式的各种形式存在。
广播接收模块5511可以使用诸如(例如)ATSC、地面数字视频广播DVB-T、卫星DVB-S、仅媒体前向链路MediaFLO、手持式DVB-H、地面集成服务数字广播ISDB-T等这样的数字广播系统来接收数字广播信号。当然，广播接收模块5511可以被配置为除了适用于上述数字广播系统之外，还适用于其它广播系统。
通过广播接收模块5511接收的广播信号和/或广播相关信息可以被存储在存储器5560中。
移动通信模块5512在移动通信网络上与基站、外部终端和服务器中的至少一个进行无线电信号的发送和接收。无线信号可以包括根据语音呼叫信号、视频呼叫信号或文本/多媒体消息的发送和接收的各种类型的数据。
无线互联网模块5513包括用于无线互联网接入的模块，并且可以被构建在移动装置5500的内部或外部。作为无线互联网技术，可以使用无线LAN(WLAN)(Wi-Fi)、无线宽带Wibro、全球微波接入互操作性Wimax、高速下行链路分组接入HSDPA。
短距离通信模块5514是指用于短距离通信的模块。可以使用短距离通信蓝牙、RFID(射频识别)、红外通信(IrDA，红外数据关联)、UWB(超宽带)、ZigBee、RS-232、RS-485等。
位置信息模块5515是用于获得移动装置5500的位置信息的模块，并且可以使用全球定位系统GPS模块作为示例。
A/V输入单元5520用于音频和/或视频信号输入，并且可以包括相机5521、麦克风5522等。相机5521对视频呼叫模式或拍摄模式下图像传感器所获得的诸如静止图像或移动图片这样的图像帧进行处理。处理后的图像帧可以被显示在显示单元5551上。
经相机5521处理的图片帧可以被存储在存储器5560中，或者通过无线通信单元5510被发送给外部。可以根据使用环境设置两台或更多台相机5521。
麦克风5522在呼叫模式或记录模式、语音识别模式等下由麦克风接收外部声音信号，并且将它作为电子语音数据进行处理。处理后的语音数据可以被转换成可以在呼叫模式下通过移动通信模块5512被发送到移动通信基站的形式并且进行输出。可以用用于移除在接收外部声音信号的过程中生成的噪声的各种去噪算法来实现麦克风5522。
用户输入单元5530生成被用户用于控制终端操作的输入数据。用户输入单元5530可以由键盘、圆顶开关、触摸板(压力型/电容型)、滚轮、拨动开关或类似物配置。
感测单元5540显示诸如移动装置5500的打开/关闭状态、移动装置5500的位置、是否存在用户接触、移动设装置的方向以及移动装置的加速/减速这样的移动装置5500的当前状态。它感测并生成用于控制移动装置5500的操作的感测信号。例如，当移动装置5500移动或倾斜时，可以感测移动装置的位置或倾斜。并且，可以感测是否将电力供应到电源单元5590或者是否将外部装置联接到接口单元5570。此外，感测单元5540可以包括包含近场通信NFC的接近传感器5541。
输出单元5550用于生成与视觉、听觉或触觉相关的输出，并且可以包括显示器5551、声音输出模块5552、报警单元5553和触觉模块5554。
显示单元5551显示或输出经移动装置5500处理的信息。例如，当移动装置处于呼叫模式下时，显示与呼叫相关的用户界面UI或图形用户界面GUI。当移动装置5500处于视频呼叫模式或拍摄模式时，显示所拍摄和/或接收的视频、UI或GUI。
显示部分5551可以包括液晶显示器LCD、薄膜晶体管-液晶显示器TFT-LCD、有机发光二极管OLED、柔性显示器和3D显示器。
这些显示器中的一些可以是透明类型或透光类型，使得可以通过它们看到外部。这可以被称为透明显示器，并且透明显示器的典型示例是透明OLED TOLED。显示单元5551的后部结构也可以被配置为透光结构。用这种结构，用户可以通过终端主体的显示单元5551所占据的区域看到位于终端主体后方的物体。
根据移动装置5500的实现形式，可以存在两个或更多个显示单元5551。例如，多个显示单元可以在移动装置5500中彼此分隔开或者一体地设置，或者可以被分别设置在不同的表面上。
当显示单元5551和检测触摸操作的传感器(下文中，被称为“触摸传感器”)形成相互层结构(下文中，被称为“触摸屏”)时，除了输出装置之外，显示单元5551还可以被用作输入装置。触摸传感器可具有例如触摸膜、触摸片或触摸板的形式。
触摸传感器可以被配置为将施加于显示单元5541的特定部分的压力或在显示单元5551的特定部分中产生的电容的变化转换成电输入信号。触摸传感器可以被配置为不仅检测被触摸的位置和区域，而且还检测触摸时的压力。
如果对触摸传感器进行触摸输入，则对应信号被发送到触摸控制器。触摸控制器对信号进行处理，然后将对应数据发送到控制器5580。因此，控制单元5580可得知显示单元5551的哪个区域已经被触摸等。
接近传感器5541可以设置在移动装置的被触摸屏包围的内部区域中或在触摸屏附近。接近传感器是指在不进行机械接触的情况下使用机械力或红外光检测靠近预定检测表面的物体或附近物体的存在与否。接近传感器比接触传感器具有更长的使用寿命和更高的利用率。
接近传感器的示例包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡型接近传感器、电容型接近传感器、磁型接近传感器和红外接近传感器。当触摸屏是电容型时，它被配置为由于根据指示器接近度的电场变化来检测指示器的接近度。在这种情况下，触摸屏(触摸传感器)可以被归类为接近传感器。
下文中，为了便于描述，使指示器被识别为处于触摸屏上而非用指示器触摸触摸屏的动作被称为“接近触摸”，并且实际上指示器触摸触摸屏上的动作被称为“接触触摸”。触摸屏上的与指示器的接近触摸的位置意指当指示器被靠近触摸时指示器垂直于触摸屏对应的位置。
接近传感器检测接近触摸和接近触摸图案(例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等)。与感测到的接近触摸操作和接近触摸图案对应的信息可以被在触摸屏上输出。
音频输出模块5552可以输出在呼叫信号接收、呼叫模式或记录模式、语音识别模式、广播接收模式或类似模式下从无线通信单元5510接收的音频数据或者存储在存储器5560中的音频数据。音频输出模块5552还可以输出与移动装置5500中执行的功能相关的音频信号(例如，呼叫信号接收音、消息接收音等)。音频输出模块5552可以包括受话器、扬声器和蜂鸣器。
警报模块5553输出用于通知发生了移动装置5500的事件的信号。在移动装置中产生的事件的示例包括呼叫信号接收、消息接收、键信号输入和触摸输入。除了视频信号或音频信号之外，警报单元5553可以通过其它形式(例如，振动)输出通知事件发生的信号。
视频信号或音频信号还可以通过显示单元5551或音频输出模块5552输出，使得显示单元和音频输出模块5551和5552可以被归类为警报模块5553的部分。
触觉模块5554产生用户能感觉到的各种触觉效果。振动是触觉模块5554所产生的触觉效果的典型示例。触觉模块5554所产生的振动的强度和模式是可控的。例如，不同的振动可以被合成后输出或者被顺序地输出。
除了振动之外，触觉模块5554还可以产生各种触觉效果，包括诸如相对于皮肤的接触表面垂直移动的引脚排列、通过喷射或吸入的空气的喷射力或吸入力、皮肤表面上擦伤、与电极接触、静电力等这样的刺激效果以及通过使用能够吸收热或产生热的元件再现冷热感而带来的效果。
触觉模块5554可以不仅通过直接接触来传递触觉效果，而且实现它，使得用户通过手指或手臂这样的肌肉的感觉能感觉触觉效果。可以根据移动装置5500的配置方面来提供至少两个或更多个触觉模块5554。
存储器5560可以存储用于操作控制器5580的程序，或者可以暂时存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。存储器5560可以存储与各种振动模式相关的数据，并且当触摸输入到触摸屏上时输出声音。
存储器5560可以包括闪存型、硬盘型、多媒体卡微型、卡型存储器(例如，SD或XD存储器等)、随机存取存储器RAM、静态随机存取存储器SRAM、只读存储器ROM、电可擦除可编程只读存储器EEPROM、可编程只读存储器PROM、磁存储器、磁盘和光盘中的至少一种的存储介质。移动装置5500可以与在互联网上执行存储器5560的存储功能的网络存储器相结合地操作。
接口单元5570用作与连接到移动装置5500的所有外部装置的通道。接口单元5570接收来自外部装置的数据，接收电力，并且将数据传输到移动装置5500内的每个部件，或者使得移动装置5500内的数据能够被传输到外部装置。例如，有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储器卡端口、用于连接装配有标识模块的装置的端口、音频输入/输出端口、视频I/O端口、耳机端口等可以被包括在接口单元5570中。
识别模块是存储用于对移动装置5500的使用权限进行认证的各种信息的芯片，并且可以包括用户认证模块UIM、订户识别模块SIM、全球订户识别模块USIM等。配备有识别模块的装置(下文中，被称为“识别装置”)可按智能卡格式制造。因此，识别装置可以通过端口连接到移动终端5500。
当移动终端5500连接到外部托架时，接口单元5570可以成为来自托架的电力通过其被供应到移动终端550的通道或用户通过其从托架输入各种命令信号的通道。从托架输入的各种命令信号或电力可以作为用于识别出移动终端被正确安装在托架上的信号进行操作。
控制单元5580通常控制移动装置的整体操作。例如，它执行与语音呼叫、数据通信、视频呼叫等相关的控制和处理。控制单元5580可以包括用于多媒体回放的多媒体模块5581。多媒体模块5581可以在控制单元5580中实现，或者可以与控制单元5580分开实现。控制单元5580，具体地多媒体模块5581可以包括上述的编码装置100和/或解码装置200。
控制单元5580可以执行能够将在触摸屏上执行的手写输入或绘图输入分别识别为字符和图像的模式识别过程。
电源单元5590在控制单元5580的控制下接收外部电力和内部电力，并且供应每个部件的操作所需的电力。
可以使用例如软件、硬件或其组合在计算机或类似的装置可读记录介质中实现本文中描述的各种实施方式。
根据硬件实现方式，可以使用专用集成电路ASIC、数字信号处理器DSP、数字信号处理器件DSPD、可编程逻辑器件PLD、现场可编程门阵列FPGA、处理器、控制器、微控制器、微处理器和用于执行功能的电子单元中的至少一个来实现本文中模式的实施方式。在一些情况下，可以用控制单元5580本身来实现本文中描述的实施方式。
根据软件实现方式，诸如本文中描述的过程和功能这样的实施方式可以被实现为单独的软件模块。各个软件模块可以执行在文中描述的一个或更多个功能和操作。软件代码可以由以适宜编程语言编写的软件应用来实现。这里，软件代码被存储在存储器5560中，并且可以由控制单元5580执行。
图56是例示了根据另一实施方式的数字装置的框图。
数字装置5600的另一示例可以包括广播接收单元5605、外部装置接口单元5656、存储单元5640、用户输入接口单元5650、控制单元5670、显示单元5680、音频输出单元5685、电源单元5690和拍摄单元(未示出)。这里，广播接收单元5605可以包括至少一个调谐器5610、解调单元5620和网络接口单元5630。然而，取决于情况，广播接收单元5605可以包括调谐器5610和解调器5620，但是可以不包括网络接口单元5630，反之亦然。另外，尽管未示出，但是广播接收单元5605可以配备有复用器，以对由调谐器5610调谐并然后由解调单元5620解调的信号以及通过网络接口单元5630接收的信号进行复用。另外，尽管未示出，但是广播接收单元5605可以配备有解复用器，以对复用后的信号、解调后的信号或已经经过网络接口单元5630的信号进行解复用。
调谐器5610在通过天线接收到的射频RF广播信号当中通过调谐用户所选择的频道或所有预先存储的频道来接收RF广播信号。并且，调谐器5610将接收到的RF广播信号转换成中频IF信号或基带信号。
例如，如果接收到的RF广播信号是数字广播信号，则它被转换成数字IF信号DIF，并且如果它是模拟广播信号，则它被转换成模拟基带视频或音频信号CVBS/SIF。即，调谐器5610可以处理数字广播信号或模拟广播信号二者。从调谐器5610输出的模拟基带视频或音频信号CVBS/SIF可以被直接输入控制器5670。
调谐器5610可以根据高级电视系统委员会ATSC方案接收单载波RF广播信号，或者根据数字视频广播DVB方案接收具有多个载波的RF广播信号。
此外，调谐器5610可以依次调谐并接收通过天线接收的RF广播信号当中的通过信道存储功能存储的所有广播信道的RF广播信号，并且将它们转换成中频信号或基带信号。
解调单元5620接收并解调由调谐器5610转换的数字IF信号DIF。例如，当从调谐器5610输出的数字IF信号是ATSC系统时，解调单元5620执行例如8垂直边带8-VSB解调。另外，解调单元5620可以执行信道解码。为此，解调单元5620可以包括网格解码器、解交织器、里德-所罗门(Reed-Solomon)解码器等，并且执行网格解码、解交织和里德-所罗门解码。
例如，当从调谐器5610输出的数字IF信号是DVB方法时，解调单元5620例如执行编码的正交频分调制COFDMA解调。另外，解调单元5620可以执行信道解码。为此，解调单元5620可以包括卷积解码器、解交织器和超前所罗门解码器，并且执行卷积解码、解交织和读所罗门解码。
解调单元5620可以在进行解调和频道解码之后输出流信号TS。在这种情况下，流信号可以是其中视频信号、音频信号或数据被复用的信号。例如，流信号可以是其中MPEG-2标准视频信号、杜比AC-3标准音频信号等被复用的MPEG-2传输流TS。具体地，MPEG-2TS可以包括4字节的报头和184字节的有效载荷。
此外，能够根据ATSC方法和DVB方法分别提供上述解调单元5620。即，数字装置可以分别包括ATSC解调器和DVB解调器。
从解调器5620输出的流信号可以被输入到控制器5670。控制单元5670可以控制解复用、视频/音频信号处理等，并且控制通过显示单元5680输出的图像和通过音频输出单元5685输出的音频。
外部装置接口单元5656提供了各种外部装置与数字装置5600交互的环境。为此，外部装置接口单元5635可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
外部装置接口5656可以以有线/无线方式连接到诸如数字多功能盘(DVD)、蓝光、游戏装置、相机、摄像机、计算机(便携式计算机、平板计算机)、智能电话、Bluetooth装置和云这样的外部装置。外部装置接口单元5656将从外部通过连接的外部装置输入的视频、音频或数据(包括图像)信号发送到数字装置的控制器5670。控制单元5670可以控制处理后的图像、音频或数据信号，以将其输出到连接的外部装置。为此，外部装置接口单元5656还可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
A/V输入/输出单元可以包括USB端子、复合视频消隐同步CVBS端子、组件端子、S-video端子(模拟)和DVI(数字视觉接口)端子、HDMI(高清多媒体接口)端子、RGB端子、D-SUB端子等，以将外部装置的视频信号和音频信号输入数字装置5600。
无线通信单元可以与其它电子装置执行短距离无线通信。例如，数字装置5600可以根据通信协议(例如，Bluetooth、射频识别RFID、红外数据协会IrDA、超宽带UWB、ZigBee和数字生活网络联盟DLNA)与其它电子装置联网。
并且，外部装置接口单元5656可以连接到上述各种机顶盒和各种端子中的至少一个，并且用机顶盒执行输入/输出操作。
此外，外部装置接口单元5656可以接收相邻外部装置中的应用或应用列表并且将它传输到控制单元5670或存储单元5640。
网络接口单元5630提供用于将数字装置5600与包括互联网网络的有线/无线网络连接的接口。网络接口单元5630可以包括例如用于与有线网络连接的以太网端子等，并且使用诸如例如无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)和用于与无线网络连接的高速下行链路分组接入(HSDPA)这样的通信标准。
网络接口单元5630可以通过所连接网络或与所连接网络链接的另一网络与其它用户或其它数字装置进行数据的发送或接收。具体地，存储在数字装置5600中的一些内容数据可以被发送给预先注册在数字装置5600中的另一用户，或者发送给所选择的用户或其它数字装置当中的所选择的数字装置。
此外，网络接口单元5630可以通过所连接网络或与所连接网络链接的另一网络访问预定的网页。即，能够通过网络连接到预定的网页，并且与对应的服务器进行数据的发送或接收。另外，可以接收由内容提供商或网络运营商提供的内容或数据。即，能够通过网络接收由内容提供商或网络提供商提供的诸如电影、广告、游戏、VOD、广播信号和相关信息这样的内容。另外，能够接收由网络运营商提供的固件的更新信息和更新文件。网络接口单元5630还可以将数据发送到互联网或内容提供商或网络运营商。
另外，网络接口单元5630可以通过网络选择并接收对公众公开的应用当中的所期望应用。
存储器5640可以存储用于处理并控制控制器5670中的每个信号的程序，或者可以存储信号处理后的图像、语音或数据信号。
另外，存储单元5640可以执行临时存储从外部装置接口单元5635或网络接口单元5630输入的图像、音频或数据信号的功能。存储单元5640可以通过频道记忆功能存储与预定广播频道相关的信息。
存储单元5640可以存储从外部装置接口单元5635或网络接口单元5630输入的应用或应用列表。
另外，存储单元5640可以存储随后描述的各种平台。
存储单元5640可以包括例如闪存类型、硬盘类型、多媒体卡微型类型和卡类型存储器(例如，SD或XD存储器等)、RAM和ROM(EEPROM等)当中的至少一种存储介质。数字装置5600可以播放存储在存储单元5640中的内容文件(视频文件、静止图像文件、音乐文件、文档文件、应用文件等)并且将其提供给用户。
图56例示了其中存储单元5640与控制单元5670分开设置的实施方式，但是本公开的范围不限于此。即，存储单元5640可以被包括在控制单元5670中。
用户输入接口单元5650将由用户输入的信号传输到控制单元5670或者将来自控制单元5670的信号传输到用户。
例如，用户输入接口单元5650可以根据诸如RF通信方法和红外IR通信方法这样的各种通信方法从远程控制装置4200接收与控制电源开/关、频道选择和屏幕设置相关的控制信号，并且对其进行处理。或者，用户输入接口单元5650可以处理来自控制单元5670的控制信号，以使其被传输到远程控制装置4200。
并且，用户输入接口单元5650可以将从诸如电源键、频道键、音量键和值设置键这样的本地键(未示出)输入的控制信号传输到控制器5670。
用户输入接口单元5650可以将从感测用户姿势的感测单元(未示出)输入的控制信号传输到控制单元5670，或者将来自控制单元5670的信号传输到感测单元(未示出)。这里，感测单元(未示出)可以包括触摸传感器、语音传感器、位置传感器和运动传感器。
控制器5670可以对通过调谐器5610、解调器5620或外部装置接口5656输入的流进行解复用，或者处理解复用后的信号，以生成并输出视频或音频输出的信号。控制单元5670可以包括上述的编码设备和/或解码设备。
经控制器5670处理的图像信号可以被输入到显示单元5680并且被显示为与图像信号对应的图像。另外，经控制单元5670处理的图像信号可以通过外部装置接口单元5656被输入到外部输出装置。
经控制单元5670处理的音频信号可以是被输出到音频输出单元5685的音频。另外，经控制器5670处理的音频信号可以通过外部装置接口5656被输入到外部输出装置。
尽管未在图56中例示，但是控制单元5670可以包括解复用器、图像处理器等。
控制单元5670可以控制数字装置5600的整体操作。例如，控制单元5670可以控制调谐器5610调谐与用户所选择的频道或预存储频道对应的RF广播。
控制单元5670可以根据通过用户输入接口单元5650输入的用户命令或内部程序控制数字装置5600。具体地，能够接入网络并且将所期望的应用或应用列表下载到数字装置5600中。
例如，控制单元5670控制调谐器5610，以便输入根据通过用户输入接口单元5650接收到的预定频道选择命令而选择的频道的信号并处理所选择频道的视频、音频或数据信号。控制单元5670使得由用户选择的频道信息等能够与处理后的图像或音频信号一起通过显示单元5680或音频输出单元5685输出。
作为另一示例，根据通过用户输入接口单元5650接收的外部装置图像回放命令，控制单元5670可以使得通过外部装置接口单元5635从外部装置(例如，相机或摄像机)输入的音频信号能够通过显示单元5680或音频输出单元5685输出。
此外，控制单元5670可以控制显示单元5680显示图像。例如，控制单元5670可以控制显示单元5680显示通过调谐器5610输入的广播图像、通过外部装置接口单元5656输入的外部输入图像、通过网络接口单元输入的图像或存储在存储单元5640中的图像。此时，显示在显示单元5680上的图像可以是静止图像或视频，并且可以是2D视频或3D视频。
另外，控制单元5670可以进行控制以播放内容。此时，内容可以是存储在数字装置5600中的内容、或者接收到的广播内容、或者从外部输入的外部输入内容。内容可以是广播图像、外部输入图像、音频文件、静止图像、所连接的网络画面和文档文件中的至少一个。
当输入应用查看条目时，控制单元5670可以进行控制以显示位于数字装置5600内或者可以从外部网络下载的应用的列表或应用。
控制单元5670可以进行控制以安装并操作从外部网络下载的应用连同各种用户界面。并且，控制单元5670可以通过用户的选择来控制与待执行的应用相关的图像被显示在显示单元5680上。
尽管未在图中示出，但是还能够进一步配备有频道浏览处理单元，以生成与频道信号或外部输入信号对应的缩略图图像。
频道浏览处理单元可以接收从解调单元5620输出的流信号TS或从外部装置接口单元5656输出的流信号，从输入的流信号中提取图像，并且生成缩略图图像。
所生成的缩略图图像可以被原样地或被编码地输入到控制单元5670。另外，所生成的缩略图图像可以以流形式被编码，并且被输入到控制单元5670。控制单元5670可以使用输入的缩略图图像来将包括多个缩略图图像的缩略图列表显示在显示单元5680上。该缩略图列表中的缩略图图像可以被依次或同时更新。因此，用户可以容易地掌握多个广播频道的内容。
显示单元5680将经控制器5670处理的图像信号、数据信号、OSD信号等或从外部装置接口单元5656接收的图像信号和数据信号分别转换成R、G和B信号，并且生成驱动信号。
显示单元5680可以是PDP、LCD、OLED、柔性显示器、3D显示器等。
除了输出装置之外，显示单元5680可以被配置为触摸屏并用作输入装置。
音频输出单元5685接收经控制器5670处理的信号(例如，立体声信号、3.1频道信号或5.1频道信号)，并且将其作为音频输出。音频输出单元5685可以被实现为各种类型的扬声器。
此外，为了感测用户的姿势，如上所述，还可以在数字装置5600中设置具有触摸传感器、语音传感器、位置传感器和运动传感器中的至少一个的感测单元(未示出)。由感测单元(未示出)检测的信号可以通过用户输入接口单元5650被传输到控制单元5670。
还可以设置用于拍摄用户的拍摄单元(未示出)。拍摄单元(未示出)所拍摄的图像信息可以被输入到控制单元5670。
控制单元5670可以通过独立地或与由摄影单元(未示出)捕获的图像或由感测单元(未示出)感测的信号相结合地检测用户的姿势。
电源单元5690可以向整个数字装置5600供应电力。
具体地，电源单元5690可以向能够按片上系统SoC形式实现的控制单元5670、用于图像显示的显示器单元5680和用于音频输出的音频输出单元5685供应电力。
为此，电源单元5690可以包括将AC电力转换成DC电力的转换器(未示出)。例如，当显示单元5680被实现为具有多个背光灯的液晶面板时，还可以设置用于改变亮度或调光驱动的PWM可操作的逆变器(未示出)。
远程控制装置5700将用户输入发送到用户输入接口单元5650。为此，远程控制装置5700可以使用Bluetooth、RF(射频)通信、红外IR通信、UWB(超宽带)、ZigBee(ZigBee)方法等。
另外，远程控制装置5700可以接收从用户输入接口单元5650输出的图像、音频或数据信号，将其显示在远程控制装置5700上，或者输出语音或振动。
上述的数字装置5600可以是能够处理固定或移动ATSC型或DVB型数字广播信号的数字广播接收器。
此外，根据本公开的数字装置可以在需要时省略一些部件或者还包括未例示的部件。如上所述，数字装置可以没有调谐器和解调器，并且还可以通过网络接口单元或外部装置接口单元来接收和播放内容。
图57是例示了图54至图56的控制单元的详细配置的框图。
控制单元的示例可以包括解复用单元5710、图像处理单元5720、屏幕显示OSD生成单元5740、混频器5750、帧频转换器FRC 5755和格式化器5760。另外，尽管未示出，但是控制单元还可以包括语音处理单元和数据处理单元。
解复用器5710可以对输入流进行解复用。例如，解复用单元5710可以将输入的MPEG-2TS解复用成视频信号、音频信号和数据信号。这里，输入到解复用单元5710的流信号可以是从调谐器或解调器或外部装置接口输出的流信号。
图像处理单元5720执行解复用后的图像信号的图像处理。为此，图像处理单元5720可以包括视频解码器5725和缩放器5735。
视频解码器5725对解复用后的视频信号进行解码，并且缩放器5735对解码后的视频信号的分辨率进行缩放，以被在显示器上输出。
视频解码器5725能支持各种标准。例如，当视频信号以MPEG-2标准被编码时，视频解码器5725执行MPEG-2解码器的功能，并且当视频信号以数字多媒体广播DMB方法或H.264标准被编码时，视频解码器5725执行H.264解码器的功能。
经视频处理单元5720解码的视频信号被输入到混频器5750。
OSD生成单元5740根据用户输入或其本身生成OSD数据。例如，OSD生成单元5740基于用户输入接口单元的控制信号来生成用于在显示单元5680的屏幕上按图形或文本形式显示各种数据的数据。所生成的OSD数据包括诸如数字装置的用户界面画面、各种菜单画面、窗口小部件、图标和收视率信息这样的各种数据。
OSD生成单元5740可以基于EPG来生成用于显示广播图像的字幕或广播信息的数据。
混频器5750将OSD生成单元5740生成的OSD数据与经图像处理单元处理的图像信号混合并且将其提供到格式化器5760。因为解码后的视频信号与OSD数据被混合，所以OSD被显示为覆盖在广播视频或外部输入视频上。
帧频转换器FRC 5755转换输入视频的帧频。例如，取决于显示单元的输出频率，帧频转换器5755可以将输入的60Hz图像帧频转换成具有例如120Hz或240Hz的帧频。如上所述，对于用于转换帧频的方法，存在各种方法。例如，当帧频转换器5755将帧频从60Hz转换到120Hz时，将相同的第一帧插入到第一帧和第二帧之间，或者将从第一帧和第二帧预测的第三帧插入到第一帧和第二帧之间。作为另一示例，当帧频转换器5755将帧频从60Hz转换到240Hz时，可以将三个相同的帧或预测的帧插入到现有的帧之间。如果不执行单独的帧转换，则可以忽略帧频转换单元5755。
格式化器5760改变帧频转换器5755的输出，以匹配显示单元的输出格式。例如，格式化器5760可以输出R、G和B数据信号，并且这些R、G和B数据信号可以被作为低压差分信令LVDS或小LVDS输出。另外，当帧频转换器5755的输出为3D视频信号时，格式化器5760可以通过根据显示单元的输出格式将输出配置为3D格式来通过显示单元支持3D服务。
控制单元中的音频处理单元(未示出)可以对解复用后的音频信号执行音频处理。音频处理单元(未示出)能支持各种音频格式。例如，即使当音频信号以诸如MPEG-2、MPEG-4、AAC、HE-AAC、AC-3、BSAC这样的格式编码时，音频处理单元也可以被设置有与其对应的解码器。
另外，控制单元中的音频处理单元(未示出)可以处理低音、高音、音量控制等。
控制单元中的数据处理单元(未示出)可以对解复用后的数据信号执行数据处理。例如，数据处理单元即使在其被编码时也可以对解复用后的数据信号进行解码。这里，编码后的数据信号可以是EPG信息，包括诸如在每个频道上广播的广播程序的开始时间和结束时间这样的广播信息。
此外，上述数字装置是根据本公开的示例，并且可以取决于实际数字装置的规格来集成、添加或省略每个部件。即，如有必要，两个或更多个部件可以被组合成一个部件，或者一个部件可以被细分为两个或更多个部件。另外，在每个块中执行的功能是用于描述本公开的实施方式，并且特定的操作或装置不限制本公开的范围。
数字装置可以是执行存储在装置中的图像或输入图像的信号处理的图像信号处理装置。作为图像信号处理装置的另一示例，除了图56中示出的显示单元5680和音频输出单元5685之外，还可以例示机顶盒STB、DVD播放器、蓝光播放器、游戏装置、计算机等。
图58是例示了根据实施方式的其中数字装置的屏幕同时显示主图像和子图像的示例的示图。
根据实施方式的数字装置可以在屏幕5800上同时显示主图像5810和辅助图像或子图像5820。主图像5810可以被称为第一图像，并且辅助图像5820可以被称为第二图像。主图像5810和辅助图像5820可以包括视频、静止图像、电子节目指南EPG、图形用户界面GUI、屏幕上显示OSD等，并且不限于此。主图像5810可以意指在连同辅助图像5820一起同时显示在电子装置的屏幕5800上时大小相对小于电子装置的屏幕5800的图像。在图58中，主图像5810被显示在数字装置的屏幕5800的左上方，但是主图像5810的显示位置不限于此，并且主图像5810可以显示在数字装置的屏幕5800中的任何位置处。
主图像5810和辅助图像5820可以直接或间接地彼此相关。作为示例，主图像5810可以是流传输视频，并且辅助图像5820可以是GUI，其依次显示包括与流传输视频相似的信息的视频的缩略图。作为另一示例，主图像5810可以是广播图像，并且辅助图像5820可以是EPG。作为另一示例，主图像5810可以是广播图像，并且辅助图像5820可以是GUI。主图像5810和辅助图像5820的示例不限于此。
在一个实施方式中，主图像5810是通过广播信道接收的广播图像，并且辅助图像5820可以是与通过广播信道接收的广播图像相关的信息。与通过广播信道接收的广播图像相关的信息可以包括例如EPG信息，该EPG信息包括综合频道时间表和广播节目详细信息以及广播节目评论信息，但不限于此。
在另一实施方式中，主图像5810是通过广播信道接收的广播图像，并且辅助图像5820可以是基于预先存储在数字装置中的信息而生成的图像。基于预先存储在数字装置中的信息生成的图像可以包括例如EPG的基本用户界面UI、基本频道信息、图像分辨率操纵UI以及就寝时间预定UI，而不限于此。
在另一实施方式中，主图像5810是通过广播信道接收的广播图像，并且辅助图像5820可以是与通过网络接收的广播图像相关的信息。与通过网络接收的广播图像相关的信息可以是例如基于网络通过搜索引擎获得的信息。更具体地，例如，可以通过基于网络的搜索引擎来获得与当前正显示在主图像5810上的字符相关的信息。
然而，示例不限于此，并且可以通过使用例如人工智能AI系统来获得与通过网络接收的广播图像相关的信息。更具体地，例如，可以通过使用基于网络的深度学习来获得当前正显示在主图像5810上的地点的在地图上的估计位置，并且数字装置可以接收关于通过网络当前正显示在主图像5810上的地点的在地图上的所估计位置的信息。
根据实施方式的数字装置可以从外部接收主图像5810的图像信息和辅助图像5820的图像信息中的至少一个。主图像5810的图像信息可以包括例如通过广播信道接收的广播信号、主图像5810的源代码信息以及通过网络接收的主图像5810的IP分组(互联网协议分组)信息，但不限于此。类似地，辅助图像5820的图像信息包括例如通过广播信道接收的广播信号、辅助图像5820的源代码信息、通过网络接收的辅助图像5820的IP分组信息等，但不限于此。数字装置可以对从外部接收的主图像5810的图像信息或辅助图像5820的图像信息进行解码并使用它。然而，在一些情况下，数字装置可以在内部存储主图像5810的图像信息或辅助图像5820的图像信息。
数字装置可以基于主图像5810的图像信息和与辅助图像5820相关的信息将主图像5810和辅助图像5820显示在数字装置的屏幕5800上。
在一个示例中，数字装置的解码设备200包括主图像解码设备和辅助图像解码设备，并且主图像解码设备和辅助图像解码设备可以分别对主图像5810的图像信息和辅助图像5820的图像信息进行解码。渲染器包括主视频渲染器(第一渲染器)和辅助视频渲染器(第二渲染器)。主图像渲染器可以基于经主图像解码设备解码的信息将主图像5810显示在数字装置的屏幕5800的第一区域上，并且辅助图像渲染器可以基于经辅助图像解码设备解码的信息来使辅助图像5820显示在数字装置的屏幕5800的第二区域上。
在另一示例中，数字装置的解码设备200可以对主图像5810的图像信息和辅助图像5820的图像信息进行解码。基于经解码设备200解码的信息，渲染器可以将主图像5810和辅助图像5820一起处理，以同时显示在数字装置的屏幕5800上。
即，根据该文献，能够提供在数字装置中处理图像服务的方法。图像服务处理方法可以包括：接收图像信息，基于图像信息对(主)图像进行解码，渲染解码后的图像或者将解码后的图像显示在显示器上的第一区域中，以及渲染辅助图像或者将辅助图像显示在显示器上的第二区域中。在这种情况下，对第一图像进行解码的步骤可以遵循根据上述图3的解码设备200中的解码过程。例如，如上所述，对第一图像进行解码的步骤可以包括：基于帧间或帧内预测来导出针对当前块的预测样本，基于接收到的残差信息来导出针对当前块的残差样本，并且基于预测样本和/或残差样本来生成重构样本。另外，对第一图像进行解码的步骤可以包括对包括重构样本的重构图片执行环路内滤波过程。
例如，辅助图像可以是电子节目指南EPG、屏幕上显示OSD或图形用户界面GUI。例如，可以通过广播网络接收图像信息，并且可以通过广播网络接收关于辅助图像的信息。例如，可以通过通信网络接收图像信息，并且可以通过通信网络接收关于辅助图像的信息。例如，可以通过广播网络接收图像信息，并且可以通过通信网络接收关于辅助图像的信息。例如，可以通过广播网络或通信网络接收图像信息，并且关于辅助图像的信息可以被存储在数字装置中的存储介质中。
在以上提到的实施方式中，本公开的元件和特征已经按特定形式进行了组合。这些元件或特征中的每一个都可以被认为是可选的，除非另有明确描述。这些元件或特征中的每一个都可以按不与其它元件或特征组合的形式来实现。此外，这些元件和/或特征中的一些可以被组合，以形成本公开的实施方式。可以改变本公开的实施方式中描述的操作的顺序。实施方式的一些元件或特征可以被包含在另一个实施方式中，或者可以被另一个实施方式的对应元件或特征替换。显而易见的是，实施方式可以通过将在权利要求中没有明确引用关系的权利要求组合来构造或者可以在提交申请之后通过修改被包括作为新的权利要求。
根据本公开的实施方式可以通过各种手段(例如，硬件、固件、软件或它们的组合)来实现。在由硬件实现的情况下，本公开的实施方式可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。
在由固件或软件实现的情况下，本公开的实施方式可以按执行以上提到的功能或操作的模块、程序或函数的形式来实现。软件代码可以被存储在存储器中并且由处理器驱动。存储器可以位于处理器的内部或外部并且可以利用各种已知手段与处理器交换数据。
对于本领域的技术人员显而易见的是，可以在不脱离本公开的必要特性的情况下按其它特定形式来实现本公开。因此，详细描述不应该被解释为是限制性的，而是应该被解释为从所有方面来说都是例示性的。本公开的范围应该通过对所附的权利要求的合理分析来确定，并且在本公开的等同范围内的所有修改都被包括在本公开的范围内。
工业实用性
已经出于例示性目的而公开了本公开的以上提到的优选实施方式，并且本领域的技术人员可以在不脱离所附的权利要求中公开的本公开的技术精神和范围的情况下改进、改变、替代或添加各种其它实施方式。

Claims (12)

1.一种基于帧间预测对视频信号进行处理的方法，该方法包括以下步骤：
基于当前块的邻近块来配置合并列表；
当所述合并列表中所包括的合并候选的数目小于第一预定数目时，将基于历史的合并候选列表中所包括的基于历史的合并候选添加到所述合并列表；
获得指示所述合并列表内的用于所述当前块的帧间预测的合并候选的合并索引；以及
基于所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，
其中，将所述基于历史的合并候选添加到所述合并列表的步骤包括以下步骤：
检查所述基于历史的合并候选列表内的第二预定数目的基于历史的合并候选是否具有与所述合并列表中所包括的合并候选相同的运动信息。
2.根据权利要求1所述的方法，其中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的合并候选中的预先定义的合并候选不同的运动信息时，将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
3.根据权利要求2所述的方法，其中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的合并候选中的第三预定数目的预先定义的合并候选不同的运动信息时，将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
4.根据权利要求2所述的方法，其中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的预先定义的空间合并候选不同的运动信息时，将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
5.根据权利要求1所述的方法，其中，所述第一预定数目被限定为从最大合并候选数目中减去1而得到的值。
6.根据权利要求1所述的方法，其中，添加基于历史的合并候选的步骤包括以下步骤：
当所述合并列表中包括三个当前合并候选时，检查两个基于历史的合并候选是否具有与所述合并列表中所包括的合并候选相同的运动信息。
7.一种基于帧间预测对视频信号进行处理的设备，该设备包括：
存储器，该存储器被配置为存储视频信号；以及
处理器，该处理器被组合到所述存储器，
其中，所述处理器被配置用于：
基于当前块的邻近块来配置合并列表；
当所述合并列表中所包括的合并候选的数目小于第一预定数目时，将基于历史的合并候选列表中所包括的基于历史的合并候选添加到所述合并列表；
获得指示所述合并列表内的用于所述当前块的帧间预测的合并候选的合并索引；并且
基于所述合并索引所指示的合并候选的运动信息来生成所述当前块的预测块，
其中，所述处理器还被配置用于检查所述基于历史的合并候选列表内的第二预定数目的基于历史的合并候选是否具有与所述合并列表中所包括的合并候选相同的运动信息。
8.根据权利要求7所述的设备，其中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的合并候选中的预先定义的合并候选不同的运动信息时，将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
9.根据权利要求8所述的设备，其中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的合并候选中的第三预定数目的预先定义的合并候选不同的运动信息时，将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
10.根据权利要求8所述的设备，其中，当所述第二预定数目的基于历史的合并候选具有与所述合并列表中所包括的预先定义的空间合并候选不同的运动信息时，将所述第二预定数目的基于历史的合并候选添加到所述合并列表。
11.根据权利要求7所述的设备，其中，所述第一预定数目被限定为从最大合并候选数目中减去1而得到的值。
12.根据权利要求7所述的设备，其中，所述处理器被配置用于：
当所述合并列表中包括三个当前合并候选时，检查两个基于历史的合并候选是否具有与所述合并列表中所包括的合并候选相同的运动信息。
CN201980016043.XA 2018-12-06 2019-12-06 基于帧间预测对视频信号进行处理的方法和装置 Active CN111788832B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202310779268.9A CN116708812A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310779488.1A CN116847107A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310783572.0A CN116708813A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备
CN202310777022.8A CN116684635A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862775922P 2018-12-06 2018-12-06
US62/775,922 2018-12-06
PCT/KR2019/017243 WO2020117018A1 (ko) 2018-12-06 2019-12-06 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202310779488.1A Division CN116847107A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310783572.0A Division CN116708813A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备
CN202310779268.9A Division CN116708812A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310777022.8A Division CN116684635A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备

Publications (2)

Publication Number Publication Date
CN111788832A true CN111788832A (zh) 2020-10-16
CN111788832B CN111788832B (zh) 2023-07-14

Family

ID=70974606

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202310779488.1A Pending CN116847107A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310779268.9A Pending CN116708812A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310777022.8A Pending CN116684635A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备
CN202310783572.0A Pending CN116708813A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备
CN201980016043.XA Active CN111788832B (zh) 2018-12-06 2019-12-06 基于帧间预测对视频信号进行处理的方法和装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202310779488.1A Pending CN116847107A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310779268.9A Pending CN116708812A (zh) 2018-12-06 2019-12-06 基于帧间预测处理和编码视频信号的方法和数据发送方法
CN202310777022.8A Pending CN116684635A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备
CN202310783572.0A Pending CN116708813A (zh) 2018-12-06 2019-12-06 编解码设备和数据发送设备

Country Status (6)

Country Link
US (4) US11368706B2 (zh)
EP (2) EP3726839A4 (zh)
JP (1) JP7260557B2 (zh)
KR (2) KR102527298B1 (zh)
CN (5) CN116847107A (zh)
WO (1) WO2020117018A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144908A1 (en) * 2018-01-26 2019-08-01 Mediatek Inc. Method and apparatus of affine inter prediction for video coding system
WO2020125738A1 (en) * 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using history based motion vector prediction
JP7418687B2 (ja) * 2018-12-28 2024-01-22 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR102583807B1 (ko) * 2018-12-28 2023-09-26 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
JP2020150530A (ja) * 2018-12-28 2020-09-17 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
US11102476B2 (en) * 2018-12-28 2021-08-24 Qualcomm Incorporated Subblock based affine motion model
WO2020141914A1 (ko) * 2019-01-01 2020-07-09 엘지전자 주식회사 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
EP3906690A4 (en) * 2019-01-04 2022-10-19 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR ENCODING/DECODING MOTION VECTOR INFORMATION
CN113396586A (zh) * 2019-02-11 2021-09-14 北京字节跳动网络技术有限公司 条件依赖的视频块分割

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021274A1 (en) * 2000-03-09 2001-09-13 Samsung Techwin Co., Ltd. Data compression device of digital recording system and controlling method thereof
US20110194609A1 (en) * 2010-02-05 2011-08-11 Thomas Rusert Selecting Predicted Motion Vector Candidates
KR20140018953A (ko) * 2011-05-31 2014-02-13 파나소닉 주식회사 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
KR20140136413A (ko) * 2011-09-09 2014-11-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
CN106682239A (zh) * 2017-02-06 2017-05-17 北京邮电大学 一种基于运动特征关联的室内位置预测方法、装置及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
CN106231339B (zh) * 2011-01-07 2019-07-09 Lg电子株式会社 视频编码和解码的装置
US10063876B2 (en) * 2011-06-24 2018-08-28 Hfi Innovation Inc. Method and apparatus for removing redundancy in motion vector predictors
KR20170005464A (ko) * 2011-08-30 2017-01-13 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US9769450B2 (en) * 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10491902B1 (en) * 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
WO2020047807A1 (zh) * 2018-09-05 2020-03-12 华为技术有限公司 帧间预测方法、装置以及编解码器
CN113170128B (zh) * 2018-12-03 2024-05-28 北京字节跳动网络技术有限公司 帧间预测的部分修剪方法
US10904557B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
US10869050B2 (en) * 2019-02-09 2020-12-15 Tencent America LLC Method and apparatus for video coding
US11012686B2 (en) * 2019-03-08 2021-05-18 Tencent America LLC Unified block vector prediction for intra picture block compensation
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021274A1 (en) * 2000-03-09 2001-09-13 Samsung Techwin Co., Ltd. Data compression device of digital recording system and controlling method thereof
US20110194609A1 (en) * 2010-02-05 2011-08-11 Thomas Rusert Selecting Predicted Motion Vector Candidates
KR20140018953A (ko) * 2011-05-31 2014-02-13 파나소닉 주식회사 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
KR20140136413A (ko) * 2011-09-09 2014-11-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
CN106682239A (zh) * 2017-02-06 2017-05-17 北京邮电大学 一种基于运动特征关联的室内位置预测方法、装置及系统

Also Published As

Publication number Publication date
EP4236320A2 (en) 2023-08-30
CN116708812A (zh) 2023-09-05
US20240179337A1 (en) 2024-05-30
EP4236320A3 (en) 2023-10-11
US11695948B2 (en) 2023-07-04
WO2020117018A1 (ko) 2020-06-11
US20230283797A1 (en) 2023-09-07
US11910000B2 (en) 2024-02-20
CN111788832B (zh) 2023-07-14
US20220377363A1 (en) 2022-11-24
EP3726839A1 (en) 2020-10-21
EP3726839A4 (en) 2021-06-02
CN116847107A (zh) 2023-10-03
JP7260557B2 (ja) 2023-04-18
KR102527298B1 (ko) 2023-04-27
US20200359039A1 (en) 2020-11-12
US11368706B2 (en) 2022-06-21
CN116708813A (zh) 2023-09-05
JP2021515484A (ja) 2021-06-17
CN116684635A (zh) 2023-09-01
KR20200093671A (ko) 2020-08-05
KR20230062663A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
US11653022B2 (en) Method and apparatus for processing video signal based on history based motion vector prediction
CN112042191B (zh) 以基于历史的运动矢量为基础预测处理视频信号的方法和设备
CN111788832B (zh) 基于帧间预测对视频信号进行处理的方法和装置
US11570430B2 (en) Method and device for processing video signal on basis of inter-prediction
US20220078407A1 (en) Method and apparatus for processing video signal on basis of inter prediction
RU2807594C2 (ru) Способ и устройство для обработки видеосигнала на основании основанного на истории предсказания вектора движения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant