CN117499639A - 图像编码/解码方法和用于发送图像信息的数据的方法 - Google Patents

图像编码/解码方法和用于发送图像信息的数据的方法 Download PDF

Info

Publication number
CN117499639A
CN117499639A CN202311708295.3A CN202311708295A CN117499639A CN 117499639 A CN117499639 A CN 117499639A CN 202311708295 A CN202311708295 A CN 202311708295A CN 117499639 A CN117499639 A CN 117499639A
Authority
CN
China
Prior art keywords
partition
block
prediction
current block
merge candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311708295.3A
Other languages
English (en)
Inventor
安镕照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DigitalInsights Inc
Original Assignee
DigitalInsights Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DigitalInsights Inc filed Critical DigitalInsights Inc
Publication of CN117499639A publication Critical patent/CN117499639A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本申请公开了图像编码/解码方法和用于发送图像信息的数据的方法。一种对图像进行解码的方法，包括：构建当前块的合并候选列表；基于合并候选列表得到当前块的运动信息；以及基于所得到的运动信息执行当前块的帧间预测，其中，当前块被划分为第一分区和第二分区，其中，通过对属于第一分区的第一参考块的像素和属于第二分区的第二参考块的像素分别施加预定权重来预测当前块的像素，其中，预定权重包括要施加于第一参考块的第一权重和要施加于第二参考块的第二权重，并且其中，第二权重被设置为等于从8减去第一权重得到的值。

Description

图像编码/解码方法和用于发送图像信息的数据的方法
本申请为于2020年12月25日提交、申请号为201980043307.0、发明名称为“图像编码/解码方法和装置”的中国专利申请的分案申请。所述母案申请的国际申请日为2019年6月27日，国际申请号为PCT/KR2019/007821。
技术领域
本公开内容涉及视频编码/解码方法和装置。
背景技术
随着对高分辨率视频的市场需求正在增加，需要可以有效地压缩高分辨率视频的技术。响应于市场需求，ISO/IEC的运动图像专家组(MPEG)和ITU-T的视频编码专家组(VCEG)联合成立了视频编码联合协作组(JCT-VC)，在2013年1月完成了高效视频压缩编码(HEVC)视频压缩标准的开发，并且已经在积极地研究和开发下一代压缩标准。
视频压缩主要由帧内预测、帧间预测、变换、量化、熵编码和环路滤波组成。同时，随着对高分辨率视频的需求增加，对作为新视频服务的3D视频内容的需求也在增加。用于有效地提供高分辨率和超高分辨率3D视频内容的视频压缩技术的讨论正在进行中。
发明内容
技术问题
本公开内容的目的是提供效率提高的视频编码/解码方法和装置。
另外，本公开内容的目的是提供用于将编码块划分为矩形、三角形或任意形状的分区的方法和装置。
另外，本公开内容的目的是提供用于自适应地构建当前块的合并候选列表的方法和装置。
本公开内容的目的是提供用于限制应用了对角线运动划分的块的预测方向的方法和装置。
另外，本公开内容的目的是提供用于对应用了对角线运动划分的块进行加权预测的方法和装置。
另外，本公开内容的目的是提供用于存储应用了对角线运动划分的块的运动信息的方法和装置。
另外，本公开内容的目的是提供用于存储由视频编码方法/装置生成的比特流的计算机可读记录介质。
技术解决方案
根据本公开内容的图像解码方法和装置可以构建当前块的合并候选列表，基于合并候选列表和合并候选索引来得到当前块的运动信息，并且基于所得到的运动信息来执行当前块的帧间预测。
在根据本公开内容的图像解码方法和装置中，可以基于对角线运动划分将当前块划分为第一分区和第二分区。
在根据本公开内容的图像解码方法和装置中，第一分区或第二分区中的至少一个可以具有三角形形状。
在根据本公开内容的图像解码方法和装置中，可以针对第一分区或第二分区中的至少一个用信号通知合并候选索引。
在根据本公开内容的图像解码方法和装置中，当预定标志是第一值时，可以用信号通知合并候选索引，并且该标志可以指示当前块是否基于对角线运动划分来执行运动补偿。
在根据本公开内容的图像解码方法和装置中，可以基于预定的编码参数从解码装置得到标志的值。
在根据本公开内容的图像解码方法和装置中，编码参数可以包括当前块所属的片类型、当前块的帧间模式类型或当前块的尺寸中的至少一个。
在根据本公开内容的图像解码方法和装置中，合并候选列表可以包括空间合并候选、时间合并候选、组合的合并候选或具有零运动向量的合并候选中的至少一个。
在根据本公开内容的图像解码方法和装置中，可以基于由合并候选索引指定的合并候选的运动信息来得到分区的运动信息。
在根据本公开内容的图像解码方法和装置中，当合并候选具有用于双向预测的运动信息时，分区可以被限制为仅具有用于单向预测的运动信息。
在根据本公开内容的图像解码方法和装置中，可以通过对属于第一分区的参考块的像素和属于第二分区的参考块的像素施加预定的权重(m和n)来预测当前块的像素。
在根据本公开内容的图像解码方法和装置中，m和n可以为0、1、2、4、6、7、8、16、28、31或32中的任意一个，并且m和n之和可以为2、8或32中的任意一个。
在根据本公开内容的图像解码方法和装置中，可以基于当前块的像素的位置来确定权重。
有益效果
根据本公开内容，可以通过各种类型的块划分来提高编码/解码效率。
另外，本公开内容可以通过使用自适应合并候选列表来提高运动信息的编码/解码效率。
根据本公开内容，通过限制应用了对角线运动划分的块的预测方向，可以有效地减小存储器带宽。
另外，本公开内容可以通过对应用了对角线运动划分的块进行加权预测来减少划分边界附近的伪影。
另外，可以通过根据本公开内容的运动信息存储方法来提高运动信息的可访问性和作为参考信息的可靠性。
另外，根据本公开内容，可以提供一种用于存储由根据本公开内容的图像编码方法/装置生成的比特流的计算机可读记录介质。
附图说明
图1是示出根据本公开内容的视频编码装置的框图。
图2是示出根据本公开内容的视频解码装置的框图。
图3是用于使用一条线段以任意形式划分块的方法的实施方式。
图4是示出可以使用正方形块划分和非正方形块划分以及左对角线线段和右对角线线段生成的划分为各种任意形状的块划分的示例的图。
图5示出使用本公开内容中提出的两种类型的对角线将正方形或非正方形块划分为三角形的方法。
图6是示出本公开内容中提出的用于基于掩模的运动预测和补偿的掩模的实施方式中的与圆形或椭圆形的划分有关的掩模的概念的图。
图7是示出当使用对角线运动划分时存储相应块的编码信息的形式的图。
图8是示出根据应用了本公开内容的实施方式的基于合并模式的帧间预测方法的图。
图9示出了使用左对角线运动划分的块的合并候选。
图10示出了使用右对角线运动划分的块的合并候选。
图11是示出根据应用了本公开内容的实施方式的基于受限掩模的运动预测和补偿的概念的图。
图12和图13是示出通过使用如应用了本公开内容的实施方式的一条直线将一个编码块划分为两个分区来执行预测的方法的概念的图。
图14至图17是示出作为应用了本公开内容的实施方式的用于应用了对角线运动划分的当前块的加权预测方法的图。
本发明的最佳实施方式
根据本公开内容的图像解码方法和装置可以构建当前块的合并候选列表，基于合并候选列表和合并候选索引来得到当前块的运动信息，并且基于所得到的运动信息来执行当前块的帧间预测。
在根据本公开内容的图像解码方法和装置中，可以基于对角线运动划分将当前块划分为第一分区和第二分区。
在根据本公开内容的图像解码方法和装置中，第一分区或第二分区中的至少一个可以具有三角形形状。
在根据本公开内容的图像解码方法和装置中，可以针对第一分区或第二分区中的至少一个用信号通知合并候选索引。
在根据本公开内容的图像解码方法和装置中，当预定标志是第一值时，可以用信号通知合并候选索引，并且该标志可以指示当前块是否基于对角线运动划分来执行运动补偿。
在根据本公开内容的图像解码方法和装置中，可以基于预定的编码参数从解码装置得到标志的值。
在根据本公开内容的图像解码方法和装置中，编码参数可以包括当前块所属的片类型、当前块的帧间模式类型或当前块的尺寸中的至少一个。
在根据本公开内容的图像解码方法和装置中，合并候选列表可以包括空间合并候选、时间合并候选、组合的合并候选或具有零运动向量的合并候选中的至少一个。
在根据本公开内容的图像解码方法和装置中，可以基于由合并候选索引指定的合并候选的运动信息来得到分区的运动信息。
在根据本公开内容的图像解码方法和装置中，当合并候选具有用于双向预测的运动信息时，分区可以被限制为仅具有用于单向预测的运动信息。
在根据本公开内容的图像解码方法和装置中，可以通过对属于第一分区的参考块的像素和属于第二分区的参考块的像素施加预定的权重(m和n)来预测当前块的像素。
在根据本公开内容的图像解码方法和装置中，m和n可以为0、1、2、4、6、7、8、16、28、31或32中的任意一个，并且m和n之和可以为2、8或32中的任意一个。
在根据本公开内容的图像解码方法和装置中，可以基于当前块的像素的位置来确定权重。
具体实施方式
将参照本说明书中的附图详细地描述本公开内容的实施方式，使得本领域普通技术人员可以容易地实现本公开内容。然而，本公开内容可以以各种不同的形式来实现，并且不限于在本文中描述的实施方式。在附图中，与描述无关的部件被省略以便清楚地描述本公开内容，并且在整个说明书中相似的附图标记被分配给相似的部件。
在整个说明书中，当说某个部件与另一部件“连接”时，这不仅包括其与在中间的另一元件直接连接的情况，还包括与在中间的另一元件电连接的情况。
另外，在整个说明书中，当某个部分“包括”某个部件时，表示除非另外说明，否则还可以包括其他部件而不是排除其他部件。
另外，诸如“第一”和“第二”的术语可以用于描述各种部件，但是这些部件不应受这些术语的限制。这些术语仅用于将一个部件与另一个部件区分开的目的。
另外，在本文描述的装置和方法的实施方式中，可以省略装置的配置的一部分或方法的步骤的一部分。另外，可以改变装置的配置的一部分的顺序或方法的步骤的一部分的顺序。另外，可以将其他配置或其他步骤插入装置的配置的一部分或方法的步骤的一部分中。
另外，本公开内容的第一实施方式的一些配置或一些步骤可以被添加至本公开内容的第二实施方式，或者可以替换第二实施方式的一些配置或一些步骤。
另外，在本公开内容的实施方式中示出的组成单元被独立地示出以表示不同的特征功能，并且并不表示每个组成单元由单独的硬件或单个软件组成单元形成。换句话说，为了便于描述，将组成单元作为相应的组成单元列出来进行描述，并且组成单元的至少两个组成单元被组合以形成一个组成单元，或者一个组成单元可以被划分为多个组成单元以执行功能。除非脱离本公开内容的实质，否则组成单元的集成实施方式和单独实施方式也包括在本公开内容的范围内。
首先，在本申请中使用的术语的简要描述如下。
在下文中，稍后将描述的视频解码装置可以是包括在下述中的装置：私人安全摄像装置、私人安全系统、军事安全摄像装置、军事安全系统、个人计算机(PC)、笔记本电脑、便携式多媒体播放器(PMP)、无线通信终端、智能电话、诸如TV应用服务器、服务服务器的服务器终端等。另外，视频解码装置可以指这样的装置，该装置包括：诸如各种装置的用户终端、诸如用于通过有线/无线通信网络进行通信的通信调制解调器的通信装置、用于存储用于帧间或帧内预测以对视频进行编码或解码的数据和各种程序的存储器、用于通过执行程序来执行操作和控制的微处理器等。
另外，由编码装置编码在比特流中的视频可以通过诸如互联网、近场通信网络、无线局域网(LAN)、WiBro网络和移动通信网络的有线/无线通信网络或者诸如线缆和通用串行总线(USB)的各种通信接口实时或非实时地发送至视频解码装置，并且可以被解码、重构为图像并再现。替选地，可以将由编码器生成的比特流存储在存储器中。该存储器可以包括易失性存储器和非易失性存储器两者。在本说明书中，存储器可以被表示为存储比特流的记录介质。
通常，视频可以由一系列图片组成，并且每个图片可以被划分为诸如块的编码单元。另外，本实施方式所属技术领域的普通技术人员将理解，以下描述的术语“图片”可以用具有等同含义的其他术语例如图像和帧来替换。另外，本领域普通技术人员将理解，术语“编码单元”可以用具有等同含义的其他术语例如单元块和块来替换。
在下文中，将参照附图更详细地描述本公开内容的示例性实施方式。在描述本公开内容时，将省略相同部件的重复描述。
图1是示出根据本公开内容的视频编码装置的框图。
参照图1，视频编码装置100可以包括图片划分模块110、预测模块120和125、变换模块130、量化模块135、重排模块160、熵编码模块165、逆量化模块140、逆变换模块145、滤波器模块150和存储器155。
图片划分模块110可以将输入图片划分为一个或更多个处理单元。在本文中，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在下文中，在本公开内容的实施方式中，编码单元可以用作执行编码的单元或执行解码的单元。
预测单元可以通过将一个编码单元划分为相同尺寸的至少一个正方形或非正方形来得到，而预测单元可以被划分成使得在一个编码单元内划分的多个预测单元中的一个预测单元具有不同于其他预测单元的形状和/或尺寸。当预测单元不是在基于编码单元来生成执行帧内预测的预测单元时的最小编码单元时，可以在不将编码单元划分为多个预测单元N×N的情况下执行帧内预测。
预测模块120和125可以包括执行帧间预测的帧间预测模块120和执行帧内预测的帧内预测模块125。可以确定针对预测单元执行帧间预测还是帧内预测，并且可以确定根据每种预测方法的详细信息(例如帧内预测模式、运动向量、参考图片等)。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块130。另外，用于预测的预测模式信息、运动向量信息等可以通过熵编码模块165与残差值一起被编码并且可以被发送至解码器。
当应用上述本公开内容的块合并技术时，在空间上或时间上合并和使用与当前块相邻的块的运动信息时，考虑到并行处理使用合并估计区域(MER)的方法可以应用于预测模块120和125。换句话说，考虑到诸如视频编码技术中的帧间预测、帧内预测和交叉分量预测的预测技术中的并行处理，本公开内容可以利用用于构建在空间上或时间上与当前块相邻的块的并行估计区域(PER)。
帧间预测模块120可以基于当前图片的先前图片或后续图片中的至少一个的信息来预测预测单元，或者在一些情况下可以基于当前图片中的一些编码区域的信息来预测预测单元。帧间预测模块120可以包括参考图片内插模块、运动预测模块和运动补偿模块。
参考图片内插模块可以从存储器155接收参考图片信息，并且可以从参考图片生成关于整像素或小于整像素的像素信息。在亮度像素的情况下，具有不同滤波器系数的基于8抽头DCT的内插滤波器可以用于以1/4像素为单位来生成关于整像素或小于整像素的像素信息。在色度信号的情况下，具有不同滤波器系数的基于4抽头DCT的内插滤波器可以用于以1/8像素为单位来生成关于整像素或小于整像素的像素信息。
运动预测模块可以基于由参考图片内插模块内插的参考图片来执行运动预测。作为用于获得运动向量的方法，可以使用诸如基于完全搜索的块匹配算法(FBMA)、三步搜索(TSS)、以及新的三步搜索算法(NTS)的各种方法。基于内插像素，运动向量可以具有以1/2像素或1/4像素为单位的运动向量值。运动预测模块可以通过使用各种运动预测方法来预测当前预测单元。作为运动预测方法，可以使用诸如跳过方法、合并方法、高级运动向量预测(AMVP)方法和帧内块复制方法的各种方法。
帧内预测模块125可以基于作为当前图片中的像素信息的、与当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是已经在其上执行帧间预测的块并且参考像素是已经在其上执行帧间预测的像素时，包括在已经在其上执行帧间预测的块中的参考像素可以用已经在其上执行帧内预测的相邻块的参考像素信息来替换。换句话说，当参考像素不可用时，关于不可用的参考像素的信息可以用可用参考像素中的至少一个参考像素来替换。
另外，可以生成包括残差信息的残差块，残差信息是基于由预测模块120和125生成的预测单元而在其上已经执行预测的预测单元与该预测单元的原始块之间的差。所生成的残差块可以被输入至变换模块130。
变换模块130可以使用诸如离散余弦变换(DCT)、离散正弦变换(DST)和KLT的变换方法来变换包括原始块与由预测模块120和125生成的预测单元之间的残差信息的残差块。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是否应用DCT、DST或KLT以便对残差块进行变换。
量化模块135可以对通过变换模块130变换为频域的值进行量化。量化系数可以根据图片的块或重要性而变化。可以将由量化模块135计算出的值提供至逆量化模块140和重排模块160。
重排模块160可以在量化的残差值上对系数值进行重排。
重排模块160可以通过系数扫描方法将二维块形式的系数改变为一维向量形式的系数。例如，重排模块160可以使用之字形扫描方法从DC系数扫描至高频域中的系数，以便将系数改变为一维向量的形式。根据变换单元的尺寸和帧内预测模式，可以使用在列方向上扫描二维块形式的系数的垂直扫描或在行方向上扫描二维块形式的系数的水平扫描来替代之字形扫描。换句话说，可以根据变换单元的尺寸和帧内预测模式来确定使用之字形扫描、垂直扫描和水平扫描中的哪种扫描方法。
熵编码模块165可以基于由重排模块160计算出的值来执行熵编码。熵编码可以使用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的各种编码方法。与此相关，熵编码模块165可以对来自重排模块160以及预测模块120和125的编码单元的残差值系数信息进行编码。另外，根据本公开内容，指示运动信息的信息在解码器侧处被得到并被使用，并且关于用于得到运动信息的技术的信息可以被用信号通知并被发送。
逆量化模块140和逆变换模块145可以对由量化模块135量化的值进行逆量化，并且对由变换模块130变换的值进行逆变换。由逆量化模块140和逆变换模块145生成的残差值可以与通过包括在预测模块120和125中的运动预测模块、运动补偿模块和帧内预测模块预测的预测单元组合，以生成重构块。
滤波器模块150可以包括解块滤波器、偏移校正模块或自适应环路滤波器(ALF)中的至少一个。解块滤波器可以去除由于重构图片中的块之间的边界而发生的块失真。偏移校正模块可以以解块滤波后的图像中的像素为单位校正相对于原始图像的偏移。为了对特定图片执行偏移校正，可以使用考虑到每个像素的边缘信息应用偏移的方法或者可以使用将图像中包括的像素划分为预定数目的区域、确定要进行偏移的区域并且将该偏移应用于所确定的区域的方法。可以基于通过将滤波后的重构图像与原始图像进行比较而获得的值来执行自适应环路滤波(ALF)。在将图像中包括的像素划分为预定组之后，可以确定要应用于相应组的一个滤波器，并且可以针对每个组区别地执行滤波。
存储器155可以存储通过滤波器模块150计算出的重构块或图片。在执行帧间预测时，可以将所存储的重构块或图片提供至预测模块120和125。
图2是示出根据本公开内容的图像解码装置的框图。
参照图2，用于对视频进行解码的装置200可以包括熵解码模块210、重排模块215、逆量化模块220、逆变换模块225、预测模块230和235、滤波器模块240和存储器245。
当视频比特流被输入至用于对视频进行解码的装置时，可以根据用于对视频进行编码的装置的逆处理来对输入的比特流进行解码。
熵解码模块210可以根据由视频编码装置的熵编码模块进行的熵编码的逆处理来执行熵解码。例如，对应于由视频编码装置执行的方法，可以应用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的各种方法。
熵解码模块210可以对关于由编码装置执行的帧内预测和帧间预测的信息进行解码。
重排模块215可以基于在编码装置中使用的重排方法对由熵解码模块210解码的比特流熵执行重排。重排模块可以将一维向量形式的系数重构和重排为二维块形式的系数。
逆量化模块220可以基于从编码装置接收到的量化参数和块的重排系数来执行逆量化。
逆变换模块225可以对由用于对视频进行编码的装置产生的量化结果执行逆变换，即与由变换模块执行的变换即DCT、DST和KLT相对应的逆DCT、逆DST和逆KLT。可以基于由视频编码装置确定的传输单元来执行逆变换。在视频解码装置的逆变换模块225中，可以根据诸如预测方法、当前块的尺寸和预测方向的多条信息来选择性地执行变换方案(例如，DCT、DST和KLT)。
预测模块230和235可以基于从熵解码模块210接收到的关于预测块生成的信息以及从存储器245接收到的关于先前解码的块或图片的信息来生成预测块。
如上所述，如果当以与视频编码装置的操作相同的方式执行帧内预测时预测单元的尺寸和变换单元的尺寸相同，则可以基于存在于预测单元的左部、左上部和顶部的像素来对预测单元执行帧内预测。然而，如果当执行帧内预测时预测单元的尺寸和变换单元的尺寸不同，则可以使用基于变换单元的参考像素来执行帧内预测。另外，使用N×N划分的帧内预测可以仅用于最小编码单元。
预测模块230和235可以包括预测单元确定模块、帧间预测模块和帧内预测模块。预测单元确定模块可以从熵解码模块210接收诸如预测单元信息、帧内预测方法的预测模式信息以及关于帧间预测方法的运动预测的信息的各种信息，可以将当前编码单元划分为预测单元，并且可以确定对预测单元执行帧间预测还是帧内预测。
当应用上述本公开内容的块合并技术时，合并和使用在空间上或时间上与当前块相邻的块的运动信息时，考虑到并行处理使用合并估计区域(MER)的方法可以应用于预测模块230和235。换句话说，考虑到诸如视频编码技术中的帧间预测、帧内预测和交叉分量预测的预测技术中的并行处理，本公开内容可以利用用于构建在空间上或时间上与当前块相邻的块的并行估计区域(PER)。
帧间预测模块230可以使用由视频编码装置提供的当前预测单元的帧间预测所需的信息，基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个的信息，来对当前预测单元执行帧间预测。为了执行帧间预测，可以基于编码块来确定相应的编码单元中包括的预测单元的运动预测方法是跳过模式、合并模式、AMVP模式还是帧内块复制模式。
帧内预测模块235可以基于当前图片中的像素信息来生成预测块。当预测单元是经历帧内预测的预测单元时，可以基于从视频编码装置接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块235可以包括自适应帧内平滑(AIS)滤波器、参考像素内插模块和DC滤波器。AIS滤波器对当前块的参考像素执行滤波，并且可以根据当前预测单元的预测模式来确定是否应用滤波器。可以通过使用预测单元的预测模式和从用于对视频进行编码的装置接收到的AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是未执行AIS滤波的模式时，可以不应用AIS滤波器。
当预测单元的预测模式是基于由参考像素内插的像素值执行帧内预测的预测单元时，参考像素内插模块可以对参考像素进行内插以生成以等于整像素或小于整像素的像素为单位的参考像素。在当前预测单元的预测模式是其中在不对参考像素进行内插的情况下生成预测块的预测模式时，可以不对参考像素进行内插。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。
可以将重构的块或图片提供至滤波器模块240。滤波器模块240可以包括解块滤波器、偏移校正模块和ALF。
可以从视频编码装置接收关于是否将解块滤波器应用于相应的块或图片的信息以及关于当应用解块滤波器时应用强滤波器和弱滤波器中的哪一个的信息。视频解码装置的解块滤波器可以从视频编码装置接收关于解块滤波器的信息，并且可以对相应的块执行解块滤波。
偏移校正模块可以基于偏移校正的类型和在执行编码时应用于图像的偏移值信息对重构图像执行偏移校正。基于从编码装置接收到的关于是否应用ALF的信息、ALF系数信息等，可以将ALF应用于编码单元。ALF信息可以以被包括在特定参数集中的方式来提供。
存储器245可以存储重构的图片或块以用作参考图片或块，并且可以将重构的图片提供至输出模块。
图3是用于使用一条线段以任意形式划分块的方法的实施方式。
图3示出了使用一条线段将一个块划分为不同任意形状的两个块的实施方式。
在图3中，一个块300可以被配置为正方形块或非正方形块。在这种情况下，可以将正方形块或非正方形块递归地划分为各种树类型，并且可以使用四叉树块划分、二叉树块划分和三叉树块划分来划分。
使用基于块的原点具有特定角度和距离的线段可以将图3所示的一个块划分为不同任意形状的两个块。在这种情况下，可以在块单元中用信号通知角度和距离，所述角度和距离是用于基于块的原点来指示线段的参数。
图4是示出了划分为各种任意形状的块划分的示例的图，该块划分可以使用正方形块划分和非正方形块划分以及左对角线线段和右对角线线段来生成。
图4示出了以下示例：在使用各种树类型的块划分结构中，可以仅使用左对角线线段或右对角线线段将块划分为各种任意形状。
在图4中，使用初始的四叉树块划分将块400划分为块410、420、430和440。之后，可以在不使用另外的下级树块划分的情况下使用本公开内容中提出的对角线线段将由四叉树块划分而划分的块中的第一块410划分为两个三角形块。在这种情况下，块410指示通过使用连接块的右上角和左下角的对角线来划分块。
在图4中，可以使用四叉树块划分作为另外的下级树块划分，将由四叉树块划分而划分的块中的第二块420划分为块421、422、423和424。在这种情况下，块421——块420的第一下级块——示出了在不使用另外的下级树块划分的情况下使用本公开内容中提出的对角线线段划分为两个三角形块的示例。在这种情况下，块421指示通过使用连接块的左上角和右下角的对角线来划分块。
块424——第二块420的下级块中的第四块——指示该块使用二叉树块划分再次被划分为两个非正方形块425和426。在这种情况下，块425表示其中使用本公开内容中提出的对角线线段将块划分为两个三角形块的示例，并且示出了使用连接块的左上角和右下角的对角线划分块。
在图4中，块430——通过四叉树块划分而划分的块中的第三块——使用二叉树块划分作为另外的下级树块划分而被划分为块431和432。
在以上的块中，块432——块430的第二下级块——不使用另外的下级树块划分，使用本公开内容中提出的对角线线段而被划分为两个三角形块，并且示出了使用连接块的右上角和左下角的对角线划分块。
在图4中，由四叉树块划分而划分的块中的第四块440使用二叉树块划分作为另外的下级树块划分而被划分为块441和442。在以上的块中，块441——块440的第一下级块——使用二进制树块划分作为另外的下级树块划分而被划分为块443和444。在以上的块中，示出了使用三叉树块划分将块443划分为块445、446和447。在这种情况下，使用三叉树块划分而划分的块中的块447示出了其中通过使用连接块的左上角和右下角的对角线将块划分为两个三角形块的示例。
如基于图4所示的实施方式所描述的，即使仅使用本公开内容中提出的由连接块的左上角和右下角的对角线以及连接块的右上角和左下角的对角线组成的两种类型的对角线，当例如四叉树块划分结构、二叉树块划分结构、和三叉树块划分结构的各种块划分结构被一起使用时，也可以表示任意块划分类型，例如使用图3所示的各种角度和距离的任意块划分类型。
图5示出了使用本公开内容中提出的两种类型的对角线将正方形块或非正方形块划分为三角形形状的方法。
图5A示出了使用连接块的左上角和右下角的对角线将正方形块或非正方形块划分成两个三角形块的示例。
图5B示出了使用连接块的右上角和左下角的对角线将正方形块或非正方形块划分成两个三角形块的示例。
图5A和5B中划分的两个三角形块可以根据位置被称为第一分区和第二分区。
在图5A中，以块的左上角的位置为原点，连接块的左上角和右下角的对角线可以表示为等式1。
【等式1】
f(x,y)＝w*y-h*x
在等式1中，w是块的宽度，并且h是块的高度。
在图5B中，以块的左上角的位置为原点，连接块的右上角和左下角的对角线可以表示为等式2。
【等式2】
f(x,y)＝w*(h-y)-h*x
在等式2中，w是块的宽度，并且h是块的高度。
对于上述对角线运动划分，可以使用指示是否对一个编码单元(CU)执行对角线运动划分的标志。例如，如果标志是第一值，则可以执行对角线运动划分；否则，可以不执行对角线运动划分。
标志可以由编码装置编码和用信号发送，或者可以由解码装置基于预定的编码参数得到。在此，编码参数可以包括片类型、帧间模式类型、块尺寸/形状、块的宽度与高度之间的比率等。
例如，仅在当前块所属的片类型是B片时，才可以将标志设置为第一值。替选地，仅在当前块的帧间模式是合并模式时，才可以将标志设置为第一值。替选地，仅在当前块的宽度或高度中的至少一个大于或等于预定阈值尺寸时，才可以将标志设置为第一值。在此，阈值尺寸可以是4、8、16或更大。替选地，仅当属于当前块的样本(W*H)的数量大于或等于预定阈值数量时，才可以将标志设置为第一值。在此，阈值数量可以是32、64或更大。替选地，仅在当前块的宽度与高度之比小于预定阈值时，才可以将标志设置为第一值。在此，阈值可以是4、8或更大。
当标志指示执行对角线运动划分时，可以用信号发送对角线运动划分的方向信息。当方向信息是第一值时，可以基于连接块的左上角和右下角的对角线来划分当前块；否则，可以基于连接块的右上角和左下角的对角线来划分当前块。
可以根据当前块的模式信息不用信号发送对角线运动划分的信息。在这种情况下，其包括在当前块的模式信息是帧内预测模式时，可以不用信号发送对角线运动划分的信息。
另外，可以根据当前块的尺寸信息不用信号发送对角线运动划分的信息。当前块的尺寸信息可以被定义为宽度或高度的尺寸、宽度与高度的比率、宽度与高度的乘积等。例如，在当前块的宽度或高度小于8时，当前块可以不使用对角线运动划分。
替选地，作为另外的实施方式，在当前块的宽度或高度小于8或当前块的宽度与高度的比率大于或等于特定比率时，可以不使用对角线运动划分。特定比率表示当宽度与高度的比率大于1:3或3:1(例如1:4或4:1、1:8或8:1)时，当前块可以不使用对角线运动划分。在这样的情况下，不用信号发送对角线运动划分信息，并且不解析相应的语法。
图6是示出了本公开内容中提出的基于掩模的运动预测和补偿的掩模的实施方式中的与圆形或椭圆形形状的划分有关的掩模的概念的图。
图6示出了本公开内容中提出的基于掩模的运动预测和补偿的掩模的实施方式，示出了可以通过使用包括圆形或椭圆形的一部分的掩模来将一个块划分为两个不同的区域。
在圆形或椭圆形类型划分的情况下，可以通过调节边界处的权重来平滑划分的边界，并且可以以相同/相似的方式来应用稍后描述的加权的预测方法。
根据本公开内容的实施方式，可以使用在空间上或在时间上与当前块相邻的块的运动信息来选择参考图片中的相应块，并且可以基于相应块的像素配置来确定掩模的形状。
在这种情况下，使用相应块的像素配置可以表示配置掩膜以检测块内部的边缘并且基于边缘来划分块。
图7是示出了当使用对角线运动划分时存储相应块的编码信息的形式的图。
参照图7，当使用对角线运动划分时，在存储相应块的编码信息时，可以通过沿水平方向或垂直方向中的至少一个而不是对角线划分的形式来划分块以存储编码信息。
替选地，当使用对角线运动划分时，可以以对角线划分的形状来存储相应块的编码信息。然而，在许多视频编码方法和设备中，例如运动信息之类的编码信息被存储在例如4×4块或8×8块之类的具体尺寸的块单元中，而没有将编码信息存储在像素单元中。以这种方式存储的编码信息可以用作在当前块之后要被编码/解码的块的参考信息。
另外，在使用左对角线(连接左上角和右下角的对角线)进行划分的情况下，可以基于当前块的右上位置来参考第一分区，并且可以基于当前块的左下位置来参考第二分区。
另一方面，在使用右对角线(连接右上角和左下角的对角线)划分的情况下，可以基于当前块的左上位置来参考第一分区，并且可以基于当前块的右下位置来参考第二分区。
根据本公开内容的实施方式，当第一分区和第二分区的运动向量被存储在运动向量缓冲器中时，可以包括另外的运动向量存储处理。另外，在从运动向量缓冲器提取运动的处理中可以包括推断预测方向的处理。
当第一分区和第二分区各自执行单向预测时，每个分区可以仅具有沿L0或L1方向的运动向量。在这种情况下，另外的运动向量存储处理可以表示使用每个分区的运动向量来构建用于双向预测的运动向量的处理。用于双向预测的运动向量包括沿L0方向的运动向量和沿L1方向的运动向量。在这种情况下，可以包括从用于运动向量预测的用信号发送的信息中推断每个分区的预测方向的处理。
当第一分区和第二分区具有相同的预测方向时，可以强制第一分区的运动向量作为沿L0方向的运动向量，可以强制第二分区的运动向量作为沿L1方向的运动向量，并且第一分区和第二分区的运动向量可以被存储在运动向量缓冲器中。替选地，相反地，可以强制第一分区的运动向量作为沿L1方向的运动向量，可以强制第二分区的运动向量作为沿L0方向的运动向量，并且第一分区和第二分区的运动向量可以被存储在运动向量缓冲器中。当强制运动向量作为沿L0方向的运动向量时，这表示如果相应分区的运动向量对应于L0方向，则照原样使用沿L0方向的运动向量；否则，将沿L1方向的运动向量改变为沿L0方向的运动向量。改变可以包括以下处理中的至少一种：基于原点对运动向量的(x,y)坐标值求逆的处理；或者使用预定的编码参数(例如，参考图片索引、参考图片的POC信息)进行缩放的处理。然而，在强制双向运动向量中，在当前片是不支持双向预测的片时，可以使用稍后描述的用于存储单向运动向量信息的方法。
用于运动向量预测的用信号发送的信息可以表示关于运动向量预测列表中的哪个运动向量预测值(mvp)被用于第一分区和第二分区的信息。用于运动向量预测的用信号发送的信息可以包括以索引的形式发送的信息，并且可以表示关于运动向量预测候选中的哪个预测候选被用于第一分区和第二分区的信息。另外，其包括通过使用一个索引信息来确定与第一分区和第二分区两者相对应的运动向量预测候选和当前块的划分类型。另外，可以使用通过使用一个用信号发送的索引信息来照原样使用运动向量预测候选的方法，以及还可以使用另外地用信号发送以下内容的方法：一个用信号发送的索引信息和同与其相对应的运动向量预测候选的运动向量差。
照原样使用运动向量预测候选的方法可以被称为SKIP模式或合并模式，并且另外地用信号发送与运动向量预测候选的运动向量差的方法可以被称为运动向量预测模式(AMVP模式)。
在这种情况下，可以针对第一分区和第二分区中的每一个来发送运动向量差，或者可以通过将第一分区和第二分区配置为一个双向差分运动向量来发送运动向量差。
在存储第一分区和第二分区的运动向量时，在当前片是不允许双向预测的片时，可以通过将一个块划分为两个来存储运动向量。在这种情况下，考虑到当前块的尺寸信息，可以将与当前块相对应的运动向量缓冲器进行二分，并且可以将第一分区和第二分区的运动向量分别存储在二分缓冲器中。例如，通过将与当前块相对应的运动向量缓冲器的宽度和高度划分为两部分，可以将第一分区的运动向量存储在缓冲器的一部分中，并且可以将第二分区的运动向量存储在缓冲器的其余部分中。根据本公开内容的实施方式，在当前块是16×8块时，当前块可以被划分成两个8×8块，并且第一分区的运动向量和第二分区的运动向量可以分别存储在相应的运动向量缓冲器中。如在以上实施方式中，可以针对N×M块比较N和M的尺寸。当N大于M时，可以将N划分为两个，并且可以将运动向量存储在与每个分区相对应的运动向量缓冲器中。另一方面，当M大于N时，M可以被划分成两个，并且运动向量可以被存储在与每个分区相对应的运动向量缓冲器中。
替选地，当前块可以由多个n*m子块组成。在此，子块可以表示用于存储运动向量的单元。n和m可以是4或8。n和m可以是编码/解码装置中的预定的固定值，或者可以根据当前块的尺寸/形状来确定。子块可以是正方形或非正方形。当前块可以包括仅属于第一分区PART_0的子块(在下文中称为第一区域)、仅属于第二分区PART_1的子块(在下文中称为第二区域)、以及位于对角线上的子块(在下文中称为第三区域)。
在这种情况下，可以将第一分区的运动向量存储在第一区域中，并且可以将第二分区的运动向量存储在第二区域中。如上所述，每个分区可以仅具有单向预测的运动向量。
同时，可以将用于双向预测的运动向量mvL0和mvL1存储在第三区域中。在此，可以通过第一分区的运动向量mv1和第二分区的运动向量mv2的组合来生成用于双向预测的运动向量。例如，可以将mv1和mv2之中的沿L0方向的运动向量分配给mvL0，并且可以将mv1和mv2之中的沿L1方向的运动向量分配给mvL1。然而，这假定第一分区和第二分区的预测方向彼此不同。
(实施方式1)然而，如果第一分区和第二分区的预测方向相同，则在第三区域中，可以选择性地存储第一分区的运动向量mv1或第二分区的运动向量mv2。
例如，可以根据当前块的划分类型来选择性地存储第一分区的运动向量mv1或第二分区的运动向量mv2。换句话说，在当前块被左对角线划分时，第一分区的运动向量mv1可以被存储在第三区域中；否则，第二分区的运动向量mv2可以被存储在第三区域中。相反地，在当前块被左对角线划分时，第二分区的运动向量(mv2)可以被存储在第三区域中；否则，第一分区的运动向量(mv1)可以被存储在第三区域中。
替选地，无论当前块的划分类型如何，都可以仅强制第一分区的运动向量mv1存储在第三区域中，或者都可以仅将第二分区的运动向量mv1存储在第三区域中。
替选地，可以考虑第一分区和/或第二分区的编码信息或者当前块的划分类型中的至少一个来确定要存储在第三区域中的运动向量。在这种情况下，编码信息可以是参考图片索引、合并候选索引、向量尺寸值等。
例如，可以选择性地存储与第一分区的参考图片索引refIdx1和第二分区的参考图片索引refIdx2之中的最小值相对应的分区的运动向量。相反地，可以选择性地存储与两个参考图片索引之中的最大值相对应的分区的运动向量。在这种情况下，当第一分区的参考图片索引refIdx1和第二分区的参考图片索引refIdx2相同时，可以根据对角线划分方向来执行存储第一分区或第二分区的运动向量的处理。另外，当第一分区的参考图片索引refIdx1和第二分区的参考图片索引refIdx2相同时，可以执行使用例如合并候选索引的比较之类的编码信息来选择性地存储运动向量的处理。
(实施方式2)当第一分区和第二分区的预测方向相同时，还可以执行转换预测方向的处理。例如，当第一分区和第二分区两者的预测都是L0预测时，可以将沿L0方向的两个运动向量之一分配给mvL0，并且另一个可以分配给mvL1。替选地，当第一分区和第二分区两者的预测都是L1预测时，可以将沿L1方向的两个运动向量之一分配给mvL1，并且另一个可以分配给mvL0。以这种方式，即使当分区的预测方向相同时，也可以通过预测方向的变换来生成用于双向预测的运动向量，并且将其存储在第三区域中。
在下文中，将描述前述对角线运动划分的运动补偿方法。将在使用合并模式对当前块进行编码的前提下描述以下要描述的实施方式，但是这并不限制帧间模式的类型，并且这可以以相同/相似的方式应用于SKIP模式、AMVP模式、仿射模式等。
图8是示出了根据应用了本公开内容的实施方式的基于合并模式的帧间预测方法的图。
参照图8，可以构建当前块的合并候选列表(S800)。
当前块可以通过图3至图6中描述的块划分方法中的至少一种来确定。当前块可以具有正方形或非正方形形状。当前块可以通过对角线划分被划分为两个分区。两个分区中的至少一个可以是三角形分区。
合并候选列表可以包括当前块的空间合并候选或时间合并候选中的至少一个。
可以从当前块的空间相邻块的运动信息中得到空间合并候选的运动信息。在此，空间相邻块是属于与当前块相同的图片的块，并且可以表示与当前块相邻的块。空间相邻块可以包括与当前块的左、上、右上、左下、或左上中的至少一个相邻的块。仅当与左、上、右上、和左下相邻的块中的至少一个不可用时，才可以使用左上相邻块。
可以从当前块的时间相邻块的运动信息中得到时间合并候选的运动信息。时间相邻块是属于与当前块不同的图片的块，并且可以被定义为与当前块在相同位置处的块。在此，相同位置处的块可以表示以下块中的至少一种：与当前块的右下角相邻的块(BR)、包括当前块的中心样本的位置的块(CTR)、或者包括当前块的左上样本的位置的块(TL)。
替选地，在相同位置处的块可以表示包括从当前块的左上样本的位置偏移预定差别向量的位置的块。在此，可以基于上述空间相邻块的运动向量中的任何一个来确定差别向量。例如，差别向量可以被设置为左相邻块的运动向量或上相邻块的运动向量。替选地，可以基于上述空间相邻块的运动向量中的至少两个的组合来确定差别向量。组合可以包括计算最大值、最小值、中值、和加权平均值的处理。例如，差别向量可以被设置为左相邻块的运动向量与左下相邻块的运动向量之间的中值或平均值。
可以分别从上述时间相邻块的运动向量和参考图片索引中得到时间合并候选的运动向量和参考图片索引。替选地，时间合并候选的运动向量可以被得到作为时间邻近块的运动向量，并且在解码设备中无论时间相邻块如何，都可以将时间合并候选的参考图片索引设置为预定的默认值(例如0)。
将参照图9和图10详细描述基于空间/时间合并候选来生成合并候选列表的方法。
合并候选列表还可以包括组合的合并候选或具有零运动向量的合并候选中的至少一个。
可以通过组合属于预生成的合并候选列表的n个合并候选来得到组合的合并候选。在此，n可以是2、3、4或更大的整数。要组合的合并候选的数量n可以是在编码/解码设备中的预定的固定值，或者可以由编码设备进行编码和用信号发送。可以以序列、图片、片、瓦、子瓦(砖)、或预定块中的至少一个单位来执行用信号发送。可以基于剩余合并候选的数量来可变地确定要组合的合并候选的数量n。在此，剩余合并候选的数量可以表示可以包括在合并候选列表中的合并候选的最大数量与合并候选列表中的合并候选的当前数量之间的差。最大数量可以是编码/解码设备中的预定数量，或者可以由编码设备进行编码和用信号发送。当前数量可以表示在添加组合的合并候选之前配置的合并候选的数量。例如，当剩余合并候选的数量为1时，使用两个合并候选，并且当剩余合并候选的数量大于1时，可以使用三个或更多个合并候选。
n个合并候选的位置可以是合并候选列表中的预定位置。例如，可以为属于合并候选列表的每个合并候选分配索引(0至(k-1))。在此，k可以表示合并候选列表中包括的合并候选的总数。在这种情况下，n个合并候选的位置可以对应于合并候选列表中的索引0至索引(n-1)。例如，当n＝2时，可以仅使用合并候选列表中的第一合并候选(索引＝0)和第二合并候选(索引＝1)来得到要组合的合并候选。
替选地，可以考虑包括在合并候选列表中的每个合并候选的预测方向来确定n个合并候选。例如，在属于合并候选列表的合并候选中，可以仅选择性地使用作为双向预测的合并候选，或者可以仅选择性地使用作为单向预测的合并候选。
可以使用空间合并候选和时间合并候选两者来得到组合的合并候选，或者可以仅使用空间合并候选或时间合并候选之一来得到组合的合并候选。
可以在合并候选列表中的空间/时间合并候选之后添加组合的合并候选。换句话说，组合的合并候选的索引可以大于空间/时间合并候选的索引。替选地，可以在合并候选列表中的空间合并候选与时间合并候选之间添加组合的合并候选。换句话说，组合的合并候选的索引可以大于空间合并候选的索引并且小于时间合并候选的索引。替选地，可以考虑组合的合并候选的预测方向来可变地确定组合的合并候选的位置。可以根据组合的合并候选的预测方向是否是双向预测来重新布置组合的合并候选在合并候选列表中的位置。例如，当组合的合并候选是双向预测时，可以分配小于空间或时间合并候选的索引的索引；否则，可以分配大于空间或时间合并候选的索引的索引。
在下文中，为了便于描述，将描述基于两个合并候选来得到组合的合并候选的方法。
可以通过第一合并候选和第二合并候选的运动信息的加权平均来得到组合的合并候选的运动信息。例如，可以通过第一合并候选沿LX方向的运动信息和第二合并候选沿LX方向的运动信息的加权平均来得到组合的合并候选沿LX方向的运动信息(X＝0或1)。然而，可以得到组合的合并候选的LX方向的参考图片索引作为第一合并候选或第二合并候选的LX方向的参考图片索引。例如，可以仅使用第一合并候选沿LX方向的参考图片索引来得到组合的合并候选沿LX方向的参考图片索引。在此，第一合并候选可以具有小于第二合并候选的索引。
加权平均的权重为[1:1]、[1:2]、[1:3]或[2:3]，但不限于此。权重可以在编码/解码设备中预先定义或者从解码设备中得到。在这种情况下，可以通过考虑合并候选的参考图片与当前图片之间的距离或合并候选的预测方向中的至少一个来得到权重。
替选地，可以从第一合并候选沿L0方向的运动信息中得到组合的合并候选沿L0方向的运动信息，并且可以从第二合并候选沿L1方向的运动信息中得到组合的合并候选沿L1方向的运动信息。相反地，可以从第二合并候选沿L0方向的运动信息中得到组合的合并候选沿L0方向的运动信息，并且可以从第一合并候选沿L1方向的运动信息中得到组合的合并候选沿L1方向的运动信息。
在本实施方式中，上述运动信息包括预测方向标志、参考图片索引、或运动向量中的至少一个，并且可以在稍后描述的实施方式中以相同的方式来解释。
参照图8，可以从合并候选列表得到当前块的运动信息(S810)。
具体地，可以用信号发送当前块的合并索引。合并索引可以是被编码以指定合并候选列表中包括的多个合并候选中的任何一个的信息。可以基于指示是否执行基于对角线运动划分的运动补偿的标志来用信号发送合并索引。例如，当标志指示执行了基于对角线运动划分的运动补偿时(即，当标志是第一值时)，可以用信号发送合并索引；否则，可能不用信号发送合并索引。标志是如图5中所述的标志，并且将省略其详细描述。
可以为当前块的第一分区和第二分区中的每个分区用信号发送合并索引(实施方式1)。可以使用具有与第一分区的用信号发送的合并索引(mergeIdx1)相同的索引的合并候选的运动信息来得到第一分区的运动信息。当第二分区的用信号发送的合并索引(mergeIdx2)小于mergeIdx1时，可以使用具有与mergeIdx2相同的索引的合并候选的运动信息来得到第二分区的运动信息。另一方面，当mergeIdx2大于或等于mergeIdx1时，可以使用具有与(mergeIdx2+1)相同的索引的合并候选的运动信息来得到第二分区的运动信息。
可替选地，针对当前块可以用信号发送一个合并索引(mergeIdx)(实施方式2)。换句话说，属于当前块的第一分区和第二分区可以共享用信号发送的mergeIdx。可以基于由mergeIdx指定的合并候选的运动信息来得到第一分区和第二分区的运动信息。
例如，当由mergeIdx指定的合并候选是双向预测时，对应的合并候选可以具有沿L0方向的运动信息和沿L1方向的运动信息。在这种情况下，可以从沿L0方向的运动信息和沿L1方向的运动信息中的一个得到第一分区的运动信息，并且可以从另一个得到第二分区的运动信息。另一方面，当由mergeIdx指定的合并候选不是双向预测时，可以从由mergeIdx指定的合并候选的运动信息中得到第一分区的运动信息，并且可以从由(mergeIdx+k)指定的合并候选的运动信息中得到第二分区的运动信息。此处，k可以是绝对值为1、2、3或更大的整数。
可替选地，可以基于合并候选列表中预先约定的合并候选的运动信息来得到第一分区和第二分区的运动信息(实施方式3)。在这种情况下，可以省略用信号发送合并索引。预先约定的合并候选可以是索引为0的合并候选。如第二实施方式中所描述的，可以考虑索引为0的合并候选是否是双向预测来得到第一分区和第二分区的运动信息。可替选地，预先约定的合并候选可以是作为双向预测的合并候选中的具有最小索引的合并候选。作为双向预测的合并候选可以包括空间/时间合并候选或组合的合并候选中的至少一种。如第二实施方式中所描述的，基于作为双向预测的合并候选的运动信息来得到第一分区和第二分区的运动信息。
可以基于上述实施方式1至3中的任何一个来得到每个分区的运动信息，或者可以基于第一至第三实施方式中的至少两个的组合来得到每个分区的运动信息。
在对角线运动划分的情况下，为了减少存储器带宽，可以限制为仅执行单向预测。
考虑到对角线运动划分的分区的合并索引是偶数还是奇数，可以强制相应的分区仅执行单向预测(实施方式4)。
例如，当第一分区的合并索引(mergeIdx1)是偶数(例如0、2、4、6等)时，可以使用与mergeIdx1对应的合并候选的沿L0方向的运动信息来得到第一分区的运动信息。然而，与mergeIdx1对应的合并候选可能没有沿L0方向的运动信息。在这种情况下，可以使用对应的合并候选的沿L1方向的运动信息来得到第一分区的运动信息。另一方面，当第一分区的合并索引(mergeIdx1)是奇数(例如1、3、5等)时，可以使用与mergeIdx1对应的合并候选的沿L1方向的运动信息来得到第一分区的运动信息。然而，与mergeIdx1对应的合并候选可能不具有沿L1方向的运动信息。在这种情况下，可以使用对应的合并候选沿L0方向的运动信息来得到第一分区的运动信息。合并索引(mergeIdx1)可以由编码设备进行编码并用信号发送、可以基于用信号发送的合并索引来得到、或者可以预先约定给解码设备。可以以与前述第一分区相同的方式来得到第二分区的运动信息，并且将省略其详细描述。
可替选地，如果第一分区的合并索引(mergeIdx1)是偶数(例如0、2、4、6等)，则使用与mergeIdx1对应的合并候选的沿L1方向的运动信息来得到第一分区的运动信息。否则，可以使用与mergeIdx1对应的合并候选的沿L0方向的运动信息来得到第一分区的运动信息。
可替选地，根据对角线运动划分的分区的位置，可以强制对应的分区仅执行单向预测(实施方式5)。
例如，当前块的第一分区被强制仅参考由合并索引(mergeIdx1)指定的合并候选的沿L0方向的运动信息，第二分区可以被强制仅参考由合并索引(mergeIdx2)指定的合并候选的沿L1方向的运动信息。然而，当由mergeIdx1指定的合并候选不具有沿L0方向的运动信息时(即，在L1预测的情况下)，可以参考对应的合并候选的沿L1方向的运动信息。类似地，当由mergeIdx2指定的合并候选不具有沿L1方向的运动信息时(即，在L0预测的情况下)，可以参考对应的合并候选的沿L0方向的运动信息。
可以基于上述实施方式4或5中的至少一个来强制进行单向预测，这将参照图11至图13进行详细描述。
参照图8，可以使用所得到的运动信息来执行当前块的帧间预测(S820)。
可以使用由第一分区的运动向量指定的第一参考块PP0或由第二分区的运动向量指定的第二参考块PP1中的一个来获得当前块的预测像素。在这种情况下，可以通过将预定权重应用于第一参考块中的第一像素和第二参考块中的第二像素来获得预测像素。在此，第一像素和第二像素可以在与预测像素相同的位置处。
例如，如下面的等式3所示，可以获得根据本公开内容的当前块的预测块(PCUR)。
【等式3】
PCUR(x,y)＝(PP0(x,y)x MASKP0(x,y)+PP1(x,y)x MASKP1(x,y)+偏移)>>移
位
PP0和PP1表示通过不同的运动预测的预测块，MASKP0(x,y)和MASKP1(x,y)表示在(x,y)坐标处的权重，且MASKP0(x,y)与MASKP1(x,y)之和必须等于2移位。偏移可以为0或2(移位-1)。
另一方面，在对角线运动划分的情况下，可以通过第一分区中(x1,y1)位置处的像素与第二分区中(x1,y1)位置处的像素的加权和来预测位于对角线上的像素P(x1,y1)。同样地，通过第一分区中的位置(x2,y2)处的像素与第二分区中位置(x2,y2)处的像素的加权和来预测像素P(x1,y1)的相邻像素P(x2,y2)。将参照图14至图17详细描述加权预测。
图9示出了使用左对角线运动划分的块的合并候选。
图9示出了使用左对角线运动划分的当前块以及在空间/时间上与该当前块相邻的块。在图9中，当前块900是使用左对角线运动划分而划分的块，并且可以包括第一划分块910和第二划分块920。第一划分块910和第二划分块920中的每一个可以独立地执行运动预测和运动补偿，并且可以生成与当前块900对应的一个预测块。
如图8中所述，第一划分块910和第二划分块920可以使用基于正方形或非正方形的当前块所生成的相同的合并候选列表。
另外，当对角线运动划分被应用于当前块时，由于第一划分块910和第二划分块920具有不同的运动特性，所以第一划分块910和第二划分块920可以使用不同的运动预测和合并候选。
如图9所示，第一划分块910可以与当前块900的空间相邻块中的左相邻块A0和A1具有低相关性。在这种情况下，当构建第一划分块910的合并候选列表时可以不包括A0和A1。另外，与当前块900的右下位置对应的时间相邻块C0的运动信息以及与当前块900的右上位置对应的时间相邻块C4的运动信息可以被用作另外的合并候选。
在构建合并候选列表时，当合并候选的数目没有达到最大数目时，可以通过对合并候选列表中包括的合并候选进行组合来构建另外的合并候选列表，并且也可以使用具有零运动向量的合并候选来生成合并候选列表。
如图9所示，第二划分块920与当前块900的空间相邻块中的顶部邻近块B0和B1具有低相关性。在这种情况下，当构建第二划分块920的合并候选列表时，可以不包括B0和B1。另外，与当前块900的右下位置对应的时间相邻块C0的运动信息以及与当前块900的左上位置对应的时间相邻块C5的运动信息可以被用作另外的合并候选。
在构建合并候选列表时，当合并候选的数目没有达到最大数目时，可以通过对合并候选列表中包括的合并候选进行组合来构建另外的合并候选列表，并且也可以使用具有零运动向量的合并候选来生成合并候选列表。
图10示出了使用右对角线运动划分的块的合并候选。
图10示出了使用右对角线运动划分的当前块以及在空间/时间上与当前块相邻的块。在图10中，当前块1000是使用右对角线运动划分而划分的块，并且可以包括第一划分块1010和第二划分块1020。第一划分块1010和第二划分块1020中的每一个可以独立地执行运动预测和运动补偿，并且可以生成与当前块1000对应的一个预测块。
如图8所示，第一划分块1010和第二划分块1020可以使用基于正方形或非正方形的当前块所生成的相同的合并候选列表。
另外，当对角线运动划分被应用于当前块时，由于第一划分块1010和第二划分块1020具有不同的运动特性，因此第一划分块1010和第二划分块1020可以使用不同的运动预测和合并候选。
如图10所示，第一划分块1010与当前块1100的空间相邻块中的左下相邻块A0和右上相邻块B0具有低相关性。在这种情况下，当构建第一划分块1010的合并候选列表时，可以不包括左下相邻块A0和右上相邻块B0。此外，与当前块1000的左上位置对应的时间相邻块C2的运动信息以及与当前块1000的左上位置对应的时间相邻块C3的运动信息可以被用作另外的合并候选。
在构建合并候选列表时，当合并候选的数目没有达到最大数目时，可以通过对合并候选列表中包括的合并候选进行组合来构建另外的合并候选列表，并且也可以使用具有零运动向量的合并候选来生成合并候选列表。
如图10所示，第二划分块1020与当前块1000的空间相邻块中的左相邻块A1、顶部相邻块B1和左上相邻块B2具有低相关性。在这种情况下，当构建第二划分块1020的合并候选列表时，可以不包括A1、B1和B2。此外，与当前块1000的右下位置对应的时间相邻块C0的运动信息、与当前块1000的中心位置对应的时间相邻块C1的运动信息以及与当前块1000的右下位置对应的时间相邻块C6的运动信息可以被用作另外的合并候选。
在构建合并候选列表时，当合并候选的数目没有达到最大数目时，可以通过对合并候选列表中包括的合并候选进行组合来构建另外的合并候选列表，并且也可以使用具有零运动向量的合并候选来生成合并候选列表。
图11是示出根据应用了本公开内容的实施方式的基于受限掩模的运动预测和补偿的概念的图。
特别地，图11是示出了根据特定条件来限制预测方向以便在执行本公开内容中提出的基于掩模的运动预测和补偿时减小存储带宽的方法的图。
在当前块的宽度或高度小于或等于预定阈值尺寸时，可以限制当前块的预测方向。在此，阈值尺寸可以是4、8、16或更大。
可替选地，当用于当前块的模式是预定的帧间模式时，可以限制当前块的预测方向。此处，预定的帧间模式可以包括跳过模式、合并模式、AMVP模式或仿射模式中的至少一种。例如，在合并模式下，双向预测是可行的，而在AMVP模式下，仅单向预测是可行的。另外，可以根据当前块的每个分区来限制帧间模式。例如，当使用合并模式对第一分区PART_0进行编码时，可以限制第二分区PART_1，使得不能使用合并模式对第二分区PART_1进行编码。然而，当不使用合并模式对第一分区PART_0进行编码时，可以使用合并模式对第二分区PART_1进行编码。
另外，即使当通过对角线运动划分将一个块分为两个分区并且针对两个分区的运动信息作为一个索引被发送时，也可以应用限制预测方向的方法。
当将针对两个分区的两条运动信息作为一个索引发送时，两个运动信息中的至少一个可以是用于执行单向预测的运动信息。
图12和图13是示出作为应用本公开内容的实施方式的通过使用一条直线将一个编码块分成两个分区来执行预测的方法的概念的图。
在使用一条直线将一个编码块分成两个分区的实施方式中，图12示出了基于连接块的右上角和左下角的直线将一个正方形或非正方形块分成三角形形状的实施方式。在本公开内容中，不仅可以包括基于连接右上角和左下角的直线划分的三角形形状，而且可以包括基于连接左上角和右下角的直线划分的三角形形状。另外，本公开内容可以包括一个编码块在垂直/水平方向上被划分为两个分区的情况，并且在这种情况下，两个划分的分区可以具有相同的宽度或高度。另外，本公开内容可以包括基于任意直线将一个编码块分成两个分区的情况。
如图12所示，基于连接块的右上角和左下角的直线来划分当前块1201。在这种情况下，每个分区可以执行双向预测或单向预测。然而，为了减少存储器带宽，可以限制为仅执行单向预测。在这种情况下，对于被强制仅使用单向预测的情况，本公开内容提出了用于通过针对每个分区参考不同方向上的参考图片来执行预测的方法和设备。换句话说，当第一分区执行L0预测时，第二分区可以实质上执行L1预测。参照图12，第一分区参考沿L0方向的参考图片执行预测，并且第二分区参考沿L1方向的参考图片执行预测。
参照图13，第一分区参考沿L1方向的参考图片执行预测，而第二分区参考沿L0方向的参考图片执行预测。
在本公开内容中，在图12和图13中示出了第一分区和第二分区参考不同的参考图片列表的实施方式。然而，本公开内容还可以包括通过参考相同的参考图片列表来执行第一分区和第二分区的预测。
图14至图17是示出作为应用了本公开内容的实施方式的用于应用了对角线运动划分的当前块的加权预测方法的图。
参照图14，权重2可以被应用于属于第一分区的像素位置，而权重1可以被应用于位于对角线上的像素位置。然而，通过将权重0应用于属于第二分区的像素位置，可以获得不参考对应位置处的像素的效果。
类似地，权重2可以被应用于属于第二分区的像素位置，而权重1可以被应用于位于对角线上的像素位置。然而，权重0可以被应用于属于第一分区的像素位置。
可以通过将被应用了权重的两个同位像素相加并将其除以相应权重之和来获得最终的预测像素。
上述方法被称为基于掩模的运动预测和补偿方法，并且可以被扩展并用于各种类型的掩模类型中。当图14所示的对角线运动划分被配置为掩模的形式时，其如等式4所示。
【等式4】
MASKP0＝2(如果f(x,y)>0)，1(如果f(x,y)＝0)，0(否则)
MASKP1＝0(如果f(x,y)>0)，1(如果f(x,y)＝0)，2(否则)
MASKP0表示第一分区的权重，并且MASKP1表示第二分区的权重。
使用等式4的权重，用于生成最终预测块的等式如等式5。
【等式5】
PDMP(x,y)＝(PP0(x,y)x MASKP0(x,y)+PP1(x,y)x MASKP1(x,y))>>移位
PDMP表示使用对角线运动划分获得的最终正方形或非正方形预测块，PP0(x,y)表示与第一分区中的(x,y)位置对应的参考像素，而PP1(x,y)分别表示与第二分区中的(x,y)位置对应的参考像素。移位是根据权重的最终移位值，并且由于图14所示的权重是2，所以移位值是1。
在这种情况下，使用由本公开内容提出的对角线生成的掩模的每个位置的权重之和不限于2，并且可以是2的指数值，诸如4、8、16、32等。
图15示出了为每个像素施加的权重之和为8的实施方式。参照图15，通过对位于当前块的对角线上的像素以及与对角线相邻的区域中的像素施加不同的权重，可以减少在对角线运动划分的边界处可能发生的边界劣化。相邻区域可以包括与位于对角线上的像素的顶部或左侧相邻的两个像素以及与位于对角线上的像素的底部或右侧相邻的两个像素。
具体地，可以通过将权重4分别施加于第一分区的参考块中的位置(x1,y1)处的像素和第二分区的参考块中的位置(x1,y1)处的像素来预测位于对角线上的像素P(x1,y1)(下文中称为第一区域)。通过将权重6施加于第一分区的参考块中的位置(x2,y2)处的像素并将权重2施加于第二分区的参考块中的位置(x2,y2)处的像素，可以预测第一区域的顶部或左侧相邻像素P(x2,y2)(下文中称为第二区域)。通过将权重7施加于第一分区的参考块中的位置(x3,y3)处的像素并且将权重1施加于第二分区的参考块中的位置(x3,y3)处的像素，可以预测第二区域的顶部或左侧相邻像素P(x3,y3)(下文中称为第三区域)。通过将权重8施加于第一分区的参考块中的位置(x4,y4)处的像素并将权重0施加于第二分区的参考块中的位置(x4,y4)处的像素，可以预测从第一分区中除第一至第三区域之外的剩余像素P(x4,y4)。
另一方面，通过将权重2施加于第一分区的参考块中的位置(x5,y5)处的像素并且将权重6施加于第二分区的参考块中的位置(x5,y5)处的像素，可以预测第一区域的底部或右侧相邻像素P(x5,y5)(下文中称为第四区域)。通过将权重1施加于第一分区的参考块中的位置(x6,y6)处的像素并将权重7施加于第二分区的参考块中的位置(x6,y6)处的像素，可以预测第四区域的底部或右侧相邻像素P(x6,y6)(下文中称为第五区域)。通过将权重0施加于第一分区的参考块中的位置(x7,y7)处的像素并将权重8施加于第二分区的参考块中的位置(x7,y7)处的像素，可以预测从第二分区中排除第一区域、第四区域和第五区域的剩余像素P(x7,y7)。
图16示出了对每个像素施加的权重之和为32的实施方式，并且与图15所示的权重之和为8的实施方式相比，可以在块被更清晰地划分时使用该实施方式。如图16所示，可以将不同的权重施加于每个预定区域，这已经在图15中进行了详细描述并且将省略其详细描述。在此，权重是[32:0]、[31:1]、[28:4]、[16:16]、[4:28]、[31:1]或[0:32]中的任何一个，可以根据像素的位置选择性地使用权重。
图17示出了施加于每个像素的权重之和为8的实施方式。参照图17，通过对位于当前块的对角线上的像素以及与对角线相邻的区域中的像素施加不同的权重，可以减少在对角线运动划分的边界处可能发生的边界劣化。相邻区域可以包括与位于对角线上的像素的顶部或左侧相邻的一个像素以及与位于对角线上的像素的底部或右侧相邻的一个像素。如图17所示，可以将不同的权重施加于每个预定区域，这已经在图15中进行了详细描述并且将省略其详细描述。在此，权重是[8:0]、[6:2]、[4:4]、[2；6]或[0:8]中的任何一个，可以根据像素的位置选择性地使用权重。
本公开内容的各种实施方式没有列出所有可能的组合，而是用于描述本公开内容的代表性方面，并且各种实施方式中描述的内容可以被独立地应用或者可以以两个或更多个的组合来应用。
另外，可以通过硬件、固件、软件或其组合来实现本公开内容的各种实施方式。在通过硬件实现的情况下，可以通过一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现本公开内容的各种实施方式。
本公开内容的范围包括软件或机器可执行指令(例如，操作系统、应用、固件、程序等)，其允许在装置或计算机上执行根据各种实施方式的方法的操作，并且包括在装置或计算机上存储和执行软件或指令的非暂时性计算机可读介质。
关于包括以上实施例的实施方式，还公开下述的技术方案。
方案1.一种对图像进行解码的方法，所述方法包括：
构建当前块的合并候选列表；
基于所述合并候选列表和合并候选索引得到所述当前块的运动信息；以及
基于所得到的运动信息执行所述当前块的帧间预测；
其中，基于对角线运动划分将所述当前块划分为第一分区和第二分区，以及
其中，所述第一分区或所述第二分区中的至少一个具有三角形形状。
方案2.根据方案1所述的方法，
其中，针对所述第一分区或所述第二分区中的至少一个用信号发送所述合并候选索引。
方案3.根据方案2所述的方法，
其中，当预定标志是第一值时，用信号发送所述合并候选索引，以及
其中，所述标志指示所述当前块是否基于所述对角线运动划分来执行运动补偿。
方案4.根据方案3所述的方法，
其中，基于预定的编码参数从解码设备得到所述标志的值，以及
其中，所述编码参数包括所述当前块所属的片类型、所述当前块的帧间模式类型或所述当前块的尺寸中的至少一个。
方案5.根据方案1所述的方法，
其中，所述合并候选列表包括空间合并候选、时间合并候选、组合的合并候选或具有零运动向量的合并候选中的至少一个。
方案6.根据方案1所述的方法，
其中，基于由所述合并候选索引指定的合并候选的运动信息来得到所述分区的运动信息。
方案7.根据方案6所述的方法，
其中，当所述合并候选具有用于双向预测的运动信息时，所述分区被限制为仅具有用于单向预测的运动信息。
方案8.根据方案1所述的方法，
其中，通过对属于所述第一分区的参考块的像素和属于所述第二分区的参考块的像素施加预定的权重(m和n)来预测所述当前块的像素。
方案9.根据方案8所述的方法，
其中，所述m和所述n是0、1、2、4、6、7、8、16、28、31或32中的任意一个，并且
其中，所述m和所述n之和为2、8或32中的任意一个。
方案10.根据方案9所述的方法，
其中，基于所述当前块的像素的位置来确定所述权重。
工业适用性
本公开内容可以用于对视频信号进行编码/解码。

Claims (8)

1.一种对图像进行解码的方法，包括：
构建当前块的合并候选列表；
基于所述合并候选列表得到所述当前块的运动信息；以及
基于所得到的运动信息执行所述当前块的帧间预测，
其中，所述当前块被划分为第一分区和第二分区，
其中，通过对属于所述第一分区的第一参考块的像素和属于所述第二分区的第二参考块的像素分别施加预定权重来预测所述当前块的像素，
其中，所述预定权重包括要施加于所述第一参考块的第一权重和要施加于所述第二参考块的第二权重，并且
其中，所述第二权重被设置为等于从8减去所述第一权重得到的值。
2.根据权利要求1所述的方法，其中，所述当前块的合并索引包括所述第一分区的第一合并索引和所述第二分区的第二合并索引。
3.根据权利要求2所述的方法，其中，所述合并候选列表包括空间合并候选、时间合并候选、组合的合并候选或具有零运动向量的合并候选中的至少一个。
4.根据权利要求3所述的方法，其中，基于由所述第一合并索引指定的第一合并候选的运动信息来得到所述第一分区的运动信息，并且
其中，基于由所述第二合并索引指定的第二合并候选的运动信息来得到所述第二分区的运动信息。
5.根据权利要求1所述的方法，其中，所述第一权重大于或等于0且小于或等于8。
6.根据权利要求5所述的方法，其中，基于所述当前块的像素的位置来确定所述第一权重。
7.一种对图像进行编码的方法，包括：
构建当前块的合并候选列表；
基于所述合并候选列表得到所述当前块的运动信息；以及
基于所得到的运动信息执行所述当前块的帧间预测，
其中，所述当前块被划分为第一分区和第二分区，
其中，通过对属于所述第一分区的第一参考块的像素和属于所述第二分区的第二参考块的像素分别施加预定权重来预测所述当前块的像素，
其中，所述预定权重包括要施加于所述第一参考块的第一权重和要施加于所述第二参考块的第二权重，并且
其中，所述第二权重被设置为等于从8减去所述第一权重得到的值。
8.一种用于发送图像信息的数据的方法，包括：
获得所述图像信息的比特流，其中，通过构建当前块的合并候选列表、基于所述合并候选列表得到所述当前块的运动信息、以及基于所得到的运动信息执行所述当前块的帧间预测来生成所述比特流；以及
发送包括所述比特流的所述数据，
其中，所述当前块被划分为第一分区和第二分区，
其中，通过对属于所述第一分区的第一参考块的像素和属于所述第二分区的第二参考块的像素分别施加预定权重来预测所述当前块的像素，
其中，所述预定权重包括要施加于所述第一参考块的第一权重和要施加于所述第二参考块的第二权重，并且
其中，所述第二权重被设置为等于从8减去所述第一权重得到的值。
CN202311708295.3A 2018-06-27 2019-06-27 图像编码/解码方法和用于发送图像信息的数据的方法 Pending CN117499639A (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
KR20180074255 2018-06-27
KR10-2018-0074255 2018-06-27
KR10-2018-0079891 2018-07-10
KR20180079891 2018-07-10
US201862697982P 2018-07-13 2018-07-13
US62/697,982 2018-07-13
KR20180082348 2018-07-16
KR10-2018-0082348 2018-07-16
KR20180120959 2018-10-11
KR10-2018-0120959 2018-10-11
PCT/KR2019/007821 WO2020004979A1 (ko) 2018-06-27 2019-06-27 영상 부호화/복호화 방법 및 장치
CN201980043307.0A CN112385231B (zh) 2018-06-27 2019-06-27 图像编码/解码方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980043307.0A Division CN112385231B (zh) 2018-06-27 2019-06-27 图像编码/解码方法和装置

Publications (1)

Publication Number Publication Date
CN117499639A true CN117499639A (zh) 2024-02-02

Family

ID=68987347

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202311703414.6A Pending CN117499638A (zh) 2018-06-27 2019-06-27 对图像进行编码/解码的方法和发送比特流的方法
CN202311703196.6A Pending CN117499637A (zh) 2018-06-27 2019-06-27 对图像进行编码/解码的方法和发送比特流的方法
CN201980043307.0A Active CN112385231B (zh) 2018-06-27 2019-06-27 图像编码/解码方法和装置
CN202311708295.3A Pending CN117499639A (zh) 2018-06-27 2019-06-27 图像编码/解码方法和用于发送图像信息的数据的方法
CN202311703386.8A Pending CN117615128A (zh) 2018-06-27 2019-06-27 对图像进行编码/解码的方法和发送比特流的方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202311703414.6A Pending CN117499638A (zh) 2018-06-27 2019-06-27 对图像进行编码/解码的方法和发送比特流的方法
CN202311703196.6A Pending CN117499637A (zh) 2018-06-27 2019-06-27 对图像进行编码/解码的方法和发送比特流的方法
CN201980043307.0A Active CN112385231B (zh) 2018-06-27 2019-06-27 图像编码/解码方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311703386.8A Pending CN117615128A (zh) 2018-06-27 2019-06-27 对图像进行编码/解码的方法和发送比特流的方法

Country Status (5)

Country Link
US (2) US11490077B2 (zh)
KR (1) KR20210016634A (zh)
CN (5) CN117499638A (zh)
CA (1) CA3141352A1 (zh)
WO (1) WO2020004979A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147344A1 (ja) 2011-04-27 2012-11-01 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム
TWI526056B (zh) * 2011-04-27 2016-03-11 Jvc Kenwood Corp A moving picture coding apparatus, a motion picture coding method, a motion picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a reception method, Receiving program
CN112602324A (zh) 2018-06-22 2021-04-02 Op方案有限责任公司 块水平几何划分
EP3866470A4 (en) * 2018-10-10 2022-07-20 Samsung Electronics Co., Ltd. VIDEO ENCODING AND DECODING METHODS USING DIFFERENTIAL MOTION VECTOR VALUES, AND APPARATUS FOR ENCODING AND DECODING MOTION INFORMATION
SG11202108103WA (en) 2019-01-28 2021-08-30 Op Solutions Llc Inter prediction in geometric partitioning with an adaptive number of regions
US20220109835A1 (en) * 2019-03-11 2022-04-07 Apple Inc. Method for encoding/decoding image signal, and device therefor
CN110312130B (zh) * 2019-06-25 2021-10-15 浙江大华技术股份有限公司 基于三角模式的帧间预测、视频编码方法及设备
WO2023208131A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Efficient geometric partitioning mode video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0818344A2 (pt) * 2007-10-12 2015-04-22 Thomson Licensing Métodos e aparelhos para codificação e decodificação de vídeo de partições de modo bi-preditivo geometricamente particionadas
KR101789635B1 (ko) * 2010-05-04 2017-10-25 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
ES2713477T3 (es) * 2011-09-09 2019-05-22 Lg Electronics Inc Método de predicción inter y aparato correspondiente
KR101539110B1 (ko) * 2011-10-18 2015-07-29 주식회사 케이티 영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기
CN110198448B (zh) * 2011-11-08 2021-12-31 韩国电子通信研究院 用于共享候选者列表的方法和装置
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9591312B2 (en) * 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
WO2015152503A1 (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 영상 복호화 장치 및 그 방법
US10182240B2 (en) * 2014-11-18 2019-01-15 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
KR101782153B1 (ko) * 2015-06-05 2017-09-26 인텔렉추얼디스커버리 주식회사 움직임 벡터 후보 선택 방법 및 이를 이용하는 영상 부호화／복호화 방법
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
CN116489346A (zh) * 2015-11-20 2023-07-25 韩国电子通信研究院 对图像进行编/解码的方法和装置
WO2017183751A1 (ko) * 2016-04-22 2017-10-26 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20220109835A1 (en) * 2019-03-11 2022-04-07 Apple Inc. Method for encoding/decoding image signal, and device therefor
US20230254477A1 (en) * 2022-02-07 2023-08-10 Tencent America LLC Sub-block based constraint on bi-prediction for out-of-boundary conditions

Also Published As

Publication number Publication date
CN117499637A (zh) 2024-02-02
WO2020004979A1 (ko) 2020-01-02
US20210274162A1 (en) 2021-09-02
US20220394241A1 (en) 2022-12-08
CA3141352A1 (en) 2020-01-02
CN117615128A (zh) 2024-02-27
CN117499638A (zh) 2024-02-02
CN112385231A (zh) 2021-02-19
KR20210016634A (ko) 2021-02-16
US11490077B2 (en) 2022-11-01
CN112385231B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN112385231B (zh) 图像编码/解码方法和装置
CN111213379B (zh) 用于将图像编码/解码的方法、装置和存储比特流的记录介质
CN112369034B (zh) 使用合并候选的视频编码方法和装置
KR20180081716A (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
CN111886869B (zh) 图像解码方法、编码方法以及存储比特流的记录介质
KR20210008105A (ko) 영상 부호화/복호화 방법 및 장치
US20230283795A1 (en) Video coding method and device using motion compensation of decoder side
KR101782155B1 (ko) 움직임 벡터 정밀성을 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR102585178B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
KR20240059507A (ko) 처리율 향상을 위한 영상 부호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20230144426A (ko) 영상 부호화/복호화 방법 및 장치
WO2023076700A1 (en) Motion compensation considering out-of-boundary conditions in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination