CN110572648B - 帧内块复制与帧间编码工具的交互 - Google Patents

帧内块复制与帧间编码工具的交互 Download PDF

Info

Publication number
CN110572648B
CN110572648B CN201910488491.1A CN201910488491A CN110572648B CN 110572648 B CN110572648 B CN 110572648B CN 201910488491 A CN201910488491 A CN 201910488491A CN 110572648 B CN110572648 B CN 110572648B
Authority
CN
China
Prior art keywords
block
picture
technique
encoded
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910488491.1A
Other languages
English (en)
Other versions
CN110572648A (zh
Inventor
张凯
张莉
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN110572648A publication Critical patent/CN110572648A/zh
Application granted granted Critical
Publication of CN110572648B publication Critical patent/CN110572648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

总体来说,描述了将帧内块复制(IBC)编码或解码与现有运动补偿算法相结合的视频编码和解码方法。在一个典型的方面,一种使用IBC进行视频编码的方法,包括:确定是否使用运动补偿算法对当前图片的当前块进行编码;以及基于该确定,通过将帧内块复制选择性地应用到当前块对当前块进行编码。在一个典型的方面,另一种使用IBC进行视频编码方法,包括:确定是否使用帧内块复制对当前图片的当前块进行编码;以及基于该确定,通过将运动补偿算法选择性地应用到当前块对当前块进行编码。

Description

帧内块复制与帧间编码工具的交互
相关申请的交叉引用
根据适用的专利法和/或《巴黎公约》的规定,本申请及时要求于2018年6月5日提交的国际专利申请号PCT/CN2018/089920的优先权和利益。根据美国法律,将国际专利申请号PCT/CN2018/089920的全部公开以引用方式并入本文,作为本申请公开的一部分。
技术领域
一般来说,本专利文件涉及视频编码技术。
背景技术
运动补偿是视频处理中的一种技术,其通过考虑相机和/或视频中的对象的运动,给定先前帧和/或将来帧来预测视频中的帧。运动补偿可以用于视频数据的编码和解码中以实现视频压缩。
发明内容
描述了与用于运动补偿的帧内块复制相关的设备、系统和方法。
在一个示例方面,公开了一种视觉信息解码方法。该方法包括:确定表示所述视觉信息的一部分的被解码的块是用第一编码技术编码的;基于所述确定,决定所述被解码的块的编码表示不包括使用第二编码技术的指示符;以及基于所述决定解析所述编码表示;通过使用与所述第一编码技术相对应的第一解码技术并且通过不使用与所述第二编码技术相对应的第二解码技术解码所述编码表示。第一和第二编码技术中的一种对应于帧内块复制(IBC)技术,所述IBC技术使用同一图片的第二块对所述被解码的块进行编码,并且所述另一种对应于重叠块运动补偿(OBMC)技术,所述OBMC技术使用多个邻居的运动信息对所述被解码的块进行编码。
在另一示例方面,公开了另一视觉信息处理方法。该方法包括:确定表示所述视觉信息的一部分的被解码的块是用第一编码技术编码的;基于所述确定,决定所述被解码的块的编码表示不包括使用第二编码技术的指示符;以及基于所述决定解析所述编码表示;以及通过使用与所述第一编码技术相对应的第一解码技术并且通过不使用与所述第二编码技术相对应的第二解码技术解码所述编码表示。这里,第一和第二编码技术中的一种对应于帧内块复制(IBC)技术,所述IBC技术使用同一图片的第二块对所述被解码的块进行编码,并且所述另一种对应于局部照明补偿(LIC)技术,所述LIC技术使用第二图片的第二块的多个邻居、以及参考图片的参考块的多个对应邻居来编码所述第二图片的所述第二块与所述参考图片的所述参考块之间的亮度变化,用于编码所述被解码的块。
在另一示例方面,公开了一种用于对视觉信息进行编码的方法。该方法包括:将视觉信息编码成多个编码图片和多个指示符,所述多个指示符指示应用一种或多种编码技术,所述多个指示符包括帧内块复制(IBC)技术和重叠块运动补偿(OBMC)技术,其中,使用所述IBC技术对与所述视觉信息相关联的第一图片的第一块进行编码,并且使用所述OBMC技术对与所述视觉信息相关联的第二图片的第二块进行编码,其中所述IBC技术使用所述第一图片的块对所述第一图片的不同块进行编码,并且所述OBMC技术使用所述第二图片的所述第二块的多个邻居的运动信息对所述第二图片的所述第二块进行编码。
在另一示例方面,公开了一种对视觉信息进行编码的方法。该方法包括:将视觉信息编码成多个编码图片和多个指示符,所述多个指示符指示应用一种或多种编码技术,所述多个指示符包括帧内块复制(IBC)技术和重叠块运动补偿(OBMC)技术,其中,使用所述IBC技术对与所述视觉信息相关联的第一图片的第一块进行编码,并且使用所述LIC技术对与所述视觉信息相关联的第二图片的第二块进行编码,其中所述IBC技术使用所述第一图片的块对所述第一图片的不同块进行编码,并且所述LIC技术使用所述第二图片的所述第二块的多个邻居、以及参考图片的参考块的多个对应邻居对所述第二图片的所述第二块与所述参考图片的所述参考块之间的亮度变化进行编码。
在一个典型的方面,可以使用所公开的技术来提供使用帧内块复制的视频编码方法。该方法包括:确定是否使用运动补偿算法对当前图片的当前块进行编码;以及基于该确定,通过将帧内块复制选择性地应用到当前块对当前块进行编码。
在另一典型的方面,可以使用所公开的技术来提供使用帧内块复制的视频编码的另一种方法。该方法包括:确定是否使用帧内块复制对当前图片的当前块进行编码;以及基于该确定,通过将运动补偿算法选择性地应用到当前块对当前块进行编码。
在又一典型的方面,可以使用所公开的技术来提供使用帧内块复制的视频解码方法。该方法包括:确定是否使用运动补偿算法对当前图片的当前块进行解码;以及基于该确定,通过将帧内块复制选择性地应用到当前块对当前块进行解码。
在又一典型的方面,可以使用所公开的技术来提供使用帧内块复制的视频解码的另一种方法。该方法包括:确定是否使用帧内块复制对当前图片的当前块进行解码;以及基于该确定,通过将运动补偿算法选择性地应用到当前块对当前块进行解码。
在又一典型的方面,上述方法以处理器可执行代码的形式实施,并且存储在计算机可读的程序介质中。
在又一典型的方面,公开了一种设备,其被配置为或可操作以执行上述方法。该设备可以包括被编程以实现该方法的处理器。
在又一典型的方面,可以实现如本文中所述方法的视频解码器装置。
在附图、说明书和权利要求书中更详细地描述了所公开技术的上述方面、以及其他方面和特征。
附图说明
图1示出了帧内块复制技术的示例。
图2A和图2B示出了当使用重叠块运动补偿(OBMC)算法时子块的示例快照。
图3示出了用于为局部照明补偿(LIC)算法导出参数的相邻样本的示例。
图4示出了根据所公开的技术使用帧内块复制进行视频编码的示例方法的流程图。
图5示出了根据所公开的技术使用帧内块复制进行视频编码的另一示例方法的流程图。
图6示出了根据所公开的技术使用帧内块复制进行视频解码的示例方法的流程图。
图7示出了根据所公开的技术使用帧内块复制进行视频解码的另一示例方法的流程图。
图8是说明可用于实现本公开技术的各个部分的计算机系统或其他控制设备的结构示例的框图。
图9示出了可用于实现本公开技术的各个部分的移动设备的示例实施例的框图。
图10是视觉信息解码的示例方法的流程图。
图11是视觉信息编码的示例方法的流程图。
具体实施方式
为了便于理解,本文中使用了章节标题,并且不将各章节中讨论的技术和实施例的范围仅局限于该章节。
由于对诸如视频、图片、三维场景等高分辨率视觉信息的需求日益增加,视频编码方法和技术在现代技术中无所不在。本申请所述的技术可以应用于各种视觉信息,包括视频、图片、三维场景等。视觉信息的图片可以是视频中的帧、图片的一部分、三维场景中的对象、三维场景的一部分等。块可以是视觉信息图片的一部分,诸如编码单元(CU)、最大编码单元(LCU)、样本、预测单元(PU)等,如本申请中所述。视觉信息的子块可以是PU,诸如子CU、样本等。PU可以是视觉信息的像素、体素或最小分辨量子。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件,并且不断地被改进以提供更高的编码效率。视频编解码器将未压缩的视频转换为压缩格式,或反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(延迟)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范,例如,高效视频编码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待最终确定的通用视频编码标准或其他当前和/或未来的视频编码标准。
所公开技术的实施例可以应用于现有的视频编码标准(例如,HEVC、H.265)和未来的标准,以提高运行时间性能。在本文件中,使用章节标题来提高描述的可读性,并且不以任何方式将讨论或实施例(和/或实现)仅限于各自的章节。
1.参考图片和参考图片列表的示例
在HEVC中,存在短期和长期两种参考图片。当参考图片不再需要用于预测参考时,可以将其标记为“不用于参考”。HEVC引入了一种全新的参考图片管理方法,被称为参考图片集(RPS)或缓冲描述。
使用RPS概念完成将图片标记为“用于短期参考”、“用于长期参考”或“不用于参考”的处理。RPS是一组图片指示器,其在每个条带报头中发出信号,并且由一组短期图片和一组长期图片组成。在对图片的第一个条带报头进行解码后,DPB中的图片将按RPS的指定进行标记。在DPB中被RPS的短期图片部分指示的图片被保持为短期图片。在DPB中被RPS的长期图片部分指示的短期或长期图片被转换为或保持为长期图片。最后,DPB中在RPS中没有指示器的图片被标记为不用于参考。因此,所有可能被用作任何后续图片解码顺序预测的参考的已解码的图片必须包含在RPS中。
RPS由一组用于识别DPB中图片的图片顺序计数(POC)值组成。除了对POC信息发信号外,RPS还为每个图片发送一个标志。每个标志指示当前图片是否有对应图片是否可用或不可用于参考。应当注意的是,即使参考图片被发信号为对当前图片不可用,它仍被保留在DPB中,并且可能稍后可用于参考,并用于解码未来图片。
从POC信息和可用性标志,可以创建表1所示的五个参考图片列表。列表RefPicSetStCurrBefore由可供当前图片参考且POC值低于当前图片的POC值的短期图片组成。RefPicSetStCurrAfter由POC值高于当前图片的POC值的可用短期图片组成。RefPicSetStFoll是包含当前图片不可用、但可以用作按解码顺序解码后续图片的参考图片的所有短期图片的列表。最后,列表RefPicSetLtCurr和RefPicSetLtFoll分别包含可供当前图片参考和不可供当前图片参考的长期图片。
表1参考图片列表的清单
Figure BDA0002086163250000061
1.1短期和长期参考图片示例
通用序列参数集的语法如下示出:
Figure BDA0002086163250000062
通用条带段报头的语法如下示出:
Figure BDA0002086163250000071
上述语法表中使用的语义定义如下:
num_short_term_ref_pic_sets指定SPS中包含的st_ref_pic_set()语法结构的数目。num_short_term_ref_pic_sets的值应在0到64之间(包括0和64)。
在一些实施例中,解码器可以为num_short_term_ref_pic_sets+1st_ref_pic_set()语法结构的总数目分配存储器,因为在当前图片的条带报头中可能直接发出一个st_ref_pic_set()语法结构的信号。直接在当前图片的条带报头中发出信号的st_-ref_-pic_set()语法结构具有等于num_-short_-term_-ref_-pic_set的索引。
long_term_ref_pics_present_flag等于0指定CVS中的任何编码图片的帧间预测不使用长期参考图片。long_term_ref_pics_present_flag等于1指定CVS中的一个或多个编码图片的帧间预测可以使用长期参考图片。
num_long_term_ref_pics_sps指定在SPS中指定的候选长期参考图片的数量。num_long_term_ref_pics_sps的值应在0到32之间(包括0和32)。
lt_ref_pic_poc_lsb_sps[i]指定SPS中的第i个候选长期参考图片的图片顺序计数模块MaxPicOrderCntLsb。用于表示lt_ref_pic_poc_lsb_sps[i]的位数等于log2_max_pic_order_cnt_lsb_minus4+4。
used_by_curr_pic_lt_sps_flag[i]等于0指定在SPS中指定的第i个候选长期参考图片不被其长期参考图片集(RPS)中包含在SPS中指定的其第i个候选长期参考图片的图片用于参考。
short_term_ref_pic_set_sps_flag等于1指定当前图片的短期RPS是基于活动SPS中的一个st_ref_pic_set()语法结构导出的,该活动SPS由条带报头中的语法元素short_term_ref_pic_set_idx标识。short_term_ref_pic_set_sps_flag等于0指定当前图片的短期RPS是基于直接包含在当前图片条带报头中的st_ref_pic_set()语法结构导出的。当num_short_term_ref_pic_sets等于0时,short_term_ref_pic_set_sps_flag的值应等于0。
short_term_ref_pic_set_idx将用于导出当前图片的短期RPS的语法结构st_ref_pic_set()的索引指定给活动SPS中包含的语法结构st_ref_pic_set()的列表。语法元素short_term_ref_pic_set_idx由Ceil(log2(num_short_term_ref_pic_set))位表示。当不存在时,short_term_ref_pic_set_idx的值被推断为等于0。short_term_ref_pic_set_idx的值应在0至num_short_term_ref_pic_sets–1的范围内(包含0和num_short_term_ref_pic_sets-1)。
在一些实施例中,变量CurrRpsIdx导出如下:
--如果short_term_ref_pic_set_sps_flag等于1,则将CurrRpsIdx设置为等于short_term_ref_pic_set_idx。
--否则,将CurrRpsIdx设置为等于num_short_term_ref_pic_sets。
num_long_term_sps指定当前图片的长期RPS中的条目的数量,该当前图片是基于活动SPS中指定的候选长期参考图片导出的。num_long_term_sps的值应在0到num_long_term_ref_pics_sps的范围内(包括0和num_long_term_ref_pics_sps)。当不存在时,num_long_term_sps的值被推断为等于0。
num_long_term_pics指定直接在条带报头发出信号的当前图片的长期RPS中条目的数量。当不存在时,num_long_term_pics的值被推断为等于0。
在一些实施例中,当nuh_layer_id等于0时,num_long_term_pics的值应小于或等于sps_max_dec_pic_buffering_minus1[TemporalId]-NumNegativePics[CurrRpsIdx]-NumPositivePics[CurrRpsIdx]-num_long_term_sps–TwoVersionsOfCurrDecPicFlag。
lt_idx_sps[i]将当前图片的长期RPS中第i个条目的索引指定给活动SPS中指定的候选长期参考图片的列表。用于表示lt_idx_sps[i]的位数等于Ceil(Log2(num_long_term_ref_pics_sps))。当不存在时,lt_idx_sps[i]的值被推断为等于0。lt_idx_sps[i]的值应在0到num_long_term_ref_pics_sps-1的范围内(包括0和num_long_term_ref_pics_sps-1)。
poc_lsb_lt[i]指定当前图片的长期RPS中第i个条目的图片顺序计数模块MaxPicOrderCntLsb的值。poc_lsb_lt[i]语法元素的长度为log2_max_pic_order_cnt_lsb_minus4+4位。
used_by_curr_pic_lt_flag[i]等于0指定当前图片的长期RPS中的第i个条目不被当前图片用于参考。
在一些实施例中,变量PocLsbLt[i]和UsedByCurrPicLt[i]导出如下:
--如果i小于num_long_term_sps,则将PocLsbLt[i]设置为等于lt_ref_pic_poc_lsb_sps[lt_idx_sps[i]],并且将UsedByCurrPicLt[i]设置为等于used_by_curr_pic_lt_sps_flag[lt_idx_sps[i]]。
--否则,将PocLsbLt[i]设置为等于poc_lsb_lt[i],并且将UsedByCurrPicLt[i]设置为等于used_by_curr_pic_lt_flag[i]。
delta_poc_msb_present_flag[i]等于1指delta_poc_msb_cycle_lt[i]存在。delta_poc_msb_present_flag[i]等于0指定delta_poc_msb_cycle_lt[i]不存在。
在一些实施例中,让prevTid0Pic作为以解码顺序的前一图片,其具有TemporalId等于0并且不是RASL、RADL或SLNR图片。让setOfPrevPocVals作为包含以下的集合:
--prevTid0Pic的PicOrderCntVal,
--prevTid0Pic的RPS中每个图片的PicOrderCntVal,
--以解码顺序在prevTid0Pic之后且以解码顺序在当前图片之前的每个图片的PicOrderCntVal。
在一些实施例中,当setOfPrevPocVals中有多于一个值时(其中值模块MaxPicOrderCntLsb等于PocLsbLt[i]),delta_poc_msb_present_flag[i]应等于1。
delta_poc_msb_cycle_lt[i]被用于确定当前图片长期RPS中第i个条目的图片顺序计数值的最有效位的值。当delta_poc_msb_cycle_lt[i]不存在时,推断其等于0。
在一些实施例中,变量DeltaPocMsbCycleLt[i]导出如下:
如果(i==0||i==num_long_term_sps)
DeltaPocMsbCycleLt[i]=delta_poc_msb_cycle_lt[i]
否则DeltaPocMsbCycleLt[i]=delta_poc_msb_cycle_lt[i]+DeltaPocMsbCycleLt[i-1]
1.2短期和长期参考图片之间的运动矢量预测(MVP)示例
在一些实施例中,仅当目标参考图片类型和预测参考图片类型相同时,才允许进行运动矢量预测。换句话说,当类型不同时,不允许进行运动矢量预测。
高级运动矢量预测(AMVP)是包含现有实现的运动矢量预测的示例。现有AMVP实施的相关部分如下所述。
运动矢量mvLXA和可用性标志availableFlagLXA按以下顺序步骤导出:
(1)样本位置(xNbA0,yNbA0)被设置为等于(xPb-1,yPb+nPbH),样本位置(xNbA1,yNbA1)被设置为等于(xNbA0,yNbA0-1)。
(7)当availableFlagLXA等于0时,以下适用于(xNbAk,yNbAk),从(xNbA0,yNbA0)到(xNbA1,yNbA1)或直到availableFlagLXA等于1:
--当availableAk等于TRUE且availableFlagLXA等于0时,以下内容适用:
如果PredFlagLX[xNbAk][yNbAk]等于1且LongTermRefPic(currPic,currPb,refIdxLX,RefPicListX)等于LongTermRefPic(currPic,currPb,RefIdxLX[xNbAk][yNbAk],RefPicListX),则将availableFlagLXA设置为1,并做出以下分配:
mvLXA=MvLX[xNbAk][yNbAk]
refIdxA=RefIdxLX[xNbAk][yNbAk]
refPicListA=RefPicListX
否则,当PredFlagLY[xNbAk][yNbAk](其中Y=!X)等于1且LongTermRefPic(currPic,currPb,refIdxLX,RefPicListX)等于LongTermRefPic(currPic,currPb,RefIdxLY[xNbAk][yNbAk],RefPicListY)时,将availableFlagLXA设置为1。
运动矢量mvLXB和可用性标志availableFlagLXB按以下顺序步骤导出:
(1)样本位置(xNbB0,yNbB0),(xNbB1,yNbB1)和(xNbB2,yNbB2)分别设置为(xPb+nPbW,yPb-1),(xPb+nPbW-1,yPb-1)和(xPb-1,yPb-1)。
(5)当IsScaledFlagLx等于0时,availableFlagLXB设置为0,并且以下适用于(xNbBk,yNbBk),从(xNbB0,yNbB0)到(xNbB2,yNbB2)或直到availableFlagLXB等于1:
--用亮度位置(xCb,yCb)、当前亮度编码块大小nCbS、亮度位置(xPb,yPb)、亮度预测块宽度nPbW、亮度预测块高度nPbH、亮度位置(xNbY,yNbY)设置等于(xNbBk,yNbBk)、以及分区索引partIdx作为输入调用第6.4.2条中规定的预测块的可用性推导过程,,并将输出分配给预测块可用性标志availableBk。
--当availableBk等于TRUE且availableFlagLXB等于0时,以下内容适用:
如果PredFlagLX[xNbBk][yNbBk]等于1且LongTermRefPic(currPic,currPb,refIdxLX,RefPicListX)等于LongTermRefPic(currPic,currPb,RefIdxLX[xNbBk][yNbBk],RefPicListX),则将availableFlagLXB设为等于1,并做出以下分配:
mvLXB=MvLX[xNbBk][yNbBk]
refIdxB=RefIdxLX[xNbBk][yNbBk]
refPicListB=RefPicListX
否则,当PredFlagLY[xNbBk][yNbBk](其中Y=!X)等于1且LongTermRefPic(currPic,currPbrefIdxLX,RefPicListX)等于LongTermRefPic(currPic,currPb,RefIdxLY[xNbBk][yNbBk],RefPicListY),则将availableFlagLXB设为等于1,并进行以下分配:
mvLXB=MvLY[xNbBk][yNbBk]。
时间运动矢量预测(TMVP)是包含现有实现的运动矢量预测的另一个示例。现有TMVP实施的相关部分如下所述。
变量mvLXCol和availableFlagLXCol导出如下:
如果LongTermRefPic(currPic,currPb,refIdxLX,LX)不等于LongTermRefPic(ColPic,colPb,refIdxCol,listCol),则将mvLXCol的两个分量都设为等于0且将availableFlagLXCol设为等于0.
否则,将变量availableFlagLXCol设置为1,refPicListCol[refIdxCol]设置为ColPic指定的并置图片中包含预测块colPb的条带的参考图片列表listCol中的参考索引为refIdxCol的图片。
2.帧内块复制(IBC)的示例实施例
帧内块复制(IBC)将运动补偿的概念从帧间编码扩展到帧内编码。如图1所示,当应用IBC时,通过同一图片中的参考块预测当前块。在对当前块进行编码或解码之前,必须已重建参考块中的样本。虽然IBC对于大多数相机捕获的序列不是这样有效,但它显示出了对屏幕内容的显著编码增益。原因是在屏幕内容图片中有许多重复的模式,诸如图标和文本字符。IBC可以有效地消除这些重叠模式之间的冗余。
在HEVC-SCC中,如果选择当前图片作为参考图片,则可以使用内部编码编码单元(CU)。在这种情况下,MV被重命名为块矢量(BV),并且BV始终具有整数像素的精度。为了与主要规格HEVC相兼容,当前图片在解码图片缓冲区(DPB)中被标记为“长期”参考图片。应注意的是,类似地,在多视图/3D视频编码标准中,视图间参考图片也被标记为“长期”参考图片。
2.1启用IBC时图片标记的实施例
PPS中与IBC相关的语义。pps_curr_pic_ref_enabled_flag等于1指定引用PPS的图片可能包含在图片本身条带的参考图片列表中。pps_curr_pic_ref_enabled_flag等于0指定引用PPS的图片从不包含在图片条带的参考图片列表中。当不出现时,pps_curr_pic_ref_enabled_flag的值被推断为等于0。
当sps_curr_pic_ref_enabled_flag等于0时pps_curr_pic_ref_enabled_flag的值应等于0是比特流一致性的要求。
变量TwoVersionsOfCurrDecPicFlag推导如下:
TwoVersionsOfCurrDecPicFlag=pps_curr_pic_ref_enabled_flag&&(sample_adaptive_offset_enabled_flag||!pps_deblocking_filter_disabled_flag||deblocking_filter_override_enabled_flag)
当sps_max_dec_pic_buffering_minus1[TemporalId]等于0时TwoVersionsOfCurrDecPicFlag的值应当等于0.
解码过程。在调用循环过滤进程后,当前解码的图片被存储在DPB中的空图片存储缓冲区中,DPB的充满度增加1,此图片被标记为“用于短期参考”。
当TwoVersionsOfCurrDecPicFlag等于1时,按照第F.8.7[1]条规定的循环内过滤进程调用前的当前解码图片被存储在DPB中的空图片存储缓冲区中,DPB的充满度增加1,此图片标记为“用于长期参考”。
3.联合探索模型(JEM)示例
在一些实施例中,使用名为联合探索模型(JEM)的参考软件来探索未来的视频编码技术。在JEM中,基于子块的预测被用于多种编码工具中,诸如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)、帧速率上转换(FRUC)、局部自适应运动矢量分辨率(LAMVR)、重叠块运动补偿(OBMC)、局部照明补偿(LIC)和译码器侧运动矢量优化(DMVR)。
3.1重叠块运动补偿(OBMC)的示例
在JEM中,可以使用CU级别的语法打开和关闭OBMC。当OBMC用于JEM时,OBMC用于所有运动补偿(MC)块边界,但CU的右边界和底边界除外。此外,它还适用于亮度和色度分量。在JEM中,MC块对应于编码块。当CU用子CU模式(包括子CU Merge、仿射和FRUC模式)编码时,CU的每个子块都是MC块。为了用统一的方式处理CU边界,在所有MC块边界的子块级别执行OBMC,其中子块大小设置为等于4×4,如图2A和2B所示。
图2A示出了在CU/PU边界处的子块,并且阴影线的子块是应用OBMC的地方,同样地,图2B示出了在ATMVP模式下的子PU。
当OBMC应用于当前子块时,除了当前运动矢量外,四个相连的相邻子块的运动矢量(如果可用且与当前运动矢量不同)也可用于推导当前子块的预测块。将这些基于多个运动矢量的多个预测块组合起来,以生成当前子块的最终预测信号。
基于相邻子块运动矢量的预测块表示为PN,其中N表示相邻上、下、左右子块的索引,并且基于当前子块运动矢量的预测块表示为PC。当PN基于包含与当前子块相同的运动信息的相邻子块的运动信息时,OBMC不从PN处执行的。否则,每个PN的样本都添加到PC中的相同样本中,即将PN的四行/列添加到PC。PN使用权重因子{1/4,1/8,1/16,1/32},PC使用权重因子{3/4,7/8,15/16,31/32}。例外情况是小MC块(即编码块的高度或宽度等于4或CU是用子CU模式编码的),对此在PC中只添加PN的两行/列。在这种情况下,PN使用权重因子{1/4,1/8},PC使用权重因子{3/4,7/8}。对于基于垂直(水平)相邻子块的运动矢量生成的PN,将PN的同一行(列)中的样本以相同的权重因子添加到PC中。
在JEM中,对于尺寸小于或等于256亮度样本的CU,会对CU级别标志发信令,以指示当前CU是否应用OBMC。对于尺寸大于256亮度样本或未使用AMVP模式编码的CU,默认情况下应用OBMC。在编码器处,当OBMC应用于CU时,在运动估计阶段会考虑其影响。使用上邻块和左邻块的运动信息通过OBMC形成的预测信号被用来补偿当前CU的原始信号的上边界和左边界,并且然后应用正常的运动估计处理。
3.2局部照明补偿(LIC)的示例
LIC基于用于照明变化的线性模型,使用比例因子a和偏移量b。并且其对每个帧间编码的编码单元(CU)自适应地启用或禁用。
当LIC应用于CU时,采用最小二乘误差法、通过使用当前CU的相邻样本及其对应的参考样本导出参数a和b。图3示出了用于推导IC算法参数的相邻样本的示例。具体来说,如图3所示,使用参考图片中CU的子采样(2:1子采样)相邻样本和对应的样本(由当前CU或子CU的运动信息识别)。推导出IC参数并将其分别应用于每个预测方向。
当使用Merge模式对CU进行编码时,LIC标志以类似于Merge模式下运动信息复制的方式从相邻块复制;否则,将为CU发出LIC标志,以指示LIC是否适用。
当为图片启用LIC时,需要附加的CU级RD检查来确定是否为CU应用LIC。当对CU启用LIC时,对于整数像素运动搜索和分数像素运动搜索,分别使用绝对差的平均去除和(MR-SAD)和绝对Hadamard变换差的平均去除和(MR-SATD),而不使用SAD和SATD。
为了降低编码复杂度,在JEM中应用以下编码方案:
--当当前图片与其参考图片之间没有明显的亮度变化时,对整个图片禁用LIC。为了识别这种情况,在编码器处计算当前图片的柱状图和当前图片的每个参考图片的柱状图。如果当前图片和当前图片的每个参考图片之间的柱状图差小于给定阈值,则对当前图片禁用LIC;否则,对当前图片启用LIC。
4.视频编码中IBC的示例方法
图4示出使用帧内块复制进行视频编码的示例性方法的流程图。方法1600包括在步骤1610处,确定是否使用运动补偿算法对当前图片的当前块进行编码。方法1600包括在步骤1620处,基于该确定,通过选择性地将帧内块复制应用于当前块对当前块进行编码。更一般来说,是否将帧内块复制应用到当前块是基于是否使用特定的运动补偿算法对当前块进行编码。
图5示出了使用帧内块复制进行视频编码的另一个示例方法的流程图。方法1700包括在步骤1710处,确定是否使用帧内块复制对当前图片的当前块进行编码。方法1700包括在步骤1720处,基于该确定,通过选择性地将运动补偿算法应用于当前块对当前块进行编码。更一般来说,是否使用运动补偿算法对当前块进行编码是基于是否使用帧内块复制对当前块进行编码。
图6示出了使用帧内块复制进行视频解码的示例性方法的流程图。该方法1800包括在步骤1810处,确定是否使用运动补偿算法对当前图片的当前块进行解码。方法1800包括在步骤1820处,基于该确定,通过选择性地将帧内块复制应用于当前块来对当前块进行解码。更一般来说,是否将帧内块复制应用到当前块是基于是否使用特定的运动补偿算法对当前块进行解码。
图7示出了使用帧内块复制进行视频解码的另一个示例性方法的流程图。方法1900包括在步骤1910处,确定是否使用帧内块复制对当前图片的当前块进行解码。方法1900包括在步骤1920处,基于该确定,通过选择性地将运动补偿算法应用于当前块对当前块进行解码。更一般来说,是否使用运动补偿算法对当前块进行解码是基于是否使用帧内块复制对当前块进行解码。
在图4至图7的上下文中所述的方法1600、1700、1800和1900可以进一步包括确定运动补偿算法是否与帧内块复制兼容的步骤。在下面的示例中说明了对于不同的特定运动补偿算法,帧内块复制和运动补偿算法的兼容性。
示例1:提出了OBMC不能应用于IBC编码的块。
(a)在一个示例中,如果当前块的至少一个参考图片是当前图片,则OBMC不能在当前块中实施。
(b)在另一个示例中,如果一个参考列表中当前块的参考图片是当前图片,并且另一个参考列表中当前块的参考图片不是当前图片,则OBMC只能实施在来自后一参考列表的帧间预测。
示例2:提出了LIC不能应用于IBC编码的块。
(a)在一个示例中,如果当前块的至少一个参考图片是当前图片,则LIC标志不被发信令且被推测为0。
(b)在另一个示例中,如果两个参考列表的两个参考图片都是当前图片,则LIC标志不被发信令且被推测为0。
(c)或者,如果当前块的参考图片包括当前图片和其它参考图片,则可以对LIC标志发信令,但是它只控制LIC是否用于参考图片不等于当前图片的非IBC帧间预测。参考图片等于当前图片的IBC预测的LIC标志始终为0。该情况的一些示例如下:
(i)在一个示例中,当前块与两个参考图片相关联,并且只有一个参考图片是当前图片。
(ii)在一个示例中,当前块与不止两个参考图片相关联,并且参考图片中的至少一个是当前图片且参考图片中的至少一个不是当前图片。
(d)在一个示例中,是否以及如何将LIC应用于IBC预测块可以在序列级、图片级、条带级、编码树单元(CTU)(例如,最大编码单元(LCU)级、CU级或PU级)从编码器传输到解码器。这些信息可以在序列参数集(SPS)、图片参数集(PPS)、条带报头(SH)、CTU(又称为LCU)、CU或PU中发信令。
5.公开技术的示例实施平台
图8是说明可用于实现本公开技术的各个部分的计算机系统或其他控制设备2000的结构示例的框图,包括(但不限于)方法1600、1700、1800和1900。在图8中,计算机系统2000包括通过互连2025连接的一个或多个处理器2005和存储器2010。互连2025可以表示由适当的桥、适配器或控制器连接的任何一条或多条单独的物理总线、点对点连接或两者。因此,互连2025可以包括例如系统总线、外围组件互连(PCI)总线、超传输或行业标准体系结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气与电子工程师协会(IEEE)标准674总线(有时被称为“火线”)。
处理器2005可以包括中央处理单元(CPU),来控制例如主机的整体操作。在一些实施例中,处理器2005通过执行存储在存储器2010中的软件或固件来实现这一点。处理器2005可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等,或这些器件的组合。
存储器2010可以是或包括计算机系统的主存储器。存储器2010代表任何适当形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等,或这些设备的组合。在使用中,存储器2010除其他外可包含一组机器指令,当处理器2005执行该指令时,使处理器2005执行操作以实现本公开技术的实施例。
通过互连2025连接到处理器2005的还有(可选的)网络适配器2015。网络适配器2015为计算机系统2000提供与远程设备(诸如存储客户机和/或其他存储服务器)通信的能力,并且可以是例如以太网适配器或光纤通道适配器。
图9示出了可以用于实施本公开技术的各个部分的移动设备2100的示例实施例的框图,包括(但不限于)方法1600、1700、1800和1900。移动设备2100可以是笔记本电脑、智能手机、平板电脑、相机或其他能够处理视频的设备。移动设备2100包括处理器或控制器2101来处理数据,以及与处理器2101通信的存储器2102来存储和/或缓冲数据。例如,处理器2101可以包括中央处理单元(CPU)或微控制器单元(MCU)。在一些实现中,处理器2101可以包括现场可编程门阵列(FPGA)。在一些实现中,移动设备2100包括或与图形处理单元(GPU)、视频处理单元(VPU)和/或无线通信单元通信,以实现智能手机设备的各种视觉和/或通信数据处理功能。例如,存储器2102可以包括并存储处理器可执行代码,当处理器2101执行该代码时,将移动设备2100配置为执行各种操作,例如,接收信息、命令和/或数据、处理信息和数据,以及将处理过的信息/数据发送或提供给另一个设备,诸如执行器或外部显示器。
为了支持移动设备2100的各种功能,存储器2102可以存储信息和数据,例如指令、软件、值、图片以及处理器2101处理或引用的其他数据。例如,可以使用各种类型的随机存取存储器(RAM)设备、只读存储器(ROM)设备、闪存设备和其他合适的存储介质来实现存储器2102的存储功能。在一些实施例中,移动设备1100包括输入/输出(I/O)单元2103,以将处理器2101和/或存储器2102与其他模块、单元或设备进行接口。例如,I/O单元2103可以与处理器2101和内存2102进行接口,以利用与典型数据通信标准兼容的各种无线接口,例如,在云中的一台或多台计算机和用户设备之间。在一些实现中,移动设备2100可以通过I/O单元2103使用有线连接与其他设备进行接口。移动设备2100还可以与其他外部接口(例如,数据存储器)和/或可视或音频显示设备2104进行接口,以检索和传输可由处理器处理、存储在存储器中或显示在显示设备2104或外部设备的输出单元上的数据和信息。例如,显示设备2104可以显示包括块(CU,PU或TU)的视频帧,该块基于是否使用运动补偿算法并且根据所公开的技术应用帧内块复制。
在一些实施例中,视频解码器装置可以实现视频解码方法,其中,如本文所述的帧内块复制被用于视频解码。该方法可以类似于上述方法1600、1700、1800和1900。
在一些实施例中,视频解码的解码器端方法可以使用帧内块复制,通过使用运动补偿算法确定当前图片的当前块是否要解码来提高视频质量,并且基于该确定,通过选择性地将帧内块复制应用于当前块来对当前块进行解码。
在其他实施例中,视频解码的解码器端方法可以使用帧内块复制,通过确定是否使用帧内块复制对当前图片的当前块进行解码来提高视频质量,并且基于该确定,通过选择性地将运动补偿算法应用于当前块来对当前块进行解码。
在一些实施例中,视频解码方法可以使用在硬件平台上实现的解码装置来实现,如图7和图8所述。
下面是通过将IBC合并到VTM-1.0中所测量到的改进,VTM-1.0是名为通用视频编码(VVC)的视频编码标准的参考软件。VTM代表VVC测试模型。
Figure BDA0002086163250000191
在上表中,“Y”、“U”、“V”代表YUV颜色编码系统中的颜色,YUV颜色编码系统在考虑人类感知的情况下对颜色图片或视频进行编码。EncT和DecT分别表示使用IBC的编码和解码时间与不使用IBC的编码和解码时间之比。具体来说,
EncT=测试编码时间(TestEncodingTime)/(锚编码时间)anchorEncodingTime
DecT=测试解码时间(TestDecodingTime)/(锚解码时间)anchorDecodingTime
各种类别(诸如A1、A2等)代表一组用于测试各种视频编码技术性能的标准视频序列。“Y”、“U”、“V”列下的负百分比表示将IBC添加到VTM-1.0时的比特率节省。EncT和DecT列下的超过100%的百分比表示使用IBC进行编码/解码比不使用IBC进行编码/解码慢多少。例如,150%意味着使用IBC进行编码/解码比不使用IBC进行编码/解码慢50%。低于100%的百分比表示使用IBC进行编码/解码比不使用IBC进行编码/解码快多少。上表中显示的两个类(F类和SCC类)表明比特率节省超过3%。
从上述来看,应当理解的是,为了便于说明,本发明公开的技术的具体实施例已经在本文中进行了描述,但是可以在不偏离本发明范围的情况下进行各种修改。因此,除了权利要求限定的之外,本发明公开的技术不受限制。
本专利文件中描述的主题的实施和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现,包括本说明书中所公开的结构及其结构等效体,或其中一个或多个的组合。本说明书中描述的主题的实施可以实现为一个或多个计算机程序产品,即一个或多个编码在有形的和非易失的计算机可读介质上的计算机程序指令的模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充,或合并到专用逻辑电路中。
本说明书和附图仅意在被视为示例性的,其中示例性是指示例。如本文所用,除非上下文另有明确说明,否则单数形式“a”、“an”和“the”也应包括复数形式。此外,“或”的使用旨在包括“和/或”,除非上下文另有明确说明。
虽然本专利文件包含许多细节,但不应将其解释为对任何发明或权利要求范围的限制,而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中删除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管附图中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其他实现、增强和变体可以基于本专利文件中所描述和说明的做出。
下面列出的是本申请中所述技术的一些示例。本申请中使用的块可以是像素、体素、子像素和/或子体素的连续或非连续集合。例如,块可以是直线围成的,例如4x 4正方形、6x 4矩形,或者由曲线围成的,例如椭圆。
本申请中使用的视觉信息的一部分可以是视觉信息的子集。本申请中使用的编码表示可以是表示已使用本申请中描述的技术之一编码的可视信息的位流。本申请中使用的指示可以是编码表示中的标志或字段,也可以是多个单独的标志或字段。
本申请中使用的解码技术可由解码器应用,并且可以在硬件或软件中实现。解码技术可以以相反的顺序撤消编码器所做的一切。当适当的解码技术应用到编码表示时,结果是可以获得视觉信息。
本申请中所用的多个块中的初始块是出现在编码表示中第一块之前的块。
下面列出了一些示例实施例。
1.一种视觉信息解码方法(例如,图10所示的方法1000),包括:确定(1002)表示所述视觉信息的一部分的被解码的块是用第一编码技术编码的;基于所述确定,决定(1004)所述被解码的块的编码表示不包括使用第二编码技术的指示符;以及基于所述决定解析(1006)所述编码表示;通过使用与所述第一编码技术相对应的第一解码技术并且通过不使用与所述第二编码技术相对应的第二解码技术解码(1008)所述编码表示。第一和第二编码技术中的一种对应于帧内块复制(IBC)技术,所述IBC技术使用同一图片的第二块对所述被解码的块进行编码,并且所述另一种对应于重叠块运动补偿(OBMC)技术,所述OBMC技术使用多个邻居的运动信息对所述被解码的块进行编码。
2.根据示例1所述的方法,包括使用所述OBMC解码技术解码第二编码块,通过:获取与所述被解码的块相对应的参考块;以及获取所述被解码的块的运动预测,其中所述运动预测是通过组合所述被解码的块的所述多个邻居的运动矢量编码的。
3.根据示例1至2中任一项所述的方法,包括:在所述被解码的块是使用所述IBC解码技术解码的情况下,不使用所述OBMC解码技术来解码所述被解码的块。
4.根据示例3所述的方法,包括:在参考图片与包含所述被解码的块的图片相同的情况下,不使用所述OBMC解码技术来解码所述被解码的块。
5.根据示例3所述的方法,包括:在第一参考列表中的所述参考图片与包含所述被解码的块的图片相同、并且第二参考列表中的所述参考图片与包含所述被解码的块的图片不同的情况下,仅在第二参考列表上使用所述OBMC解码技术。
6.一种视觉信息解码方法(图11所示的方法1100),包括:确定(1102)表示所述视觉信息的一部分的被解码的块是用第一编码技术编码的;基于所述确定,决定(1104)所述被解码的块的编码表示不包括使用第二编码技术的指示符;以及基于所述决定解析(1106)所述编码表示;以及通过使用与所述第一编码技术相对应的第一解码技术并且通过不使用与所述第二编码技术相对应的第二解码技术解码(1008)所述编码表示。这里,所述第一和第二编码技术中的一种对应于帧内块复制(IBC)技术,所述IBC技术使用同一图片的第二块对所述被解码的块进行编码,并且所述另一种对应于局部照明补偿(LIC)技术,所述LIC技术使用第二图片的第二块的多个邻居、以及参考图片的参考块的多个对应邻居来编码所述第二图片的所述第二块与所述参考图片的所述参考块之间的亮度变化,用于编码所述被解码的块。
7.根据示例1和6中任一项所述的方法,包括使用所述IBC解码技术解码第一编码块,通过:获取表示所述第一图片的第一多个编码块;解码所述第一多个编码块中的初始块;并且在解码所是初始块时,基于所述初始块解码所述第一多个编码块中的第一块。
8.根据示例6至7中任一项所述的方法,包括使用所述LIC解码技术解码第二图片中的第二块,通过:获取与所述第二块相邻的多个样本、以及所述参考图片中对应于所述第二块的多个对应样本、以及表示所述多个样本和所述多个对应样本之间的亮度变化的参数;并且基于所述参数、所述多个样本以及所述多个对应样本计算所述被解码的块的亮度。
9.根据示例6至8中任一项所述的方法,包括:在所述被解码的块是使用所述IBC解码技术解码的情况下,不使用所述LIC解码技术来解码所述被解码的块。
10.根据示例6至9中任一项所述的方法,包括:在与被解码的块相关联的至少一个参考图片与包含所述被解码的块的所述图片相同的情况下,推测未使用所述LIC技术编码所述被解码的块。
11.根据示例10所述的方法,包括:在与所述被解码的块相关联的第一参考列表中和第二参考列表中的参考图片都与包含所述被解码的块的图片相同的情况下,推测未使用所述LIC技术编码所述被解码的块。
12.根据示例10所述的方法,包括:在与所述被解码的块相关联的参考图片包括包含所述被解码的块的图片和不包含所述被解码的块的图片的情况下,解码所述多个指示符中指示是否使用所述LIC技术编码所述被解码的块的指示符,仅当所述被解码的块的所述参考图片不等同于包含所述被解码的块的所述图片时执行所述解码。
在一些实施例中,上述解码方法可以由视频解码或代码转换设备实现。
13.一种视觉信息编码方法,包括:将所述视觉信息编码成多个编码图片和多个指示符,所述多个指示符指示应用一种或多种编码技术,所述多个指示符包括帧内块复制(IBC)技术和重叠块运动补偿(OBMC)技术,其中,使用所述IBC技术对与所述视觉信息相关联的第一图片的第一块进行编码,并且使用所述OBMC技术对与所述视觉信息相关联的第二图片的第二块进行编码,其中所述IBC技术使用所述第一图片的块对所述第一图片的不同块进行编码,并且所述OBMC技术使用所述第二图片的所述第二块的多个邻居的运动信息对所述第二图片的所述第二块进行编码。
14.根据示例13所述的方法,包括使用所述OBMC技术对第二参考图片中的所述第二块进行编码,通过:将所述参考图片划分成多个参考块,包括与被编码的块相对应的所述参考块;并且通过组合所述多个参考块的所述多个邻居的运动矢量导出所述被编码的块的运动预测。
15.根据示例13至14中任一项所述的方法,包括:避免使用所述OBMC技术编码所述第一图片。
16.根据示例15所述的方法,包括:在所述参考图片与所述第一图片相同的情况下,不使用所述OBMC技术来编码所述被编码的块。
17.根据示例15所述的方法,包括:在第一参考列表中的所述参考图片与包含所述被编码的块的图片相同、并且第二参考列表中的所述参考图片与包含所述被编码的块的图片不同的情况下,仅在所述第二参考列表上实施所述OBMC技术。
18.一种视觉信息编码方法,包括:将所述视觉信息编码成多个编码图片和多个指示符,所述多个指示符指示应用一种或多种编码技术,所述多个指示符包括帧内块复制(IBC)技术和重叠块运动补偿(OBMC)技术,其中,使用所述IBC技术对与所述视觉信息相关联的第一图片的第一块进行编码,并且使用所述LIC技术对与所述视觉信息相关联的第二图片的第二块进行编码,其中所述IBC技术使用所述第一图片的块对所述第一图片的不同块进行编码,并且所述LIC技术使用所述第二图片的所述第二块的多个邻居、以及参考图片的参考块的多个对应邻居对所述第二图片的所述第二块与所述参考图片的所述参考块之间的亮度变化进行编码。
19.根据示例18和13中任一项所述的方法,包括使用所述IBC技术编码所述第一图片,通过:将所述第一图片划分成第一多个块;对所述第一多个块中的初始块进行编码;以及在对所述初始块进行编码后,基于所述初始块对所述第一多个块中的第一块进行编码。
20.根据示例18至19中任一项所述的方法,包括使用所述LIC技术编码第二图片中的所述第二块,通过:确定与所述第二块相邻的多个样本、以及所述参考图片中对应于所述第二块的多个对应样本;并且基于所述多个样本以及所述多个对应样本导出表示所述亮度变化的参数。
21.根据示例18至20中任一项所述的方法,包括:避免使用所述LIC技术编码所述第一图片。
22.根据示例21所述的方法,包括:当与被编码的块相关联的至少一个参考图片与包含所述被编码的块的所述图片相同时,不对多个指示符中指示LIC技术被使用的指示符进行编码,从而预期解码器来推测所述LIC技术未被使用。
23.根据示例21所述的方法,包括:在与所述被编码的块相关联的第一参考列表中和第二参考列表中的参考图片都与包含所述被编码的块的图片相同的情况下,不对所述多个指示符中指示所述LIC技术被使用的指示符进行编码,从而预期解码器来推测所述LIC技术未被使用。
24.根据示例21所述的方法,包括:在与所述被编码的块相关联的参考图片包括包含所述被编码的块的图片和不包含所述被编码的块的图片的情况下,编码所述多个指示符中指示是否使用所述LIC技术的指示符,其中所述指示符仅指示是否对未使用所述IBC技术编码的块使用所述LIC技术,其中所述参考图片与包含所述被编码的块的图片不同。
25.根据示例1至24中任一项所述的方法,包括:在编码器和解码器之间传输指示符,所述指示符指示是否以及如何在序列级、图片级、条带级、编码树单元(CTU)、CU级或PU级将所述LIC技术应用于所述IBC技术编码的块。
26.根据示例25所述的方法,包括:在序列参数集(SPS)、图片参数集(PPS)、条带报头(SH)、编码树单元(CTU)、编码单元(CU)或预测单元(PU)处传输所述指示符。
在一些实施例中,上述示例编码方法可以由视频编码或代码转换装置实现。在一些实施例中,计算机可读介质可以存储用于由处理器实现上述示例方法中的一个或多个的处理器可执行代码。

Claims (28)

1.一种视觉信息解码方法,包括:
确定表示视觉信息的一部分的被解码的块是用第一编码技术编码的;
基于所述确定,决定所述被解码的块的编码表示不包括使用第二编码技术的指示符;以及
基于所述决定解析所述编码表示;
通过使用与所述第一编码技术相对应的第一解码技术,并且通过不使用与所述第二编码技术相对应的第二解码技术,解码所述编码表示;
其中,所述第一编码技术和第二编码技术中的一种对应于帧内块复制(IBC)技术,所述IBC技术使用同一图片的第二块对所述被解码的块进行编码,并且所述另一种对应于重叠块运动补偿(OBMC)技术,所述OBMC技术使用多个邻居的运动信息对所述被解码的块进行编码。
2.根据权利要求1所述的方法,包括使用所述OBMC解码技术解码第二编码块,通过:
获取与所述被解码的块相对应的参考块;以及
获取所述被解码的块的运动预测,其中所述运动预测是通过组合所述被解码的块的所述多个邻居的运动矢量编码的。
3.根据权利要求1或2所述的方法,包括:
当所述被解码的块是使用所述IBC解码技术解码的时,不使用所述OBMC解码技术来解码所述被解码的块。
4.根据权利要求3所述的方法,包括:
当所述参考图片与包含所述被解码的块的图片相同时,不使用所述OBMC解码技术来解码所述被解码的块。
5.根据权利要求3所述的方法,包括:
当第一参考列表中的所述参考图片与包含所述被解码的块的图片相同、并且第二参考列表中的所述参考图片与包含所述被解码的块的图片不同时,仅在第二参考列表上使用所述OBMC解码技术。
6.根据权利要求3所述的方法,还包括:
基于所述确定,决定所述被解码的块的编码表示不包括使用第三编码技术的指示符;以及
基于所述决定解析所述编码表示;以及
通过使用与所述第一编码技术相对应的第一解码技术,并且通过不使用与所述第三编码技术相对应的第三解码技术,解码所述编码表示;
其中,所述第一编码技术和第三编码技术中的一种对应于帧内块复制(IBC)技术,所述IBC技术使用同一图片的第二块对所述被解码的块进行编码,并且所述另一种对应于局部照明补偿(LIC)技术,所述LIC技术使用第二图片的第二块的多个邻居、以及参考图片的参考块的多个对应邻居来编码所述第二图片的所述第二块与所述参考图片的所述参考块之间的亮度变化,用于编码所述被解码的块。
7.根据权利要求1和6中任一项所述的方法,包括使用所述IBC解码技术解码第一编码块,通过:
获取表示所述第一图片的第一多个编码块;
解码所述第一多个编码块中的初始块;并且
在解码所是初始块时,基于所述初始块解码所述第一多个编码块中的第一块。
8.根据权利要求6至7中任一项所述的方法,包括使用所述LIC解码技术解码第二图片中的第二块,通过:
获取与所述第二块相邻的多个样本、以及所述参考图片中对应于所述第二块的多个对应样本、以及表示所述多个样本和所述多个对应样本之间的亮度变化的参数;并且
基于所述参数、所述多个样本以及所述多个对应样本计算所述被解码的块的亮度。
9.根据权利要求6至8中任一项所述的方法,包括:
当所述被解码的块是使用所述IBC解码技术解码的时,不使用所述LIC解码技术来解码所述被解码的块。
10.根据权利要求6至9中任一项所述的方法,包括:
当与被解码的块相关联的至少一个参考图片与包含所述被解码的块的所述图片相同时,推测未使用所述LIC技术编码所述被解码的块。
11.根据权利要求10所述的方法,包括:
当与所述被解码的块相关联的第一参考列表中和第二参考列表中的参考图片都与包含所述被解码的块的图片相同时,推测未使用所述LIC技术编码所述被解码的块。
12.根据权利要求10所述的方法,包括:
当与所述被解码的块相关联的参考图片包括包含所述被解码的块的图片和不包含所述被解码的块的图片时,解码所述多个指示符中指示是否使用所述LIC技术编码所述被解码的块的指示符,仅当所述被解码的块的所述参考图片不等同于包含所述被解码的块的所述图片时执行所述解码。
13.一种视觉信息编码方法,包括:
将所述视觉信息编码成多个编码图片和多个指示符,所述多个指示符指示应用一种或多种编码技术,所述多个指示符包括帧内块复制(IBC)技术和重叠块运动补偿(OBMC)技术,其中,使用所述IBC技术对与所述视觉信息相关联的第一图片的第一块进行编码,并且使用所述OBMC技术对与所述视觉信息相关联的第二图片的第二块进行编码,其中所述IBC技术使用所述第一图片的块对所述第一图片的不同块进行编码,并且所述OBMC技术使用所述第二图片的所述第二块的多个邻居的运动信息对所述第二图片的所述第二块进行编码。
14.根据权利要求13所述的方法,包括使用所述OBMC技术对第二参考图片中的所述第二块进行编码,通过:
将所述参考图片划分成多个参考块,包括与被编码的块相对应的所述参考块;并且
通过组合所述多个参考块的所述多个邻居的运动矢量导出所述被编码的块的运动预测。
15.根据权利要求13至14中任一项所述的方法,包括:
避免使用所述OBMC技术编码所述第一图片。
16.根据权利要求15所述的方法,包括:
当所述参考图片与所述第一图片相同时,不使用所述OBMC技术来编码所述被编码的块。
17.根据权利要求15所述的方法,包括:
当第一参考列表中的所述参考图片与包含所述被编码的块的图片相同、并且第二参考列表中的所述参考图片与包含所述被编码的块的图片不同时,仅在所述第二参考列表上实施所述OBMC技术。
18.根据权利要求15所述的方法,还包括:
使用LIC技术对与所述视觉信息相关联的第二图片的第二块进行编码,其中所述IBC技术使用所述第一图片的块对所述第一图片的不同块进行编码,并且所述LIC技术使用所述第二图片的所述第二块的多个邻居、以及参考图片的参考块的多个对应邻居对所述第二图片的所述第二块与所述参考图片的所述参考块之间的亮度变化进行编码。
19.根据权利要求18和13中任一项所述的方法,包括使用所述IBC技术编码所述第一图片,通过:
将所述第一图片划分成第一多个块;
对所述第一多个块中的初始块进行编码;以及
在对所述初始块进行编码后,基于所述初始块对所述第一多个块中的第一块进行编码。
20.根据权利要求18至19中任一项所述的方法,包括使用所述LIC技术编码第二图片中的所述第二块,通过:
确定与所述第二块相邻的多个样本、以及所述参考图片中对应于所述第二块的多个对应样本;并且
基于所述多个样本以及所述多个对应样本导出表示所述亮度变化的参数。
21.根据权利要求18至20中任一项所述的方法,包括:
避免使用所述LIC技术编码所述第一图片。
22.根据权利要求21所述的方法,包括:
当与被编码的块相关联的至少一个参考图片与包含所述被编码的块的所述图片相同时,不对多个指示符中指示LIC技术被使用的指示符进行编码,从而预期解码器来推测所述LIC技术未被使用。
23.根据权利要求21所述的方法,包括:
当与所述被编码的块相关联的第一参考列表中和第二参考列表中的参考图片都与包含所述被编码的块的图片相同时,不对所述多个指示符中指示所述LIC技术被使用的指示符进行编码,从而预期解码器来推测所述LIC技术未被使用。
24.根据权利要求21所述的方法,包括:
当与所述被编码的块相关联的参考图片包括包含所述被编码的块的图片和不包含所述被编码的块的图片时,编码所述多个指示符中指示是否使用所述LIC技术的指示符,其中所述指示符仅指示是否对未使用所述IBC技术编码的块使用所述LIC技术,其中所述参考图片与包含所述被编码的块的图片不同。
25.根据权利要求1至24中任一项所述的方法,包括:
在编码器和解码器之间传输指示符,所述指示符指示是否以及如何在序列级、图片级、条带级、编码树单元(CTU)、CU级或PU级将所述LIC技术应用于所述IBC技术编码的块。
26.根据权利要求25所述的方法,包括:
在序列参数集(SPS)、图片参数集(PPS)、条带报头(SH)、CTU、CU或PU处传输所述指示符。
27.一种视频处理装置,包括:处理器,其被配置为实现权利要求1至26中任一项或多项所述的方法。
28.一种计算机可读介质,其上存储有处理器可执行代码,所述代码在执行时使处理器实现权利要求1至26中任一项或多项所述的方法。
CN201910488491.1A 2018-06-05 2019-06-05 帧内块复制与帧间编码工具的交互 Active CN110572648B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/089920 2018-06-05
CN2018089920 2018-06-05

Publications (2)

Publication Number Publication Date
CN110572648A CN110572648A (zh) 2019-12-13
CN110572648B true CN110572648B (zh) 2023-05-02

Family

ID=67185524

Family Applications (11)

Application Number Title Priority Date Filing Date
CN201910487913.3A Active CN110572669B (zh) 2018-06-05 2019-06-05 帧内块复制与解码器侧运动矢量细化的交互
CN202210869850.XA Pending CN115442612A (zh) 2018-06-05 2019-06-05 帧内块复制与可选时域运动矢量预测的交互
CN201910487910.XA Active CN110572646B (zh) 2018-06-05 2019-06-05 帧内块复制与空时运动矢量预测的交互
CN201910487926.0A Active CN110572670B (zh) 2018-06-05 2019-06-05 帧内块复制和双向光流的交互
CN201910487907.8A Pending CN110572668A (zh) 2018-06-05 2019-06-05 帧内块复制与局部自适应运动矢量分辨率的交互
CN202210483116.XA Pending CN114666605A (zh) 2018-06-05 2019-06-05 帧内块复制和双向光流的交互
CN201910487921.8A Active CN110572658B (zh) 2018-06-05 2019-06-05 帧内块复制与仿射的交互
CN201910488487.5A Active CN110572671B (zh) 2018-06-05 2019-06-05 成对平均merge候选与帧内块复制的交互
CN201910488488.XA Active CN110572647B (zh) 2018-06-05 2019-06-05 帧内块复制与可选时域运动矢量预测的交互
CN201910488491.1A Active CN110572648B (zh) 2018-06-05 2019-06-05 帧内块复制与帧间编码工具的交互
CN202210923862.6A Pending CN115529458A (zh) 2018-06-05 2019-06-05 帧内块复制与仿射的交互

Family Applications Before (9)

Application Number Title Priority Date Filing Date
CN201910487913.3A Active CN110572669B (zh) 2018-06-05 2019-06-05 帧内块复制与解码器侧运动矢量细化的交互
CN202210869850.XA Pending CN115442612A (zh) 2018-06-05 2019-06-05 帧内块复制与可选时域运动矢量预测的交互
CN201910487910.XA Active CN110572646B (zh) 2018-06-05 2019-06-05 帧内块复制与空时运动矢量预测的交互
CN201910487926.0A Active CN110572670B (zh) 2018-06-05 2019-06-05 帧内块复制和双向光流的交互
CN201910487907.8A Pending CN110572668A (zh) 2018-06-05 2019-06-05 帧内块复制与局部自适应运动矢量分辨率的交互
CN202210483116.XA Pending CN114666605A (zh) 2018-06-05 2019-06-05 帧内块复制和双向光流的交互
CN201910487921.8A Active CN110572658B (zh) 2018-06-05 2019-06-05 帧内块复制与仿射的交互
CN201910488487.5A Active CN110572671B (zh) 2018-06-05 2019-06-05 成对平均merge候选与帧内块复制的交互
CN201910488488.XA Active CN110572647B (zh) 2018-06-05 2019-06-05 帧内块复制与可选时域运动矢量预测的交互

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210923862.6A Pending CN115529458A (zh) 2018-06-05 2019-06-05 帧内块复制与仿射的交互

Country Status (8)

Country Link
US (10) US20200396465A1 (zh)
EP (1) EP3788787A1 (zh)
JP (3) JP7104186B2 (zh)
KR (1) KR20210016581A (zh)
CN (11) CN110572669B (zh)
GB (4) GB2588004B (zh)
TW (8) TWI736902B (zh)
WO (8) WO2019234600A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
TWI723430B (zh) 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
MX2021000615A (es) * 2018-07-17 2021-07-02 Huawei Tech Co Ltd Señalización de modelos de movimiento.
TW202017377A (zh) 2018-09-08 2020-05-01 大陸商北京字節跳動網絡技術有限公司 視頻編碼和解碼中的仿射模式
WO2020054591A1 (ja) * 2018-09-14 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
EP3827586A1 (en) 2018-09-19 2021-06-02 Beijing Bytedance Network Technology Co. Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
CN110944181B (zh) 2018-09-23 2023-03-10 北京字节跳动网络技术有限公司 仿射模型的多个假设
TWI822862B (zh) 2018-09-23 2023-11-21 大陸商北京字節跳動網絡技術有限公司 8參數仿射模型
CN110944189B (zh) 2018-09-23 2023-11-28 北京字节跳动网络技术有限公司 从仿射运动预测的非仿射块
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
US11317099B2 (en) 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
CN111083487B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 仿射模式的运动信息的存储
EP3788779A4 (en) * 2018-10-23 2022-03-02 Tencent America LLC VIDEO CODING METHOD AND APPARATUS
CN116886926A (zh) 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN113261293B (zh) 2018-11-13 2023-11-03 北京字节跳动网络技术有限公司 用于帧内块复制的基于历史的运动候选列表构建
CN113170192B (zh) 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
CN113039800B (zh) 2018-11-16 2024-05-10 北京字节跳动网络技术有限公司 用于基于历史的仿射参数的修剪方法
WO2020098811A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Generalized bi directional prediction mode in video processing
WO2020112620A2 (en) * 2018-11-29 2020-06-04 Interdigital Vc Holdings, Inc. Motion vector predictor candidates ordering in merge list
CN113196772A (zh) 2018-11-29 2021-07-30 北京字节跳动网络技术有限公司 块内拷贝模式和基于子块的运动矢量预测模式之间的交互
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
WO2020114404A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Pruning method in different prediction mode
CN113196773B (zh) 2018-12-21 2024-03-08 北京字节跳动网络技术有限公司 具有运动矢量差的Merge模式中的运动矢量精度
EP3895429A4 (en) 2019-01-31 2022-08-10 Beijing Bytedance Network Technology Co., Ltd. CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE
MX2021008963A (es) 2019-02-02 2021-08-24 Beijing Bytedance Network Tech Co Ltd Manejo de bufer para copia intra-bloque en codificacion de video.
WO2020156541A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
CN113647109A (zh) 2019-02-17 2021-11-12 北京字节跳动网络技术有限公司 帧内块复制(ibc)模式和非ibc帧间模式的运动候选列表构建
CN113491125A (zh) 2019-02-22 2021-10-08 北京字节跳动网络技术有限公司 基于历史的仿射模式子表
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
JP7284284B2 (ja) 2019-03-04 2023-05-30 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーの実装形態の態様
KR20230165888A (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
WO2020211867A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
JP7319386B2 (ja) 2019-04-19 2023-08-01 北京字節跳動網絡技術有限公司 異なる動きベクトル微調整における勾配計算
CN117294841A (zh) 2019-07-06 2023-12-26 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
KR102635519B1 (ko) 2019-07-10 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 샘플 식별
KR20220030957A (ko) 2019-07-11 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 비트스트림 적합 제약
CN114208186B (zh) 2019-07-25 2023-12-22 北京字节跳动网络技术有限公司 帧内块复制虚拟缓冲区的尺寸限制
EP3991423A4 (en) 2019-07-25 2022-09-07 Beijing Bytedance Network Technology Co., Ltd. MAPPING RESTRICTION FOR INTRABLOC COPY VIRTUAL BUFFER
CN117579825A (zh) 2019-09-05 2024-02-20 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
JP7323709B2 (ja) 2019-09-09 2023-08-08 北京字節跳動網絡技術有限公司 イントラブロックコピーの符号化および復号化
JP7307274B2 (ja) 2019-09-23 2023-07-11 北京字節跳動網絡技術有限公司 仮想パイプラインデータユニットに基づいたイントラブロックコピー仮想バッファの設定
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新
KR20240027894A (ko) * 2020-04-08 2024-03-04 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 신택스 요소들의 시그널링을 위한 방법 및 장치
CN113709458B (zh) * 2020-05-22 2023-08-29 腾讯科技(深圳)有限公司 视频编解码中的位移矢量预测方法、装置及设备
KR20220112984A (ko) 2021-02-05 2022-08-12 주식회사 엘지에너지솔루션 이차전지용 테이프의 부착 방법
CN113038131B (zh) * 2021-03-15 2023-04-07 北京奇艺世纪科技有限公司 视频编码方法、装置、计算机设备和存储介质
EP4320860A1 (en) * 2021-04-09 2024-02-14 InterDigital CE Patent Holdings, SAS Intra block copy with template matching for video encoding and decoding
WO2023046127A1 (en) * 2021-09-25 2023-03-30 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023132615A1 (ko) * 2022-01-04 2023-07-13 현대자동차주식회사 쌍 머지 후보들을 생성하여 머지 후보 리스트를 구성하는 비디오 부호화/복호화 방법 및 장치
WO2024081629A1 (en) * 2022-10-10 2024-04-18 Tencent America LLC Method and apparatus for extended decoder side motion vector refinement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615765A (zh) * 2015-06-03 2018-01-19 联发科技股份有限公司 视频编解码系统中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置
WO2018097692A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (230)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08186825A (ja) 1994-12-28 1996-07-16 Nippon Hoso Kyokai <Nhk> 動きベクトル検出方法
DE60024389T2 (de) 1999-04-26 2006-08-03 Koninklijke Philips Electronics N.V. Subpixelgenaue bewegungsvektorschätzung und bewegungskompensierte interpolation
WO2004013810A1 (en) 2002-07-31 2004-02-12 Koninklijke Philips Electronics N.V. System and method for segmenting
BRPI0307197B1 (pt) 2002-11-25 2018-06-19 Godo Kaisha Ip Bridge 1 Método de compensação de movimento, método de codificação de imagem e método de decodificação de imagem
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
CN100344163C (zh) 2004-06-16 2007-10-17 华为技术有限公司 视频编解码处理方法
CN1777283A (zh) 2004-12-31 2006-05-24 上海广电(集团)有限公司 一种基于微块的视频信号编/解码方法
US8954943B2 (en) 2006-01-26 2015-02-10 International Business Machines Corporation Analyze and reduce number of data reordering operations in SIMD code
JP4826315B2 (ja) 2006-03-31 2011-11-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
WO2009080133A1 (en) * 2007-12-21 2009-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive intra mode selection
CN101605255B (zh) * 2008-06-12 2011-05-04 华为技术有限公司 一种视频编解码的方法及装置
US20110002386A1 (en) 2009-07-06 2011-01-06 Mediatek Singapore Pte. Ltd. Video encoder and method for performing intra-prediction and video data compression
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
JP2011147049A (ja) 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011095260A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Managing predicted motion vector candidates
KR101630688B1 (ko) 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
CN101895751B (zh) * 2010-07-06 2012-02-08 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
WO2012045225A1 (en) 2010-10-06 2012-04-12 Intel Corporation System and method for low complexity motion vector derivation
CN102685479A (zh) 2011-03-11 2012-09-19 华为技术有限公司 视频编解码处理方法和装置
ES2770437T3 (es) 2011-03-21 2020-07-01 Lg Electronics Inc Método para seleccionar un predictor de vector de movimiento y un dispositivo que lo utiliza
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
KR101539312B1 (ko) 2011-05-27 2015-07-24 미디어텍 인크. 비디오 프로세싱에 대한 라인 버퍼 감소를 위한 방법 및 장치
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
GB201113527D0 (en) 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
MX351933B (es) 2011-08-29 2017-11-01 Ibex Pt Holdings Co Ltd Método para generar un bloque de predicción en modo de predicción de vector de movimiento avanzada (amvp).
CN103891291A (zh) 2011-08-30 2014-06-25 诺基亚公司 用于视频编码和解码的设备、方法和计算机程序
MX337446B (es) * 2011-09-29 2016-03-07 Sharp Kk Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y dispositivo de codificacion de imagenes.
JP5768662B2 (ja) 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP2013098933A (ja) 2011-11-04 2013-05-20 Sony Corp 画像処理装置および方法
CN107959852A (zh) 2011-11-08 2018-04-24 株式会社Kt 对视频信号进行解码的方法
KR102332492B1 (ko) * 2011-11-11 2021-12-01 엘지전자 주식회사 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
JP5895469B2 (ja) 2011-11-18 2016-03-30 富士通株式会社 動画像符号化装置、および動画像復号装置
KR20130058524A (ko) 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
JP6101709B2 (ja) 2012-01-18 2017-03-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 映像復号化装置
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
CN104221376B (zh) 2012-04-12 2017-08-29 寰发股份有限公司 在视频编码系统中处理视频数据的方法和装置
EP2847996B1 (en) * 2012-05-09 2020-10-07 Sun Patent Trust Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
US20130329007A1 (en) 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
MX346561B (es) 2012-07-02 2017-03-24 Samsung Electronics Co Ltd Metodo y aparato para predecir un vector de movimiento para la codificacion de video o decodificacion de video.
AU2013308719B2 (en) 2012-08-29 2015-12-24 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US9491461B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
WO2014047893A1 (en) 2012-09-28 2014-04-03 Intel Corporation Inter-layer pixel sample prediction
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US9615089B2 (en) * 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
US9294777B2 (en) 2012-12-30 2016-03-22 Qualcomm Incorporated Progressive refinement with temporal scalability support in video coding
US9674542B2 (en) 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
US20140254678A1 (en) 2013-03-11 2014-09-11 Aleksandar Beric Motion estimation using hierarchical phase plane correlation and block matching
US9521425B2 (en) 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9491460B2 (en) 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
WO2014166116A1 (en) 2013-04-12 2014-10-16 Mediatek Inc. Direct simplified depth coding
US10045014B2 (en) 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
US9628795B2 (en) 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
WO2015006967A1 (en) 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
WO2015010319A1 (zh) 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
CN104488271B (zh) 2013-07-26 2019-05-07 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN103561263B (zh) * 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
JP6441236B2 (ja) 2013-12-19 2018-12-19 シャープ株式会社 画像復号装置及び画像符号化装置
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
CN105917650B (zh) * 2014-01-03 2019-12-24 微软技术许可有限责任公司 视频和图像编/解码的方法、计算设备及计算机可读介质
WO2015109598A1 (en) 2014-01-27 2015-07-30 Mediatek Singapore Pte. Ltd. Methods for motion parameter hole filling
US10257531B2 (en) 2014-03-19 2019-04-09 Kt Corporation Method and apparatus for processing multiview video signals based on illumination compensation and inter-view motion candidate
KR101863487B1 (ko) 2014-05-06 2018-05-31 에이치에프아이 이노베이션 인크. 인트라 블록 카피 모드 부호화를 위한 블록 벡터 예측 방법
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US20150373362A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Deblocking filter design for intra block copy
EP3158734A4 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
US20150373350A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN105282558B (zh) * 2014-07-18 2018-06-15 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US10027981B2 (en) 2014-09-01 2018-07-17 Hfi Innovation Inc. Method of intra picture block copy for screen content and video coding
EP3175618A1 (en) 2014-09-11 2017-06-07 Euclid Discoveries, LLC Perceptual optimization for model-based video encoding
WO2016048834A1 (en) * 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
JP6837965B2 (ja) * 2014-10-31 2021-03-03 サムスン エレクトロニクス カンパニー リミテッド 符号化装置及び復号装置
SG11201703454XA (en) 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
CN107431817B (zh) 2015-01-29 2020-03-24 Vid拓展公司 用于调色板译码的方法及装置
JP2018050091A (ja) 2015-02-02 2018-03-29 シャープ株式会社 画像復号装置、画像符号化装置および予測ベクトル導出装置
US10171828B2 (en) * 2015-02-27 2019-01-01 Arris Enterprises Llc Modification of unification of intra block copy and inter signaling related syntax and semantics
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
WO2016173519A1 (en) 2015-04-29 2016-11-03 Hfi Innovation Inc. Method and apparatus for intra block copy reference list construction
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
EP3304907B1 (en) * 2015-06-08 2022-03-23 VID SCALE, Inc. Intra block copy mode for screen content coding
GB2539213A (en) * 2015-06-08 2016-12-14 Canon Kk Schemes for handling an AMVP flag when implementing intra block copy coding mode
US10148977B2 (en) * 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
CN107852490B (zh) * 2015-07-27 2021-01-26 联发科技股份有限公司 一种视频编解码方法及系统
US10728571B2 (en) * 2015-08-04 2020-07-28 Lg Electronics Inc. Inter prediction method and device in video coding system
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
CN114866770A (zh) 2015-08-07 2022-08-05 Lg 电子株式会社 视频编译系统中的帧间预测方法和装置
US10467735B2 (en) 2015-08-25 2019-11-05 Interdigital Vc Holdings, Inc. Inverse tone mapping based on luminance zones
US20180249172A1 (en) 2015-09-02 2018-08-30 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
WO2017041271A1 (en) 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN108965871B (zh) 2015-09-29 2023-11-10 华为技术有限公司 图像预测的方法及装置
WO2017076221A1 (en) 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
CN105306944B (zh) 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
US20190028731A1 (en) 2016-01-07 2019-01-24 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
CN105678808A (zh) 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
US9955186B2 (en) 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
US10798403B2 (en) 2016-01-29 2020-10-06 Sharp Kabushiki Kaisha Prediction image generation device, video decoding device, and video coding device
EP4138392A1 (en) * 2016-02-05 2023-02-22 HFI Innovation Inc. Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
US10368083B2 (en) 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
EP3417618A4 (en) 2016-02-17 2019-07-24 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES
EP3417617A4 (en) 2016-02-17 2019-02-27 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES
WO2017143467A1 (en) 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
WO2017156669A1 (en) 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
WO2017157281A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of pattern-based motion vector derivation for video coding
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
CN109417620B (zh) 2016-03-25 2021-04-27 松下知识产权经营株式会社 用于使用信号依赖型自适应量化将运动图像编码及解码的方法及装置
US11095898B2 (en) 2016-03-28 2021-08-17 Lg Electronics Inc. Inter-prediction mode based image processing method, and apparatus therefor
CN116546205A (zh) 2016-04-08 2023-08-04 韩国电子通信研究院 用于导出运动预测信息的方法和装置
US10462459B2 (en) 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
KR20180132756A (ko) 2016-04-28 2018-12-12 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20190015216A (ko) 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
US20170332000A1 (en) 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
WO2017194756A1 (en) 2016-05-12 2017-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for coding and decoding motion vectors
CN109792535B (zh) 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
EP4060992A1 (en) 2016-05-13 2022-09-21 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2017201141A1 (en) * 2016-05-17 2017-11-23 Arris Enterprises Llc Template matching for jvet intra prediction
US20170339405A1 (en) * 2016-05-20 2017-11-23 Arris Enterprises Llc System and method for intra coding
US20200322599A1 (en) * 2016-05-28 2020-10-08 Mediatek Inc. Method and apparatus of current picture referencing for video coding using affine motion compensation
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
KR102191846B1 (ko) 2016-08-15 2020-12-17 노키아 테크놀로지스 오와이 비디오 인코딩 및 디코딩
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
EP3522537A1 (en) * 2016-09-12 2019-08-07 Sony Corporation Image processing device and image processing method
WO2018049594A1 (en) 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
CA3037685C (en) 2016-09-20 2023-03-28 Bae Keun Lee Method and apparatus for processing video signal
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
WO2018066241A1 (en) 2016-10-03 2018-04-12 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
EP3301919A1 (en) 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
JP2019535202A (ja) 2016-10-06 2019-12-05 エルジー エレクトロニクス インコーポレイティド インター予測モードベースの画像処理方法及びそのための装置
CN109804630A (zh) 2016-10-10 2019-05-24 夏普株式会社 对视频数据编码执行运动补偿的系统以及方法
WO2018070713A1 (ko) 2016-10-11 2018-04-19 엘지전자(주) 크로마 성분에 대한 인트라 예측 모드를 유도하는 방법 및 장치
WO2018070632A1 (ko) 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US20180109810A1 (en) * 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
JP7044778B2 (ja) 2016-11-28 2022-03-30 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読記録媒体
WO2018110203A1 (ja) 2016-12-16 2018-06-21 シャープ株式会社 動画像復号装置、および動画像符号化装置
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
CN110140355B (zh) 2016-12-27 2022-03-08 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US10873744B2 (en) 2017-01-03 2020-12-22 Lg Electronics Inc. Method and device for processing video signal by means of affine prediction
WO2018128380A1 (ko) 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US20200084441A1 (en) 2017-03-22 2020-03-12 Electronics And Telecommunications Research Institute Prediction method and device using reference block
US10701391B2 (en) 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
US10440396B2 (en) 2017-03-28 2019-10-08 Qualcomm Incorporated Filter information sharing among color components
US10542264B2 (en) 2017-04-04 2020-01-21 Arris Enterprises Llc Memory reduction implementation for weighted angular prediction
US10873760B2 (en) 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
US20180310017A1 (en) 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
US10805630B2 (en) 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US20180332298A1 (en) 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
WO2018212578A1 (ko) 2017-05-17 2018-11-22 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3637772A4 (en) 2017-06-09 2020-12-09 Electronics and Telecommunications Research Institute VIDEO ENCODING / DECODING METHOD AND DEVICE AND RECORDING MEDIUM FOR STORING BITSTREAM
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
US11245921B2 (en) 2017-06-26 2022-02-08 Interdigital Vc Holdings, Inc. Multiple predictor candidates for motion compensation
WO2019004283A1 (ja) 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
US11172203B2 (en) 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
US10880573B2 (en) 2017-08-15 2020-12-29 Google Llc Dynamic motion vector referencing for video coding
US20200221077A1 (en) 2017-09-05 2020-07-09 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor
JP2021005741A (ja) 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
KR101984687B1 (ko) 2017-09-21 2019-05-31 한국해양과학기술원 선박 충돌 회피용 부유식 해양구조물의 계류삭 장치 및 이의 운용방법과 설치방법
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US11368676B2 (en) 2018-01-16 2022-06-21 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US10687071B2 (en) 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
CN112042199A (zh) * 2018-02-14 2020-12-04 华为技术有限公司 自适应插值滤波器
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US10708592B2 (en) 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
US20190320181A1 (en) 2018-04-17 2019-10-17 Qualcomm Incorporated Generation of motion vector predictors from multiple neighboring blocks in video coding
US10779002B2 (en) 2018-04-17 2020-09-15 Qualcomm Incorporated Limitation of the MVP derivation based on decoder-side motion vector derivation
US20190364295A1 (en) 2018-05-25 2019-11-28 Tencent America LLC Method and apparatus for video coding
US10986340B2 (en) * 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
US11109025B2 (en) 2018-06-04 2021-08-31 Tencent America LLC Method and apparatus for sub-block based temporal motion vector prediction
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
WO2019234676A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Mv precision refine
US11303923B2 (en) 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
TWI723430B (zh) 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
CN110662032B (zh) 2018-06-29 2022-09-20 北京字节跳动网络技术有限公司 视频处理方法、装置以及非暂时性计算机可读记录介质
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US11606575B2 (en) 2018-07-10 2023-03-14 Qualcomm Incorporated Multiple history based non-adjacent MVPs for wavefront processing of video coding
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
CN110809155B (zh) 2018-08-04 2023-01-31 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
US11336914B2 (en) 2018-08-16 2022-05-17 Qualcomm Incorporated History-based candidate list with classification
EP3827586A1 (en) 2018-09-19 2021-06-02 Beijing Bytedance Network Technology Co. Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11212550B2 (en) 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
KR102616766B1 (ko) 2018-09-22 2023-12-27 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
KR20230161543A (ko) 2018-09-23 2023-11-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
US11146800B2 (en) 2018-09-24 2021-10-12 Tencent America LLC Low latency local illumination compensation
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US11284066B2 (en) 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
WO2020084460A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation in the presence of multi-hypothesis prediction
US11032541B2 (en) 2018-10-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
CN112956197A (zh) 2018-10-22 2021-06-11 北京字节跳动网络技术有限公司 基于编解码信息的解码器侧运动矢量推导的限制
CN111357291A (zh) 2018-10-23 2020-06-30 北京字节跳动网络技术有限公司 从相邻块推导运动信息
JP7277579B2 (ja) 2018-11-02 2023-05-19 北京字節跳動網絡技術有限公司 Hmvp候補記憶装置のための表の保守
JP7231727B2 (ja) 2018-11-05 2023-03-01 北京字節跳動網絡技術有限公司 精緻化を伴うインター予測のための補間
CN116886926A (zh) 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
WO2020103934A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Construction method for inter prediction with geometry partition
US11394989B2 (en) 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
US11032574B2 (en) 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
US11115653B2 (en) 2019-02-22 2021-09-07 Mediatek Inc. Intra block copy merge list simplification
WO2020185429A1 (en) 2019-03-11 2020-09-17 Alibaba Group Holding Limited Method, device, and system for determining prediction weight for merge mode
JP7244646B2 (ja) 2019-03-12 2023-03-22 テンセント・アメリカ・エルエルシー ビデオ符号化又は復号の方法及び装置並びにコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615765A (zh) * 2015-06-03 2018-01-19 联发科技股份有限公司 视频编解码系统中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置
WO2018097692A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
US11202081B2 (en) 2021-12-14
US20200404260A1 (en) 2020-12-24
TW202005390A (zh) 2020-01-16
WO2019234636A1 (en) 2019-12-12
GB2588003A (en) 2021-04-14
CN110572646A (zh) 2019-12-13
CN110572670A (zh) 2019-12-13
US20200396465A1 (en) 2020-12-17
TWI715993B (zh) 2021-01-11
CN110572647A (zh) 2019-12-13
GB202018254D0 (en) 2021-01-06
US11973962B2 (en) 2024-04-30
CN110572671A (zh) 2019-12-13
GB2588023A (en) 2021-04-14
JP2021525497A (ja) 2021-09-24
TWI725445B (zh) 2021-04-21
CN110572668A (zh) 2019-12-13
CN110572658B (zh) 2022-08-12
GB2588317B (en) 2023-05-17
CN114666605A (zh) 2022-06-24
US20200404255A1 (en) 2020-12-24
GB202018447D0 (en) 2021-01-06
EP3788787A1 (en) 2021-03-10
GB2588317A (en) 2021-04-21
TWI750477B (zh) 2021-12-21
TWI708504B (zh) 2020-10-21
US20220078452A1 (en) 2022-03-10
US11831884B2 (en) 2023-11-28
GB202018465D0 (en) 2021-01-06
WO2019234639A1 (en) 2019-12-12
CN110572646B (zh) 2022-12-13
JP7104186B2 (ja) 2022-07-20
JP7361845B2 (ja) 2023-10-16
US20200413048A1 (en) 2020-12-31
US20220217363A1 (en) 2022-07-07
CN110572648A (zh) 2019-12-13
TW202013977A (zh) 2020-04-01
US20210203958A1 (en) 2021-07-01
GB2588004B (en) 2023-03-01
TW202013978A (zh) 2020-04-01
CN110572658A (zh) 2019-12-13
WO2019234606A1 (en) 2019-12-12
US20210392341A1 (en) 2021-12-16
TWI704802B (zh) 2020-09-11
TW202005394A (zh) 2020-01-16
TWI736902B (zh) 2021-08-21
WO2019234598A1 (en) 2019-12-12
US11523123B2 (en) 2022-12-06
CN110572670B (zh) 2022-05-20
GB2588023B (en) 2023-04-12
TW202002643A (zh) 2020-01-01
TWI708503B (zh) 2020-10-21
JP2022132346A (ja) 2022-09-08
WO2019234600A1 (en) 2019-12-12
TWI740155B (zh) 2021-09-21
CN115442612A (zh) 2022-12-06
US11509915B2 (en) 2022-11-22
TW202002644A (zh) 2020-01-01
CN115529458A (zh) 2022-12-27
WO2019234609A1 (en) 2019-12-12
CN110572669B (zh) 2022-06-21
JP2023175898A (ja) 2023-12-12
CN110572669A (zh) 2019-12-13
KR20210016581A (ko) 2021-02-16
WO2019234638A1 (en) 2019-12-12
GB2588003B (en) 2023-04-19
GB202018255D0 (en) 2021-01-06
TW202005391A (zh) 2020-01-16
US20240121410A1 (en) 2024-04-11
GB2588004A (en) 2021-04-14
TW202005396A (zh) 2020-01-16
CN110572671B (zh) 2022-11-25
US20210006780A1 (en) 2021-01-07
CN110572647B (zh) 2022-07-29
WO2019234607A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110572648B (zh) 帧内块复制与帧间编码工具的交互

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant