CN113728632A - 视频编码、解码方法及系统 - Google Patents

视频编码、解码方法及系统 Download PDF

Info

Publication number
CN113728632A
CN113728632A CN202180002979.4A CN202180002979A CN113728632A CN 113728632 A CN113728632 A CN 113728632A CN 202180002979 A CN202180002979 A CN 202180002979A CN 113728632 A CN113728632 A CN 113728632A
Authority
CN
China
Prior art keywords
row
adjacent
column
intra prediction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180002979.4A
Other languages
English (en)
Inventor
赵亮
赵欣
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113728632A publication Critical patent/CN113728632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

一种视频解码方法，包括：获取包括一个视频信号中的多个编码帧的比特流；将所述多个编码帧解码为多个超级块，并将所述多个超级块解码为多个残差块；基于多参考行帧内预测标志和每一个编码帧中的参考样本，将所述多个残差块中的每个恢复为编码块，其中，多个参考行被分为上方参考行和左侧参考列，且选取一行上方参考行和一列左侧参考列用于帧内预测；通过在帧缓冲器中存储所述多个残差块中的每个的恢复编码块，重建所述视频信号中的每一帧；以及连续输出所述重建的帧以恢复所述视频信号。

Description

视频编码、解码方法及系统
相关申请的交叉引用
本申请要求于2020年11月22日提交、申请号为17/077,872的美国非临时专利申请的优先权，该美国非临时专利申请要求于2020年1月23日提交、申请号为62/964,992的美国临时专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及视频编码技术领域，具体涉及一种视频编码、解码的方法和系统。
背景技术
开放媒体联盟视频1(AV1)是一种开放的视频编码格式，适于通过互联网进行视频传输，它由开放媒体联盟(AOMedia)开发并作为VP9的下一代产品被发展，开放媒体联盟建立于2015年，包括半导体公司、视频点播供应商、视频内容制作者、软件开发公司以及网络浏览器供应商。以VP9的代码库为基础，AV1还结合了其他技术，其中一些技术是在实验格式中开发的。AV1参考编解码器的第一个版本0.1.0于2016年4月7日公开。该联盟于2018年6月25日发布AV1比特流规范，以及基于软件的参考编码器、参考解码器。2018年6月25日，发布了该AV1比特流规范的验证版本1.0.0。2019年1月8日，发布了该规范验证版本1.0.0及其勘误表1。该AV1比特流规范包括参考视频编解码器。
国际电信联盟标准化部门的视频编码专家组(ITU-T VCEG)(Q6/16)和国际标准化组织的活动图像编码专家组(ISO/IEC MPEG)(JTC 1/SC 29/WG 11)分别于2013年发布了第一版H.265/HEVC(高效视频编码)标准，2014年发布了第二版，2015年发布了第三版，2016年发布了第四版。2015年，这两个标准组织合并成联合视频开发队(Joint VideoExploration Team,JVET)以开发超越HEVC的下一代的视频编码标准的可能性。2017年11月，他们发布了联合令，以寻求视频压缩能力超过HEVC(CfP)的联合提案(Joint Call forProposals,简称CfP)。截止2018年2月15日，共分别收到22条关于标准动态范围(standarddynamic range，简称SDR)的CfP反馈、12条关于高动态范围(high dynamic range，简称HDR)的CfP响应以及12条关于360视频分类的CfP反馈。2018年4月，在122MPEG/10th JVET会议上，对全部收到的CfP反馈进行了评估。作为此次会议的成果，JVET正式踏上超越HEVC的下一代视频编码标准化进程。新标准被命名为多功能视频编码(Versatile Video Coding，简称VVC)，JVET被重新命名为联合视频专家组。
多参考行预测(Multiple reference line prediction，简称MRLP)应用于上述两种视频编码标准的视频编码方案。该MRLP的结果存储在行缓冲器中。行缓冲器是用于图像/视频处理电路的典型且主要的片上存储器设计架构。由于行缓冲器通常占用非常大的片上电路面积，因此通过高效的架构设计降低其硬件成本显得非常重要。对于MRLP，可能会使用多于一条(例如4条)的参考行用于帧内预测，这增加了行缓冲器的大小，占用大量的片上电路面积。
本公开的方法和系统旨在解决一个或多个上述问题和其他问题。
发明内容
本公开的一个方面提供了一种视频解码方法，所述方法包括：获取一个比特流，所述比特流包括一个视频信号中的多个编码帧；将每一个所述多个编码帧解码为多个超级块，并将每一个所述多个超级块解码为多个残差块；基于多参考行帧内预测(MRLP)标志和每一个所述多个编码帧中包含的多个参考样本，将每一个所述多个残差块恢复为一个编码块(coded block，CB)，其中，多个参考行被分为上方参考行和左侧参考列，选取其中一行上方参考行和一列左侧参考列进行帧内预测；通过在一个帧缓冲器中存储每一个所述多个残差块的所述恢复的编码块，重建所述视频信号的每一帧；以及连续输出所述重建的帧以恢复所述视频信号。
本公开的另一个方面提供一种视频编码方法，所述方法包括：获取视频输入的当前帧；根据嵌套的多类型树编码块结构，将所述获取的当前帧划分为一系列超级块，并将每一个所述超级块划分为多个编码块(CBs)；通过多参考行帧内预测获取每一个编码块的残差块，将多参考行帧内预测标志和被选取进行帧内预测的参考行的参考样本存储在行缓冲器中，其中，多个参考行被分为上方参考行和左侧参考列，选取其中一行上方参考行和一列左侧参考列进行帧内预测，以最小化行缓冲器的大小；以及通过所述当前帧的每一个编码块的所述残差块对所述当前帧进行编码，以产生包括每一个编码块残差块的比特流。
根据本公开的描述、权利要求以及附图，本领域技术人员可以理解本公开的其他方面。
附图说明
图1示出了本公开一实施例的操作环境示意图；
图2示出了本公开一实施例的电子设备示意图；
图3示出了本公开一实施例的计算机系统示意图；
图4示出了本公开一实施例的视频编码器示意图；
图5示出了本公开一实施例的视频解码器示意图；
图6示出了本公开实施例的一示例性视频编码方法示意图；
图7示出了本公开实施例的一示例性视频解码方法示意图；
图8示出了本公开一实施例的四个多类型树划分模式示意图；
图9示出了本公开实施例的示例性编码树结构中的分区信息的信令机制的示意图；
图10示出了本公开实施例的一个示例性编码树结构示意图；
图11示出了本公开实施例的另一个示例性编码树结构示意图；
图12示出了本公开实施例的又一个示例性编码树结构示意图；
图13示出了本公开实施例的帧内预测模式的8个标称角度示意图；
图14示出了本公开一实施例的PAETH模式的顶部、左侧和左上位置示意图；
图15示出了本公开一实施例的递归帧内滤波模式示意图；
图16示出了本公开一实施例的4条参考行示意图；
图17示出了本公开一实施例的上方参考行和左侧参考列的示意图；
图18示出了本公开一实施例的选择上方参考行0和左侧参考列0用于帧内预测的示意图；
图19示出了本公开一实施例的选择上方参考行0和左侧参考列1用于帧内预测的示意图；
图20示出了本公开一实施例的选择上方参考行0和左侧参考列2用于帧内预测的示意图；
图21示出了本公开一实施例的选择上方参考行0和左侧参考列3用于帧内预测的示意图；
图22示出了本公开一实施例的在角度帧内预测的方向上将不相邻的上方参考行的参考样本的整数位置投影到相邻的上方参考行的示意图。
具体实施方式
下面结合附图对本发明实施例中的技术方案进行描述。在可能的情况下，在整个附图中将使用相同的附图标记来表示相同或相似的部分。显然，所描述的实施例只是本发明的部分实施例而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。下面首先解释本公开中使用的某些术语。
通用视频编码(VVC):VVC是一种由联合视频勘探团队(JVET)开发以接替HEVC(也称为ITU-TH.265)的视频解码标准。VVC规定了一种具有压缩能力的视频编码技术，该压缩能力实质上超过了前几代此类标准的压缩能力，并且在更广泛的应用中具有高度有效通用性。VVC标准在此引入作为参考。
AO媒体视频1(AVI)：AVI是一种由开放媒体联盟(AO媒体)开发的开源视频编码标准，用于通过因特网进行视频传输。AVI标准在此引入作为参考。
允许的帧内预测模式(AIPM)：定义为一个模式集，其中的模式可以用于根据相邻块的帧内预测模式导出的当前块的帧内预测。
不允许的帧内预测模式(DIPM)：定义为一个模式集，其中的模式不可以用于信号发送或用于根据相邻块的帧内预测模式导出的当前块的帧内预测。
利用亮度分量预测色度分量(CfL)：CfL利用亮度和颜色信息之间的相关性、基于相同编码块的亮度分量的参考样本对色度分量进行帧内预测
多参考行帧内预测(MRLP)：MRLP在帧内预测中不仅使用最近的参考行，还使用远离当前编码块的多参考行。
编码树单元(CTU):CTU是HEVC和VVC标准的各种视频编码方案的基本处理单元。一个视频帧被划分为多个CTU，每个CTU又被进一步划分为各种更小的单元或块，以进行有效的视频编码。在AV1标准的视频编码方案中，相当于CTU的结构称为超级块。
上下文自适应二进制算术编码(CABAC)：CABAC是用于各种视频编码标准中的熵编码的形式。
通用视频编码测试模型(VTM):VTM提供VVC算法和测试程序的编码器侧描述。
增量比特率(BDR或BD-Rate)：BDR是通过测量视频信号的相同峰值信噪比(PSNR)的比特率变化来评估编码效率的方法。
图1示出了本公开的一些实施例的操作环境100。如图1所示，所述操作环境100可以包括具有视频功能的各种设备。例如，所述操作环境100可以包括终端设备102、相机设备104以及物联网设备(IoT)106。还可以包括其他类型的设备。
所述操作环境100还可以包括服务器122、人类视觉应用124、机器视觉应用126以及将各种设备连接到所述服务器122的通信链路140。用户130可以使用、访问或控制所述各种设备中的一个或多个。
所述终端设备102可以包括任何用户终端，例如个人数字助理(PDA)、移动电话、智能电话、集成信息设备(IMD)、平板计算机、笔记本计算机、台式计算机以及其他的计算设备。所述相机设备104可以包括任何图像或视频捕捉设备，例如数码相机、摄像机、安全相机、车载相机以及立体相机。所述物联网设备106可以包括任何类型的带有相机功能的物联网设备，例如数字门铃、自主驾驶传感器、数字语音助手、智能扬声器、智能应用以及任何工业或商业物联网系统。所述各种设备102、104以及106中的任意一种，在由移动的个人携带时可以是固定的或移动的；并且也可以作为运输方式的一部分或在运输方式其中，所述运输方式包括汽车、卡车、出租车、火车、轮船、飞机、自行车、摩托车或任何类似的合适的运输方式。
图2示出了用于实现所述任何各种设备102、104和/或106电子设备。如图2所示，所述电子设备200可以包括硬件处理器202、存储器204、读卡器206、显示器208、键盘210、射频(RF)接口212、基带214、天线216、编码器222、解码器224、相机226、扬声器232以及麦克风234等。图2所示的所述部件是示例性的，可以省略某些部件，也可以增加其他部件。
所述处理器202可以用来控制所述电子设备200。所述处理器202可以通过一个或多个总线或其他电连接与其他部件连接，以向所述其他部件发送数据并从其他部件处接收数据。所述处理器202可以包括一个或多个处理核，例如，4核处理器或8核处理器。所述处理器202可以通过使用数字信号处理(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)以及可编程逻辑阵列(PLA)中至少一种硬件形式实现。所述处理器202还可以包括主处理器和协处理器。所述主处理器可以是中央处理单元(CPU)，所述协处理器可以是被配置为显示和绘制显示屏需要显示的内容的图形处理单元(GPU)。在一些实施例中所述处理器202还可包括人工智能(AI)处理器，所述AI处理器被配置为用来处理与机器学习相关的计算操作。
所述存储器204可以包括一个或多个计算机可读存储介质，所例如高速随机存取存储器和非易失性存储器，例如，一个或多个磁盘存储设备或闪存设备。所述存储器204不仅可以以图像和音频数据的形式存储数据，还可以存储用于所述处理器202的指令。所述读卡器206可以包括任何类型的便携式卡接口，例如智能卡接口、通信卡接口(例如，近场通信(NFC)卡)、或用户标识模块(SIM)卡或其他用于提供用户信息并适用于为用户130验证及授权提供验证信息的卡接口。
进一步的，所述显示器208可以是适于显示图像或视频的任何合适的显示技术。例如，所述显示器208可以包括液晶显示(LCD)屏幕、有机发光二极管(OLED)屏幕等，并且可以是触摸屏。所述键盘210可以包括用于让用户130输入信息的物理或虚拟键盘，并且还可以包括其他类型的输入/输出设备。所述扬声器232和所述麦克风234可用于为所述电子设备200输入和输出音频。
所述RF接口212(连同天线216)可以包括用于接收和发送RF信号的RF电路。所述RF接口212可以将电信号转换为电磁信号进行传输或将获得的电磁信号转换为电信号进行接收。所述RF接口212可以通过至少一种无线通信协议与其他电子设备通信。所述无线通信协议可以包括城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网(LAN)和/或无线保真(WiFi)网络。在一些实施例中，所述RF接口212还可以包括与近场通信(NFC)相关的电路。所述基带214可以包括用于处理发送至或者来自所述RF接口212的信号的电路。
进一步的，所述相机226可以包括被配置为收集图像或视频的任何类型的成像或视频捕捉设备。当所述电子设备200为所述用户130携带的便携式设备时，所述相机226可以包括前置摄像头和后置摄像头。所述前置摄像头可以设置在所述电子设备的面板正面，所述后置摄像头设置在所述电子设备的面板背面。在一些实施例中，后置摄像头至少有两个，每个为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一个，以便通过融合所述主摄像头与所述景深摄像头实现背景虚化功能，以及通过融合所述主摄像头与所述广角摄像头实现全景拍摄、虚拟现实(VR)拍摄功能或其他融合拍摄功能。在一些实施例中，所述相机226还可包括闪光灯。
所述编码器222和所述解码器224可以称为所述电子设备的编解码电路，适于对音频和/或视频数据进行编码和解码，或者协助所述处理器202进行编码和解码。
如图2所示的电子设备200可以包括任何与无线通信系统的移动终端或用户设备的结构类似的结构。然而，也可以包括任何可能需要编码和解码、或者编码或解码视频或图像的电子设备或装置。
参考图1，所述电子设备200(即，所述各种设备102、104和/或106中的任何一个或多个)可以捕捉或收集各种数据(例如，音频数据、环境/操作数据、图像数据和/或视频数据)并通过所述通信链路140将数据发送到所述服务器122。所述电子设备200可以在将所述数据发送到所述服务器122之前处理或预处理所述数据，或者可以将所述未处理的数据发送到所述服务器122。
所述通信链路140可以包括任何适当类型的通信网络，并且可以包括任何有线或无线网络的组合，包括但不限于无线蜂窝电话网络、无线局域网(WLAN)、蓝牙个人区域网络、以太局域网、令牌环局域网、广域网以及因特网。所述通信链路140还可以包括用于语音/数据通信的私有或公共云计算平台。当包括因特网或其他类型的网络时，与因特网的连接方式可以包括远程无线连接、短程无线连接，以及各种有线连接，包括电话线、电缆线、电力线和类似的通信路径。
所述服务器122可以包括任何类型的服务器计算机系统或配置在服务器集群中或分布在不同位置的多个计算机系统。所述服务器122还可以包括云计算平台上的云服务器。图3示出了实现所述服务器122的某些方面的示例性的计算机系统。
如图3所示，所述计算机系统300可以包括处理器302、存储介质304、监视器306、通信模块308、数据库310以及外围设备312。可以省略某些设备并且可以包括其他设备。
所述处理器302可以包括任何合适的一个或多个处理器。此外，所述处理器302可以包括用于多线程或并行处理的多个核。存储介质304可以包括存储器模块，例如只读存储器(ROM)、随机存取存储器(RAM)、闪存模块、可擦写存储器和大容量存储器，例如CD-ROM、U盘和硬盘等。在由处理器302执行时，所述存储介质304可以存储用于实现各种操作的计算机程序。
进一步的，所述外围设备312可以包括I/O设备，例如键盘和鼠标。所述通信模块308可以包括用于通过所述通信网络建立连接的网络设备。所述数据库310可以包括一个或多个数据库，用于存储某些数据并对所述存储的数据执行某些操作，例如数据库搜索。
参考图2，所述编码器222可以是实现帧内模式编码方法的编码器。在这种情况下，也可以认为所述电子设备200实现了帧内模式编码的方法。也就是说，所述编码器222可以用所述电子设备200中的硬件电路实现，或者可以用所述电子设备200中的软件程序实现，或者用所述硬件电路和所述软件程序的组合实现。图4示出了本公开的公开实施例一示例性的视频编码器的示意图。
如图4所示，所述视频编码器400包括块划分单元410、减法单元420、预测单元430、变换/量化单元440、逆量化/逆变换单元450、加法单元460、环路滤波器470以及熵编码器480。输入视频被输入到所述视频编码器400中，并且作为响应，所述视频编码器400输出比特流。
所述输入视频包括多个图像帧。每个图像帧通过所述块划分单元410划分为一系列超级块或编码树单元(CTUs)。对于具有三个样本阵列的图像帧，超级块或CTU由NxN个亮度样本块以及两个对应的MxM个色度样本块组成。所述块划分单元410通过使用嵌套多类型树进一步将CTU划分成编码单元(CU)以适应各种局部特征，所述嵌套多类型树包括二元和三元划分结构且被表示为编码树。在所述编码树的叶CU水平上做出是否使用图像间(时间)或图像内(空间)预测对图像区域进行编码的决定。对所述叶CU进行预测处理得到残差块，对所述残差块进行变换，以CU为单位将相关信息传送给对应的解码器。通过应用所述预测过程获得残差块后，叶CU可以通过另一种树结构划分为变换单元(TUs)，以进行变换或不变换的残差编码。
所述预测单元430支持帧内预测、帧间预测以及帧间和帧内预测的组合。所述帧内预测也称为帧内模式编码。为了捕捉自然视频中呈现的任意边缘方向，除了平面(表面拟合)帧内预测模式和DC(平面)帧内预测模式外，所述预测单元430还支持65种方向(或角度)的帧内预测模式。所述预测单元430还支持基于动量参数的帧间预测样本的生成，所述动量参数包括运动矢量、参考图像索引以及参考图像列表使用索引的运动参数、以及视频编码特征所需的附加信息。所述预测单元430还支持跳跃模式，其中以跳跃模式编码的所述CU与一个PU相关联，并且没有显著的残差系数、编码的运动矢量变化或参考图像索引。所述预测单元430还支持合并模式，其中，从相邻的CUs获得所述当前CU的运动参数，包括空间候选和时间候选以及附加调度。所述合并模式不仅适用于所述跳跃模式，可以应用于任何帧间预测的CU。所述预测单元430还通过显式传输运动参数来支持合并模式的替代，其中，运动向量、每个参考图像列表的相应参考图像索引和参考图像列表使用标志以及其他需要的信息按每个CU显式地用信号发送。
所述减法单元420将所述CU和所述PU之间的差(或残差)输出至所述变换/量化单元440。
所述变换/量化单元440支持高达64x64的大块尺寸变换。对于大小等于64的变换块，高频变换系数被清零，从而只有低频系数被保留。当以所述跳跃模式变换大块时，所述变换/量化单元440使用整个块而不将任何值清零。所述变换/量化单元440还支持用于核变换的多变换选择(MTS)。为了控制所述MTS，所述变换/量化单元440在序列参数集(SPS)水平上分别使用单独的使能标志用于帧内和帧间预测。当在所述SPS水平上启用所述MTS时，会发出CU水平上标志以指示是否应用所述MTS。所述变换/量化单元440还支持在所述VVC和AV1标准下的视频编码方案中描述的其他变换特征，例如低频不可分离变换(LFNST)和子块变换(SBT)。
进一步的，所述变换/量化单元440支持最多63个量化参数(QPs)。所述变换/量化单元440还通过在所述SPS中用信号发送所述亮度到色度映射关系来支持灵活的亮度到色度QP的映射。所述变换/量化单元440还支持CU水平上的QP自适应，其中，亮度分量和色度分量的变化量QP值可以分别用信号发送。所述变换/量化单元440还支持在所述VVC和AV1标准下的视频方案中描述的其他量化特征，例如相关量化。
所述变换/量化单元440还支持色度残差的联合编码，其由TU水平上标志指示。
上下文自适应二进制算术编码(CABAC)可以被描述为所述熵编码算法。所述熵编码器480包括CABAC编码引擎以对所述变换/量化单元440输出的句法元素进行编码。所述CABAC编码引擎支持算术编码算法，例如Golomb-Rice编码算法。所述熵编码器480支持用于变换块和变换跳跃块的单独残差编码结构。所述熵编码器480通过使用非重叠系数组(CGs或子块)对所述编码块的变换系数进行编码，并且每个CG包含可变大小的编码块的变换系数。所述系数组的大小仅基于变换块的大小进行选择，与通道类型无关。所述CG的尺寸可以包括1x16、2x8、8x2、2x4、4x2以及16x1。每个编码块内的所述CG和每个CG内的所述变换系数根据预定义的扫描顺序进行编码。
变换单元中的每个编码块被划分成多个子块、且每个子块被划分成多个像素。所述多个子块包括4x4或2x2子块。
在所述算术编码算法中，根据局部邻域中先前编码信息为每个句法元素动态地选择概率模型。
所述逆量化/逆变换单元450执行所述变换/量化单元440执行的所述量化过程和所述变换过程的逆向过程，并且将输出传输至所述加法单元460以重构所述图像帧。所述加法单元460还将所述预测单元430的输出作为另一输入。重建的图像将被所述环路滤波器470滤波。所述环路滤波器470包括去区块效应滤波器、取样自适应偏移(SAO)滤波器和调适性循环滤波器(ALF)，它们按此顺序级联。所述环路滤波器470的输出被输入到所述预测单元430。
图5示出了本公开的一实施例的视频解码器示意图。如图5所示，所述视频解码器500包括熵解码器510、逆变换/逆量化单元520、加法单元530、预测单元540、环路滤波器550和帧缓冲器560。从图4所示的视频编码器400中输出的比特流被输入到所述视频解码器500，相应的，所述视频解码器500输出视频信号。所述输入的比特流在被输入至所述视频解码器500之前可以通过通信网络传输。
所述视频解码器500对所述输入的比特流执行视频解码过程以重构所述图像帧。所述视频解码过程是由所述视频编码器400执行的所述视频编码过程的逆向过程。具体地，所述熵解码器510对所述熵编码器480编码的比特流进行解码。所述逆变换/逆量化单元520执行由所述变换/量化单元执行的所述变换/量化过程的逆向过程以恢复所述残差块。所述加法单元530计算所述残差块以及由所述预测单元540预测的预测块以恢复所述编码块。所述环路滤波器550平滑所述恢复后的编码块。最后，所述编码块被存储到所述帧缓冲器560中以重构所述图像帧。
同时，所述预测单元540将所述解码后的编码块和所述输入的比特流中的各种标志作为输入来生成所述预测块。
本公开提供了一种视频编码方法。图6示出了本公开一实施例的示例性视频编码方法的流程示意图。如图6所示，所述视频编码方法包括获得视频输入的当前帧(在S610中)。所述当前帧可以根据嵌套多类型树编码块结构被划分为一系列超级块或编码树单元(CTUs)，每个超级块或CTU可以进一步划分成编码块(CBs)(在S620中)。
在HEVC和VVC标准的视频编码方案中，视频帧被划分为一系列CTUs。在所述HEVC标准下的视频编码方案中，利用编码树表示的四叉树结构将CTU划分为CUs，以适应各种局部特征。在所述CU水平上决定是否使用图像间(时间)或图像内(空间)预测来编码图像区域。每个CU可以根据所述PU划分类型进一步被划分为一个、两个或四个PU。在一个PU内部，应用相同的预测过程，并将所述相关信息以PU为基础传输给所述解码器。通过应用基于所述PU划分类型的所述预测过程获得所述残差块后，可以根据类似于所述CU的编码树的另一个四叉树结构将CU划分为TUs。所述HEVC结构的一个关键性特征是它具有多重分区概念，包括CU、PU以及TU。
在VVC标准的视频编码方案中，具有使用二元和三元划分分段结构的嵌套多类型树的四叉树代替了多分区单元类型的概念，即除非CU的尺寸大于VCC所支持的最大变换长度所需要，它消除了CU、PU和TU概念的区别并支持CU更灵活的分区形状。在所述编码树结构中，CU可以具有正方形或矩形形状。CTU首先由四叉树(又名四叉树)结构划分。然后可以利用多类型树结构进一步划分所述四叉树的叶节点。如图8所示，多类型树结构中有四种分裂类型，垂直二叉划分(SPLIT_BT_VER)、水平二叉划分(SPLIT_BT_HOR)、垂直三叉划分(SPLIT_TT_VER)和水平三叉划分(SPLIT_TT_HOR)。所述多类型树叶节点被称为CUs，除非所述CU对于最大变换长度来说太大，这种划分直接用于预测和变换处理，无需进一步划分。这意味着，在大多数情况下，所述CU、PU和TU在所述具有嵌套多类型树编码块结构的四叉树中具有相同的块大小。当支持的最大变换长度小于所述CU颜色分量的宽度或高度时，会发生异常。
图9示出了本公开一实施例的示例性编码树结构中的分区划分信息的信令机制示意图。CTU被视为四叉树的根，并首先由四叉树结构进行分区。每个四元树叶节点(当足够大以允许它的时候)由多类型树结构进一步划分。在所述多类型树结构中，用信号发送第一标志(多类型树划分编码单元标志)以指示所述节点是否被进一步分区。当节点被进一步划分时，用信号发送第二标志(多类型树垂直划分编码单元标志)以指示划分方向，然后用信号发送第三标志(多类型树二进制划分编码单元标志)以指示所述划分是二叉划分还是三叉划分。根据所述多类型树垂直划分编码单元标志和多类型树二进制划分编码单元标志的值，推导出CU的所述多类型树划分模式(MttSplitMode)，如表1所示。
表1-基于多类型树的句法元素的多类型树划分模式推导
Figure BDA0003312390150000131
Figure BDA0003312390150000141
图10示出了本公开一实施例的示例性编码树结构示意图。如图10所示，CTU可以被划分为具有四叉树和嵌套多类型树编码块结构的多个CUs，其中，加粗块边缘表示四叉树分区，其余边缘表示多类型树分区。所述具有嵌套多类型树分区的四叉树提供了由CUs组成的内容自适应编码树结构。所述CU的大小可以与CTU一样大，或以亮度样本为单位小至4×4。对于色度格式为4:2:0的情况，色度CB的最大尺寸为64×64，色度CB的最小尺寸为2×2。
在VVC标准的视频编码方案中，支持的亮度变换的最大尺寸为64×64，支持的色度变换的最大尺寸为32×32。当所述CB的宽度或高度大于最大变换宽度或高度时，所述CB在水平和/或垂直方向会自动划分以满足该方向的变换尺寸限制。
在VVC标准(例如，VTM7)的视频编码方案中，所述编码树方案支持所述亮度和所述色度具有单独的块树结构的能力。目前，对于条带P和B，一个CTU中的所述亮度和所述色度编码树块(CTBs)必须共享相同的编码树结构。但是，对于条带I，所述亮度和所述色度可以具有单独的块树结构。当应用单独的块树模式时，亮度CTB被另一种编码树结构划分为CUs，所述色度CTB被另一种编码树结构划分为色度CUs。这意味着条带I中的CU可以由亮度分量的编码块或两个色度分量的编码块组成，条带P或B中的CU，除非视频是单色，总是由全部三种颜色分量的编码块组成，。
类似地，在所述VP9标准下的视频编码方案中，视频帧被划分为一系列CTUs。如图11所示，使用4路分区树将CTUs从64x64水平划分为4x4水平，对块8x8有一些额外的限制。注意指定为R的分区指的是递归的，因为相同的分区树以更低的尺寸重复，直到我们达到最低的4x4水平。
类似地，在所述AV1标准下的视频编码方案中，视频帧被划分为一系列超级块。如图12所示，所述分区树扩展为10路结构。同时，最大尺寸(VP9/AV1术语中称为超级块)从128x128开始增加。注意这包括了VP9标准视频编码方案中不存在的4:1/1:4矩形分区。任何矩形分区都不可以进一步细分。除了编码块大小外，还定义了编码树深度来指示从根节点开始的划分深度。具体的，根节点的编码树深度，例如128x128，设置为0，当树块进一步分裂一次后，所述编码树深度增加1。
亮度编码块可以划分为不同大小的变换单元，这些变换单元可以通过向下递减2个水平的递归分区来表示，而不用强制执行固定大小的变换单元尺寸。为了合并扩展的编码块分区，支持从4x4到64x64的正方形2:1/1:2以及4:1/1:4转换大小。对于色度块，只允许最大可能的变换单元。
参考图6，在S630中，在当前帧被划分为一系列的CB之后，使用多参考行帧内预测(MRLP)获得每个CB的残差块和MRLP标志，并且被选作用于帧内预测的参考行的参考样本是存储在行缓冲器中。
对于每个块，基于相邻块的多参考行导出帧内预测模式。在基于所述AV1标准的所述视频编码方案中定义的所有可用的帧内预测模式的子集用所述多参考行的每个确定。所述所有可用的帧内预测模式的子集也称为允许帧内预测模式(AIPM)集。多条参考行中的每一条都由索引号标识。所述索引号是大于或等于零的整数。
在AV1标准的视频编码方案中，可用的帧内预测模式数量为62种，其中包括56种角度帧内预测模式、5种平滑模式和一种利用亮度分量预测色度分量的模式。当在帧内预测中应用多参考行并且多参考行包括所有帧内预测模式时，所述视频编码复杂度是相当大的。所述多参考行包括索引号为零的相邻参考行和一条或多条索引号大于零的非相邻参考行。需要限制每条参考行所允许的帧内预测模式的数量以降低所述视频编码复杂度。
MRLP可能有某些限制。对于窄块，MRLP可能被禁用。所述窄块的宽度为W，高度为H，并且abs(log2W-log2H)>1。对于小块，MRLP可能被禁用。小块的大小为8x8或更小。其他限制也可能适用。
在本公开实施例的视频编码方法中，采用MRLP来提高编码效率和压缩性能。基于编码效率和压缩性能由所述每一多参考行所确定的相应的帧内预测模式是所有所述可用帧内预测模式的子集，所述子集定义在各种编码标准的所述视频编码方案中。所述子集也称为AIPM集。AIPM集中包括的所述帧内预测模式由所述视频编码设备发出信号通知，例如图4中所示的视频编码器400。由于包含在AIPM集中的帧内预测模式的数量少于相应视频编码方案中定义的所有可用帧内预测模式的数量，所以需要更少的比特来通知包含在AIPM集中的帧内预测模式。进一步的，除了所述帧内预测模式之外，还可以在帧间预测模式中为每个块预测符号水平。
获得所述残差块后，对所述残差块进行变换和量化。所述残差块是当前CB和预测CB之间的差。
AV1标准的视频编码方案中的帧内预测模式包括56种角度(或定向)帧内预测模式、5种非角度平滑帧内预测模式、一种仅色度帧内预测模式和一些其他帧内预测模式。八种方向(或角度)模式对应于45°～207°的角度。为了利用定向纹理中更多种类的空间冗余，将定向帧内预测模式扩展到具有更细粒度的角度集。图13示出了本公开一实施例的帧内预测模式的8个标称角度。如图13所示，8个方向模式的角度略有变化，作为标称角度，这8个标称角度也称为标称内角，分别命名为V_PRED、H_PRED、D45_PRED、D135_PRED、D113_PRED、D157_PRED、D203_PRED和D67_PRED，对应90°、180°、45°、135°、113°、157°、203°和67°。每个标称角度扩展出7个更精细的角度。因此，总共定义了56个方向角(也称为内角或预测角)。每个预测角度由标称内角加上角度增量表示，即-3～3乘以3°的步长。为了通过通用方式实现定向帧内预测模式，所有所述56种定向帧内预测模式都使用统一的定向预测实现，所述预测将每个像素投影到参考子像素位置，并通过2抽头双线性滤波器对参考像素进行内插值。
所述帧内预测模式还包括5种无方向平滑帧内预测模式，分别是DC模式、PAETH模式、SMOOTH模式、SMOOTH_V模式和SMOOTH_H模式。对于所述DC模式，利用左侧和上方相邻样本的平均值作为待预测块的预测值。对于PAETH模式，首先获取上方、左侧和左上方参考样本，然后将最接近(上方+左侧-左上方)的值设置为待预测像素的预测值。图14示出了本公开一实施例的PAETH模式的上方、左侧和左上方位置。对于所述SMOOTH模式、所述SMOOTH_V模式以及所述SMOOTH_H模式，它们通过垂直或水平方向的二次插值或该两个方向的平均值来预测块。
为了捕捉在边缘上的参考的衰减空间相关性，为亮度块设计了FILTER INTRA模式。定义了五种滤波器内部模式。所述五种滤波器内部模式中的每一种都由一组八个7抽头滤波器表示，反映了4x2小块中的像素和7个相邻像素之间的相关性。换句话说，7抽头滤波器的权重因子与位置相关。图15示出了本公开一实施例的递归帧内滤波模式的示例。如图15所示，8x8的块被划分成8个4x2的补丁。这些补丁在图15中由B0、B1、B2、B3、B4、B5、B6和B7表示。对于每个补丁，用R0～R7表示的7个相邻的补丁来预测当前补丁中的所述像素。对于补丁B0，所有相邻的补丁都已经重建。但是对于其他补丁，并非所有相邻的补丁都被重建。所述相邻补丁的预测值用作参考。例如，补丁B7的所有相邻补丁没有被重建，因此使用所述相邻补丁(即B5和B6)的预测样本代替。
利用亮度分量预测色度分量(CfL)是仅色度帧内预测，其将色度像素建模为重合的重建亮度像素的线性函数。CfL预测表示如下：
CfL(α)＝α×LAC+DC
其中，LAC表示所述亮度分量的AC贡献，α表示线性模型的参数，DC表示所述色度分量的DC贡献。具体来说，就是将重建后的亮度像素二次采样到色度分辨率，再减去平均值，得到AC贡献。为了从所述AC贡献估计色度AC分量，CfL根据原始色度像素确定参数α，并在比特流中用信号表示它们，而不需要解码器计算缩放参数。这种方法降低了解码器的复杂性并能预测得更精确。至于色度分量的DC贡献，其使用帧内DC模式计算，其对于大部分色度内容来说已经足够了，并且有成熟且快速的方法实现。
所述MRLP使用多条参考行进行帧内预测，并且图4所示视频编码器400确定并用信号通知哪条参考行用于生成帧内预测。在所述帧内预测模式之前用信号通知所述参考行的索引号，并且尽在通知的参考行的索引号非零时，才允许最可能的模式(MPM)或其等效模式。图16示出了本公开一实施例的4条参考行的示意图。如图16所示，给出了4条参考行的实施例，其中每条参考行由六分区组成(图中只图示了4分区)，即A到F分区，连同所述左上方参考样本。此外，A和F分区分别被来自B和E分区的最接近的样本填充。
如图16所示，所述参考行的索引号随着所述参考行与当前CB距离增加而依次增加。紧邻所述当前块的参考行称为相邻参考行，其索引号为零，如图16中的参考行0。所述索引号大于零的参考行称为非相邻参考行。
参考到图6，在S640中，通过使用所述当前帧的每个CB的残差块来编码所述当前帧，以生成包括每个CB的编码残差块的比特流。对每个CB经由MRLP获得的残差块进行变换和量化。大尺寸块的变换包括高达64x64的尺寸。对于尺寸等于64的变换块，高频变换系数被清零，从而只保留低频系数。在变换跳跃模式下变换大尺寸块时，使用整个块而不清零任何值。进一步的，多变换选择(MTS)支持核变换。为了控制MTS，在系列参数集(SPS)水平上分别应用单独的启用标志进行帧内和帧间预测。当在SPS水平上启用MTS时，会发出CU水平标志信号以指示是否应用MTS。还可以支持其他变换特征，例如低频不可分离变换(LFNST)和子块变换(SBT)。
进一步的，变换和量化过程支持最多63个量化参数(QPs)。通过在SPS中用信号表示的亮度到色度的映射关系，也支持灵活的亮度到色度QP映射。对于CU级QP适配，其中亮度分量和色度分量的QP增量值可以分别用信号表示的也可以支持。其他量化特征，例如依赖相关量化，也可以支持。
进一步的，经过变换和量化的残余块被熵编码。所述熵编码算法可以是上下文自适应二进制算术编码(CABAC)。CABAC编码引擎可用于对由变换和量化过程输出的句法元素进行编码。所述CABAC编码引擎支持算术编码算法，例如Golomb-Rice编码算法。变换块和变换跳跃块可以支持单独的残差编码结构。编码块的变换系数可以通过使用不重叠的系数组(CG或子块)进行编码，并且每个CG包含可变大小的编码块的变换系数。系数组的大小仅由变换块大小选择，与通道类型无关。CGs的尺寸可以包括1x16、2x8、8x2、2x4、4x2和16x1。每个编码块内的CGs和每个CG内的变换系数根据预定义的扫描顺序进行编码。
进一步的，生成包括每个CB的熵编码残差块的比特流。作为熵编码的结果，生成包括每个CB的熵编码残差块的比特流。所述比特流可以被传输和/或存储。视频解码器可以根据本公开执行视频编码方法，以恢复原始视频。
因此，本公开提供了一种视频编码方法。所述方法在帧内预测中选择多参考行并确定多参考行帧内预测所选择的参考行的参考样本的值。所选参考行的参考样本的值存储在行缓冲器中。优化了参考行的选择和参考样本值的确定以减少行缓冲器的大小。因此，减少了专用于行缓冲器的片上电路面积以节省硬件成本。
根据本公开实施例，可以通过处理电路实现(例如，一个或多个处理器或一个或多个集成电路)编码器和解码器，其执行存储在非瞬态性计算机可读存储介质中的程序指令。
图17示出了本公开一实施例的上方参考行和左侧参考列的示例。如图17所示，多条参考行被进一步划分为上方参考行和左侧参考列。所述上方参考行以白色标记，上方参考行中的参考样本用B、C和D分区标记。所述左侧参考列以灰色标记，左侧参考列中参考样本以A分区标记。
当超级块的第一行位于当前CB内部，即当前CB位于所述超级块的上边界时，采用相邻上方参考行的参考样本(也称为上方参考行0)用于当前CB的帧内预测，而不采用非相邻上方参考行的参考样本用于当前CB的帧内预测。另一方面，相邻左侧参考列和非相邻左侧参考列的参考样本都可以用于当前CB的帧内预测。无论所述超级块的第一行是否位于当前CB内部，参考行的索引号以相同的信号表示。进一步的，参考行的索引号的信号表示取决于所述超级块的第一行是否位于当前CB内部。
在一个实施例中，当所述超级块的第一行位于当前CB内部时，相邻上方参考行和各种左侧参考列的组合可以形成各种用于当前CB帧内预测的参考样本。该组合信号由帧内预测所选的参考行的第二索引号表示。图18-21示出了本公开一实施例的选择上方参考行0和不同的左侧参考列用于帧内预测的示例。在一个示例中，相邻上方参考行和相邻左侧参考列的组合在图18中用对角纹理图案标记。在另一个示例中，相邻上方参考行和左侧参考列1的组合在图18中用对角线纹理图案标记。在另一个示例中，相邻上方参考行和左侧参考列2的组合在图20中用对角线纹理图案标记。在另一个示例中，相邻上方参考行和左侧参考列3的组合在图21中用对角线纹理图案标记。
当所述上方参考行或左侧参考列中的任一条中不存在参考样本时，对所述上方参考行和左侧参考列都使用相同的参考样本填充过程。
采用平滑滤波器对选择用于帧内预测的参考行的参考样本进行滤波。帧内预测所选的不同参考行的参考样本采用不同平滑滤波器。在一个示例中，当帧内预测所选的左侧参考列是非相邻左侧参考列时，用于帧内预测的相邻上方参考行和非相邻左侧参考列的平滑滤波器将不能工作。在另一示例中，当帧内预测所选的左侧参考列是相邻左侧参考列时，帧内预测所选的相邻左侧参考列的平滑滤波器将不能工作。
在一个实施例中，当所述超级块的第一行在当前CB内部且索引号为r的参考行被信号发送，表示第r条非相邻参考行正在被用于帧内预测，与普通MRLP方案相同，来自左侧的参考样本是从第r列中选择出来的，顶部的参考样本填充一个单一值。
在一个实施例中，当超级块的第一条线位于当前CB内部时，选择具有第二索引号r的一条非相邻上方参考行和具有相同第二索引号r的一条非相邻左侧参考列用于帧内预测。此外，第二索引号为r的非相邻上方参考行的参考样本设置为单一值。在一个示例中，通过从相邻上方或左侧参考列中选择参考样本的值来确定单个值。在另一示例中，通过选择1<<(BitDepth-1)或(1<<(BitDepth-1))-1来确定单个值，其中，BitDepth是用于编码参考样本的比特数。
在一个实施例中，当所述CTU的第一行位于当前CB内部时，选择具有第二索引号r的一条非相邻上方参考行和具有相同第二索引号r的一条非相邻左侧参考列用于帧内预测。另外，通过在角度帧内预测方向上，将相邻上方参考行的参考样本的位置投影到具有第二索引号r的非相邻上方参考行，来确定具有第二索引号r的非相邻上方参考行的参考样本的值。
通过在角度帧内预测方向上，将相邻上方参考行的参考样本的位置投影到第二索引号为r的非相邻上方参考行得到的第二索引号为r的非相邻上方参考行的参考样本的值，其可以通过以下过程确定。首先，从第二索引号为r的上方参考行的参考样本的整数位置开始，在角度帧内预测的方向上向相邻上方参考行绘制平行线。如图22所示，平行线在相邻上方参考行的参考样本的分数位置处与相邻上方参考行相交。然后，对相邻上方参考行的参考样本的分数位置处的值进行插值滤波处理，以获得第二索引号为r的非相邻上方参考行的参考样本的值。插值滤波处理中使用的插值滤波器可以是2抽头滤波器、4抽头滤波器或6抽头滤波器。所述插值滤波器可以包括负滤波系数。或者，所述插值滤波器可以是4抽头三次滤波器、4抽头离散余弦变换插值滤波器(DCT-IF)或2抽头双线性滤波器。
在另一个实施例中，当所述平行线在相邻上方参考行的参考样本的分数位置处与相邻上方参考行相交后，使用距离所述分数位置最近的整数位置来选择用于帧内预测的相邻上方参考行的参考样本。
在本公开的各种实施例中，所述视频编码方法选择多个参考行用于帧内预测，并确定用于多参考行帧内预测的参考行的参考样本的值。所选参考行的参考样本的值存储在行缓冲器中。优化了参考行的选择和参考样本值的确定，减少了行缓冲器的大小。进而减少了专用于行缓冲器的片上电路面积以节省硬件成本。
本公开还提供了一种视频解码方法。图7示出了本公开一实施例的示例性视频解码方法。如图7所示，获得包括视频输入的多个编码帧的比特流(在S710中)。所述比特流可以由执行如图6所示的视频编码方法的视频编码系统产生。
在S720中，多个编码帧中的每个被解码为多个超级块，并且多个超级块中的每个被解码为多个残差块。所述比特流包括表头信息以指示多个超级块的边界以及包含在每个超级块中的多个残余块的边界。多个残差块中的每个可以进行熵编码。熵解码过程之后是逆变换和逆量化过程，以获得多个残差块中的每个。熵解码过程和逆变换以及逆量化过程是图6所示的视频编码方法中S640所执行的熵编码过程和变换以及量化过程的反过程。
在S730中，基于MRLP标志和包括在每个编码帧中的参考样本恢复多个残差块中每一个的编码块。具体地，通过基于MRLP标志和包括在每个编码帧中的参考样本，进行MRLP的逆向过程，从相应的残差块中解码CB，如图6所示的视频编码方法中的S630。
然后，将多个残余块中的每一个残差块的恢复的CB存储在帧缓冲器中以重建视频信号的每一帧(在S740中)，所述多个残余块是多个超级块中的每一个超级块分成的。这个过程通过反向执行如图6所示的视频编码方法S620，将多个CB组装成一个超级块，并将多个超级块组装成一帧视频信号。
最后，将组合好的帧连续输出以恢复视频信号(在S750中)。该过程是图6所示的视频编码方法的S610的反过程。
在本公开实施例中，所述视频编码方法和相应的视频解码方法选择多条参考行用于帧内预测，并确定用于帧内预测的多参考行的参考样本的值。所选参考行的参考样本的值存储在行缓冲器中。优化了参考行的选择和参考样本值的确定以减少行缓冲器的大小。因此，减少了专用于行缓冲器的片上电路面积以节省硬件成本。
虽然本公开的原理和实施是通过使用说明书中的特定实施例描述的，但是上述实施例的描述仅仅是为了帮助理解本公开的方法以及方法的核心思想。同时，本领域的普通技术人员可以根据本公开的思想对特定的实施以及应用范围进行修改。总之，本说明书的内容不应被理解为对本公开的限制。

Claims (20)

1.一种视频解码方法，其特征在于，包括：
获取比特流，所述比特流包括视频信号的多个编码帧；
将所述多个编码帧中的每个解码为多个超级块，并将所述多个超级块中的每个解码为多个残差块；
基于多参考行帧内预测标志和每个编码帧中的参考样本，将所述多个残差块中的每个恢复为编码块，其中，多个参考行被分为上方参考行和左侧参考列，且选取一行上方参考行和一列左侧参考列用于帧内预测；
通过在帧缓冲器中存储所述多个残差块中的每个的恢复编码块，重建所述视频信号的每一帧；以及
连续输出所述重建的帧，以恢复所述视频信号。
2.如权利要求1所述的视频解码方法，其特征在于，
超级块的每一行由第一索引数标识，所述第一索引数从上至下依次增加；所述上方参考行的每一行和所述左侧参考列的每一列由第二索引数标识，所述第二索引数沿远离当前编码块的方向依次增加；
与所述当前编码块紧相邻的所述上方参考行为相邻上方参考行，其余的上方参考行为非相邻上方参考行；以及
与所述当前编码块紧相邻的所述左侧参考列为相邻左侧参考列，其余的左侧参考列为非相邻左侧参考列。
3.如权利要求2所述的视频解码方法，其特征在于，所述选取一行上方参考行和一列左侧参考列用于帧内预测包括：当所述超级块的第一行位于所述当前编码块内，选取所述相邻上方参考行和一列左侧参考列用于帧内预测。
4.如权利要求1所述的视频解码方法，其特征在于，当所述上方参考行或所述左侧参考列中的任一个缺少参考样本时，对所述上方参考行和所述左侧参考列采用同样的参考样本进行填充。
5.如权利要求2-4中任一所述的视频解码方法，其特征在于，还包括：采用所述参考样本的不同平滑滤波器选取帧内预测的不同参考行/列。
6.如权利要求5所述的视频解码方法，其特征在于，所述平滑滤波器满足：当为帧内预测中选取的所述左侧参考列为非相邻左侧参考列，则禁用为帧内预测选取的相邻上方参考行以及非相邻左侧参考列的所述平滑滤波器。
7.如权利要求5所述的视频解码方法，其特征在于，所述平滑滤波器满足：当选取的所述左侧参考列为相邻左侧参考列，则仅禁用为帧内预测选取的所述相邻左侧参考列的平滑滤波器。
8.如权利要求2所述的视频解码方法，其特征在于，所述选取一行上方参考行和一列左侧参考列用于帧内预测包括：
当所述超级块的第一行位于所述当前编码块内，选取一个第二索引数为r的非相邻上方参考行和一个第二索引数同样为r的非相邻左侧参考列用于帧内预测；以及
设置第二索引号为r的非相邻上方参考行的参考样本为单个值。
9.如权利要求8所述的视频解码方法，其特征在于，所述单个值通过以下方法确定：从所述相邻上方参考行或从所述相邻左侧参考列处选取参考样本的值。
10.如权利要求8所述的视频解码方法，其特征在于，所述单个值通过以下方法确定：选取1<<(位深-1)或(1<<(位深-1))-1；其中，位深是用于编码参考样本的位数。
11.如权利要求2所述的视频解码方法，其特征在于，所述选取一行上方参考行和一列左侧参考列用于帧内预测包括：
当所述超级块的第一行位于所述当前编码块内，选取第二索引数为r的非相邻上方参考行和第二索引数同样为r的非相邻左侧参考列用于帧内预测，以及
通过在角度帧内预测的方向上，将所述相邻上方参考行的参考样本的位置投影到所述第二索引数为r的所述非相邻上方参考行处，以确定所述第二索引数为r的所述非相邻上方参考行的参考样本的值。
12.如权利要求11所述的视频解码方法，其特征在于，所述通过在帧内预测的方向角度上，将所述相邻上方参考行的参考样本的位置投影到所述第二索引数为r的所述非相邻上方参考行处，以确定所述第二索引数为r的所述非相邻上方参考行的参考样本的值包括：
从所述第二索引数为r的上方参考行的参考样本的整数位置开始，在所述角度帧内预测的方向上绘制平行线；
在所述相邻上方参考行的参考样本的分数位置处拦截所述相邻上方参考行；以及
对所述相邻上方参考行的参考样本在分数位置的值应用插值滤波处理、以获取所述第二索引数为r的非相邻上方参考行的参考样本的值；
其中，所述插值滤波处理中使用的插值滤波器为2抽头、4抽头或6抽头滤波器；所述插值滤波器包括负滤波系数；以及所述插值滤波器为4抽头三次滤波器、4抽头离散余弦变换插值滤波器(DCT-I F)或2抽头双线性滤波器。
13.如权利要求11所述的视频解码方法，其特征在于，所述通过在角度帧内预测的方向上，将所述相邻上方参考行的参考样本的位置投影到所述第二索引数为r的所述非相邻上方参考行处，以确定所述第二索引数为r的所述非相邻上方参考行的参考样本的值包括：
从所述第二索引数为r的上方参考行的参考样本的整数位置开始，在所述角度帧内预测的方向上绘制平行线；
在所述相邻上方参考行的参考样本的分数位置处拦截所述相邻上方参考行；以及
对所述距离所述相邻上方参考行的参考样本在距离分数位置最近的整数位置的值应用插值滤波处理以获取所述第二索引数为r的非相邻上方参考行的参考样本的值；
其中:所述插值滤处理中使用的插值滤波器为2抽头、4抽头或6抽头滤波器；
所述插值滤波器包括负滤波系数；以及
所述插值滤波器为4抽头三次滤波器、4抽头离散余弦变换插值滤波器或2抽头双线性滤波器。
14.一种视频编码方法，其特征在于，包括：
获取视频输入的当前帧；
根据嵌套的多类型树编码块结构，将所述获取的当前帧划分为一系列超级块，将每个超级块分成多个编码块；
通过多参考行帧内预测获取每个编码块的残差块，将多参考行帧内预测标志和为帧内预测而选取的参考行的参考样本存储在行缓冲器中，其中，多个参考行被分为上方参考行和左侧参考列，且选取一行上方参考行和一列左侧参考列用于帧内预测，以最小化行缓冲器的大小；以及
通过所述当前帧的每个编码块的所述残差块对所述当前帧进行编码，以产生比特流，所述比特流包括每个编码块的编码残差块。
15.如权利要求14所述的视频编码方法，其特征在于，
超级块的每一行由第一索引数标识，所述第一索引数从上之下依次增加；所述上方参考行和所述左侧参考列中的每一个由第二索引数标识，所述第二索引数沿远离当前编码块的方向依次增加；
与所述当前编码块紧相邻的所述上方参考行为相邻上方参考行，其余的上方参考行为非相邻上方参考行；以及
与所述当前编码块紧相邻的所述左侧参考列为相邻左侧参考列，其余的左侧参考列为非相邻左侧参考列。
16.如权利要求15所述的视频编码方法，其特征在于，所述选取一行上方参考行和一列左侧参考列用于帧内预测包括：当所述超级块的第一行位于所述当前编码块内，选取所述相邻上方参考行和所述一列左侧参考列用于帧内预测。
17.如权利要求15所述的视频编码方法，其特征在于，当所述上方参考行或所述左侧参考列中的任一缺少参考样本时，对所述上方参考行和所述左侧参考列采用同样的参考样本进行填充。
18.如权利要求15-17所述的视频编码方法，其特征在于，用于帧内预测的不同参考行的参考样本采用不同平滑滤波器。
19.如权利要求18所述的视频编码方法，其特征在于，所述平滑滤波器满足：当为帧内预测选取的所述左侧参考列为非相邻参考列，则禁用为帧内预测选取的所述相邻上方参考行以及所述非相邻左侧参考列的平滑滤波器。
20.如权利要求18所述的视频编码方法，其特征在于，所述平滑滤波器满足：当为帧内预测中选取的所述左侧参考列为相邻左侧参考列，则仅禁用为帧内预测选取的所述相邻左侧参考列的平滑滤波器。
CN202180002979.4A 2020-01-23 2021-01-13 视频编码、解码方法及系统 Pending CN113728632A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062964992P 2020-01-23 2020-01-23
US62/964,992 2020-01-23
US17/077,872 2020-10-22
US17/077,872 US11558605B2 (en) 2020-01-23 2020-10-22 Video coding method and system based on multiple reference line intra prediction
PCT/US2021/013330 WO2021150409A1 (en) 2020-01-23 2021-01-13 Video coding method and system

Publications (1)

Publication Number Publication Date
CN113728632A true CN113728632A (zh) 2021-11-30

Family

ID=76970409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180002979.4A Pending CN113728632A (zh) 2020-01-23 2021-01-13 视频编码、解码方法及系统

Country Status (6)

Country Link
US (2) US11558605B2 (zh)
EP (1) EP4094435A4 (zh)
JP (1) JP7250169B2 (zh)
KR (1) KR20210145823A (zh)
CN (1) CN113728632A (zh)
WO (1) WO2021150409A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024022146A1 (en) * 2022-07-27 2024-02-01 Mediatek Inc. Using mulitple reference lines for prediction
WO2024022144A1 (en) * 2022-07-29 2024-02-01 Mediatek Inc. Intra prediction based on multiple reference lines

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451254B2 (en) 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US10484712B2 (en) 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
ES2699691R1 (es) 2016-06-24 2019-04-05 Kt Corp Método y aparato para procesar señales de vídeo
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US10432929B2 (en) 2018-02-12 2019-10-01 Tencent America LLC Method and apparatus for multiple line intra prediction in video compression
CN111903130B (zh) 2018-03-28 2022-06-17 鸿颖创新有限公司 在多参考列预测中编码视频数据的设备及方法
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
US10645381B2 (en) 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
US11159806B2 (en) * 2018-06-28 2021-10-26 Qualcomm Incorporated Position dependent intra prediction combination with multiple reference lines for intra prediction
KR102551361B1 (ko) * 2018-08-24 2023-07-05 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020111785A1 (ko) * 2018-11-27 2020-06-04 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020130629A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 다중 참조 라인 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
US11277616B2 (en) * 2019-06-20 2022-03-15 Qualcomm Incorporated DC intra mode prediction in video coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024022146A1 (en) * 2022-07-27 2024-02-01 Mediatek Inc. Using mulitple reference lines for prediction
WO2024022144A1 (en) * 2022-07-29 2024-02-01 Mediatek Inc. Intra prediction based on multiple reference lines

Also Published As

Publication number Publication date
US11558605B2 (en) 2023-01-17
WO2021150409A1 (en) 2021-07-29
JP7250169B2 (ja) 2023-03-31
JP2022531564A (ja) 2022-07-07
EP4094435A1 (en) 2022-11-30
EP4094435A4 (en) 2023-04-26
US20210235071A1 (en) 2021-07-29
KR20210145823A (ko) 2021-12-02
US20230037509A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
KR102431537B1 (ko) 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들
KR102148466B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
CN113612995B (zh) 视频编码方法、解码方法、编码器、解码器和存储介质
EP4322531A2 (en) An encoder, a decoder and corresponding methods harmonizing matrix-based intra prediction and secoundary core selection
CN114885159B (zh) 位置相关预测组合的模式相关和大小相关块级限制的方法和装置
US20230037509A1 (en) Video coding method and system
CN112385227A (zh) 用于帧内预测的方法和装置
CA3120828A1 (en) An encoder, a decoder and corresponding methods of deblocking filter adaptation
CN113767636B (zh) 帧内模式编解码的方法和系统
CN113785565B (zh) 视频编解码的方法和系统
CN111327894A (zh) 块划分方法、视频编解码方法、视频编解码器
WO2020251418A2 (en) Method and apparatus of slice-level signaling for bi-directional optical flow and decoder side motion vector refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination