CN112740276A - 用于帧内参考样本插值滤波器切换的方法和装置 - Google Patents

用于帧内参考样本插值滤波器切换的方法和装置 Download PDF

Info

Publication number
CN112740276A
CN112740276A CN201980062258.5A CN201980062258A CN112740276A CN 112740276 A CN112740276 A CN 112740276A CN 201980062258 A CN201980062258 A CN 201980062258A CN 112740276 A CN112740276 A CN 112740276A
Authority
CN
China
Prior art keywords
block
prediction mode
intra
predicted
aspect ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980062258.5A
Other languages
English (en)
Inventor
阿列克谢·康斯坦丁诺维奇·菲利波夫
瓦西里·亚历斯维奇·拉夫特斯基
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112740276A publication Critical patent/CN112740276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于帧内预测的帧内参考样本滤波器切换的方法，该方法包括确定帧内预测模式和待预测块的宽高比，以及基于该帧内预测模式和该宽高比，选择插值滤波器或参考样本平滑滤波器。

Description

用于帧内参考样本插值滤波器切换的方法和装置
本公开涉及图像和/或视频编码和解码的技术领域，尤其涉及用于帧内预测的宽高比相关滤波的方法和装置。
背景技术
自引入DVD光盘以来，数字视频已被广泛使用。在传输之前，使用传输介质对视频进行编码和发送。观看者接收视频，并使用观看设备解码和显示视频。多年来，例如，由于更高的分辨率、颜色深度和帧速率，视频质量得到了改善。这导致了更大的数据流，这些数据流如今通常通过因特网和移动通信网络进行传送。
但是，由于高分辨率视频通常具有更多信息，因此需要更多带宽。为了降低带宽要求，已经引入了涉及视频压缩的视频编码标准。当对视频进行编码时，带宽要求(或在存储的情况下相应的内存要求)会降低。通常，这种降低是以质量为代价的。因此，视频编码标准试图在带宽需求和质量之间找到平衡。
高效视频编码(high efficiency video coding，HEVC)是本领域技术人员通常已知的视频编码标准的示例。在HEVC中，将编码单元(coding unit，CU)分为多个预测单元(prediction unit，PU)或多个变换单元(transform unit，TU)。多功能视频编码(versatile video coding，VVC)下一代标准是ITU-T视频编码专家组(video codingexperts group，VCEG)和ISO/IEC运动图像专家组(moving picture experts group，MPEG)标准化组织以合作伙伴关系共同努力的最新联合视频项目，被称为联合视频探索小组(joint video exploration team，JVET)。VVC也称为ITU-T H.266/下一代视频编码(nextgeneration video coding，NGVC)标准。在VVC中，它删除了多个分区类型的概念，即，删除了CU、PU和TU概念的分隔，但对于大小超出最大变换长度的CU除外，并支持CU分区形状的更大灵活性。
这些编码单元(CU)(也称为块)的处理取决于它们的大小、空间位置和编码器指定的编码模式。根据预测类型，可以将编码模式分为两类：帧内预测模式和帧间预测模式。帧内预测模式使用同一图片(也称为帧或图像)的样本来生成参考样本，以计算重构的块的样本的预测值。帧内预测也称为空间预测。帧间预测模式被设计用于时间预测，并且使用先前或下一图片的参考样本来预测当前图片的块的样本。
插值滤波器的选择与主要参考侧选择的决定相协调。目前，这两个决定都依赖于帧内预测模式与对角线(45度)方向的比较。
发明内容
公开了用于帧内预测的装置和方法。该装置和方法使用替代方向在插值滤波器或平滑滤波器选择过程期间对帧内预测模式进行阈值化。具体地，该方向对应于待预测块的主对角线的角度。
本实施例提出了一种选择不同参考样本滤波器以考虑块的取向的机制。具体地，独立地检查块的宽度和高度，从而将不同的参考样本滤波器应用于位于待预测块的不同侧上的参考样本。
在权利要求书和以下描述中描述了该实施例的实施方式。
保护范围由权利要求书限定。
附图说明
在下文，参考附图更详细地描述了示例性实施例，其中：
图1示出了说明视频编码和解码系统100的示例的示意图。
图2示出了说明视频编码器200的示例的示意图。
图3示出了说明视频解码器300的示例的示意图。
图4示出了说明所提出的67种帧内预测模式的示意图。
图5示出了QTBT的示例。
图6示出了矩形块的取向。
图7是使用替代方向在插值滤波器选择过程期间对帧内预测模式进行阈值化的实施例。
图8是根据所使用的参考样本属于哪一侧而使用不同插值滤波器的实施例。
图9是说明装置的示例性结构的示意图。
具体实施方式
在下面的描述中，参考了附图，这些附图形成了本公开的一部分，并且在附图中以说明的方式示出了可以布置实施例的特定方面。
例如，应当理解，与所描述的方法有关的公开对于配置为执行该方法的相应设备或系统也可以成立，反之亦然。例如，如果描述了特定的方法步骤，则相应的设备可以包括执行所描述的方法步骤的单元，即使该单元未在图中明确描述或说明。此外，应当理解，除非另外特别指出，否则本文所描述的各个示例性方面的特征可以彼此组合。
视频编码通常是指处理形成视频或视频序列的图片序列。在视频编码领域以及在本申请中，可以同义地使用/应用术语图片、图像或帧。通常将每个图片划分为一组不重叠的块。图片的编码/解码通常在块级别上执行，其中例如帧间预测或帧内预测用于生成预测块，以从当前块(当前已处理/待处理的块)中减去预测块，以获得残差块，并对该残差块进一步变换和量化以减少待发送的数据量(压缩)，而在解码器侧，将逆处理应用于编码/压缩块，以重构该块(视频块)进行表示。
图1是说明可利用本公开中描述的技术的示例性视频编码和解码系统100的框图，所述技术包括用于对边界分区进行编码和解码的技术。系统100不仅应用于视频编码和解码，而且还应用于图片编码和解码。如图1所示，系统100包括源设备102，该源设备102生成编码视频数据，该编码视频数据在稍后的时间由目的地设备104解码。图2示出的视频编码器200是源设备102的视频编码器108的示例。图3示出的视频解码器300是目的地设备104的视频解码器116的示例。源设备102和目的地设备104可以包括各种各样的设备中的任何一个，包括台式计算机、笔记本(即膝上型)计算机、平板计算机、机顶盒、诸如所谓的“智能”手机等的电话听筒、所谓的“智能”平板、电视、照相机、显示设备、数字媒体播放器、视频游戏机、视频流设备等。在一些情况下，源设备102和目的地设备104可以被配备用于无线通信。
目的地设备104可以经由链路112接收待解码的编码视频数据。链路112可以包括能够将编码视频数据从源设备102移动到目的地设备104的任何类型的介质或设备。在一个示例中，链路112可以包括通信介质以使源设备102能够直接将编码视频数据实时地发送到目的地设备104。编码视频数据可以根据诸如无线通信协议之类的通信标准来调制，并且被发送到目的地设备104。通信介质可以包括任何无线或有线通信介质，例如射频(radiofrequency，RF)频谱或一种或更多种物理传输线。通信介质可以形成基于分组的网络的一部分，该基于分组的网络例如为局域网、广域网或诸如因特网之类的全球网络。通信介质可以包括路由器、交换机、基站、或用于促进从源设备102到目的地设备104的通信的任何其他设备。
可替代地，可以将编码数据从输出接口110输出到存储设备(图1中未示出)。类似地，可以通过输入接口114从存储设备访问编码数据。目的地设备104可以经由流式传输或下载进而从存储设备访问存储的视频数据。本公开的技术不必限于无线应用或设置。该技术可以应用于视频编码，以支持多种多媒体应用中的任何一种，例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，通过因特网)、用于存储在数据存储介质上的数字视频的编码、存储在数据存储介质上的数字视频的解码、或其他应用。在一些示例中，系统100可以被配置为支持单向或双向视频传输，以支持诸如视频流式传输、视频回放、视频广播和/或视频电话之类的应用。
在图1的示例中，源设备102包括视频源106、视频编码器108和输出接口110。在一些情况下，输出接口110可以包括调制器/解调器(调制解调器)和/或发送器。在源设备102中，视频源106可以包括例如以下的来源：视频捕获设备，例如摄像机、含有先前捕获到的视频的视频存档、从视频内容提供者接收视频的视频馈入接口，和/或用于产生作为源视频的计算机图形数据的计算机图形系统，或此类来源的组合。作为一个示例，如果视频源106是摄像机，则源设备102和目的地设备104可以形成所谓的照相电话或视频电话。但是，本公开中描述的技术通常可以适用于视频编码，并且可以适用于无线和/或有线应用。
捕获的、预捕获的或计算机生成的视频可以由视频编码器108编码。编码视频数据可以经由源设备102的输出接口110直接发送到目的地设备104。编码视频数据还可以(或替代地))被存储到存储设备上，以供目的地设备104或其他设备后续访问，以进行解码和/或回放。
目的地设备104包括输入接口114、视频解码器116和显示设备118。在一些情况下，输入接口114可以包括接收器和/或调制解调器。目的地设备104的输入接口114通过链路112接收编码视频数据。通过链路112传送的或提供在存储设备上的编码视频数据可以包括由视频编码器108生成的、供例如视频解码器116等的视频解码器来解码视频数据使用的各种语法元素。这些语法元素可以与在通信介质上发送、存储在存储介质上或存储在文件服务器中的编码视频数据包含在一起。
显示设备118可以与目的地设备104集成在一起或位于目的地设备104外部。在一些示例中，目的地设备104可以包括集成显示设备，并且还被配置为与外部显示设备接口连接。在其他示例中，目的地设备104可以是显示设备。通常，显示设备118向用户显示解码的视频数据，并且可以包括诸如液晶显示器(liquid crystal display，LCD)、等离子显示器、有机发光二极管(organic light emitting diode，OLED)显示器或其他类型的显示设备之类的各种显示设备中的任何一种。
视频编码器108和视频解码器116可以根据任何种类的视频压缩标准进行操作，包括但不限于MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第10部分、高级视频编码(advanced video coding，AVC)、高效视频编码(HEVC)、ITU-T H.266/下一代视频编码(NGVC)标准。
通常预期，源设备102的视频编码器108可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行编码。类似地，通常还预期，目的地设备104的视频解码器116可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行解码。
视频编码器108和视频解码器116均可以被实现为多种合适的编码器电路中的任何一种，例如一个或多个微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当这些技术部分地以软件实施时，设备可将用于软件的指令存储在合适的非暂时性计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令以执行本公开的技术。视频编码器108和视频解码器116中的每一个可以被包括在一个或多个编码器或解码器中，其中的任一个可以被集成为相应设备中的组合编码器/解码器(combined encoder/decoder，CODEC)的一部分。
在视频编码规范中，视频序列通常包括一系列图片。然而，应注意，本公开还可应用于在应用隔行扫描的情况下的领域。视频编码器108可输出包括形成编码图片和相关联的数据的表示的比特序列的比特流。视频解码器116可以接收由视频编码器108生成的比特流。此外，视频解码器116可以解析该比特流，以从该比特流中获得语法元素。视频解码器116可以至少部分地基于从比特流获得的语法元素来重构视频数据的图片。重建视频数据的过程通常可以与视频编码器108执行的过程互逆。
图2示出了说明视频编码器200的示例的示意图。视频编码器200不仅应用于视频编码，而且还应用于图片编码。视频编码器200包括用于接收视频流的帧或图片的输入块的输入以及用于生成编码视频比特流的输出。视频编码器200适于将预测、变换、量化和熵编码应用于视频流。分别通过变换单元201、量化单元202和编码单元203进行变换、量化和熵编码，以生成编码视频比特流作为输出。
视频流对应于多个帧，其中每个帧被分成帧内或帧间编码的一定大小的块。通过帧内预测单元209对例如视频流的第一帧的块进行帧内编码。仅使用同一帧内的信息对帧内帧进行编码，从而使得其可以被独立解码，并且可以在比特流中提供用于随机访问的入口点。通过帧间预测单元210对视频流的其他帧的块进行帧间编码：来自编码帧的信息(称为参考帧)用于减少时间冗余，从而从参考帧中具有相同大小的块中预测帧间编码帧的每个块。模式选择单元208适于选择帧的块是由帧内预测单元209还是帧间预测单元210处理。
为了执行帧间预测，编码的参考帧由逆量化单元204、逆变换单元205、滤波单元206(可选的)进行处理，以获得参考帧，然后将其存储在帧缓冲器207中。具体地，这些单元可以处理参考帧的参考块，以获得重构的参考块。然后重构的参考块被重新组合到参考帧中。
帧间预测单元210包括待帧间编码的当前帧或图片以及来自帧缓冲器207的一个或多个参考帧或图片作为输入。帧间预测单元210应用运动估计和运动补偿。使用运动估计，以获得基于一定代价函数的运动矢量和参考帧。然后，运动补偿根据参考帧的参考块到当前帧的变换来描述当前帧的当前块。帧间预测单元210输出用于当前块的预测块，其中该预测块最小化待编码的当前块与其预测块之间的差，即，最小化残差块。残差块的最小化例如基于速率失真优化过程。
然后，通过变换单元201来变换当前块与其预测块即残差块之间的差。通过量化单元202和编码单元203对变换系数进行量化和熵编码。编码视频比特流包括帧内编码块和帧间编码块。
图3示出了说明视频解码器300的示例的示意图。视频解码器300不仅应用于视频解码，而且还应用于图片解码。视频解码器300尤其包括帧缓冲器307、帧间预测单元310。帧缓冲器307适于存储从编码视频比特流获得的至少一个参考帧。帧间预测单元310适于从参考帧的参考块生成当前帧的当前块的预测块。
解码器300适于对由视频编码器200生成的编码视频比特流进行解码，并且解码器300和编码器200均生成相同的预测。帧缓冲器307、帧间预测单元310的特征与图2的帧缓冲器207、帧间预测单元210的特征相似。
具体地，视频解码器300包括还存在于视频编码器200中的单元，例如逆量化单元304、逆变换单元305、滤波单元306(可选的)和帧内预测单元309，其分别对应于视频编码器200的逆量化单元204、逆变换单元205、滤波单元206和帧内预测单元209。解码单元303适于对接收到的编码视频比特流进行解码，并相应地获取量化的残差变换系数。量化的残差变换系数被馈送到逆量化单元304和逆变换单元305以生成残差块。残差块被添加到预测块，并且最终添加被馈送到滤波单元306以获得解码视频。解码视频的帧可以被存储在帧缓冲器307中，并且用作帧间预测的参考帧。
视频编码器200可以在编码之前将输入视频帧划分为块。本公开中的术语“块”用于任何类型的块或任何深度块，例如，术语“块”包括但不限于根块、块、子块、叶节点等。待编码块不一定具有相同的大小。一幅图片可以包括不同大小的块，并且视频序列的不同图片的块栅格也可以不同。
根据HEVC/H.265标准，可以使用35种帧内预测模式。如图4所示，该集合包含以下模式：平面模式(帧内预测模式索引为0)、DC模式(帧内预测模式索引为1)和方向(角度)模式，其覆盖180°范围并具有图4中的黑色箭头所示的2至34的帧内预测模式索引值的范围。为了捕获自然视频中存在的任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个。其他定向模式在图4中用虚线箭头表示，平面模式和DC模式保持不变。值得注意的是，帧内预测模式所覆盖的范围可以大于180°。具体地，索引值为3到64的62个定向模式覆盖大约230°的范围，即若干对模式具有相反的方向性。在HEVC参考模型(HM)和JEM平台的情况下，如图4所示，只有一对角度模式(即，模式2和66)具有相反的方向性。对于构造预测，传统角度模式采取参考样本，并(如果需要)对其进行过滤以得到样本预测。构造预测所需的参考样本的数量取决于用于插值的滤波器的长度(例如，双线性和三次滤波器的长度分别为2和4)。
在VVC中，使用了一种基于四叉树和二叉树两者的分区机制，称为QTBT。如图5所描绘，QTBT分区不仅可以提供方形块，还可以提供矩形块。当然，与HEVC/H.265标准中使用的基于传统四叉树的分区相比，QTBT分区的代价是编码器端的一些信令开销和增加的计算复杂度。然而，基于QTBT的分区具有更好的分割特性，因此，与传统的四叉树相比，其编码效率显著提高。
在本文中，术语“垂直取向的块(vertically oriented block)”(“块的垂直取向”)和“水平取向的块(horizontally oriented block)”(“块的水平取向”)适用于由QTBT框架生成的矩形块。这些术语具有与图6所示的相同的含义。
本发明提出了一种选择不同参考样本滤波器以考虑块的取向的机制。具体地，独立地检查块的宽度和高度，从而将不同的参考样本滤波器应用于位于待预测块的不同侧上的参考样本。此外，本发明提出了一种基于待预测块的宽高比和帧内预测模式来选择不同的参考样本滤波器的机制。
在现有技术的综述中，描述了插值滤波器的选择与主要参考侧选择的决定相协调。目前，这两个决定都依赖于帧内预测模式与对角线(45度)方向的比较。
然而，可以注意到，这种设计对于细长块具有严重的缺陷。观察到，即使采用模式比较标准将较短的一侧选作主要参考，大多数预测像素仍将从较长的一侧(示出为虚线区域)的参考样本中得出。
本发明提出使用替代方向在插值滤波器选择过程中对帧内预测模式进行阈值化。具体地，该方向对应于待预测块的主对角线的角度。例如，对于大小为32×4和4×32的块，如图7所示，定义了用于确定参考样本滤波器的阈值模式mT。
阈值帧内预测角的特定值可以使用以下公式来计算：
Figure BDA0002987806050000061
其中W、H分别是块的宽度和高度。
该实施例的另一实施方式是根据所使用的参考样本属于哪一侧来使用不同的插值滤波器。该确定的示例在图8中示出。
具有与帧内方向m相对应的角度的直线将预测块划分为两个区域。使用不同的插值滤波器对属于不同区域的样本进行预测。
表1中给出了(对于BMS1.0中定义的一组帧内预测模式)mT的示例值和相应的角度。如图7所示，示出了角度α。
表1、(对于BMS1.0中定义的一组帧内预测模式)mT的示例值
Figure BDA0002987806050000062
Figure BDA0002987806050000071
使用不同的插值滤波器来预测块内的样本，其中根据待预测块的宽高比和帧内预测模式来选择用于预测样本的插值滤波器。插值滤波器可以特别地根据块形状、水平方向或垂直方向以及帧内预测模式角度来选择。
该实施例也可以应用于参考样本滤波的阶段。具体来说，可以使用上文针对插值滤波器选择过程所描述的类似规则来确定参考样本平滑滤波器(例如，用于帧内预测)。例如，可以根据待预测块的宽高比和帧内预测模式来选择平滑滤波器。特别地，可以根据块的形状、水平或垂直的取向以及帧内预测模式角度来选择平滑滤波器。
一组确定是否对参考样本进行过滤的条件是由与模式相关的帧内平滑(mode-dependent intra smoothing，MDIS)技术控制的。例如，一组条件可以包括MDIS条件。根据预测块的宽度和高度，可以决定是否将[121]滤波器应用于参考样本。MDIS决策还可用于在插值滤波器之间进行切换。例如，当MDIS条件为真时，选择高斯滤波器进行插值。否则，即当MDIS条件不为真时，使用三次滤波器。
可以通过执行以下步骤来检查MDIS条件：
步骤1：通过计算(log2(W)+log2(H))>>1来确定表格索引。具体地，基于待预测块的宽高比来确定索引。
步骤2：求出帧内预测模式与水平帧内预测模式之间的差的绝对值和帧内预测模式与垂直帧内预测模式之间的差的绝对值。在这些差的绝对值之间选择最小值。具体地，从这两个差的绝对值中选择一个最小值。
步骤3：将在上一步骤中确定的值(即最小值)与利用步骤1中计算出的索引从表中获取的值进行比较。例如，可以从下表中获取该值：
索引 值
0 20
1 20
2 20
3 14
4 2
5 0
6 0
提出的发明建议修改上述MDIS条件检查，以便考虑非正方形的块。具体地，将偏移值添加到步骤3中获得的值，即添加到从表中获取的值。可以根据偏移值修改从表中获取的值以获得阈值。然后可以将该阈值与在步骤2确定的最小值进行比较，而不是直接将获取的值与在步骤2确定的最小值进行比较。值得注意的是，如果在步骤2中确定的最小值大于在修改后的步骤3中确定的阈值，则MDIS条件为真。如果以下所有检查均成功，则将偏移值应用于获取的值，尤其是偏移值不为零：
a、检查块，特别是待预测块，的短边，是否比长边至少短两倍。
b、检查块的短边长是否超过阈值。该阈值长度可以设置为等于2、4、8或16。
c、检查帧内预测模式方向是否在水平帧内预测模式和垂直帧内预测模式之间。
d、如果块宽度大于块高度，检查帧内预测模式是否小于DIA_IDX+dirOffset，即小于对角帧内预测模式(参见表1)和方向偏移之和，否则，检查帧内预测模式是否大于DIA_IDX+dirOffset。dirOffset的值可以是预先确定的(例如，设置为等于5)，或者也可以取决于块的宽高比(例如，对于宽高比1：2、1：4、1：8、1：16，则dirOffset的值将相应地指派为5、6、7、7)。
如果所有这些检查均成功并且块宽度大于块高度，则将在步骤3中获得的值减小预定的偏移值(例如，等于dirOffset或等于abs(dirOffset))。如果所有这些检查均成功并且块宽度小于块高度，则将在步骤3中获得的值增加预定的偏移值(例如，等于dirOffset或等于abs(dirOffset))。
图9是可用于实现各种实施例的装置(或设备)1100的框图。例如，装置1100可以用于实现本发明的上述机制。装置1100可以被配置为确定帧内预测模式和待预测块的宽高比，并且基于所确定的帧内预测模式和所确定的宽高比来选择插值滤波器或平滑滤波器。具体地，装置1100可以被配置为根据帧内预测模式和待预测块的宽高比来确定MDIS条件，然后基于所确定的MDIS条件来选择插值滤波器或平滑滤波器。装置1100可以是如图1所示的源设备102，或如图2所示的视频编码器200，或如图1所示的目的地设备104，或如图3所示的视频解码器300。另外，装置1100可以托管一个或多个所描述的元件。在一些实施例中，装置1100配备有一个或多个输入/输出设备，例如扬声器、麦克风、鼠标、触摸屏、小键盘、键盘、打印机、显示器等。装置1100可以包括一个或多个中央处理单元(central processingunit，CPU)1510、存储器1520、大容量存储器1530、视频适配器1540和连接到总线的I/O接口1560。总线是任何类型的总线架构中的一种或多种，包括存储器总线或存储器控制器、外围总线、视频总线等。
CPU 1510可以具有任何类型的电子数据处理器。存储器1520可以具有或者是任何类型的系统存储器，如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-only memory，ROM)或其组合等等。在一个实施例中，存储器1520可以包括在启动时使用的ROM、以及在执行程序时使用的用于程序和数据存储的DRAM。在实施例中，存储器1520是非易失的。大容量存储器1530包括任何类型的存储设备，其存储数据、程序和其他信息，并使该数据、程序和其他信息可经由总线访问。大容量存储器1530包括例如固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等中的一个或多个。
视频适配器1540和I/O接口1560提供接口，以将外部输入和输出设备耦合至装置1100。例如，装置1100可以向客户端提供SQL命令接口。如图所示，输入和输出设备的示例包括耦合到视频适配器1540的显示器1590和耦合到I/O接口1560的鼠标/键盘/打印机1570的任何组合。其他设备可以耦合到装置1100，并且可以使用额外的或更少的接口卡。例如，串行接口卡(未示出)可以用于为打印机提供串行接口。
装置1100还包括一个或多个网络接口1550，该接口包括诸如以太网电缆等的有线链路，和/或无线链路，以接入节点或一个或多个网络1580。网络接口1550允许装置1100通过网络1580与远程单元通信。例如，网络接口1550可以提供到数据库的通信。在一个实施例中，装置1100耦合到局域网或广域网，用于数据处理和与诸如其他处理单元、因特网、远程存储设施等的远程设备进行通信。
引入分段线性近似以便计算预测给定块内像素所需的加权系数的值。一方面，与直接加权系数计算相比，分段线性近似显著降低了距离加权预测机制的计算复杂度；另一方面，与现有技术的简化相比，其有助于实现更高的加权系数准确性。
该实施例可以应用于其他双向和位置相关的帧内预测技术(例如，PDPC的不同修改)以及使用依赖于从一个像素到另一像素的距离的加权系数来混合图片的不同部分的机制(例如，图像处理中的一些混合方法)。
本公开中描述的主题和操作的实现方式可以通过数字电子电路实现，或者通过计算机软件、固件或硬件实现，包括本公开中公开的结构及其结构等同物或者它们的一个或多个的组合。本公开中描述的主题的实现方式可以实现成一个或多个计算机程序，即，编码在计算机存储介质上以供数据处理设备执行或控制数据处理设备的操作的计算机程序指令的一个或多个模块。替代地或附加地，程序指令可以编码在人工生成的传播信号上，例如，机器生成的电信号、光信号或电磁信号，该信号被生成以编码信息以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质，例如，计算机可读介质，可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们的一个或多个的组合，或包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质还可以是一个或多个单独的物理和/或非暂时性组件或介质(例如，多个CD、磁盘或者其他存储设备)，或者可以被包括在一个或多个单独的物理和/或非暂时性组件或介质中。
在一些实现方式中，本公开中描述的操作可以被实现为在云计算网络中的服务器上提供的托管服务。例如，计算机可读存储介质可以在云计算网络内被逻辑分组并且可访问。云计算网络内的服务器可以包括用于提供基于云的服务的云计算平台。术语“云”、“云计算”和“基于云”可以适当地互换使用，而不脱离本公开的范围。基于云的服务可以是由服务器提供并通过网络传递到客户端平台的托管服务，以增强、补充或替换在客户端计算机上本地执行的应用程序。电路可以使用基于云的服务来快速接收软件升级、应用程序和其他资源，否则，这些软件升级、应用程序和其他资源可能需要很长的时间才能将资源交付给电路。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言、声明性或过程语言，计算机程序可以是以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或适合在计算环境中使用的其他单元。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在保持其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、专用于所讨论的程序的单个文件中，或者在多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署为在一个计算机上或者多个计算机上执行，该多个计算机位于一个站点上或者分布在多个站点上，并且通过通信网络互连。
本公开中描述的处理和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行动作。处理和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且装置也可以被实现为专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。
适合执行计算机程序的处理器包括例如通用和专用微处理器以及任意种类的数字计算机的任一种或多种处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器、以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合以从用于存储数据的一个或多个大容量存储设备接收数据或将数据传输到用于存储数据的一个或多个大容量存储设备，例如，磁盘、磁光盘或光盘。然而，计算机不需要具有这样的设备。此外，计算机可以嵌入在另一个设备中，例如，移动电话、个人数字助理(personal digitalassistant，PDA)、移动音频或视频播放器、游戏机、全球定位系统(global positioningsystem，GPS)接收器、或便携式存储设备(例如，通用串行总线(universal serial bus，USB)闪存驱动器)，仅举几例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，例如包括：半导体存储器设备，例如EPROM、EEPROM和闪速存储器设备；磁盘，例如内部硬盘或者可移除盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入在专用逻辑电路中。
虽然本公开包含许多具体的实现方式细节，但是这些不应被解释为对任何实现方式或可能要求保护的范围的限制，而是作为特定于特定实现的特定实现方式的特征的描述。本公开中在单独的实现方式的上下文中描述的某些特征也可以在单一实现方式中组合实施。相反，在单一实现方式的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实现方式中实施。而且，尽管以上可以将特征描述为以某些组合起作用甚至这些特征由此最初要求保护，但是在某些情况下来自要求保护的组合的一个或多个特征可以从该组合中删去，并且要求保护的组合可以指向子组合或子组合的变体。
类似地，虽然在附图中以特殊的顺序描绘了操作，但是这不应该被理解为要求以所示的特殊的顺序或按顺次的顺序来执行这些操作、或者执行所有示出的操作以实现期望的结果。在某些情况下，多任务处理和并行处理可以是有利的。而且，上述实现方式中的各种系统组件的分离不应被理解为在所有实现方式中都需要这种分离，并且应当理解的是，描述的程序组件和系统一般可以在单一软件产品中集成在一起或者被封装到多个软件产品当中。
因此，已经描述了主题的特定实现方式。其他实现方式在所附权利要求的范围内。在一些情况下，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。此外，附图中描绘的过程不一定要求所示的特殊的顺序或顺次的顺序来实现期望的结果。在某些实现方式中，多任务和并行处理可能是有利的。

Claims (21)

1.一种用于帧内预测的帧内参考样本滤波器切换的方法，所述方法包括：
确定帧内预测模式和待预测块的宽高比，以及
基于所述帧内预测模式和所述宽高比，选择插值滤波器或参考样本平滑滤波器。
2.根据权利要求1所述的方法，其中，所述宽高比基于所述待预测块的宽度和高度来确定。
3.根据权利要求2所述的方法，其中，所述宽高比由以下来确定：
RA＝log2(W)-log2(H)，其中W、H分别是所述待预测块的宽度和高度。
4.根据权利要求1至3中任一项所述的方法，其中，所述插值滤波器包括三次插值滤波器或高斯插值滤波器。
5.根据权利要求1至4中任一项所述的方法，包括：
根据所述帧内预测模式和所述待预测块的宽高比，确定模式相关的帧内平滑MDIS条件；以及
基于所述MDIS条件，选择所述插值滤波器或所述参考样本平滑滤波器。
6.根据权利要求5所述的方法，包括：
如果所述MDIS条件为真，则选择所述三次插值滤波器，以及
如果所述MDIS条件不为真，则选择所述高斯插值滤波器。
7.根据权利要求5或6所述的方法，其中，确定所述MDIS条件包括：
基于所述待预测块的宽高比确定索引；
从所述帧内预测模式和水平帧内预测模式之间的差的绝对值和所述帧内预测模式和垂直帧内预测模式之间的差的绝对值中选择最小值，
使用所述索引从表中获取值，
使用偏移值修改从所述表中获取的值以获得阈值，以及
将所述最小值与所述阈值进行比较，其中，如果所述最小值大于所述阈值，则所述MDIS条件为真。
8.根据权利要求7所述的方法，其中，如果满足以下条件，则所述偏移值不为零：
所述待预测块的短边比所述待预测块的长边至少短两倍；以及
所述待预测块的短边超过阈值长度；以及
所述帧内预测模式介于所述水平帧内预测模式和所述垂直帧内预测模式之间；以及
如果所述待预测块的宽度大于其高度，则所述帧内预测模式小于对角线帧内预测模式和方向偏移之和；或者
如果所述待预测块的宽度不大于其高度，则所述帧内预测模式大于所述对角线帧内预测模式和所述方向偏移之和。
9.根据权利要求8所述的方法，其中：
所述阈值长度是2、4、8或16个样本。
10.根据权利要求8或9所述的方法，其中：
所述方向偏移的值是预定的或取决于所述宽高比。
11.根据权利要求9所述的方法，其中：
如果所述宽高比为1：2，则所述方向偏移的值为5；和/或
如果所述宽高比为1：4，则所述方向偏移的值为6；和/或
如果所述宽高比为1：8，则所述方向偏移的值为7；和/或
如果所述宽高比为1：16，则所述方向偏移的值为7。
12.根据权利要求7至11中任一项所述的方法，其中：
所述偏移值是所述方向偏移或者是所述方向偏移的绝对值。
13.根据权利要求7至12中任一项所述的方法，包括：
如果所述待预测块的宽度大于其高度，则减小从所述表中获取的值；
如果所述待预测块的宽度小于其高度，则增加从所述表中获取的值。
14.一种用于帧内预测的帧内参考样本滤波器切换的设备，所述设备被配置为：
确定帧内预测模式和待预测块的宽高比，以及
基于所确定的帧内预测模式和宽高比，选择插值滤波器或参考样本平滑滤波器。
15.根据权利要求14所述的设备，被配置为：
根据所述帧内预测模式和所述待预测块的宽高比，确定模式相关的帧内平滑MDIS条件；以及
基于所述MDIS条件，选择所述插值滤波器或所述参考样本平滑滤波器。
16.根据权利要求14至15中任一项所述的设备，其中：
所述设备是视频编码器或视频解码器。
17.一种编码器(20)，包括用于执行根据权利要求1至13中任一项所述的方法的处理电路。
18.一种解码器(30)，包括用于执行根据权利要求1至13中任一项所述的方法的处理电路。
19.一种编码器(20)，包括：
一个或多个处理器；以及
非暂时性计算机可读存储介质，其耦合到所述一个或多个处理器并存储由所述一个或多个处理器执行的程序，其中，当由所述一个或多个处理器执行时，所述程序将所述编码器配置为执行根据权利要求1至13中任一项所述的方法。
20.一种解码器(30)，包括：
一个或多个处理器；以及
非暂时性计算机可读存储介质，其耦合到所述一个或多个处理器并存储由所述处理器执行的程序，其中，当由所述一个或多个处理器执行时，所述程序将所述解码器配置为执行根据权利要求1至13中任一项所述的方法。
21.一种计算机程序产品，包括用于执行根据权利要求1至13中任一项所述的方法的程序代码。
CN201980062258.5A 2018-09-23 2019-09-23 用于帧内参考样本插值滤波器切换的方法和装置 Pending CN112740276A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862735182P 2018-09-23 2018-09-23
US62/735,182 2018-09-23
PCT/RU2019/050159 WO2020060449A1 (en) 2018-09-23 2019-09-23 Method and apparatus for intra reference sample interpolation filter switching

Publications (1)

Publication Number Publication Date
CN112740276A true CN112740276A (zh) 2021-04-30

Family

ID=69887691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062258.5A Pending CN112740276A (zh) 2018-09-23 2019-09-23 用于帧内参考样本插值滤波器切换的方法和装置

Country Status (4)

Country Link
US (1) US11805250B2 (zh)
EP (1) EP3841558A4 (zh)
CN (1) CN112740276A (zh)
WO (1) WO2020060449A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023183366A1 (en) * 2022-03-22 2023-09-28 Beijing Dajia Internet Information Technology Co., Ltd. Planar mode improvement for intra prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208957A (zh) * 2005-06-24 2008-06-25 株式会社Ntt都科摩 使用自适应插值进行视频编解码的方法和设备
US20180091825A1 (en) * 2016-09-28 2018-03-29 Qualcomm Incorporated Interpolation filters for intra prediction in video coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
KR20210016601A (ko) 2018-07-11 2021-02-16 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측을 위한 종횡비 의존적 필터링을 위한 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208957A (zh) * 2005-06-24 2008-06-25 株式会社Ntt都科摩 使用自适应插值进行视频编解码的方法和设备
US20180091825A1 (en) * 2016-09-28 2018-03-29 Qualcomm Incorporated Interpolation filters for intra prediction in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GEERT VAN DER AUWERA等: "CE3-related: On MDIS and intra interpolation filter switching", JVET-K0064-V2, 18 July 2018 (2018-07-18), pages 1 *

Also Published As

Publication number Publication date
US20210211658A1 (en) 2021-07-08
EP3841558A4 (en) 2021-10-27
WO2020060449A1 (en) 2020-03-26
EP3841558A1 (en) 2021-06-30
US11805250B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
JP7368414B2 (ja) 画像予測方法および装置
US11128872B2 (en) Position dependent intra prediction combination with wide angle intra prediction
US11778234B2 (en) Video intra prediction using hybrid recursive filters
US20230128206A1 (en) Method and apparatus for dc intra prediction
US11323706B2 (en) Method and apparatus for aspect-ratio dependent filtering for intra-prediction
US20210084298A1 (en) Method and apparatus for boundary partition
KR20200132985A (ko) 양방향 인트라 예측 시그널링
US11805250B2 (en) Performing intra-prediction using intra reference sample filter switching
US11539953B2 (en) Apparatus and method for boundary partition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination