CN110944211A - 用于帧内预测的插值滤波方法、装置、介质及电子设备 - Google Patents

用于帧内预测的插值滤波方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN110944211A
CN110944211A CN201911122284.0A CN201911122284A CN110944211A CN 110944211 A CN110944211 A CN 110944211A CN 201911122284 A CN201911122284 A CN 201911122284A CN 110944211 A CN110944211 A CN 110944211A
Authority
CN
China
Prior art keywords
prediction
pixel
pixels
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911122284.0A
Other languages
English (en)
Other versions
CN110944211B (zh
Inventor
王英彬
李一鸣
许晓中
刘杉
陈震中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911122284.0A priority Critical patent/CN110944211B/zh
Publication of CN110944211A publication Critical patent/CN110944211A/zh
Priority to EP20887497.4A priority patent/EP3985983A4/en
Priority to KR1020227007205A priority patent/KR20220038787A/ko
Priority to PCT/CN2020/122791 priority patent/WO2021093538A1/zh
Priority to JP2022514720A priority patent/JP7411785B2/ja
Priority to US17/492,925 priority patent/US20220030233A1/en
Application granted granted Critical
Publication of CN110944211B publication Critical patent/CN110944211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请的实施例提供了一种用于帧内预测的插值滤波方法、装置、介质及电子设备。该用于帧内预测的插值滤波方法包括：获取指定预测单元所包含的预测像素的信息，并获取所述指定预测单元对应的滤波参数；根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器；通过所述目标滤波器对所述预测像素的第二参考像素进行插值滤波处理，得到所述预测像素的预测值。本申请实施例的技术方案可以根据预测像素的位置信息自适应地选择不同的插值滤波参数，进而有助于提高帧内预测时像素插值预测的准确性，有利于提升编码压缩性能及解码效率。

Description

用于帧内预测的插值滤波方法、装置、介质及电子设备
技术领域
本申请涉及计算机及通信技术领域，具体而言，涉及一种用于帧内预测的插值滤波方法、装置、介质及电子设备。
背景技术
帧内预测插值滤波是利用像素的空间相关性插值得到参考像素分像素位置的像素值，从而获得更准确的预测值。除了线性插值的作用以外，帧内预测分像素插值滤波器还同时起到平滑滤波的作用，平滑滤波能够缓解噪声对帧内预测的影响，有利于变换后能量的集中，提高编码效率。
但是，帧内预测插值滤波器的平滑滤波作用可能导致一些高频纹理细节信息的丢失。另外，过于平滑的插值滤波器将导致相邻的预测角度导出的预测值差异过小，影响编码性能增益。然而，目前AVS3(Audio Video coding Standard 3，音视频编码标准3)中的分像素滤波器对于预测单元中不同位置的像素均使用同一组滤波器系数进行插值滤波，这种方式可能导致预测值不准确，影响编码性能。
发明内容
本申请的实施例提供了一种用于帧内预测的插值滤波方法、装置、介质及电子设备，进而至少在一定程度上可以根据预测像素的位置信息自适应地选择不同的插值滤波参数，进而有助于提高帧内预测时像素插值预测的准确性，有利于提升编码压缩性能及解码效率。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种用于帧内预测的插值滤波方法，包括：获取指定预测单元所包含的预测像素的信息，并获取所述指定预测单元对应的滤波参数；根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器；通过所述目标滤波器对所述第二参考像素进行插值滤波处理，得到所述预测像素的预测值。
根据本申请实施例的一个方面，提供了一种用于帧内预测的插值滤波装置，包括：获取单元，用于获取指定预测单元所包含的预测像素的信息，并获取所述指定预测单元对应的滤波参数；第一处理单元，用于根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器；第二处理单元，用于通过所述目标滤波器对所述预测像素的第二参考像素进行插值滤波处理，得到所述预测像素的预测值。
在本申请的一些实施例中，基于前述方案，所述的插值滤波装置还包括：划分单元，用于根据视频帧所包含的预测单元的信息，将所述视频帧所包含的预测单元分为至少一类，其中的每类预测单元对应于一组滤波参数；所述获取单元配置为：根据所述指定预测单元所属的类别对应的滤波参数，确定所述指定预测单元对应的滤波参数。
在本申请的一些实施例中，基于前述方案，所述划分单元配置为：根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元分为至少一类；或根据所述视频帧包含的预测单元所采用的帧内预测模式，将所述视频帧所包含的预测单元分为至少一类；或根据与所述视频帧所包含的各个预测单元相邻近的参考像素的特征，将所述视频帧所包含的预测单元分为至少一类。
在本申请的一些实施例中，基于前述方案，所述划分单元根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元分为至少一类，包括：根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元划分到设定的至少一个尺寸区间所对应的类中；其中，所述预测单元的尺寸包括以下任一：预测单元的宽度与高度的乘积、预测单元的宽度与高度之和、预测单元的宽度、预测单元的高度。
在本申请的一些实施例中，基于前述方案，所述划分单元根据与所述视频帧所包含的各个预测单元相邻近的参考像素的特征，将所述视频帧所包含的预测单元分为至少一类，包括：根据与所述各个预测单元相邻近的多个参考像素，计算所述多个参考像素的统计特征；根据所述多个参考像素的统计特征，将所述视频帧所包含的预测单元分为至少一类。
在本申请的一些实施例中，基于前述方案，所述多个参考像素包括以下至少之一：在像素坐标系中位于所述各个预测单元上方的参考像素、在像素坐标系中位于所述各个预测单元左方的参考像素。
在本申请的一些实施例中，基于前述方案，所述多个参考像素的统计特征包括以下任一：所述多个参考像素的梯度值方差、所述多个参考像素中的梯度最大值、所述多个参考像素的梯度平均值、所述多个参考像素的像素值方差、所述多个参考像素中的像素最大值与像素最小值之间的差值。
在本申请的一些实施例中，基于前述方案，所述第一处理单元包括：计算单元，用于计算所述指定预测单元中包含的各个预测像素与所述各个预测像素的第一参考像素之间的距离；分类单元，用于根据所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，对所述指定预测单元包含的预测像素进行分类，得到至少一类预测像素；选择单元，用于基于各类预测像素与所述第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器；确定单元，用于根据所述各类预测像素对应的滤波器确定所述目标滤波器。
在本申请的一些实施例中，基于前述方案，所述指定预测单元对应的滤波参数中包含有与所述指定预测单元相对应的至少一个距离阈值；所述分类单元配置为：基于所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，以及所述至少一个距离阈值对所述指定预测单元包含的预测像素进行分类。
在本申请的一些实施例中，基于前述方案，所述计算单元配置为通过以下任一方式计算所述指定预测单元中包含的各个预测像素与所述各个预测像素的第一参考像素之间的距离：
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的欧氏距离，将所述欧氏距离作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，将所述横坐标差值的绝对值与所述纵坐标差值的绝对值之和作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，将所述横坐标差值的绝对值与所述纵坐标差值的绝对值中的最小值或最大值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值，将所述横坐标差值的绝对值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的纵坐标差值的绝对值，将所述纵坐标差值的绝对值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离。
在本申请的一些实施例中，基于前述方案，所述各个预测像素的第一参考像素包括以下任一：与所述指定预测单元相邻的已重构像素、与所述指定预测单元相邻且位于所述指定预测单元左上方的像素、根据所述指定预测单元所使用的角度预测模式在所述各个预测像素的相邻像素中选定的一个像素；或者将所述指定预测单元左上角的第一个像素作为所述第一参考像素。
在本申请的一些实施例中，基于前述方案，所述选择单元配置为基于以下至少一种方式从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器：基于距离与滤波器的平滑滤波程度之间的正相关关系，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器；基于距离与滤波器所包含的抽头数目之间的正相关关系，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器。
在本申请的一些实施例中，基于前述方案，不同的滤波器包含的以下参数不完全相同：平滑滤波强度、抽头数目、分像素位置精度、滤波系数精度。
在本申请的一些实施例中，基于前述方案，所述第二处理单元还用于：在得到所述预测像素的预测值之后，基于所述预测像素的预测值，对所述预测像素进行编码处理；或者基于所述预测像素的预测值，对所述预测像素进行解码处理。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的用于帧内预测的插值滤波方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的用于帧内预测的插值滤波方法。
在本申请的一些实施例所提供的技术方案中，通过根据预测像素与第一参考像素之间的距离，从指定预测单元对应的滤波参数中选择与该距离相匹配的目标滤波器，以通过该目标滤波器对第二参考像素进行插值滤波处理得到预测像素的预测值，使得能够根据预测像素的位置信息(即预测像素与第一参考像素之间的距离)自适应地选择不同的插值滤波器，进而有助于提高帧内预测时像素插值预测的准确性，有利于提升编码压缩性能及解码效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
图2示出视频编码装置和视频解码装置在流式传输环境中的放置方式示意图；
图3示出了根据本申请的一个实施例的用于帧内预测的插值滤波方法的流程图；
图4示出了根据本申请的一个实施例的图3所示的步骤S320的一种处理流程图；
图5示出了帧内预测模式的分布示意图；
图6示出了根据本申请的一个实施例的用于帧内预测的插值滤波装置的框图；
图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构100包括多个终端装置，所述终端装置可通过例如网络150彼此通信。举例来说，系统架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中，第一终端装置110和第二终端装置120执行单向数据传输。举例来说，第一终端装置110可对视频数据(例如由终端装置110采集的视频图片流)进行编码以通过网络150传输到第二终端装置120。已编码的视频数据以一个或多个已编码视频码流形式传输。第二终端装置120可从网络150接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。
在本申请的一个实施例中，系统架构100可以包括执行已编码视频数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频会议期间。对于双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码视频数据，且可对所述已编码视频数据进行解码以恢复视频数据，并可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图1的实施例中，第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
在本申请的一个实施例中，图2示出视频编码装置和视频解码装置在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流式传输系统可包括采集子系统213，采集子系统213可包括数码相机等视频源201，视频源创建未压缩的视频图片流202。在实施例中，视频图片流202包括由数码相机拍摄的样本。相较于已编码的视频数据204(或已编码的视频码流204)，视频图片流202被描绘为粗线以强调高数据量的视频图片流，视频图片流202可由电子装置220处理，电子装置220包括耦接到视频源201的视频编码装置203。视频编码装置203可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流202，已编码的视频数据204(或已编码的视频码流204)被描绘为细线以强调较低数据量的已编码的视频数据204(或已编码的视频码流204)，其可存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端子系统，例如图2中的客户端子系统206和客户端子系统208，可访问流式传输服务器205以检索已编码的视频数据204的副本207和副本209。客户端子系统206可包括例如电子装置230中的视频解码装置210。视频解码装置210对已编码的视频数据的传入副本207进行解码，且产生可在显示器212(例如显示屏)或另一呈现装置上呈现的输出视频图片流211。在一些流式传输系统中，可根据某些视频编码/压缩标准对已编码的视频数据204、视频数据207和视频数据209(例如视频码流)进行编码。该些标准的实施例包括ITU-T H.265。在实施例中，正在开发的视频编码标准非正式地称为下一代视频编码(Versatile Video Coding，VVC)，本申请可用于VVC标准的上下文中。
应注意，电子装置220和电子装置230可包括图中未示出的其它组件。举例来说，电子装置220可包括视频解码装置，且电子装置230还可包括视频编码装置。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图3示出了根据本申请的一个实施例的用于帧内预测的插值滤波方法的流程图，该用于帧内预测的插值滤波方法可以由前述实施例中的视频解码装置或视频编码装置来执行。参照图3所示，该用于帧内预测的插值滤波方法至少包括步骤S310至步骤S330，详细介绍如下：
在步骤S310中，获取指定预测单元所包含的预测像素的信息，并获取所述指定预测单元对应的滤波参数。
在本申请的一个实施例中，指定预测单元可以是视频帧中包含的任意一个预测单元。其中，预测单元可以是预测块、编码单元或者一个二维的像素块。滤波参数可以包括滤波器和距离阈值(距离阈值用于对指定预测单元所包含的预测像素进行分类时使用)等。滤波器的参数可以包括：平滑滤波强度、抽头数目、分像素位置精度、滤波系数精度中的一个或多个，且不同滤波器的参数不完全相同。
在本申请的一个实施例中，可以根据视频帧所包含的预测单元的信息，将视频帧所包含的预测单元分为至少一类，其中的每类预测单元对应于一组滤波参数，这样可以根据预测单元的信息(如尺寸、预测模式等)来设置每类预测单元对应的滤波参数，进而可以提高帧内预测的准确性，有利于提升编码压缩性能及解码效率。在这种情况下，可以先确定指定预测单元所属的类别，然后将指定预测单元所属的类别对应的滤波参数作为指定预测单元对应的滤波参数；或者从指定预测单元所属的类别对应的滤波参数中选择一部分作为指定预测单元对应的滤波参数。
在本申请的一个实施例中，在对视频帧所包含的预测单元进行分类时，可以根据视频帧所包含的预测单元的尺寸，将视频帧所包含的预测单元分为至少一类。比如可以设定至少一个尺寸区间，然后根据视频帧所包含的预测单元的尺寸，将视频帧所包含的预测单元划分到设定的至少一个尺寸区间所对应的类中。其中，预测单元的尺寸可以是预测单元的宽度与高度的乘积，也可以是预测单元的宽度与高度之和，还可以是预测单元的宽度或者预测单元的高度等。
在本申请的一个实施例中，在对视频帧所包含的预测单元进行分类时，可以根据视频帧包含的预测单元所采用的帧内预测模式，将视频帧所包含的预测单元分为至少一类。比如可以将采用竖直向下的帧内预测模式的预测单元划分为一类，将采用水平向左的帧内预测模式的预测单元划分为一类。
在本申请的一个实施例中，在对视频帧所包含的预测单元进行分类时，可以根据与视频帧所包含的各个预测单元相邻近的参考像素的特征，将视频帧所包含的预测单元分为至少一类。比如可以根据与各个预测单元相邻近的多个参考像素，计算这多个参考像素的统计特征，然后根据这多个参考像素的统计特征，将视频帧所包含的预测单元分为至少一类。
在本申请的一个实施例中，多个参考像素可以包括在像素坐标系中位于各个预测单元上方的参考像素，或者可以包括在像素坐标系中位于各个预测单元左方的参考像素，还可以包括在像素坐标系中位于各个预测单元上方和左方的参考像素。
在本申请的一个实施例中，上述的多个参考像素的统计特征包括以下任一：多个参考像素的梯度值方差、多个参考像素中的梯度最大值、多个参考像素的梯度平均值、多个参考像素的像素值方差、多个参考像素中的像素最大值与像素最小值之间的差值。
继续参照图3所示，在步骤S320中，根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器。
在本申请的一个实施例中，同一个预测单元内的不同预测像素的第一参考像素可以是相同的，也可以是不相同的。比如，预测像素的第一参考像素可以是与指定预测单元相邻的已重构像素，或者可以是与指定预测单元相邻且位于指定预测单元左上方的像素，或者也可以是根据指定预测单元所使用的角度预测模式在各个预测像素的相邻像素中选定的一个像素，或者还可以将预测单元左上角的第一个像素作为该预测单元内的预测像素的第一参考像素。其中，在编码过程中，已重构像素是已编码像素；在解码过程中，已重构像素是已解码像素。
在本申请的一个实施例中，如图4所示，图3所示的步骤S320中从指定预测单元对应的滤波参数中选择与距离相匹配的目标滤波参数的过程，可以包括步骤S410至步骤S440，详细说明如下：
在步骤S410中，计算指定预测单元中包含的各个预测像素与所述各个预测像素的第一参考像素之间的距离。
在本申请的一个实施例中，预测像素与第一参考像素之间的距离在计算时可以有多种实施例，以下分别进行说明：
在本申请的一个实施例中，可以计算各个预测像素与各个预测像素的第一参考像素之间的欧氏距离，然后将该欧氏距离作为各个预测像素与各个预测像素的第一参考像素之间的距离。比如，若在像素坐标系中，某个预测像素的坐标为(x0,y0)，该预测像素的第一参考像素的坐标为(x1,y1)，那么可以通过公式
Figure BDA0002275768470000111
计算该预测像素(x0,y0)与第一参考像素(x1,y1)之间的距离。
在本申请的一个实施例中，可以计算各个预测像素与各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，然后将该横坐标差值的绝对值与该纵坐标差值的绝对值之和作为各个预测像素与各个预测像素的第一参考像素之间的距离。比如，若在像素坐标系中，某个预测像素的坐标为(x0,y0)，该预测像素的第一参考像素的坐标为(x1,y1)，那么可以通过公式|x0-x1|+|y0-y1|计算该预测像素(x0,y0)与第一参考像素(x1,y1)之间的距离。
在本申请的一个实施例中，可以计算各个预测像素与各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，然后将横坐标差值的绝对值与纵坐标差值的绝对值中的最小值或最大值作为各个预测像素与各个预测像素的第一参考像素之间的距离。比如，若在像素坐标系中，某个预测像素的坐标为(x0,y0)，该预测像素的第一参考像素的坐标为(x1,y1)，那么可以通过公式min(|x0-x1|,|y0-y1|)或max(|x0-x1|,|y0-y1|)计算该预测像素(x0,y0)与第一参考像素(x1,y1)之间的距离。
在本申请的一个实施例中，可以计算各个预测像素与各个预测像素的第一参考像素之间的横坐标差值的绝对值，然后将该横坐标差值的绝对值作为各个预测像素与各个预测像素的第一参考像素之间的距离。比如，若在像素坐标系中，某个预测像素的坐标为(x0,y0)，该预测像素的第一参考像素的坐标为(x1,y1)，那么可以通过公式|x0-x1|计算该预测像素(x0,y0)与第一参考像素(x1,y1)之间的距离。可选地，可以在第一参考像素位于预测单元的正左方的情况下(比如采用偏向水平方向的预测模式时)，再通过公式|x0-x1|计算预测像素(x0,y0)与第一参考像素(x1,y1)之间的距离。
在本申请的一个实施例中，可以计算各个预测像素与各个预测像素的第一参考像素之间的纵坐标差值的绝对值，然后将该纵坐标差值的绝对值作为各个预测像素与各个预测像素的第一参考像素之间的距离。比如，若在像素坐标系中，某个预测像素的坐标为(x0,y0)，该预测像素的第一参考像素的坐标为(x1,y1)，那么可以通过公式|y0-y1|计算该预测像素(x0,y0)与第一参考像素(x1,y1)之间的距离。可选地，可以在第一参考像素位于预测单元的正上方的情况下(比如采用偏向竖直方向的预测模式时)，再通过公式|y0-y1|计算预测像素(x0,y0)与第一参考像素(x1,y1)之间的距离。
继续参照图4所示，在步骤S420中，根据所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，对所述指定预测单元包含的预测像素进行分类，得到至少一类预测像素。
在本申请的一个实施例中，可以基于设置的距离区间，根据各个预测像素与各个预测像素的第一参考像素之间的距离，对指定预测单元包含的预测像素进行分类。
在本申请的一个实施例中，指定预测单元对应的滤波参数中可以包含有与该指定预测单元相对应的至少一个距离阈值，然后可以根据该至少一个距离阈值来得到至少一个距离区间，进而可以基于该至少一个距离区间，以及各个预测像素与各个预测像素的第一参考像素之间的距离对指定预测单元包含的预测像素进行分类。
在步骤S430中，基于各类预测像素与所述第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择各类预测像素对应的滤波器。
在本申请的一个实施例中，可以基于距离与滤波器的平滑滤波程度之间的正相关关系，从指定预测单元对应的滤波参数中选择各类预测像素对应的滤波器。即如果预测像素与第一参考像素之间的距离越小，则选择平滑程度较低的滤波器；如果预测像素与第一参考像素之间的距离越大，则选择平滑程序较高的滤波器。
在本申请的一个实施例中，可以基于距离与滤波器所包含的抽头数目之间的正相关关系，从指定预测单元对应的滤波参数中选择各类预测像素对应的滤波器。即如果预测像素与第一参考像素之间的距离越小，则选择抽头数目较少的滤波器；如果预测像素与第一参考像素之间的距离越大，则选择抽头数目较多的滤波器。
继续参照图4所示，在步骤S440中，根据所述各类预测像素对应的滤波器确定所述目标滤波器。
在本申请的一个实施例中，可以根据需要确定的预测像素所属的类别，将该类别对应的滤波器作为目标滤波器；或者从该类别对应的滤波器中选择出部分滤波器作为目标滤波器。
继续参照图3所示，在步骤S330中，通过所述目标滤波器对所述预测像素的第二参考像素进行插值滤波处理，得到所述预测像素的预测值。
在本申请的一个实施例中，预测像素的第二参考像素与预测像素的第一参考像素可以是相同的像素，也可以是不同的像素。
在本申请的一个实施例中，编码端在得到预测像素的预测值之后，还可以根据预测像素的预测值，对预测像素进行编码处理；而解码端在得到预测像素的预测值之后，可以基于预测像素的预测值，对预测像素进行解码处理。
图3所示实施例的技术方案使得能够根据预测像素的位置信息自适应地选择不同的插值滤波器，进而有助于提高帧内预测时像素插值预测的准确性，有利于提升编码压缩性能及解码效率。
本申请实施例的技术方案可以应用于音视频编码的技术领域中，具体地，可以预先定义多于一组分像素插值滤波器系数，对于每个预测单元中的像素值，根据待预测像素的位置及其所在预测单元的尺寸进行滤波器系数组的选择，最终对参考像素插值滤波得到该预测像素的预测值。以下对本申请实施例的实现细节进行详细阐述：
在本申请的一个实施例中，可以预先定义K种(K>1)插值滤波器Fall＝{f1,f2,...,fk}，不同滤波器的信息不完全相同。具体地，不同滤波器的平滑滤波强度、抽头(tap)数目、分像素位置精度、滤波器系数精度不完全相同。比如，不同滤波器的抽头数目可以都为n，或者不同滤波器的抽头数目不相同；再如，不同滤波器的分像素位置精度可以都为32；或者不同滤波器的系数精度可以都为128。
在本申请的一个实施例中，每个预测单元可以具有一组对应的滤波参数{F,TD}，滤波参数可以包括滤波器组F＝{f1,f2,...,fm+1}和距离阈值TD＝{td1,td2,...,tdm}，其中m为距离阈值的个数。在确定预测单元的滤波参数时，可以先对预测单元进行分类，然后确定每类预测单元对应的滤波参数组，进而可以获得各个预测单元的滤波参数。
在本申请的实施例中，在对预测单元进行分类时，可以有如下几种分类方式：
①根据预测单元的尺寸进行分类：
在本申请的一个实施例中，设有从小到大排序的尺寸阈值TS＝{ts1,ts2,...,tsn}，根据预测像素所在的预测单元的尺寸分为若干类别{S1,S2,...,Sn+1}，其中类别Sx的预测单元的尺寸大于tsx-1且小于或等于tsx，即x越小，属于Sx的预测单元尺寸越小，并且针对不同类别的预测单元，规定了对应的滤波参数{Fx,TDx}。
在本申请的一个实施例中，预测单元的尺寸可以是预测单元的宽度与高度的乘积；或者可以是预测单元的宽度与高度之和；或者也可以是预测单元的宽度；或者也可以是预测单元的高度。
在一个示例中，尺寸阈值ts1＝256，那么可以将面积大于或等于256的预测单元和面积小于256的预测单元分别分为一类，对应的滤波参数分别为{F1,TD1}和{F2,TD2}，不同类的滤波参数Fx和TDx可能包含相同或不同的元素，即F1和F2，TD1和TD2可以相同，也可以不同。
②根据预测单元的帧内预测模式进行分类：
在本申请的一个实施例中，对于采用了不同帧内预测模式的预测单元，可以使用不同的滤波参数{Fx,TDx}。
比如，在一个示例中，可以将采用竖直向下及其临近的预测模式的预测单元划分为一类；并将采用水平向左及其临近的预测模式的预测单元划分为另一类。具体而言，比如在图5所示的帧内预测模式中，可以将采用帧内预测模式编号为{18-32,51-65}的预测单元划分为一类，并将其它预测单元划分为另一类。对应的滤波参数分别为{F1,TD1}和{F2,TD2}，不同类的滤波参数Fx和TDx可能包含相同或不同的元素，即F1和F2，TD1和TD2可以相同，也可以不同。
③根据参考像素的统计特征进行分类：
在本申请的一个实施例中，可以利用预测单元周围已编码(或已解码)的参考像素进行统计分析，根据统计特征对预测单元进行分类，不同类对应了不同的滤波参数{Fx,TDx}。
在本申请的一个实施例中，预测单元周围已编码(或已解码)的参考像素可以是预测单元上方的参考像素，或者可以是预测单元左方的参考像素，还可以是预测单元上方和左方的参考像素。
在本申请的一个实施例中，参考像素的统计特征可以是参考像素的梯度值方差、参考像素的梯度最大值或参考像素的梯度平均值；或者，参考像素的统计特征还可以是参考像素的像素值方差、参考像素的像素最大值与最小值的差值等。
在对预测单元进行分类，并确定了各类预测单元对应的滤波参数之后，可以基于距离对预测像素的分类，进而针对不同的预测像素选择不同的滤波器进行插值滤波处理。
在本申请的一个实施例中，假设在像素坐标系中，预测像素的坐标为(x0,y0)，参考像素的坐标记为(x1,y1)，预测单元左上角第一个像素的坐标记为(x2,y2)。前述滤波参数中的距离阈值TD从小到大依次排序为{td1,td2,...,tdm}，那么根据预测像素与参考像素之间的距离将预测像素分为若干类别{D1,D2,...,Dm+1}，其中属于类别Dx的预测像素与参考像素之间的距离大于tdx-1且小于等于tdx，即x越小，属于Dx的预测像素与参考像素之间的距离越近。
在本申请的一个实施例中，对于距离参考像素较近的预测像素，可以使用平滑程度较低的滤波器；而对于距离参考像素较远的预测像素，可以使用平滑程度较高的滤波器。
在本申请的一个实施例中，对于距离参考像素较近的预测像素，可以使用tap数较少的滤波器；对于距离参考像素较远的预测像素，可以使用tap数较多的滤波器。
比如，在一个具体示例中，预测单元的滤波参数为{F＝{f1,f2,f3},TD＝{td1＝1,td2＝2}}，若预测单元中所有预测像素的参考像素均在预测单元的上方，且根据公式|y0-y1|来计算预测像素与参考像素之间的距离，则预测单元中的第一行、第二行和其他行的预测像素可以分为类别{D1,D2,D3}，属于类别Dx的预测像素使用对应的滤波器fx进行插值滤波，生成预测值。
本申请上述实施例的技术方案可以根据预测单元的尺寸、预测模式等，以及待预测像素点的位置信息自适应的选择不同分像素插值滤波器，有助于提高帧内预测时分像素插值预测的准确性，进而可以提升压缩性能及解码效率。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的用于帧内预测的插值滤波方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的用于帧内预测的插值滤波方法的实施例。
图6示出了根据本申请的一个实施例的用于帧内预测的插值滤波装置的框图。
参照图6所示，根据本申请的一个实施例的用于帧内预测的插值滤波装置600，包括：获取单元602、第一处理单元604和第二处理单元606。
其中，获取单元602用于获取指定预测单元所包含的预测像素的信息，并获取所述指定预测单元对应的滤波参数；第一处理单元604用于根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器；第二处理单元606用于通过所述目标滤波器对所述预测像素的第二参考像素进行插值滤波处理，得到所述预测像素的预测值。
在本申请的一些实施例中，基于前述方案，所述的插值滤波装置600还包括：划分单元，用于根据视频帧所包含的预测单元的信息，将所述视频帧所包含的预测单元分为至少一类，其中的每类预测单元对应于一组滤波参数；所述获取单元602配置为：根据所述指定预测单元所属的类别对应的滤波参数，确定所述指定预测单元对应的滤波参数。
在本申请的一些实施例中，基于前述方案，所述划分单元配置为：根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元分为至少一类；或根据所述视频帧包含的预测单元所采用的帧内预测模式，将所述视频帧所包含的预测单元分为至少一类；或根据与所述视频帧所包含的各个预测单元相邻近的参考像素的特征，将所述视频帧所包含的预测单元分为至少一类。
在本申请的一些实施例中，基于前述方案，所述划分单元根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元分为至少一类，包括：根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元划分到设定的至少一个尺寸区间所对应的类中；其中，所述预测单元的尺寸包括以下任一：预测单元的宽度与高度的乘积、预测单元的宽度与高度之和、预测单元的宽度、预测单元的高度。
在本申请的一些实施例中，基于前述方案，所述划分单元根据与所述视频帧所包含的各个预测单元相邻近的参考像素的特征，将所述视频帧所包含的预测单元分为至少一类，包括：根据与所述各个预测单元相邻近的多个参考像素，计算所述多个参考像素的统计特征；根据所述多个参考像素的统计特征，将所述视频帧所包含的预测单元分为至少一类。
在本申请的一些实施例中，基于前述方案，所述多个参考像素包括以下至少之一：在像素坐标系中位于所述各个预测单元上方的参考像素、在像素坐标系中位于所述各个预测单元左方的参考像素。
在本申请的一些实施例中，基于前述方案，所述多个参考像素的统计特征包括以下任一：所述多个参考像素的梯度值方差、所述多个参考像素中的梯度最大值、所述多个参考像素的梯度平均值、所述多个参考像素的像素值方差、所述多个参考像素中的像素最大值与像素最小值之间的差值。
在本申请的一些实施例中，基于前述方案，所述第一处理单元604包括：计算单元，用于计算所述指定预测单元中包含的各个预测像素与所述各个预测像素的第一参考像素之间的距离；分类单元，用于根据所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，对所述指定预测单元包含的预测像素进行分类，得到至少一类预测像素；选择单元，用于基于各类预测像素与所述第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器；确定单元，用于根据所述各类预测像素对应的滤波器确定所述目标滤波器。
在本申请的一些实施例中，基于前述方案，所述指定预测单元对应的滤波参数中包含有与所述指定预测单元相对应的至少一个距离阈值；所述分类单元配置为：基于所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，以及所述至少一个距离阈值对所述指定预测单元包含的预测像素进行分类。
在本申请的一些实施例中，基于前述方案，所述计算单元配置为通过以下任一方式计算所述指定预测单元中包含的各个预测像素与所述各个预测像素的第一参考像素之间的距离：
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的欧氏距离，将所述欧氏距离作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，将所述横坐标差值的绝对值与所述纵坐标差值的绝对值之和作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，将所述横坐标差值的绝对值与所述纵坐标差值的绝对值中的最小值或最大值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值，将所述横坐标差值的绝对值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的纵坐标差值的绝对值，将所述纵坐标差值的绝对值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离。
在本申请的一些实施例中，基于前述方案，所述各个预测像素的第一参考像素包括以下任一：与所述指定预测单元相邻的已重构像素、与所述指定预测单元相邻且位于所述指定预测单元左上方的像素、根据所述指定预测单元所使用的角度预测模式在所述各个预测像素的相邻像素中选定的一个像素；或者将所述指定预测单元左上角的第一个像素作为所述第一参考像素。
在本申请的一些实施例中，基于前述方案，所述选择单元配置为基于以下至少一种方式从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器：基于距离与滤波器的平滑滤波程度之间的正相关关系，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器；基于距离与滤波器所包含的抽头数目之间的正相关关系，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器。
在本申请的一些实施例中，基于前述方案，不同的滤波器包含的以下参数不完全相同：平滑滤波强度、抽头数目、分像素位置精度、滤波系数精度。
在本申请的一些实施例中，基于前述方案，所述第二处理单元606还用于：在得到所述预测像素的预测值之后，基于所述预测像素的预测值，对所述预测像素进行编码处理；或者基于所述预测像素的预测值，对所述预测像素进行解码处理。
图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(Central Processing Unit，CPU)701，其可以根据存储在只读存储器(Read-Only Memory，ROM)702中的程序或者从存储部分708加载到随机访问存储器(Random Access Memory，RAM)703中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(Input/Output，I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (16)

1.一种用于帧内预测的插值滤波方法，其特征在于，包括：
获取指定预测单元所包含的预测像素的信息，并获取所述指定预测单元对应的滤波参数；
根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器；
通过所述目标滤波器对所述预测像素的第二参考像素进行插值滤波处理，得到所述预测像素的预测值。
2.根据权利要求1所述的插值滤波方法，其特征在于，在获取所述指定预测单元对应的滤波参数之前，所述插值滤波方法还包括：根据视频帧所包含的预测单元的信息，将所述视频帧所包含的预测单元分为至少一类，其中的每类预测单元对应于一组滤波参数；
获取所述指定预测单元对应的滤波参数，包括：根据所述指定预测单元所属的类别对应的滤波参数，确定所述指定预测单元对应的滤波参数。
3.根据权利要求2所述的插值滤波方法，其特征在于，根据视频帧所包含的预测单元的信息，将所述视频帧所包含的预测单元分为至少一类，包括：
根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元分为至少一类；或
根据所述视频帧包含的预测单元所采用的帧内预测模式，将所述视频帧所包含的预测单元分为至少一类；或
根据与所述视频帧所包含的各个预测单元相邻近的参考像素的特征，将所述视频帧所包含的预测单元分为至少一类。
4.根据权利要求3所述的插值滤波方法，其特征在于，根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元分为至少一类，包括：
根据所述视频帧所包含的预测单元的尺寸，将所述视频帧所包含的预测单元划分到设定的至少一个尺寸区间所对应的类中；其中，所述预测单元的尺寸包括以下任一：预测单元的宽度与高度的乘积、预测单元的宽度与高度之和、预测单元的宽度、预测单元的高度。
5.根据权利要求3所述的插值滤波方法，其特征在于，根据与所述视频帧所包含的各个预测单元相邻近的参考像素的特征，将所述视频帧所包含的预测单元分为至少一类，包括：
根据与所述各个预测单元相邻近的多个参考像素，计算所述多个参考像素的统计特征；
根据所述多个参考像素的统计特征，将所述视频帧所包含的预测单元分为至少一类。
6.根据权利要求5所述的插值滤波方法，其特征在于，所述多个参考像素包括以下至少之一：在像素坐标系中位于所述各个预测单元上方的参考像素、在像素坐标系中位于所述各个预测单元左方的参考像素；
所述多个参考像素的统计特征包括以下任一：所述多个参考像素的梯度值方差、所述多个参考像素中的梯度最大值、所述多个参考像素的梯度平均值、所述多个参考像素的像素值方差、所述多个参考像素中的像素最大值与像素最小值之间的差值。
7.根据权利要求1所述的插值滤波方法，其特征在于，根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器，包括：
计算所述指定预测单元中包含的各个预测像素与所述各个预测像素的第一参考像素之间的距离；
根据所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，对所述指定预测单元包含的预测像素进行分类，得到至少一类预测像素；
基于各类预测像素与所述第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器；
根据所述各类预测像素对应的滤波器确定所述目标滤波器。
8.根据权利要求7所述的插值滤波方法，其特征在于，所述指定预测单元对应的滤波参数中包含有与所述指定预测单元相对应的至少一个距离阈值；
根据所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，对所述指定预测单元包含的预测像素进行分类，包括：基于所述各个预测像素与所述各个预测像素的第一参考像素之间的距离，以及所述至少一个距离阈值对所述指定预测单元包含的预测像素进行分类。
9.根据权利要求7所述的插值滤波方法，其特征在于，计算所述指定预测单元中包含的各个预测像素与所述各个预测像素的第一参考像素之间的距离，包括以下任一者：
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的欧氏距离，将所述欧氏距离作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，将所述横坐标差值的绝对值与所述纵坐标差值的绝对值之和作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值与纵坐标差值的绝对值，将所述横坐标差值的绝对值与所述纵坐标差值的绝对值中的最小值或最大值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的横坐标差值的绝对值，将所述横坐标差值的绝对值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离；
计算所述各个预测像素与所述各个预测像素的第一参考像素之间的纵坐标差值的绝对值，将所述纵坐标差值的绝对值作为所述各个预测像素与所述各个预测像素的第一参考像素之间的距离。
10.根据权利要求7所述的插值滤波方法，其特征在于：
所述各个预测像素的第一参考像素包括以下任一：与所述指定预测单元相邻的已重构像素、与所述指定预测单元相邻且位于所述指定预测单元左上方的像素、根据所述指定预测单元所使用的角度预测模式在所述各个预测像素的相邻像素中选定的一个像素；或者
将所述指定预测单元左上角的第一个像素作为所述第一参考像素。
11.根据权利要求7所述的插值滤波方法，其特征在于，基于各类预测像素与所述第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器，包括以下至少之一：
基于距离与滤波器的平滑滤波程度之间的正相关关系，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器；
基于距离与滤波器所包含的抽头数目之间的正相关关系，从所述指定预测单元对应的滤波参数中选择所述各类预测像素对应的滤波器。
12.根据权利要求1至11中任一项所述的插值滤波方法，其特征在于，不同的滤波器包含的以下参数不完全相同：平滑滤波强度、抽头数目、分像素位置精度、滤波系数精度。
13.根据权利要求1至11中任一项所述的插值滤波方法，其特征在于，在得到所述预测像素的预测值之后，还包括：
基于所述预测像素的预测值，对所述预测像素进行编码处理；或者
基于所述预测像素的预测值，对所述预测像素进行解码处理。
14.一种用于帧内预测的插值滤波装置，其特征在于，包括：
获取单元，用于获取指定预测单元所包含的预测像素的信息，并获取所述指定预测单元对应的滤波参数；
选择单元，用于根据所述预测像素与所述预测像素的第一参考像素之间的距离，从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器；
处理单元，用于通过所述目标滤波器对所述第二参考像素进行插值滤波处理，得到所述预测像素的预测值。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的用于帧内预测的插值滤波方法。
16.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至13中任一项所述的用于帧内预测的插值滤波方法。
CN201911122284.0A 2019-11-15 2019-11-15 用于帧内预测的插值滤波方法、装置、介质及电子设备 Active CN110944211B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201911122284.0A CN110944211B (zh) 2019-11-15 2019-11-15 用于帧内预测的插值滤波方法、装置、介质及电子设备
EP20887497.4A EP3985983A4 (en) 2019-11-15 2020-10-22 INTERPOLATION FILTER METHOD AND APPARATUS FOR INTRAFRAME PREDICTION, MEDIUM AND ELECTRONIC DEVICE
KR1020227007205A KR20220038787A (ko) 2019-11-15 2020-10-22 인트라 프레임 예측을 위한 보간 필터링 방법 및 장치, 매체, 그리고 전자 기기
PCT/CN2020/122791 WO2021093538A1 (zh) 2019-11-15 2020-10-22 用于帧内预测的插值滤波方法、装置、介质及电子设备
JP2022514720A JP7411785B2 (ja) 2019-11-15 2020-10-22 イントラ予測のための補間フィルタリング方法と装置、コンピュータプログラム及び電子装置
US17/492,925 US20220030233A1 (en) 2019-11-15 2021-10-04 Interpolation filtering method and apparatus for intra-frame prediction, medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911122284.0A CN110944211B (zh) 2019-11-15 2019-11-15 用于帧内预测的插值滤波方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN110944211A true CN110944211A (zh) 2020-03-31
CN110944211B CN110944211B (zh) 2022-07-08

Family

ID=69906960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911122284.0A Active CN110944211B (zh) 2019-11-15 2019-11-15 用于帧内预测的插值滤波方法、装置、介质及电子设备

Country Status (6)

Country Link
US (1) US20220030233A1 (zh)
EP (1) EP3985983A4 (zh)
JP (1) JP7411785B2 (zh)
KR (1) KR20220038787A (zh)
CN (1) CN110944211B (zh)
WO (1) WO2021093538A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093538A1 (zh) * 2019-11-15 2021-05-20 腾讯科技（深圳）有限公司 用于帧内预测的插值滤波方法、装置、介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
CN101790092A (zh) * 2010-03-15 2010-07-28 河海大学常州校区 基于图像块编码信息的智能滤波器设计方法
US20120140821A1 (en) * 2010-12-07 2012-06-07 Virginie Drugeon Pixel adaptive intra smoothing
CN103248892A (zh) * 2013-05-07 2013-08-14 北京大学 一种帧内预测方法及装置
US20130294525A1 (en) * 2011-01-14 2013-11-07 Telefonaktiebolaget L M Ericsson (Publ) Method for Filter Control and a Filtering Control Device
CN107071413A (zh) * 2011-04-25 2017-08-18 Lg电子株式会社 帧内预测方法以及使用该方法的编码器和解码器
WO2019088700A1 (ko) * 2017-10-31 2019-05-09 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN109862371A (zh) * 2019-03-12 2019-06-07 北京大学深圳研究生院 一种基于帧内预测的编解码方法、装置及滤波器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
KR20180107087A (ko) * 2016-02-16 2018-10-01 삼성전자주식회사 인트라 예측오차의 감소를 위한 인트라 예측 방법 및 그 장치
EP4084475B1 (en) * 2017-05-31 2024-03-06 LG Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
CN110166773B (zh) * 2019-06-25 2021-08-31 浙江大华技术股份有限公司 帧内预测方法、视频编码方法、视频处理装置、存储介质
CN110944211B (zh) * 2019-11-15 2022-07-08 腾讯科技（深圳）有限公司 用于帧内预测的插值滤波方法、装置、介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
CN101790092A (zh) * 2010-03-15 2010-07-28 河海大学常州校区 基于图像块编码信息的智能滤波器设计方法
US20120140821A1 (en) * 2010-12-07 2012-06-07 Virginie Drugeon Pixel adaptive intra smoothing
US20130294525A1 (en) * 2011-01-14 2013-11-07 Telefonaktiebolaget L M Ericsson (Publ) Method for Filter Control and a Filtering Control Device
CN107071413A (zh) * 2011-04-25 2017-08-18 Lg电子株式会社 帧内预测方法以及使用该方法的编码器和解码器
CN103248892A (zh) * 2013-05-07 2013-08-14 北京大学 一种帧内预测方法及装置
WO2019088700A1 (ko) * 2017-10-31 2019-05-09 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN109862371A (zh) * 2019-03-12 2019-06-07 北京大学深圳研究生院 一种基于帧内预测的编解码方法、装置及滤波器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093538A1 (zh) * 2019-11-15 2021-05-20 腾讯科技（深圳）有限公司 用于帧内预测的插值滤波方法、装置、介质及电子设备

Also Published As

Publication number Publication date
WO2021093538A1 (zh) 2021-05-20
EP3985983A4 (en) 2023-02-22
EP3985983A1 (en) 2022-04-20
JP2022546774A (ja) 2022-11-08
US20220030233A1 (en) 2022-01-27
KR20220038787A (ko) 2022-03-29
CN110944211B (zh) 2022-07-08
JP7411785B2 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
CN107046645B (zh) 图像编解码方法及装置
CN110798690B (zh) 视频解码方法、环路滤波模型的训练方法、装置和设备
CN110418177B (zh) 视频编码方法、装置、设备和存储介质
Wu et al. Learned block-based hybrid image compression
CN106170093B (zh) 一种帧内预测性能提升编码方法
Zhang et al. Video compression artifact reduction via spatio-temporal multi-hypothesis prediction
US10230957B2 (en) Systems and methods for encoding 360 video
CN110692241A (zh) 使用多种全局运动模型的多样化运动
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
CN110944211B (zh) 用于帧内预测的插值滤波方法、装置、介质及电子设备
US10979704B2 (en) Methods and apparatus for optical blur modeling for improved video encoding
WO2020113068A1 (en) Block-based picture fusion for contextual segmentation and processing
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
CN114827567A (zh) 视频质量分析方法、设备和可读介质
CN110809158B (zh) 图像环路滤波处理方法、装置
CN111212198B (zh) 一种视频去噪的方法和设备
US20190304074A1 (en) Video optimization processing system and method
CN112565789B (zh) 视频解码及编码方法、装置、计算机可读介质及电子设备
CN112449187B (zh) 视频解码方法、编码方法、装置、介质及电子设备
CN112449185B (zh) 视频解码方法、编码方法、装置、介质及电子设备
US20180332093A1 (en) Detecting Upscaled Source Video
US8982948B2 (en) Video system with quantization matrix coding mechanism and method of operation thereof
CN112449188B (zh) 视频解码方法、编码方法、装置、介质及电子设备
Bao et al. Quantitative comparison of lossless video compression for multi-camera stereo and view interpolation applications
CN115314716A (zh) 视频编码方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022518

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant