CN113992635B - 多媒体数据处理方法、装置、设备及存储介质 - Google Patents

多媒体数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113992635B
CN113992635B CN202111221890.5A CN202111221890A CN113992635B CN 113992635 B CN113992635 B CN 113992635B CN 202111221890 A CN202111221890 A CN 202111221890A CN 113992635 B CN113992635 B CN 113992635B
Authority
CN
China
Prior art keywords
data block
reference data
encoded
block
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111221890.5A
Other languages
English (en)
Other versions
CN113992635A (zh
Inventor
王英彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211371261.5A priority Critical patent/CN115996214A/zh
Priority to CN202111221890.5A priority patent/CN113992635B/zh
Publication of CN113992635A publication Critical patent/CN113992635A/zh
Priority to KR1020237037580A priority patent/KR20230162989A/ko
Priority to PCT/CN2022/118502 priority patent/WO2023065891A1/zh
Priority to JP2023560291A priority patent/JP2024514294A/ja
Application granted granted Critical
Publication of CN113992635B publication Critical patent/CN113992635B/zh
Priority to US18/474,712 priority patent/US20240015310A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种多媒体数据处理方法、装置、设备及存储介质，其中，该方法包括：获取多媒体数据帧中待编码数据块的属性信息；获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；所述第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合；根据所述第一目标参考数据块对所述待编码数据块进行预测编码。通过本申请能够有效提高媒体数据的编码性能。

Description

多媒体数据处理方法、装置、设备及存储介质
技术领域
本申请涉及互联网技术领域，尤其涉及一种多媒体数据处理方法、装置、设备及存储介质。
背景技术
在多媒体数据处理过程中，通常采用帧内预测编码方式对多媒体数据帧进行预测编码，这样能够提升多媒体数据帧的编码性能，因此，帧内预测编码方式已经广泛应用到多媒体数据处理过程中。但实践中发现，现有的帧内预测编码方式中，由于用于进行预测编码的参考数据块有限，导致多媒体数据帧的编码性能较差。
发明内容
本申请实施例所要解决的技术问题在于，提供一种多媒体数据处理方法、装置、设备及存储介质，能够提高多媒体数据帧的编码性能。
本申请实施例一方面提供一种多媒体数据处理方法，包括：
获取多媒体数据帧中待编码数据块的属性信息；
根据所述属性信息，获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；其中，所述第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待编码数据块之间不具有相邻关系的已编码的数据块，所述第二参考数据块集合包括与所述待编码数据块之间具有相邻关系的已编码的数据块；
根据所述第一目标参考数据块对所述待编码数据块进行预测编码。
本申请实施例一方面提供一种多媒体数据处理方法，包括：
获取多媒体数据帧中待解码数据块的属性信息；
根据所述属性信息，获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；其中，所述第二目标参考数据块属于第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待解码数据块之间不具有相邻关系的已解码的数据块，所述第二参考数据块集合包括与所述待解码数据块之间具有相邻关系的已解码的数据块；
根据所述第二目标参考数据块对所述待解码数据块进行解码。
本申请实施例一方面提供一种多媒体数据处理装置，包括：
获取模块，用于获取多媒体数据帧中待编码数据块的属性信息；
匹配模块，用于根据所述属性信息，获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；其中，所述第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待编码数据块之间不具有相邻关系的已编码的数据块，所述第二参考数据块集合包括与所述待编码数据块之间具有相邻关系的已编码的数据块；
编码模块，用于根据所述第一目标参考数据块对所述待编码数据块进行预测编码。
本申请实施例一方面提供一种多媒体数据处理装置，包括：
获取模块，用于获取多媒体数据帧中待解码数据块的属性信息；
匹配模块，用于根据所述属性信息，获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；其中，所述第二目标参考数据块属于第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待解码数据块之间不具有相邻关系的已解码的数据块，所述第二参考数据块集合包括与所述待解码数据块之间具有相邻关系的已解码的数据块；解码模块，用于根据所述第二目标参考数据块对所述待解码数据块进行解码。
本申请一方面提供了一种计算机设备，包括：处理器及存储器；
其中，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以执行上述方法中的步骤。
本申请实施例一方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令当被处理器执行时，以执行上述方法中的步骤。
本申请实施例一方面提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述方法的步骤。
本申请中，计算机设备通过获取与待编码数据块的属性信息相匹配的第一目标参考数据块，该第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合该第一参考数据块集合和该第二参考数据块集合的第三参考数据块集合；也就是说，可供选择的参考数据块集合包括第一参考数据块集合、第二参考数据块集合以及第三参考数据块集合，扩展了参考数据块的选择范围；同时，根据待编码数据块的属性信息，自适应地选择第一目标参考数据块，根据第一目标参考数据块对待编码数据块进行预测编码，能够提高获取第一目标参考数据块的灵活性和准确度，进一步，提高对多媒体数据帧的编码性能。同时，通过根据第一目标参考数据块对待编码数据块进行预测编码，有利于去除多媒体数据帧中的冗余，提高多媒体数据帧的传输效率，并节省传输资源。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种视频处理的流程图；
图2是本申请提供的针对多媒体数据的处理方法的流程示意图；
图3是本申请提供的一种编码数据块的示意图；
图4是本申请提供一种多媒体数据帧的非帧内编码的场景示意图；
图5是本申请提供一种多媒体数据帧的帧内块复制的场景示意图；
图6是本申请提供一种多媒体数据帧的参考数据块的内存重用的场景示意图；
图7是本申请提供的一种多媒体数据处理方法的流程意图；
图8是本申请提供一种第一参考数据集合、第二参考数据块集合、待编码数据块之间的位置关系示意图；
图9是本申请提供一种第一参考数据集合、第二参考数据块集合、待编码数据块之间的位置关系示意图；
图10是本申请提供的一种多媒体数据处理方法的流程意图；
图11是本申请提供的一种多媒体数据处理装置的结构示意图；
图12是本申请提供的一种多媒体数据处理装置的结构示意图；
图13是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例涉及多媒体数据的处理技术。其中，多媒体数据(或称之为媒体数据)是指由内容上相互关联的文本、图形、图像、声音、动画、活动图像等媒体数据所形成的复合数据，而在本申请实施例所提及的多媒体数据，主要包括由图像构成的图像数据、或者由图像和声音等构成的视频数据，且本申请实施例中，主要以多媒体数据为视频数据为例，对多媒体数据的数据处理过程进行详细说明，而在多媒体数据为图像数据时，可参见本发明实施例。本申请实施例涉及的对多媒体数据的处理过程，主要包括媒体数据采集，媒体数据编码，媒体数据文件封装，媒体数据文件传输，媒体数据解码和最终的数据呈现，而在该多媒体数据为视频数据时，那么，针对视频数据的完整处理过程可如图1所示，具体可包括：视频采集，视频编码，视频文件封装，视频传输，视频文件解封装，视频解码和最终的视频呈现。
视频采集用于将模拟视频转换为数字视频，并按数字视频文件的格式进行保存，也就是说，视频采集可将视频信号转换为二进制数字信息，其中，由视频信号转换为的二进制信息是一种二进制数据流，该二进制信息也可称为该视频信号的码流或者位流(Bitstream)，视频编码则是值通过压缩技术，将原始视频格式的文件转换为另一种视频格式文件。在本申请实施例中提及视频媒体内容的生成，包括摄像机采集生成的真实场景，以及计算机生成的屏幕内容场景，而从视频信号的获取方式看，视频信号可以分为摄像机拍摄到的以及计算机生成的两种方式，由于统计特性的不同，其对应的压缩编码方式也可能有所区别，现代主流视频编码技术，以国际视频编码标准HEVC(High Efficiency VideoCoding，国际视频编码标准HEVC/H.265)，VVC(versatile video coding，国际视频编码标准VVC/H.266)，以及中国国家视频编码标准AVS(Audio Video Coding Standard，中国国家视频编码标准AVS)，或AVS3(由AVS标准组推出的第三代视频编码标准)为例，采用了混合编码框架，对输入的原始视频信号，进行了如下一系列的操作和处理，具体可如图2所示：
①块划分结构(block partition structure)：输入多媒体数据帧(如视频数据中的一个视频帧)根据一个的大小，划分成若干个不重叠的处理单元，每个处理单元将进行类似的压缩操作。在一个实施例中，这个处理单元被称作CTU(Coding Tree Unit，编码树单元)，或者LCU(Largest Coding Unit,最大编码单元)。其中，CTU再往下，可以继续进行更加精细的划分，得到一个或多个基本编码的单元，称之为CU(Coding Unit，编码单元)。每个CU是一个编码环节中最基本的元素。在另一个实施例中，这个处理单元也被称作编码片(Tile，可以独立解码和编码的多媒体数据帧的矩形区域)。其中，编码片再往下，可以继续进行更加精细的划分，得到一个或多个最大编码块(SB：Superblock，块划分的起点，可以继续划分为多个子块)，然后，最大编码块再往下划分，得到一个或多个数据块(block，B)。每个数据块是一个编码环节中最基本的元素。以下描述的是对每一个数据块可能采用的各种编码方式，其中，SB和B之间的关系可如图3所示。
②预测编码(Predictive Coding)：包括了帧内预测和帧间预测等方式，原始视频信号经过选定的已编码视频信号的预测后，得到残差视频信号。编码端需要为当前编码数据块(即待解码数据块)决定在众多可能的预测编码模式中，选择最适合的一种，并告知解码端。
a.帧内预测(Intra(picture)Prediction)：预测的信号来自于同一图像内已经编码重建过的区域。
b.帧间预测(Inter(picture)Prediction：帧间预测)：预测的信号来自已经编码过的，不同于当前图像的其他图像(称之为参考图像)。
③变换编码及量化(Transform&Quantization)：残差视频信号经过DFT(DiscreteFourier Transform，离散傅里叶变换)，DCT(离散余弦变换，是DFT的一个子集)等变换操作，将信号转换到变换域中，称之为变换系数。在变换域中的信号，进一步的进行有损的量化操作，丢失掉一定的信息，使得量化后的信号有利于压缩表达。
在一些视频编码标准中，可能有多于一种变换方式可以选择，因此，编码端也需要为当前编码数据块选择其中的一种变换，并告知解码端。量化的精细程度通常由量化参数(Quantization Parameter，QP)来决定，QP取值较大大，表示更大取值范围的系数将被量化为同一个输出，因此通常会带来更大的失真，及较低的码率；相反，QP取值较小，表示较小取值范围的系数将被量化为同一个输出，因此通常会带来较小的失真，同时对应较高的码率。
④熵编码(Entropy Coding)或统计编码：量化后的变换域信号，将根据各个值出现的频率，进行统计压缩编码，最后输出二值化(0或者1)的压缩码流。同时，编码产生其他信息，例如选择的模式，运动矢量等，也需要进行熵编码以降低码率。
统计编码是一种无损编码方式，可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(VLC，Variable Length Coding)或者基于上下文的二值化算术编码(CABAC，Content Adaptive Binary Arithmetic Coding)。
⑤环路滤波(Loop Filtering)：已经编码过的图像(即多媒体数据帧)，经过反量化，反变换及预测补偿的操作(上述②～④的反向操作)，可获得重建的解码图像。重建图像与原始图像相比，由于存在量化的影响，部分信息与原始图像有所不同，产生失真(Distortion)。对重建图像进行滤波操作，例如去块效应滤波(deblocking)，SAO(SampleAdaptive Offset，样点自适应补偿)或者ALF(Adaptive Loop Filter，自适应环路滤波)等滤波器，可以有效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像，将做为后续编码图像的参考，用于对将来的信号进行预测，所以上述的滤波操作也被称为环路滤波，及在编码环路内的滤波操作。
图2中展示了视频编码器的基本流程，图2中以第k个CU(标记为Sk[x，y])为例进行举例说明，其中，k为大于等于1且小于等于输入的当前图像中的CU的数量的正整数，Sk[x，y]表示第k个CU中坐标为[x，y]的像素点，x表示像素点的横坐标，y表示像素点的中坐标，Sk[x，y]经过运动补偿或者帧内预测等中的一种较优处理后获得预测信号
Figure GDA0003778353380000071
Sk[x，y]与
Figure GDA0003778353380000072
相减得到残差信号Uk[x，y]，然后对该残差信号Uk[x，y]进行变换和量化，量化输出的数据由两个不同的去处：一是送个熵编码器进行熵编码，编码后的码流输出到一个缓冲器(buffer)中保存，等待传出去；另一个应用是进行反量化和反变换后，得到信号U’k[x，y]。将信号U’k[x，y]与
Figure GDA0003778353380000073
相加得到新的预测信号S*k[x，y]，并将S*k[x，y]送到当前图像的缓冲器中保存。S*k[x，y]经过帧内—图像预测获得f(S*k[x，y])，S*k[x，y]经过环路滤波后获得S’k[x，y]，并将S’k[x，y]送至解码图像缓冲器中保存，以用于生成重建视频。S’k[x，y]经过运动—补偿预测后获得S’r[x+mx，y+my]，S’r[x+mx，y+my]表示参考块，mx和my分别表示运动矢量的水平和竖直分量。
根据上述编码过程可以看出，在解码端，对于每一个数据块，解码器获得压缩码流后，先进行熵解码，获得各种模式信息及量化后的变换系数。各个系数经过反量化及反变换，得到残差信号。另一方面，根据已知的编码模式信息，可获得该数据块对应的预测信号，两者相加之后，即可得到已编码的数据块。最后，已编码的数据块，需要经过环路滤波的操作，产生最终的已编码的数据块。
目前主流的视频编码标准，如HEVC,VVC,AVS3,AV1,AV2均采用基于块的混合编码框架。它们将原始的多媒体数据帧分成一系列的编码数据块，结合预测，变换和熵编码等视频编码方法，实现视频数据的压缩。其中，运动补偿是视频编码常用的一类预测编码方法，运动补偿是基于视频内容在时域或空域的冗余特性，从已编码的区域(即参考数据块)导出当前编码数据块的预测值。这类预测编码方法包括：帧间预测、帧内块复制预测、帧内串复制预测等，在具体的预测编码实现中，可能单独或组合使用这些预测编码方法。对于使用了这些预测编码方法的编码数据块，通常需要在码流显式或隐式的编码一个或多个二维的位移矢量，指示当前编码数据块(或当前块的同位块)相对它的一个或多个参考数据块的位移。
需要说明的是，在不同的预测编码模式下，位移矢量可能有不同的名称，本申请统一按照以下方式进行描述：1)帧间预测中的位移矢量称为运动矢量(Motion Vector,简称MV)；2)帧内块复制中(即帧内预测编码)的位移矢量称为块矢量(Block Vector，简称BV)；3)帧内串复制中的位移矢量称为串矢量(String Vector，简称SV)。以下对帧间预测、和帧内块复制预测中相关的技术进行介绍。
1.1、帧间预测。如图4所示，帧间预测利用多媒体数据帧的时间域的相关性，使用邻近已编码图像的像素预测当前图像的像素，以达到有效去除多媒体数据帧的时域冗余的目的，能够有效节省编码残差数据的比特。其中，P为当前帧，Pr为参考帧，B为当前待解码数据块，Br是B的参考数据块。B’与B在图像中的坐标位置相同，Br坐标为(xr,yr),B’坐标为(x,y)。当前编码数据块与其参考数据块之间的位移，称为运动向量(MV)，即可采用如下公式(1)表示：
MV＝(xr-x,yr-y) (1)
考虑到时域或空域邻近块具有较强的相关性，可以采用MV预测技术进一步减少编码MV所需要的比特。在H.265/HEVC中，帧间预测包含Merge和AMVP两种MV预测技术。
2.1、帧内块复制预测。帧内块复制(Intra Block Copy,简称IBC)是HEVC屏幕内容编码(Screen Cotent Coding,简称SCC)扩展中采纳的一种帧内编码工具，它显著的提升了屏幕内容的编码效率。在AVS3，VVC和AV1中，也采纳了IBC技术以提升屏幕内容编码的性能。IBC利用屏幕内容视频在空间的相关性，使用多媒体数据帧中已编码的数据块的像素预测待解码数据块的像素，能够有效节省编码像素所需的比特。图5为IBC技术的示意图，其中，待解码数据块与其参考数据块之间的位移，称为块矢量(BlockVector，简称BV)。
在HEVC SCC扩展中，IBC模式采用了类似于帧间预测的实现方式。如果多媒体数据帧允许使用IBC模式，则将当前已编码但未滤波的图像将作为一个特殊的参考帧，编码数据块采用与帧间预测运动补偿的方式在从这个参考帧上导出待解码数据块的预测值。这种实现方式具有以下特点：
1)BV只采用整数精度；
2)采用了全局参考数据块集合(即全局参考范围)，即当前多媒体数据帧所有已编码的部分中除了某些区域基于并行处理和色度插值的考虑被禁止用作参考数据块以外，其他均可用作待解码数据块的参考数据块；
3)在解码图像缓存中，当前已编码未滤波的图像会占用一个图像大小的缓存；
4)当前已编码未滤波的图像将位于参考图像列表的最后。
在硬件实现中，计算核心可以从片上存储器或片外存储器中读写数据。片上存储器通常是静态内存，读写速度非常快，但由于它的价格相对较高，通常仅使用较小的片上存储器。而片外存储器通常要大得多，但如果要高效的访问，需要遵循一些规则，在将最近已编码的数据块写回片外的图片存储器时通常存在回写时延(writing-back delay)。在运动补偿的典型硬件实现中，当前已编码的图像将在完成环路滤波操作后写入到片外存储器中，以供将来参考。当后续编码数据块的运动补偿需要参考位于片外存储器的已编码的数据块时，需要从片外存储器读取该参考数据块的相关数据。这个过程涉及写入和读取的内存带宽消耗。虽然在软件实现上HEVC-SCC中IBC方案对于现有的软件设计具有较小的影响，然而在硬件实现中具有以下两个问题：
a、IBC的参考图像是未经过环路滤波处理的版本，与最终输出的解码图像不同。将该图像输出到片外将导致内存带宽的增加。
b、当前已编码或一个刚刚重建完成的相邻数据块可能用做下一个编码数据块的参考。这要求在有限的时钟周期完成重建数据块的解码，输出到片外存储器，再读入片内存储器等流程。这对硬件实现提出了较大的挑战。
针对IBC硬件实现的问题，后续的标准如VVC,AVS3和AV1中采纳了一些IBC相关的优化方案。VVC、AVS3标准中的IBC方案使用了局部参考数据块集合，即使用与当前编码数据块相邻的已编码的数据块作为当前编码数据块的参考数据块。在具体的硬件实现中，可以使用片上存储器中存储的局部参考数据块集合中的参考数据块以解决上述问题。基于硬件实现成本和编码性能的考虑，IBC仅使用了1个CTU大小的内存存储的局部参考数据块集合中的参考数据块，并采用了如图6所示的参考内存重用策略。除了存储当前待重构的64x64的CU外，还有3个64x64大小的CU可用于存储已重构的数据块。因此，IBC仅能在这三个64x64大小的CU以及当前64x64 CU的已重构部分中搜索参考数据块。
综上，AV1标准中的IBC方案使用了全局参考数据块集合，即当前编码数据块允许参考当前多媒体数据帧中已编码的数据块，但是，该方案存在如下两个缺陷：a、为了满足回写限制条件的要求，与当前编码数据块相邻近的已编码的数据块不允许用作参考数据块；b、如果当前多媒体数据帧允许使用IBC，则环路滤波器将被禁用。然而，屏幕内容序列往往具有较强的空间相关性，相邻数据块具有较高的参考价值，允许相邻已编码的数据块被参考将有利于提升编码性能。在一些序列内容上，禁用环路滤波器也将带来严重的多媒体数据质量下降并影响编码性能。虽然，基于局部参考数据块集合的IBC方案不存在上述缺陷，但由于局部参考数据块集合中可用的参考数据块的数量有限，仅使用局部参考数据块集合可能会使多媒体数据帧的编码性能下降。根据序列内容的特性，全局参考数据块集合、局部参考数据块集合以及环路滤波处理等编码参数对编码性能影响具有不同的占比。因此，基于全局参考数据块集合的IBC方案和局部参考数据块集合的IBC方案中存在的缺陷，本申请中，根据多媒体数据帧的属性信息选择合适预测编码方式，将有利于编码性能的提升；也就是说，本申请中根据当前编码数据块的属性信息自适应地，从第一参考数据块集合(即全局参考数据块集合)、第二参考数据块集合(即局部参考数据块集合)，或融合第二参考数据块集合和第一数据块集合的第三数据块集合中选择的参考数据块，扩展了参考数据块可选择的范围，可解决参考数据块的数量有限的问题；进一步，根据选择的参考数据块对当前编码数据块进行预测编码，可提高对多媒体数据帧的编码性能。
需要说明的是，本申请可以由终端来执行，也可以由服务器来执行，还可以由终端和服务器共同执行，本申请中用于执行该方法的设备可以统称为计算机设备。其中，服务器可以是独立的一个物理服务器，也可以是至少两个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能车载终端、智能摄像机、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、有屏音箱、智能手表、智能电视等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，同时，终端以及服务器的数量可以为一个或至少两个，本申请在此不做限制。
需要说明的是，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。例如，在智慧交通场景中，多媒体数据帧为摄像装置对道路进行拍摄得到的视频帧或图像帧，该摄像装置可以是指车载终端，或者道路侧的摄像装置；通过本申请对多媒体数据帧进行预测编码，有利于提高对多媒体数据帧的编码性能，通过编码后的多媒体数据帧能够实时观测道路的路况状态等等，提高车辆的行驶安全。
进一步地，请参见图7，是本申请实施例提供的一种多媒体数据处理方法的流程示意图。如图7所示，该方法至少可以包括以下S101-S103：
S101、获取多媒体数据帧中待编码数据块的属性信息。
本申请中，计算机设备可以获取多媒体数据帧；该多媒体数据帧可以是指由计算机设备所拍摄得到的，或者，该多媒体数据帧可以是由计算机设备从网络中下载得到的。该多媒体数据帧是指视频数据中待解码的视频帧或图像数据中待解码的一帧图像，视频数据可以是指直播视频数据、影视视频数据、日常生活视频数据、道路监控视频数据等等；图像数据可以是指人物图像数据、建筑图像数据、物品图像数据等等。进一步，可以获取该多媒体数据帧中的待编码数据块的属性信息，该待编码数据块可以是指上文中的当前编码数据块，待编码数据块可以是指多媒体数据帧中的未编码的数据块中即将编码的数据块，即待编码数据块可以是指多媒体数据帧中与已编码的数据块的距离最近的未编码数据块。
其中，待编码数据块的属性信息包括待编码数据块所属的多媒体数据帧的媒体类型、多媒体数据帧的参考标志、待编码数据块所属的多媒体数据帧的清晰度等等中的一种或多种；媒体类型包括帧内和非帧内，帧内类型可以是指具有代表意义的多媒体数据帧，帧内类型是全帧内编码帧，Intra帧，I帧，关键帧。这种类型的帧只允许使用帧内编码技术，不需要依赖其他帧进行编码。例如，帧内类型可以是指能够体现视频数据或图像数据中主要含义的多媒体数据帧；非帧内类型可以是指视频数据或图像数据中除帧内类型以外的多媒体数据帧，非帧内类型可以称为帧间编码帧，P帧,B帧，非关键帧。这种类型的帧允许使用帧间编码技术和帧内编码技术，通常当采用帧间编码技术时，需要在参考帧编码完成后才可以进行编码。多媒体数据帧的参考标志用于反映待编码数据块的参考数据块的选择范围。
S102、根据该属性信息，获取与该待编码数据块的属性信息相匹配的第一目标参考数据块；其中，所述第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待编码数据块之间不具有相邻关系的已编码的数据块，所述第二参考数据块集合包括与所述待编码数据块之间具有相邻关系的已编码的数据块。第三数据块集合包括第一数据块集合和第二数据块集合中的数据块，即第三数据块集合包括与所述待编码数据块之间不具有相邻关系的已编码的数据块，和与所述待编码数据块之间具有相邻关系的已编码的数据块。
本申请中，多媒体数据帧与待编码数据块不具有相邻关系的已编码的数据块、与待编码数据块具有相邻关系的已编码的数据块均能够用于作为参考数据块，计算机设备通过根据待编码数据块的属性信息，自适应地从具有相邻关系的已编码的数据块和不具有相邻关系的已编码的数据块中选择第一目标参考数据块，可提高获取参考数据块的灵活性以及准确度。
需要说明的是，本申请中的已编码的数据块，也可以称为编码端已重建的数据块，已重建的数据块为指已编码的数据块经过恢复处理(经过反量化，反变换及预测补偿的操作等)后的数据块。
需要说明的是，该第一目标参考数据块可以是指与待编码数据块具有相邻关系的已编码的数据块，或，该第一目标参考数据块可以是指与待编码数据块不具有相邻关系的已编码的数据块，或者，该第一目标参考数据块的第一区域属于与待编码数据块具有相邻关系的已编码的数据块，且该第一目标参考数据块的第二区域可以属于与待编码数据块不具有相邻关系的已编码的数据块。S103、根据所述第一目标参考数据块对所述待编码数据块进行预测编码。
本申请中，计算机设备可以根据第一目标参考数据块、待编码数据块分别在多媒体数据帧的位置信息，根据该位置信息确定第一目标参考数据块与待编码数据块之间的块矢量，然后，根据该块矢量以及第一目标参考数据块预测得到待编码数据块的预测信号，根据待编码数据块的实际信号和预测信号得到该待编码数据块的残差信号，即待编码数据块的残差信号为待编码数据块的预测编码值；通过对待编码数据块进行预测编码，有利于去除多媒体数据帧中的冗余，提高多媒体数据帧的传输效率，并节省传输资源。
需要说明的是，通常视频数据中包括多个多媒体数据帧，或者，图像数据中包括多个多媒体数据帧，但上述待编码数据块、第一目标参考数据块均属于同一多媒体数据帧。
本申请中，计算机设备通过获取与待编码数据块的属性信息相匹配的第一目标参考数据块，该第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合该第一参考数据块集合和该第二参考数据块集合的第三参考数据块集合；也就是说，可供选择的参考数据块集合包括第一参考数据块集合、第二参考数据块集合以及第三参考数据块集合，扩展了参考数据块的选择范围；同时，根据待编码数据块的属性信息，自适应地选择第一目标参考数据块，根据第一目标参考数据块对待编码数据块进行预测编码，能够提高获取第一目标参考数据块的灵活性和准确度，进一步，提高对多媒体数据帧的编码性能。同时，通过根据第一目标参考数据块对待编码数据块进行预测编码，有利于去除多媒体数据帧中的冗余，提高多媒体数据帧的传输效率，并节省传输资源。
可选的，计算机设备可以通过如下三种匹配方式中的一种或多种组合方式，获取与待编码数据块的属性信息匹配的第一目标参考数据块：
匹配方式一：若该多媒体数据帧的媒体类型为帧内类型，则从第一参考数据块集合或第三参考数据块集合中获取与该待编码数据块的属性信息相匹配的第一目标参考数据块；若该多媒体数据帧的媒体类型为非帧内类型，则从第二参考数据块集合中获取与该待编码数据块的属性信息相匹配的第一目标参考数据块。也就是说，计算机设备可以根据待编码数据块的属性信息，自适应地选择参考数据块集合，进而，从选择的参考数据集合中确定第一目标参考数据块，提高获取参考数据块的灵活性和准确度。
第二需要说明的是，通常第一参考数据块集合中的数据块数量多于第二参考数据块集合中的数据块数量；第一参考数据块集合和第二参考数据块集合分别存储在第一存储空间和第二存储空间，第一存储空间和第二存储空间可以位于同一个计算机设备中，也可以位于不同计算机设备中。第一存储空间和第二存储空间具体可以是指磁盘，或者，存储介质阵列等等，本申请对此不做限定。特别地，当该第一存储空间和第二存储空间位于同一个计算机设备中时，第一存储空间可以是指计算机设备的片外存储器，第二存储空间可以是指计算机设备的片上存储器；或者，第一存储空间可以是指计算机设备的片上存储器，第二存储空间可以是指计算机设备的片外存储器；本申请对此不做限定。
在匹配方式一中，如果该多媒体数据帧的媒体类型为帧内类型，表明该多媒体数据帧的重要性比较高，可以从第一参考数据块集合和第二参考数据块集合(即第三参考数据块集合)中搜索与待编码数据块之间具有最强相关性的数据块(即搜索最优数据块)，作为与该待编码数据块的属性信息匹配的第一目标参考数据块，该第一目标参考数据块是该第一参考数据块集合和该第二参考数据块集合确定的。即第一参考数据块集合和第二参考数据块集合中的任一数据块均允许作为参考数据块，扩展了参考数据块的选择范围，有利于提高对多媒体数据帧的编码性能。如果该多媒体数据帧的媒体类型为非帧内类型，表明该多媒体数据帧的重要性比较低，则从该第二参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块。通过根据多媒体数据帧的媒体类型，自适应地选择与待编码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
需要说明的是，此处第一目标参考数据块是根据该第一参考数据块集合和该第二参考数据块集合确定得到的具有如下含义中的一种：1、第一目标参考数据块选自第一参考数据块集合；2、第一目标参考数据块选自第二参考数据块集合；3、该第一目标参考数据块的第一区域属于第一参考数据块集合，且该第一目标参考数据块的第二区域可以属于第二参考数据块集合，即第一目标参考数据块部分属于第二参考数据块集合，且部分属于第一数据块集合。
其中，待编码数据块与已编码的数据块之间的相关性可以是根据待编码数据块中的像素与已编码的数据块中的像素之间的相似确定的。
在匹配方式一中，如果该多媒体数据帧的媒体类型为帧内类型，可以从第一参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息匹配的第一目标参考数据块。如果该多媒体数据帧的媒体类型为非帧内类型，则从该第二参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块。通过根据多媒体数据帧的媒体类型，自适应地选择与待编码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
需要说明的是，计算机从第一参考数据块集合和第二参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息匹配的第一目标参考数据块，可以是指：从第一参考数据块集合和第二参考数据块集合中的数据块所构成的区域中，搜索与待编码数据块中的像素之间具有最强相关性的像素，将与待编码数据块中的像素之间具有最强相关性的像素所在的区域作为与该待编码数据块的属性信息匹配的第一目标参考数据块。
匹配方式二：当该待编码数据块的属性信息包括所述待编码数据块所属的多媒体数据帧的参考标志时；计算机设备获取与该待编码数据块的属性信息相匹配的第一目标参考数据块，包括：若该多媒体数据帧的参考标志为第一参考标志，则从第一参考数据块集合或第三参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块；若该多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块。该参考标志可以是指由多媒体数据帧的发送者(或接收者)预先设置的，因此，根据参考标志自适应的选择第一目标参考数据块，相当于，根据用户的编码需求自适应的选择第一目标参考数据块，有利于提高选择的参考数据块的灵活性和准确性。
第一参考标志为用于指示待编码数据块的参考数据块的选择范围为第一参考数据块集合或第三参考数据块集合，第二参考标志为用于指示待编码数据块的参考数据块的选择范围为第二参考数据块集合。第一参考标志、第二参考标志可以是由多媒体数据帧的发送者(或接收者)预先设置的，第一参考标志、第二参考标志可以是指数字、字母、汉字中的一种或多种构成。例如，第一参考标志(ibc_ref_flag)为1，第二参考标志为0，当多媒体数据帧中多媒体数据帧的参考标志为1时，计算机设备可以从第一参考数据块集合中获取与该待编码数据块的属性信息相匹配的第一目标参考数据块。当多媒体数据帧中多媒体数据帧的参考标志为0时，计算机设备可以从第二参考数据块集合中获取与该待编码数据块的属性信息相匹配的第一目标参考数据块。
需要说明的是，当多媒体数据帧的媒体类型为帧内类型时，该多媒体数据帧的头部中包括参考标志；当多媒体数据帧的媒体类型为非帧内类型时，该多媒体数据帧的头部中可以不包括参考标志；或者，当多媒体数据帧允许使用IBC编码方式时，该多媒体数据帧的头部中包括参考标志；当多媒体数据帧不允许采用IBC编码方式时，该多媒体数据帧的头部中可以不包括参考标志；这时计算机设备可以根据多媒体数据帧的头部中是否包括参考标志，来确定与待编码数据块的属性信息匹配的第一目标参考数据块。
在匹配方式二中，若该多媒体数据帧的参考标志为第一参考标志，则从第一参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块，这时第一目标参考数据块是指第一参考数据块集合中的任一第一参考数据块；若该多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块，这时第一目标参考数据块可以是指第二参考数据块集合中任一第二参考数据块。通过根据多媒体数据帧的参考标志，自适应地选择与待编码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
在匹配方式二中，若该多媒体数据帧的参考标志为第一参考标志，则从第一参考数据块集合中和第二参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块，这时第一目标参考数据块是根据第一参考数据块集合和第二参考数据块集合确定得到的；若该多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中搜索与待编码数据块之间具有最强相关性的数据块，作为与该待编码数据块的属性信息相匹配的第一目标参考数据块，这时第一目标参考数据块可以是指第二参考数据块集合中任一第二参考数据块。通过根据多媒体数据帧的参考标志，自适应地选择与待编码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
匹配方式三，当该待编码数据块的属性信息包括待编码数据块所属的多媒体数据帧的清晰度时，当待编码数据块所属的多媒体数据帧的清晰度大于清晰度阈值，表明用户对多媒体数据帧的质量要求比较高，可以从第一参考数据块集合或第三参考数据块集合中获取与该待编码数据块的属性信息匹配的第一目标参考数据块。当待编码数据块所属的多媒体数据帧的清晰度小于或等于清晰度阈值，表明用户对多媒体数据帧的质量要求比较低，可以从第二参考数据块集合中获取与该待编码数据块的属性信息匹配的第一目标参考数据块。多媒体数据帧的清晰度可以用于反映用户对多媒体数据帧的质量要求，因此，根据多媒体数据帧的清晰度自适应的选择第一目标参考数据块，相当于，根据用户对多媒体数据帧的质量需求自适应的选择第一目标参考数据块，有利于提高选择的参考数据块的灵活性和准确性。
需要说明的是，当该多媒体数据帧的媒体类型为非帧内类型，多媒体数据帧的参考标志为第二参考标志，或者，多媒体数据帧的清晰度小于或等于清晰度阈值时，计算机设备可以从第二参考数据块集合中获取与该待编码数据块的属性信息匹配的第一目标参考数据块，这时，计算机设备可以仅存储第二参考数据块集合，不需要存储第一参考数据块集合，可节省计算机设备的存储空间，并降低参考数据块的搜索范围，提高搜索参考数据块的效率。
可选的，计算机设备可以根据多媒体数据帧的编码方式从如下两种方式中选择一种方式，获取第一参考数据块集合：
方式一：该第一参考数据块集合包括一个或多个第一参考数据块；当该多媒体数据帧的编码方式为串行编码方式时，该第一参考数据块为所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块；所述参数关联关系用于反映第一位置信息，与最大编码块的尺寸信息和第二位置信息之间的关联关系，所述第一位置信息、第二位置信息分别是指已编码的数据块、所述待编码数据块在所述多媒体数据帧中的位置信息；所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延。也就是说，串行编码方式是指同一时间仅对多媒体数据帧中的一个数据块进行预测编码，如果多媒体数据帧的编码方式为串行编码方式时，该编码方式不会对参考数据块的确定过程造成影响。但是，已编码的数据块写入至第一参考数据块集合中会带来较大回写延时，即已编码的数据块写入至第一参考数据块集合中需要消耗较长时间，因此，已编码的数据块至少等待预设时长后，才能够被用于作为参考数据块，预设时长是根据将所述已编码的数据块写入至所述第一参考数据块集合的限制时延确定的，该限制时延可以是指将已编码的数据块写入至第一参考数据块集合中的平均时延、最大时延以及最小时延等中的一种。由此可知，当该多媒体数据帧的编码方式为串行编码方式时，该第一参考数据块集合中的第一参考数据块需要满足以下两个条件：a、与待编码数据块属于同一个编码片；b、参数关联关系满足回写限制条件。
具体的，计算机设备可以执行如下步骤s11～s14，以获取第一参考数据块集合：
s11、当该多媒体数据帧的编码方式为串行编码方式时，分别获取第一位置信息，以及该最大编码块的尺寸信息和第二位置信息；该第一位置信息、第二位置信息分别是指已编码的数据块、该待编码数据块在该多媒体数据帧中的位置信息。
s12、获取回写限制条件；该回写限制条件用于反映将该已编码的数据块写入至该第一参考数据块集合的限制时延。
s13、从该多媒体数据帧中筛选出参数关联关系满足回写限制条件，且与该待编码数据块属于同一个编码片的已编码的数据块，作为第一参考数据块；该参数关联关系用于反映该第一位置信息，与该最大编码块的尺寸信息和该第二位置信息之间的关联关系。
s14、将该第一参考数据块添加至该第一参考数据块集合。
在步骤s11～s14中，当该多媒体数据帧的编码方式为串行编码方式，计算机设备可以分别获取第一位置信息，以及最大编码块的尺寸信息以及第二位置信息。该第一位置信息、第二位置信息分别是指已编码的数据块、待编码数据块在多媒体数据帧的位置信息，更具体的，第一位置信息、第二位置信息可以是指已编码的数据块的左上角像素、待编码数据块的左上角像素在多媒体数据帧的坐标，该最大编码块的尺寸信息可以是指最大编码块的宽度和高度。进一步，计算机设备可以获取回写限制条件；从该多媒体数据帧中筛选出参数关联关系满足回写限制条件，且与该待编码数据块属于同一个编码片的已编码的数据块，作为第一参考数据块，将该第一参考数据块添加至该第一参考数据块集合。通过根据回写限制条件、第一位置信息、第二位置信息和最大编码块的尺寸信息筛选得到第一参考数据块，可确保第一参考数据块与待编码数据块具有较强的空间相关性，并可确保第一参考数据块的可用性。
可选的，上述步骤s13可包括如下步骤s21～s24：
s21、根据所述第一位置信息和所述第二位置信息，从所述多媒体数据帧中筛选出属于同一编码片的已编码的数据块，作为第一候选参考数据块。
s22、确定在所述回写限制条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的间隔数据块限制数量。
s23、根据所述第一位置信息、所述最大编码块的尺寸信息和所述第二位置信息，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量。
s24、将间隔数据块数量大于所述间隔数据块限制数量的第一候选参考数据块，确定为第一参考数据块。
在步骤s21～s24中，假设第一位置信息、第二位置信息可以是指已编码的数据块的像素、待编码数据块的像素在多媒体数据帧的坐标，已编码的数据块的位置信待息为(ref_x,ref_y)，待编码数据块的位置信息为(cur_x,cur_y)，计算机设备可以从多媒体数据帧中筛选出与待编码数据块属于同一编码片的已编码的数据块，作为第一候选参考数据块。进一步，确定在该回写限制条件下该多媒体数据帧中已编码的数据块，与该待编码数据块之间的间隔数据块限制数量，该间隔数据块限制数量可以是指在满足回写限制条件下多媒体数据帧中已编码的数据块，与待编码数据块之间应间隔的最少数据块数量。然后，根据所述第一位置信息、该最大编码块的尺寸信息和该第二位置信息，统计该第一候选参考数据块与该待编码数据块之间的间隔数据块数量，该间隔数据块数量是指该第一候选参考数据块与该待编码数据块之间实际间隔的数据块数量，将间隔数据块数量大于该间隔数据块限制数量的第一候选参考数据块，确定为第一参考数据块。通过已编码的数据块的位置信息、待编码数据块的位置信息以及回写延时限制条件等，获取第一参考数据块集合，可确保第一参考数据块与待编码数据块具有较强的空间相关性，并可确保第一参考数据块的可用性。同时，不需要额外的硬件成本，可节省成本。
例如，计算机设备可以将满足如下公式(2)的第一候选参考数据块，作为第一参考数据块：
D<cur_num-src_num (2)
其中，公式(2)中cur_num-src_num表示该第一候选参考数据块与该待编码数据块之间的间隔数据块数量，cur_num、src_num分别是指第一候选参考数据块的编号以及待编码数据块的编号，D是指满足回写限制条件下的该间隔数据块限制数量，cur_num、src_num可以通过下文公式(3)和公式(4)计算得到。
可选的，上述步骤s23可包括如下步骤s31～s34：
s31、根据所述第一位置信息以及所述最大编码块的尺寸信息确定所述第一候选参考数据块的行标识和列标识。
s32、根据所述第二位置信息以及所述最大编码块的尺寸信息确定所述待编码数据块的行标识和列标识。
s33、基于所述待编码数据块的尺寸信息确定所述多媒体数据帧中每行的数据块数量。
s34、根据所述每行的数据块数量、所述第一候选参考数据块的行标识和列标识，以及所述待编码数据块的行标识和列标识，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量。
在步骤s31～s34中，第一候选参考数据块的行标识和列标识分别为ref_y_num、ref_x_num，待编码数据块的行标识和列标识分别为cur_y_num、cur_x_num，计算机设备可以分别采用如下公式(3)获取第一候选参考数据块的行标识和列标识、待编码数据块的行标识和列标识：
Figure GDA0003778353380000201
其中，公式(3)中Floor()表示向下取整，W、H可以是采用如下4种方式中的任一种方式确定的：1、W、H是根据最大编码块的尺寸信息确定的；2、W、H是根据VPDU(VPDU，VirtualPipeline Data Units，片上内存的基本单元)的尺寸信息确定的；3、H可以是指最大编码块的尺寸信息确定的，如最大编码块为128x128，H为128，最大编码块为64x64，H为64，W可以为默认值，如64。4、W、H均为预设值，可以为4、64、128等等。其中，一个最大编码块可以包括一个或多个数据块，最大编码块的尺寸以及数据块的尺寸具体是根据多媒体数据帧的分块方式确定的。
然后，计算机设备可以基于该待编码数据块的尺寸信息确定该多媒体数据帧中每行的数据块数量；根据所述每行的数据块数量、所述第一候选参考数据块的行标识和列标识，确定第一候选参考数据块的编号，并根据所述每行的数据块数量以及所述待编码数据块的行标识和列标识确定待编码数据块的编号，将第一候选参考数据块的编号与待编码数据块的编号之间的差值，确定为第一候选参考数据块与所述待编码数据块之间的间隔数据块数量。例如，计算机设备可以采用如下公式(4)确定该多媒体数据帧中每行数据块数量、第一候选参考数据块的编号以及待编码数据块的编号：
Figure GDA0003778353380000211
其中，公式(4)中stride是指该多媒体数据帧中每行数据块数量，cur_num、src_num分别是指第一候选参考数据块的编号以及待编码数据块的编号，Ceil()表示向上取整，tile_w表示编码片的宽度，编码片包括一个或多个最大编码块，因此，编码片的宽度可以是根据最大编码块的尺寸信息确定。例如，最大编码块的尺寸为128x128时，编码片可以为1024x720。
需要说明的是，当该多媒体数据帧的编码方式为串行编码方式时，计算机设备还可以通过如下方式获取第一参考数据块集合：根据第一位置信息、第二位置信息以及最大编码块的尺寸信息，确定已编码的数据块与待编码数据块之间的间隔距离，并确定在回写延时条件下已编码的数据块与待编码数据块之间的间隔限制距离，该间隔限制距离是指满足回写延时条件下已编码的数据块与待编码数据块之间的最小间隔距离，将多媒体数据帧中与待编码数据块属于同一编码片，且间隔距离大于该间隔限制距离的已编码的数据块，作为第一参考数据块，将第一参考数据块添加至第一参考数据块集合。
方式二：该第一参考数据块集合包括一个或多个第二参考数据块；当该多媒体数据帧的编码方式为并行编码方式或者为串行编码方式时，第二参考数据块为与该待编码数据块属于同一个编码片，且该多媒体数据帧中参数关联关系满足回写限制条件，以及该参数关联关系满足编码处理条件的已编码的数据块；该参数关联关系用于反映已编码的数据块、该待编码数据块分别在该多媒体数据帧中的位置信息，以及最大编码块的尺寸信息之间的关联关系；该回写限制条件用于反映将该已编码的数据块写入至该第一参考数据块集合的限制时延。也就是说，并行编码方式是指同一时间对多媒体数据帧中的多个数据块进行预测编码，如果多媒体数据帧的编码方式为并行编码方式时，该编码方式会对参考数据块的确定过程造成影响。同时，已编码的数据块写入至第一参考数据块集合中会带来较大回写延时，由此可知，当该多媒体数据帧的编码方式为并行编码方式时，该第一参考数据块集合中的第二参考数据块需要满足以下三个条件：a、与待编码数据块属于同一个编码片；b、参数关联关系满足回写限制条件；c、参数关联关系满足编码处理条件。特别的，当该多媒体数据帧的编码方式为串行编码方式或者并行编码方式时，均可以采用方式二获取第一参考数据块集合。此处编码处理条件可以是指并行编码处理条件。
具体的，计算机设备可以执行如下步骤s41～s44，以获取第一参考数据块集合：
s41、分别获取第一位置信息，以及所述最大编码块的尺寸信息和第二位置信息；所述第一位置信息、第二位置信息分别是指已编码的数据块、所述待编码数据块在所述多媒体数据帧中的位置信息。
s42、获取回写限制条件以及编码处理条件；所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延。
s43、从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件和所述编码处理条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第二参考数据块；所述参数关联关系用于反映所述第一位置信息，与所述待编码数据块的尺寸信息和所述第二位置信息之间的关联关系。
s44、将所述第二参考数据块添加至所述第一参考数据块集合。
在步骤s41～s44中，第一位置信息、第二位置信息可以是指已编码的数据块的左上角像素、待编码数据块的左上角像素在多媒体数据帧的坐标，该最大编码块的尺寸信息可以是指最大编码块的宽度和高度。该回写限制条件用于反映将该已编码的数据块写入至该第一参考数据块集合的限制时延，编码处理条件用于反映并行对多媒体数据帧进行编码时参考数据块与待编码数据块之间的限制距离；或者，编码处理条件用于反映并行对多媒体数据帧进行编码时参考数据块与待编码数据块之间的间隔数据块限制数量。通过从该多媒体数据帧中筛选出参数关联关系满足回写限制条件和该编码处理条件，且与该待编码数据块属于同一个编码片的已编码的数据块，作为第二参考数据块，将该第二参考数据块添加至该第一参考数据块集合，可确保第二参考数据块与待编码数据块具有较强的空间相关性，并可确保第二参考数据块的可用性。
可选的，上述步骤s43可包括如下步骤s51～s55：
s51、根据所述第一位置信息和所述第二位置信息，从所述多媒体数据帧中筛选出与待编码数据块属于同一编码片的已编码的数据块，作为第一候选参考数据块。
s52、从所述第一候选参考数据块中筛选出参数关联关系满足回写限制条件的第一候选参考数据块，作为第二候选参考数据块。
s53、确定在所述回写限制条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第一数据块限制距离。
s54、确定在所述编码处理条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第二数据块限制距离。
s55、根据所述第一位置信息、所述最大编码块的尺寸信息和所述第二位置信息、所述第一数据块限制距离和所述第二数据块限制距离，从所述第二候选参考数据块中确定出满足所述编码处理条件的第二候选参考数据块，作为第二参考数据块。
在步骤s51～s55中，假设第一位置信息、第二位置信息可以是指已编码的数据块的像素、待编码数据块的像素在多媒体数据帧的坐标，已编码的数据块的位置信待息为(ref_x,ref_y)，待编码数据块的位置信息为(cur_x,cur_y)，计算机设备可以从多媒体数据帧中筛选出与待编码数据块属于同一编码片的已编码的数据块，作为第一候选参考数据块。进一步，计算机设备可以从该第一候选参考数据块中筛选出坐标满足上述公式(2)的第一候选参考数据块，作为第二候选参考数据块。进一步，可以确定在所述回写限制条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第一数据块限制距离，第一数据块限制距离可以是指满足回写延时限制条件下该多媒体数据帧中已编码的数据块，与所述待编码数据块之间应保持的最小距离；确定在所述编码处理条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第二数据块限制距离，该第二数据块限制距离是指满足编码处理条件下该多媒体数据帧中已编码的数据块，与所述待编码数据块之间应保持的最小距离。然后，可以根据该第一位置信息、该最大编码块的尺寸信息和该第二位置信息、该第一数据块限制距离和所述第二数据块限制距离，从该第二候选参考数据块中确定出满足该编码处理条件的第二候选参考数据块，作为第二参考数据块。
可选的，上述步骤s55可包括如下步骤s61～s66：
s61、根据所述第一位置信息以及所述最大编码块的尺寸信息确定所述第二候选参考数据块的行标识和列标识。
s62、根据所述第二位置信息以及所述最大编码块的尺寸信息确定所述待编码数据块的行标识和列标识。
s63、从所述第二候选参考数据块中筛选出行标识小于或等于所述待编码数据块的行标识的第二候选参考数据块，作为第三候选参考数据块。
s64、根据所述第三候选参考数据块的行标识和所述待编码数据块的行标识确定所述第三候选参考数据块与所述待编码数据块之间的行距离。
s65、根据所述第三候选参考数据块的列标识和所述待编码数据块的列标识确定所述第三候选参考数据块与所述待编码数据块之间的列距离。
s66、将所述第三候选参考数据块中列距离小于第一距离阈值的第三候选参考数据块，确定为第二参考数据块；所述第一距离阈值是根据所述第一数据块限制距离、所述第二数据块限制距离、所述第三候选参考数据块与所述待编码数据块之间的行距离确定的。
在步骤s61～s66中，计算机设备可以分别采用上文公式(3)获取第二候选参考数据块的行标识和列标识、待编码数据块的行标识和列标识，然后，可以从该第二候选参考数据块中筛选出行标识小于或等于该待编码数据块的行标识的第二候选参考数据块，作为第三候选参考数据块。进一步，可以将第三候选参考数据块的行标识和所述待编码数据块的行标识之间的差值，确定为该第三候选参考数据块与所述待编码数据块之间的行距离，将该第三候选参考数据块的列标识和该待编码数据块的列标识之间的差值，确定为第三候选参考数据块与该待编码数据块之间的列距离；并将该第三候选参考数据块中列距离小于第一距离阈值的第三候选参考数据块，确定为第二参考数据块。例如，计算机设备可以将坐标满足如下公式(5)的第二候选参考数据块，确定为第一参考数据块：
Figure GDA0003778353380000241
其中，公式(5)中，ref_y_num、ref_x_num分别是指第二候选参考数据块的行标识和列标识，cur_y_num、cur_x_num分别是指待编码数据块的行标识和列标识，P是指在该回写限制条件下该多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第一数据块限制距离，E是指在所述编码处理条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第二数据块限制距离。特别的，第一数据块限制距离可以是根据该回写限制条件下该多媒体数据帧中已编码的数据块，与所述待编码数据块之间的间隔限制数据块数量确定的，如，P与上述D在数值上可以相同；第二数据块限制距离是根据该编码处理条件下该多媒体数据帧中已编码的数据块，与所述待编码数据块之间的间隔限制数据块数量确定的。ref_x_num-cur_x_num表示第三候选参考数据块与该待编码数据块之间的列距离，cur_y_num-ref_y_num表示第三候选参考数据块与所述待编码数据块之间的行距离。
需要说明的是，当该多媒体数据帧的编码方式为并行编码方式或串行编码方式时，计算机设备还可以通过如下方式获取第一参考数据块集合：根据第一位置信息、第二位置信息以及最大编码块的尺寸信息，确定已编码的数据块与待编码数据块之间的间隔数据块数量，并确定在回写延时条件下以及编码处理条件下已编码的数据块与待编码数据块之间的目标间隔限制数据块数量，目标间隔限制数据块数量是指满足回写延时条件以及编码处理条件下已编码的数据块与待编码数据块之间的最少间隔数据块数量，将多媒体数据帧中与待编码数据块属于同一编码片，且间隔数据块数量大于该目标间隔限制数据块数量的已编码的数据块，添加至第一参考数据块集合。
可选的，计算机设备可以从如下两种方式中选择一种方式或至少两种组合方式，获取第二参考数据块集合：
方式一：该第二参考数据块集合包括一个或多个第三参考数据块，第三参考数据块为该多媒体数据帧中与该待编码数据块位于同一编码处理单元的已编码的数据块。该编码处理单元也可以称为片上内存的基本单元(VPDU，Virtual Pipeline Data Units)，VPDU的尺寸信息可以根据编码器的编码处理能力确定的，例如，VPDU的尺寸为VPDU_WxVPDU_H,VPDU_W和VPDU_H的值均可以为4、8、16、32、64、128等等。也就是说，将多媒体数据帧中坐标满足ref_x/VPDU_W＝cur_x/VPDU_W且ref_y/VPDU_H＝cur_y/VPDU_H的已编码的数据块，作为第二参考数据块。再例如，如果VPDU的大小为64x64，则待编码数据块所属的VPDU 64x64中已编码的数据块均可以作为待编码数据块的参考数据块。或者，如果VPDU的大小为64x64，将多媒体数据帧中坐标满足Floor(ref_x/64)＝Floor(cur_x/64)且Floor(ref_y/64)＝Floor(cur_y/64)的已编码的数据块，作为第三参考数据块。
可选的，多媒体数据帧的待编码数据块的参考数据块的各个像素位于同一个VPDU中。
方式二：该第二参考数据块集合包括一个或多个第四参考数据块，该第四参考数据块为所述多媒体数据帧中与所述待编码数据块具有相邻关系，且与所述待编码数据块属于同一个编码片的已编码的数据块。其中，第二参考数据块与待编码数据块之间具有相邻关系可以包括如下三种情况中的一种或多种组合情况：
a、所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第四参考数据块与所述待编码数据块属于同一个最大编码块。
b、所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第四参考数据块位于与所述待编码数据块相邻的N个最大编码块内，且所述最大编码块的尺寸小于尺寸阈值；N是根据所述最大编码块的尺寸信息确定的；所述第一方向与所述多媒体数据帧的编码方向相反。例如，多媒体数据帧的编码方向为从左到右，尺寸阈值可以是根据应用场景动态或用户需求设置的，如尺寸阈值可以为128x128，则第一参考数据块与所述待编码数据块具有相邻关系是指：该第四参考数据块位于该待编码数据块的左侧的N个最大编码块内，且该最大编码块的尺寸小于128x128。N可以是根据如下公式(6)确定的：
Figure GDA0003778353380000261
其中，log2_sb_size是指中间变量，sb_size是指最大编码块的尺寸。
c、所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第四参考数据块位于与所述待编码数据块相邻的N个最大编码块内，且所述最大编码块的尺寸大于或等于尺寸阈值；所述多媒体数据帧中所述第四参考数据块向右移动一个最大编码块后所在区域中位于左上角的数据块为未重建的数据块；所述第四参考数据块移动(移动方向与编码方向相同)一个最大编码块的距离时的位置信息，与所述待编码数据块的位置信息不相同；N是根据所述最大编码块的尺寸信息确定的。也就是说，当述最大编码块的尺寸大于或等于尺寸阈值，如最大编码块的尺寸为128x128时，第四参考数据块需要满足如下三个条件：1、与所述待编码数据块属于同一个编码片的已编码的数据块；2、第四参考数据块向右移动128个像素后坐标为(ref_x+128，ref_y)，则多媒体数据帧中坐标为(ref_x+128，ref_y)尺寸为64x64的区域中位于左上角的数据块为未重建的数据块；3、该第四参考数据块向右侧移动一个最大编码块的距离时的位置信息，与该待编码数据块的位置信息不相同，该条件可以采用公式(7)表示：
Figure GDA0003778353380000271
其中，公式(7)中！＝表示不等于。
可选的，该第一目标参考数据块与所述待编码数据块之间的距离均小于第二距离阈值；该第二距离阈值可以是根据应用场景或用户需求动态设置的，如该第二距离阈值可以为214，同时，该第一目标参考数据块位于所述多媒体数据帧的整像素位置。
例如，当多媒体数据帧的编码方式为并行编码方式，最大编码块的尺寸为128*128，在回写延时限制条件下已编码的数据块与待编码数据块之间的间隔限制数据块数量为4，在编码处理条件下已编码的数据块与待编码数据块之间的间隔限制数据块数量为2，第二参考数据块集合的获取方式为上述方式一，VPDU的尺寸为64x64时，第一参考数据块集合、第二参考数据块集合与待编码数据块之间的关系如图8所示。图8中一个最小方格(即虚线画出的小方格)的尺寸为64x64，实线画出的小方格的尺寸为128x128，数据块的尺寸为32x32。因此，图8中多媒体数据帧中位于第一行的第19个格子中的已编码的数据块属于第二参考数据块集合，该第二参考数据块集合用于对第一行的第19个格子中的待编码数据块进行编码。多媒体数据帧中第一行和第二行中与待编码数据块相隔8个数据块的已编码的数据块属于第一参考数据块集合，该第一参考数据块集合用于对第一行的第19个格子中的待编码数据块进行编码。从图8可知，第一参考数据块集合中的参考数据块数量比第二参考数据块集合中的参考数据块数量，第一参考数据块集合中的参考数据块与待编码数据块不具有相邻关系，第二参考数据块集合中的参考数据块与待编码数据块之间具有相邻关系。
例如，当多媒体数据帧的编码方式为并行编码方式，最大编码块的尺寸为128*128，在回写延时限制条件下已编码的数据块与待编码数据块之间的间隔限制数据块数量为4，在编码处理条件下已编码的数据块与待编码数据块之间的间隔限制数据块数量为2，第二参考数据块集合的获取方式为上述方式二，VPDU的尺寸为64x64时，第一参考数据块集合、第二参考数据块集合与待编码数据块之间的关系如图9所示。图9中一个最小方格(即虚线画出的小方格)的尺寸为64x64，实线画出的小方格的尺寸为128x128，数据块的尺寸为32x32。因此，图9中多媒体数据帧中位于第一行的第19个格子中的已编码的数据块，以及位于待编码数据块的左边的最大编码块中的已编码的数据块属于第二参考数据块集合，该第二参考数据块集合用于对第一行的第19个格子中的待编码数据块进行编码。多媒体数据帧中第一行和第二行中与待编码数据块相隔8个数据块的已编码的数据块属于第一参考数据块集合，该第一参考数据块集合用于对第一行的第19个格子中的待编码数据块进行编码。从图12可知，第一参考数据块集合中的参考数据块数量比第二参考数据块集合中的参考数据块数量，第一参考数据块集合中的参考数据块与待编码数据块不具有相邻关系，第二参考数据块集合中的参考数据块与待编码数据块之间具有相邻关系。
需要说明的是，如果待编码数据块的色度分量是根据第一目标参考数据块的亮度分量进行预测编码得到的，且该第一目标参考数据块为第一参考数据块时，该第一目标参考数据块的亮度分量和色度分量均需要满足与第一参考数据块相关的条件，与第一参考数据块相关的条件可以是指上述确定第一参考数据块集合的条件。如果待编码数据块的色度分量是根据第一目标参考数据块的亮度分量进行预测编码得到的，且该第一目标参考数据块为第二参考数据块时，该第一目标参考数据块的亮度分量和色度分量均需要满足与第二参考数据块相关的条件，与第二参考数据块相关的条件可以是指上述确定第二参考数据块集合的条件。
可选的，待编码数据块与已编码数据块之间具有相邻关系可以是指待编码数据块的编码顺序与已编码的数据块的编码顺序相邻；待编码数据块与已编码的数据块之间不具有相邻关系可以是指待编码数据块的编码顺序与已编码的数据块的编码顺序不相邻。
可选的，所述多媒体数据帧的待编码数据块的数量为多个，获取根据所述多媒体数据帧的各个待编码数据块的属性信息；当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中所有的待编码数据块对应的第一目标参考数据块均属于所述第二参考数据块集合时，对所述多媒体数据帧中的待编码数据块进行滤波处理；当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中存在待编码数据块对应的第一目标参考数据块选自所述第一参考数据块集合时，暂停对所述多媒体数据帧中的待编码数据块进行滤波处理。当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中存在待解码数据块对应的第二目标参考数据块的第一区域属于所述第一参考数据块集合，所述第二目标参考数据块的第二区域属于所述第二参考数据块集合时，暂停对所述多媒体数据帧中的待解码数据块进行滤波处理。
也就是说，在编码端，当多媒体数据帧中的数据块均采用第二参考数据块集合中的参考数据块进行编码，则允许使用环路滤波器对多媒体数据帧进行滤波处理，有利于提高多媒体数据帧的质量。当多媒体数据帧中的数据块存在采用第一参考数据块集合中的参考数据块进行编码，或者，当多媒体数据帧中的数据块存在第一目标参考数据块部分属于第一参考数据块集合，且部分属于第二参考数据块集合时，则禁止使用环路滤波器对多媒体数据帧进行滤波处理，通过禁止使用环路滤波器对多媒体数据帧进行处理，避免增加额外的图像存储需求，有利于节省存储空间。环路滤波器可以包括但不限于：DBF(Deblockingfilter,去块滤波器)，SAO(Sample Adaptive Offset,样点自适应补偿)，ALF(AdaptiveLoop Filter，自适应环路滤波器)，CDEF(constrained directional enhancement,约束方向增强滤波器)，LR(loop restoration,环路恢复滤波其)，CCSO(Cross Component SampleOffset,跨分量的样点补偿)等等。
进一步地，请参见图10，是本申请实施例提供的一种多媒体数据处理方法的流程示意图。如图10所示，该方法至少可以包括以下S201-S203：
S201、获取多媒体数据帧中待解码数据块的属性信息。
本申请中，计算机设备可以获取该多媒体数据帧中的待解码数据块的属性信息，该待解码数据块可以是指上文中的当前编码数据块，待解码数据块可以是指多媒体数据帧中的未编码的数据块中即将编码的数据块，即待解码数据块可以是指多媒体数据帧中与已解码的数据块的距离最近的未编码数据块。
其中，待解码数据块的属性信息包括待解码数据块所属的多媒体数据帧的媒体类型、多媒体数据帧的参考标志、待解码数据块所属的多媒体数据帧的清晰度等等中的一种或多种；媒体类型包括帧内和非帧内，帧内类型可以是指具有代表意义的多媒体数据帧，帧内类型是全帧内编码帧，Intra帧，I帧，关键帧。这种类型的帧只允许使用帧内编码技术，不需要依赖其他帧进行编码。例如，帧内类型可以是指能够体现视频数据或图像数据中主要含义的多媒体数据帧；非帧内类型可以是指视频数据或图像数据中除帧内类型以外的多媒体数据帧，非帧内类型可以称为帧间编码帧，P帧、B帧，非关键帧。这种类型的帧允许使用帧间编码技术和帧内编码技术，通常当采用帧间编码技术时，需要在参考帧编码完成后才可以进行编码。多媒体数据帧的参考标志用于反映待解码数据块的参考数据块的选择范围。
S202、根据该属性信息，获取与该待解码数据块的属性信息相匹配的第二目标参考数据块；其中，所述第二目标参考数据块属于第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待解码数据块之间不具有相邻关系的已解码的数据块，所述第二参考数据块集合包括与所述待解码数据块之间具有相邻关系的已解码的数据块。
本申请中，多媒体数据帧与待解码数据块不具有相邻关系的已解码的数据块、与待解码数据块具有相邻关系的已解码的数据块均能够用于作为参考数据块，计算机设备通过根据待解码数据块的属性信息，自适应地从具有相邻关系的已解码的数据块和不具有相邻关系的已解码的数据块中选择第二目标参考数据块，可提高获取参考数据块的灵活性以及准确度。
需要说明的是，本申请中的已解码的数据块，也可以称为解码端已重建的数据块，已重建的数据块为指已解码的数据块经过恢复处理后的数据块。
需要说明的是，该第二目标参考数据块可以是指与待解码数据块具有相邻关系的已解码数据块，或，该第二目标参考数据块可以是指与待解码数据块不具有相邻关系的已解码数据块，或者，该第二目标参考数据块的第二区域属于与待解码数据块具有相邻关系的已解码数的据块，且该第二目标参考数据块的第二区域可以属于与待解码数据块不具有相邻关系的已解码的数据块。
S203、根据所述第二目标参考数据块对所述待解码数据块进行解码。
本申请中，计算机设备可以根据第二目标参考数据块、待解码数据块分别在多媒体数据帧的位置信息，根据该位置信息确定第二目标参考数据块与待解码数据块之间的块矢量，然后，根据该块矢量以及第二目标参考数据块预测得到待解码数据块的预测信号，将该预测信号与待解码数据块的残差信号进行相加得到该待解码数据块的原始信号。通过对待解码数据块进行解码，有利于去除多媒体数据帧进行恢复处理，提高多媒体数据帧的质量。
需要说明的是，通常视频数据中包括多个多媒体数据帧，或者，图像数据中包括多个多媒体数据帧，但上述待解码数据块、第二目标参考数据块均属于同一多媒体数据帧。
本申请中，计算机设备通过获取与待解码数据块的属性信息相匹配的第二目标参考数据块，该第二目标参考数据块属于第一参考数据块集合、第二参考数据块集合，或融合该第一参考数据块集合和该第二参考数据块集合的第三参考数据块集合；也就是说，可供选择的参考数据块集合包括第一参考数据块集合、第二参考数据块集合以及第三参考数据块集合，扩展了参考数据块的选择范围；同时，根据待解码数据块的属性信息，自适应地选择第二目标参考数据块，根据第二目标参考数据块对待解码数据块进行解码，能够提高获取第二目标参考数据块的灵活性和准确度，进一步，提高对多媒体数据帧的解码性能。同时，通过根据第二目标参考数据块对待解码数据块进行解码，有利于对多媒体数据帧进行恢复处理，提高多媒体数据帧的质量。
可选的，计算机设备可以通过如下三种匹配方式中的一种或多种组合方式，获取与待解码数据块的属性信息匹配的第二目标参考数据块：
匹配方式一：若该多媒体数据帧的媒体类型为帧内类型，则从第一参考数据块集合中或第三参考数据块集合中获取与该待解码数据块的属性信息相匹配的第二目标参考数据块；该第二目标参考数据块是根据该第一参考数据块和该第二参考数据块确定得到；若该多媒体数据帧的媒体类型为非帧内类型，则从第二参考数据块集合中获取与该待解码数据块的属性信息相匹配的第二目标参考数据块。
可选的，待解码数据块与已解码数据块之间具有相邻关系可以是指待解码数据块的解码顺序与已解码的数据块的解码顺序相邻；待解码数据块与已解码的数据块之间不具有相邻关系可以是指待解码数据块的解码顺序与已解码的数据块的解码顺序不相邻。
需要说明的是，第一参考数据块集合和第二参考数据块集合分别存储在第一存储空间和第二存储空间，第一存储空间和第二存储空间可以位于同一个计算机设备中，也可以位于不同计算机设备中。第一存储空间和第二存储空间具体可以是指磁盘，或者，存储介质阵列等等，本申请对此不做限定。特别地，当该第一存储空间和第二存储空间位于同一个计算机设备中时，第一存储空间可以是指计算机设备的片外存储器，第二存储空间可以是指计算机设备的片上存储器；或者，第一存储空间可以是指计算机设备的片上存储器，第二存储空间可以是指计算机设备的片外存储器；本申请对此不做限定。
在匹配方式一中，如果该多媒体数据帧的媒体类型为帧内类型，表明该多媒体数据帧的重要性比较高，可以从第一参考数据块集合和第二参考数据块集合(即第三参考数据块集合)中搜索与待解码数据块之间具有最强相关性的数据块(即搜索最优数据块)，作为与该待解码数据块的属性信息匹配的第二目标参考数据块，该第二目标参考数据块是根据该第一参考数据块集合和该第二参考数据块集合确定的。即第一参考数据块集合和第二参考数据块集合中的任一数据块均允许作为参考数据块，扩展了参考数据块的选择范围，有利于提高对多媒体数据帧的解码性能。如果该多媒体数据帧的媒体类型为非帧内类型，表明该多媒体数据帧的重要性比较低，则从该第二参考数据块集合中搜索与待解码数据块之间具有最强相关性的数据块，作为与该待解码数据块的属性信息相匹配的第二目标参考数据块。通过根据多媒体数据帧的媒体类型，自适应地选择与待解码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
在匹配方式一中，如果该多媒体数据帧的媒体类型为帧内类型，可以从第一参考数据块集合中搜索与待解码数据块之间具有最强相关性的数据块，作为与该待解码数据块的属性信息匹配的第二目标参考数据块。如果该多媒体数据帧的媒体类型为非帧内类型，则从该第二参考数据块集合中搜索与待解码数据块之间具有最强相关性的数据块，作为与该待解码数据块的属性信息相匹配的第二目标参考数据块。通过根据多媒体数据帧的媒体类型，自适应地选择与待解码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
需要说明的是，此处第二目标参考数据块是根据该第二参考数据块集合和该第二参考数据块集合确定得到的具有如下含义中的一种：1、第二目标参考数据块属于第一参考数据块集合；2、第二目标参考数据块属于第二参考数据块集合；3、该第二目标参考数据块的第二区域属于第二参考数据块集合，且该第二目标参考数据块的第二区域可以属于第二参考数据块集合，即第二目标参考数据块部分属于第二参考数据块集合，且部分属于第一数据块集合。
匹配方式二：当该待解码数据块的属性信息包括所述待解码数据块所属的多媒体数据帧的参考标志时；计算机设备获取与该待解码数据块的属性信息相匹配的第二目标参考数据块，包括：若该多媒体数据帧的参考标志为第一参考标志，则从第一参考数据块集合或第三参考数据块集合中获取与该待解码数据块的属性信息相匹配的第二目标参考数据块；若该多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中获取与该待解码数据块的属性信息相匹配的第二目标参考数据块。该参考标志可以是指由多媒体数据帧的发送者(或接收者)预先设置的，因此，根据参考标志自适应的选择第二目标参考数据块，相当于，根据用户的编码需求自适应的选择第二目标参考数据块，有利于提高选择的参考数据块的灵活性和准确性。
第一参考标志为用于指示待解码数据块的参考数据块的选择范围为第一参考数据块集合或者第三参考数据块集合，第二参考标志为用于指示待解码数据块的参考数据块的选择范围为第二参考数据块集合。第一参考标志、第二参考标志可以是由多媒体数据帧的发送者(或接收者)预先设置的，第一参考标志、第二参考标志可以是指数字、字母、汉字中的一种或多种构成。例如，第一参考标志(ibc_ref_flag)为1，第二参考标志为0，当多媒体数据帧中多媒体数据帧的参考标志为1时，计算机设备可以从第一参考数据块集合中获取与该待解码数据块的属性信息相匹配的第二目标参考数据块。当多媒体数据帧中多媒体数据帧的参考标志为0时，计算机设备可以从第二参考数据块集合中获取与该待解码数据块的属性信息相匹配的第二目标参考数据块。
在匹配方式二中，若该多媒体数据帧的参考标志为第二参考标志，则从第一参考数据块集合和第二参考数据块集合中(即第三参考数据块集合)搜索与待解码数据块之间具有最强相关性的数据块，作为与该待解码数据块的属性信息相匹配的第二目标参考数据块，这时第二目标参考数据块是根据第二参考数据块集合和第二参考数据块集合确定得到的；若该多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中搜索与待解码数据块之间具有最强相关性的数据块，作为与该待解码数据块的属性信息相匹配的第二目标参考数据块。通过根据多媒体数据帧的参考标志，自适应地选择与待解码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
在匹配方式二中，若该多媒体数据帧的参考标志为第二参考标志，则从第一参考数据块集合中搜索与待解码数据块之间具有最强相关性的数据块，作为与该待解码数据块的属性信息相匹配的第二目标参考数据块，这时第二目标参考数据块是指第一参考数据块集合中的任一参考数据块；若该多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中搜索与待解码数据块之间具有最强相关性的数据块，作为与该待解码数据块的属性信息相匹配的第二目标参考数据块，这时第二目标参考数据块可以是指第二参考数据块集合中任一参考数据块。通过根据多媒体数据帧的参考标志，自适应地选择与待解码数据块相匹配的参考数据块，有利于提高获取参考数据块的准确度以及灵活性。
匹配方式三，当该待解码数据块的属性信息包括待解码数据块所属的多媒体数据帧的清晰度时，当待解码数据块所属的多媒体数据帧的清晰度大于清晰度阈值，表明用户对多媒体数据帧的质量要求比较高，可以从第一参考数据块集合或第三参考数据块集合中获取与该待解码数据块的属性信息匹配的第二目标参考数据块。当待解码数据块所属的多媒体数据帧的清晰度小于或等于清晰度阈值，表明用户对多媒体数据帧的质量要求比较低，可以从第二参考数据块集合中获取与该待解码数据块的属性信息匹配的第二目标参考数据块。多媒体数据帧的清晰度可以用于反映用户对多媒体数据帧的质量要求，因此，根据多媒体数据帧的清晰度自适应的选择第二目标参考数据块，相当于，根据用户对多媒体数据帧的质量需求自适应的选择第二目标参考数据块，有利于提高选择的参考数据块的灵活性和准确性。
可选的，计算机设备可以根据多媒体数据帧的解码方式从如下两种方式中选择一种方式，获取第一参考数据块集合：
方式一：当该多媒体数据帧的解码方式为串行解码方式时，该第一参考数据块集合中的第一参考数据块为所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待解码数据块属于同一个解码片的已解码的数据块；所述参数关联关系用于反映第一位置信息，与最大解码块的尺寸信息和第二位置信息之间的关联关系，所述第一位置信息、第二位置信息分别是指已解码的数据块、所述待解码数据块在所述多媒体数据帧中的位置信息；所述回写限制条件用于反映将所述已解码的数据块写入至所述第一参考数据块集合的限制时延。也就是说，串行解码方式是指同一时间仅对多媒体数据帧中的一个数据块进行解码，如果多媒体数据帧的解码方式为串行解码方式时，该解码方式不会对参考数据块的确定过程造成影响。但是，已解码的数据块写入至第一参考数据块集合中会带来较大回写延时，即已解码的数据块写入至第一参考数据块集合中需要消耗较长时间，因此，已解码的数据块至少等待预设时长后，才能够被用于作为参考数据块，预设时长是根据将所述已解码的数据块写入至所述第一参考数据块集合的限制时延确定的，该限制时延可以是指将已解码的数据块写入至第一参考数据块集合中的平均时延、最大时延以及最小时延等中的一种。由此可知，当该多媒体数据帧的解码方式为串行解码方式时，该第一参考数据块集合中的第一参考数据块需要满足以下两个条件：a、与待解码数据块属于同一个解码片；b、参数关联关系满足回写限制条件。
方式二：当该多媒体数据帧的解码方式为并行解码方式或者为串行解码方式时，该第一参考数据块集合的第二参考数据块为与该待解码数据块属于同一个解码片，且该多媒体数据帧中参数关联关系满足回写限制条件，以及该参数关联关系满足解码处理条件的已解码的数据块；该参数关联关系用于反映已解码的数据块、该待解码数据块分别在该多媒体数据帧中的位置信息，以及最大解码块的尺寸信息之间的关联关系；该回写限制条件用于反映将该已解码的数据块写入至该第一参考数据块集合的限制时延。也就是说，并行解码方式是指同一时间对多媒体数据帧中的多个数据块进行预测解码，如果多媒体数据帧的解码方式为并行解码方式时，该解码方式会对参考数据块的确定过程造成影响。同时，已解码的数据块写入至第一参考数据块集合中会带来较大回写延时，由此可知，当该多媒体数据帧的解码方式为并行解码方式时，该第一参考数据块集合中的第二参考数据块需要满足以下三个条件：a、与待解码数据块属于同一个解码片；b、参数关联关系满足回写限制条件；c、参数关联关系满足解码处理条件。特别的，当该多媒体数据帧的解码方式为串行解码方式时，也可以采用方式二获取第一参考数据块集合。此处解码处理条件可以是指并行解码处理条件。
需要说明的是，第一参考数据块集合的具体获取方式可以参考编码段获取第一参考数据块集合的获取方式，重复之处，不再赘述。
可选的，计算机设备可以从如下两种方式中选择一种方式或至少两种组合方式，获取第二参考数据块集合：
方式一：该第二参考数据块集合的第三参考数据块为该多媒体数据帧中与该待解码数据块位于同一解码处理单元的已解码的数据块。该解码处理单元也可以称为片上内存的基本单元(VPDU，Virtual Pipeline Data Units)，VPDU的尺寸信息可以根据解码器的解码处理能力确定的，例如，VPDU的尺寸为VPDU_WxVPDU_H,VPDU_W和VPDU_H的值均可以为4、8、16、32、64、128等等。也就是说，将多媒体数据帧中坐标满足ref_x/VPDU_W＝cur_x/VPDU_W且ref_y/VPDU_H＝cur_y/VPDU_H的已解码的数据块，作为第二参考数据块。再例如，如果VPDU的大小为64x64，则待解码数据块所属的VPDU 64x64中已解码的数据块均可以作为待解码数据块的参考数据块。或者，如果VPDU的大小为64x64，将多媒体数据帧中坐标满足Floor(ref_x/64)＝Floor(cur_x/64)且Floor(ref_y/64)＝Floor(cur_y/64)的已解码的数据块，作为第三参考数据块。
方式二：该第二参考数据块集合的第四参考数据块为所述多媒体数据帧中与所述待解码数据块具有相邻关系，且与所述待解码数据块属于同一个解码片的已解码的数据块。其中，第四参考数据块与待解码数据块之间具有相邻关系可以包括如下三种情况中的一种或多种组合情况：
a、所述第四参考数据块与所述待解码数据块具有相邻关系是指：所述第二参考数据块与所述待解码数据块属于同一个最大解码块。
b、所述第四参考数据块与所述待解码数据块具有相邻关系是指：所述第二参考数据块位于与所述待解码数据块相邻的N个最大解码块内，且所述最大解码块的尺寸小于尺寸阈值；N是根据所述最大解码块的尺寸信息确定的；所述第一方向与所述多媒体数据帧的解码方向相反。
需要说明的是，最大编码块的尺寸与最大解码块的尺寸相同，待编码数据块的尺寸与待解码数据块的尺寸相同，编码片的尺寸与解码片的尺寸相同。
可选的，该第一参考数据块、所述第二参考数据块与所述待解码数据块之间的距离均小于第二距离阈值；该第二距离阈值可以是根据应用场景或用户需求动态设置的，如该第二距离阈值可以为214，同时，该第一参考数据块、第二参考数据块位于所述多媒体数据帧的整像素位置。
可选的，所述多媒体数据帧的待解码数据块的数量为多个，获取根据所述多媒体数据帧的各个待解码数据块的属性信息；当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中所有的待解码数据块对应的第二目标参考数据块均属于所述第二参考数据块集合时，对所述多媒体数据帧中的待解码数据块进行滤波处理；当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中存在待解码数据块对应的第二目标参考数据块属于所述第一参考数据块集合时，暂停对所述多媒体数据帧中的待解码数据块进行滤波处理。当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中存在待解码数据块对应的第二目标参考数据块第一区域属于所述第一参考数据块集合，所述第二目标参考数据块第二区域属于所述第二参考数据块集合时，暂停对所述多媒体数据帧中的待解码数据块进行滤波处理。
也就是说，在解码端，当多媒体数据帧中的数据块均采用第二参考数据块集合中的参考数据块进行解码，则允许使用环路滤波器对多媒体数据帧进行滤波处理，有利于提高多媒体数据帧的质量。当多媒体数据帧中的数据块存在采用第一参考数据块集合中的参考数据块进行解码，或者，当多媒体数据帧中的数据块的第二目标参考数据块部分区域属于第一参考数据块集合，且第二目标参考数据块部分区域属于第二参考数据块集合，则禁止使用环路滤波器对多媒体数据帧进行滤波处理，通过禁止使用环路滤波器对多媒体数据帧进行处理，避免增加额外的图像存储需求，有利于节省存储空间。
请参见图11，是本申请实施例提供的一种多媒体数据处理装置的结构示意图。上述多媒体数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该多媒体数据处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示，该多媒体数据处理装置可以包括：获取模块111、匹配模块112以及编码模块113。
获取模块，用于获取多媒体数据帧中待编码数据块的属性信息；
匹配模块，用于根据所述属性信息，获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；其中，所述第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待编码数据块之间不具有相邻关系的已编码的数据块，所述第二参考数据块集合包括与所述待编码数据块之间具有相邻关系的已编码的数据块；
编码模块，用于根据所述第一目标参考数据块对所述待编码数据块进行预测编码。
可选的，所述待编码数据块的属性信息包括所述待编码数据块所属的多媒体数据帧的媒体类型；所述匹配模块获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块，包括：
若所述多媒体数据帧的媒体类型为帧内类型，则从所述第一参考数据块集合或所述第三参考数据块集合中中获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；
若所述多媒体数据帧的媒体类型为非帧内类型，则从第二参考数据块集合中获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块。
可选的，所述待编码数据块的属性信息包括所述待编码数据块所属的多媒体数据帧的参考标志；所述匹配模块获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块，包括：
若所述多媒体数据帧的参考标志为第一参考标志，则从所述第一参考数据块集合或所述第三参考数据块集合中获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；
若所述多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块。
可选的，所述第一参考数据块集合包括一个或多个第一参考数据块；当所述多媒体数据帧的编码方式为串行编码方式时，第一参考数据块为所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块；
所述参数关联关系用于反映第一位置信息，与最大编码块的尺寸信息和第二位置信息之间的关联关系，所述第一位置信息、第二位置信息分别是指已编码的数据块、所述待编码数据块在所述多媒体数据帧中的位置信息；
所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延。
可选的，获取模块，用于当所述多媒体数据帧的编码方式为串行编码方式时，分别获取第一位置信息，以及所述最大编码块的尺寸信息和第二位置信息；所述第一位置信息、第二位置信息分别是指已编码的数据块、所述待编码数据块在所述多媒体数据帧中的位置信息；获取回写限制条件；所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延；从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第一参考数据块；所述参数关联关系用于反映所述第一位置信息，与所述最大编码块的尺寸信息和所述第二位置信息之间的关联关系；将所述第一参考数据块添加至所述第一参考数据块集合。
可选的，所述获取模块从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第一参考数据块，包括：
根据所述第一位置信息和所述第二位置信息，从所述多媒体数据帧中筛选出与所述待编码数据块属于同一编码片的已编码的数据块，作为第一候选参考数据块；
确定在所述回写限制条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的间隔数据块限制数量；
根据所述第一位置信息、所述最大编码块的尺寸信息和所述第二位置信息，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量；
将间隔数据块数量大于所述间隔数据块限制数量的第一候选参考数据块，确定为第一参考数据块。
可选的，所述获取模块根据所述第一位置信息、所述最大编码块的尺寸信息和第二位置信息，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量，包括：
根据所述第一位置信息以及所述最大编码块的尺寸信息确定所述第一候选参考数据块的行标识和列标识；
根据所述第二位置信息以及所述最大编码块的尺寸信息确定所述待编码数据块的行标识和列标识；
基于所述待编码数据块的尺寸信息确定所述多媒体数据帧中每行的数据块数量；
根据所述每行的数据块数量、所述第一候选参考数据块的行标识和列标识，以及所述待编码数据块的行标识和列标识，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量。
可选的，所述第一参考数据块集合包括一个或多个第二参考数据块；所述第二参考数据块为与所述待编码数据块属于同一个编码片，且所述多媒体数据帧中参数关联关系满足回写限制条件，以及所述参数关联关系满足编码处理条件的已编码的数据块；所述参数关联关系用于反映已编码的数据块、所述待编码数据块分别在所述多媒体数据帧中的位置信息，以及最大编码块的尺寸信息之间的关联关系；所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延。
可选的，获取模块，用于分别获取第一位置信息，以及所述最大编码块的尺寸信息和第二位置信息；所述第一位置信息、第二位置信息分别是指已编码的数据块、所述待编码数据块在所述多媒体数据帧中的位置信息；获取回写限制条件以及编码处理条件；所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延；从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件和所述编码处理条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第二参考数据块；所述参数关联关系用于反映所述第一位置信息，与所述待编码数据块的尺寸信息和所述第二位置信息之间的关联关系；将所述第二参考数据块添加至所述第一参考数据块集合。
可选的，所述获取模块从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件和所述编码处理条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第二参考数据块，包括：
根据所述第一位置信息和所述第二位置信息，从所述多媒体数据帧中筛选出与所述待编码数据块属于同一编码片的已编码的数据块，作为第一候选参考数据块；
从所述第一候选参考数据块中筛选出参数关联关系满足回写限制条件的第一候选参考数据块，作为第二候选参考数据块；
确定在所述回写限制条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第一数据块限制距离；
确定在所述编码处理条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第二数据块限制距离；
根据所述第一位置信息、所述最大编码块的尺寸信息和所述第二位置信息、所述第一数据块限制距离和所述第二数据块限制距离，从所述第二候选参考数据块中确定出满足所述编码处理条件的第二候选参考数据块，作为第二参考数据块。
可选的，所述获取模块根据所述第一位置信息、所述最大编码块的尺寸信息和第二位置信息、所述第一数据块限制距离和所述第二数据块限制距离，从所述第二候选参考数据块中确定出满足所述编码处理条件的第二候选参考数据块，作为第二参考数据块，包括：
根据所述第一位置信息以及所述最大编码块的尺寸信息确定所述第二候选参考数据块的行标识和列标识；
根据所述第二位置信息以及所述最大编码块的尺寸信息确定所述待编码数据块的行标识和列标识；
从所述第二候选参考数据块中筛选出行标识小于或等于所述待编码数据块的行标识的第二候选参考数据块，作为第三候选参考数据块；
根据所述第三候选参考数据块的行标识和所述待编码数据块的行标识确定所述第三候选参考数据块与所述待编码数据块之间的行距离；
根据所述第三候选参考数据块的列标识和所述待编码数据块的列标识确定所述第三候选参考数据块与所述待编码数据块之间的列距离；
将所述第三候选参考数据块中列距离小于第一距离阈值的第三候选参考数据块，确定为第二参考数据块；所述第一距离阈值是根据所述第一数据块限制距离、所述第二数据块限制距离、所述第三候选参考数据块与所述待编码数据块之间的行距离确定的。
可选的，所述第二参考数据块集合包括一个或多个第三参考数据块，第三参考数据块为所述多媒体数据帧中与所述待编码数据块位于同一编码处理单元的已编码的数据块。
可选的，所述第二参考数据块集合包括一个或多个第四参考数据块，所述第四参考数据块为所述多媒体数据帧中与所述待编码数据块具有相邻关系，且与所述待编码数据块属于同一个编码片的已编码的数据块。
可选的，所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第二参考数据块与所述待编码数据块属于同一个最大编码块。
可选的，所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第二参考数据块位于与所述待编码数据块相邻的N个最大编码块内，且所述最大编码块的尺寸小于或等于尺寸阈值；N是根据所述最大编码块的尺寸信息确定的。
可选的，所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第二参考数据块位于与所述待编码数据块相邻的N个最大编码块内，且所述最大编码块的尺寸大于或等于尺寸阈值；所述多媒体数据帧中所述第二参考数据块向右移动一个最大编码块后所在区域中位于左上角的数据块为未重建的数据块；所述第二参考数据块移动一个最大编码块的距离时的位置信息，与所述待编码数据块的位置信息不相同；N是根据所述最大编码块的尺寸信息确定的。
可选的，所述第一目标参考数据块与所述待编码数据块之间的距离均小于第二距离阈值；所述第一目标参考数据块位于所述多媒体数据帧的整像素位置。
可选的，所述多媒体数据帧的待编码数据块的数量为多个，获取模块，用于获取根据所述多媒体数据帧的各个待编码数据块的属性信息；当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中所有的待编码数据块对应的第一目标参考数据块均属于所述第二参考数据块集合时，对所述多媒体数据帧中的待编码数据块进行滤波处理；当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中存在待编码数据块对应的第一目标参考数据块选自所述第一参考数据块集合时，暂停对所述多媒体数据帧中的待编码数据块进行滤波处理。当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中存在待编码数据块对应的第一目标参考数据块的第一区域属于所述第一参考数据块集合，所述第一目标参考数据块的第二区域属于所述第二参考数据块集合时，暂停对所述多媒体数据帧中的待编码数据块进行滤波处理
根据本申请的一个实施例，图7所示的数据处理方法所涉及的步骤可由图11所示的数据处理装置中的各个模块来执行。例如，图7中所示的步骤S101可由图11中的获取模块111来执行，图7中所示的步骤S102可由图11中的匹配模块112来执行；图7中所示的步骤S103可由图11中的编码模块113来执行。
根据本申请的一个实施例，图11所示的多媒体数据处理装置中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的至少两个子单元，可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由至少两个单元来实现，或者至少两个模块的功能由一个单元实现。在本申请的其它实施例中，数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由至少两个单元协作实现。
根据本申请的一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图10和图11中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图11中所示的多媒体数据处理装置，以及来实现本申请实施例的数据处理方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本申请中，计算机设备通过获取与待编码数据块的属性信息相匹配的第一目标参考数据块，该第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合该第一参考数据块集合和该第二参考数据块集合的第三参考数据块集合；也就是说，可供选择的参考数据块集合包括第一参考数据块集合、第二参考数据块集合以及第三参考数据块集合，扩展了参考数据块的选择范围；同时，根据待编码数据块的属性信息，自适应地选择第一目标参考数据块，根据第一目标参考数据块对待编码数据块进行预测编码，能够提高获取第一目标参考数据块的灵活性和准确度，进一步，提高对多媒体数据帧的编码性能。同时，通过根据第一目标参考数据块对待编码数据块进行预测编码，有利于去除多媒体数据帧中的冗余，提高多媒体数据帧的传输效率，并节省传输资源。
请参见图12，是本申请实施例提供的一种多媒体数据处理装置的结构示意图。上述多媒体数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该多媒体数据处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图12所示，该多媒体数据处理装置可以包括：获取模块121、匹配模块122以及解码模块123。
获取模块，用于获取多媒体数据帧中待解码数据块的属性信息；
匹配模块，用于根据所述属性信息，获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；其中，所述第二目标参考数据块属于第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待解码数据块之间不具有相邻关系的已解码的数据块，所述第二参考数据块集合包括与所述待解码数据块之间具有相邻关系的已解码的数据块；
解码模块，用于根据所述第二目标参考数据块对所述待解码数据块进行解码。
可选的，所述待解码数据块的属性信息包括所述待解码数据块所属的多媒体数据帧的媒体类型；所述匹配模块获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块，包括：
若所述多媒体数据帧的媒体类型为帧内类型，则从第一参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；
若所述多媒体数据帧的媒体类型为非帧内类型，则从所述第一参考数据块集合或者第三参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块。
可选的，所述待解码数据块的属性信息包括所述待解码数据块所属的多媒体数据帧的参考标志；所述匹配模块获取与所述待解码数据块的属性信息相匹配的第一目标参考数据块，包括：
若所述多媒体数据帧的参考标志为第一参考标志，则从所述第一参考数据块集合或者第三参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；
若所述多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块。
可选的，所述第一参考数据块集合包括一个或多个第一参考数据块；当所述多媒体数据帧的解码方式为串行解码方式时，所述第一参考数据块为所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待解码数据块属于同一个解码片的已解码的数据块；
所述参数关联关系用于反映第一位置信息，与最大解码块的尺寸信息和第二位置信息之间的关联关系，所述第一位置信息、第二位置信息分别是指已解码的数据块、所述待解码数据块在所述多媒体数据帧中的位置信息；
所述回写限制条件用于反映将所述已解码的数据块写入至所述第一参考数据块集合的限制时延。
可选的，所述第一参考数据块集合包括一个或多个第二参考数据块；所述第二参考数据块为与所述待解码数据块属于同一个解码片，且所述多媒体数据帧中参数关联关系满足回写限制条件，以及所述参数关联关系满足解码处理条件的已解码的数据块；所述参数关联关系用于反映已解码的数据块、所述待解码数据块分别在所述多媒体数据帧中的位置信息，以及最大解码块的尺寸信息之间的关联关系；所述回写限制条件用于反映将所述已解码的数据块写入至所述第一参考数据块集合的限制时延。
可选的，所述第二参考数据块集合包括一个或多个第三参考数据块，所述第三参考数据块为所述多媒体数据帧中与所述待解码数据块位于同一解码处理单元的已解码的数据块。
可选的，所述第二参考数据块集合包括一个或多个第四参考数据块，所述第四参考数据块为所述多媒体数据帧中与所述待解码数据块具有相邻关系，且与所述待解码数据块属于同一个解码片的已解码的数据块。
可选的，所述多媒体数据帧的待解码数据块的数量为多个，获取模块，用于获取根据所述多媒体数据帧的各个待解码数据块的属性信息；当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中所有的待解码数据块对应的第二目标参考数据块均属于所述第二参考数据块集合时，对所述多媒体数据帧中的待解码数据块进行滤波处理；当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中存在待解码数据块对应的第二目标参考数据块属于所述第一参考数据块集合时，暂停对所述多媒体数据帧中的待解码数据块进行滤波处理。当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中存在待解码数据块对应的第二目标参考数据块的第一区域属于所述第一参考数据块集合，所述第二目标参考数据块的第二区域属于所述第二参考数据块集合时，暂停对所述多媒体数据帧中的待解码数据块进行滤波处理。
根据本申请的一个实施例，图10所示的数据处理方法所涉及的步骤可由图12所示的数据处理装置中的各个模块来执行。例如，图10中所示的步骤S201可由图12中的获取模块121来执行，图10中所示的步骤S202可由图12中的匹配模块122来执行；图10中所示的步骤S203可由图12中的解码模块123来执行。
根据本申请的一个实施例，图12所示的多媒体数据处理装置中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的至少两个子单元，可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由至少两个单元来实现，或者至少两个模块的功能由一个单元实现。在本申请的其它实施例中，数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由至少两个单元协作实现。
根据本申请的一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图10和图11中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图12中所示的多媒体数据处理装置，以及来实现本申请实施例的数据处理方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本申请中，计算机设备通过获取与待解码数据块的属性信息相匹配的第二目标参考数据块，该第二目标参考数据块属于第一参考数据块集合、第二参考数据块集合，或融合该第一参考数据块集合和该第二参考数据块集合的第三参考数据块集合；也就是说，可供选择的参考数据块集合包括第一参考数据块集合、第二参考数据块集合以及第三参考数据块集合，扩展了参考数据块的选择范围；同时，根据待解码数据块的属性信息，自适应地选择第二目标参考数据块，根据第二目标参考数据块对待解码数据块进行解码，能够提高获取第二目标参考数据块的灵活性和准确度，进一步，提高对多媒体数据帧的解码性能。同时，通过根据第二目标参考数据块对待解码数据块进行解码，提高多媒体数据帧的质量。
请参见图13，是本申请实施例提供的一种计算机设备的结构示意图。如图13所示，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：媒体内容接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，媒体内容接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选媒体内容接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图13所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、媒体内容接口模块以及设备控制应用程序。
在图13所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而媒体内容接口1003主要用于为媒体内容提供输入的接口。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图7以及前文图10所对应实施例中对上述多媒体数据处理方法的描述，也可执行前文图11和图12所对应实施例中对上述多媒体数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且上述计算机可读存储介质中存储有前文提及的多媒体数据处理装置所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图7和图10对应实施例中对上述多媒体数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
作为示例，上述程序指令可被部署在一个计算机设备上执行，或者被部署位于一个地点的至少两个计算机设备上执行，又或者，在分布在至少两个地点且通过通信网络互连的至少两个计算机设备上执行，分布在至少两个地点且通过通信网络互连的至少两个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现前文图7和图10对应实施例中对上述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品的实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同媒体内容，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (26)

1.一种多媒体数据处理方法，其特征在于，包括：
获取多媒体数据帧中待编码数据块的属性信息；
根据所述属性信息，获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；其中，所述第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待编码数据块之间不具有相邻关系的已编码的数据块，所述第二参考数据块集合包括与所述待编码数据块之间具有相邻关系的已编码的数据块；所述第一参考数据块集合包括一个或多个第一参考数据块，或者，包括一个或多个第二参考数据块；所述第一参考数据块为当所述多媒体数据帧的编码方式为串行编码方式时，所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块；所述第二参考数据块为与所述待编码数据块属于同一个编码片，且所述多媒体数据帧中参数关联关系满足回写限制条件，以及所述参数关联关系满足编码处理条件的已编码的数据块；所述参数关联关系用于反映已编码的数据块、所述待编码数据块分别在所述多媒体数据帧中的位置信息，以及最大编码块的尺寸信息之间的关联关系；所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延；
根据所述第一目标参考数据块对所述待编码数据块进行预测编码。
2.如权利要求1所述的方法，其特征在于，所述待编码数据块的属性信息包括所述待编码数据块所属的多媒体数据帧的媒体类型；
所述根据所述属性信息，获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块，包括：
若所述多媒体数据帧的媒体类型为帧内类型，则从所述第一参考数据块集合或所述第三参考数据块集合中获取与待编码数据块的属性信息相匹配的第一目标参考数据块；
若所述多媒体数据帧的媒体类型为非帧内类型，则从第二参考数据块集合中获取与待编码数据块的属性信息相匹配的第一目标参考数据块。
3.如权利要求1所述的方法，其特征在于，所述待编码数据块的属性信息包括所述待编码数据块所属的多媒体数据帧的参考标志；
所述根据所述属性信息，获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块，包括：
若所述多媒体数据帧的参考标志为第一参考标志，则从所述第一参考数据块集合或所述第三参考数据块集合中获取与待编码数据块的属性信息相匹配的第一目标参考数据块；
若所述多媒体数据帧的参考标志为第二参考标志，则从第二参考数据块集合中获取与待编码数据块的属性信息相匹配的第一目标参考数据块。
4.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
当所述多媒体数据帧的编码方式为串行编码方式时，分别获取第一位置信息，以及所述最大编码块的尺寸信息和第二位置信息；所述第一位置信息、第二位置信息分别是指已编码的数据块、所述待编码数据块在所述多媒体数据帧中的位置信息；
获取回写限制条件；
从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第一参考数据块；所述参数关联关系用于反映所述第一位置信息，与所述最大编码块的尺寸信息和所述第二位置信息之间的关联关系；
将所述第一参考数据块添加至所述第一参考数据块集合。
5.如权利要求4所述的方法，其特征在于，所述从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第一参考数据块，包括：
根据所述第一位置信息和所述第二位置信息，从所述多媒体数据帧中筛选出与所述待编码数据块属于同一编码片的已编码的数据块，作为第一候选参考数据块；
确定在所述回写限制条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的间隔数据块限制数量；
根据所述第一位置信息、所述最大编码块的尺寸信息和所述第二位置信息，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量；
将间隔数据块数量大于所述间隔数据块限制数量的第一候选参考数据块，确定为所述第一参考数据块。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一位置信息、所述最大编码块的尺寸信息和第二位置信息，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量，包括：
根据所述第一位置信息以及所述最大编码块的尺寸信息确定所述第一候选参考数据块的行标识和列标识；
根据所述第二位置信息以及所述最大编码块的尺寸信息确定所述待编码数据块的行标识和列标识；
基于所述待编码数据块的尺寸信息确定所述多媒体数据帧中每行的数据块数量；
根据所述每行的数据块数量、所述第一候选参考数据块的行标识和列标识，以及所述待编码数据块的行标识和列标识，统计所述第一候选参考数据块与所述待编码数据块之间的间隔数据块数量。
7.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
分别获取第一位置信息，以及所述最大编码块的尺寸信息和第二位置信息；所述第一位置信息、第二位置信息分别是指已编码的数据块、所述待编码数据块在所述多媒体数据帧中的位置信息；
获取回写限制条件以及编码处理条件；
从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件和所述编码处理条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为所述第二参考数据块；所述参数关联关系用于反映所述第一位置信息，与所述待编码数据块的尺寸信息和所述第二位置信息之间的关联关系；
将所述第二参考数据块添加至所述第一参考数据块集合。
8.如权利要求7所述的方法，其特征在于，所述从所述多媒体数据帧中筛选出参数关联关系满足回写限制条件和所述编码处理条件，且与所述待编码数据块属于同一个编码片的已编码的数据块，作为第二参考数据块，包括：
根据所述第一位置信息和所述第二位置信息，从所述多媒体数据帧中筛选出与所述待编码数据块属于同一编码片的已编码的数据块，作为第一候选参考数据块；
从所述第一候选参考数据块中筛选出参数关联关系满足回写限制条件的第一候选参考数据块，作为第二候选参考数据块；
确定在所述回写限制条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第一数据块限制距离；
确定在所述编码处理条件下所述多媒体数据帧中已编码的数据块，与所述待编码数据块之间的第二数据块限制距离；
根据所述第一位置信息、所述最大编码块的尺寸信息和所述第二位置信息、所述第一数据块限制距离和所述第二数据块限制距离，从所述第二候选参考数据块中确定出满足所述编码处理条件的第二候选参考数据块，作为所述第二参考数据块。
9.如权利要求8所述的方法，其特征在于，所述根据所述第一位置信息、所述最大编码块的尺寸信息和第二位置信息、所述第一数据块限制距离和所述第二数据块限制距离，从所述第二候选参考数据块中确定出满足所述编码处理条件的第二候选参考数据块，作为第二参考数据块，包括：
根据所述第一位置信息以及所述最大编码块的尺寸信息确定所述第二候选参考数据块的行标识和列标识；
根据所述第二位置信息以及所述最大编码块的尺寸信息确定所述待编码数据块的行标识和列标识；
从所述第二候选参考数据块中筛选出行标识小于或等于所述待编码数据块的行标识的第二候选参考数据块，作为第三候选参考数据块；
根据所述第三候选参考数据块的行标识和所述待编码数据块的行标识确定所述第三候选参考数据块与所述待编码数据块之间的行距离；
根据所述第三候选参考数据块的列标识和所述待编码数据块的列标识确定所述第三候选参考数据块与所述待编码数据块之间的列距离；
将所述第三候选参考数据块中列距离小于第一距离阈值的第三候选参考数据块，确定为所述第二参考数据块；所述第一距离阈值是根据所述第一数据块限制距离、所述第二数据块限制距离、所述第三候选参考数据块与所述待编码数据块之间的行距离确定的。
10.如权利要求1-3任一项所述的方法，其特征在于，所述第二参考数据块集合包括一个或多个第三参考数据块，
所述第三参考数据块为所述多媒体数据帧中与所述待编码数据块位于同一编码处理单元的已编码的数据块。
11.如权利要求1-3任一项所述的方法，其特征在于，所述第二参考数据块集合包括一个或多个第四参考数据块，所述第四参考数据块为所述多媒体数据帧中与所述待编码数据块具有相邻关系，且与所述待编码数据块属于同一个编码片的已编码的数据块。
12.如权利要求11所述的方法，其特征在于，所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第四参考数据块与所述待编码数据块属于同一个最大编码块。
13.如权利要求11所述的方法，其特征在于，所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第四参考数据块位于与所述待编码数据块相邻的N个最大编码块内，且所述最大编码块的尺寸小于或等于尺寸阈值；N是根据所述最大编码块的尺寸信息确定的。
14.如权利要求11所述的方法，其特征在于，所述第四参考数据块与所述待编码数据块具有相邻关系是指：所述第四参考数据块位于与所述待编码数据块相邻的N个最大编码块内，且所述最大编码块的尺寸大于或等于尺寸阈值；所述多媒体数据帧中所述第四参考数据块向右移动一个最大编码块后所在区域中位于左上角的数据块为未重建的数据块；所述第四参考数据块移动一个最大编码块的距离时的位置信息，与所述待编码数据块的位置信息不相同；
N是根据所述最大编码块的尺寸信息确定的。
15.如权利要求1-3任一项所述的方法，其特征在于，所述第一目标参考数据块与所述待编码数据块之间的距离均小于第二距离阈值；
所述第一目标参考数据块位于所述多媒体数据帧的整像素位置。
16.如权利要求1-3任一项所述的方法，其特征在于，所述多媒体数据帧的待编码数据块的数量为多个，所述方法还包括：
获取根据所述多媒体数据帧的各个待编码数据块的属性信息；
当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中所有的待编码数据块对应的第一目标参考数据块均属于所述第二参考数据块集合时，对所述多媒体数据帧中的待编码数据块进行滤波处理；
当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中存在待编码数据块对应的所述第一目标参考数据块选自所述第一参考数据块集合时，暂停对所述多媒体数据帧中的待编码数据块进行滤波处理；
当根据所述多媒体数据帧各个待编码数据块的属性信息，确定所述多媒体数据帧中存在待编码数据块对应的所述第一目标参考数据块的第一区域属于所述第一参考数据块集合，所述第一目标参考数据块的第二区域属于所述第二参考数据块集合时，暂停对所述多媒体数据帧中的待编码数据块进行滤波处理。
17.一种多媒体数据处理方法，其特征在于，包括：
获取多媒体数据帧中待解码数据块的属性信息；
根据所述属性信息，获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；其中，所述第二目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待解码数据块之间不具有相邻关系的已解码的数据块，所述第二参考数据块集合包括与所述待解码数据块之间具有相邻关系的已解码的数据块；所述第一参考数据块集合包括一个或多个第一参考数据块，或者，包括一个或多个第二参考数据块；所述第一参考数据块为当所述多媒体数据帧的解码方式为串行解码方式时，所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待解码数据块属于同一个解码片的已解码的数据块；所述第二参考数据块为与所述待解码数据块属于同一个解码片，且所述多媒体数据帧中参数关联关系满足回写限制条件，以及所述参数关联关系满足解码处理条件的已解码的数据块；所述参数关联关系用于反映已解码的数据块、所述待解码数据块分别在所述多媒体数据帧中的位置信息，以及最大解码块的尺寸信息之间的关联关系；所述回写限制条件用于反映将所述已解码的数据块写入至所述第一参考数据块集合的限制时延；
根据所述第二目标参考数据块对所述待解码数据块进行解码。
18.如权利要求17所述的方法，其特征在于，所述待解码数据块的属性信息包括所述待解码数据块所属的多媒体数据帧的媒体类型；
所述根据所述属性信息，获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块，包括：
若所述多媒体数据帧的媒体类型为帧内类型，则从所述第一参考数据块集合或者所述第三参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；
若所述多媒体数据帧的媒体类型为非帧内类型，则从所述第二参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块。
19.如权利要求17所述的方法，其特征在于，所述待解码数据块的属性信息包括所述待解码数据块所属的多媒体数据帧的参考标志；
所述根据所述属性信息，获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块，包括：
若所述多媒体数据帧的参考标志为第一参考标志，则从所述第一参考数据块集合或所述第三参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；
若所述多媒体数据帧的参考标志为第二参考标志，则从所述第二参考数据块集合中获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块。
20.如权利要求17-19任一项所述的方法，其特征在于，
所述第二参考数据块集合包括一个或多个第三参考数据块，所述第三参考数据块为所述多媒体数据帧中与所述待解码数据块位于同一解码处理单元的已解码的数据块。
21.如权利要求17-19任一项所述的方法，其特征在于，所述第二参考数据块集合包括一个或多个第四参考数据块，所述第四参考数据块为所述多媒体数据帧中与所述待解码数据块具有相邻关系，且与所述待解码数据块属于同一个解码片的已解码的数据块。
22.如权利要求17所述的方法，其特征在于，所述多媒体数据帧的待解码数据块的数量为多个，所述方法还包括：
获取根据所述多媒体数据帧的各个待解码数据块的属性信息；
当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中所有的待解码数据块对应的第二目标参考数据块均属于所述第二参考数据块集合时，对所述多媒体数据帧中的待解码数据块进行滤波处理；
当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中存在待解码数据块对应的第二目标参考数据块属于所述第一参考数据块集合时，暂停对所述多媒体数据帧中的待解码数据块进行滤波处理
当根据所述多媒体数据帧各个待解码数据块的属性信息，确定所述多媒体数据帧中存在待解码数据块对应的第二目标参考数据块第一区域属于所述第一参考数据块集合，所述第二目标参考数据块第二区域属于所述第二参考数据块集合时，暂停对所述多媒体数据帧中的待解码数据块进行滤波处理。
23.一种多媒体数据处理装置，其特征在于，包括：
获取模块，用于获取多媒体数据帧中待编码数据块的属性信息；
匹配模块，用于根据所述属性信息，获取与所述待编码数据块的属性信息相匹配的第一目标参考数据块；其中，所述第一目标参考数据块选自第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待编码数据块之间不具有相邻关系的已编码的数据块，所述第二参考数据块集合包括与所述待编码数据块之间具有相邻关系的已编码的数据块；所述第一参考数据块集合包括一个或多个第一参考数据块，或者，一个或多个第二参考数据块；所述第一参考数据块为当所述多媒体数据帧的编码方式为串行编码方式时，所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待编码数据块属于同一个编码片的已编码的数据块；所述第二参考数据块为与所述待编码数据块属于同一个编码片，且所述多媒体数据帧中参数关联关系满足回写限制条件，以及所述参数关联关系满足编码处理条件的已编码的数据块；所述参数关联关系用于反映已编码的数据块、所述待编码数据块分别在所述多媒体数据帧中的位置信息，以及最大编码块的尺寸信息之间的关联关系；所述回写限制条件用于反映将所述已编码的数据块写入至所述第一参考数据块集合的限制时延；
编码模块，用于根据所述第一目标参考数据块对所述待编码数据块进行预测编码。
24.一种多媒体数据处理装置，其特征在于，包括：
获取模块，用于获取多媒体数据帧中待解码数据块的属性信息；
匹配模块，用于根据所述属性信息，获取与所述待解码数据块的属性信息相匹配的第二目标参考数据块；其中，所述第二目标参考数据块属于第一参考数据块集合、第二参考数据块集合，或融合所述第一参考数据块集合和所述第二参考数据块集合的第三参考数据块集合，所述第一参考数据块集合包括与所述待解码数据块之间不具有相邻关系的已解码的数据块，所述第二参考数据块集合包括与所述待解码数据块之间具有相邻关系的已解码的数据块；所述第一参考数据块集合包括一个或多个第一参考数据块，或者，一个或多个第二参考数据块；所述第一参考数据块为当所述多媒体数据帧的解码方式为串行解码方式时，所述多媒体数据帧中参数关联关系满足回写限制条件，且与所述待解码数据块属于同一个解码片的已解码的数据块；所述第二参考数据块为与所述待解码数据块属于同一个解码片，且所述多媒体数据帧中参数关联关系满足回写限制条件，以及所述参数关联关系满足解码处理条件的已解码的数据块；所述参数关联关系用于反映已解码的数据块、所述待解码数据块分别在所述多媒体数据帧中的位置信息，以及最大解码块的尺寸信息之间的关联关系；所述回写限制条件用于反映将所述已解码的数据块写入至所述第一参考数据块集合的限制时延；
解码模块，用于根据所述第二目标参考数据块对所述待解码数据块进行解码。
25.一种计算机设备，其特征在于，包括：处理器以及存储器；
上述处理器与存储器相连；所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至22任一项所述的方法。
26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-22任一项所述的方法。
CN202111221890.5A 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质 Active CN113992635B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202211371261.5A CN115996214A (zh) 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质
CN202111221890.5A CN113992635B (zh) 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质
KR1020237037580A KR20230162989A (ko) 2021-10-20 2022-09-13 멀티미디어 데이터 프로세싱 방법, 장치, 디바이스, 컴퓨터-판독가능 저장 매체, 및 컴퓨터 프로그램 제품
PCT/CN2022/118502 WO2023065891A1 (zh) 2021-10-20 2022-09-13 多媒体数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品
JP2023560291A JP2024514294A (ja) 2021-10-20 2022-09-13 マルチメディアデータ処理方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラム
US18/474,712 US20240015310A1 (en) 2021-10-20 2023-09-26 Multimedia data processing method, apparatus, device, computer-readable storage medium, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111221890.5A CN113992635B (zh) 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211371261.5A Division CN115996214A (zh) 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113992635A CN113992635A (zh) 2022-01-28
CN113992635B true CN113992635B (zh) 2022-09-20

Family

ID=79739604

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111221890.5A Active CN113992635B (zh) 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质
CN202211371261.5A Pending CN115996214A (zh) 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211371261.5A Pending CN115996214A (zh) 2021-10-20 2021-10-20 多媒体数据处理方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20240015310A1 (zh)
JP (1) JP2024514294A (zh)
KR (1) KR20230162989A (zh)
CN (2) CN113992635B (zh)
WO (1) WO2023065891A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992635B (zh) * 2021-10-20 2022-09-20 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及存储介质
CN115396645B (zh) * 2022-08-18 2024-04-19 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019076344A1 (zh) * 2017-10-18 2019-04-25 北京金山云网络技术有限公司 编码单元的参考块选择方法、装置、电子设备及存储介质
CN110798683A (zh) * 2019-08-26 2020-02-14 腾讯科技（深圳）有限公司 数据解码方法、装置和数据编码方法、装置
CN110944178A (zh) * 2018-09-22 2020-03-31 上海天荷电子信息有限公司 使用多个以编码参数关联的候选集的数据压缩方法和装置
CN110944190A (zh) * 2018-09-22 2020-03-31 上海天荷电子信息有限公司 专用历史最近运动矢量预测候选集的图像压缩方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10986349B2 (en) * 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
WO2019240458A1 (ko) * 2018-06-11 2019-12-19 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11159806B2 (en) * 2018-06-28 2021-10-26 Qualcomm Incorporated Position dependent intra prediction combination with multiple reference lines for intra prediction
CN111050177B (zh) * 2018-10-15 2021-07-20 腾讯科技（深圳）有限公司 视频编码、视频解码方法、装置、计算机设备和存储介质
EP4221226A1 (en) * 2018-11-07 2023-08-02 HFI Innovation Inc. Method and apparatus of encoding or decoding video blocks by current picture referencing coding
CN113992635B (zh) * 2021-10-20 2022-09-20 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019076344A1 (zh) * 2017-10-18 2019-04-25 北京金山云网络技术有限公司 编码单元的参考块选择方法、装置、电子设备及存储介质
CN110944178A (zh) * 2018-09-22 2020-03-31 上海天荷电子信息有限公司 使用多个以编码参数关联的候选集的数据压缩方法和装置
CN110944190A (zh) * 2018-09-22 2020-03-31 上海天荷电子信息有限公司 专用历史最近运动矢量预测候选集的图像压缩方法和装置
CN110798683A (zh) * 2019-08-26 2020-02-14 腾讯科技（深圳）有限公司 数据解码方法、装置和数据编码方法、装置

Also Published As

Publication number Publication date
CN115996214A (zh) 2023-04-21
CN113992635A (zh) 2022-01-28
WO2023065891A1 (zh) 2023-04-27
JP2024514294A (ja) 2024-04-01
US20240015310A1 (en) 2024-01-11
KR20230162989A (ko) 2023-11-29

Similar Documents

Publication Publication Date Title
US11902575B2 (en) Image encoding method using a skip mode, and a device using the method
KR20190029732A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN113748677A (zh) 编码器、解码器及对应的帧内预测方法
JP2013214990A (ja) ピクチャ境界の符号化単位を符号化／復号化する方法及びその装置
CN104685874A (zh) 用于在高效率视频编解码中处理分区模式的设备和方法
CN113992635B (zh) 多媒体数据处理方法、装置、设备及存储介质
CN115836527A (zh) 编码器、解码器及用于自适应环路滤波的对应方法
US20240040143A1 (en) Method and apparatus for decoding image using interpicture prediction
CN114830665B (zh) 仿射运动模型限制
US20220224888A1 (en) Video encoding method, video decoding method, and related device
CN115209157A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
WO2023065890A1 (zh) 多媒体数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN114830646A (zh) 图像编码方法和图像解码方法
CN114071158A (zh) 视频编解码中的运动信息列表构建方法、装置及设备
WO2019156757A1 (en) Methods for picture encoding and decoding and corresponding devices
WO2023125631A1 (zh) 编码块的处理方法、视频编解码方法、装置、介质及计算机设备
CN116760976B (zh) 仿射预测决策方法、装置、设备及存储介质
WO2024104503A1 (zh) 图像编解码
KR20170133026A (ko) 정방형 또는 직방형 블록 분할을 사용하는 비디오 복호화 방법 및 장치
CN116980609A (zh) 视频数据处理方法、装置、存储介质及设备
JP2024504672A (ja) 復号プロセスのエネルギー消費を表す情報をシグナリングするためのメタデータ
CN116456086A (zh) 环路滤波方法、视频编解码方法、装置、介质及电子设备
CN116998150A (zh) 视频编解码中网格量化的状态转换
CN114079782A (zh) 视频图像重建方法、装置、计算机设备及存储介质
CN114830643A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064959

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant