CN110213577B

CN110213577B - 一种重建帧构造方法、系统及电子设备和存储介质

Info

Publication number: CN110213577B
Application number: CN201910537674.8A
Authority: CN
Inventors: 邹箭
Original assignee: Shenzhen Onething Technology Co Ltd
Current assignee: Shenzhen Onething Technology Co Ltd
Priority date: 2019-06-20
Filing date: 2019-06-20
Publication date: 2023-05-09
Anticipated expiration: 2039-06-20
Also published as: CN110213577A

Abstract

本申请公开了一种重建帧构造方法、系统及一种电子设备和计算机可读存储介质，该方法包括：获取采用帧间预测编码的所有宏块，确定每个宏块的运动矢量；确定所有宏块中运动矢量为整像素精度的第一类宏块以及运动矢量为非整像素精度的第二类宏块；对第一类宏块调用拷贝运算，并对第二类宏块调用对应的插值运算，构建得到重建帧。也即，本申请不再一次性对所有宏块进行插值，而是在确定采用帧间预测编码的每个宏块对应的运动矢量后，确定出所有宏块中无需进行插值计算的运动矢量为整像素精度的第一类宏块，仅仅对第一类宏块进行拷贝运算，避免不必要的运算，从而提高了重建帧构造效率，有效减少了编码器的运算量。

Description

一种重建帧构造方法、系统及电子设备和存储介质

技术领域

本申请涉及视频处理技术领域，更具体地说，涉及一种重建帧构造方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

插值算法是H.264标准中的一个核心算法之一。其作用是生成半像素精度和1/4像素精度的像素值，并将该值用于构造重建帧。一般的插值算法思路是：为了提高计算的并行度，先一次性生成水平、垂直、对角方向的三个半像素插值平面，也就是一次性生成所有宏块的半像素插值，然后分别利用线性插值生成其余位置的1/4像素平面。

然而，这样的插值方法存在一个问题，由于解码是按照各个宏块依次进行的，若最后解码出的宏块是整像素的话，则不需要对其进行半像素插值运算，而上述插值算法中一次性进行了所有宏块的半像素插值操作，这显然进行了不必要的计算，造成一定的计算冗余，影响重建帧的构造效率。

发明内容

本申请的目的在于提供一种重建帧构造方法、系统及一种电子设备和一种计算机可读存储介质，避免不必要的运算，从而提高了重建帧构造效率，有效减少了编码器的运算量。

为实现上述目的，本申请提供了一种重建帧构造方法，包括：

获取采用帧间预测编码的所有宏块，并确定每个所述宏块的运动矢量；

确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块；

对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧。

可选的，所述确定每个所述宏块的运动矢量，包括：

对所述所有宏块进行解码，得到每个所述宏块的运动矢量差信息；

利用所述运动矢量差信息计算每个所述宏块的运动矢量。

可选的，所述确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块，包括：

利用所述运动矢量确定所述宏块对应的索引值；

将零值索引对应的所述宏块确定为所述运动矢量为整像素精度的第一类宏块；

将非零索引对应的所述宏块确定为所述运动矢量为非整像素精度的第二类宏块。

可选的，所述利用所述运动矢量确定所述宏块对应的索引值，包括：

确定所述运动矢量中x分量对应的第一插值精度以及所述运动矢量中y分量对应的第二插值精度；

利用所述第一插值精度和所述第二插值精度确定所述宏块对应的索引值。

可选的，所述确定所述运动矢量中x分量对应的第一插值精度以及所述运动矢量中y分量对应的第二插值精度，包括：

利用所述运动矢量中的x分量以及y分量分别和3进行与运算，得到运算结果；

根据所述运算结果确定所述x分量对应的第一插值精度以及所述y分量对应的第二插值精度。

可选的，所述利用所述第一插值精度和所述第二插值精度确定所述宏块对应的索引值，包括：

将所述第二插值精度左移两位，并计算左移后第二插值精度与所述第一插值精度的和，得到所述宏块对应的索引值。

可选的，所述对所述第二类宏块调用对应的插值运算，包括：

在预设表中查找与所述第二类宏块的索引值对应的插值运算，并对所述第二类宏块调用对应的所述插值运算。

为实现上述目的，本申请提供了一种重建帧构造系统，包括：

矢量确定模块，用于获取采用帧间预测编码的所有宏块，并确定每个所述宏块的运动矢量；

宏块确定模块，用于确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块；

运算调用模块，用于对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现前述公开的任一种所述重建帧构造方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述公开的任一种所述重建帧构造方法的步骤。

通过以上方案可知，本申请提供的一种重建帧构造方法，包括：获取采用帧间预测编码的所有宏块，并确定每个所述宏块的运动矢量；确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块；对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧。

由上可知，本申请在确定采用帧间预测编码的每个宏块对应的运动矢量后，根据运动矢量是否为整像素精度将所有宏块分别确定为运动矢量为整像素精度的第一类宏块以及运动矢量为非整像素精度的第二类宏块，进一步对第一类宏块调用拷贝运算，对第二类宏块调用插值运算，构建得到重建帧。也即，本申请不再一次性对所有宏块进行插值，而是首先确定出所有宏块中无需进行插值计算的第一类宏块，仅仅对第一类宏块进行拷贝运算，避免不必要的运算，从而提高了重建帧构造效率，有效减少了编码器的运算量。本申请还公开了一种重建帧构造系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种重建帧构造方法的流程图；

图2为本申请实施例公开的另一种重建帧构造方法的流程图；

图3为本申请实施例公开的另一种重建帧构造方法中具体实施中像素点的示意图；

图4为本申请实施例公开的一种重建帧构造系统的结构图；

图5为本申请实施例公开的一种电子设备的结构图；

图6为本申请实施例公开的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，一般的插值算法思路是：一次性生成所有宏块的半像素插值，然后分别利用线性插值生成其余位置的1/4像素平面。然而，由于解码是按照各个宏块依次进行的，若最后解码出的宏块是整像素的话，则不需要对其进行半像素插值运算，而上述插值算法中一次性进行了所有宏块的半像素插值操作，这显然进行了不必要的计算，造成一定的计算冗余，影响重建帧的构造效率。

因此，本申请实施例公开了一种重建帧构造方法，避免不必要的运算，从而提高了重建帧构造效率，有效减少了编码器的运算量。

参见图1所示，本申请实施例公开的一种重建帧构造方法包括：

S11：获取采用帧间预测编码的所有宏块，并确定每个所述宏块的运动矢量；

本步骤中，获取Inter宏块，并计算每个宏块对应的运动矢量。Inter宏块指采用帧间预测编码的宏块，相应的，还有帧内预测编码，指基于同一帧内已编码块构造预测块，计算与当前块的残差数据，利用预测块和残差数据进行编码。帧间预测编码与帧内预测编码不同，其宏块携带有运动矢量数据。运动矢量表示从当前编码块与其参考图像中的最佳匹配宏块直接的相对位移，为各像素运动的距离和方向，一般可通过运动估计方法来获取运动矢量。

具体地，计算每个宏块对应的运动矢量的具体过程可以包括：对所有宏块进行解码，得到每个宏块的运动矢量差信息，进而利用运动矢量差信息计算每个宏块的运动矢量。运动矢量差信息是指实际运动矢量和预测运动矢量的差值，编码器一般不直接传递实际运动矢量，而是传递运动矢量差信息，达到节省比特数的目的。

S12：确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块；

本步骤中，根据每个宏块的运动矢量是否为整像素精度将所有宏块中划分为运动矢量为整像素精度的第一类宏块以及运动矢量为非整像素精度的第二类宏块，其中，非整像素精度包括半像素精度、1/4像素精度，整像素精度表示不需要进行插值，1/4像素精度最大。

S13：对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧。

在确定第一类宏块及第二类宏块之后，分别对第一类宏块调用拷贝运算，对第二类宏块调用插值运算，在拷贝运算和插值运算完成之后，构建得到重建帧。

通过以上方案可知，本申请在确定采用帧间预测编码的每个宏块对应的运动矢量后，根据运动矢量是否为整像素精度将所有宏块分别确定为运动矢量为整像素精度的第一类宏块以及运动矢量为非整像素精度的第二类宏块，进一步对第一类宏块调用拷贝运算，对第二类宏块调用插值运算，构建得到重建帧。也即，本申请不再一次性对所有宏块进行插值，而是首先确定出所有宏块中无需进行插值计算的第一类宏块，仅仅对第一类宏块进行拷贝运算，避免不必要的运算，从而提高了重建帧构造效率，有效减少了编码器的运算量。

本申请实施例公开了另一种重建帧构造方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：

S21：获取采用帧间预测编码的所有宏块，并确定每个所述宏块的运动矢量；

S22：利用所述运动矢量确定所述宏块对应的索引值；

可以理解的是，运动矢量分为x分量和y分量，本步骤中，首先分别确定x分量及y分量对应的插值精度。具体地，确定x分量及y分量对应的插值精度的过程可以包括：利用运动矢量中的x分量以及y分量分别和3进行与运算，得到对应的运算结果，进一步根据运算结果确定x分量对应的第一插值精度以及y分量对应的第二插值精度。例如，在x分量以及y分量分别和3进行与运算之后，若得到的两个值均是4的倍数，则确定对应的插值精度为整像素精度；若两个值均不是4的倍数，且其中任一值是2的倍数，则确定对应的插值精度为半像素精度；若两个值均不是4的倍数，且均不是2的倍数，则确定对应的插值精度为1/4像素精度。

进一步地，利用上述确定的第一插值精度和第二插值精度确定每个宏块对应的索引值。具体地，可以通过将第二插值精度左移两位后计算左移后第二插值精度与第一插值精度的和，将得到的和作为当前宏块对应的索引值。

本步骤中，利用运动矢量确定各个宏块对应索引值的过程可以利用公式index＝((mvy&3)＜＜2)+(mvx&3)表示，其中，mvy表示运动矢量的y分量；mvx表示运动矢量的x分量；index表示当前宏块对应的索引值。也即，本实施例利用当前宏块运动矢量中的x分量以及y分量分别和3进行与运算，并将y分量和3的与运算结果左移两位后同x分量和3的与运算结果相加，得到当前宏块的索引值。

S23：将零值索引对应的所述宏块确定为所述运动矢量为整像素精度的第一类宏块；

S24：将非零索引对应的所述宏块确定为所述运动矢量为非整像素精度的第二类宏块；

本实施例中，根据上述步骤确定的索引值，将零值索引对应的宏块确定为第一类宏块，表征宏块的运动矢量为整像素精度；将非零索引对应的宏块确定为第二类宏块，表征宏块的运动矢量为非整像素精度。

S25：对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧。

本步骤中，对第一类宏块调用拷贝运算，并对第二类宏块调用对应的插值运算。其中，对第二类宏块调用对应的插值运算的过程可以具体包括：在预设表中查找与第二类宏块的索引值对应的插值运算，并对第二类宏块调用对应的插值运算。

在具体实施中，参见图3所示，以G为中心的像素点共16个，其对应的索引范围为0至15。其中，G为整像素点；a、b、c、h、i、j、k为半像素点；d、e、f、g、n、p、q、以及r为1/4像素点。具体地，如下表1、表2所示，像素点与其索引值的对应关系可以按照从左到右、从上到下的顺序一一对应。

表1

G	a	b	c
				d	e	f	g
h	i	j	k
				n	p	q	r

表2

0	1	2	3
				4	5	6	7
8	9	10	11
				12	13	14	15

进一步地，可以根据上述步骤确定的索引值从预设表中查找对应的运算。本申请实施例提供的一种具体的预设表如下表3所示：

表3

可以理解的是，本实施例通过预先构建预设表，在确定宏块索引值后，通过查表的方式确定索引对应的运算，进一步优化了编码器的运算过程，提高了运算实现的效率。

下面对本申请实施例提供的一种重建帧构造系统进行介绍，下文描述的一种重建帧构造系统与上文描述的一种重建帧构造方法可以相互参照。

参见图4所示，本申请实施例提供的一种重建帧构造系统包括：

矢量确定模块101，用于获取采用帧间预测编码的所有宏块，并确定每个所述宏块的运动矢量；

宏块确定模块102，用于确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块；

运算调用模块103，用于对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧。

关于上述模块101至103的具体内容可参考前述实施例公开的具体实施过程，在此不再进行赘述。

本申请还提供了一种电子设备，参见图5所示，本申请实施例提供的一种电子设备包括：

存储器100，用于存储计算机程序；

处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的重建帧构造方法的步骤。

具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，为电子设备提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现以下步骤：

获取采用帧间预测编码的所有宏块，并确定每个所述宏块的运动矢量；确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块；对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧。

优选的，所述处理器200执行所述存储器100中保存的计算机子程序时，可以实现以下步骤：对所述所有宏块进行解码，得到每个所述宏块的运动矢量差信息；利用所述运动矢量差信息计算每个所述宏块的运动矢量。

优选的，所述处理器200执行所述存储器100中保存的计算机子程序时，可以实现以下步骤：利用所述运动矢量确定所述宏块对应的索引值；将零值索引对应的所述宏块确定为所述运动矢量为整像素精度的第一类宏块；将非零索引对应的所述宏块确定为所述运动矢量为非整像素精度的第二类宏块。

优选的，所述处理器200执行所述存储器100中保存的计算机子程序时，可以实现以下步骤：确定所述运动矢量中x分量对应的第一插值精度以及所述运动矢量中y分量对应的第二插值精度；利用所述第一插值精度和所述第二插值精度确定所述宏块对应的索引值。

优选的，所述处理器200执行所述存储器100中保存的计算机子程序时，可以实现以下步骤：利用所述运动矢量中的x分量以及y分量分别和3进行与运算，得到运算结果；根据所述运算结果确定所述x分量对应的第一插值精度以及所述y分量对应的第二插值精度。

优选的，所述处理器200执行所述存储器100中保存的计算机子程序时，可以实现以下步骤：将所述第二插值精度左移两位，并计算左移后第二插值精度与所述第一插值精度的和，得到所述宏块对应的索引值。

优选的，所述处理器200执行所述存储器100中保存的计算机子程序时，可以实现以下步骤：在预设表中查找与所述第二类宏块的索引值对应的插值运算，并对所述第二类宏块调用对应的所述插值运算。

在上述实施例的基础上，作为优选实施方式，参见图6所示，所述电子设备还包括：

输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。

显示单元400，与处理器200相连，用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。

网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。

图6仅示出了具有组件100-500的电子设备，本领域技术人员可以理解的是，图6示出的结构并不构成对电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

优选的，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：对所述所有宏块进行解码，得到每个所述宏块的运动矢量差信息；利用所述运动矢量差信息计算每个所述宏块的运动矢量。

优选的，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：利用所述运动矢量确定所述宏块对应的索引值；将零值索引对应的所述宏块确定为所述运动矢量为整像素精度的第一类宏块；将非零索引对应的所述宏块确定为所述运动矢量为非整像素精度的第二类宏块。

优选的，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：确定所述运动矢量中x分量对应的第一插值精度以及所述运动矢量中y分量对应的第二插值精度；利用所述第一插值精度和所述第二插值精度确定所述宏块对应的索引值。

优选的，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：利用所述运动矢量中的x分量以及y分量分别和3进行与运算，得到运算结果；根据所述运算结果确定所述x分量对应的第一插值精度以及所述y分量对应的第二插值精度。

优选的，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：将所述第二插值精度左移两位，并计算左移后第二插值精度与所述第一插值精度的和，得到所述宏块对应的索引值。

优选的，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：在预设表中查找与所述第二类宏块的索引值对应的插值运算，并对所述第二类宏块调用对应的所述插值运算。

由上可知，本申请在确定采用帧间预测编码的每个宏块对应的运动矢量后，根据运动矢量是否为整像素精度将所有宏块分别确定为运动矢量为整像素精度的第一类宏块以及运动矢量为非整像素精度的第二类宏块，进一步对第一类宏块调用拷贝运算，对第二类宏块调用插值运算，构建得到重建帧。也即，本申请不再一次性对所有宏块进行插值，而是首先确定出所有宏块中无需进行插值计算的第一类宏块，仅仅对第一类宏块进行拷贝运算，避免不必要的运算，从而提高了重建帧构造效率，有效减少了编码器的运算量。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种重建帧构造方法，其特征在于，包括：

对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧；

其中，所述确定所述所有宏块中所述运动矢量为整像素精度的第一类宏块以及所述运动矢量为非整像素精度的第二类宏块，包括：

利用所述运动矢量确定所述宏块对应的索引值；

将非零索引对应的所述宏块确定为所述运动矢量为非整像素精度的第二类宏块；

对应地，所述利用所述运动矢量确定所述宏块对应的索引值，包括：

2.根据权利要求1所述的重建帧构造方法，其特征在于，所述确定每个所述宏块的运动矢量，包括：

利用所述运动矢量差信息计算每个所述宏块的运动矢量。

3.根据权利要求1所述的重建帧构造方法，其特征在于，所述确定所述运动矢量中x分量对应的第一插值精度以及所述运动矢量中y分量对应的第二插值精度，包括：

4.根据权利要求3所述的重建帧构造方法，其特征在于，所述利用所述第一插值精度和所述第二插值精度确定所述宏块对应的索引值，包括：

5.根据权利要求1至4任一项所述的重建帧构造方法，其特征在于，所述对所述第二类宏块调用对应的插值运算，包括：

6.一种重建帧构造系统，其特征在于，包括：

运算调用模块，用于对所述第一类宏块调用拷贝运算，并对所述第二类宏块调用对应的插值运算，构建得到重建帧；

利用所述运动矢量确定所述宏块对应的索引值；

7.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述重建帧构造方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述重建帧构造方法的步骤。