CN116263971A

CN116263971A - 图像帧的预测方法、电子设备及计算机可读存储介质

Info

Publication number: CN116263971A
Application number: CN202111561106.5A
Authority: CN
Inventors: 陈健; 蒋铭辉; 黄开兴; 甄烨; 胡笑鸣
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2021-12-15
Filing date: 2021-12-15
Publication date: 2023-06-16

Abstract

本申请实施例提供了一种图像帧的预测方法，在该方法中，在绘制第一绘制帧时，电子设备在第一内存空间将第一绘制帧中未携带动态标识的绘制指令的绘制结果写入第一颜色附件和第一深度附件中；在绘制第二绘制帧时，电子设备在第二内存空间将所第二绘制帧中未携带动态标识的绘制指令的绘制结果写入第二颜色附件和第二深度附件中。接着，电子设备基于第一颜色附件和第二颜色附件，确定第二颜色附件的运动向量；电子设备基于第二颜色附件、第二深度附件以及第二颜色附件的运动向量，确定出第三颜色附件的颜色值。最后，电子设备基于第三颜色附件，预测出第一预测帧。这样，电子设备可以更为准确地预测图像帧。

Description

图像帧的预测方法、电子设备及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像帧的预测方法、电子设备及计算机可读存储介质。

背景技术

随着电子技术的不断进步，人们对视频流畅性的要求也随来越高。通常情况下，视频的流畅度跟视频的帧率有关，视频的帧率越高，其流畅度和平滑度表现越好，因此，为了提升视频的流畅性，可以根据应用的绘制帧进行图像帧预测得到预测帧，并可以在应用的绘制帧之间插入预测帧。因此，如何准确的得到预测帧是亟待需要解决的问题。

发明内容

本申请实施例提供一种图像帧的预测方法、电子设备及计算机可读存储介质，能够更准确得到预测帧。

第一方面，本申请实施例提供一种图像帧的预测方法，该方法包括，在绘制第一绘制帧时，电子设备在第一内存空间将第一绘制帧中未携带动态标识的绘制指令的绘制结果写入第一颜色附件和第一深度附件中；在绘制第二绘制帧时，电子设备在第二内存空间将第二绘制帧中未携带动态标识的绘制指令的绘制结果写入第二颜色附件和第二深度附件中；电子设备基于第一颜色附件和所述第二颜色附件，确定第二颜色附件的运动向量；电子设备基于第二颜色附件、第二深度附件以及第二颜色附件的运动向量，确定出第三颜色附件的颜色值，其中，第三颜色附件在第三内存空间中；电子设备基于第三颜色附件，预测出第一预测帧。

实施第一方面提供的方法，电子设备确定第二颜色附件的运动向量是确定第二颜色附件中每一个像素点的运动向量，这样，通过计算第二颜色附件中每一个像素点的运动向量，可以避免运动向量不准确的问题。电子设备基于第二颜色附件中每一个像素点以及每一个像素点的运动向量，可以确定第二颜色附件中每一个像素点在第三颜色附件中的坐标，然后基于第二颜色附件和第三颜色附件中相同坐标对应的像素点的深度值的差值，确定第三颜色附件中的颜色值。这样，在两个像素点移动到第三颜色附件中的一个坐标处的情况下，可以避免第三颜色附件中该坐标处颜色值预测错误的问题，可以更准确的得到第一预测帧。

结合第一方面，在一种可能的实现方式中，第二颜色附件包括第一像素点和第二像素点，第一像素点在所述第二颜色附件中第一坐标处，第二像素点在第二颜色附件中第二坐标处；电子设备基于第二颜色附件、第二深度附件以及第二颜色附件的运动向量，确定出第三颜色附件的颜色值，具体包括：电子设备基于第二颜色附件的运动向量，确定第一像素点从第一坐标处运动至第三颜色附件中的第三坐标处，第二像素点从第二坐标处运动至第三颜色附件中的第四坐标处；电子设备基于第一像素点的深度值和第二深度附件中第三坐标处的第三像素点的深度值，确定第三颜色附件中第三坐标处的像素点的颜色值；电子设备基于第二像素点的深度值和第二深度附件中第四坐标处的第四像素点的深度值，确定第三颜色附件中第四坐标处的像素点的颜色值。

结合第一方面，在一种可能的实现方式中，电子设备基于第一像素点的深度值和第二深度附件中第三坐标处的第三像素点的深度值，确定第三颜色附件中所述第三坐标处的像素点的颜色值，具体包括：

在第一时刻，电子设备确定第一像素点的深度值和第三像素点的深度值的第一差值，第二像素点的深度值和第四像素点的深度值的第二差值；电子设备确定第一差值小于第一阈值，第二差值大于所述第一阈值，电子设备将第三颜色附件中第三坐标处的像素点的颜色值设置为第一像素点的颜色值，第三颜色附件中第四坐标处的颜色值为初始颜色值；

在第二时刻，电子设备确定所述第一像素点的深度值和第三像素点的深度值的第一差值，第二像素点的深度值和第四像素点的深度值的第二差值；第二时刻晚于所述第一时刻；

电子设备确定第一差值小于第一阈值，第二差值大于所述第一阈值，电子设备确定第三颜色附件中第三坐标处的像素点的颜色值为第一像素点的颜色值，第三颜色附件中第四坐标处的颜色值为第二像素点的颜色值。

结合第一方面，在一种可能的实现方式中，第二颜色附件中还包括第五像素点，第五像素点位于第二颜色附件中的第五坐标处；电子设备确定第五像素点从第五坐标处运动至第三颜色附件中的第二坐标处；

电子设备将第三颜色附件中第三坐标处的像素点的颜色值设置为第一像素点的颜色值之后，还包括：

在第二时刻，电子设备确定所述第五像素点的深度值与第一像素点的深度值的第三差值；电子设备确定第三差值大于第一阈值，电子设备确定第三颜色附件中第三坐标处的像素点的颜色值为第五像素点的颜色值。

结合第一方面，在一种可能的实现方式中，所述电子设备确定所述第三颜色附件中第三坐标处的颜色值为第一像素点的颜色值之前，上述方法还包括：电子设备将第三内存空间中的第三颜色附件中的像素点的透明通道设置为第一透明值；

电子设备确定第三颜色附件中第三坐标处的像素点的颜色值为第一像素点的颜色值，第三颜色附件中第四坐标处的颜色值为第二像素点的颜色值之后，还包括：

电子设备在第三颜色附件中第三坐标处写入所述第一像素点的颜色值，第三颜色附件中第四坐标处写入第二像素点的颜色值，并将第三颜色附件中第三坐标处和第四坐标处的像素点的透明通道设置为第二透明值，第一透明值与所述第二透明值不同；

在第三时刻，电子设备确定出第三颜色附件中透明通道为第一透明值的一个或多个像素点，第一或多个像素点中包括第六像素点；

电子设备确定第六像素点的颜色是为第一颜色值。

结合第一方面，在一种可能的实现方式中，第六像素点为第二深度附件中深度值小于第一深度值的像素点，第一深度值用于区分第二颜色附件中的近景对象和远景对象，在第二颜色附件中，近景对象包含的像素点的深度值小于第一深度值，远景对象包含的像素点的深度值大于第一深度值。

结合第一方面，在一种可能的实现方式中，第六像素点为第二深度附件中深度值小于第二深度值的像素点，第六像素点在第三颜色附件中的坐标为第六坐标，第二深度值为第二深度附件中第六坐标的第一范围内的深度值的平均值。

结合第一方面，在一种可能的实现方式中，电子设备基于第一颜色附件和第二颜色附件，确定第二颜色附件的运动向量，具体包括：

电子设备在第二颜色附件中取出第一像素点；电子设备计算出第一像素点在第一颜色附件中的第七坐标；电子设备基于第七坐标和第一像素点在第二颜色附件中的第一坐标确定出第一像素点的运动向量；电子设备基于第一像素点的运动向量确定出第二颜色附件的运动向量。

结合第一方面，在一种可能的实现方式中，电子设备计算出第一像素点在第一颜色附件中的第七坐标，具体包括：电子设备获取到第一绘制帧的绘制参数中的第一矩阵、第二矩阵和第二绘制帧中的绘制指令的第三矩阵、第四矩阵，第一矩阵用于描述第一绘制帧中的绘制对象的世界坐标系到观察坐标系的映射关系，第二矩阵用于描述第一绘制帧中的绘制对象的观察坐标系到裁剪坐标系的映射关系，第三矩阵用于描述第二绘制帧中的绘制对象的世界坐标系到观察坐标系的映射关系，第四矩阵用于描述第二绘制帧中的绘制对象的观察坐标系到裁剪坐标系的映射关系；电子设备基于所述第一矩阵、所述第二矩阵、所述第三矩阵和第四矩阵计算出第一像素点在第一颜色附件中的第七坐标。

结合第一方面，在一种可能的实现方式中，上述方法还包括：在绘制第一绘制帧时，电子设备在第四内存空间将所述第一绘制帧中携带动态标识的绘制指令的绘制结果写入第四颜色附件和第四深度附件中；在绘制第二绘制帧时，所述电子设备在第五内存空间将所述第二绘制帧中携带动态标识的绘制指令的绘制结果写入第五颜色附件和第五深度附件中；电子设备基于第四颜色附件和所述第五颜色附件，确定第五颜色附件的运动向量；电子设备基于第五颜色附件和所述第五颜色附件的运动向量生成第一预测帧的第六颜色附件；电子设备基于第三颜色附件，预测出第一预测帧，具体包括：电子设备将第三颜色附件和第六颜色附件合成为第一预测帧。

第二方面，提供一种电子设备，该电子设备可以包括：一个或多个处理器和存储器；改存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行如第一方面任一种可能方式中的方法。

第三方面中，提供一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如第一方面中任一种可能的实现方式。

第四方面，提供一种计算机可读存储介质，包括指令，其特征在于，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面中任一可能的实现方式。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例中所需要使用的附图进行说明。

图1是本申请实施例提供的平板电脑10的用户界面100示意图；

图2是本申请实施例提供的一种位置关系的示意图；

图3是本申请实施例提供的一种图像帧预测的方法的逻辑框图；

图4A是本申请实施例提供的一种第N绘制帧示意图；

图4B是本申请实施例提供的一种第N+2绘制帧示意图；

图5是本申请实施例提供的一种计算静态对象的运动向量的示意图；

图6是本申请实施例提供的一种预测图像帧出现扭曲的示意图；

图7是本申请实施例提供的另一种计算静态对象的运动向量示意图；

图8是本申请实施例提供的一种确定第N+3帧中位置坐标的示意图；

图9是本申请实施例提供的一种图像帧预测的方法流程图；

图10是本申请实施例提供的一种预测第+3帧中静态对象的颜色值的方法流程图；

图11是本申请实施例提供的一种预测第+3帧中静态对象的颜色值示意图；

图12是本申请实施例提供的一种确定第N+3帧中位置坐标的示意图；

图13是本申请实施例提供的一种对图像帧中空洞部分填充的示意图；

图14是本申请实施例提供的电子设备的结构示意图；

图15是本申请实施例提供的电子设备的系统框架示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了便于理解，下面先对本申请实施例涉及的相关术语及概念进行介绍。

1、图像帧

在本申请实施例中，电子设备用于显示在显示屏中的每一帧图像称为图像帧。在本申请实施例中，图像帧可以是某一应用的一帧图像，可以是电子设备根据该应用的绘制指令绘制出的结果，也可以是根据已有绘制结果预测出来的预测结果。如图1所示，电子设备(即平板电脑10)显示了用户界面100。在T0时刻，用户界面100中显示了第N帧图像帧。第N帧图像帧为绘制帧。图1中时序图101示出了从T0时刻到Tn时刻电子设备可以显示的图像帧。

2、绘制帧

在本申请实施例中，电子设备在应用程序运行时，根据应用程序的绘制指令和绘制参数绘制出的图像帧称为绘制帧。应用程序的绘制指令和绘制参数可以是应用图形框架、应用引擎自动生成的，也可以是应用开发者编写的。绘制帧对应的绘制参数中可以包含一个或多个对象。电子设备可以将一个或多个对象绘制成绘制帧中对应的元素。例如，图1示出的用户界面100可以是一帧绘制帧。用户界面100中的元素102和元素103均为绘制参数中的对象经过绘制和渲染后得到。

可以理解的是，绘制帧的绘制参数中包含多个对象的属性。对象的属性可以包括对象中每个像素点的颜色值(例如RGB值)、对象中每个像素点的深度值，模板缓存(stencilbuffer)、投影矩阵、观察矩阵等等中的一项或多项。CPU可以根据绘制参数向GPU发送用于指示GPU执行绘制的绘制指令。GPU可以根据一个绘制指令绘制出一个对象。GPU根据携带了运动标识的绘制指令绘制出的对象可以称为运动对象。GPU根据未携带运动标识的绘制指令绘制出的对象可以称为静态对象。其中，运动标识可以是转移矩阵，还是可以是其他形式。

以游戏应用为例，静态对象在游戏场景中是静止的，但是会因为相机的拍摄角度的变化导致静态对象在不同图像帧中的位置不同。由静态对象绘制和渲染得到的用户界面中的元素，在相邻的两帧图像帧中的位置可以变化，位置变化的大小与相机拍摄位置以及拍摄角度有关。运动对象在游戏场景中是会运动的。由运动对象绘制和渲染得到的用户界面中的元素，在相邻的两帧图像帧中的位置是变化的。用户可以在用户界面中看到该元素的位置是移动的。

在本申请实施例中，一帧图像帧中包括远景对象和近景对象。电子设备可以根据对象中每个像素点的深度值确定该对象为远景对象还是近景对象。具体地，在一帧图像帧中，当一个对象包含的所有像素点的深度值大于第一深度值，则该对象称为远景对象。当一个对象包含的所有像素点的深度值小于第一深度值，则该对象称为近景对象。可以理解的，深度值越小的像素点，离相机的距离越近，深度值越大的像素点，离相机的距离越远。例如，远景对象可以是图1中静态的小山101。近景对象可以是图1中的静态的小树102。

3、预测帧

在本申请实施例中，电子设备根据已有的绘制图像帧数据，新生成的图像帧，称为预测帧。预测帧的绘制参数根据两帧绘制图像帧的绘制参数得到。举例来说，电子设备可以通过第一绘制图像帧和第二绘制图像帧生成第一预测帧。第一预测帧为第二绘制图像帧的后一帧图像帧。即，电子设备显示第二绘制图像帧后，显示第一预测帧。第一绘制图像帧为第二绘制帧之前的图像帧(第一绘制图像帧和第二绘制图像帧之间可以存在图像帧)。即第一绘制图像帧在第二绘制图像帧之前显示在电子设备的显示屏中。可以理解的是，若第N帧图像帧是绘制图像帧，那么在本申请实施例中就可以称为第N绘制帧。若第N帧图像帧是预测帧，那么在本申请实施例中就可以称为第N预测帧。

可以理解的是，预测帧的绘制参数中包含的对象与在预测帧前一帧显示的绘制帧的绘制参数中包含的对象相同。这里图像帧的绘制参数中包含的对象可以简称为图像帧包含的对象。例如，预测帧的绘制参数中包含的对象可以简称为预测帧包含的对象。

需要说明的是，需要预测帧的位置可以根据应用场景和用户需求确定，例如，如图2中(a)所示，为提升游戏的帧率，电子设备可以根据前两帧图像来生成前两帧图像的后一帧图像，该方法可以避免游戏延时太长，又例如，如图2中(b)所示，在处理没有实时要求的视频时，电子设备可以根据两帧相邻的视频帧生成中间的图像，该方法生成的预测帧更加准确。

这里，电子设备通过两帧绘制帧生成预测帧的具体过程可以参考下文，此处先不赘述。

4、颜色附件(color attachment)

在本申请实施例中，颜色附件(color attachment)是一块内存空间，用于在电子设备根据绘制指令进行绘制时，存储绘制结果中的各像素点颜色数据(例如像素点的RGB值)。

5、深度附件(depth attachment)

在本申请实施例中，深度附件(depth attachment)是一块内存空间，用于在电子设备根据绘制指令进行绘制时，存储绘制结果中各像素点深度数据。可以理解的，深度附件中深度值越小的像素点，离相机的距离越近。在合成图像帧时，对于两个颜色附件中坐标值相等的两个像素点，深度值小的一个像素点可以覆盖深度值大的另一个像素点。即最终显示屏像素点显示的颜色为两个颜色附件中深度值小的像素点的颜色。

下面将结合附图详细介绍本申请实施例提供的一种图像帧预测的方法。首先，图3示例性地示出了本申请实施例提供的一种图像帧预测的方法中电子设备绘制地N绘制帧、第N+2绘制帧，以及得到第N+3预测帧的过程。

图3中(a)图示例性示出了电子设备绘制第N绘制帧的过程。如图3中的(a)图所示，电子设备绘制第N绘制帧可以包括如下步骤：

301、电子设备获取第N绘制帧的绘制指令，并判断该绘制指令中是否携带动态标识。若是，则执行302a，若否，则执行302b。

具体地，电子设备中的目标应用在进行绘制时，该目标应用可以调用绘制指令进行绘制。电子设备的CPU可以通过三维图像处理库中的接口获取到应用程序的第N绘制帧的绘制参数。第N绘制帧的绘制参数用于绘制并渲染第N绘制帧。第N绘制帧的绘制参数可以包括第N绘制帧的绘制指令(例如draw call指令)中携带的信息，例如draw call指令的绘制内容中的每个顶点的坐标，像素值，深度值等等信息。

电子设备的CPU可以根据第N绘制帧的绘制参数向GPU发送用于指示GPU绘制第N绘制帧的绘制指令。可以理解的是，CPU获取到的第N绘制帧的绘制参数中可以包括多个绘制指令的信息。这样，CPU可以依次地向GPU发送用于指示GPU绘制第N绘制帧的多个绘制指令。

电子设备的GPU可以根据CPU发送的一个绘制指令绘制出一个对象。可以理解是，电子设备的GPU绘制完一个绘制指令后，再绘制第N绘制帧的另一个绘制指令，直至绘制完第N绘制中的所有绘制指令。

第N绘制帧的绘制指令中可以包含携带动态标识的绘制指令和未携带动态标识的绘制指令。若绘制指令中携带运动标识，则电子设备的GPU根据该绘制指令绘制出的对象是运动对象。若绘制指令中未携带运动标识，则电子设备的GPU根据绘制指令绘制出的对象是静态的对象。其中，运动标识可以是转移矩阵等。

示例性地，如图4A中(a)所示，图4A中(a)示例性地示出了第N绘制帧，第N绘制帧可以包括静态的小山101、静态的小树102和运动的小车103。第N绘制帧的绘制指令中可以包括用于绘制静态小山101的绘制指令、用于绘制静态的小树102的绘制指令和用于绘制运动的小车103的绘制指令。用于绘制静态的小山101的绘制指令可以未携带动态标识，电子设备的CPU根据该绘制指令绘制出的对象是静态对象。

电子设备的GPU可以将运动对象和静态对象分开存储，例如，若绘制指令的绘制内容为动态对象，则电子设备的GPU在内存空间H1中绘制出该绘制指令的绘制内容。内存空间H1可以简称为D1 FBO(dynamic frame buffer object，动态帧缓冲区对象)。若绘制指令的绘制内容为静态对象，则电子设备的GPU在内存空间H2中绘制出该绘制指令的绘制内容。内存空间H2可以简称为S1 FBO(static frame buffer object，静态帧缓冲区对象)。这里，帧缓冲区对象FBO是一块内存空间，可以用于存储绘制对象的颜色数据、深度数据等等。

其中，内存空间H1和内存空间H2为电子设备的GPU根据CPU的指令创建的。在目标应用开始绘制时，电子设备的CPU向GPU发送用于指示GPU创建内存空间的指令。目标应用程序为用户界面中具有动画效果的应用程序，例如游戏类应用。本申请实施例下文以目标应用为游戏应用为例进行阐述。当电子设备中安装的游戏应用运行时，电子设备的CPU向GPU发送用于指示GPU创建内存空间的指令。GPU响应于CPU发送的用于指示GPU创建内存空间的指令，GPU可以在内存中创建内存空间H1、第二内存空间H2。

在一些可选的实施例中，电子设备的GPU可以将运动对象和静态对象一起存储，即电子设备的GPU在内存空间H1中绘制出所有绘制指令的绘制内容。第一绘制帧中可以有多个绘制内容的绘制指令，电子设备的GPU可以依次将多个绘制指令的绘制内容的颜色值依次写入到颜色附件A、以及将多个绘制指令的绘制内容的深度值依次写入到深度附件A中。电子设备的GPU可以对颜色附件A中每一像素点添加标记，标记可以是数值G1或数值G2，若像素点的标记为数值G1，则表示像素点对应的对象为动态对象。若像素点的标记为数值G2，则表示该像素点对应的对象为静态对象。数值G1和数值G2不相同。例如，数值G1可以为1，数值G2可以为0。本申请实施例对数值G1和数值G2的具体取值不作限定。

其中，标记可以写入深度附件，也可以写入模板附件，还可以另外生成一个附件存储，本申请对此不作任何限定。

302a、电子设备在内存空间H1中将绘制指令的绘制内容写入到颜色附件A和深度附件A中。

具体地，若第N绘制帧的绘制指令的绘制内容为动态对象，电子设备的GPU在内存空间H1中将绘制指令的绘制内容写入到颜色附件A和深度附件A中。第N绘制帧中可以有多个绘制指令，该多个绘制指令的绘制内容为动态对象，电子设备的GPU可以依次将多个绘制指令的绘制内容绘制到颜色附件A和深度附件A中。

示例性地，如图4A中(b)所示，图4A中(b)示例性地示出了内存空间H1中的颜色附件A和深度附件A。颜色附件A和深度附件A中写入了运动的小车103的绘制指令的绘制内容。可以理解的是，颜色附件A实际上是在内存中的一块内存空间。图4A中(b)为了形象理解，把内存空间中的颜色数据按照图像比例形式来示意展示。同样地，深度附件A实际上也是在内存中的一块内存空间。图4A中(b)为了形象理解，把内存空间中的深度数据按照图像比例形式来示意展示。

302b、电子设备在内存空间H2中将绘制指令的绘制内容写入到颜色附件B和深度附件B中。

具体地，若第N绘制帧的绘制指令的绘制内容为静态对象，电子设备的GPU在内存空间H2中将绘制指令的绘制内容写入到颜色附件B和深度附件B中。第N绘制帧中可以有多个绘制指令，该多个绘制指令的绘制内容为静态对象，电子设备的GPU可以依次将多个绘制指令的绘制内容绘制到颜色附件B和深度附件B中。

如图4A中(c)所示，图4A中(c)示例性地示出了内存空间H2的颜色附件B和深度附件B。颜色附件B和深度附件B中写入了静态的小山101的绘制指令的绘制内容和静态的小树102的绘制指令的绘制内容。可以理解的是，颜色附件B实际上是在内存中的一块内存空间。图4A中(c)为了形象理解，把内存空间中的颜色数据按照图像比例形式来示意展示。同样地，深度附件B实际上也是在内存中的一块内存空间。图4A中(c)为了形象理解，把内存空间中的深度数据按照图像比例形式来示意展示。

可以理解的是，颜色附件A和深度附件A可以是内存空间H1中两块单独的内存空间。可选地，颜色附件A和深度附件A也可以是内存空间H1中的一块内存空间，即这一块内存空间中可以写入了颜色数据和深度数据。同样地，颜色附件B和深度附件B可以是内存空间H2中两块单独的内存空间。可选地，颜色附件B和深度附件B也可以是内存空间H2中的一块内存空间，即这一块内存空间中可以写入了颜色数据和深度数据。

303、电子设备根据深度附件A和深度附件B将颜色附件A和颜色附件B合成第N绘制帧的图像帧。

具体地，电子设备的GPU可以在内存空间H7中将颜色附件A和颜色附件B合成第N绘制帧的图像帧。可以理解的是，颜色附件A中可以包含第N绘制帧中的多个动态对象，颜色附件B中可以包括第N绘制帧中的多个静态对象。其中，内存空间H7是电子设备的GPU根据电子设备的CPU的指令生成的。

电子设备的GPU可以在深度附件A中获取到颜色附件A中每个动态对象、以及每个像素点的深度信息。电子设备的GPU可以在深度附件B中获取到颜色附件B中每个静态对象，以及每个像素点的深度信息。电子设备可以按照颜色附件A中每个像素点的深度信息，以及颜色附件B中每个像素点的深度信息将颜色附件A和颜色附件B合成图像帧。

304、电子设备显示第N绘制帧。

电子设备可以将第N绘制帧的图像帧送到显示屏进行显示，最终，电子设备中的显示屏可以显示第N绘制帧。

图3中(b)图示例性示出了电子设备绘制第N+2绘制帧的过程。如图3中的(b)图所示，电子设备绘制第N+2绘制帧可以包括如下步骤：

305、电子设备获取第N+2绘制帧的绘制指令，并判断该绘制指令中是否携带动态标识。若是，则执行306a，若否，则执行306b。

具体地，电子设备的CPU可以获取到第N+2绘制帧的绘制参数，电子设备的CPU可以根据第N+2绘制帧的绘制参数向GPU发送用于指示GPU绘制第N+2绘制帧的绘制指令。可以理解的是，CPU获取到的第N+2绘制帧的绘制参数中可以包括多个绘制指令的信息。这样，CPU可以依次地向GPU发送用于指示GPU绘制第N+2绘制帧的多个绘制指令。这里，具体可以参考步骤301中的描述，此处不再赘述。

第N+2绘制帧的绘制指令中可以包含携带动态标识的绘制指令和未携带动态标识的绘制指令。若绘制指令携带动态标识，就执行步骤306a，若绘制指令未携带动态标识，就执行步骤306b。

如图4B中(a)所示，图4B中(a)示例性地示出了第N+2绘制帧，第N+2绘制帧可以包括静态的小山101、静态的小树102和运动的小车103。第N+2绘制帧的绘制指令中可以包括用于绘制静态小山101的绘制指令、用于绘制静态的小树102的绘制指令和用于绘制运动的小车103的绘制指令。用于绘制静态的小山101的绘制指令可以未携带动态标识，电子设备的CPU根据该绘制指令绘制出的对象是静态对象。

306a、电子设备在内存空间H3中将绘制指令的绘制内容写入到颜色附件C和深度附件C中。

若绘制指令的绘制内容为动态对象，则电子设备的GPU在内存空间H3中将绘制指令的绘制内容写入到颜色附件C和深度附件C中。

示例性地，如图4B中(b)所示，图4B中(b)示例性地示出了内存空间H3中的颜色附件A和深度附件A。颜色附件A和深度附件A中写入了运动的小车103的绘制指令的绘制内容。可以理解的是，颜色附件A实际上是在内存中的一块内存空间。图4B中(b)为了形象理解，把内存空间中的颜色数据按照图像比例形式来示意展示。同样地，深度附件A实际上也是在内存中的一块内存空间。图4B中(b)为了形象理解，把内存空间中的深度数据按照图像比例形式来示意展示。

306b、电子设备在内存空间H4中将绘制指令的绘制内容写入到颜色附件D和颜色附件D中。

若第N+2绘制帧的绘制指令的绘制内容为静态对象，则电子设备的GPU在内存空间H4中将该绘制指令的绘制内容写入到颜色附件D和深度附件D中。

如图4B中(c)所示，图4B中(c)示例性地示出了内存空间H4的颜色附件B和深度附件B。颜色附件B和深度附件B中写入了静态的小山101的绘制指令的绘制内容和静态的小树102的绘制指令的绘制内容。可以理解的是，颜色附件B实际上是在内存中的一块内存空间。图4B中(c)为了形象理解，把内存空间中的颜色数据按照图像比例形式来示意展示。同样地，深度附件B实际上也是在内存中的一块内存空间。图4B中(c)为了形象理解，把内存空间中的深度数据按照图像比例形式来示意展示。

307、电子设备根据深度附件C和深度附件D将颜色附件C和颜色附件D合成第N+2绘制帧的图像帧。

电子设备的GPU可以在内存空间H7中将颜色附件C和颜色附件D合成第N+2绘制帧的图像帧。可以理解的是，颜色附件C中可以包含第N+2绘制帧中的多个运动对象，颜色附件D中可以包括第N+2绘制帧中的多个静态对象。电子设备的GPU可以在深度附件C中获取到颜色附件C中每个运动对象、以及每个像素点的深度信息。电子设备的GPU可以在深度附件D中获取到颜色附件D中每个静态对象，以及每个像素点的深度信息。电子设备的GPU可以按照颜色附件C中每个像素点的深度信息，以及颜色附件D中每个像素点的深度信息将颜色附件C和颜色附件D合成图像帧。图像帧中可以包含颜色附件C中的运动对象和颜色附件D中的静态对象。

308、电子设备显示第N+2绘制帧。

电子设备可以将第N+2绘制帧的图像帧送到显示屏进行显示，最终，电子设备中的显示屏可以显示第N+2绘制帧。

图3中(c)图示例性示出了电子设备如何预测得到第N+3预测帧的过程。如图3中的(c)图所示，该过程如下：

309、电子设备基于颜色附件A和颜色附件C计算出运动向量A。

具体地，电子设备的CPU可以向GPU发送用于指示GPU计算运动向量的指令。该指令用于指示GPU中的shader计算运动向量。例如，该指令可以是dispatch指令。本申请实施例对计算运动向量的指令的具体形式不做限定。

电子设备的GPU利用颜色附件A计算出第N+2绘制帧的颜色附件C的运动向量A。

如图3中的(c)图所示，电子设备可以基于第N帧的颜色附件A和第N+2帧的颜色附件C计算出运动向量A。

在一中可能的实现方式中，电子设备计算得到运动向量A的过程包括：

1、电子设备的GPU将第N+2帧的颜色附件C划分成Q个像素块。每个像素块可以包含f*f(例如16*16)个像素点。

2、电子设备的GPU在颜色附件C中取第一像素块，在第N绘制帧的颜色附件A中查找与第一像素块匹配的匹配像素块。

其中，第N帧中所有候选块中，与第一像素块的RGB值的绝对差最小的候选块，称为与第一像素块匹配的匹配像素块。电子设备需要在第N绘制帧中找到与第一像素块匹配的匹配像素块。可选地，电子设备的电子设备可以通过菱形搜索算法在第N绘制帧找到与第一像素块匹配的匹配像素块。菱形搜索算法具体可以参考现有技术中的描述，此处不再赘述。

3、电子设备的GPU计算出匹配像素块到第一像素块的第一位移，根据第一位移确定出第一像素块的运动向量A1。

4、电子设备的GPU可以按照上述步骤1-步骤3计算出颜色附件C中Q个像素块中每个像素块的运动向量，即为A1，A2，…，AQ。颜色附件C的运动向量即为A＝(A1，A2，…，AQ)。

310、电子设备基于颜色附件B和颜色附件D计算出运动向量B。

如图3中的(c)图所示，电子设备的GPU可以基于第N帧的颜色附件B和第N+2帧的颜色附件D计算出运动向量B。也就是说，电子设备可以基于第N帧中的静态对象和第N+2帧中的静态对象，计算出该静态对象的运动向量。

电子设备的GPU基于颜色附件B和颜色附件D计算出运动向量B的具体计算过程可以参考图5中实施例中的描述，此处先不赘述。

311、电子设备基于颜色附件C和运动向量A得到颜色附件E。

电子设备的GPU可以基于第N+2绘制帧的颜色附件C和运动向量A得到第N+3预测帧的颜色附件E。也即是说，电子设备可以根据第N+2绘制帧的运动对象以及运动对象的运动向量预测出第N+3帧中的运动对象。

312、电子设备基于颜色附件D和运动向量B得到颜色附件F。

具体地，电子设备的GPU可以基于第N+2绘制帧的颜色附件D和运动向量B得到第N+3帧的颜色附件F。也即是说，电子设备可以根据第N+2绘制帧的静态对象以及静态对象的运动对象预测出第N+3帧中的静态对象。

313、电子设备在内存空间H7中将颜色附件E和颜色附件F合成第N+3预测帧的图像帧。

在本申请实施例中，第N+3预测帧的颜色附件E中第一坐标处的像素点的深度信息可以与第N+2绘制帧中颜色附件C中第一坐标处的像素点的深度信息相同。第N+3预测帧的颜色附件F中第二坐标处的像素点的深度信息可以与第N+2绘制帧中颜色附件D中第二坐标处的像素点的深度信息相同。也即是说，电子设备可以将深度附件C中每个像素点的深度值作为颜色附件E中每个像素点的深度值。电子设备可以将深度附件D中每个像素点的深度值作为颜色附件F中每个像素点的深度值。电子设备可以根据在深度附件C和深度附件D中取出像素点的深度值，将颜色附件E和颜色附件F合成第N+3预测帧的图像帧。

314、电子设备显示第N+3预测帧。

电子设备可以将第N+3预测帧的图像帧送到显示屏进行显示，最终，电子设备中的显示屏可以显示第N+3预测帧。

在一中可能的实现方式中，图5示例性示出了电子设备如何计算得到运动向量B的过程。如图5所示，电子设备计算得到运动向量B的过程如下：

3101、电子设备将第N+2帧的颜色附件D划分成L个像素块。每个像素块可以包含f*f(例如16*16)个像素点。

示例性地，参见图5中(a)，参见图5中(a)示例性示出了第N+2帧的颜色附件D，如图5中(a)所示，颜色附件D中包括静态的小山101和静态的小树102。如图5中(b)所示，电子设备将第N+2帧的颜色附件D划分成64个像素块。

3102、电子设备获取第N帧和第N+2帧的绘制参数。

具体地，电子设备在绘制第N帧时，可以获取第N帧的观察矩阵V1和投影矩阵P1，电子设备在绘制第N+2帧时，可以获取第N+2帧的观察矩阵V2和投影矩阵P2。

其中，观察矩阵V1和投影矩阵P1可以是电子设备在绘制第N帧时，GPU可以通过hook glBufferSubData接口直接获取。观察矩阵V2和投影矩阵P2可以是电子设备在绘制第N+2帧时，GPU可以通过hook glBufferSubData接口直接获取。

在本申请实施例中，观察矩阵为世界空间(world space)与观察空间(cameraspace)之间的转换矩阵。例如，第N帧的绘制指令中的像素点1的坐标可以通过观察矩阵从世界空间下的坐标转换为观察空间下的坐标。投影矩阵为观察空间与裁剪空间(clipspace)之间的转换矩阵。例如，像素点1的坐标可以通过投影矩阵从观察空间下的坐标转换为裁剪空间下的坐标。世界空间是世界坐标下对应的空间。观察空间是以相机坐标系(以相机为坐标原点构建的坐标系)对应的空间。观察空间下描述的物体的位置，都是在相机坐标下的位置。裁剪空间中规定可以显示在电子设备的显示屏中的物体的坐标范围。

3103、电子设备基于观察矩阵V1、投影矩阵P1、观察矩阵V2和投影矩阵P2，得到第N帧与第N+2帧之间的转换矩阵T。

其中，静态对象在世界坐标系下位置坐标是不变的。例如在游戏应用中，虽然在游戏画面中静态对象会随着相机视角的移动而移动，在世界坐标系下这些静态对象是不会随着相机视角的移动而移动的。

在第N帧中，第一像素点在世界坐标系下的位置坐标为Xw，根据观察矩阵V1和投影矩阵P1，可以得到第一像素点在观察坐标下的坐标为：

X_c1＝P₁·V₁·X_w

由于静态对象在世界坐标系下的位置坐标是不变的，因此，第N+2帧中，第一像素点在世界坐标系下的位置坐标为Xw，根据观察矩阵V2和投影矩阵P2，可以得到第一像素点在第N+2帧中观察坐标下的位置坐标为：

X_c2＝P₂·V₂·X_w

其中，第N帧中像素点a和第N+2帧中像素点为同一个像素，像素点a在第N帧中和第N+2帧中世界坐标系下的位置坐标相同。

电子设备可以得到第N帧到第N+2帧的转换矩阵为：

T＝(P₁·V₁)^-1·(P₂·V₂)

其中，(P1V1)-1为(P1V1)的逆矩阵。

3104、电子设备在第N+2帧的颜色附件D中取第二像素块的第一顶点以及第二像素块的第一顶点在第N+2帧中的位置position2，并在深度附件D中获取第二像素块的第一顶点的深度值D2。

3105、电子设备利用第二像素块的第一顶点的位置position2，深度值D2，以及矩阵T计算出第二像素块的第一顶点在第N绘制帧中的位置position1。那么第二像素块的第一顶点的运动向量B1＝position2-position1。

电子设备可以按照计算第二像素块的第一顶点运动向量的步骤计算出颜色附件D中每一个像素块的四个顶点的运动向量B1，B2，…，B4L。得到颜色附件D的运动向量B＝(B1，B2，…，B4L)。

接下来结合图5示例介绍电子设备基于颜色附件D和运动向量B得到颜色附件F的具体过程：

3106、电子设备基于第三像素块的顶点的运动向量，确定第三像素块中的像素点的运动向量。

具体地，电子设备针对第三像素块中包括的四个顶点的运动向量进行线性插值，得到第三像素块中的像素点的运动向量。

示例性地，参见图5，图5示例性示出了电子设备基于颜色附件D预测得到颜色附件F的过程。为了更好的示意预测得到颜色附件F的情况，取颜色附件D中区域501示意说明，颜色附件D中区域501放大后可以如图5中(c)所示，其中，深色区域为小树，浅色区域为远处的背景。下面以5中(c)的像素块A为例进行说明，如图5中(c)所示，像素块A包括顶点a1、顶点a2、顶点a3以及顶点a4四个顶点。电子设备基于观察矩阵和投影矩阵得到像素块A的四个顶点的运动向量，其中，顶点a1的运动向量为Mv’a＝(0，0)，顶点a2的运动向量为Mv’a2＝(0，0)，顶点a3的运动向量为Mv’a3＝(-4，0)，顶点a4的运动向量为Mv’a4＝(-4，0)。电子设备针对像素块A的四个顶点的运动向量进行线性插值，可以得到像素块A中像素点b1的运动向量为(-1，0),像素块A中像素点b2的运动向量为(-1，0)。

电子设备可以按照计算第三像素块中像素点b1和像素点b2在的运动向量的步骤，计算出颜色附件D中每一个像素块的每一个像素点的运动向量。

3107、电子设备基于颜色附件D和颜色附件D中每个像素点的运动向量，得到颜色附件F。

具体地，电子设备针对颜色附件D中一个坐标的像素点以及该像素点的运动向量，得到该像素点在颜色附件F中的坐标。

示例性地，如图5中(c)所示，像素块A中的像素点b1在颜色附件D中的坐标为(x1，y1)，像素点b1的运动向量为(-1，0)，像素点b2在颜色附件D中的坐标为(x2，y2)。像素点b2的运动向量为(-1，0)。如图5中(d)所示，电子设备可以得到像素点1和像素点2在颜色附件F中的位置为(x1’，y1’)和(x2’，y2’)。

电子设备可以按照计算像素点b1和像素点b2在颜色附件F中的位置坐标的步骤，计算出颜色附件D中每一个像素块的每一个像素点在颜色附件F中的位置坐标，得到颜色附件F。

电子设备先将第N+2帧分成多个像素块，然后基于第N帧和第N+2帧的计算第N+2帧中每一个像素块的四个顶点的运动向量。对于第N+2帧中的一个像素块，电子设备基于该像素块的四个顶点的运动向量，确定该像素块的四个顶点在第N+3帧中的坐标。最后电子设备基于该像素块的四个顶点在第N+2帧中的坐标和第N+3帧中的坐标，确定第三像素块的像素在第N+3帧中的坐标。但是，在该像素块的四个顶点的运动向量差距较大时，会导致计算出来的运动向量不准确。这样，会导致预测出的图像帧中出现扭曲的情况。

例如，如图5中(c)所示，顶点a1和顶点a2为静态的小山101中包含的像素点，也就是说，顶点a1和顶点a2为远景对象，远景对象的运动向量均为(0，0)。顶点c和顶点d为静态的小树102中包含的像素点，即顶点c和顶点d为近景对象，近景对象的运动向量均为(-4，0)。如图5中(c)所示，像素点b2为静态的小树102中包含的像素点，其运动向量应该为(-4，0)。而电子设备基于基于四个顶点的运动向量可以得到像素点b1和像素点b2的运动向量为(-1，0)。因此，电子设备根据运动向量(-1，0)确定像素点b2在颜色附件F中的坐标时，会导致像素点b2偏离实际的坐标，从而导致图像出现扭曲。如图6中所示，电子设备基于上述方法可以得到颜色附件F，其中颜色附件F中静态对应102的边缘出现扭曲。

为了解决上述图像边缘出现扭曲的问题，在一种可能的实现方式中，电子设备可以基于第N+2帧的颜色附件D和中每一个像素点计算运动向量。例如，第N帧中包括m个像素点，电子设备计算m个像素点的运动向量，可以得到像素点的运动向量B＝(B1、B2…Bm)，基于运动向量B，电子设备可以得到第N+2帧的颜色附件D中每一个像素点在第N+3帧中的颜色附件E的位置坐标，电子设备基于颜色附件D和颜色附件D中每一个像素点在颜色附件F中的位置坐标，可以得到颜色附件F。

电子设备基于颜色附件D和颜色附件D中每一个像素点在颜色附件F中的位置坐标，得到颜色附件F具体可以包括以下部分或全部步骤：

401、电子设备获取第N帧和第N+2帧的绘制参数。

具体参见上述步骤3102的相关操作，在此不再赘述。

402、电子设备基于观察矩阵V1、投影矩阵P1、观察矩阵V2和投影矩阵P2，得到第N帧与第N+2帧之间的转换矩阵T。

电子设备得到转换矩阵T的相关操作具体参见上述步骤3103的相关操作，在此不再赘述。

在本申请实施例中，第一矩阵可以被称为观察矩阵V1，第二矩阵可以被称为投影矩阵P1，第三矩阵可以被称为观察矩阵V2，第四矩阵可以被称为投影矩阵P2。

403、电子设备在颜色附件D的中取第二像素点以及第二像素点在颜色附件D中的位置position4(x4，y4)，并在深度附件D中获取第二像素点的深度值D2。

404、电子设备利用第二像素点的位置position4(x4，y4)，深度值D2，以及转换矩阵T计算出第二像素块在颜色附件B中的位置position3(x3，y3)。那么第二像素块的运动向量B1＝position4-position3。

电子设备可以按照计算第二像素点的运动向量的步骤计算出颜色附件D中每一个像素点的运动向量B1，B2，…Bm。颜色附件D的运动向量B＝(B1，B2，…，Bm)。

示例性地，参见图7，图7示例性示出了电子设备计算得到颜色附件D的运动向量B的过程。图7中(a)示出了颜色附件B，如图7中(a)所示，颜色附件B中包含静态的小山101中像素点1011和静态的小树102中像素点1021。图7中(b)示出了颜色附件D，颜色附件D中包括静态的小山101中像素点1012和静态的小树102中像素点1022。其中，像素点1011和像素点1012为同一个像素点，像素点1021和像素点1022为同一个像素点。如图7中(c)所示，像素点1011和像素点1021在颜色附件B中的位置坐标分别为(x3，y3)、(x4，y4)，如图7中(d)所示，电子设备基于转换矩阵T可以得到像素点1011在颜色附件F中的位置坐标(x4’，y4’)，像素点1021在颜色附件F中的位置坐标(x3’，y3’)。因此，可以得到像素点1012的运动向量为Mv＝(-1，0),像素点1022的运动向量为Mv＝(-5，0)。

电子设备基于颜色附件D和颜色附件D中每一像素的运动向量B，可以得到第N+3帧的颜色附件E。这样，通过计算每一个像素点的运动向量，避免出现图像扭曲的情况。

在实际应用中，当相机向左移动时，相机视野中的物体相当于向右移动。根据相机拍摄原理可知，在相机移动过程中，相机视野中的远景移动和近景移动不一致，即远景相对于近景移动会多一些，也就是说，在相邻两帧中，远景对象跟近景对象的运动向量不一样。这样，在基于颜色附件D和颜色附件D中每一个像素点的运动向量，得到颜色附件F时，会导致出现颜色附件D中两个像素点对应于颜色附件F中一个位置坐标的情况，进而导致颜色附件F中该位置坐标处的颜色值出错。

示例性地，如图8所示，针对静态的小山101中的像素点1032，在颜色附件D中的位置坐标为(x5，y5)，其计算得到运动向量为Mv＝(-1，0)，可以得到像素点1032在颜色附件F中的坐标为(x7，y7)；静态的小树102中的像素点1022，在颜色附件D中的位置坐标为(x6，y6)，其计算得到运动向量为Mv＝(-4，0)，可以得到像素点1022在颜色附件F中的坐标为(x7，y7)。可以知道的是，如图8中(b)所示，像素点1032和像素点1022在颜色附件F中的坐标相同。电子设备将像素点1032和像素点1022都写入颜色附件F中的坐标(x7，y7)处。当颜色附件F中坐标(x7，y7)处先写入的颜色值为像素点1022的颜色值，后写入的颜色值为像素点1032的颜色值，后写入的像素点1032会覆盖掉先写入的像素点1022的颜色值，因此，会导致颜色附件F中坐标(x7，y7)处预测出错。

因此，本申请实施例提供了一种帧预测的方法、电子设备及计算机可读存储介质，该方法中：首先，在绘制第一绘制帧时，电子设备在第一内存空间将第一绘制帧中未携带动态标识的绘制指令的绘制结果写入第一颜色附件和第一深度附件中；在绘制第二绘制帧时，电子设备在第二内存空间将所第二绘制帧中未携带动态标识的绘制指令的绘制结果写入第二颜色附件和第二深度附件中；接着，电子设备基于第一颜色附件和第二颜色附件，确定第二颜色附件的运动向量；电子设备基于第二颜色附件、第二深度附件以及第二颜色附件的运动向量，确定出第三颜色附件的颜色值，其中，第三颜色附件在第三内存空间中；最后，电子设备基于第三颜色附件，预测出第一预测帧。

其中，电子设备确定第二颜色附件的运动向量是确定第二颜色附件中每一个像素点的运动向量，这样，通过计算第二颜色附件中每一个像素点的运动向量，可以避免运动向量不准确的问题。电子设备基于第二颜色附件中每一个像素点以及每一个像素点的运动向量，可以确定第二颜色附件中每一个像素点在第三颜色附件中的坐标，然后基于第二颜色附件和第三颜色附件中相同坐标对应的像素点的深度值的差值，确定第三颜色附件中的颜色值。这样，在两个像素点移动到第三颜色附件中的一个坐标处的情况下，可以避免第三颜色附件中该坐标处颜色值预测错误的问题，可以更准确的得到第一预测帧。

下面将结合附图详细介绍本申请实施例提供的一种图像帧预测的方法。图9示例性示出了电子设备预测第一预测帧的过程。如图9所示，电子设备预测第一预测帧可以包括如下步骤：

S501、电子设备在绘制第N帧时，在内存空间H2将第N帧中未携带动态标识的绘制指令的绘制结果写入颜色附件B和深度附件B中。

具体地，电子设备在绘制第N帧时，电子设备的GPU可以获取第N帧的绘制指令。电子设备的GUP可以判断第N帧的绘制指令是否携带运动标识，电子设备的GPU在内存空间H2将未携带动态标识的绘制指令的绘制结果写入颜色附件B和深度附件B。例如，如图4A中(c)所示，内存空间H2中颜色附件B和深度附件B中写入了静态的小山101的绘制指令的绘制内容和静态的小树102的绘制指令的绘制内容。

S502、电子设备在绘制第N+2帧时，在内存空间H4将第N+2帧中未携带动态标识的绘制指令的绘制写入颜色附件D和深度附件D中。

具体地，电子设备在绘制第N+2帧时，电子设备的GPU可以获取第N帧的绘制指令。电子设备的GUP可以判断第N+2帧的绘制指令是否携带运动标识，电子设备的GPU在内存空间H4将未携带动态标识的绘制指令的绘制结果写入颜色附件D和深度附件D。例如，如图4B中(c)所示，内存空间H4中颜色附件D和深度附件D中写入了静态的小山101的绘制指令的绘制内容和静态的小树102的绘制指令的绘制内容。

S503、电子设备基于颜色附件B和颜色附件D，确定颜色附件D中每一个像素点的运动向量。

具体地，电子设备的GUP可以获取第N帧和第N+2帧的观察矩阵和投影矩阵，基于观察矩阵和投影矩阵可以得到第N帧到第N+2帧的转换矩阵T。针对颜色附件B中任意一个位置坐标的像素点，电子设备的GUP基于转换矩阵T，可以得到该像素点在颜色附件D中对应的位置坐标。基于像素点在颜色附件B和颜色附件D中的位置坐标，可以得到该像素点的运动向量。因此电子设备可得到颜色附件D中每一个像素点的运动向量B＝(B1、B2…Bm)。

电子设备的GUP基于颜色附件B和颜色附件D，得到颜色附件D中每一像素点的运动向量B的相关描述具体参见上述步骤401-步骤404的相关描述，在此不再赘述。

S504、电子设备基于颜色附件D、深度附件D以及颜色附件D中每一个像素点的运动向量，预测出第N+3帧中颜色附件F的颜色值，颜色附件F在内存空间H6中。

具体地，电子设备的GUP的根据第N+2帧的颜色附件D和运动向量B，可以得到第N+2帧中颜色附件D的每一个像素点在第N+3帧的颜色附件F的坐标。其中，在第N+3帧中的颜色附件F中一个坐标处可以对应几个像素点，也就是说，颜色附件D中可以有几个像素点运动至颜色附件F中的一个坐标处。电子设备的GUP比较颜色附件B和颜色附件F中相同坐标对应的像素点的深度值的差值，基于差值确定颜色附件F该坐标的颜色值。这样，电子设备可以确定颜色附件F中每一个坐标处的颜色值。

这里电子设备确定颜色附件F中的颜色值的具体描述具体参见步骤601-步骤611中的相关描述，在此先不赘述。

S505、电子设备基于颜色附件F，预测出第一预测帧。

具体地，电子设备在绘制第N帧时，在内存空间H1将第N帧中携带动态标识的绘制指令的绘制结果写入颜色附件A和深度附件A中。也就是说，电子设备可以将动态对象的绘制结果写入颜色附件A和深度附件A中。电子设备在绘制第N+2帧时，可以在内存空间H3将第N帧中携带动态标识的绘制指令的绘制结果写入颜色附件C和深度附件C中。电子设备基于颜色附件A和颜色附件C，可以得到颜色附件E。这里关于电子设备得到颜色附件E的相关操作参见上述图3实施例中的相关操作，在此不再赘述。电子设备可以将得到的颜色附件E和颜色附件F合成为第一预测帧。电子设备合成第一预测帧的相关描述，可以参见上述步骤313中的相关描述，在此不再赘述。

在一些可选的实施例中，内存空间H1和内存空间H2可以是一个内存空间，内存空间H2和内存空间H3可以是一个内存空间。电子设备在绘制第N绘制帧时，将动态对象和静态对象一起写入颜色附件I中。电子设备在颜色附件I中运动对象的像素点添加标记G1，在颜色附件I中静态对象的像素点添加标记G2。电子设备在绘制第N+2绘制帧时，将动态对象和静态对象一起写入颜色附件J中。电子设备在颜色附件J中运动对象的像素点添加标记G1，在颜色附件J中静态对象的像素点添加标记G2。电子设备在计算静态对象的运动向量时，基于颜色附件I和颜色附件J中携带标记G2的像素点，确定颜色附件J中携带标记G2的像素点的运动向量。然后，电子设备基于颜色附件J中携带标记G2的像素点的颜色值、颜色附件J中携带标记G2的像素点的深度值以及颜色附件J中携带标记G2的像素点的运动向量，预测出第N+3帧中携带标记G2的像素点的颜色值，即第N+3帧中静态对象的颜色值。电子设备还可以基于颜色附件I中携带标记G1的像素点和颜色附件J中携带标记G1的像素点，预测出第N+3帧中携带标记G1的像素点的颜色值，即第N+3帧中动态对象的颜色值。最后，电子设备基于第N+3帧中携带标记G1的像素点和第N+3帧中携带标记G2的像素点合成第一预测帧。

在本申请实施例中，第一绘制帧可以被称为第N帧，第二绘制帧可以被称为第N+2帧，第一预测帧可以被称为第N+3帧。第一内存空间可以被称为内存空间H2，第二内存空间可以被称为内存空间H4，第三内存空间可以被称为内存空间H6，第四内存空间可以被称为内存空间H1，第五内存空间可以被称为内存空间H3。第一颜色附件可以称为颜色附件B，第一深度附件可以被称为深度附件B，第二颜色附件可以称为颜色附件D，第二深度附件可以被称为深度附件D，第三颜色附件可以称为颜色附件F，第四颜色附件可以被称为颜色附件A，第四深度附件可以被称为深度附件A，第五颜色附件可以被称为颜色附件C，第五深度附件可以被称为深度附件C，第六颜色附件可以被称为颜色附件E。

接下来结合图10-图13示例介绍电子设备预测出颜色附件F的颜色值的过程。

图10示例性示出了电子设备得到颜色附件的过程，如图所示，电子设备得到颜色附件F可以包括以下全部或部分步骤：

601、电子设备在内存空间H6中生成颜色附件F，并将颜色附件F中每个像素点的透明通道设置为第一透明值。

具体地，电子设备的CPU在获取到目标应用程序的预测指令时，电子设备的CPU向GPU发送用于指示GPU创建内存空间的指令。GPU响应于CPU发送的用于指示GPU创建内存空间的指令，电子设备的GPU可以在内存中创建内存空间H6。电子设备的GPU在内存空间H6中生成颜色附件F，并将内存空间H6中的颜色附件F中的每个像素点的透明通道设置为第一透明值。这里，生成的颜色附件F中的颜色值为初始值颜色值，初始颜色值可以是任意颜色值，颜色附件F可用于存储第一预测帧中未携带动态标识的绘制指令的绘制内容的颜色值。为了方便描述，本申请中将每个像素点的透明通道设置为第一透明值的颜色附件F称为颜色附件F1。

示例性地，参见图11，图11中示例性示出了电子设备得到颜色附件F的过程。图11中(a)示出了颜色附件D，图11中(c)示出深度度附件D，图11中(c)示出了颜色附件F1。为了方便示意，图中虚线表示该位置坐标处的像素点的透明通道为第一透明值，实线表示该位置坐标处的像素点的透明通道为第二透明值。如图11中(c)所示，颜色附件F1中每个位置坐标的像素点为虚线表示，即每个位置坐标的像素点的透明通道设置为第一透明值。

602、电子设备基于颜色附件B和颜色附件D，确定颜色附件D中的运动向量。

具体地，电子设备的GPU可以基于颜色附件B和颜色附件D，确定颜色附件D中每一个像素点的运动向量。电子设备确定颜色附件D中每一个像素点的运动向量具体参见上述步骤104中相关描述，在此不再赘述。

其中，步骤601和步骤602的执行顺序可以互换，也可以同时执行上述两个步骤，本申请实施例对于步骤601和步骤602的执行顺序不作限定。

603、电子设备基于颜色附件D的运动向量，确定颜色附件D中第一坐标处的第一像素点在颜色附件F中第三坐标，颜色附件D中第二坐标处的第二像素点在颜色附件F中第四坐标。

具体地，针对颜色附件D中第三坐标的第一像素点，电子设备将第一坐标与第一该像素点的运动向量进行加和，可以得到第一像素点在颜色附件F的第三坐标。针对颜色附件D中第二坐标的第二像素点，电子设备将第二坐标与第二该像素点的运动向量进行加和，可以得到第二像素点在颜色附件F的第四坐标。

示例性地，请参见图12，图12为本申请实施例提供的一种确定像素点坐标的示意图。如图12所示，图12中(a)为颜色附件D，颜色附件D中包括静态对象301和静态对象302，其中，静态对象301为远处的背景，即远景，静态对象302为近处的小树。为了更好的示意颜色附件D中像素点在颜色附件F中的坐标情况，取小树边缘的区域示意说明，小树的树干边缘放大后可以如图12中(b)所示，其中，深色区域为小树，浅色区域为远处的背景。需要说明的是，图12中的(b)为放大后的小树树干，图12中的(b)的小树树干的宽度比图12中的(a)中的宽度较宽，因作图原因在图12中未能明显体现，特此说明。

如图12中(c)所示，像素点c3在颜色附件D中的坐标为(n+3，m+3)，像素点c3的运动向量为(-1，0)电子设备将像素点c3在颜色附件D中的坐标与该像素点c3的运动向量进行加和，得到像素点c3在颜色附件F中的坐标为(n+2，m+3)。相应地，电子设备可以得到像素点c3、像素点c8、像素点c3在颜色附件E中对应的坐标为(n+2，m+3)、(n+2，m+2)、(n+2，m+1)。

如图12中(d)所示，像素点c2在颜色附件D中的坐标为(n+2，m+3)，像素点c2的运动向量为(0，0)，也就是说，像素点c2在颜色附件F中的坐标与在颜色附件F中的坐标一致，即(n+2，m+3)。相应地，可以得到像素点c2、像素点c7、像素点c12在颜色附件E中对应的坐标为(n+2，m+3)、(n+2，m+2)、(n+2，m+1)。

根据上述操作，电子设备可以得到颜色附件D中每一个像素点在颜色附件F中的位置坐标。

604、电子设备获取颜色附件D中第一坐标处的第一像素点的深度值D1、第二坐标处的第二像素点的深度值D2、第三坐标处第三像素点的深度值D3以及第四坐标处第三像素点的深度值D4。

具体地，电子设备在绘制第N+2帧时，将第N+2帧中第一绘制对象的深度值写入内存空间H4中的深度附件D。因此，电子设备可以从深度附件D中获取到颜色附件D中每一坐标处的像素点的深度值。

示例性地，参见图11中(b)，图11中(b)示出了深度附件D。如图11中(b)所示，像素点c2的深度值为d2，像素点c3的深度值为d3，像素点c4的深度值为d4等等。

605、在第一时刻，电子设备确定颜色附件D中第一坐标处的第一像素点的深度值D1与第三坐标处第三像素点的深度值D3的第一差值，第二坐标处的第二像素点的深度值D2与第四坐标处第三像素点的深度值D4的第二差值。

示例性地，如图12中(c)所示，第一坐标的第一像素点可以是如图8中(n+2，m+3)的像素点c2。颜色附件D中像素点c2的运动向量为(0，0)，电子设备可以根据运动向量(0，0)得到像素点c2在颜色附件F中的第五坐标(n+2，m+3)。也就是说，第三坐标和第一坐标相同，因此，电子设备可以得到第一差值为0。

如图12中(c)所示，第一坐标的第一像素点可以是如图8中(n+4，m+3)的像素点c4。颜色附件D中像素点c4的运动向量为(-1，0)，电子设备可以根据运动向量(-1，0)得到像素点c4在颜色附件F中的第五坐标(n+3，m+3)。电子设备可以获得颜色附件D中第三坐标(n+4，m+3)的像素点c4的深度值d4，以及颜色附件D中第四坐标(n+3，m+3)的像素点c3的深度值到d3，电子设备计算得到深度值D1和深度值D3之间的差值为d3-d4。

如图12中(d)所示，第二坐标的第二像素点可以是如图8中(n+3，m+3)的像素点c3。颜色附件D中像素点c3的运动向量为(-1，0)，电子设备可以根据运动向量(-1，0)得到像素点c3在颜色附件F中的第四坐标(n+2，m+3)。电子设备可以获得颜色附件D中第二坐标(n+3，m+3)的像素点c3的深度值d3，以及颜色附件D中第四坐标(n+2，m+3)的像素点c2的深度值d2，电子设备计算得到深度值D2和深度值D4之间的差值为d2-d3。

606、电子设备确定深度值D1与深度值D3的第一差值小于第一阈值，深度值D2与深度值D4的第二差值大于第一阈值，电子设备将颜色附件F中第三坐标处的像素点的颜色值设置为第一像素点的颜色值。

具体地，电子设备在第一时刻确定第一像素点的深度值与第二绘制帧中第三坐标处的第三像素点的深度值的第一差值小于第一阈值，电子设备将颜色附件F中第三坐标处的像素点的颜色值为第一像素点的颜色值，颜色附件F中第四坐标处的颜色值为初始颜色值，电子设备不作处理。

示例性地，如图12中(c)所示，坐标(n+2，m+3)的像素点c2，基于运动向量(0，0)，可以得到像素点c2在颜色附件F中坐标(n+2，m+3)处。可以看出，第三坐标和第一坐标相同，因此，电子设备可以得到第一差值为0。第一差值小于第一阈值，电子设备确定颜色附件F中坐标(n+2，m+3)处像素点的颜色值为像素点c2的颜色值。

如图12中(c)所示，坐标(n+4，m+3)的像素点c4，基于运动向量(-1，0)，可以得到像素点c4在颜色附件F中的坐标(n+3，m+3)处。电子设备确定坐标(n+4，m+3)的像素点c4的深度值d4和坐标(n+3，m+3)的像素点c3的深度值d3的差值d3-d4。由图8中(a)可知，像素点c3和像素点c4均为静态的小树102包含的像素点，静态的小树102为近处的小树，即近景对象，因此像素点c3和像素点c4的深度值差值小于第一阈值。从而电子设备确定颜色附件F中坐标(n+3，m+3)处的像素点的颜色值为像素点c4的颜色值。

如图12中(d)所示，坐标(n+3，m+3)的像素点c3，基于运动向量(-1，0)，可以得到像素点c3在颜色附件F中的坐标(n+2，m+3)处。电子设备确定坐标(n+3，m+3)的像素点c3的深度值d3和坐标(n+2，m+3)的像素点c2的深度值d2的差值d3-d2。由图8中(a)可知，像素点c3为静态的小树102包含的像素点，像素点c2为静态的小山101包含的像素点。其中，静态的小山101为近景对象，静态的小树102为远景对象。因此像素点c3和像素点c4的深度值差值大于第一阈值。电子设备对于颜色附件F中(n+2，m+3)的像素点的颜色不作处理。

607、电子设备在颜色附件F中第三坐标处写入第一像素点的颜色值，并将第三坐标处的透明通道设置为第二透明值。

示例性地，如图11中(d)所示，电子设备在颜色附件F1中(n+2，m+3)处写入像素点c2的颜色值，电子设备在颜色附件F1中坐标(n+3，m+3)处写入像素点c4的颜色值，并将颜色附件F1中(n+2，m+3)的像素点和坐标(n+3，m+3)像素点的透明通道设置为第二透明值。

在第一时刻，电子设备按照上述步骤604到步骤605的操作对颜色附件F1每一坐标处写入对应的颜色值，可以得到如图11中(d)所示的颜色附件F2。

608、在第二时刻，电子设备确定深度值D1与深度值D3的第一差值，确定深度值D2与深度值D4的第二差值。

具体地，电子设备确定第一差值和第二差值的相关操作具体参见上述步骤604中电子设备确定第一差值和第二差值的相关操作，在此不再赘述。

609、电子设备确定深度值D1与深度值D3的第一差值小于第一阈值，深度值D2与深度值D4的第二差值大于第一阈值，电子设备基于第二像素点的深度值和第二深度附件中所述第四坐标处的第四像素点的深度值，确定第三颜色附件中第三坐标处的像素点的颜色值为第一像素点的颜色值，第三颜色附件中第四坐标处的颜色值为第二像素点的颜色值。

具体地，在第二时刻，电子设备确定深度值D1与深度值D3的第一差值小于第一阈值，电子设备针对颜色附件F中第三坐标处的像素点的颜色值不作处理，颜色附件F中第三坐标处的像素点的像素值依然为第一像素点的颜色值。

示例性地，如坐标图11中(d)所示，坐标(n+1，m+1)的像素点c1，基于运动向量(0，0)，可以得到像素点c1在颜色附件F中的坐标(n+1，m+1)处，也就是说像素点c1从颜色附件D的坐标(n+1，m+1)处移动至颜色附件F的坐标(n+1，m+1)处，可以知道的是，颜色附件D的坐标(n+1，m+1)处的像素点c1的深度值和颜色附件F的坐标(n+1，m+1)处像素点c1的深度值的差值为0，小于第一阈值，因此，在第一时刻，电子设备在颜色附件F的坐标(n+1，m+1)处写入像素点c1的颜色值。如图11中(d)所示，在第二时刻，电子设备针对颜色附件F的坐标(n+1，m+1)处的颜色值不作处理，颜色附件F的坐标(n+1，m+1)处的颜色值依然为像素点c1的颜色值。

在第二时刻，电子设备确定深度值D2与深度值D4的第二差值大于第一阈值，电子设备则确定颜色附件F中第四坐标处的颜色值为第二像素点的颜色值。

示例性地，如图11中(d)所示，坐标(n+3，m+3)的像素点c3，基于运动向量(-1，0)，可以得到像素点c3在颜色附件F中的坐标(n+2，m+3)处。电子设备确定坐标(n+3，m+3)的像素点c3的深度值d3和坐标(n+2，m+3)的像素点c2的深度值d2的差值d3-d2。由图11中(a)可知，像素点c3为静态的小树102包含的像素点，像素点c2为静态小山101包含的像素点。其中，静态的小山101远景对象，静态的小树102为近景对象。因此，像素点c3和像素点c4的深度值差值大于第一阈值，从而电子设备确定颜色附件F中坐标(n+3，m+3)处的像素点的颜色值为像素点c4的颜色值。

在一些实施例中，基于颜色附件D的运动向量，计算得到颜色附件D中第一像素点和第五像素点的移动至颜色附件F的第三坐标处，其中，第一像素点的深度值和颜色附件D中第三坐标处的第三像素点的深度值的第一差值小于第一阈值，第五像素点的深度值和第三像素点的深度值的第二差值大于第一阈值。在第一时刻，电子设备在第三颜色附件中第三坐标处写入第一像素点的颜色值，在第二时刻，电子设备在第三颜色附件中第三坐标处写入第五像素点的颜色值，即在第三颜色附件中第三坐标处用第五像素点的颜色值覆盖第一像素点的颜色值。例如，如图11中(d)所示，在第一时刻，电子设备在坐标(n+2，m+2)处写入像素点c7的颜色值。如图11中(e)所示，在第二时刻，电子设备在坐标(n+2，m+2)处写入像素点c13的颜色值。

在一些可选的实施例中，在第二时刻，电子设备确定颜色附件F中每个坐标处的颜色值时，电子设备可以基于在第一时刻对颜色附件F中写入的像素点进行对比。例如，在第一时刻，电子设备将颜色附件F中第三坐标处的像素点的颜色值设置为第一像素点的颜色值。在第二时刻，电子设备确定颜色附件D中第一坐标处的第一像素点的深度值D1与第五像素点的深度值D5的第三差值，在第三差值大于第一阈值的情况下，电子设备确定颜色附件F中第三坐标处的颜色值为第五像素点的颜色值。

610、电子设备在颜色附件F中第四坐标处写入第二像素点的颜色值，并将第四坐标处的透明通道设置为第二透明值。

示例性地，如图11中(e)所示，电子设备在颜色附件F2中(n+2，m+3)处写入像素点c3的颜色值，并将颜色附件F2中(n+2，m+3)的像素点的透明通道设置为第二透明值。

在第二时刻，按照上述步骤608到步骤609的操作对颜色附件F2每一坐标处写入对应的颜色值，可以得到如图11中(e)所示的颜色附件F3。

611、在第三时刻，电子设备确定出第三颜色附件中透明通道为第一透明值的一个或多个像素点，其中一个或多个像素点中包括第六像素点。

具体地，根据上述步骤604-步骤609，电子设备在颜色附件F中的位置坐标处写入对应的像素点的颜色值，得到颜色附件F3。但是对于颜色附件F3中还有一些坐标处的像素点没有写入颜色值。示例性地，如图11中(e)所示，位置坐标(m+3，n+4)、位置坐标(m+2，n+4)以及位置坐标(m+1，n+4)处的像素点的透明通道为第一透明值。也就是说，这些位置坐标处的像素点没有写入对应的颜色值。

在一些实施例中，第六像素点可以是颜色附件D中深度值小于第一深度值的任意一个像素点。也就是说，电子设备在颜色附件D中随机选取深度值小于第一深度值的一个像素点的颜色值写入颜色附件F中第六坐标处。

在一些可选的实施例中，电子设备获取颜色附件D中第六坐标处第一范围内的像素点的多个深度值，计算该多个深度值的平均值，选取第一范围内深度值小于平均值的像素点的颜色值写第六坐标处。在本申请实施例中，该多个深度值的平均值也称为第二深度值。

示例性地，参见图13，图13中(a)示出了颜色附件F1，图13中(b)示出了深度附件D。下面以位置坐标(n+4，m+2)为例进行说明。如图13中(b)所示，电子设备获取坐标(n+4，m+2)周围的第一区域范围内的像素点的深度值，并计算该第一区域范围内的像素点的深度值的平均值，选取该第一区域范围内深度值小于平均值的像素点的颜色值写入颜色附件F1中坐标(n+2，m+4)处。例如，坐标(n+5，m+2)处的像素点的深度值小于平均值，如图13中(c)所示，则将坐标(n+5，m+2)处的像素点的颜色值写入颜色附件F1中坐标(n+2，m+4)处。

需要说明的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。

下面首先介绍本申请实施例提供的示例性电子设备100。

图14是本申请实施例提供的电子设备100的结构示意图。

下面以电子设备100为例对实施例进行具体说明。应该理解的是，电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

SIM接口可以被用于与SIM卡接口195通信，实现传送数据到SIM卡或读取SIM卡中数据的功能。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以包括一个或多个随机存取存储器(random access memory，RAM)和一个或多个非易失性存储器(non-volatile memory，NVM)。

随机存取存储器可以包括静态随机存储器(static random-access memory，SRAM)、动态随机存储器(dynamic random access memory，DRAM)、同步动态随机存储器(synchronous dynamic random access memory，SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory，DDR SDRAM，例如第五代DDR SDRAM一般称为DDR5 SDRAM)等。

非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。

快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等，按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell，SLC)、多阶存储单元(multi-level cell，MLC)、三阶储存单元(triple-level cell，TLC)、四阶储存单元(quad-level cell，QLC)等，按照存储规范划分可以包括通用闪存存储(英文：universalflash storage，UFS)、嵌入式多媒体存储卡(embedded multi media Card，eMMC)等。

随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。

非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。

图15是本申请实施例的电子设备100的软件结构框图。

本申请实施例提供的用于实现图像帧预测的系统框架1500包括软件架构和硬件设备。其中，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为四层，从上至下分别为应用程序层，应用程序框架层，系统库，内核层。

应用程序层可以包括一系列应用程序包。

如图15所示，应用程序层可以目标应用程序1501。应用程序层还可以包括相机(图15中未示出)，图库(图15中未示出)，日历(图15中未示出)，通话(图15中未示出)，地图(图15中未示出)，导航(图15中未示出)等等应用程序(也可以称为应用)。其中，目标应用程序1501可以是游戏应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。在本申请实施例中，应用程序框架层可以包括应用程序引擎1510。其中，应用程序引擎1510中可以包括渲染系统(Rendering System)1511。当电子设备100在运行目标应用程序1501时，目标应用程序1501对应的应用程序引擎1510中的渲染系统1511可以获取目标应用程序1501的绘制参数。渲染系统1511还可以根据该绘制参数调用三维图形处理库1530中的接口，以实现目标应用程序1501的图像帧的渲染。其中，应用程序引擎1510可以是游戏应用对应的游戏引擎。三维图形处理库1530可以是Vulkan，OpenGL，OpenGL ES。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)(图15中未示出)，媒体库(Media Libraries)(图15中未示出)，平台接口1520，三维图形处理库1530(例如：OpenGL ES)，二维图形引擎(例如：SGL)(图15中未示出)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了二维(2-Dimensional，2D)和三维(3-Dimensional，3D)图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

平台接口1520可以用于接收三维图形处理库1530传输的用于配置缓存的API。响应于用于配置缓存的API，平台接口1520可以通过驱动层中的驱动程序驱动运动随机存储器。进而平台接口1520可以在运动随机存储器中配置供目标应用程序使用的存储空间。本申请实施例中平台接口1520可以是EGL。EGL是Khronos渲染API(例如OpenGL，OpenGL ES或OpenVG)与基础本机平台窗口系统之间的接口。EGL处理图形上下文管理，表面/缓冲区绑定，渲染同步，并启用“使用其他Khronos API的高性能，加速，混合模式2D和3D渲染”。平台接口1520例如可以包括分配缓存区(Allocate Buffer)接口1521和eglSwapBuffer接口1532'。

三维图形处理库用于实现3D图形绘图，图像渲染，合成，和图层处理等。三维图形处理库1530可以是OpenGL ES。OpenGL ES是一种应用程序编程接口/函数库，是OpenGL三维图形API的子集。OpenGL ES中包括多种功能函数/应用程序编程接口，例如glBindFrameBuffer接口1533’、glDrawArrays接口(图中未示出)。电子设备100可调用OpenGL ES实现图像帧的绘制。

钩子模块(HOOK System)1531通过将三维图形处理库1530中的一些接口挂钩子，可以获取调用三维图形处理库1530中glBindFrameBuffer接口1533’、glDrawArrays接口等接口的参数。例如，钩子模块(HOOK System)1531通过glBindFrameBuffer接口1533将三维图形处理库1530中的glBindFrameBuffer接口1533’挂钩子，可以获取调用三维图形处理库1530中glBindFrameBuffer接口1533’的参数。

在本申请实施例中，在目标应用程序1501进行绘制时，应用程序引擎1510中的渲染系统1511可以调用钩子模块1531中的eglSwapBuffers接口1532，glBindFrameBuffer接口1533等接口。然后钩子模块(HOOK System)1531通过将三维图形处理库1530中的一些接口挂钩子，可以获取调用三维图形处理库1530中glBindFrameBuffer接口1533’、glDrawArrays接口等接口的参数来实现目标应用程序1501中插入预测帧，并且实现根据目标应用程序1501的绘制帧计算运动向量以及得到预测帧。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层可以包括驱动程序1540。其中驱动程序1540中可包括多种驱动程序，用于实现对于硬件设备的驱动。例如驱动程序1540可以包括图形内存驱动1541、GPU驱动1542等等驱动程序。

硬件设备中可以包括：显示设备Display1550，图形处理器GPU1551、缓存1552和应用处理器1553。显示设备1550可以是图14中示出的显示屏194。图形处理器GPU1551和应用处理器1553可以集成在图14中示出的处理器110中。缓存1552可以是图14中示出的内部存储器121。这里显示设备1550可以参考上文对显示屏194的描述。图形处理器1551可以参考上文中对GPU的描述。应用处理器1553可以参考上文对图14的描述。缓存1552可以参考上文对内部存储器121的描述。此处不再赘述。

下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像帧的预测方法，其特征在于，所述方法包括：

在绘制第一绘制帧时，电子设备在第一内存空间将所述第一绘制帧中未携带动态标识的绘制指令的绘制结果写入第一颜色附件和第一深度附件中；

在绘制第二绘制帧时，所述电子设备在第二内存空间将所述第二绘制帧中未携带动态标识的绘制指令的绘制结果写入第二颜色附件和第二深度附件中；

所述电子设备基于所述第一颜色附件和所述第二颜色附件，确定所述第二颜色附件的运动向量；

所述电子设备基于所述第二颜色附件、所述第二深度附件以及所述第二颜色附件的运动向量，确定出第三颜色附件的颜色值，其中，所述第三颜色附件在第三内存空间中；

所述电子设备基于所述第三颜色附件，预测出第一预测帧。

2.根据权利要求1所述的方法，其特征在于，所述第二颜色附件包括第一像素点和第二像素点，所述第一像素点在所述第二颜色附件中第一坐标处，所述第二像素点在所述第二颜色附件中第二坐标处；

所述电子设备基于所述第二颜色附件、所述第二深度附件以及所述第二颜色附件的运动向量，确定出第三颜色附件的颜色值，具体包括：

所述电子设备基于所述第二颜色附件的运动向量，确定所述第一像素点从所述第一坐标处运动至所述第三颜色附件中的第三坐标处，所述第二像素点从所述第二坐标处运动至所述第三颜色附件中的第四坐标处；

所述电子设备基于所述第一像素点的深度值和所述第二深度附件中所述第三坐标处的第三像素点的深度值，确定所述第三颜色附件中所述第三坐标处的像素点的颜色值；

所述电子设备基于所述第二像素点的深度值和所述第二深度附件中所述第四坐标处的第四像素点的深度值，确定所述第三颜色附件中所述第四坐标处的像素点的颜色值。

3.根据权利要求2所述的方法，其特征在于，所述电子设备基于所述第一像素点的深度值和所述第二深度附件中所述第三坐标处的第三像素点的深度值，确定所述第三颜色附件中所述第三坐标处的像素点的颜色值，具体包括：

在第一时刻，所述电子设备确定所述第一像素点的深度值和所述第三像素点的深度值的第一差值，所述第二像素点的深度值和所述第四像素点的深度值的第二差值；

所述电子设备确定所述第一差值小于第一阈值，所述第二差值大于所述第一阈值，所述电子设备将所述第三颜色附件中第三坐标处的像素点的颜色值设置为所述第一像素点的颜色值，所述第三颜色附件中第四坐标处的颜色值为初始颜色值；

在第二时刻，所述电子设备确定所述第一像素点的深度值和所述第三像素点的深度值的第一差值，所述第二像素点的深度值和所述第四像素点的深度值的第二差值；所述第二时刻晚于所述第一时刻；

所述电子设备确定所述第一差值小于第一阈值，所述第二差值大于所述第一阈值，所述电子设备确定所述第三颜色附件中第三坐标处的像素点的颜色值为所述第一像素点的颜色值，所述第三颜色附件中所述第四坐标处的颜色值为所述第二像素点的颜色值。

4.根据权利要求3所述的方法，所述第二颜色附件中还包括第五像素点，所述第五像素点位于所述第二颜色附件中的第五坐标处；

所述电子设备确定所述第五像素点从所述第五坐标处运动至所述第三颜色附件中的第二坐标处；

所述电子设备将所述第三颜色附件中第三坐标处的像素点的颜色值设置为所述第一像素点的颜色值之后，所述方法还包括：

在第二时刻，所述电子设备确定所述第五像素点的深度值与所述第一像素点的深度值的第三差值；

所述电子设备确定所述第三差值大于所述第一阈值，所述电子设备确定所述第三颜色附件中第三坐标处的像素点的颜色值为所述第五像素点的颜色值。

5.根据权利要求3或4所述的方法，其特征在于，所述电子设备确定所述第三颜色附件中第三坐标处的颜色值为所述第一像素点的颜色值之前，所述方法还包括：

所述电子设备将所述第三内存空间中的第三颜色附件中的像素点的透明通道设置为第一透明值；

所述电子设备确定所述第三颜色附件中第三坐标处的像素点的颜色值为所述第一像素点的颜色值，所述第三颜色附件中所述第四坐标处的颜色值为所述第二像素点的颜色值之后，所述方法还包括：

所述电子设备在所述第三颜色附件中第三坐标处写入所述第一像素点的颜色值，所述第三颜色附件中所述第四坐标处写入第二像素点的颜色值，并将所述第三颜色附件中第三坐标处和所述第四坐标处的像素点的透明通道设置为第二透明值，所述第一透明值与所述第二透明值不同；

在第三时刻，所述电子设备确定出所述第三颜色附件中透明通道为所述第一透明值的一个或多个像素点，所述第一或多个像素点中包括第六像素点；

所述电子设备确定所述第六像素点的颜色是为第一颜色值。

6.根据权利要求5所述的方法，其特征在于，所述第六像素点为所述第二深度附件中深度值小于第一深度值的像素点，所述第一深度值用于区分第二颜色附件中的近景对象和远景对象，在所述第二颜色附件中，所述近景对象包含的像素点的深度值小于第一深度值，所述远景对象包含的像素点的深度值大于所述第一深度值。

7.根据权利要求5所述的方法，其特征在于，所述第六像素点为所述第二深度附件中深度值小于第二深度值的像素点，所述第六像素点在所述第三颜色附件中的坐标为第六坐标，所述第二深度值为所述第二深度附件中所述第六坐标的第一范围内的深度值的平均值。

8.根据权利要求1-7任一项中所述的方法，其特征在于，所述电子设备基于所述第一颜色附件和所述第二颜色附件，确定所述第二颜色附件的运动向量，具体包括：

所述电子设备在所述第二颜色附件中取出所述第一像素点；

所述电子设备计算出所述第一像素点在所述第一颜色附件中的第七坐标；

所述电子设备基于所述第七坐标和所述第一像素点在所述第二颜色附件中的第一坐标确定出所述第一像素点的运动向量；

所述电子设备基于所述第一像素点的运动向量确定出所述第二颜色附件的运动向量。

9.根据权利要求8所述的方法，其特征在于，所述电子设备计算出所述第一像素点在所述第一颜色附件中的第七坐标，具体包括：

所述电子设备获取到所述第一绘制帧的绘制参数中的第一矩阵、第二矩阵和所述第二绘制帧中的绘制指令的第三矩阵、第四矩阵，所述第一矩阵用于描述所述第一绘制帧中的绘制对象从世界坐标系到观察坐标系的映射关系，所述第二矩阵用于描述所述第一绘制帧中的绘制对象从所述观察坐标系到裁剪坐标系的映射关系，所述第三矩阵用于描述所述第二绘制帧中的绘制对象从所述世界坐标系到所述观察坐标系的映射关系，所述第四矩阵用于描述所述第二绘制帧中的绘制对象从所述观察坐标系到所述裁剪坐标系的映射关系；

所述电子设备基于所述第一矩阵、所述第二矩阵、所述第三矩阵和所述第四矩阵计算出所述第一像素点在所述第一颜色附件中的第七坐标。

10.根据权利要求1-9中任一项所述的方法，其特征在于，所述方法还包括：

在绘制第一绘制帧时，电子设备在第四内存空间将所述第一绘制帧中携带动态标识的绘制指令的绘制结果写入第四颜色附件和第四深度附件中；

在绘制第二绘制帧时，所述电子设备在第五内存空间将所述第二绘制帧中携带动态标识的绘制指令的绘制结果写入第五颜色附件和第五深度附件中；

所述电子设备基于所述第四颜色附件和所述第五颜色附件，确定所述第五颜色附件的运动向量；

所述电子设备基于所述第五颜色附件和所述第五颜色附件的运动向量生成所述第一预测帧的第六颜色附件；

所述电子设备基于所述第三颜色附件，预测出第一预测帧，具体包括：

所述电子设备将所述第三颜色附件和所述第六颜色附件合成为所述第一预测帧。

11.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至10任一项所述的方法。

12.一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至10任一项所述的方法。