CN115526814A - 图像预测的方法以及装置 - Google Patents

Abstract

一种图像预测的方法以及装置，该方法包括：获得目标场景在第一时间的第一图像以及动态视觉传感装置在预测时间段内采集的动态事件数据，并根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像。其中，所述至少一个目标图像为所述第一时间之后的至少一个目标时间对应的图像。该方法能够提高图像预测的效率和精度。

Description

图像预测的方法以及装置

技术领域

本申请涉及图像处理领域，并且更具体地，涉及一种图像预测的方法以及装置。

背景技术

图像预测是基于已获得的目标场景的图像预测该目标场景在未来时间的图像。图像预测的装置根据传感器系统采集到的信号作为输入进行图像预测，并得到预测的图像。

相关的技术方案中，图像预测的装置基于传感器系统同时输出的多张图像预测未来某个时间对应的图像。该方案中图像预测的装置需要根据多张图像进行图像预测，图像预测的效率和精度较低。

因此，如何提高图像预测的效率和精度成为亟需要解决的问题。

发明内容

本申请提供一种图像预测的方法以及装置，能够提高图像预测的效率和精度。

第一方面，提供了一种图像预测的方法，包括：获得目标场景在第一时间的第一图像以及动态视觉传感装置在预测时间段内采集的动态事件数据；根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像，其中，所述至少一个目标图像为所述第一时间之后的至少一个目标时间对应的图像。

上述技术方案中，通过利用动态事件数据的高速特性和稀疏特性，并结合一张图像进行图像预测，一方面，可以避免使用多张图像进行预测，提高图像预测的效率，同时还可以使得存储量变小，另一方面，通过一张图像结合动态事件数据进行图像预测，相比较单独使用多张图像进行预测，可以提高图像预测的精度。

结合第一方面，在第一方面的某些实现方式中，所述至少一个目标图像包括第二时间对应的第二图像，将所述第一图像和所述动态事件数据输入第一神经网络模型，得到所述目标场景在所述第二时间的第二图像。

结合第一方面，在第一方面的某些实现方式中，所述至少一个目标图像包括第二时间对应的第三图像，根据所述第一图像和所述动态事件数据预测得到所述目标场景在所述第二时间的第二图像；根据所述第一图像预测所述目标场景在所述第二时间对应的第四图像；根据所述第二图像和所述第四图像，得到所述目标场景在所述第二时间的第三图像。

结合第一方面，在第一方面的某些实现方式中，对所述的第二图像和所述第四图像进行图像融合，得到所述目标场景在所述第二时间的第三图像。

上述技术方案中，可以通过图像融合，进一步提高图像预测的精度。

结合第一方面，在第一方面的某些实现方式中，将所述第一图像输入第二神经网络模型，得到所述目标场景在所述第二时间的第四图像。

第二方面，提供了一种图像预测的装置，包括：获取模块，预测模块，其中：

获取模块，用于获得目标场景在第一时间的第一图像以及动态视觉传感装置在预测时间段内采集的动态事件数据；

预测模块，用于根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像，其中，所述至少一个目标图像为所述第一时间之后的至少一个目标时间对应的图像。

结合第二方面，在第二方面的某些实现方式中，所述至少一个目标图像包括第二时间对应的第二图像，所述预测模块具体用于：将所述第一图像和所述动态事件数据输入第一神经网络模型，得到所述目标场景在所述第二时间的第二图像。

结合第二方面，在第二方面的某些实现方式中，所述至少一个目标图像包括第二时间对应的第三图像，所述预测模块具体用于：根据所述第一图像和所述动态事件数据预测得到所述目标场景在所述第二时间的第二图像；根据所述第一图像预测所述目标场景在所述第二时间对应的第四图像；以及根据所述第二图像和所述第四图像，得到所述目标场景在所述第二时间的第三图像。

结合第二方面，在第二方面的某些实现方式中，所述预测模块用于对所述的第二图像和所述第四图像进行图像融合，得到所述目标场景在所述第二时间的第三图像。

结合第二方面，在第二方面的某些实现方式中，所述预测模块具体用于：将所述第一图像输入第二神经网络模型，得到所述目标场景在所述第二时间的第四图像。

第二方面和第二方面的任意一个可能的实现方式的有益效果和第一方面以及第一方面的任意一个可能的实现方式的有益效果是对应的，对此，不再赘述。

第三方面，提供了一种计算设备，包括通信接口和处理器。其中，该处理器用于控制该通信接口收发信息，该处理器与该通信接口连接，并用于执行第一方面或第一方面任意一种可能的实现方式中的方法。

可选地，该处理器可以是通用处理器，可以通过硬件来实现也可以通过软件来实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

第四方面，提供了一种计算机可读介质，该计算机可读介质存储有一组计算指令，当该计算指令在计算设备上运行时，使得计算设备执行上述第一方面或第一方面可能的实现方式中的方法。

作为示例，这些计算机可读存储包括但不限于如下的一个或者多个：只读存储器(read-only memory，ROM)、可编程ROM(programmable ROM，PROM)、可擦除的PROM(erasablePROM，EPROM)、Flash存储器、电EPROM(electrically EPROM，EEPROM)以及硬盘驱动器(harddrive)。

第五方面，提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算设备上运行时，使得计算设备执行上述第一方面或第一方面可能的实现方式中的方法。

第六方面，提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令，以使得所述计算设备集群执行上述第一方面或第一方面可能的实现方式中的方法。

附图说明

图1是应用于本申请实施例的一种图像预测的场景示意性框图。

图2是本申请实施例提供的一种图像预测的方法的示意性流程图。

图3是本申请实施例提供的一种第一时间和预测时间段的示意图。

图4是本申请实施例提供的一种对目标图像进行修正的方法的示意性流程图。

图5是本申请实施例提供的一种图像预测的装置500的示意性框图。

图6是本申请实施例提供的一种计算设备600的一种可能的架构图。

图7是本申请实施例提供的一种计算设备集群的示意性框图。

图8是本申请实施例提供的计算设备集群的一种可能的实现方式的示意性框图。

图9是本申请实施例提供的计算设备集群的另一种可能的实现方式的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请将围绕包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。

另外，在本申请实施例中，“示例的”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。

本申请实施例中，“相应的(corresponding，relevant)”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

本申请实施例描述的网络架构以及业务场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：包括单独存在A，同时存在A和B，以及单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

图1是应用于本申请实施例的一种图像预测的场景示意性框图。如图1所示，该图像预测的场景中可以包括传感器系统110、图像预测的装置120、终端设备130。下面分别对各个部分的功能进行详细描述。

传感器系统110，用于信号的产生，作为图像预测的装置120的输入。传感器系统110中可以包括但不限于以下设备中的一种或多种的组合：用于拍摄图像的一个或多个相机、用于拍摄视频的一个或多个设备、采集动态事件数据的一个或多个动态视觉装置等。动态视觉传感装置例如可以是动态视觉传感器(dynamic vision sensor，DVS)相机，或者动态和主动像素视觉传感器(dynamic and active pixel vision sensor，DAVIS)相机，也可以称为事件相机。动态视觉传感装置采集到的动态事件数据也可以称为事件信息。

应理解，事件相机是近几年出现的一种新型相机，基于事件驱动的方式来捕捉场景中的动态变化。也就是说，当场景中由物体运动或光照强度改变造成大量像素变化时，事件相机会产生一系列的事件信息，这些事件信息以事件流(events stream)的方式输出。例如，一个事件信息具体可以包括(t,x,y,p)四个部分，其中x,y为事件在二维空间的像素坐标，t为事件发生的时间戳，p为事件的极性，事件的极性代表场景亮度的变化是上升还是下降。由于事件相机在场景发生亮度变化就会输出事件流，没有最小时间单位，且仅输出变化的数据，因此，事件相机相对于传统相机而言，具有动态范围大、时间延迟低等特点，受到人们的广泛关注。在高动态范围的图像重建、目标跟踪和手势识别等领域具有重要应用。

图像预测的装置120，用于根据传感器系统110采集到的信号作为输入进行图像预测，并得到预测的图像。具体的，作为示例，传感器系统110采集到的信号可以包括但不限于以下中的一种或多种的组合：用于拍摄视频的设备采集到的视频的帧图像、用于拍摄图像的相机采集到的静态图像、动态视觉装置采集到的动态事件数据等。

终端设备130，用于显示图像预测的装置120预测得到的图像，是一种具有显示功能的设备。该设备可以包括但不限于：手机、平板电脑、个人电脑(personal computer，PC)、监控上位机、行车记录仪上位机等。

相关的技术方案中，图像预测的装置120是基于传感器系统110同时输出的多张图像预测未来某个时间对应的图像。该方案中图像预测的装置120需要根据多张图像进行图像预测，一方面，由于需要传感器系统110同时采集多张图像，使得图像预测的效率较低；另一方面，基于多张图像进行图像预测，无法解决复杂场景的非线性运行，使得图像预测的精度较低。

有鉴于此，本申请实施例提供了一种图像预测的方法，利用动态事件数据的高速特性和稀疏特性，并结合一张图像进行图像预测，可以提高图像预测的效率和精度。

下面结合图2，对申请实施例提供的一种图像预测的方法进行详细描述。应理解，该方法可以由图1所示的图像预测的装置120执行，以实现本申请提供的图像预测的方法。本申请实施例提供的图像预测的装置以是一个硬件装置，例如：服务器、终端计算设备等，或者也可以是软件装置，具体为运行在硬件计算设备上的一套软件系统，本申请实施例中并不限定图像预测的装置所部署的位置。下面会结合图5-图9进行详细描述，此处不再赘述。

图2是本申请实施例提供的一种图像预测的方法的示意性流程图。如图2所示，该方法可以包括步骤210-220，下面分别对步骤210-220进行详细描述。

步骤210：获得目标场景在第一时间的第一图像以及动态视觉传感装置在预测时间段内采集的动态事件数据。

上述第一图像可以是视频中的一帧图像，或者也可以是静态成像装置采集的静态图像，例如，相机拍摄的图像，本申请实施例对此不做具体限定。

以图1所示的场景为例，可以通过传感器系统110获得目标场景在第一时间的第一图像以及预测时间段内的动态事件数据。例如，传感器系统110中包括相机和动态视觉装置，可以通过该相机获得目标场景在第一时间的第一图像，并通过静态成像装置采集预测时间段内的动态事件数据。

作为示例，如图3所示，上述第一时间可以是预测时间段之前的时间，或者可以是预测时间段的起始时间，或者还可以是预测时间段内的时间，本申请实施例对此不做具体限定。

步骤220：根据所述第一图像和所述动态事件数据预测目标场景在预测时间段内的至少一个目标图像。

应理解，上述至少一个目标图像可以是第一时间之后的至少一个目标时间对应的图像。

本申请实施例中根据第一图像和动态事件数据预测目标场景在预测时间段内的至少一个目标图像的具体实现方式有多种。一种可能的实现方式中，可以将第一图像和在预测时间段内采集到的目标场景的动态事件数据作为第一神经网络模型的输入，该第一神经网络模型的输出可以是上述预测的目标场景在预测时间段内的至少一个目标图像。例如，上述至少一个目标图像包括第二时间对应的第二图像，可以将第一图像和在预测时间段内采集到的目标场景的动态事件数据作为第一神经网络模型的输入，该第一神经网络模型的输出也就是预测的目标场景在第二时间的第二图像。

应理解，上述第一神经网络模型用于根据第一图像和在预测时间段内采集到的目标场景的动态事件数据得到目标场景在第二时间的第二图像。也就是说，可以提前对该第一神经网络模型进行训练，使得该第一神经网络模型可以根据第一图像和动态事件数据得到第二图像。

具体的，举例说明，可以将在预测时间段内采集到的目标场景的动态事件数据送入具有光流估计网络预测功能的第一神经网络模型(该第一神经网络模型已经预先进行训练好)进行推理，并得到该第一神经网络的输出为预测时间段内的光流信息。并将第一图像和预测时间段内的光流信息进行融合，可以得到预测的目标场景在第二时间的第二图像。

可选地，在一些实施例中，在第一图像和动态事件数据输入到第一神经网络模型之前，还可以对第一图像和动态事件数据进行预处理。作为示例，该预处理的过程可以包括但不限于：标定和数据清洗等。例如，标定指的是将采集到第一图像的相机和采集到动态事件数据的动态视觉传感装置的坐标关系进行对齐配准。又如，数据清洗包括对动态事件数据进行时间戳压缩、噪声去除和压帧等过程。

上述技术方案中，通过利用动态事件数据的高速特性和稀疏特性，并结合一张图像进行图像预测，一方面，可以避免使用多张图像进行预测，提高图像预测的效率，同时还可以使得存储量变小，另一方面，通过一张图像结合动态事件数据进行图像预测，相比较单独使用多张图像进行预测，可以提高图像预测的精度。

可选地，在一些实施例中，为了进一步提高图像预测的精度，还可以对通过图2所示的方法得到的至少一个目标图像进行修正，使得修正之后的目标图像更完整，下面结合图4进行详细描述。

图4是本申请实施例提供的一种对目标图像进行修正的方法的示意性流程图。如图4所示，该方法可以包括步骤410-430，下面分别对步骤410-430进行详细描述。

步骤410：根据第一图像和所述动态事件数据预测目标场景在第二时间对应的第二图像。

与步骤220的方法类似，预测得到的目标场景在第二时间对应的第二图像可对应于步骤220中预测到的目标场景在预测时间段内的至少一个目标图像，具体的实现方式请参考步骤220中的描述，此处不再赘述。

步骤420：根据第一图像得到目标场景在第二时间对应的第四图像。

一种可能的实现方式中，可以将第一图像作为第二神经网络模型的输入，该第二神经网络模型的输出可以是第二时间对应的第四图像。应理解，上述第二神经网络模型用于根据第一图像得到目标场景在第二时间的第四图像。也就是说，可以提前对该第二神经网络模型进行训练，使得该第二神经网络模型可以根据第一图像得到目标场景在第二时间的第四图像。

可选地，在一些实施例中，还可以根据多张图像得到目标场景在第二时间对应的第四图像。作为示例，还可以获得目标场景在第三时间的第五图像，该第三时间为上述第二时间之前的时间，并根据目标场景在第一时间的第一图像和第三时间的第五图像得到目标场景在第二时间对应的第四图像。例如，可以将第一图像和第五图像作为第三神经网络模型的输入，该第二神经网络模型的输出可以是第二时间对应的第四图像。应理解，上述第三神经网络模型用于根据第一图像和第五图像得到目标场景在第二时间的第四图像。也就是说，可以提前对该第三神经网络模型进行训练，使得该第三神经网络模型可以根据第一图像和第五图像得到目标场景在第二时间的第四图像。

步骤430：根据预测的目标场景在第二时间对应的第二图像和第四图像，得到目标场景在第二时间对应的第三图像。

一个示例，可以对目标场景在第二时间对应的第二图像和第四图像进行图像融合，得到目标场景在第二时间对应的第三图像。这样，可以基于第四图像弥补第二图像的边缘信息不准确的问题，从而进一步提高图像预测的精度。

根据第二图像和第四图像进行图像融合得到上述第三图像的具体实现方式有多种，只要能够实现两张图像的融合得到即可。一种可能的实现方式中，可以对第二图像和第四图像进行加权求和得到第三图像。具体的，举例说明，可以按照对应时间点的相应空间点对第二图像和第四图像进行加权求和，完成上述第二图像和第四图像的融合过程，得到目标场景在第二时间对应的第三图像。

上文结合图1至图4，详细描述了本申请实施例提供的图像预测的方法，下面将结合图5-图6，详细描述本申请装置的实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。

图5是本申请实施例提供的一种图像预测的装置500的示意性框图。该图像预测的装置可以通过软件、硬件或者两者的结合实现成为装置中的部分或者全部。本申请实施例提供的装置可以实现本申请实施例图2或图4所示的方法流程，该图像预测的装置500包括：获取模块510，预测模块520，其中：

获取模块510，用于获得目标场景在第一时间的第一图像以及动态视觉传感装置在预测时间段内采集的动态事件数据；

预测模块520，用于根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像，其中，所述至少一个目标图像为所述第一时间之后的至少一个目标时间对应的图像。

可选地，所述至少一个目标图像包括第二时间对应的第二图像，所述预测模块520具体用于：将所述第一图像和所述动态事件数据输入第一神经网络模型，得到所述目标场景在所述第二时间的第二图像。

可选地，所述至少一个目标图像包括第二时间对应的第三图像，所述预测模块520具体用于：根据所述第一图像和所述动态事件数据预测得到所述目标场景在所述第二时间的第二图像；根据所述第一图像预测所述目标场景在所述第二时间对应的第四图像；以及根据所述第二图像和所述第四图像，得到所述目标场景在所述第二时间的第三图像。

可选地，所述预测模块520用于对所述的第二图像和所述第四图像进行图像融合，得到所述目标场景在所述第二时间的第三图像。

可选地，所述预测模块520具体用于：将所述第一图像输入第二神经网络模型，得到所述目标场景在所述第二时间的第四图像。

需要说明的是：上述实施例提供的图像预测的装置在图像预测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像预测的装置与图像预测的方法实施例属于同一构思，其具体实现过程详见上文中的方法实施例，这里不再赘述。

图6是本申请实施例提供的一种计算设备600的一种可能的架构图。该计算设备600中包括图像预测的装置，可以实现本申请实施例图2或图4所示的方法流程。

如图6所示，计算设备600可以包括处理器601、存储器602、通信接口603和总线604。

在计算设备600中，处理器601的数量可以是一个或多个，图6仅示意了其中一个处理器601。

可选的，处理器601可以是中央处理器(central processing unit，CPU)。若计算设备100具有多个处理器601，多个处理器601的类型可以不同，或者可以相同。可选的，计算设备600的多个处理器还可以集成为多核处理器。处理器601可以用于执行图像预测的方法的步骤。实际应用中，处理器601可以是一块超大规模的集成电路。在处理器601中安装有操作系统和其他软件程序，从而处理器601能够实现对存储器602等器件的访问。

可以理解的是，在本申请实施例中，处理器601是以CPU为例进行介绍的，实际应用中，还可以是其他特定集成电路(application specific integrated circuit，ASIC)。

存储器602存储计算机指令和数据，存储器602可以存储实现本申请提供的图像预测的方法所需的计算机指令和数据。例如，存储器602存储用于实现本申请提供的图像预测的方法中获取模块执行步骤的指令。再例如，存储器602存储用于本申请提供的图像预测的方法中预测模块执行步骤的指令。存储器602可以是以下存储介质的任一种或任一种组合：非易失性存储器(如只读存储器(read-only memory，ROM)、固态硬盘(solid state disk，SSD)、硬盘(hard disk drive，HDD)、光盘等)、易失性存储器。

通信接口603可以是以下器件的任一种或任一种组合：网络接口(如以太网接口)、无线网卡等具有网络接入功能的器件。通信接口603用于计算设备600与其他计算设备或者终端进行数据通信。在本申请中，可以通过通信接口603获得目标场景在第一时间的第一图像和动态视觉传感装置在预测时间段内采集的动态事件信息。

图6用一条粗线表示总线604。总线604可以将处理器601与存储器602、通信接口603连接。这样，通过总线604，处理器601可以访问存储器602，还可以利用通信接口603与其它计算设备或者终端进行数据交互。

在本申请中，计算设备600执行存储器602中的计算机指令，使用计算设备600实现本申请提供的图像预测的方法。例如，使得计算设备600执行图像预测的方法中由获取模块执行的步骤的指令。再例如，使得计算设备600执行图像预测的方法中由预测模块执行的步骤的指令。

本申请实施例还提供了一种计算设备集群。如图7所示，所述计算设备集群包括至少一个计算设备600。

在一些可能的实现方式中，该计算设备集群中的一个或多个计算设备600也可以用于上述图像预测的装置500执行图像预测的方法的部分指令。换言之，一个或多个计算设备600的组合可以共同用于上述图像预测的装置500执行图像预测的方法的指令。

需要说明的是，计算设备集群中的不同的计算设备600中的存储器602可以存储不同的指令，用于执行图像预测的装置500的部分功能。

图8示出了一种可能的实现方式。如图8所示，两个计算设备600A和600B通过通信接口603实现连接。计算设备600A中的存储器上存有用于执行获取模块510的功能的指令。计算设备600B中的存储器上存有用于执行预测模块520的功能的指令。换言之，计算设备600A和600B的存储器602共同存储了图像预测的装置500用于执行图像预测的方法的指令。

应理解，图8中示出的计算设备600A的功能也可以由多个计算设备600完成。同样，计算设备600AB的功能也可以由多个计算设备600完成。

在一些可能的实现方式中，计算设备集群中的一个或多个计算设备可以通过网络连接。其中，所述网络可以是广域网或局域网等等。图9示出了一种可能的实现方式。如图9所示，两个计算设备600C和600D之间通过网络进行连接。具体地，通过各个计算设备中的通信接口与所述网络进行连接。在这一类可能的实现方式中，计算设备600C中的存储器602中存有执行获取模块510的指令。同时，计算设备600D中的存储器602中存有执行预测模块520的指令。

应理解，图9中示出的计算设备600C的功能也可以由多个计算设备600完成。同样，计算设备600D的功能也可以由多个计算设备600完成。

本申请实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括一组计算指令，所述一组计算指令在计算设备执行时，指示该计算设备实现上述图像预测的方法。

本申请实施例还提供了一种包含指令的计算机程序产品。所述计算机程序产品可以是包含指令的，能够运行在计算设备上或被储存在任何可用介质中的软件或程序产品。当所述计算机程序产品在至少一个计算机设备上运行时，使得至少一个计算机设备执行上述图像预测的方法的指令。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像预测的方法，其特征在于，包括：

获得目标场景在第一时间的第一图像以及动态视觉传感装置在预测时间段内采集的动态事件数据；

根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像，其中，所述至少一个目标图像为所述第一时间之后的至少一个目标时间对应的图像。

2.根据权利要求1所述的方法，其特征在于，所述至少一个目标图像包括第二时间对应的第二图像，所述根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像，包括：

将所述第一图像和所述动态事件数据输入第一神经网络模型，得到所述目标场景在所述第二时间的第二图像。

3.根据权利要求1所述的方法，其特征在于，所述至少一个目标图像包括第二时间对应的第三图像，所述根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像，包括：

根据所述第一图像和所述动态事件数据预测得到所述目标场景在所述第二时间的第二图像；

根据所述第一图像预测所述目标场景在所述第二时间对应的第四图像；

根据所述第二图像和所述第四图像，得到所述目标场景在所述第二时间的第三图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第二图像和所述第四图像，得到所述目标场景在所述第二时间的第三图像，包括：

对所述的第二图像和所述第四图像进行图像融合，得到所述目标场景在所述第二时间的第三图像。

5.根据权利要求3或4所述的方法，其特征在于，所述根据所述第一图像预测所述目标场景在所述第二时间对应的第四图像，包括：

将所述第一图像输入第二神经网络模型，得到所述目标场景在所述第二时间的第四图像。

6.一种图像预测的装置，其特征在于，包括：

获取模块，用于获得目标场景在第一时间的第一图像以及动态视觉传感装置在预测时间段内采集的动态事件数据；

预测模块，用于根据所述第一图像和所述动态事件数据预测所述目标场景在所述预测时间段内的至少一个目标图像，其中，所述至少一个目标图像为所述第一时间之后的至少一个目标时间对应的图像。

7.根据权利要求6所述的装置，其特征在于，所述至少一个目标图像包括第二时间对应的第二图像，

所述预测模块具体用于：将所述第一图像和所述动态事件数据输入第一神经网络模型，得到所述目标场景在所述第二时间的第二图像。

8.根据权利要求6所述的装置，其特征在于，所述至少一个目标图像包括第二时间对应的第三图像，

所述预测模块具体用于：

根据所述第一图像和所述动态事件数据预测得到所述目标场景在所述第二时间的第二图像；

根据所述第一图像预测所述目标场景在所述第二时间对应的第四图像；以及

根据所述第二图像和所述第四图像，得到所述目标场景在所述第二时间的第三图像。

9.根据权利要求8所述的装置，其特征在于，所述预测模块用于对所述的第二图像和所述第四图像进行图像融合，得到所述目标场景在所述第二时间的第三图像。

10.根据权利要求8或9所述的装置，其特征在于，所述预测模块具体用于：将所述第一图像输入第二神经网络模型，得到所述目标场景在所述第二时间的第四图像。

11.一种计算设备，其特征在于，包括：通信接口和处理器，所述处理器与所述通信接口连接并用于执行如权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储有一组计算指令，所述计算指令在计算设备执行时，使所述计算设备实现如权利要求1至5任一项所述的方法。

Images