CN117132669A - 图像帧序列处理方法、装置、计算机设备以及存储介质 - Google Patents

Abstract

本申请提供一种图像帧序列处理方法、装置、计算机设备以及存储介质，该方法在计算目标图像帧与参考图像帧间的差分像素点的同时，基于当前差分步的目标差分像素点更新第一差分区块后，并同步计算该目标差分像素点所更新第一差分区块与其他第二差分区块间的距离，若第一差分区块与其他第二差分区块间的距离小于预设距离阈值，实时将第一差分区块与该第二差分区块进行合并，以减少目标图像帧中差分区块的耗时，同时有效控制目标图像帧中差分区块的数量，避免目标图像帧中差分区块过多而导致差分区域的解码、渲染对资源以及时间的消耗，提高后续绘制目标图像帧的效率。

Description

图像帧序列处理方法、装置、计算机设备以及存储介质

技术领域

本申请涉及人工智能技术领域，具体涉及一种图像帧序列处理方法、装置、计算机设备以及计算机可读存储介质(简称存储介质)。

背景技术

现有针对图像帧序列处理的保存技术中，通常是对比前后两帧图像帧找出图像帧间的差分区域，在保存图像帧序列时可以仅保存前一帧图像帧以及后一帧图像帧的差分区域对应图像块，以降低图像帧序列的文件大小。

但是，在图像帧序列播放的时候，需要对后一帧图像帧的各个差分区域的图像块进行一一解码，以渲染覆盖到前一帧图像帧上，当差分区域的数量较大时，差分区域的解码、渲染需要消耗大量资源、时间，导致绘制效率大幅降低。

发明内容

基于此，有必要针对上述技术问题，提供一种图像帧序列处理方法、装置、计算机设备以及存储介质，用以提高目标对象的尺寸识别准确率。

第一方面，本申请提供一种图像帧序列处理方法，该方法包括：

获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧；

按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块；

若第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于第一差分区块以及第二差分区块生成目标差分区块；其中，第二差分区块为目标图像帧中的除第一差分区块以外的差分区块；

在当前差分步的目标差分像素点为最后一个差分像素点时，基于目标差分区块，对图像帧序列进行保存。

在本申请一些实施例中，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块的步骤，包括：

获取目标图像帧中的历史差分区块；

若目标差分像素点不在历史差分区块中的任意一个差分区块内，将距离目标差分像素点值小于预设距离阈值的历史差分区块确定为第一差分区块，并基于当前差分步的目标差分像素点更新第一差分区块。

在本申请一些实施例中，获取目标图像帧中的历史差分区块的步骤之后，还包括：

若目标差分像素点不在历史差分区块中的任意一个差分区块内，且历史差分区块中任意差分区块与目标差分像素点间的距离值均大于或等于预设距离阈值，基于目标差分像素点生成第一差分区块。

在本申请一些实施例中，基于第一差分区块以及第二差分区块生成目标差分区块的步骤之后，还包括：

将目标差分区块确定为新的第一差分区块，继续执行若第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于第一差分区块以及第二差分区块生成目标差分区块的步骤。

在本申请一些实施例中，按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点的步骤，包括：

按照差分步次序获取目标图像帧在当前坐标点上的第一像素数据以及参考图像帧在当前坐标点上的第二像素数据；

若第一像素数据与第二像素数据不相同，则将当前坐标点的像素点确定为差分像素点。

在本申请一些实施例中，按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点的步骤，包括：

按照差分步次序获取目标图像帧在当前坐标点上的第一透明度参数以及参考图像帧在当前坐标点上的第二透明度参数；

若第一透明度参数与第二透明度参数中的一个大于预设透明度参数且另一个小于或等于预设透明度参数，将当前坐标点的像素点确定为差分像素点；

若第一透明度参数与第二透明度参数均大于预设透明度参数，则获取目标图像帧在当前坐标点上的第一RGB参数以及参考图像帧在当前像素点上的第二RGB参数；

若第一RGB参数与第二RGB参数不相同，则将当前坐标点的像素点确定为差分像素点。

在本申请一些实施例中，获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧的步骤之前，还包括：

获取图像帧序列的图像宽度以及图像高度；

确定图像宽度与图像高度中的最大值，基于最大值确定预设距离阈值。

在本申请一些实施例中，基于目标差分区块，对图像帧序列进行保存的步骤，包括：

根据目标差分区块在目标图像帧的区域位置以及区域大小，生成差分图像信息；

基于差分图像信息以及参考图像帧，对图像帧序列进行保存。

第二方面，本申请提供一种图像帧序列处理装置，该装置包括：

图像帧获取模块，用于获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧；

差分像素获取模块，用于按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块；

差分区块合并模块，用于在第一差分区块与第二差分区块间的距离值小于预设距离阈值时，基于第一差分区块以及第二差分区块生成目标差分区块；其中，第二差分区块为目标图像帧中的除第一差分区块以外的差分区块；

帧序列保存模块，用于在当前差分步的目标差分像素点为最后一个差分像素点时，基于目标差分区块，对图像帧序列进行保存。

第三方面，本申请还提供一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的图像帧序列处理方法。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的图像帧序列处理方法中的步骤。

上述图像帧序列处理方法、装置、计算机设备以及存储介质，获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧；按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块；若第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于第一差分区块以及第二差分区块生成目标差分区块；其中，第二差分区块为目标图像帧中的除第一差分区块以外的差分区块；在当前差分步的目标差分像素点为最后一个差分像素点时，基于目标差分区块，对图像帧序列进行保存。本方法在计算目标图像帧与参考图像帧间的差分像素点的同时，基于当前差分步的目标差分像素点更新第一差分区块，并同步计算该目标差分像素点所更新第一差分区块与其他第二差分区块间的距离，若第一差分区块与其他第二差分区块间的距离小于预设距离阈值，实时将第一差分区块与该第二差分区块进行合并，以减少目标图像帧中差分区块的耗时，同时有效控制目标图像帧中差分区块的数量，避免目标图像帧中差分区块过多而导致差分区域的解码、渲染对资源以及时间的消耗，提高后续绘制目标图像帧的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是现有技术中图像帧中差分区块的示意图；

图1B是现有技术中基于差分区块对图像帧进行绘制的示意图；

图2是本申请实施例中图像帧序列处理方法的流程示意图；

图3是本申请实施例中目标图像帧中差分区块的示意图；

图4是本申请实施例中图像帧序列处理方法的另一个流程示意图；

图5是本申请实施例中图像帧中差分区块的示意图；

图6是本申请实施例中基于差分区块对图像帧进行绘制的示意图；

图7是本申请实施例中图像帧序列处理装置的结构示意图；

图8是本申请实施例中计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

现有技术中，针对图像帧序列处理的保存技术中，通常是对比前后两帧图像帧找出图像帧间的差分区域，在保存图像帧序列时可以仅保存前一帧图像帧以及后一帧图像帧的差分区域对应图像块，以降低图像帧序列的文件大小。参见图1A所示，图1A中图像帧110为图像帧序列中的第t帧的图像帧，图像帧120为图像帧序列中的(t+1)帧的图像帧，通过对比前后两帧图像帧找出图像帧间的多个差分区域(图中仅标识出部分的差分区域)，从图1A中可以看出，相比于图像帧120，差分得到的差分区域较小，基于差分区域对图像帧序列进行保存时，图像帧序列的文件大小大幅降低。

但是，假设图像帧序列是类似星光闪烁效果的动画帧序列，此时前后两帧图像帧往往存在大量亮度变化的像素点，相应地构成大量且独立的差分区域，基于差分区域对图像帧序列进行保存时，图像帧序列的文件大小反而会上升。

此外在渲染图像帧120的过程中，需要对差分区域对应的图像块一一解码，并一一绘制并覆盖到图像帧110上，当差分区域较多时，需要调用大量的解码命令以及绘制命令，如1B所示，导致绘制效率大幅降低。

基于上述问题，本申请实施例提供一种图像帧序列处理方法，在计算目标图像帧与参考图像帧间的差分像素点的同时，基于当前差分步的目标差分像素点更新第一差分区块，并同步计算该目标差分像素点所更新第一差分区块与其他第二差分区块间的距离，若第一差分区块与其他第二差分区块间的距离小于预设距离阈值，实时将第一差分区块与该第二差分区块进行合并，以减少目标图像帧中差分区块的耗时，同时有效控制目标图像帧中差分区块的数量，避免目标图像帧中差分区块过多而导致差分区域的解码、渲染对资源以及时间的消耗，提高后续绘制目标图像帧的效率。

本申请实施例提供的图像帧序列处理方法，可以运行于终端设备或服务器。其中，终端设备可以为本地终端设备。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

参阅图2，本申请实施例提供了一种图像帧序列处理方法，主要以该方法应用于服务器来举例说明，该方法包括步骤S210至S230，具体如下：

步骤S210，获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧。

其中，图像帧序列具体可以是视频数据、动画数据等，图像帧序列中包括有在时序上连续的多帧图像帧。目标图像帧是指图像帧序列中待处理的一帧图像帧，参考图像帧是目标图像帧时序上的前一帧、且与目标图像帧在时序上相邻的图像帧。例如，目标图像帧是可以是目标帧序列中第t时刻的图像帧，参考图像帧是目标帧序列中第(t-1)时刻的图像帧。

具体地，在确定到待处理的图像帧序列后，按照图像帧序列中图像帧的顺序，依次将每一帧图像帧确定为目标图像帧，并获取该目标图像帧对应的参考图像帧。

步骤S220，按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块。

其中，在一个差分步中，终端对目标图像帧与参考图像帧上的同一个坐标点上的像素点进行差分处理，以判断该坐标点上的像素点是否为差分像素点；差分步次序可以是按照目标图像帧(或参考图像帧)中像素点的排列顺序决定的。例如，参见图3，图3示出了一帧包括6行6列像素的目标图像帧的示意图，可以以像素点F作为起始坐标点一行一行地进行取点，每一个差分步中取一个坐标点作为当前差分步的目标坐标点，对比目标图像帧与参考图像帧在该目标坐标点上的像素数据，以判断该目标坐标点对应像素点是否差分像素点；如，当前差分步为对该目标图像帧中像素点A与参考图像帧中的第一行第五列的像素点进行差分处理，以判断第一行第五列的像素点上的像素点是否为差分像素点，下一个差分步为对该目标图像帧中第一行第六列的像素点(即像素点B)与参考图像帧中的第一行第六列的像素点进行差分处理，以判断第一行第六列的像素点上的像素点是否为差分像素点，如此类推。

其中，差分区块是指相较于参考图像帧，在目标图像帧中存在差分像素点的矩形区域；继续以图3为例，图3的目标图像帧中像素点A、像素点B以及像素点C以及像素点D为差分像素点，基于像素点A、像素点B以及像素点C在该目标图像帧构成一差分区块310，基于像素点D在该目标图像帧构成一差分区块320。可以理解的是，相较于参考图像帧，目标图像帧存在一个或一个以上的差分区块；其中，第一差分区块是指当前差分步所得到的目标差分像素点待划入的差分区块。

在确定到当前差分步所处理的坐标点对应像素点为差分像素点后，可以将该坐标点对应的像素点确定为目标差分像素点，并在目标图像帧中现有的历史差分区块中确定该目标差分像素点对应的第一差分区块，也可以基于该差分像素点所在坐标位置生成一个新的差分区块，得到第一差分区块。

进一步地，在确定到目标差分像素点对应的第一差分区块后，可对比差分像素点所在的坐标位置以及第一差分区块的区域位置，判断差分像素点所在的坐标位置是否在第一差分区块的区域范围内；若差分像素点所在的坐标位置在第一差分区块的区域范围内，将差分像素点划入至第一差分区块后，第一差分区块的区域范围不变；若差分像素点所在的坐标位置在第一差分区块的区域范围外，将差分像素点划入至第一差分区块后，第一差分区块的区域范围发生变化，此时，基于目标差分像素点的坐标位置，对第一差分区块的区域范围进行更新。

继续参见图3，例如，图3中像素点D为当前差分步得到的目标差分像素点，可基于该像素点D所在坐标位置生成一个新的差分区块320，得到第一差分区块；在下一个差分步中，判断像素点E是否为差分像素点，当像素点E为差分像素点，可基于像素点E确定第一差分区块为差分区域320，并将像素点E划入至差分区域320以更新差分区域320的区域范围，差分区域320的区域范围发生变化，变化后的区域范围如差分区域320’所示。

步骤S230，若第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于第一差分区块以及第二差分区块生成目标差分区块；其中，第二差分区块为目标图像帧中的除第一差分区块以外的差分区块。

其中，相较于参考图像帧，目标图像帧存在一个或一个以上的差分区块；在获取到更新后的第一差分区块后，可以计算第一差分区块与目标图像帧中除第一差分区块以外的第二差分区块的距离值。具体地，针对任意一个第二差分区块，可以是获取第一差分区块的中心坐标，以及获取第二差分区块的中心坐标，基于第一差分区块的中心坐标与第二差分区块的中心坐标间的距离，确定为第一差分区块与该第二差分区块间的距离值；也可以是获取第一差分区块的边界与第二差分区块边界间的最短距离值，将该最短距离值确定为第一差分区块与该第二差分区块的距离值。

在获取到第一差分区块与其他差分区块的距离值后，对比距离值与预设距离阈值间的大小，若第一差分区块与某个第二差分区块的距离值小于预设距离阈值，此时可对第一差分区块以及该第二差分区块进行合并，得到目标差分区块。

进一步地，在一个实施例中，基于第一差分区块以及第二差分区块生成目标差分区块的步骤之后，还包括：将目标差分区块确定为新的第一差分区块，继续执行若第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于第一差分区块以及第二差分区块生成目标差分区块的步骤。

其中，对第一差分区块和第二差分区块进行合并所获得的目标差分区块的区域范围一定发生变化，即目标差分区块的区域范围扩大，此时，将目标差分区块确定为新的第一差分区块，再次计算第一差分区块与目标图像帧中除第一差分区块以外的第二差分区块的距离值，进而在其他第二差分区块中，确定与第一差分区块间的距离值小于预设距离阈值的第二差分区块，并再次合并第一差分区块与该第二差分区块，以再次更新第一差分区块，直至第一差分区块与目标图像帧中除第一差分区块以外的其他差分区块的距离值均大于或等于预设距离阈值。

可以理解的是，若第一差分区块与目标图像帧中任意第二差分区块的距离值均大于或等于预设距离阈值，此时可以按照差分步次序，获取下一差分步的差分像素，并重复上述步骤，即基于下一差分步的差分像素点再次更新目标图像帧中的差分区块，若下一差分步对应差分像素点所更新的差分区块与目标图像帧中的其他差分区块间的距离值小于预设距离阈值，则将下一差分步对应差分像素点所更新的差分区块与该差分区块生成目标差分区块，直至目标图像帧中任意两个差分区块间的距离值均大于或等于预设距离阈值。

步骤S240，在当前差分步的目标差分像素点为最后一个差分像素点时，基于目标差分区块，对图像帧序列进行保存。

其中，目标差分区块即目标图像帧与参考图像帧间的变化区域，在当前差分步的目标差分像素点为最后一个差分像素点时，通过保存目标差分区块以及参考图像帧，即可实现对图像帧序列进行保存。

上述图像帧序列处理方法中，获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧；按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块；若第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于第一差分区块以及第二差分区块生成目标差分区块；其中，第二差分区块为目标图像帧中的除第一差分区块以外的差分区块；在当前差分步的目标差分像素点为最后一个差分像素点时，基于目标差分区块，对图像帧序列进行保存。在计算目标图像帧与参考图像帧间的差分像素点的同时，基于当前差分步的目标差分像素点更新第一差分区块，并同步计算该目标差分像素点所更新第一差分区块与其他第二差分区块间的距离，若第一差分区块与其他第二差分区块间的距离小于预设距离阈值，实时将第一差分区块与该第二差分区块进行合并，以减少目标图像帧中差分区块的耗时，同时有效控制目标图像帧中差分区块的数量，避免目标图像帧中差分区块过多而导致差分区域的解码、渲染对资源以及时间的消耗，提高后续绘制目标图像帧的效率。

在一个实施例中，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块的步骤，包括：获取目标图像帧中的历史差分区块；若目标差分像素点不在历史差分区块中的任意一个差分区块内，将距离目标差分像素点值小于预设距离阈值的历史差分区块确定为第一差分区块，并基于当前差分步的目标差分像素点更新第一差分区块。

其中，历史差分区块是指目标图像帧中现有的差分区块。在确定到当前差分步所处理的像素点为差分像素点，可对比当前差分步对应的目标差分像素点所在的坐标位置以及历史差分区块的区域位置，以判断目标差分像素点是否在历史差分区块中的某个差分区块内，若目标差分像素点在历史差分区块中的某个差分区块内，可将该差分区块确定为当前差分步的目标差分像素点对应的第一差分区块；可以理解的是，由于目标差分区块为第一差分区块中的，因此基于目标差分区块对该第一差分区域进行更新，第一差分区块的区域范围不变。继续参见图3，例如，图3中像素点G为当前差分步得到的目标差分像素点，可对比当前差分步对应的像素点G所在的坐标位置以及差分区块310的区域位置，以判断像素点G是否在差分区块310；由于像素点G在差分区块310内，将像素点G划分到差分区块310中，差分区块310不变。

若目标差分像素点不在历史差分区块中的任意一个差分区块内，则可以计算目标差分像素点与各历史差分区块间的距离值，进而基于目标差分像素点与各历史差分区块间的距离值，确定目标差分像素点对应的差分区块，得到第一差分区块。具体地，在确定到差分像素点到各个历史差分区块间的距离值后，若历史差分区块中存在一个差分区块，该差分区块与目标差分像素点间的距离值小于预设距离阈值，则将该差分区块确定为目标差分像素点对应的第一差分区块，进而基于目标差分像素点对第一差分区块进行更新；可以理解的是，由于目标差分区块为第一差分区块中的，因此基于目标差分区块对该第一差分区域进行更新，第一差分区块的区域范围变大。

进一步地，在一个实施例中，获取目标图像帧中的历史差分区块的步骤之后，还包括：若目标差分像素点不在历史差分区块中的任意一个差分区块内，且历史差分区块中任意差分区块与目标差分像素点间的距离值均大于或等于预设距离阈值，基于目标差分像素点生成第一差分区块。

若历史差分区块中不存在与目标差分像素点间的距离值小于预设距离阈值的差分区块，则获取目标差分像素点所在坐标位置，基于该坐标位置生成一个新的差分区块，该差分区块作为目标差分像素点对应的第一差分区块。

通过判断当前解码步所处理的目标差分像素点是否在已有的历史差分区块中，在目标差分像素不在历史差分区块中的任意一个差分区块内时，基于目标差分像素点与各个历史差分区块间的距离值，确定目标差分像素点所更新的差分区块，实现在计算目标图像帧与参考图像帧间的差分像素点的同时，实时基于当前差分步的目标差分像素点更新目标图像帧内的差分区块，便于后续对目标图像帧内的差分区块进行基于距离的合并，以减少目标图像帧中差分区块的耗时。

在一个实施例中，按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点的步骤，包括：按照差分步次序获取目标图像帧在当前坐标点上的第一像素数据以及参考图像帧在当前坐标点上的第二像素数据；若第一像素数据与第二像素数据不相同，则将当前坐标点的像素点确定为差分像素点。

其中，像素数据可以是指在某个坐标点对应像素点的颜色值；具体地，像素数据可以是指在颜色空间中的取值，例如，可以是在RGB颜色空间对应的取值，即RGB颜色值，也可以是YUV颜色空间中的取值，即YUV颜色值。

其中，当前目标坐标点是指在当前差分步所处理的目标坐标点。

由于目标图像帧与参考图像帧为时序上连续的图像帧，因此基于目标图像帧与参考图像帧在相同坐标点上的像素数据，获取目标图像帧相较于参考图像帧的差分像素点。具体地，确定当前差分步所处理的目标坐标点，并从目标图像帧获取在当前坐标点上的第一像素数据，以及从参考图像帧获取在当前坐标点上的第二像素数据；进而，对比目标图像帧与参考图像帧在该目标坐标点上的像素数据，若在该目标坐标点上的第一像素数据与第二像素数据不相等，可以将该目标坐标点对应像素点确定为差分像素。

可以理解的是，若在该目标坐标点上的像素数据相等，则该目标坐标点对应的像素点非差分像素点，此时可以确定下一个差分步所处理的坐标点，并对目标图像帧与参考图像帧在新的坐标点上的像素数据进行比较，以判断下一个坐标点对应像素点是否为差分像素点。

通过对比相同坐标点上的像素数据以快速获取目标图像帧与参考图像帧间的差分像素点，有效提高差分区块的生成，提高图像帧序列的保存效率。

进一步地，像素数据通常包括有透明度参数以及RGB参数，因此，在一个实施例中，按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点的步骤，包括：按照差分步次序获取目标图像帧在当前坐标点上的第一透明度参数以及参考图像帧在当前坐标点上的第二透明度参数；若第一透明度参数与第二透明度参数中的一个大于预设透明度参数且另一个小于或等于预设透明度参数，将当前坐标点的像素点确定为差分像素点；若第一透明度参数与第二透明度参数均大于预设透明度参数，则获取目标图像帧在当前坐标点上的第一RGB参数以及参考图像帧在当前像素点上的第二RGB参数；若第一RGB参数与第二RGB参数不相同，则将当前坐标点的像素点确定为差分像素点。

其中，像素数据可以是指在某个坐标点对应像素点的RGB-A值，即像素数据包括在RGB通道上的RGB参数以及alpha通道上的透明度参数。可以理解的是，当alpha通道的透明度参数为0％时，则该目标坐标点对应像素点为完全透明的像素点，无论RGB通道上的RGB参数的值为多少，一般均显示为白色；当alpha通道的透明度参数为100％时，则该目标坐标点对应像素点为不透明的像素点，目标坐标点对应像素点显示为RGB参数所表示的颜色。

具体地，确定当前差分步所处理的目标坐标点，并从目标图像帧获取在当前坐标点上的第一透明度参数，以及从参考图像帧获取在当前坐标点上的第二透明度参数；进而，基于第一透明度参数以及第二透明度参数以判断对应目标坐标点上的透明度，具体可包括以下3种情况：

情况1：当第一透明度参数与第二透明度参数均小于或等于预设透明度参数，此时无论目标图像帧还是参考图像帧在目标坐标点上的像素点都是透明像素点，可认为目标图像帧还是参考图像帧在目标坐标点上的像素点所显示的颜色一致，目标坐标点上的像素点非差分像素点；

情况2：当第一透明度参数与第二透明度参数中的一个大于预设透明度参数且另一个小于或等于预设透明度参数，此时目标图像帧与参考图像帧在目标坐标点上的像素点中，一个为透明像素点，另一个为不透明像素点，此时可将目标坐标点对应的像素点确定为差分像素点；

情况3：当第一透明度参数与第二透明度参数均大于预设透明度参数，此时无论目标图像帧还是参考图像帧在目标坐标点上的像素点都不是透明像素点，此时可进一步比较目标坐标点上的RGB参数，若在该目标坐标点上的第一RGB参数与第二RGB参数不相等，可以将该目标坐标点对应像素点确定为差分像素。

其中，预设透明度参数用于判断当前坐标点上的像素点是否为透明像素点，当当前坐标点上的像素点的透明度参数小于或等于预设透明度参数，则可认为当前坐标点上的像素点为透明像素点。具体地，预设透明度参数可以取值为0；此外，考虑到噪声的干扰，预设透明度参数也可以设置为一个较小的值，例如5。通过先对比当前坐标点对应像素点的透明度参数，进而基于当前坐标点对应像素点的透明度情况再进行进一步的RGB参数对比，实现将透明像素点对差分像素点判断的影响加入考虑，提高差分像素点判断的准确性，有效排除将透明像素点误识别为差分像素点而导致差分区块变大的情况。

在一个实施例中，获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧的步骤之前，还包括：获取图像帧序列的图像宽度以及图像高度；确定图像宽度与图像高度中的最大值，基于最大值确定预设距离阈值。

其中，图像宽度以及图像高度用于标识图像帧序列中图像帧的图像尺寸大小。在获取到图像帧序列中的图像宽度以及图像高度后，对比图像宽度与图像高度，取这两个值中的最大值，进而基于最大值计算预设距离阈值。

具体地，预设距离阈值可以取值为图像宽度与图像高度中最大值除以n所得到的值，其中，n为整数，其取值范围为[5,10]。基于图像帧序列的图像宽度以及图像高度设置预设距离阈值，避免预设距离阈值过大导致目标图像帧中的各个差分区块合并为一个差分区块，也避免预设距离阈值过小而目标图像帧中的各个差分区块无法得到合并，差分区块过多。

在一个实施例中，基于目标差分区块，对图像帧序列进行保存的步骤，包括：根据目标差分区块在目标图像帧的区域位置以及区域大小，生成差分图像信息；基于差分图像信息以及参考图像帧，对图像帧序列进行保存。

具体地，在完成所有像素点的差分处理的同时，也完成目标图像帧中差分区域的获取。此时，可获取目标差分区块在目标图像帧的区域位置以及区域大小，生成差分图像信息；进而基于差分图像信息以及参考图像帧，对图像帧序列进行保存。

可以理解的是，在渲染目标图像帧时，可获取差分区域的图像信息，并基于差分区域的区域位置以及区域大小确定该图像信息的渲染位置，进而在参考图像帧相应的渲染位置上渲染差分区域的图像信息，即可得到目标图像帧。

以下结合一具体应用场景对上述图像帧序列处理方法进行进一步说明。具体地，参见图4，图像帧序列处理方法包括：

步骤S401，获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧。

步骤S402，按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点。

步骤S403，获取目标图像帧中的历史差分区块。

步骤S404，判断当前差分步的目标差分像素点是否在在历史差分区块中的某个差分区块内；若是，跳转执行步骤S402；若否，跳转执行步骤S405。

步骤S405，获取历史差分区块中任意差分区块与目标差分像素点间的距离值；若历史差分区块中任意差分区块与目标差分像素点间的距离值均大于或等于预设距离阈值，跳转执行步骤406；若历史差分区块中存在差分区块与目标差分像素点间的距离值小于预设距离阈值，跳转执行407。

步骤S406，基于目标差分像素点生成新的差分区块，跳转执行步骤S402。

步骤S407，将该距离目标差分像素点值小于预设距离阈值的历史差分区块确定为第一差分区块，并基于当前差分步的目标差分像素点更新第一差分区块。

步骤S408，判断第一差分区块与第二差分区块间的距离值是否小于预设距离值；若是，跳转执行步骤S409；否则，跳转执行步骤S402。

其中，第二差分区块为目标图像帧中除第一差分区块以外的差分区块。

步骤S409，基于第一差分区块以及第二差分区块生成目标差分区块。

步骤S410，将目标差分区块确定为新的第一差分区块，跳转至执行步骤S480。

在当前差分步的目标差分像素点为最后一个差分像素点时，基于目标差分区块，对图像帧序列进行保存。

继续以图1所示的图像帧110以及图像帧120为例，基于上述图像帧序列处理方法对图像帧110以及图像帧120进行差分处理，所得的差分区块如图5所示，有效的控制分块数量，如之前提到的星光动画，大量的微小的差分区域可以合并成一个区域。通过图像帧序列处理方法带来的另一个好处是，在绘制图像帧120的时候，由差分区块的数量减小，绘制的时候所调用的解码指令以及绘制指令也大大减少，如图6所示，使得绘制效率大幅提高。

为了更好实施本申请实施例提供的图像帧序列处理方法，在本申请实施例所提图像帧序列处理方法的基础之上，本申请实施例中还提供一种图像帧序列处理装置，如图7所示，所述图像帧序列处理装置700包括：

图像帧获取模块710，用于获取图像帧序列中的目标图像帧以及目标图像帧对应的参考图像帧；

差分像素获取模块720，用于按照差分步次序获取目标图像帧以及参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新目标图像帧中的第一差分区块；

差分区块合并模块730，用于在第一差分区块与第二差分区块间的距离值小于预设距离阈值时，基于第一差分区块以及第二差分区块生成目标差分区块；其中，第二差分区块为目标图像帧中的除第一差分区块以外的差分区块；

帧序列保存模块740，用于在当前差分步的目标差分像素点为最后一个差分像素点时，基于目标差分区块，对图像帧序列进行保存。

在本申请一些实施例中，差分像素获取模块，具体用于获取目标图像帧中的历史差分区块；若目标差分像素点不在历史差分区块中的任意一个差分区块内，将距离目标差分像素点值小于预设距离阈值的历史差分区块确定为第一差分区块，并基于当前差分步的目标差分像素点更新第一差分区块。

在本申请一些实施例中，差分像素获取模块，具体用于若目标差分像素点不在历史差分区块中的任意一个差分区块内，且历史差分区块中任意差分区块与目标差分像素点间的距离值均大于或等于预设距离阈值，基于目标差分像素点生成第一差分区块。

在本申请一些实施例中，差分区块合并模块，具体还用于将目标差分区块确定为新的第一差分区块，继续执行若第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于第一差分区块以及第二差分区块生成目标差分区块的步骤。

在本申请一些实施例中，差分像素获取模块，用于按照差分步次序获取目标图像帧在当前坐标点上的第一像素数据以及参考图像帧在当前坐标点上的第二像素数据；若第一像素数据与第二像素数据不相同，则将当前坐标点的像素点确定为差分像素点。

在本申请一些实施例中，差分像素获取模块，用于按照差分步次序获取目标图像帧在当前坐标点上的第一透明度参数以及参考图像帧在当前坐标点上的第二透明度参数；若第一透明度参数与第二透明度参数中的一个大于预设透明度参数且另一个小于或等于预设透明度参数，将当前坐标点的像素点确定为差分像素点；若第一透明度参数与第二透明度参数均大于预设透明度参数，则获取目标图像帧在当前坐标点上的第一RGB参数以及参考图像帧在当前像素点上的第二RGB参数；若第一RGB参数与第二RGB参数不相同，则将当前坐标点的像素点确定为差分像素点。

在本申请一些实施例中，图像帧获取模块，具体还用于获取图像帧序列的图像宽度以及图像高度；确定图像宽度与图像高度中的最大值，基于最大值确定预设距离阈值。

在本申请一些实施例中，帧序列保存模块，用于根据目标差分区块在目标图像帧的区域位置以及区域大小，生成差分图像信息；基于差分图像信息以及参考图像帧，对图像帧序列进行保存。

关于图像帧序列处理装置的具体限定可以参见上文中对于图像帧序列处理方法的限定，在此不再赘述。上述图像帧序列处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在本申请一些实施例中，图像帧序列处理装置700可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像帧序列处理装置700的各个程序模块，比如，图7所示的图像帧获取模块710、差分像素获取模块720、差分区块合并730以及帧序列保存模块740。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像帧序列处理方法中的步骤。

例如，图8所示的计算机设备可以通过如图7所示的图像帧序列处理装置700中的图像帧获取模块710执行步骤S210。计算机设备可通过差分像素获取模块720执行步骤S220。计算机设备可通过差分区块合并730执行步骤S230。计算机设备可通过差分区块合并740执行步骤S240。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种图像帧序列处理方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请一些实施例中，提供了一种计算机设备，包括一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述图像帧序列处理方法的步骤。此处图像帧序列处理方法的步骤可以是上述各个实施例的图像帧序列处理方法中的步骤。

在本申请一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器进行加载，使得处理器执行上述图像帧序列处理方法的步骤。此处图像帧序列处理方法的步骤可以是上述各个实施例的图像帧序列处理方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上对本申请实施例所提供的一种图像帧序列处理方法、装置、计算机设备以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种图像帧序列处理方法，其特征在于，所述方法包括：

获取图像帧序列中的目标图像帧以及所述目标图像帧对应的参考图像帧；

按照差分步次序获取所述目标图像帧以及所述参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新所述目标图像帧中的第一差分区块；

若所述第一差分区块与第二差分区块间的距离值小于预设距离阈值，基于所述第一差分区块以及所述第二差分区块生成目标差分区块；其中，所述第二差分区块为所述目标图像帧中的除第一差分区块以外的差分区块；

在当前差分步的目标差分像素点为最后一个差分像素点时，基于所述目标差分区块，对所述图像帧序列进行保存。

2.根据权利要求1所述的方法，其特征在于，所述基于当前差分步的目标差分像素点更新所述目标图像帧中的第一差分区块的步骤，包括：

获取所述目标图像帧中的历史差分区块；

若所述目标差分像素点不在所述历史差分区块中的任意一个差分区块内，将距离所述目标差分像素点值小于预设距离阈值的历史差分区块确定为第一差分区块，并基于所述当前差分步的目标差分像素点更新所述第一差分区块。

3.根据权利要求2所述的方法，其特征在于，所述获取所述目标图像帧中的历史差分区块的步骤之后，还包括：

若所述目标差分像素点不在所述历史差分区块中的任意一个差分区块内，且所述历史差分区块中任意差分区块与所述目标差分像素点间的距离值均大于或等于所述预设距离阈值，基于所述目标差分像素点生成第一差分区块。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一差分区块以及所述第二差分区块生成目标差分区块的步骤之后，还包括：

将所述目标差分区块确定为新的第一差分区块，继续执行若所述第一差分区块与第二差分区块间的距离值小于所述预设距离阈值，基于所述第一差分区块以及所述第二差分区块生成目标差分区块的步骤。

5.根据权利要求1所述的方法，其特征在于，所述按照差分步次序获取所述目标图像帧以及所述参考图像帧间的差分像素点的步骤，包括：

按照差分步次序获取所述目标图像帧在当前坐标点上的第一像素数据以及所述参考图像帧在所述当前坐标点上的第二像素数据；

若所述第一像素数据与所述第二像素数据不相同，则将所述当前坐标点的像素点确定为差分像素点。

6.根据权利要求1所述的方法，其特征在于，所述按照差分步次序获取所述目标图像帧以及所述参考图像帧间的差分像素点的步骤，包括：

按照差分步次序获取所述目标图像帧在当前坐标点上的第一透明度参数以及所述参考图像帧在当前坐标点上的第二透明度参数；

若所述第一透明度参数与所述第二透明度参数中的一个大于预设透明度参数且另一个小于或等于所述预设透明度参数，将所述当前坐标点的像素点确定为差分像素点；

若所述第一透明度参数与所述第二透明度参数均大于预设透明度参数，则获取所述目标图像帧在当前坐标点上的第一RGB参数以及所述参考图像帧在所述当前像素点上的第二RGB参数；

若所述第一RGB参数与所述第二RGB参数不相同，则将所述当前坐标点的像素点确定为差分像素点。

7.根据权利要求1所述的方法，其特征在于，所述获取图像帧序列中的目标图像帧以及所述目标图像帧对应的参考图像帧的步骤之前，还包括：

获取所述图像帧序列的图像宽度以及图像高度；

确定所述图像宽度与所述图像高度中的最大值，基于所述最大值确定预设距离阈值。

8.根据权利要求1所述的方法，其特征在于，所述基于所述目标差分区块，对所述图像帧序列进行保存的步骤，包括：

根据所述目标差分区块在目标图像帧的区域位置以及区域大小，生成差分图像信息；

基于所述差分图像信息以及所述参考图像帧，对所述图像帧序列进行保存。

9.一种图像帧序列处理装置，其特征在于，所述装置包括：

图像帧获取模块，用于获取图像帧序列中的目标图像帧以及所述目标图像帧对应的参考图像帧；

差分像素获取模块，用于按照差分步次序获取所述目标图像帧以及所述参考图像帧间的差分像素点，基于当前差分步的目标差分像素点更新所述目标图像帧中的第一差分区块；

差分区块合并模块，用于在所述第一差分区块与第二差分区块间的距离值小于预设距离阈值时，基于所述第一差分区块以及所述第二差分区块生成目标差分区块；其中，所述第二差分区块为所述目标图像帧中的除第一差分区块以外的差分区块；

帧序列保存模块，用于在当前差分步的目标差分像素点为最后一个差分像素点时，基于所述目标差分区块，对所述图像帧序列进行保存。

10.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至8中任一项所述的图像帧序列处理方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至8任一项所述的图像帧序列处理方法中的步骤。