CN110933435B - 动图延时优化处理方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请提供一种动图延时优化处理方法、装置、设备及可读存储介质，所述动图为视频或图片流，包括：获取动图数据；对所述动图数据进行解码，得到以帧为单位的图片；对所述以帧为单位的图片进行标定，得到标定框；将当前得到的所述标定框更新到解码产生的当前帧图片上，得到处理结果；输出所述处理结果，形成输出流。

Description

动图延时优化处理方法、装置、设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及动图延时优化处理的方法、装置、设备及计算机可读存储介质。

背景技术

图片的标定在图片处理中是很重要的一方面，在处理图片流或者视频的时，需要对每一帧图片进行实时分析处理。在图片处理的过程中，由于标定行为受到标定模型的运算性能的影响，在系统中会成为影响处理性能的指标。

在每一帧画面上，标定模型的效率相对于解码器而言，消耗的系统资源和时长更多，进而影响输出帧的效率。

发明内容

有鉴于此，本申请提供一种动图延时优化处理的方法、装置、设备及计算机可读存储介质，能够解决因标定模型的效率相对于解码器的解码效率低而影响输出帧的效率的问题。

为解决上述技术问题，第一方面，本申请提供一种动图延时优化处理的方法，包括：获取动图数据，其中，动图可以是视频、或图片流等，对于所述动图数据可以通过解码器进行解码，得到以帧为单位的图片，对于所述以帧为单位的图片，通过标定模型进行标定，得到标定框；将当前得到的所述标定框更新到解码产生的当前帧图片上，得到处理结果，输出所述处理结果，形成输出流。也就是说，解码器将动图数据解码成以帧为单位的图片，由标定模型对每一帧图片进行标定并得到标定框，在将标定框与每一帧图片结合得到具有标定框的图片，其中，在每一帧图片与标定框结合时，采用将当前的标定框更新到解码产生的当前帧图片上，进而可以使每一帧图片产生后及时的与标定框结合并输出，而并不需要等待该当前帧图片的标定框产生后，在输出，当前帧图片可以与前一帧图片已经生成的标定框结合，进而可以时每一帧解码后的图片可以及时的输出，提高输出帧图片的效率。

在本申请第一方面的一个实施例中，动图延时优化处理方法还包括如下步骤：计算所述标定框的变化速率，在判断所述标定框变化速率可导时，将当前得到的所述标定框更新到当前帧图片上，得到所述处理结果。也就是说，通过该方式可以确保输出的图片的输出流在人眼的观察下是连续的，流畅的，从而提高人们的感观效果。

在本申请第一方面的一个实施例中，所述标定模型的标定帧频率小于所述解码器的帧频率，并根据所述解码器的解码帧频率确定所述输出流的设定频率。也就是说，当所述标定模型的标定帧频率小于所述解码器的解码帧频率时，输出流的设定频率可以根据解码器的解码帧频率确定，进而可以避免由于标定模型的标定帧频率较慢而影响图片的输出的效率。

在本申请第一方面的一个实施例中，所述解码器的解码帧频率等于所述输出流的设定频率。也就是说，将输出流的输出频率与解码帧频率相等，使输出流的输出效率尽可能最大化。

第二方面，本申请实施例提供一种动图延时优化处理装置，所述动图为视频或图片流，包括获取模块、解码器、标定模型、处理模块和输出部，所述获取模块用于获取动图数据，所述解码器用于对所述动图数据进行解码，得到以帧为单位的图片，所述标定模型用于对所述动图数据进行标定，得到标定框，用于将当前得到的所述标定框更新到当前帧图片上，得到处理结果，用于输出所述处理结果，形成输出流。解码器将动图数据解码成以帧为单位的图片，由标定模型对每一帧图片进行标定并得到标定框，在将标定框与每一帧图片结合得到具有标定框的图片，其中，在每一帧图片与标定框结合时，采用将当前的标定框更新到解码产生的当前帧图片上，进而可以使每一帧图片产生后及时的与标定框结合并输出，而并不需要等待该当前帧图片的标定框产生后，在输出，当前帧图片可以与前一帧图片已经生成的标定框结合，进而可以时每一帧解码后的图片可以及时的输出，提高输出帧的效率。

在本申请第二方面的一个实施例中，动图延时优化处理装置还包括：判断模块，判断所述标定框变化速率是否可导，所述处理模块根据所述判断模块的判断结果进行处理。通过该方式可以确保输出的图片的输出流在人眼的观察下是连续的，流畅的，从而提高人们的感观效果。

在本申请第二方面的一个实施例中，所述标定模型的标定帧频率小于所述解码器的帧频率，并根据所述解码器的帧频率确定所述输出流的设定频率。当所述标定模型的标定帧频率小于所述解码器的解码帧频率时，输出流的设定频率可以根据解码器的解码帧频率确定，进而可以避免由于标定模型的标定帧频率较慢而影响图片的输出流的效率。

在本申请第二方面的一些实施例中，所述解码器的帧频率等于所述输出流的设定频率。将输出流的输出频率与解码器的解码帧频率相等，使输出流的输出效率尽可能最大化。

第三方面，本申请实施例提供一种电子设备，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行第一方面实施例的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行第一方面实施例的方法。

附图说明

图1为本申请实施例的动图延时优化处理方法的流程图；

图2为本申请实施例的动图延时优化处理装置的结构示意图；

图3为本申请实施例的电子设备的示意图。

具体实施方式

下面将结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

如图1所示，本申请实施例的动图延时优化处理方法，包括：

步骤S101，获取动图数据，其中，动图包括视频或图片流。

步骤S102，对动图数据进行解码，得到以帧为单位的图片，其中解码可通过解码器解码以使动图数据形成以帧为单位的多帧图片。

步骤S103，对以帧为单位的图片进行标定，得到标定框，其中，标定框是基于图片的特征得到的不同于图片的数据框，通过该数据框以便于图片的查询、检索、识别等。

步骤S104，将当前得到的标定框更新到解码产生的当前帧图片上，得到处理结果。

也就是说，当标定框形成后便于解码产生的当前帧图片结合得到图片的处理结果，其中，当前得到的标定框可以是基于解码产生的当前帧图片进行标定而得到的标定框，也可以是基于当前帧图片之前的一帧图片得到的标定框。

例如，设解码产生的当前帧图片为A1，当前得到的标定框基于A1得到的标定框为a1，得到的处理结果为A1+a1，若当前得到的标定框是基于A1之前的一帧A2得到的标定框a2，则得到的处理结果为A1+a2。若当前帧图片的下一帧图片A3生成，且当前得到的标定框仍然是a1，此时得到的标定结果是A3+a1。也就是说，解码的当前帧图片有可能与基于该当前帧图片得到的标定框结合，也可以是，在当前帧图片的标定框未生成之前与当前帧图片之前的帧图片的最新的标定框结合。由此，在标定框延时的情况下，可以确保解码后的每帧图片能够及时的与标定框结合，并输出，提高图片输出效率。

步骤105，输出处理结果，形成输出流。

根据本申请的实施例，通过将延时生成的标定框搁置处理，对解码生成的帧图片及时匹配当前的标定框，可以大大提高输出处理结果的频率，确保输出流的连续、顺畅。

根据本申请的一个实施例，动图延时优化处理方法还包括：

步骤S106，计算标定框的变化速率，在判断标定框变化速率可导时，将当前得到的标定框更新到当前帧图片上，得到处理结果。也就是说，由于每一帧图片都有所不同，且每一帧图片之间的变化率较小，且基于这些帧图片得到的标定框也会有所不同，且标定框之间的变化率也会很小，当这些标定框的变化速率可导，将当前得到的标定框更新解码生成的当前帧图片上，即使当前得到的标定框与解码生成的当前帧图片并不是一一对应的，也可以确保输出的处理结果是连续的，顺畅的。

根据本申请的一些实施例，标定的帧频率小于解码的帧频率并根据解码器的解码帧频率确定输出流的设定频率。也就是说，当解码速度是大于标定速度的，就是说，解码的帧图片的速度大于与标定框生成的效率，若解码的帧图片与基于该帧图片生成的标定框结合，此时，输出流的输出效率将会受到标定速度的影响若，输出流的设定频率可以根据解码帧频率确定，也就是说，输出流的输出效率不受标定框生成的效率的影响，进而可以避免由于标定帧频率较慢而影响图片的输出的效率。

根据本申请的一些实施例，解码器的解码帧频率等于输出流的设定频率以使输出流的输出效率尽可能最大化。

如图2所示，本申请实施例的动图延时优化处理装置200，包括：

获取模块201，获取模块201用于获取动图数据，其中，动图为视频或图片流。

解码器202，解码器202用于对动图数据进行解码，得到以帧为单位的图片。

标定模型203，标定模型203用于对以帧为单位的图片进行标定，得到标定框。

处理模块204，用于将当前得到的标定框更新到解码生成的当前帧图片上，得到处理结果。当标定框形成后便于解码产生的当前帧图片结合得到图片的处理结果，其中，当前得到的标定框可以是基于解码产生的当前帧图片进行标定而得到的标定框，也可以是基于当前帧图片之前的一帧图片得到的标定框。

输出部205，用于输出处理结果，形成输出流。

根据本申请的实施例，通过将延时生成的标定框搁置处理，对解码生成的帧图片及时匹配当前的标定框，可以大大提高输出处理结果的频率，确保输出流的连续、顺畅。

根据本申请的一个实施例，动图延时优化处理装置200还包括：

判断模块，判断标定框变化速率是否可导，

处理模块根据判断模块的判断结果进行处理。

根据本申请的一个实施例，标定模型的标定帧频率小于解码器的帧频率，并根据解码器的帧频率确定输出流的设定频率。

根据本申请的另一个实施例，解码器的帧频率等于输出流的设定频率。

如图3所示，本申请实施例提供了一种电子设备，包括：处理器1401和存储器1402，在存储器1402中存储有计算机程序指令，其中，在计算机程序指令被处理器运行时，使得处理器1401执行以下步骤：

获取动图数据；

对动图数据进行解码，得到以帧为单位的图片；

对以帧为单位的图片进行标定，得到标定框；

将当前得到的标定框更新到解码产生的当前帧图片上，得到处理结果；

输出处理结果，形成输出流。

进一步地，如图3所示，电子设备还包括网络接口1403、输入设备1404、硬盘1405、和显示设备1406。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器1401代表的一个或者多个中央处理器(CPU)，以及由存储器1402代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

网络接口1403，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘1405中。

输入设备1404，可以接收操作人员输入的各种指令，并发送给处理器1401以供执行。输入设备1404可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

显示设备1406，可以将处理器1401执行指令获得的结果进行显示。

存储器1402，用于存储操作系统运行所必须的程序和数据，以及处理器1401计算过程中的中间结果等数据。

可以理解，本申请实施例中的存储器1402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器1402旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器1402存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统14021和应用程序14014。

其中，操作系统14021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序14014，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序14014中。

本申请上述实施例揭示的方法可以应用于处理器1401中，或者由处理器1401实现。处理器1401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1401可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1402，处理器1401读取存储器1402中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文功能的模块(例如过程、函数等)来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器1401还用于读取计算机程序，执行如下步骤:

计算标定框的变化速率；

在判断标定框变化速率可导时，将当前得到的标定框更新到解码产生的当前帧图片上，得到处理结果。

另外，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器运行时，使得处理器执行以下步骤：

获取动图数据；

对动图数据进行解码，得到以帧为单位的图片；

对以帧为单位的图片进行标定，得到标定框；

将当前得到的标定框更新到解码产生的当前帧图片上，得到处理结果；

输出处理结果，形成输出流。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (6)

1.一种动图延时优化处理方法，所述动图为视频或图片流，其特征在于，

获取动图数据；

对所述动图数据进行解码，得到以帧为单位的图片；

对所述以帧为单位的图片进行标定，得到标定框；

计算所述标定框的变化速率；

在判断所述标定框变化速率可导时，且相邻标定框之间的变化率在预设范围内，将当前得到的所述标定框更新到解码产生的当前帧图片上，得到处理结果；

输出所述处理结果，形成输出流；

所述标定的帧频率小于所述解码的帧频率，并根据所述解码的帧频率确定所述输出流的设定频率。

2.根据权利要求1所述的动图延时优化处理方法，其特征在于，所述解码的帧频率等于所述输出流的设定频率。

3.一种动图延时优化处理装置，所述动图为视频或图片流，其特征在于，包括：

获取模块，所述获取模块用于获取动图数据；

解码器，所述解码器用于对所述动图数据进行解码，得到以帧为单位的图片；

标定模型，所述标定模型用于对所述以帧为单位的图片进行标定，得到标定框；

判断模块，判断所述标定框变化速率是否可导，且相邻标定框之间的变化率在预设范围内；

处理模块，用于当所述标定框变化速率是否可导，且相邻标定框之间的变化率在预设范围内的情况下，将当前得到的所述标定框更新到所述解码生成的当前帧图片上，得到处理结果；

输出部，用于输出所述处理结果，形成输出流；

所述标定模型的标定帧频率小于所述解码器的帧频率，并根据所述解码器的帧频率确定所述输出流的设定频率。

4.根据权利要求3所述的动图延时优化处理装置，其特征在于，所述解码器的帧频率等于所述输出流的设定频率。

5.一种电子设备，其特征在于，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行权利要求1-2任一项所述的动图延时优化处理方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行权利要求1-2任一项所述的动图延时优化处理方法。

Images