CN112866799B - 一种视频抽帧处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种视频抽帧处理方法、装置、设备及介质，涉及计算机技术领域，该视频抽帧处理方法包括：从获取到的视频中选取目标图像帧；依据所述目标图像帧的解码路径信息确定解码帧序列；依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。本发明实施例有效降低视频抽帧的算力消耗，提高视频抽帧的运行效率。

Description

一种视频抽帧处理方法、装置、设备及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频抽帧处理方法、装置、设备及介质。

背景技术

随着计算机视觉技术的快速发展，视频抽帧广泛应用于模式识别。例如，在深度学习应用于视频内容理解时，对视频全量帧进行模型预测，消耗的算力过大，带来的收益有限。工业界通常对视频抽帧，以对抽帧的图像进行模型识别，使得消耗的算力将降低一个数量级。

目前，对大部分模型而言，视频抽帧消耗算力可能大于模型推理，视频解码过程很容易成为程序瓶颈。具体而言，现有通常使用的视频抽帧实现方式是将视频所有帧进行解码后，根据需求挑选解码后的图片。这种方式会涉及很多非必要的计算，如大部分没有被挑选的图片可能无需要解码，严重影响了视频抽帧的运行效率。

发明内容

有鉴于此，本发明实施例提供一种视频抽帧处理方法、装置、设备及介质，以有效降低视频抽帧的算力消耗，提高视频抽帧的运行效率。

第一方面，本发明实施例提供了一种视频抽帧处理方法，包括：从获取到的视频中选取目标图像帧；依据所述目标图像帧的解码路径信息确定解码帧序列；依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

第二方面，本发明实施例还提供了一种视频抽帧处理装置，包括：

目标图像帧选取模块，用于从获取到的视频中选取目标图像帧；

解码帧序列确定模块，用于依据所述目标图像帧的解码路径信息确定解码帧序列；

抽帧处理结果确定模块，用于依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

第三方面，本发明实施例还提供了一种视频抽帧处理设备，包括：处理器和存储器；所述存储器中存储有至少一条指令，所述指令由所述处理器执行，使得所述视频抽帧处理设备执行如第一方面所述的视频抽帧处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述可读存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如第一方面所述的视频抽帧处理方法。

本发明实施例通过从获取到的视频中选取目标图像帧，并依据目标图像帧的解码路径信息确定解码帧序列，以依据解码帧序列进行解码，从而能够有效提高视频抽帧解码效率，规避了现有技术中对没有被挑选的图像进行解码所导致的视频抽帧算力消耗大的问题，即降低视频抽帧的算力消耗，提高了视频抽帧的运行效率。

附图说明

图1是本发明实施例提供的一种视频抽帧处理方法的步骤流程示意图；

图2是本发明一个可选实施例中的一种视频抽帧处理方法的步骤流程示意图；

图3是本发明一个示例中的一种视频图像帧的示意图；

图4是本发明另一个可选实施例中的一种视频抽帧处理方法的步骤流程示意图；

图5是本发明又一个可选实施例中的一种视频抽帧处理方法的步骤流程示意图；

图6是本发明实施例中的一种视频抽帧处理装置的结构方框示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构或组成。

图1为本发明实施例提供的一种视频抽帧处理方法的步骤流程示意图。本实施例可适用于视频抽帧处理情况，如图1所示，本发明实施例提供的视频抽帧处理方法具体可以包括如下步骤：

步骤110，从获取到的视频中选取目标图像帧。

在实际处理中，图像帧是组成视频的最小单位。本发明实施例在获取到视频后，可以从当前获取到的视频中选取一个或多个图像帧，以作为目标图像帧。

步骤120，依据所述目标图像帧的解码路径信息确定解码帧序列。

其中，目标图像帧的解码路径信息可以表示目标图像帧的解码路径。具体而言，本发明实施例在选取出目标图像帧后，可以依据该目标图像帧的解码路径确定出目标图像帧解码时所需要参考的图像帧，进而可以基于目标图像帧解码时所需要参考的图像帧生成解码帧序列。该解码帧序列可以包含目标图像帧解码时所需要参考的图像帧的帧序号，以便后续可以依据该解码帧序列中所包含的帧序号进行解码，即执行步骤130。

步骤130，依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

具体而言，本发明实施例在确定出解码帧序列后，可根据该解码帧序列进行解码，以解码该解码帧序列中所包含的图像帧，得到抽帧解码信息，并基于该抽帧解码信息生成视频的抽帧处理结果，如将抽帧解码信息作为视频的抽帧处理结果，以便后续可以依据该抽帧解码信息进行业务处理，降低算力消耗。

可见，本发明实施例通过从获取到的视频中选取目标图像帧，并依据目标图像帧的解码路径信息确定解码帧序列，以依据解码帧序列进行解码，从而能够忽略非解码帧序列内的图像帧，最大限度降低程序的非必要计算，提升解码效率，规避了现有技术中对没有被挑选的图像进行解码所导致的视频抽帧算力消耗大的问题，有效降低视频抽帧的算力消耗，提高视频抽帧的运行效率。

在实际处理中，本发明实施例中选取的目标图像帧可以由业务需求确定，以便后续可以依据该目标图像帧进行业务处理。可选的，在上述实施例的基础上，本发明实施例从获取到的视频中选取目标图像帧，具体可以包括：获取视频；依据业务需求对所述视频进行抽帧，得到目标图像帧。该目标图像帧可以包括从当前获取到视频中抽取到的图像帧。

在本发明的一个可选实施方式中，可以基于业务需求将获取到的视频划分为多个图像组，以通过在图像组中抽取一个或多个图像帧作为目标图像帧。可选的，本发明实施例依据业务需求对所述视频进行抽帧，得到目标图像帧，具体可以包括：基于所述业务需求对所述视频中各图像帧进行划分，得到图像组；针对每一个图像组，依据预设的抽帧数量确定目标帧序号，并将所述目标帧序号对应的图像帧抽取为所述目标图像帧。

需要说明的是，本发明实施例中的图像组(Group of pictures，GOP)可以是从一个I帧开始到另一个I帧结束的所有帧序列，如图3所示，按照显示时间戳(Play TimeStamp，PTS)对视频中各个图像帧进行排序后，可以将视频中的图像帧I0、图像帧B1、图像帧B2、图像帧B3、图像帧P4、图像帧B5、图像帧B6、图像帧B7、图像帧P8、图像帧B9、图像帧B10以及图像帧B11划分为第一个图像组GOP#1；将图像帧I12、图像帧B13、图像帧B14、图像帧B15和图像帧P16等划分为第二个图像组GOP#2。其中，I帧是指视频的内编码帧(Intra codedFrame，I Frame)。

在实际处理中，视频可以由3类图像帧组成，分别为I帧、B帧以及P帧。其中，I帧又称关键帧，压缩率低，解码消耗低，质量高，解码依赖本身；P帧是前向预测帧(PredictiveFrame，P Frame)，存储相对于上一个I帧/P帧的变化信息，压缩率中，解码消耗中，质量中，解码依赖前面一个I帧/P帧；B帧是双向预测帧(Bi-directional Frame，B Frame)，存储相对于与前后两帧的变化信息，压缩率高，解码消耗高，质量低，解码依赖前后两帧。

参照图2，示出了本发明一个可选实施例中的一种视频抽帧处理方法的步骤流程示意图。如图2所示，本发明实施例中的视频抽帧处理方法具体可以包括如下步骤：

步骤210，获取视频；

步骤220，基于业务需求对所述视频中各图像帧进行划分，得到图像组；

步骤230，针对每一个图像组，依据预设的抽帧数量确定目标帧序号，并将所述目标帧序号对应的图像帧抽取为所述目标图像帧；

步骤240，依据所述目标图像帧的解码路径信息确定解码帧序列；

步骤250，依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

具体而言，本发明实施例在获取到视频后，可以基于业务需求对该视频中所包含的图像帧进行划分，以将该视频中的图像帧划分到图像组中，从而可以得到一个或多个图像组。例如，可以基于业务需求，按照PTS将视频中每两个I帧的间隔内包含的所有图像帧划分为一个图像组GOP，如图3所示，可以将视频中的图像帧划分到图像组GOP#1和图像组GOP#2中。

当然，本发明实施例也可以基于业务需求按照其他方式划分图像组，如可以按照解码时间戳(Decode Time Stamp，DTS)对视频中各图像帧进行划分，本实施例对此不作具体限制。例如，在基于业务需求按照DTS对视频中的图像帧进行排序后，根据视频中各个图像帧的解码顺序对该视频中的图像帧进行划分，以图3中的视频为例，该视频中各图像帧的解码顺序为I0、P4、B1、B2、B3、P8、B5、B6、B7、I12、B9、B10、B11……，可以基于给解码顺序将可以将图像帧P4、图像帧B1、图像帧B2、图像帧B3、图像帧P8、图像帧B5、图像帧B6、图像帧B7、图像帧I12划分到同一个图像组中，以便后续可以基于该图像组选取出相应的目标图像帧。

本发明实施例在得到图像组后，可以按照预设的抽帧数量从图像组中抽取出相应的帧序号，作为目标帧序号，以将抽取到的目标帧序号对应的图像帧抽取为目标图像帧，从而可以依据目标帧的解码路径信息确定出最终的解码帧序列，并依据最终的解码帧序列进行解码，达到优化视频抽帧解码效率的目的。

作为本发明的一个可选示例，在按照DTS对视频中的图像帧进行排序后，可以基于业务需求，按照预设的抽帧数量从排序后的帧序列F[0]，F[1]，F[2]……F[n]中抽取出相应的目标帧序号x，以将抽取到的目标帧序号X对应的图像帧抽选取为目标图像帧。其中，x为整数，且0<＝x<n；预设的抽帧数量可以根据业务需求进行设置，如可以设置为1，也可以设置为2或者3等，本示例对此不作具体限制。

例如，在预设的抽帧数量设置为1的情况下，可以分别按照预设的抽帧数量1，从每个图像组中抽取出任意一个图像帧，作为目标图像帧，以便后续可以依据各个图像组中抽取出的目标图像帧的解码路径信息确定出解码帧序列，从而可以依据解码帧序列进行解码，忽略非解码帧序列内的帧，最大限度降低程序的非必要计算，提升解码效率。

在实际处理中，本发明实施例可以根据各个目标图像帧的帧类型确定出各个目标图像帧的解码路径，然后可以按照DTS对各个目标图像帧的解码路径中所包含的图像帧进行排序、去重，得到最终的解码帧序列，以便后续可以依据最终的解码帧序列进行解码，有效优化了视频抽帧解码的效率。进一步的，本发明实施例依据所述目标图像帧的解码路径信息确定解码帧序列，具体可以包括：分别按照每个目标图像帧的帧类型确定每个目标图像帧的解码路径信息；基于各个目标图像帧的解码路径信息中所包含的帧序号，进行排序去重处理，得到所述视频的解码帧序列。

具体的，本发明实施例在抽取到的目标图像帧为I帧时，即在目标图像帧的帧类型为关键帧类型时，可以将目标图像帧的帧序号添加到解码路径数组P[]中，以作为该目标图像帧的解码路径信息，即将解码路径数组P[]设置为目标图像帧的解码路径信息；而在抽取到的目标图像帧为P帧时，即在目标图像帧的帧类型为前向预测帧类型时，可以将该目标图像帧解码时所依赖的参考帧的帧序号和该目标图像帧自身的帧序号添加到解码路径数组P[]中，以作为该目标图像帧的解码路径信息；同理，在抽取到的目标图像帧为B帧时，即在目标图像帧的帧类型为双向预测帧类型时，可以将该目标图像帧解码时所依赖的参考帧的帧序号和该目标图像帧自身的帧序号添加到解码路径数组P[]中，以作为该目标图像帧的解码路径信息。

可选的，本发明实施例分别按照每个目标图像帧的帧类型确定每个目标图像帧的解码路径信息，具体可以包括：当所述目标图像帧的帧类型为关键帧类型时，将所述目标图像帧的帧序号添加到解码路径数组中，以作为所述解码路径信息；当所述目标图像帧的帧类型为前向预测帧类型或双向预测帧类型时，将所述目标图像帧对应的解码参考帧序号和所述目标图像帧的帧序号添加到解码路径数组中，以作为所述解码路径信息，其中，所述解码参考帧序号为所述目标图像帧的解码参考帧的帧序号。需要说明的是，解码参考帧可以是指解码时所需要使用的参考帧，如在一个GOP内，I帧是后面P/B帧的参考帧；P帧是后面P帧的参考帧，也可以是其前后B帧的参考帧。

例如，结合上述示例，如果抽取到的目标图像帧F[x]为I Frame，则可以将目标图像帧F[x]的帧序号x加入解码路径数组P[]中，然后可将该解码路径数组P[]作为目标图像帧的解码路径信息进行返回，以便后续可以依据该解码路径数组P[]中所包含的帧序号确定目标图像帧的解码路径，且按照GOP定义，目标图像帧F[x]的帧序号x可以为0；如果抽取到的目标图像帧F[x]为P Frame，则可以通过遍历该目标图像帧所在的图像组中的各个图像帧，确定出目标图像帧F[x]的解码参考帧，并可将解码参考帧的帧序号和目标图像帧F[x]自身的帧序号x添加到解码路径数组P[]中，即将解码参考帧序号和目标图像帧自身的帧序号添加到解码路径数组P[]中，如按照GOP定义，抽取到的目标图像帧F[x]的帧序号x大于0，通过遍历帧序列F[0]，F[1]，F[2]……F[x]，可以判断出该帧序列F[0]，F[1]，F[2]……F[x]中各个图像帧是否为B帧，若不为B帧，则将相应的帧序号加入解码路径数组P[]，然后可将该解码路径数组P[]作为目标图像帧的解码路径信息进行返回，以便后续可以依据该解码路径数组P[]中所包含的帧序号确定目标图像帧的解码路径；同理，如果抽取到的目标图像帧F[x]为B Frame，则可以通过遍历该目标图像帧所在的图像组中的各个图像帧，确定出目标图像帧F[x]的解码参考帧，并可将确定出的解码参考帧的帧序号和目标图像帧F[x]自身的帧序号x添加到解码路径数组P[]中，即将解码参考帧序号和目标图像帧[x]自身的帧序x号添加到解码路径数组P[]中，如按照GOP定义，抽取到的目标图像帧F[x]的帧序号x大于1，通过遍历帧序列F[0]，F[1]，F[2]……F[x]，可以判断帧序列F[0]，F[1]，F[2]……F[x]中各个图像帧是否为B帧，若不为B帧，则可以将相应的帧序号加入解码路径数组P[]，然后可将该解码路径数组P[]作为目标图像帧的解码路径信息进行返回，以便后续可以依据该解码路径数组P[]中所包含的帧序号确定目标图像帧的解码路径。

当然，本发明实施例除了可以采用图像组进行视频抽帧之外，还可以采用其他方式对视频进行抽帧，如可以基于业务需求确定固定抽帧间隔，以按照固定抽帧间隔对视频进行抽帧，本发明实施例对此不作具体限制。

进一步的，在上述实施例的基础上，本发明实施例依据业务需求对所述视频进行抽帧，得到目标图像帧，具体可以包括：依据业务需求确定固定抽帧间隔，其中，所述固定抽帧间隔包含固定帧数间隔或固定时间间隔；按照所述固定帧数间隔或所述固定时间间隔对所述视频进行抽帧，得到至少一个目标图像帧。

在实际处理中，本发明实施例在获取到视频后，可以按照业务需求确定的固定帧数间隔对该视频进行抽帧，得到目标图像帧，随后可依据抽取到的目标图像帧的帧序号确定出目标图像帧的解码路径信息，并依据目标图像帧的解码路径信息确定出最终的解码帧序列，以按照解码帧序列中所包含的帧序号进行解码，即只解码关键序列中的帧，忽略非关键序列内的帧，最大限度降低程序的非必要计算，提升解码效率。

参照图4，示出了本发明另一个可选实施例中的一种视频抽帧处理方法的步骤流程示意图。如图4所示，本发明实施例中的视频抽帧处理方法具体可以包括如下步骤：

步骤410，获取视频。

步骤420，按照固定帧数间隔对所述视频进行抽帧，得到至少一个目标图像帧。

其中，固定帧数据间隔可以依据业务需求进行设置，如可以设置为10、5或者6等，本实施例对此不作具体限制。例如，在依据业务需求将固定帧数间隔为10的情况下，可以按照以10帧为间隔对获取到的视频进行抽帧，从而抽取到的第一个目标图像帧的帧序号为0，第二个目标图像帧的帧序号为10……如此类推，第x个目标图像帧的帧序号为10*x。

进一步的，本发明实施例按照所述固定帧数间隔对所述视频进行抽帧，得到至少一个目标图像帧，具体可以包括：依据所述视频中各图像帧的解码时间戳进行排序，得到图像帧解码序列；基于所述图像帧解码序列，按照所述固定帧数间隔进行抽取，以将抽取到的图像帧确定为目标图像帧。

例如，在将视频中各图像帧按照DTS排序后，可以将DTS排序后得到的帧序列F[0]，F[1]，F[2]，F[3]，F[4]……F[n]作为图像帧解码序列，然后按照固定帧数间隔从图像帧解码序列F[0]，F[1]，F[2]……F[n]中抽取出图像帧，以作为目标图像帧，如在固定帧数间隔为2的情况下，可以将图像帧F[0]、图像帧F[2]、F[4]……F[2*x]抽取为目标图像帧，其中，2*x的值小于n，x和n均为整数。

步骤430，依据目标图像帧的解码路径信息确定解码帧序列。

具体而言，本发明实施例在抽取到目标图像帧后，可以按照每个目标图像帧的帧类型确定每个目标图像帧的解码路径信息。例如，在按照DTS排序后得到的图像帧解码序列为F[I0、P4、B1、B2、B3、P8、B5、B6、B7]的情况下，在抽取到的目标图像帧为I0时，可以将I0加入加入解码路径数组P[]中，以作为目标图像帧I0的解码路径信息，即目标图像帧I0的解码路径为[I0]；在抽取到的目标图像帧为P4时，通过遍历图像帧解码序列F[I0、P4、B1、B2、B3、P8、B5、B6、B7]，可以将I0和P4加入加入解码路径数组P[]中，以作为目标图像帧P4的解码路径信息，即目标图像帧P4的解码路径为[I0，P4]；在抽取到的目标图像帧为B3时，通过遍历图像帧解码序列F[I0、P4、B1、B2、B3、P8、B5、B6、B7]，可以将I0、P4和B3加入加入解码路径数组P[]中，以作为目标图像帧B3的解码路径信息，即目标图像帧B3的解码路径为[I0，P4，B3]。

在得到每个目标图像帧的解码路径信息后，可对各个目标图像帧的解码路径信息中所包含的帧序号进行排序、去重，得到视频的解码帧序列。例如，结合上述例子，在得到目标图像帧I0、P4和B3的解码路径信息后，可以对这三个目标图像帧的解码路径信息中的帧序号进行排序、去重，得到最终的解码路径[I0，P4，B3]，以作为视频的解码帧序列。该解码帧序列可以表示抽取到的目标帧最短解码路径。

步骤440，依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

具体的，本发明实施例在得到解码帧序列后，可以依据该解码帧序列进行解码，以解码该解码帧序列中所包含的图像帧，得到视频的抽帧处理结果。进一步的，本发明实施例中依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果，具体可以包括：对所述解码帧序列中所包含的各个帧序号对应的图像帧进行解码，得到抽帧解码信息；基于所述抽帧解码信息生成所述视频的抽帧处理结果。

其中，抽帧解码信息可以包括对抽取到的所有目标图像帧进行解码得到的信息，以具体可以用于生成视频的抽帧处理结果，以便后续可以依据该视频的抽帧处理结果进行业务处理。例如，可以将对解码帧序列中所包含的各个帧序号对应的图像帧进行解码后得到抽帧解码信息作为视频的抽帧处理结果，以便后续可以依据该抽帧处理结果进行诸如模式识别、机器学习等业务处理，提业务处理效率。

当然，本发明实施例提供的视频抽帧处理方法除了可以应用于模式识别、机器学习之外，还可以应用于其他业务处理中，如可以应用于计算机视觉处理中，本发明实施例对此不作具体限制。

此外，本发明实施例除了可以按照固定帧数间隔对获取到的视频进行抽帧，还可以按照其他方式对视频进行抽帧，如可以按照固定时间间隔对视频进行抽帧，本发明实施例对此也不作具体限制。

参照图5，示出了本发明又一个可选实施例中的一种视频抽帧处理方法的步骤流程示意图。如图5所示，本发明实施例中的视频抽帧处理方法具体可以包括如下步骤：

步骤510，获取视频。

步骤520，按照固定时间间隔对所述视频进行抽帧，得到至少一个目标图像帧。

其中，固定时间间隔可以是根据业务需求进行确定，如可以设置为1秒、2秒等，本实施例对此不作具体限制。例如，在固定时间间隔设置位1秒的情况下，在将视频中各图像帧按照DTS排序后，可以基于图像帧的DTS排列顺序按照固定时间间隔1秒进行抽帧，从而可以抽取到的第一个目标图像帧的时间戳为0秒，第二个目标图像帧的时间戳为1秒，第x个目标图像帧的时间戳为(x+1)秒，x为整数。

当然，本发明实施例也可以按照固定时间段进行抽帧，本发明实施例对此不作具体限制。进一步的，本发明实施例按照固定时间间隔对所述视频进行抽帧，得到至少一个目标图像帧，具体可以包括如下子步骤：

子步骤5201，依据所述视频中各图像帧的解码时间戳进行排序，得到图像帧解码序列；

子步骤5202，按照所述固定时间间隔和所述图像帧解码序列进行划分，得到视频段序列；

子步骤5203，从每个视频段序列中提取出一图像帧，以作为所述目标图像帧。

具体而言，本发明实施例在获取到视频后，可以按照DTS对该视频中的图像帧进行排序，从而可以基于图像帧的DTS排列顺序生成图像帧解码序列，然后可按照固定时间间隔对图像帧解码序列进行划分，从而可以划分得到至少两个视频段序列，进而可以从每一个视频段序列中提取出一个图像帧，作为目标图像帧，如可以从每一个视频段序列中选出任意一个图像帧作为目标图像帧，达到从每个视频段序列中抽取出一个目标图像帧的目的。

可选的，本发明实施例从每个视频段序列中提取出一图像帧，以作为所述目标图像帧，具体可以包括：针对每一个视频段序列，确定所述视频段序列中各图像帧的帧类型；基于所述帧类型，从所述视频段序列中选取出目标图像帧。

在实际处理中，本发明实施例可以优先从视频段序列中挑选出关键帧作为目标图像帧，以便后续可以依据最短的解码路径进行解码，提高抽帧解码效率。进一步的，本发明实施例基于所述帧类型，从所述视频段序列中选取出目标图像帧，具体可以包括：基于所述帧类型确定所述视频段序列中是否存在关键帧；若所述视频段序列存在关键帧，则将所述视频段序列中的最后一个关键帧选取为所述目标图像帧；若所述视频段序列不存在关键帧，只存在双向预测帧，则将所述视频段序列中的第一个双向预测帧选取为所述目标图像帧。

当然，在视频段序列不存在关键帧时，本发明实施例还可以优先选取前向测帧作为目标关键帧，以便后续可以依据前向测帧的解码路径确定出解码帧序列。可选的，在所述视频段序列不存在关键帧时，本发明实施例从所述视频段序列中选取出目标图像帧还可以包括：确定所述视频段序列是否存在前向预测帧；若所述视频段序列存在前向预测帧，则将所述视频段序列存中的第一个前向预测帧选取为所述目标图像帧；若所述视频段序列不存在前向预测帧，则确定所述视频段序列只存在双向预测帧。

例如，在将DTS排序后得到的帧序列F[0]，F[1]，F[2]，F[3]，F[4]……F[n]作为图像帧解码序列后，可以将图像帧解码序列F[0]，F[1]，F[2]，F[3]，F[4]……F[n]按照固定时间间隔i分割为M个视频段序列，即将视频按照固定时间间隔分为M段，然后可以遍历每一段；如果存在I帧，则标记最后一个I帧；如果不存在I帧，存在P帧，则可以标记第一个P帧；如果不存在I/P帧，只存在B帧，则可以标记第一个B帧。从而在遍历结束后可以将各个视频段序列中标记的图像帧抽取为目标图标帧，进而可以抽取到M个目标图像帧。其中，M为大于零的整数。

步骤530，分别按照每个目标图像帧的帧类型确定每个目标图像帧的解码路径信息。

步骤540，基于各个目标图像帧的解码路径信息中所包含的帧序号，进行排序去重处理，得到所述视频的解码帧序列。

例如，结合上述例子，在抽取到M个目标图像帧后，基于这M个目标图像帧的解码路径信息中，对这M个目标图像帧的解码路径信息中所包含的帧序号进行排序，以去除该重复的帧序号，得到视频的解码帧序列。

步骤550，对所述解码帧序列中所包含的各个帧序号对应的图像帧进行解码，得到抽帧解码信息。

步骤560，基于所述抽帧解码信息生成所述视频的抽帧处理结果。

具体的，本发明实施例在确定出解码帧序列后，可根据该解码帧序列，对解码帧序列中所包含的各个帧序号对应的图像帧进行解码，得到抽帧解码信息，并可基于抽帧解码信息生成视频的抽帧处理结果，以便后续可以依据该抽帧解码信息进行业务处理，降低算力消耗。

综上，本发明实施例在对视频进行抽帧后，通过依据抽取到的目标图像帧的解码路径信息确定出解码帧序列，以按照解码帧序列进行解码，即通过在图像组内寻找寻找某一帧的解码的关键序列，只解码关键序列中的帧，忽略非关键序列内的帧，从而可以最大限度降低程序的非必要计算，提升解码效率，进而解决了现有模型推理技术中视频解码过程容易成为程序瓶颈的问题，能够有效降低视频抽帧的算力消耗，提高视频抽帧的运行效率。

进一步的，在固定时间段的抽帧的情形，应用本发明实施例提供的视频抽帧处理方法，可以得出画面质量最优、解码消耗算力最小的图像，进而可以提升机器学习的预测准确度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。

参照图6，示出了本发明实施例中的一种视频抽帧处理装置的结构框示意图，该视频抽帧处理装置具体可以包括如下模块：

目标图像帧选取模块610，用于从获取到的视频中选取目标图像帧；

解码帧序列确定模块620，用于依据所述目标图像帧的解码路径信息确定解码帧序列；

抽帧处理结果确定模块630，用于依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

在上述实施例的基础上，可选地，目标图像帧选取模块610可以包括如下子模块：

视频获取子模块，用于获取视频；

抽帧子模块，用于依据业务需求对所述视频进行抽帧，得到目标图像帧。

可选的，本发明实施例中的抽帧子模块可以包括如下单元：

固定抽帧间隔确定单元，用于依据业务需求确定固定抽帧间隔，其中，所述固定抽帧间隔包含固定帧数间隔或固定时间间隔；

视频抽帧单元，用于按照所述固定帧数间隔或所述固定时间间隔对所述视频进行抽帧，得到至少一个目标图像帧。

进一步的，本发明实施例中的视频抽帧定单元具体可以包括如下子单元：

排序子单元，用于依据所述视频中各图像帧的解码时间戳进行排序，得到图像帧解码序列；

抽取子单元，用于基于所述图像帧解码序列，按照所述固定帧数间隔进行抽取，以将抽取到的图像帧确定为目标图像帧。

可选的，本发明实施例中的视频抽帧定单元可以包括如下子单元：

排序子单元，用于依据所述视频中各图像帧的解码时间戳进行排序，得到图像帧解码序列；

序列划分子单元，用于按照所述固定时间间隔和所述图像帧解码序列进行划分，得到视频段序列；

图像帧提取子单元，用于从每个视频段序列中提取出一图像帧，以作为所述目标图像帧。

可选的，本发明实施例中的图像帧提取子单元具体用于针对每一个视频段序列，确定所述视频段序列中各图像帧的帧类型；并基于所述帧类型，从所述视频段序列中选取出目标图像帧。

进一步的，所述图像帧提取子单元基于所述帧类型，从所述视频段序列中选取出目标图像帧，具体可以包括：基于所述帧类型确定所述视频段序列中是否存在关键帧；若所述视频段序列存在关键帧，则将所述视频段序列中的最后一个关键帧选取为所述目标图像帧；若所述视频段序列不存在关键帧，只存在双向预测帧，则将所述视频段序列中的第一个双向预测帧选取为所述目标图像帧。

进一步的，在所述视频段序列不存在关键帧时，所述图像帧提取子单元从所述视频段序列中选取出目标图像帧还可以包括：确定所述视频段序列是否存在前向预测帧；若所述视频段序列存在前向预测帧，则将所述视频段序列存中的第一个前向预测帧选取为所述目标图像帧；若所述视频段序列不存在前向预测帧，则确定所述视频段序列只存在双向预测帧。

可选的，本发明实施例中的抽帧子模块可以包括如下单元：

图像组划分单元，用于基于所述业务需求对所述视频中各图像帧进行划分，得到图像组；

图像帧抽取单元，用于针对每一个图像组，依据预设的抽帧数量确定目标帧序号，并将所述目标帧序号对应的图像帧抽取为所述目标图像帧。

可选的，本发明实施例中的解码帧序列确定模块620可以包括如下子模块：

解码路径确定子模块，用于分别按照每个目标图像帧的帧类型确定每个目标图像帧的解码路径信息；

去重处理子模块，用于基于各个目标图像帧的解码路径信息中所包含的帧序号，进行排序去重处理，得到所述视频的解码帧序列。

可选的，解码路径确定子模块具体用于在所述目标图像帧的帧类型为关键帧类型时，将所述目标图像帧的帧序号添加到解码路径数组中，以作为所述解码路径信息；在所述目标图像帧的帧类型为前向预测帧类型或双向预测帧类型时，将所述目标图像帧对应的解码参考帧序号和所述目标图像帧的帧序号添加到解码路径数组中，以作为所述解码路径信息，其中，所述解码参考帧序号为所述目标图像帧的解码参考帧的帧序号。

可选的，本发明实施例中的抽帧处理结果确定模块可以包括如下子模块：

解码子模块，用于对所述解码帧序列中所包含的各个帧序号对应的图像帧进行解码，得到抽帧解码信息；

结果生成子模块，用于基于所述抽帧解码信息生成所述视频的抽帧处理结果。

需要说明的是，上述提供的视频抽帧处理装置可执行本发明任意实施例所提供的视频抽帧处理方法，具备执行方法相应的功能和有益效果。

在具体实现中，上述视频抽帧处理装置可以集成在视频抽帧处理设备中。该视频抽帧处理设备可以是两个或多个物理实体构成，也可以是一个物理实体构成，如电子设备可以是个人计算机(Personal Computer，PC)、电脑、服务器、游戏控制台等。

进一步的，本发明实施例还提供一种视频抽帧处理设备，包括：处理器和存储器。存储器中存储有至少一条指令，且指令由所述处理器执行，使得所述视频抽帧处理设备执行如上述方法实施例中所述的视频抽帧处理方法。具体的，本实施例中的处理器可以通过运行存储在存储器的软件程序、指令以及模块，从而执行视频抽帧处理设备的各种功能应用以及数据处理，即实现上述视频抽帧处理方法。例如，处理器执行存储器中存储的一个或多个程序时，具体实现如下操作：从获取到的视频中选取目标图像帧；依据所述目标图像帧的解码路径信息确定解码帧序列；依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

本发明实施例还提供一种计算机可读存储介质，所述可读存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如上述方法实施例所述的视频抽帧处理方法。示例性的，该视频抽帧处理方法包括：从获取到的视频中选取目标图像帧；依据所述目标图像帧的解码路径信息确定解码帧序列；依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。

上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。

Claims (11)

1.一种视频抽帧处理方法，其特征在于，包括：

从获取到的视频中选取目标图像帧，包括：依据业务需求对所述视频进行抽帧，得到目标图像帧，具体包括：依据业务需求确定固定抽帧间隔，所述固定抽帧间隔包含固定时间间隔；

按照所述固定时间间隔对所述视频进行抽帧，得到至少一个目标图像帧，包括：依据所述视频中各图像帧的解码时间戳进行排序，得到图像帧解码序列；按照所述固定时间间隔和所述图像帧解码序列进行划分，得到视频段序列；从每个视频段序列中提取出一图像帧，以作为所述目标图像帧，包括：针对每一个视频段序列，确定所述视频段序列中各图像帧的帧类型；基于所述帧类型，从所述视频段序列中选取出目标图像帧，包括：基于所述帧类型确定所述视频段序列中是否存在关键帧；若所述视频段序列存在关键帧，则将所述视频段序列中的最后一个关键帧选取为所述目标图像帧；若所述视频段序列不存在关键帧，只存在双向预测帧，则将所述视频段序列中的第一个双向预测帧选取为所述目标图像帧；

依据所述目标图像帧的解码路径信息确定解码帧序列，包括：对所述解码路径信息中所包含的图像帧进行排序和去重，得到所述解码帧序列；

依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果。

2.根据权利要求1所述的视频抽帧处理方法，其特征在于，所述依据业务需求对所述视频进行抽帧，得到目标图像帧，包括：

其中，所述固定抽帧间隔还包含固定帧数间隔；

按照所述固定帧数间隔对所述视频进行抽帧，得到至少一个目标图像帧。

3.根据权利要求2所述的视频抽帧处理方法，其特征在于，按照所述固定帧数间隔对所述视频进行抽帧，得到至少一个目标图像帧，包括：

依据所述视频中各图像帧的解码时间戳进行排序，得到图像帧解码序列；

基于所述图像帧解码序列，按照所述固定帧数间隔进行抽取，以将抽取到的图像帧确定为目标图像帧。

4.根据权利要求1所述的视频抽帧处理方法，其特征在于，在所述视频段序列不存在关键帧时，所述从所述视频段序列中选取出目标图像帧还包括：

确定所述视频段序列是否存在前向预测帧；

若所述视频段序列存在前向预测帧，则将所述视频段序列存中的第一个前向预测帧选取为所述目标图像帧；

若所述视频段序列不存在前向预测帧，则确定所述视频段序列只存在双向预测帧。

5.根据权利要求1所述的视频抽帧处理方法，其特征在于，依据业务需求对所述视频进行抽帧，得到目标图像帧，还包括：

基于所述业务需求对所述视频中各图像帧进行划分，得到图像组；

针对每一个图像组，依据预设的抽帧数量确定目标帧序号，并将所述目标帧序号对应的图像帧抽取为所述目标图像帧。

6.根据权利要求1所述的视频抽帧处理方法，其特征在于，所述依据所述目标图像帧的解码路径信息确定解码帧序列，包括：

分别按照每个目标图像帧的帧类型确定每个目标图像帧的解码路径信息；

基于各个目标图像帧的解码路径信息中所包含的帧序号，进行排序去重处理，得到所述视频的解码帧序列。

7.根据权利要求6所述的视频抽帧处理方法，其特征在于，所述分别按照每个目标图像帧的帧类型确定每个目标图像帧的解码路径信息，包括：

当所述目标图像帧的帧类型为关键帧类型时，将所述目标图像帧的帧序号添加到解码路径数组中，以作为所述解码路径信息；

当所述目标图像帧的帧类型为前向预测帧类型或双向预测帧类型时，将所述目标图像帧对应的解码参考帧序号和所述目标图像帧的帧序号添加到解码路径数组中，以作为所述解码路径信息，其中，所述解码参考帧序号为所述目标图像帧的解码参考帧的帧序号。

8.根据权利要求1至6任一所述的视频抽帧处理方法，其特征在于，所述依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果，包括：

对所述解码帧序列中所包含的各个帧序号对应的图像帧进行解码，得到抽帧解码信息；

基于所述抽帧解码信息生成所述视频的抽帧处理结果。

9.一种视频抽帧处理装置，其特征在于，包括：

目标图像帧选取模块，用于从获取到的视频中选取目标图像帧；

解码帧序列确定模块，用于依据所述目标图像帧的解码路径信息确定解码帧序列；

抽帧处理结果确定模块，用于依据所述解码帧序列进行解码，得到所述视频的抽帧处理结果；

所述解码帧序列确定模块，还用于对所述解码路径信息中所包含的图像帧进行排序和去重，得到所述解码帧序列；

所述目标图像帧选取模块包括：抽帧子模块，用于依据业务需求对所述视频进行抽帧，得到目标图像帧；

所述抽帧子模块包括：固定抽帧间隔确定单元，用于依据业务需求确定固定抽帧间隔，所述固定抽帧间隔包含固定时间间隔；

视频抽帧单元，用于按照所述固定时间间隔对所述视频进行抽帧，得到至少一个目标图像帧；

所述视频抽帧单元包括：排序子单元，用于依据所述视频中各图像帧的解码时间戳进行排序，得到图像帧解码序列；

序列划分子单元，用于按照所述固定时间间隔和所述图像帧解码序列进行划分，得到视频段序列；

图像帧提取子单元，用于从每个视频段序列中提取出一图像帧，以作为所述目标图像帧；图像帧提取子单元具体用于针对每一个视频段序列，确定所述视频段序列中各图像帧的帧类型；并基于所述帧类型，从所述视频段序列中选取出目标图像帧；

所述图像帧提取子单元基于所述帧类型，从所述视频段序列中选取出目标图像帧，具体包括：基于所述帧类型确定所述视频段序列中是否存在关键帧；若所述视频段序列存在关键帧，则将所述视频段序列中的最后一个关键帧选取为所述目标图像帧；若所述视频段序列不存在关键帧，只存在双向预测帧，则将所述视频段序列中的第一个双向预测帧选取为所述目标图像帧。

10.一种视频抽帧处理设备，其特征在于，包括：处理器和存储器；

所述存储器中存储有至少一条指令，所述指令由所述处理器执行，使得所述视频抽帧处理设备执行如权利要求1至8任一所述的视频抽帧处理方法。

11.一种计算机可读存储介质，其特征在于，所述可读存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如权利要求1至8任一所述的视频抽帧处理方法。