CN113573061A - 一种视频抽帧方法、装置及设备 - Google Patents

Abstract

本申请提供一种视频抽帧方法、装置及设备，方法包括：获取目标对象的运动状态信息；根据所述运动状态信息确定抽帧频率；按照所述抽帧频率对所述目标对象的视频流进行抽帧。应用该方法，可以在目标对象运动较为缓慢时，节省计算资源，在目标对象运动较为剧烈时，提高后续基于所抽取的视频帧提取结构化语义信息的准确性。

Description

一种视频抽帧方法、装置及设备

技术领域

本申请涉及视频检测技术领域，尤其涉及一种视频抽帧方法、装置及设备。

背景技术

视频结构化描述技术是指，通过对原始视频进行智能分析，提取出关键信息，并进行文本的语义描述，得到视频的结构化语义信息。通过视频结构化描述技术可以对视频数据进行目标分类识别、目标姿态识别、目标物体分割等。

现有技术中，由于设备受到硬件资源的限制，很难对视频流中的每个视频帧都进行结构化语义信息的提取，因此常用方法是采用固定的抽帧频率对视频流进行抽帧，并对所抽取的视频帧进行结构化语义信息的提取。

由于视频流中目标对象的运动状态并非一成不变，如果目标对象运动较为缓慢，则相邻视频帧的结构化语义信息变化不明显，此时采用固定的抽帧频率进行抽帧，会浪费计算资源；如果目标对象运动较为剧烈，则相邻视频帧的结构化语义信息变化较大，此时采用固定的抽帧频率进行抽帧，可能无法准确抽取快速变化的结构化语义信息。

发明内容

有鉴于此，本申请提供一种视频抽帧方法、装置及设备，以解决采用现有技术对视频流进行抽帧会导致浪费计算资源或者无法准确抽取快速变化的结构化语义信息的问题。

根据本申请实施例的第一方面，提供一种视频抽帧方法，所述方法包括：

获取目标对象的运动状态信息；

根据所述运动状态信息确定抽帧频率；

按照所述抽帧频率对所述目标对象的视频流进行抽帧。

根据本申请实施例的第二方面，提供一种视频抽帧装置，所述装置包括：

获取模块，用于获取目标对象的运动状态信息；

确定模块，用于根据所述运动状态信息确定抽帧频率；

抽帧模块，用于按照所述抽帧频率对所述目标对象的视频流进行抽帧。

根据本申请实施例的第三方面，提供一种嵌入式设备，所述嵌入式设备包括：

处理器；用于存储所述处理器可执行指令的存储器；以及用于采集视频流的摄像头；

其中，所述处理器，被配置为执行本申请实施例提供的视频抽帧方法。

根据本申请实施例的第四方面，提供一种可穿戴设备，所述可穿戴设备包括：

处理器；用于存储所述处理器可执行指令的存储器；以及用于采集视频流的摄像头；

其中，所述处理器，被配置为执行本申请实施例提供的视频抽帧方法。

应用本申请实施例，由于根据目标对象的运动状态自适应调整抽帧频率，利用自适应调整的抽帧频率对目标对象的视频流进行抽帧，从而在目标对象运动较为缓慢时，可以节省计算资源，在目标对象运动较为剧烈时，可以提高后续基于所抽取的视频帧提取结构化语义信息的准确性。

附图说明

图1为现有技术中采用固定抽帧频率进行视频抽帧的示意图；

图2为对采用现有技术所抽取视频帧进行结构化语义信息提取的效果示意图；

图3为本申请实施例提供的用于实现视频抽帧方法的系统架构图；

图4为本申请一示例性实施例提供的一种视频抽帧方法的实施例流程图；

图5为应用本申请提出的视频抽帧方法进行视频抽帧的示意图；

图6为对采用本申请提出的方法所抽取视频帧进行结构化语义信息提取的效果示意图；

图7为本申请一示例性实施例提供的一种视频抽帧装置的实施例框图；

图8为本申请根据一示例性实施例示出的一种设备的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

现有技术中，由于设备受到硬件资源的限制，很难对视频流中的每个视频帧都进行结构化语义信息的提取，因此常用方法是采用固定的抽帧频率对视频流进行抽帧，并对所抽取的视频帧进行结构化语义信息的提取。例如，如图1所示，为现有技术中采用固定抽帧频率进行视频抽帧的示意图，在图1中，每隔2帧即抽取一帧，最终所抽取的视频帧的帧序号为3、6、9、12、15。

然而，由于视频流中目标对象的运动状态并非一成不变，如果目标对象运动较为缓慢，则相邻视频帧的结构化语义信息变化则不明显，此时采用固定的抽帧频率进行抽帧，会浪费计算资源；如果目标对象运动较为剧烈，则相邻视频帧的结构化语义信息变化较大，此时采用固定的抽帧频率进行抽帧，可能无法准确抽取快速变化的结构化语义信息。例如，如图2所示，为对采用现有技术所抽取视频帧进行结构化语义信息提取的效果示意图。

在图2中，由于基于固定的抽帧频率进行视频抽帧，从而，在进行结构化语义信息提取时，所确定出的人体检测框(图2中的虚线框)的位置和大小固定，那么，当目标对象运动较为剧烈时，目标对象将超出该人体检测框的范围，进而导致错误识别目标对象的姿态。

为解决上述问题，本申请提出一种视频抽帧方法，在该方法中，基于视频流中目标对象的运动强度确定抽帧频率，按照该抽帧频率对视频流进行抽帧。通过该方法可以实现，当目标对象运动较为剧烈时，采用较高的抽帧频率对视频流进行抽帧，以提高后续所提取的结构化语义信息的准确性；而当目标对象运动较为缓慢时，则采用较低的抽帧频率对视频流进行抽帧，以节省计算资源。

如下，对本申请提出的视频抽帧方法进行详细说明：

首先，请参见图3，为本申请实施例提供的用于实现视频抽帧方法的系统架构图。图3中包括可穿戴设备310、嵌入式设备320。其中，可穿戴设备310可通过其内置的IMU(Inertial measurement unit，惯性测量单元)(图3中未示出)检测目标对象的运动状态，例如目标对象在三维空间中的角速度和加速度，得到目标对象的运动状态信息。这里所说的目标对象是指佩戴可穿戴设备310的对象。需要说明的是，图3中所示例的可穿戴设备310仅以智能手环为例，在实际应用中，可穿戴设备310还可以为其他可佩戴在目标对象的衣服或身体上的设备，本申请对可穿戴设备310的具体形式不做限制。

在一实施例中，可穿戴设备310上可具有摄像头(图3中未示出)，该摄像头可用于采集目标对象(图3中未示出)的视频流。

在一个可选的实现方式中，可穿戴设备310可基于检测到的目标对象的运动状态信息确定抽帧频率，并利用确定出的抽帧频率对采集到的目标对象的视频流进行抽帧。

在另一个可选的实现方式中，可穿戴设备310可通过其内置的无线传输模块(图3中未示出)将采集到的视频流和检测到的目标对象的运动状态信息发送至嵌入式设备320。嵌入式设备320则可基于接收到的目标对象的运动状态信息确定抽帧频率，并利用确定出的抽帧频率对接收到的目标对象的视频流进行抽帧。

在一实施例中，嵌入式设备320上可具有摄像头(图3中未示出)，该摄像头可用于采集目标对象的视频流。

在该实施例中，可穿戴设备310可通过无线传输模块将检测到的目标对象的运动状态信息发送至嵌入式设备320。嵌入式设备320则可基于接收到的目标对象的运动状态信息确定抽帧频率，并利用确定出的抽帧频率对采集到的目标对象的视频流进行抽帧。

在该实施例的一示例性应用场景中，可以进行在线视频抽帧，具体的，可穿戴设备310可以每间隔预设时长，例如5ms即将当前检测到的目标对象的运动状态信息发送至嵌入式设备320，相应的，嵌入式设备320每接收到一次目标对象的运动状态信息，则可以基于该当前接收到的运动状态信息确定抽帧频率，并利用该当前确定出的抽帧频率对后续实时采集到的视频流进行抽帧，直至下一次接收到目标对象的运动状态信息后，重新确定抽帧频率，并利用该重新确定出的抽帧频率对后续实时采集到的视频流进行抽帧。

在该示例性应用场景中，上述预设时长可以为初始的预设时长，也可以为调整后的预设时长。在一可选的实现方式中，可穿戴设备310可以根据检测到的运动状态信息对初始的预设时长进行调整，按照调整后的预设时长向嵌入式设备320发送目标对象的运动状态信息。举例来说，可穿戴设备310在检测到的运动状态信息表示目标对象运动较为剧烈时，可以缩短预设时长，例如将预设时长从5ms调整为3ms；在检测到的运动状态信息表示目标对象运动较为缓慢时，则可以增大预设时长，例如将预设时长从5ms调整为7ms。

在该实施例的另一示例性应用场景中，可以进行离线视频抽帧，离线视频抽帧与上述在线视频抽帧不同的是，嵌入式设备320可以按照抽帧频率对已采集完成的目标对象的视频流进行抽帧。在一可选的实现方式中，嵌入式设备320每接收到一个运动状态信息，并确定出一个抽帧频率，则将该抽帧频率写入消息循环队列，在进行离线视频抽帧时，可按照预设时长从消息循环队列中获取头指针指向的抽帧频率，按照获取的抽帧频率对已采集的目标对象的视频流进行抽帧。

至此，完成对本申请实施例提供的用于实现视频抽帧方法的系统架构的相关描述。

请参见图4，为本申请一示例性实施例提供的一种视频抽帧方法的实施例流程图，在一个例子中，该方法可应用于嵌入式设备，例如图3中所示例的嵌入式设备320，在另一个例子中，该方法可应用于可穿戴设备，例如图3中所示例的可穿戴设备310，包括以下步骤：

步骤401：获取目标对象的运动状态信息。

在一实施例中，目标对象的运动状态信息可以包括用于表征目标对象运动强度的量化指标值，其中，该量化指标值与目标对象的运动强度呈正相关关系，通俗来说，即目标对象运动强度越大，运动越剧烈，量化指标值越大，目标对象运动强度越小，运动越缓慢，量化指标值越小。

在一实施例中，如果该方法应用于嵌入式设备320，那么，嵌入式设备320则可以从外部，例如可穿戴设备310获取目标对象的运动状态信息。

作为一个示例，由上述描述可知，由于可穿戴设备310可以按照初始的预设时长向嵌入式设备320发送目标对象的运动状态信息，还可以根据检测到的运动状态信息对该初始的预设时长进行调整，按照调整后的预设时长向嵌入式设备320发送目标对象的运动状态信息，因此，在本步骤中，嵌入式设备可以按照初始的预设时长从可穿戴设备310获取目标对象的运动状态信息，还可以按照调整后的预设时长从可穿戴设备310获取目标对象的运动状态信息。

在一实施例中，如果该方法应用于可穿戴设备310，那么，可穿戴设备310可以获取自身检测到的目标对象的运动状态信息。

步骤402：根据运动状态信息确定抽帧频率。

在一实施例中，嵌入式设备320或可穿戴设备310可以对上述量化指标值进行运算，根据运算结果确定抽帧频率。

在一可选的实现方式中，可以利用下述公式(一)对量化指标值进行运算，将得到的商值取整作为抽帧频率。

在上述公式(一)中，n表示抽帧频率，α表示预设的调节系数，s表示量化指标值。其中，α的具体值可以由专业人员根据先见经验进行设置，至于α的具体设置过程，本申请不做限定。

举例来说，假设α为4，s为2，通过上述公式(一)计算出的抽帧频率n则为2；再举例来说，假设α为5，s为2，通过上述公式(一)计算出的抽帧频率n则为2。

在另一可选的实现方式中，可以利用下述公式(二)对量化指标值进行运算，将得到的运算结果作为抽帧频率。

n＝[ααs+b] 公式(二)

在上述公式(二)中，b表示预设的增益值，其具体值可以由专业人员根据先见经验进行设置，至于b的具体设置过程，本申请不做限定。

举例来说，假设α为0.5，s为2，b为1，通过上述公式(二)计算出的抽帧频率n则为2；再举例来说，假设α为0.6，s为2，b为1，通过上述公式(二)计算出的抽帧频率n则为2。

步骤403：按照抽帧频率对目标对象的视频流进行抽帧。

以在线视频抽帧举例来说，如图5所示，为应用本申请提出的视频抽帧方法进行视频抽帧的示意图。在图5中，假设嵌入式设备330在t₁时刻接收到可穿戴设备发送的目标对象的运动状态信息，并基于该当前接收到的运动状态信息计算出抽帧频率为2，那么，从该t₁时刻开始，嵌入式设备330可以每隔2帧即抽取一帧，直至t₂时刻；后续，嵌入式设备在t₂时刻再次接收到可穿戴设备发送的目标对象的运动状态信息，并基于该当前接收到的运动状态信息计算出抽帧频率为1，那么，从该t₂时刻开始，嵌入式设备330可以每隔1帧即抽取一帧，直至t₃时刻；再后续，嵌入式设备在t₃时刻又一次接收到可穿戴设备发送的目标对象的运动状态信息，并基于该当前接收到的运动状态信息计算出抽帧频率为4，那么，从该t₃时刻开始，嵌入式设备330可以每隔4帧即抽取一帧，直至t₄时刻。

按照上述描述，最终所抽取的视频帧的帧序号为4、7、10、13、15、17、19、21、26、31。

为了使本领域技术人员可以更加清楚地理解应用本申请提出的视频抽帧方法所实现的效果，示出图6。在图6中，由于基于目标对象的运动强度自适应调整抽帧频率，可以使得在进行结构化语义信息提取时，所确定出的人体检测框(图6中的虚线框)的位置和大小也进行自适应调整，从而使得目标对象始终位于该人体检测框内，进而可以提高对目标对象姿态识别结果的准确性。

应用本申请实施例，由于根据目标对象的运动状态自适应调整抽帧频率，利用自适应调整的抽帧频率对目标对象的视频流进行抽帧，从而在目标对象运动较为缓慢时，可以节省计算资源，在目标对象运动较为剧烈时，可以提高后续基于所抽取的视频帧提取结构化语义信息的准确性。

与前述视频抽帧方法的实施例相对应，本申请还提供了视频抽帧装置的实施例。

请参见图7，为本申请一示例性实施例提供的一种视频抽帧装置的实施例框图，该装置可以包括：获取模块71、确定模块72，以及抽帧模块73。

其中，获取模块71，可以用于获取目标对象的运动状态信息；

确定模块72，可以用于根据所述运动状态信息确定抽帧频率；

抽帧模块73，可以用于按照所述抽帧频率对所述目标对象的视频流进行抽帧。

在一实施例中，所述获取模块71具体用于：

从外部设备获取目标对象的运动状态信息。

在一实施例中，所述获取模块71具体用于：

按照初始的预设时长获取目标对象的运动状态信息；或，

按照调整后的预设时长获取目标对象的运动状态信息。

在一实施例中，所述运动状态信息包括用于表征所述目标对象运动强度的量化指标值；

所述确定模块72具体用于：对所述量化指标值进行运算，根据运算结果确定抽帧频率。

在一实施例中，所述确定模块72具体用于：

利用公式

或n＝α*s+b对所述量化指标值进行运算，将运算结果确定为抽帧频率；

其中，所述n表示抽帧频率，所述α表示预设的调节系数，所述s表示所述量化指标值，所述b表示预设的增益值。

在一实施例中，所述抽帧模块73具体用于：

按照所述抽帧频率对实时采集的目标对象的视频流进行抽帧；或，

按照所述抽帧频率对已采集完成的目标对象的视频流进行抽帧。

图8为本申请根据一示例性实施例示出的一种设备的硬件结构图，该设备可以为嵌入式设备或可穿戴设备，包括：通信接口801、处理器802、存储处理器802可执行指令的存储器803、总线804，以及物理存储介质805；其中，通信接口801、处理器802、存储器803，以及物理存储介质805通过总线804完成相互间的通信。处理器802通过读取并执行存储器802中与视频抽帧方法的控制逻辑对应的机器可执行指令，可执行上文描述的视频抽帧方法，该方法的具体内容参见上述实施例，此处不再累述。

在一实施例中，上述设备还可以包括(图8中未示出)：摄像头，用于采集视频流。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种视频抽帧方法，其特征在于，所述方法包括：

获取目标对象的运动状态信息；

根据所述运动状态信息确定抽帧频率；

按照所述抽帧频率对所述目标对象的视频流进行抽帧。

2.根据权利要求1所述的方法，其特征在于，所述获取目标对象的运动状态信息，包括：

从外部设备获取目标对象的运动状态信息。

3.根据权利要求1所述的方法，其特征在于，所述获取目标对象的运动状态信息，包括：

按照初始的预设时长获取目标对象的运动状态信息；或，

按照调整后的预设时长获取目标对象的运动状态信息。

4.根据权利要求1所述的方法，其特征在于，所述运动状态信息包括用于表征所述目标对象运动强度的量化指标值；

所述根据所述运动状态信息确定抽帧频率，包括：

对所述量化指标值进行运算，根据运算结果确定抽帧频率。

5.根据权利要求4所述的方法，其特征在于，所述对所述量化指标值进行运算，根据运算结果确定抽帧频率，包括：

利用公式

或n＝[α*s+b]对所述量化指标值进行运算，将运算结果确定为抽帧频率；

其中，所述n表示抽帧频率，所述α表示预设的调节系数，所述s表示所述量化指标值，所述b表示预设的增益值。

6.根据权利要求1所述的方法，其特征在于，所述按照所述抽帧频率对所述目标对象的视频流进行抽帧，包括：

按照所述抽帧频率对实时采集的目标对象的视频流进行抽帧；或，

按照所述抽帧频率对已采集完成的目标对象的视频流进行抽帧。

7.一种视频抽帧装置，其特征在于，所述装置包括：

获取模块，用于获取目标对象的运动状态信息；

确定模块，用于根据所述运动状态信息确定抽帧频率；

抽帧模块，用于按照所述抽帧频率对所述目标对象的视频流进行抽帧。

8.根据权利要求7所述的装置，其特征在于，所述获取模块具体用于：

从外部设备获取目标对象的运动状态信息。

9.根据权利要求7所述的装置，其特征在于，所述获取模块具体用于：

按照初始的预设时长获取目标对象的运动状态信息；或，

按照调整后的预设时长获取目标对象的运动状态信息。

10.根据权利要求7所述的装置，其特征在于，所述运动状态信息包括用于表征所述目标对象运动强度的量化指标值；

所述确定模块具体用于：对所述量化指标值进行运算，根据运算结果确定抽帧频率。

11.根据权利要求10所述的装置，其特征在于，所述确定模块具体用于：

利用公式

或n＝α*s+b对所述量化指标值进行运算，将运算结果确定为抽帧频率；

其中，所述n表示抽帧频率，所述α表示预设的调节系数，所述s表示所述量化指标值，所述b表示预设的增益值。

12.根据权利要求7所述的装置，其特征在于，所述抽帧模块具体用于：

按照所述抽帧频率对实时采集的目标对象的视频流进行抽帧；或，

按照所述抽帧频率对已采集完成的目标对象的视频流进行抽帧。

13.一种嵌入式设备，其特征在于，所述嵌入式设备包括：

处理器；用于存储所述处理器可执行指令的存储器；以及用于采集视频流的摄像头；

其中，所述处理器，被配置为执行上述权利要求1-6任一所述的方法。

14.一种可穿戴设备，其特征在于，所述可穿戴设备包括：

处理器；用于存储所述处理器可执行指令的存储器；以及用于采集视频流的摄像头；

其中，所述处理器，被配置为执行上述权利要求1、3-6任一所述的方法。

Images