CN114666574A - 视频流检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及人工智能领域，提供一种视频流检测方法、装置、设备及存储介质，所述方法包括：基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。通过仅检测视频流的关键帧，并基于关键帧的检测结果对非关键帧中的目标对象进行位置标注，进而实现高效、准确地对目标对象的检测，降低检测的硬件需求，实现资源优化。

Description

视频流检测方法、装置、设备及存储介质

技术领域

本申请涉及人工智能领域，尤其涉及一种视频流检测方法、装置、设备及存储介质。

背景技术

在现有的视频流检测技术，为了提高检测速度，选择将神经网络模型的权重文件量化后，做成嵌入到边缘计算盒子中的小模型，虽然提高了识别速度，但精准率无法得到保障。或者选择横向增加AI识别服务器数量，实现并行识别。上述两种识别方式都增加了识别的硬件成本，现有技术无法在保证计算精确度和计算速度的同时实现资源的优化。

发明内容

本申请提供了一种视频流检测方法、装置、设备及存储介质，旨在解决现有的视频流检测方法在保证计算精确度和速度时，无法实现资源优化的问题。

第一方面，本申请提供一种视频流检测方法，所述方法包括：

基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；

若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；

若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。

第二方面，本申请实施例还提供一种视频流检测装置，所述装置包括：

得到模块，用于基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；

检测模块，用于若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；

标注模块，用于若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。

第三方面，本申请还提供一种视频流检测设备，所述视频流检测设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的视频流检测方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的视频流检测方法的步骤。

本申请提供一种视频流检测方法、装置、设备及存储介质，本申请通过基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。通过仅检测视频流的关键帧，并基于关键帧的检测结果对非关键帧中的目标对象进行位置标注，进而实现高效、准确地对目标对象的检测，并能够降低检测的硬件需求，实现资源优化。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视频流检测方法的流程示意图；

图2是本申请实施例提供的一种视频流检测装置的结构示意图；

图3是本申请实施例提供的一种视频流检测设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。

在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本申请实施例提供的一种视频流检测方法的示意流程图。其中，该视频流检测方法可以应用在服务器中，可以通过只检测视频流的关键帧，并基于关键帧的检测结果对非关键帧中的目标对象进行位置标注，在实现高效、准确的检测前提下，降低检测的硬件需求，实现资源优化。

如图1所示，该视频流检测方法包括步骤S101至步骤S103。

S101、基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别。

其中，视频流是指视频数据的传输，能够被作为一个稳定的和连续的流通过网络处理。而关键帧则是在视频流中保存了完整图像信息的帧。

在一些实施例中，基于待识别的视频流，得到帧数据序列，包括：获取待识别的视频流，对所述视频流进行编码处理，得到多个帧数据；对所述帧数据进行拆分，得到所述帧数据序列。

示例性的，基于H264协议，对所述视频流进行编码处理，得到所述视频流中的帧数据。应理解，基于H264协议，对所述视频流进行编码处理，能够节省视频流的传输资源。其中，第一类帧数据为关键帧，简称为I帧，是当前序列中记载最完整图像的编码图像；第二类帧数据为预测帧，简称为P帧，是通过充分降低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像；第三类帧数据为双向预测帧，简称为B帧，是既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像。所述的预测帧和双向预测帧均为非关键帧。应理解，一个序列中的关键帧包含本序列最完整的图像信息，且与本序列的非关键帧包含的图像信息具有重叠，故关键帧为一个序列中最具代表性的帧数据。

示例性的，对所述视频流进行编码处理后，得到多个按照特定顺序排列的帧数据，按照特定规律划分成多个帧数据序列。其中，帧数据的特定顺序排列是根据原视频的图像内容按照一个关键帧、至少一个预测帧、至少一个双向预测帧的顺序依次排列。具体地，根据关键帧划分帧数据序列，在一个帧数据序列中有且只有一个作为起始帧的关键帧，但至少含有一个的预测帧以及双向预测帧。应理解，当识别到关键帧时，即开启了新的序列，即当再次识别到关键帧时，则前一帧数据序列中的非关键帧已经识别完毕，进入了新的帧数据序列。例如，视频流编码处理后，各类帧数据根据原视频的图像内容排列顺序为：“I帧、P帧、B帧、I帧、P帧、P帧、B帧”。当识别到第一个I帧时，则进入序列1，包括帧数据：“I帧、P帧、B帧”；当识别到第二个I帧时，则进入了序列2，包括帧数据：“I帧、P帧、P帧、B帧”。

在一些实施例中，可以使用FFmpeg对编码处理后得到的帧数据进行的截取，并识别各类帧数据中关键帧，以进行对关键帧的目标对象检测。其中，FFmpeg是一个跨平台的视频和音频流方案，提供了录制、转换以及流化音视频的完整解决方案，可以运行音频和视频多种格式的录影、转换、流功能，它可以应用于多个音频、视频的解码库，因此，可使用其对视频流中的关键帧进行提取。

S102、若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池。

其中，关键帧为编码处理后得到的I帧，对象池为目标对象检测关键帧所得检测结果进行储存的数据结构。

在一些实施例中，在所述对所述关键帧进行目标对象检测之前，还包括：使用预先训练完成的第一神经网络模型检测所述对象池的存储状态；基于所述储存状态更新所述对象池。具体地，若所述存储状态为非空，则更新所述对象池，其中，更新对象池可以为清空对象池；若所述存储状态为空，则无需更新所述对象池。应理解，识别到关键帧之后，在进行目标对象检测前，利用第一神经网络模型检测对象池的存储状态并进行更新，有利于当前识别到的关键帧检测结果的储存，便于当前帧数据序列内的非关键帧获取正确的检测结果。

例如，当识别到第一个关键帧，第一神经网络模型检测当前对象池的存储状态，此时对象池内未储存内容，即对象池为空，则无需清空对象池。又例如，按照编码处理后的特定排列规律，当序列1中的所有非关键帧均已识别完成之后，会识别到第二个关键帧，表明此时进入序列2，在对第二个关键帧进行目标对象检测前，第一神经网络模型检测当前对象池的存储状态，此时对象池内储存着序列1的关键帧的目标对象检测结果，即对象池为非空，此时则需要清空对象池，用于储存序列2关键帧的目标对象检测结果，进而确保序列2中的非关键帧进入对象池时获取正确的检查结果。

在一些实施例中，对所述关键帧进行目标对象检测，包括：利用预先训练完成的第二神经网络模型分析所述关键帧；确定所述关键帧中目标对象的坐标，将所述关键帧中所述目标对象的坐标作为所述检测结果储存至所述对象池，其中，所述关键帧中目标对象的坐标为所述关键帧中目标对象所在的方位。应理解，在检测到目标对象所在图片的方位后，输出所述方位的坐标，所述坐标即为目标检测结果的表现形式。具体地，使用预先训练完成的第二神经网络模型对关键帧中的图像信息进行目标对象识别，并使用坐标的形式标明识别结果，即序列n命名为arry_n，其各帧为In，Pn，Bn，所述关键帧In中目标对象检测的坐标为{left_x_n,left_y_n,right_x_n,right_y_n}。

例如，当前的目标对象为狗，则序列1命名为arry_1，其各帧为I1，P1，B1，神经网络模型分析所述关键帧I1，检测到狗在图像中的坐标为{left_x_1,left_y_1,right_x_1,right_y_1}。又例如，序列2命名为arry_2，其各帧为I2，P2，B2，神经网络模型分析所述关键帧I2，检测到狗在图像中的坐标为{left_x_2,left_y_2,right_x_2,right_y_2}。

在一些实施例中，对所述关键帧进行目标对象检测后，将检测结果存入预设的对象池，包括：将所述关键帧的目标对象检测结果储存到对象池，基并于所述目标对象的坐标，标注所述目标对象在所述关键帧中的位置。具体地，将检测结果标注至对应的关键帧，将坐标与图像信息形成关联关系，便于在输出检测结果时生成具有坐标标注的视频流。

在另一实施例中，可以基于目标对象的坐标为关键帧绘制检测框来实现对目标对象的标注。例如，当前的目标对象为狗，序列1中检测到狗在I1图像中的坐标为{left_x_1,left_y_1,right_x_1,right_y_1}，则使用该坐标为关键帧绘制检测框；序列2中检测到狗在I2图像中的坐标为{left_x_2,left_y_2,right_x_2,right_y_2}，则使用该坐标为关键帧绘制检测框。

S103、若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。

其中，非关键帧包括编码处理后得到的P帧和B帧。

在一些实施例中，所述若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的标注，包括：将所述非关键帧导入所述对象池；获取所述对象池内存储的所述检测结果；使用所述检测结果在所述非关键帧中标注所述目标对象的位置。

具体地，若识别到当前帧为非关键帧，则不再进行目标对象检测，进入对象池中，并获取同一序列中关键帧的目标对象检测结果，检测结果的形式表现为坐标，故非关键帧使用该坐标标注目标对象的位置。应理解，同一序列中各个帧数据所标注的目标对象位置相同。因为一组序列中的关键帧具有当前图像的完整内容，而序列中的非关键帧内的图像信息元素较少，与关键帧具有一定的相似性，故直接将关键帧的检测结果作为非关键帧的检测结果能够在保证检测准确性的情况下，实现检测资源的优化。例如，序列1中I1的目标对象的坐标为{left_x_1,left_y_1,right_x_1,right_y_1}，则序列1中的非关键帧P1、B1均不再进行目标对象检测，直接进入对象池，获取当前对象池中的该坐标进行目标对象的位置标注。

在另一实施例中，可以基于目标对象的坐标为非关键帧绘制检测框来实现对目标对象的标注。例如，当前的目标对象为狗，序列1中检测到狗在I1图像中的坐标为{left_x_1,left_y_1,right_x_1,right_y_1}，则分别使用该坐标为序列1中非关键帧绘制检测框；序列2中检测到狗在I2图像中的坐标为{left_x_2,left_y_2,right_x_2,right_y_2}，则分别使用该坐标为序列2中非关键帧绘制检测框。

在一些实施例中，使用所述检测结果对帧数据进行目标对象的位置标注之后，还包括：基于目标对象在各所述关键帧和所述非关键帧中位置，生成目标视频流并输出。具体地，将进行标注后的帧数据生成视频流并输出。其中，对象池使用的是python编程，视频流的编码处理使用C++编程，需要使用cython编程语言作为两者之间的桥梁将python编码转为C++可调用的应用，实现将第二神经网络模型确定的目标对象的坐标编织进原视频流，进而在视频中呈现目标对象检测的结果。

例如，当前的目标对象为狗，则序列1中检测到狗在I1图像中的坐标为{left_x_1,left_y_1,right_x_1,right_y_1}，序列1中各帧数据分别使用将该坐标进行标注，基于帧数据以及位置标注生成视频流予以显示；则序列2中检测到狗在I2图像中的坐标为{left_x_2,left_y_2,right_x_2,right_y_2}，序列2中中各帧数据分别使用将该坐标进行标注，基于帧数据以及位置标注生成视频流予以显示。则最后呈现的视频流中狗被检测框所包围，并根据狗的位置变化而实时变化检测框的位置。

请参阅图2所示，图2是本申请实施例提供的一种视频流检测装置的结构示意图。由图2可知，在实施例中，所述视频流检测装置200包括：得到模块201、检测模块202、标注模块203。

得到模块201，用于基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；

检测模块202，用于若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；

标注模块203，用于若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。

在一实施例中，得到模块201还包括视频流获取子模块、帧数据拆分子模块。

视频流获取子模块，用于获取待识别的视频流，对所述视频流进行编码处理，得到多个帧数据。

帧数据拆分子模块，用于对所述帧数据进行拆分，得到所述帧数据序列。

在一实施例中，视频流检测装置还包括对象池检测模块、对象池更新模块。

对象池检测模块，用于使用预先训练完成的第一神经网络模型检测所述对象池的存储状态。

对象池更新模块，用于基于所述储存状态更新所述对象池。

在一实施例中，对象池更新模块还包括对象池清空子模块。

对象池清空子模块，用于若所述存储状态为非空，则清空所述对象池。

在一实施例中，检测模块202还包括关键帧分析子模块、检测结果确定子模块。

关键帧分析子模块，用于利用预先训练完成的第二神经网络模型分析所述关键帧。

检测结果确定子模块，用于确定所述关键帧中目标对象的坐标，将所述关键帧中所述目标对象的坐标作为所述检测结果储存至所述对象池，其中，所述关键帧中目标对象的坐标为所述关键帧中目标对象所在的方位。

在一实施例中，视频流检测装置还包括关键帧标注模块。

关键帧标注模块，用于基于所述目标对象的坐标，标注所述目标对象在所述关键帧中的位置。

在一实施例中，标注模块203还包括非关键帧导入子模块、检测结果获取子模块、非关键帧标注子模块。

非关键帧导入子模块，用于将所述非关键帧导入所述对象池。

检测结果获取子模块，用于获取所述对象池内存储的所述检测结果。

非关键帧标注子模块，用于使用所述检测结果在所述非关键帧中标注所述目标对象的位置。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的方法、装置可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费终端设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

示例性的，上述的方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的视频流检测设备上运行。

请参阅图3，图3是本申请实施例提供的一种视频流检测设备的示意图。该视频流检测设备可以是服务器或者终端。

如图3所示，该视频流检测设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括易失性存储介质、非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种视频流检测方法。

处理器用于提供计算和控制能力，支撑整个视频流检测设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种视频流检测方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该视频流检测设备的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的视频流检测设备的限定，具体的视频流检测设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一些实施方式中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。

在一些实施例中，所述处理器还用于：获取待识别的视频流，对所述视频流进行编码处理，得到多个帧数据；对所述帧数据进行拆分，得到所述帧数据序列。

在一些实施例中，所述处理器还用于：使用预先训练完成的第一神经网络模型检测所述对象池的存储状态；基于所述储存状态更新所述对象池。

在一些实施例中，所述处理器还用于：若所述存储状态为非空，则清空所述对象池。

在一些实施例中，所述处理器还用于：利用预先训练完成的第二神经网络模型分析所述关键帧；确定所述关键帧中目标对象的坐标，将所述关键帧中所述目标对象的坐标作为所述检测结果储存至所述对象池，其中，所述关键帧中目标对象的坐标为所述关键帧中目标对象所在的方位。

在一些实施例中，所述处理器还用于：基于所述目标对象的坐标，标注所述目标对象在所述关键帧中的位置。

在一些实施例中，所述处理器还用于：将所述非关键帧导入所述对象池；获取所述对象池内存储的所述检测结果；使用所述检测结果在所述非关键帧中标注所述目标对象的位置。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时实现本申请实施例提供的任一种视频流检测方法。

其中，所述计算机可读存储介质可以是前述实施例所述的视频流检测设备的内部存储单元，例如所述视频流检测设备的硬盘或内存。所述计算机可读存储介质也可以是所述视频流检测设备的外部存储设备，例如所述视频流检测设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链语言模型的存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频流检测方法，其特征在于，所述方法包括：

基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；

若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；

若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。

2.根据权利要求1所述的方法，其特征在于，所述基于待识别的视频流，得到帧数据序列，包括：

获取待识别的视频流，对所述视频流进行编码处理，得到多个帧数据；

对所述帧数据进行拆分，得到所述帧数据序列。

3.根据权利要求1所述的方法，其特征在于，在所述对所述关键帧进行目标对象检测之前，还包括：

使用预先训练完成的第一神经网络模型检测所述对象池的存储状态；

基于所述储存状态更新所述对象池。

4.根据权利要求3所述的方法，其特征在于，所述基于所述储存状态更新所述对象池，包括：

若所述存储状态为非空，则清空所述对象池。

5.根据权利要求1所述的方法，其特征在于，所述对所述关键帧进行目标对象检测，将检测结果存入预设的对象池，还包括：

利用预先训练完成的第二神经网络模型分析所述关键帧；

确定所述关键帧中目标对象的坐标，将所述关键帧中所述目标对象的坐标作为所述检测结果储存至所述对象池，其中，所述关键帧中目标对象的坐标为所述关键帧中目标对象所在的方位。

6.根据权利要求5所述的方法，其特征在于，在所述将检测结果存入预设的对象池之后，还包括：

基于所述目标对象的坐标，标注所述目标对象在所述关键帧中的位置。

7.根据权利要求1所述的方法，其特征在于，所述若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的标注，包括：

将所述非关键帧导入所述对象池；

获取所述对象池内存储的所述检测结果；

使用所述检测结果在所述非关键帧中标注所述目标对象的位置。

8.一种视频流检测装置，其特征在于，所述装置包括：

得到模块，用于基于待识别的视频流，得到帧数据序列，对所述帧数据序列进行关键帧识别；

检测模块，用于若识别到关键帧，则对所述关键帧进行目标对象检测，将检测结果存入预设的对象池；

标注模块，用于若识别到非关键帧，则使用所述检测结果对所述非关键帧进行目标对象的位置标注。

9.一种视频流检测设备，其特征在于，所述视频流检测设备包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述的计算机程序并在执行所述的计算机程序时实现如权利要求1至7任一项所述的视频流检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的视频流检测方法。

Images