CN112954449A - 视频流处理方法、系统、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种视频流处理方法、系统、电子装置和存储介质，其中，该方法包括：通过前级分析单元处理视频流，得到第一分析结果，其中，前级分析单元包括多路目标识别分析器；将第一分析结果加入缓冲队列；通过后级分析单元从缓冲队列中提取并处理第一分析结果，得到第二分析结果，其中，后级分析单元包括多路信息提取分析器。通过本申请，解决了相关技术中视频流分析的性能不高的问题，提升了视频流分析的性能。

Description

视频流处理方法、系统、电子装置和存储介质

技术领域

本申请涉及视频流分析技术领域，特别是涉及视频流处理方法、视频流处理系统、电子装置和存储介质。

背景技术

视频流分析通常由多级分析单元来完成，图1是根据相关技术的视频流处理系统的结构框图，如图1所示，该系统包括前级分析单元和后级分析单元，前级分析单元包括多路目标识别分析器，后级分析单元包括多路信息提取分析器，其中，目标识别分析器和信息提取分析器一对一连接。前级分析单元用于对视频内容进行目标识别处理，将识别得到的这些目标交由后级分析单元进行信息提取处理，然后将提取的信息输出至存储器进行存储，当需要查询相关视频流中的内容时，可以大幅度提高检索效率。

分析单元主要通过智能算法模型来实现，运行一类智能算法模型进行分析需要消耗芯片智能算法分析能力，简称算力。一款芯片的算力有限，相关技术在提高视频流分析性能方面提供了以下几个方案：

方案一，从视频源入手，采用一定策略减少待分析视频源，例如先做动态监测，将符合预设策略的视频再发送至分析单元进行智能分析。然而，该方案存在的缺点为：采用预设策略减少待分析视频源，需要消耗额外的性能，不一定适应所有场景，且裁剪后的码流会影响智能分析，造成分析结果不准确。

方案二，GPU将硬解码后的视频数据存储在GPU的显存中；GPU将显存中存储的视频数据映射到DMA缓冲区；CPU从DMA缓冲区中获取到显存中存储的视频数据对应的显存地址，并利用显存地址访问GPU的显存；CPU对GPU的显存中存储的视频数据进行智能分析。从硬件特性角度优化，利用DMA减少CPU数据拷贝的压力，减轻设备处理负担。然而，该方案存在的缺点为：依赖芯片特性，导致应用不灵活。

目前针对相关技术中视频流分析的性能不高的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种视频流处理方法、系统、电子装置和存储介质，以至少解决相关技术中视频流分析的性能不高的问题。

第一方面，本申请实施例提供了一种视频流处理方法，包括：通过前级分析单元处理视频流，得到第一分析结果，其中，所述前级分析单元包括多路目标识别分析器；将所述第一分析结果加入缓冲队列；通过后级分析单元从所述缓冲队列中提取并处理所述第一分析结果，得到第二分析结果，其中，所述后级分析单元包括多路信息提取分析器。

在其中一些实施例中，所述方法还包括：监测所述缓冲队列的长度；在所述缓冲队列的长度大于第一设定长度的情况下，缓存准备加入所述缓冲队列的第一分析结果，直至所述缓冲队列的长度小于第二设定长度的情况下，将缓存的第一分析结果加入到所述缓冲队列，其中，所述第一设定长度大于或等于所述第二设定长度。

在其中一些实施例中，在通过前级分析单元处理视频流，得到第一分析结果之前，所述方法还包括：根据所述前级分析单元对所述视频流进行处理所需要的算力确定所述目标识别分析器的路数；和/或，根据所述后级分析单元对所述第一分析结果进行处理所需要的算力确定所述信息提取分析器的路数。

在其中一些实施例中，根据所述前级分析单元对所述视频流进行处理所需要的算力确定所述目标识别分析器的路数包括：

获取每一路所述信息提取分析器在单位时间内处理所述第一分析结果实际所消耗的平均算力；获取每一路所述目标识别分析器在单位时间内处理预设规格视频流需消耗的第一预设算力；获取在单位时间内分配至所述目标识别分析器和所述信息提取分析器的预设总算力；根据所述平均算力、所述第一预设算力和所述预设总算力，确定所述目标识别分析器的路数。

在其中一些实施例中，根据所述后级分析单元对所述第一分析结果进行处理所需要的算力确定所述信息提取分析器的路数包括：获取每一路所述信息提取分析器在单位时间内处理所述预设规格视频流需消耗的第二预设算力；根据所述目标识别分析器的路数、所述第一预设算力、所述第二预设算力以及所述预设总算力，确定所述信息提取分析器的路数。

在其中一些实施例中，获取每一路所述信息提取分析器在单位时间内处理所述第一分析结果实际所消耗的平均算力包括：获取在预设时长内经所述后级分析单元处理过的所述第一分析结果对应的视频流规格，其中，所述第一分析结果对应的视频流规格和处理所述第一分析结果对应的视频流规格需消耗的算力成比例关系；获取在所述预设时长内所述后级分析单元中所述信息提取分析器的路数；根据所述预设时长、经所述后级分析单元处理过的所述第一分析结果对应的视频流规格以及所述信息提取分析器的路数，确定每一路所述信息提取分析器在单位时间内处理所述第一分析结果实际所消耗的平均算力。

在其中一些实施例中，在所述缓冲队列的长度大于第一设定长度的情况下，所述方法还包括：将准备加入所述缓冲队列的第一分析结果发送至业务单元进行展示，其中，所展示的所述第一分析结果包括以下至少之一：目标类型、目标坐标、目标图像。

在其中一些实施例中，在通过后级分析单元从所述缓冲队列中提取并处理所述第一分析结果，得到第二分析结果之后，所述方法还包括：将所述第二分析结果发送至业务单元进行业务处理，所述业务处理包括以图搜图、结构化存储，所述第二分析结果包括以下至少之一：目标属性、目标特征值。

第二方面，本申请实施例提供了一种视频流处理系统，包括：前级分析单元、后级分析单元以及控制模块，所述控制模块的输入端连接所述前级分析单元的输出端，所述控制模块的输出端连接所述后级分析单元的输入端，所述前级分析单元包括多路目标识别分析器，所述后级分析单元包括多路信息提取分析器；其中，所述前级分析单元用于处理视频流，输出第一分析结果；所述后级分析单元用于处理所述第一分析结果，输出第二分析结果；所述控制模块用于执行如上述第一方面所述的视频流处理方法。

在其中一些实施例中，所述控制模块包括：压力监测单元、缓存单元和缓冲队列，所述压力监测单元的第一端连接所述前级分析单元的输出端，所述压力监测单元的第二端连接所述缓存单元，所述压力监测单元的第三端连接所述缓冲队列的输入端，所述缓冲队列的输出端连接所述后级分析单元的输入端；其中所述压力监测单元用于监测所述缓冲队列的长度；所述缓存单元用于缓存所述第一分析结果，所述缓存单元包括磁盘；所述缓冲队列用于缓冲所述第一分析结果。

在其中一些实施例中，还包括：业务单元，所述业务单元的输入端分别连接所述控制模块的输出端、所述后级分析单元的输出端，所述业务单元用于展示从所述控制模块输出的所述第一分析结果，以及用于对从所述后级分析单元输出的所述第二分析结果进行业务处理。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的频流分析方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的频流分析方法。

相比于相关技术，本申请实施例提供的视频流处理方法、系统、电子装置和存储介质，解决了相关技术中视频流分析的性能不高的问题，提升了视频流分析的性能。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据相关技术的视频流处理系统的结构框图；

图2是根据本申请实施例的视频流处理方法的电子装置的硬件结构框图；

图3是根据本申请实施例的视频流处理方法的流程图；

图4是根据本申请实施例的视频流处理系统的结构框图；

图5是根据本申请实施例的控制模块的结构框图；

图6是根据本申请优选实施例的视频流处理系统的结构框图。

附图标记：202、处理器；204、存储器；206、传输设备；208、输入输出设备；400、前级分析单元；401、目标识别分析器；500、后级分析单元；501、信息提取分析器；600、控制模块；601、压力监测单元；602、缓存单元；603、缓冲队列；700、业务单元；800、解码单元；801、解码通道。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供的方法实施例可以在电子装置、计算机或者类似的运算装置中执行。以运行在电子装置上为例，图2是根据本申请实施例的视频流处理方法的电子装置的硬件结构框图。如图2所示，电子装置可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器204，可选地，上述电子装置还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器204可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的视频流处理方法对应的计算机程序，处理器202通过运行存储在存储器204内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至电子装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的无线网络。在一个实例中，传输设备206包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备206可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例提供了一种视频流处理方法，图3是根据本申请实施例的视频流处理方法的流程图，如图3所示，该流程包括如下步骤：

步骤S301，通过前级分析单元处理视频流，得到第一分析结果，其中，前级分析单元包括多路目标识别分析器。

前级分析单元处理的视频流包括经解码后的视频流，前级分析单元采用的智能算法模型包括目标识别算法模型，目标识别算法模型用于在视频流中识别目标，识别得到的目标包括但不限于人、车、活动物体。

步骤S302，将第一分析结果加入缓冲队列。

缓冲队列是由软件实现的，第一分析结果进入缓冲队列之后，遵循先进先出的工作机制，当上一批第一分析结果没有被执行完成之前，下一批第一分析结果则处于等待状态，直到上一批第一分析结果被执行完成，才开始下一批第一分析结果的执行。

步骤S303，通过后级分析单元从缓冲队列中提取并处理第一分析结果，得到第二分析结果，其中，后级分析单元包括多路信息提取分析器。

缓冲队列根据后级分析单元的执行速度分批输送第一分析结果至后级分析单元，当第一分析结果的生成速度超过第一分析结果被执行的速度时，可能导致后级分析单元崩溃，而缓冲队列能够缓冲第一分析结果，从而避免后级分析单元崩溃。

相关技术中在评估视频流分析的性能时，需要在视频流规格、目标数目最大压力场景下考虑。但是，由于目标识别分析器和信息提取分析器之间为一对一绑定关系，使得前后级分析单元的路数受到固定配置的限制，当前级分析单元处于处理视频流规格最大压力场景时，后级分析单元并非处于处理目标数目最大压力场景，导致前后级分析单元的压力失去了平衡。而本实施例通过缓冲队列对第一分析结果的缓冲作用，打破前后级分析单元中分析器之间的一对一绑定关系，解除前后级分析单元的固定配置，使得前后级分析单元的压力达到平衡状态，解决了相关技术中视频流分析的性能不高的问题，提升了视频流分析的性能。

当前级分析单元输出第一分析结果的速度超过后级分析单元处理第一分析结果的速度时，随着时间的累积，将可能导致较多第一分析结果滞留在缓冲队列中，由于缓冲队列所能缓冲的第一分析结果的容量有限，如果滞留在缓冲队列中的第一分析结果过多，将导致缓冲队列运行出现故障，而且当第一分析结果长时间滞留于缓冲队列时，可能会遇到突发情况而造成数据丢失的问题。

为解决上述问题，在其中一些实施例中，监测缓冲队列的长度；在缓冲队列的长度大于第一设定长度的情况下，缓存准备加入缓冲队列的第一分析结果，直至缓冲队列的长度小于第二设定长度的情况下，将缓存的第一分析结果加入到缓冲队列，其中，第一设定长度大于或等于第二设定长度。

第一设定长度代表缓冲队列所能容纳数据的上限值，第二设定长度代表缓冲队列所能容纳数据的下限值，通过设置第一设定长度和第二设定长度，能够使得缓冲队列的长度符合预期长度，从而保证缓冲队列的正常运行。

当第一设定长度大于第二设定长度时，代表缓冲队列所预期的长度在一段长度范围之内。当第一设定长度等于第二设定长度时，代表缓冲队列所预期的长度为一个长度数值。本实施例优选方式是第一设定长度大于第二设定长度，从而避免频繁对第一分析结果进行缓存和读取操作。

在一些实施例中，在缓冲队列的长度大于第一设定长度的情况下，方法还包括：将准备加入缓冲队列的第一分析结果发送至业务单元进行展示，其中，所展示的第一分析结果包括以下至少之一：目标类型、目标坐标、目标图像。

如此设置，即使第一分析结果不能及时被后级分析单元给执行，通过先上报目标类型、目标坐标、目标图像，能够起到显示预览效果的作用。目标类型代表某目标属于人、车、物、活动物体中的任意一种，目标坐标代表某目标的位置，目标图像代表视频流中包括某目标的帧图像。

在一些实施例中，在通过后级分析单元从缓冲队列中提取并处理第一分析结果，得到第二分析结果之后，方法还包括：将第二分析结果发送至业务单元进行业务处理，业务处理包括以图搜图、结构化存储，第二分析结果包括以下至少之一：目标属性、目标特征值。

以人作为目标为例，目标属性包括某人的衣着、某人的性别，目标特征值包括某人的人脸特征。

上述实施例介绍了在前后级分析单元之间设置缓冲机制，打破前后级分析单元中分析器之间的一对一绑定关系，解除前后级分析单元的固定配置，接下来将介绍对前后级分析单元进行重新配置的方案。

在通过前级分析单元处理视频流，得到第一分析结果之前，方法还包括：根据前级分析单元对视频流进行处理所需要的算力确定目标识别分析器的路数；和/或，根据后级分析单元对第一分析结果进行处理所需要的算力确定信息提取分析器的路数。

分析器的路数和消耗的算力成比例关系，分析器的路数越多，消耗的算力也越多。通过确定前级分析单元对视频流进行处理所需要的算力，可以确定目标识别分析器的路数。其中，目标识别分析器的算力消耗主要受视频帧率、目标数目的影响。例如，视频流规格：分辨率为1080P、帧率为fps帧/秒，目标数目参考规格为c个/秒，单位时间内芯片支持的预设总算力为T，单位时间内每一路目标识别分析器需消耗第一预设算力为m。信息提取分析器的算力消耗主要受目标数目的影响，基于和目标识别分析器相近的原理，对于上述参数，单位时间内每一路信息提取分析器需消耗第二预设算力为n。

相关技术在配置视频分析通道的路数时，是基于视频流规格、目标数目最大压力场景下考虑的，即M＝N＝T/(m+n)，其中，M代表目标识别分析器的路数，N代表信息提取分析器的路数。而当前级分析单元处于处理视频流规格最大压力场景时，后级分析单元并非处于处理目标数目最大压力场景，导致前后级分析单元的压力失去平衡，从数据流角度来看，前后级压力失衡将会减少视频分析通道的路数。

本实施例针对上述问题，在配置目标识别分析器的路数时，适当降低每一路目标识别分析器在最大压力下需消耗的算力，即降低(m+n)的值，提升M的值，再根据剩余算力配置信息提取分析器的路数。

或者，在配置信息提取分析器的路数时，适当提升每一路信息提取分析器在最大压力下需消耗的算力，即提升(m+n)的值，降低N的值，再根据剩余算力配置目标识别分析器的路数。

或者，适当降低每一路目标识别分析器在最大压力下需消耗的算力，同时适当提升每一路信息提取分析器在最大压力下需消耗的算力，并且前后两级分析单元消耗的算力之和不超过芯片支持的总算力。

本实施例通过适当调整每一路目标识别分析器和/或每一路信息提取分析器在最大压力下需消耗的算力，在压力较大侧配置的分析器的路数较多，在压力较少侧配置的分析器的路数较少，平衡前后级分析单元的压力，从数据流角度来看，进一步提升了视频分析通道的路数。

以下实施例将进一步介绍如何根据前级分析单元对视频流进行处理所需要的算力确定目标识别分析器的路数。

获取每一路信息提取分析器在单位时间内处理第一分析结果实际所消耗的平均算力；获取每一路目标识别分析器在单位时间内处理预设规格视频流需消耗的第一预设算力；获取在单位时间内分配至目标识别分析器和信息提取分析器的预设总算力；根据平均算力、第一预设算力和预设总算力，确定目标识别分析器的路数。

在相关技术中，芯片预留给后级分析单元的算力较多，算力利用率不高，每一路信息提取分析器在单位时间内处理第一分析结果实际所消耗的平均算力为n1，n1往往不会高于n，这也是导致前级分析单元和后级分析单元压力失衡的原因之一。在根据M＝T/(m+n)计算M的值时，本实施例采用n1替换n，即M＝T/(m+n1)，通过最大程度地增加目标识别分析器的路数，提升前级分析单元承受压力的能力。

在确定目标识别分析器的路数之后，将剩余的算力分配至后级分析单元，该方法包括：获取每一路信息提取分析器在单位时间内处理预设规格视频流需消耗的第二预设算力；根据目标识别分析器的路数、第一预设算力、第二预设算力以及预设总算力，确定信息提取分析器的路数。

在本实施例中，根据目标识别分析器的路数、第一预设算力以及预设总算力，确定剩余算力T－M×m，从而确定信息提取分析器的路数为N＝(T－M×m)/n。

以下实施例将介绍如何获取每一路信息提取分析器在单位时间内处理第一分析结果实际所消耗的平均算力，该方法包括：获取在预设时长内经后级分析单元处理过的第一分析结果对应的视频流规格，其中，第一分析结果对应的视频流规格和处理第一分析结果对应的视频流规格需消耗的算力成比例关系；获取在预设时长内后级分析单元中信息提取分析器的路数；根据预设时长、经后级分析单元处理过的第一分析结果对应的视频流规格以及信息提取分析器的路数，确定每一路信息提取分析器在单位时间内处理第一分析结果实际所消耗的平均算力。

前后级分析单元运行持续至预设时长，例如一周，统计历史视频流的平均目标数目为c1个/秒，计算单位时间内每一路信息提取分析器实际所消耗的平均算力为n1，多数场景下视频流的平均目标数目小于上述参考规格，这样导致n1<＝n。

图4是根据本申请实施例的视频流处理系统的结构框图，如图4所示，该系统包括：前级分析单元400、后级分析单元500以及控制模块600，控制模块600的输入端连接前级分析单元400的输出端，控制模块600的输出端连接后级分析单元500的输入端，前级分析单元400包括多路目标识别分析器401，后级分析单元500包括多路信息提取分析器501；其中，前级分析单元400用于处理视频流，输出第一分析结果；后级分析单元500用于处理第一分析结果，输出第二分析结果；控制模块600用于执行上述任一实施例的视频流处理方法。

本申请实施例的视频流处理系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如上述所使用的，术语“模块”、“单元”、“分析器”等可以实现预定功能的软件和/或硬件的组合。其中，控制模块600较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本申请实施例的控制模块的结构框图，如图5所示，在其中一些实施例中，控制模块600包括：压力监测单元601、缓存单元602和缓冲队列603，压力监测单元601的第一端连接前级分析单元400的输出端，压力监测单元601的第二端连接缓存单元602，压力监测单元601的第三端连接缓冲队列603的输入端，缓冲队列603的输出端连接后级分析单元500的输入端；其中，压力监测单元601用于监测缓冲队列603的长度；缓存单元602用于缓存第一分析结果，缓存单元602包括磁盘；缓冲队列603用于缓冲第一分析结果。

参考图4，在其中一些实施例中，视频流处理系统还包括：业务单元700，业务单元700的输入端分别连接控制模块600的输出端、后级分析单元500的输出端，业务单元700用于展示从控制模块600输出的第一分析结果，以及用于对从后级分析单元500输出的第二分析结果进行业务处理。

下面通过优选实施例对本申请实施例进行描述和说明。

图6是根据本申请优选实施例的视频流处理系统的结构框图，如图6所示，该系统在上述实施例所描述的视频流处理系统的基础上，增设了解码单元800，解码单元800包括多路解码通道801，每一路解码通道801的输出端连接至目标识别分析器401的输入端，解码单元800用于对实时视频流进行解码，并将经解码后的实时视频流输送至前级分析单元400。以下将介绍该视频流处理系统的工作原理。

M路解码通道801负责对实时视频流进行解码。

M路目标识别分析器401，与解码通道801一一对应连接，负责处理目标检测、跟踪、优选、挑图的任务，得到第一分析结果，第一分析结果满足目标图片提取、预览目标跟踪显示。

N路信息提取分析器501，负责根据第一分析结果，提取目标属性和目标特征值，为后续检索结构化信息、以图搜图做准备，其中，N≤M。

缓冲队列603，用于在目标识别分析器401和信息提取分析器501之间缓冲第一分析结果。

压力监测单元601，负责监测缓冲队列603的长度。当其长度大于设定阈值H时，表示信息提取分析器501的压力较大，需要将准备加入缓冲队列603的第一分析结果缓存到缓存单元602，例如磁盘，此外还将上报目标类型、目标坐标和目标图像至业务单元700，用于预览效果显示。当其长度小于设定阈值L时，可读取缓存单元602缓存的第一分析结果加入到缓冲队列603，继而再输送至信息提取分析器501进行处理得到第二分析结果，并上报完整结果至业务单元700。

在本优选实施例中，目标识别分析器401的路数M，以及信息提取分析器501的路数N，已在上述实施例中作过介绍，此处不再详细说明。

另外，结合上述实施例中的视频流处理方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种视频流处理方法。

综上，本申请将前级分析单元和后级分析单元分离(目标识别分析器与信息提取分析器分离)，并通过数据队列链接两类分析器，缓冲数据，极端情况下使用磁盘缓存，通过对历史码流目标数进行分析，针对单位时间内，实际视频流目标数小于等于规格视频流目标数的特性，计算前后级分析单元中分析器的路数，使前后级分析单元的压力达到平衡，从数据流角度来看，提高视频分析通道的路数。相比采用一定策略减少待分析视频源的方案，本申请优化智能分析内部数据流程，适应场景更加通用，且不降低智能分析效果。本申请不依赖硬件特性，可移植性强。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种视频流处理方法，其特征在于，包括：

通过前级分析单元处理视频流，得到第一分析结果，其中，所述前级分析单元包括多路目标识别分析器；

将所述第一分析结果加入缓冲队列；

通过后级分析单元从所述缓冲队列中提取并处理所述第一分析结果，得到第二分析结果，其中，所述后级分析单元包括多路信息提取分析器。

2.根据权利要求1所述的视频流处理方法，其特征在于，所述方法还包括：

监测所述缓冲队列的长度；

在所述缓冲队列的长度大于第一设定长度的情况下，缓存准备加入所述缓冲队列的第一分析结果，直至所述缓冲队列的长度小于第二设定长度的情况下，将缓存的第一分析结果加入到所述缓冲队列，其中，所述第一设定长度大于或等于所述第二设定长度。

3.根据权利要求1所述的视频流处理方法，其特征在于，在通过前级分析单元处理视频流，得到第一分析结果之前，所述方法还包括：

根据所述前级分析单元对所述视频流进行处理所需要的算力确定所述目标识别分析器的路数；

和/或，根据所述后级分析单元对所述第一分析结果进行处理所需要的算力确定所述信息提取分析器的路数。

4.根据权利要求3所述的视频流处理方法，其特征在于，根据所述前级分析单元对所述视频流进行处理所需要的算力确定所述目标识别分析器的路数包括：

获取每一路所述信息提取分析器在单位时间内处理所述第一分析结果实际所消耗的平均算力；

获取每一路所述目标识别分析器在单位时间内处理预设规格视频流需消耗的第一预设算力；

获取在单位时间内分配至所述目标识别分析器和所述信息提取分析器的预设总算力；

根据所述平均算力、所述第一预设算力和所述预设总算力，确定所述目标识别分析器的路数。

5.根据权利要求4所述的视频流处理方法，其特征在于，根据所述后级分析单元对所述第一分析结果进行处理所需要的算力确定所述信息提取分析器的路数包括：

获取每一路所述信息提取分析器在单位时间内处理所述预设规格视频流需消耗的第二预设算力；

根据所述目标识别分析器的路数、所述第一预设算力、所述第二预设算力以及所述预设总算力，确定所述信息提取分析器的路数。

6.根据权利要求4所述的视频流处理方法，其特征在于，获取每一路所述信息提取分析器在单位时间内处理所述第一分析结果实际所消耗的平均算力包括：

获取在预设时长内经所述后级分析单元处理过的所述第一分析结果对应的视频流规格，其中，所述第一分析结果对应的视频流规格和处理所述第一分析结果对应的视频流规格需消耗的算力成比例关系；

获取在所述预设时长内所述后级分析单元中所述信息提取分析器的路数；

根据所述预设时长、经所述后级分析单元处理过的所述第一分析结果对应的视频流规格以及所述信息提取分析器的路数，确定每一路所述信息提取分析器在单位时间内处理所述第一分析结果实际所消耗的平均算力。

7.根据权利要求2所述的视频流处理方法，其特征在于，在所述缓冲队列的长度大于第一设定长度的情况下，所述方法还包括：

将准备加入所述缓冲队列的第一分析结果发送至业务单元进行展示，其中，所展示的所述第一分析结果包括以下至少之一：目标类型、目标坐标、目标图像。

8.根据权利要求1至7中任一项所述的视频流处理方法，其特征在于，在通过后级分析单元从所述缓冲队列中提取并处理所述第一分析结果，得到第二分析结果之后，所述方法还包括：

将所述第二分析结果发送至业务单元进行业务处理，所述业务处理包括以图搜图、结构化存储，所述第二分析结果包括以下至少之一：目标属性、目标特征值。

9.一种视频流处理系统，其特征在于，包括：前级分析单元、后级分析单元以及控制模块，所述控制模块的输入端连接所述前级分析单元的输出端，所述控制模块的输出端连接所述后级分析单元的输入端，所述前级分析单元包括多路目标识别分析器，所述后级分析单元包括多路信息提取分析器；其中，

所述前级分析单元用于处理视频流，输出第一分析结果；

所述后级分析单元用于处理所述第一分析结果，输出第二分析结果；

所述控制模块用于执行如权利要求1至8中任一项所述的视频流处理方法。

10.根据权利要求9所述的视频流处理系统，其特征在于，所述控制模块包括：压力监测单元、缓存单元和缓冲队列，所述压力监测单元的第一端连接所述前级分析单元的输出端，所述压力监测单元的第二端连接所述缓存单元，所述压力监测单元的第三端连接所述缓冲队列的输入端，所述缓冲队列的输出端连接所述后级分析单元的输入端；其中，

所述压力监测单元用于监测所述缓冲队列的长度；

所述缓存单元用于缓存所述第一分析结果，所述缓存单元包括磁盘；

所述缓冲队列用于缓冲所述第一分析结果。

11.根据权利要求9所述的视频流处理系统，其特征在于，还包括：业务单元，所述业务单元的输入端分别连接所述控制模块的输出端、所述后级分析单元的输出端，所述业务单元用于展示从所述控制模块输出的所述第一分析结果，以及用于对从所述后级分析单元输出的所述第二分析结果进行业务处理。

12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的视频流处理方法。

13.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至8中任一项所述的视频流处理方法。

Images