CN110298213B - 视频分析系统和方法 - Google Patents

Abstract

公开了一种视频分析系统和方法。该系统包括：帧缓存队列，用于存储持续输入的视频图像帧；目标检测模块，用于从所述帧缓存队列连续读取图像帧并进行处理，以确定包含目标的关键帧；以及目标分析模块，用于以预定间隔读取所述帧缓存队列中的关键帧，以进行目标属性分析，其中所述帧缓存队列在所述关键帧被所述目标分析模块读取之前保持其不被新图像帧盖写。本发明通过基于目标检测和跟踪的异步帧队列缓存机制，能够有效提高待分析目标所在帧在队列中的存留时间，充分利用有限的队列空间，在同样的缓存容量资源下，大幅提高了属性分析目标获取成功的概率和目标属性分析成功概率。

Description

视频分析系统和方法

技术领域

本发明涉及图像处理领域，尤其涉及一种视频分析系统和方法。

背景技术

目标检测和跟踪一直是学术界和工业界的一个重要研究方向。例如，视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。不仅如此，目标检测和追踪还在诸如车辆辅助驾驶、交通和游戏等领域内有着巨大的实用空间和潜在意义。

目前，目标检测和跟踪的应用瓶颈在于视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述技术。用视频结构化描述技术改造传统的视频监控系统，使之形成新一代的视频监控系统智慧化、语义化、情报化的语义视频监控系统。

视频结构化描述是一种视频内容信息提取的技术，其对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。图1示出了常见的实时视频结构化智能分析系统的整体框架。

如图1所示，实时视频结构化智能分析系统20采集来自数据源10的数据流，该数据流可以是摄像头的实时输入或是存储的视频文件。系统20对采集的数据流进行结构化分析，并将相应的分析结果存储至本地或远程数据库30。

实时视频结构化智能分析系统20可以包括视频编解码模块21、帧缓存22和视频分析模块23。视频编解码模块21将来自数据源10的数据流编码或解码为指定格式帧数据。帧缓存22缓存视频帧数据，供视频分析模块23使用。

视频分析模块23可以大致分为目标检测模块、目标跟踪与去重模块、以及目标识别和分析模块。目标检测模块利用深度学习算法对输入的视频流进行目标检测，从帧图像中提取出需要进行分析的目标的位置、类别等信息。目标跟踪与去重模块利用深度学习或者传统算法对目标检测模块输出的目标进行跟踪和去重处理，避免目标分析模块的重复运行，提高分析质量并减小分析运算量。目标识别和分析模块根据目标检测模块的输出结果从帧图像中提取出目标子图，利用深度学习算法对其中每一个目标分别进行分析。具体的分析内容可以根据应用场景不同而变化，常见的分析内容包括目标识别比对，目标属性分析等。

常见的视频结构化智能分析系统主要功能包括视频编解码、目标检测、目标识别、目标跟踪和目标属性分析等。在整个软件系统中，帧缓存为所有模块提供帧数据源，至关重要，但是随着视频智能分析功能和流程越来越复杂，所需消耗的存储容量和传输也急剧增加，现有的硬件缓存容量条件无法缓存足够多的视频帧数据以满足实时视频结构化系统的分析。

因此，需要一种能够在不显著增加现有硬件缓存容量的基础上满足实时视频结构化系统分析的视频分析方案。

发明内容

鉴于上述的至少一个问题，本发明提出了一种视频分析方案，该方案基于目标检测和跟踪的异步帧队列缓存机制，能够大幅减小所需图像帧缓存空间，大幅提高目标关键帧提取的成功率和目标分析成功率，从而提高系统整体服务质量。

根据本发明的一个方面，提供了一种视频分析系统，包括：帧缓存队列，用于存储持续输入的视频图像帧；目标检测模块，用于从所述帧缓存队列连续读取图像帧并进行处理，以确定包含目标的关键帧；以及目标分析模块，用于以预定间隔读取所述帧缓存队列中的关键帧，以进行目标属性分析，其中所述帧缓存队列在所述关键帧被所述目标分析模块读取之前保持其不被新图像帧盖写。

由此，能够在不增加现有缓存容量的基础上确保目标分析模块对关键帧的有效获取，从而提升系统的目标检测和跟踪能力。

优选地，目标分析模块在读取了所述帧缓存队列中的关键帧之后对所读取的关键帧进行标记以使其能够被新图像帧盖写，由此保证帧缓存队列连续存储图像帧的能力。

目标检测模块可以包括：目标检测单元，用于确定从所述帧缓存队列中读取的当前图像帧中的目标类别和位置信息；以及目标筛选单元，用于根据在前处理图像帧和当前图像帧中的目标类别和位置信息筛选出针对每一目标的有用相关信息，并对包含目标的关键帧加以标记，并且，所述视频分析系统还可以包括：待分析目标库，用于存储由所述目标筛选单元筛选出的针对每一目标的有用相关信息，所述针对每一目标的有用相关信息包括该目标的编号、所属关键帧的帧号以及该目标在所属关键帧中的位置信息。相应地，目标分析模块可以从待分析模板库中读取针对每一目标的有用相关信息并据此从所述帧缓存队列中读取在所述预定间隔期间标记的关键帧，并对读取的关键帧进行重新标记以使其能够被新图像帧盖写。由此实现目标检测与目标分析异步处理之间的有效关联。

待分析目标库可以与针对每一目标的有用相关信息相对应地存储由所述目标分析模块输出的目标属性分析结果，并且，所述视频分析系统还可以包括：后续处理模块，用于从所述帧队列缓存中读取由所述目标分析模块读取的关键帧，从所述待分析目标库中读取所述关键帧的所有属性分析结果，以用于后续处理。后续处理可以包括如下的至少一项：在读取的关键帧中显示其所包含目标的目标属性；以及将所述关键帧及其关联属性分析结果存储至本地或远程数据库。

在一个优选实施例中，帧缓存队列中的图像帧具有用于标记其能否被盖写的生命标记值。响应于图像帧被确定为关键帧，该图像帧的生命标记值变更为表示该图像帧不可盖写的值，例如，变为非零值；响应于关键帧被读取以进行目标属性分析，该关键帧的生命标记值变更为表示该关键帧可被盖写的值，例如，置零。

在帧缓存队列是环形存储队列的情况下，关键帧在被目标分析模块读取之前跳过关键帧进行新图像帧的盖写。相应地，针对生命标记值还可以进行如下至少一项的操作：响应于图像帧被跳过一次盖写，将该图像帧的生命标记值变更为易于被盖写的值，例如，减1；以及响应于图像帧被读取确定是否为关键帧，将该图像帧的生命标记值变更为不易被盖写的值，例如，加1。

目标检测模块和目标分析模块至少部分由卷积神经网络实现，并且目标检测系统至少部分由硬件实现。

根据本发明的另一方面，提供了一种视频分析方法，包括：将持续输入的视频图像帧存储至帧缓存队列；从所述帧缓存队列连续读取图像帧，以确定包含目标的关键帧；以预定间隔读取所述帧缓存队列中标记的关键帧，以进行目标属性分析，其中所述关键帧被设置为在被读取以用于目标属性分析之前不被新图像帧盖写。相应地，关键帧在被读取用于目标属性分析之后能被新图像帧盖写。

从所述帧缓存队列连续读取图像帧，以确定包含目标的关键帧可以包括：确定从所述帧缓存队列中读取的当前图像帧中的目标类别和位置信息；以及根据在前处理图像帧和当前图像帧中的目标类别和位置信息筛选出针对每一目标的有用相关信息，并对包含目标的关键帧加以标记，所述针对每一目标的有用相关信息包括该目标的编号、所属关键帧的帧号以及该目标在所属关键帧中的位置信息。

以预定间隔读取所述帧缓存队列中标记的关键帧，以进行目标属性分析还可以包括：根据针对每一目标的有用相关信息从所述帧缓存队列中读取在预定间隔期间标记的关键帧，并对读取的关键帧进行重新标记以使其能够被新图像帧盖写。

本发明的视频分析方法还可以包括：

从所述帧队列缓存中读取由所述目标分析模块读取的关键帧并获取所述关键帧的所有属性分析结果，以用于后续处理，所述后续处理包括如下的至少一项：在读取的关键帧中显示其所包含目标的目标属性；以及将所述关键帧及其关联属性分析结果存储至本地或远程数据库。

在一个实施例中，帧缓存队列中的图像帧具有用于标记其能否被盖写的生命标记值，例如，某一图像帧的生命标记值可以在目标检测确定该图像帧为关键帧是增加，以表示该图像帧不可盖写；所述关键帧的生命标记值可以在所述目标读取模块读取后置零，以表示该图像帧可被盖写。

根据本发明的另一个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述视频分析及其优选方法。

根据本发明的再一个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行上述视频分析及其优选方法。

由此，本发明的视频分析方案提出了一种基于目标检测和跟踪的异步帧队列缓存机制，在不增加缓存容量的前提下提高缓存利用率，提升关键帧获取的成功率。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了常见的实时视频结构化智能分析系统的整体框架。

图2示出了根据本发明一个实施例的视频分析系统的示意图。

图3示出了根据本发明另一个实施例的视频分析系统的示意图。

图4示出了特定目标类型的目标属性分析结果的显示例。

图5示出了一个具体的视频结构化分析软件多线程流程例。

图6示出了根据本发明一个实施例的帧缓存队列在特定规则下进行队列操作的简化示意图。

图7示出了可用于实现本发明的目标检测系统的SoC的一个例子。

图8示出了根据本发明一个实施例的视频分析方法的流程图。

图9示出了根据本发明一个实施例可用于实现上述视频分析方法的数据处理的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在现有的视频结构化分析系统中，帧队列缓存通常采用异步环形帧队列数据结构，解码器源源不断向环形帧队列中写入帧数据，当所有空间均有数据时覆盖最旧数据。但由于视频流需实时处理，帧率较高(>25FPS)，且每帧解码后图像所需存储空间较大(3～5MB/帧)，在同时接入多路实时视频流时所需帧队列缓存容量较大。例如，当同时接入10路视频时，帧率25FPS，每帧解码后图像平均为4MB时，如果缓存1秒视频流共需要25FPS*4MB*10路＝1GB缓存容量。考虑到硬件资源有限，片上可用缓存容量通常为1G左右，因此现有的帧队列缓存仅能缓存1秒的视频帧。

另一方面，由于视频中连续多帧中常有重复目标，且大量帧因其中目标质量较低而无法用于有效分析。为了减小重复分析，并提高分析质量，通常由跟踪和去重模块分析从一系列连续帧中得到同一目标质量最好的图像帧，称为关键帧。用于属性分析的待分析目标库中仅保留关键帧中的目标信息，然后根据具体应用每隔5-10秒对这些目标统一进行一次属性分析。这就要求帧缓存队列中需要将关键帧保留例如0-5秒的图像帧用于目标分析，如果当进行目标分析之时在帧队列中该关键帧已被新加入的数据帧所覆盖，则会导致属性分析目标关键帧获取失败，从而无法对该目标进行分析。因此，在实时视频流分析系统中，需要尽可能提高目标关键帧获取成功概率。然而，由于普通的异步帧队列缓存机制仅能缓存1秒左右的视频帧数据，远远无法满足多路接入视频分析的存储要求。

基于上述分析，普通的异步帧队列缓存机制无法满足实时视频结构化分析的需求，因此本发明中提出一种基于目标检测和跟踪的异步帧队列缓存机制，能够在不增加缓存容量的前提下提高缓存利用率，提高关键帧获取成功概率。在本发明的视频分析方案中，将现有技术中流水线处理的目标检测、目标跟踪与去除、目标识别与分析功能划分至不同的线程/模块，各线程间异步操作，以通过并行提升系统效率。在此，帧缓存队列为所有模块提供帧数据源至关重要。换句话说，在本发明的视频分析方案中，所有线程共享帧队列缓存。

图2示出了根据本发明一个实施例的视频分析系统的示意图。如图2所示，视频分析系统200包括帧缓存队列220、目标检测模块230和目标分析模块240。

帧缓存队列220存储持续输入的视频图像帧，例如经由视频编解码模块编码或解码成指定格式的帧数据。帧缓存队列220具有的缓存容量有限，例如可以是现有技术中1G左右的缓存容量。在存储已满的情况下，使用新图像帧对旧图像帧进行盖写。在一个实施例中，帧缓存队列是环形存储队列。解码器源源不断向环形帧队列中写入帧数据，当所有空间均有数据时覆盖最旧数据，例如，使用最新写入的帧覆盖最旧的帧数据。

目标检测模块230从帧缓存队列连续读取图像帧并进行处理，以确定包含目标的关键帧。目标检测模块230可以包括例如由卷积积分网络实现的模块，利用深度学习算法对视频进行目标检测、跟踪及去重处理，并确定包含目标的关键帧。

目标分析模块240可以以预定间隔(例如，5秒间隔)读取帧缓存队列220中的关键帧，以进行目标属性分析。在这里，可以通过各种手段确保由目标检测模块230确定的关键帧在被目标分析模块240读取之前，不被新输入的图像盖写。例如，当帧缓存队列是环形存储队列的情况下，目标检测模块230可以对其所确定的关键帧进行标记。在解码器源源不断向环形帧队列中写入帧数据时，如果遇到被标记的关键帧，可以跳过该帧进行新图像帧的盖写。相应地，目标分析模块在读取了该关键帧之后，可以取消上述关键帧标记，以使其能够被新图像帧盖写。另举一例，可以将确定的关键帧转存到帧缓存队列中的特定区域，例如专门划分的关键帧存储区，随后目标分析模块240可以从该特定区域内读取一定时间内(例如，前5秒内)累积的关键帧。

目标检测模块230需要持续地从帧缓存队列中读取由解码器持续输入的图像帧进行处理，从而确定关键帧。关键帧的确定需要对图像帧进行目标检测，从帧图像中提取需要进行分析的目标的位置和类别等信息，还需要对提取出的目标进行跟踪和去重处理，从一系列帧中确定同一目标中质量最好帧作为关键帧。目标分析模块240仅针对确定的关键帧进行属性分析，从而避免分析模块的重复运行，提高分析质量并减小分析运算量。

为了确定关键帧，目标检测模块230需要进行目标检测和目标筛选。因此，在一个实施例中，目标检测模块230还可以包括相应的子单元。图3示出了根据本发明另一个实施例的视频分析系统的示意图。如图3所示，目标检测模块330可以包括目标检测单元331以及目标筛选单元332。目标检测单元331可以确定从所述帧缓存队列中读取的当前图像帧中的目标类别和位置信息，而目标筛选单元332则可根据在前处理图像帧和当前图像帧中的目标类别和位置信息筛选出针对每一目标的有用相关信息，并对包含目标的关键帧加以标记。针对每一目标的有用相关信息包括该目标的编号、所属关键帧的帧号以及该目标在所属关键帧中的位置信息。

进一步地，视频分析系统300还可以包括待分析目标库350，用于存储由所述目标筛选单元332筛选出的针对每一目标的有用相关信息。由于该待分析目标库350仅存储视频分析中的相关操作的结果，而非图像帧本身，因此其容量相对较小，例如几个MB。虽然图中将待分析目标库350示出为独立的组件，但其可以是其他模块或缓存的一部分，例如，与帧缓存队列320一并构成片上缓存。

相应地，目标分析模块340可以从待分析目标库350中读取针对每一目标的有用相关信息并据此从帧缓存队列320中读取在预定间隔期间(即，在前一次读取至本次读取的持续时间内)标记的关键帧，并对读取的关键帧进行重新标记以使其能够被新图像帧盖写。随后，目标分析模块340可以根据从待分析目标库350获取的信息对关键帧进行分析操作，例如，可以从帧图像中提取出目标子图，利用深度学习算法对其中每一个目标分别进行分析，分析内容根据应用场景不同而变化，常见的包括目标识别比对，目标属性分析等。

视频分析系统300还可以包括后续处理模块360，用于直接从所述帧队列缓存中读取由所述目标分析模块读取的关键帧，从所述待分析目标库中读取所述关键帧的所有属性分析结果，以用于后续处理。后续处理可以包括如下的至少一项：在读取的关键帧中显示其所包含目标的目标属性；以及将所述关键帧及其关联属性分析结果存储至本地或远程数据库等。

在此，目标检测模块330涉及对目标类别的鉴别，例如，使用卷积神经网络鉴别输入图像帧中特定子图中所包含的是行人、还是车等的类别。而目标分析模块340则是在确定目标类别后对该目标属性的分析。在此，属性可以指代由人指定名称并能在图像中观察到的特性，它们是有价值的新的语义线索。实际需求中常常要做目标比对、目标检索、大数据分析等等，都需要提取出目标的属性。例如，如果后续应用需要在视频中搜索出所有沪A车牌号的车，那么可以对所有车(目标类型为车)都预先进行车牌识别(属性分析)，将分析结果存储至本地或远程数据库，以方便后续搜索。

图4示出了特定目标类型的目标属性分析结果的显示例。在此，图4所示的原始图像帧可以输入目标检测模块330，后者确定该帧的包括目标(图中蓝衣人)的关键帧(即，在一系列图像帧中具有最优目标质量的帧)，随后目标分析模块340可以对该关键帧进行分析，以获取该目标的相关属性，例如，图中示出的性别、年龄、体态和衣着特征等。

以上结合图2和图3描述了本发明的视频分析系统的示意图，如下将结合图5描述上述系统的一个具体的视频结构化分析软件多线程流程例。如图5所示，其中帧队列缓存可由各个线程(即，线程1-3)共享，用于存储待处理的视频帧。

线程1进行目标检测、跟踪和去重处理，以便提取图像帧中需存入待分析目标库的信息。具体地，线程1首先从帧队列缓存520中读取当前处理图像帧；将该帧缩放成目标检测模块所需大小；进行目标检测并输出当前帧中目标类别和位置等信息；根据当前待分析目标库中目标和当前帧中目标信息进行跟踪和去重等操作。随后，将包括每一目标编号、所属帧号和位置信息输入待分析目标库。

线程2可以从待分析目标库中提取目标编号、所属帧号和位置信息，从帧队列缓存520中读取相应的图像帧，并依次进行属性分析。具体地，线程2依次根据目标编号读取目标帧号和位置信息，从帧队列缓存中读取关键帧，提取目标子图；将目标子图缩放成后续模块所需大小；对目标子图进行识别和属性分析等处理；并且输出图像帧中目标的分析结果。

线程3对分析结果进行后续处理，例如图中所示的分析结果的显示和存储。具体地，线程3直接获取线程2输出的目标编号、所属帧号和位置信息和目标属性分析结果，并从帧队列缓存520中读取当前处理图像帧(即，每一个目标的当前关键帧)，从目标属性分析结果中找到该帧所有属性分析结果；显示帧中目标属性，并存储至本地或远程数据库。

在此，线程1和线程2彼此独立进行操作。在一个实施例中，线程1全速运行，线程2每隔预定时间(例如，5秒)运行一次。线程1和2的操作依靠待分析目标库进行关联。待分析目标库中存储了自从上次目标分析后到现在检测到需要分析的所有目标。例如，第5秒时线程2进行一次目标分析，分析对象是第0～5秒间线程1输出的所有目标；而后第10秒线程2再进行目标分析，分析对象是线程1在5～10秒间输出的所有目标。间隔时间可以根据需求分析和实际效果进行任意修改。例如，间隔时间可以根据每个目标在场景中存留的平均时间以及系统的处理能力来却确定。另外，每次属性分析也需要一定的时间，例如每分析20个目标需要2-3秒。线程2输出1个目标结果后，线程3就立刻对其进行例如显示或存储的后续操作。

如上所述，为了确保目标分析模块对一定时间段内关键帧的有效读取，需要以一定的机制保证关键帧在被读取前不被新存入的图像帧所盖写。在环形缓存队列中可以采用标记关键帧来对其进行跳过。上述要求也才采用分区存储的形式来满足。在具体实现中，帧缓存队列中的图像帧具有用于标记其能否被盖写的生命标记值。某一图像帧的生命标记值在所述目标检测模块确定该图像帧为关键帧变更为表示该图像帧不可盖写的值。关键帧的生命标记值在目标读取模块读取后再变更为表示该图像帧可被盖写的值。例如，生命标记值不为零(例如，正整数)，则表示该帧不可盖写；若生命标记值为零，则表示可被盖写。当帧缓存队列是环形存储队列时，并且在关键帧被目标分析模块读取之前跳过关键帧进行新图像帧的盖写。显然，环形队列的跳过盖写有着比分区存储方案更高的效率，且系统开销也就越小。

在一个优选实施例中，可以对生命标记值进行进一步地操作，以提升视频分析系统的整体运行效率。针对所述生命标记值还可以进行如下至少一项的操作：响应于图像帧被跳过一次盖写，将该图像帧的生命标记值变更为易于被盖写的值；以及响应于图像帧被读取确定是否为关键帧，将该图像帧的生命标记值变更为不易被盖写的值。例如，在生命标记值越大表示该帧越不易被盖写，为零则可被盖写的情况下，可以在每跳过一次盖写时减1，而在被目标检测模块读取时加1。

在此，在目标检测模块的处理速度跟得上图像帧输入速度的情况下，目标检测模块可以一直读取新输入的图像帧(例如，基于帧队列中当前队首的位置)，被目标检测模块读取的图像帧的生命标记值加1能够避免在该帧被确定为包含目标的关键帧之前就被盖写。而某一图像帧的生命标记值在该帧被跳过一次盖写后减1能够与上述读取后加1相配合，避免图像帧长期占据帧队列中的存储位置。

【帧缓存队列的缓存例】

在一个优选实施例中，对本发明的帧缓存队列的缓存机制做出如下具体规定。

在异步帧队列中每一项包括该项在所述异步帧队列中的编号(id)、以及一个生命(life)标记，并且在存入图像帧后包括该图像帧的帧编号(fid)。将生命标记值设为非负整数且初始为0。生命标记为0代表该项内容失效，可以进行覆盖。整个队列为循环队列，于是当队首位置位于id＝队列长度-1项时，其下一项返回至id＝0的项。

当向队列中插入新帧时，若当前队首项生命标记值为0(如上所述，0表示该项内容失效，可以进行覆盖)，则立即插入当前队首项，且当前队首生命值增加1，同时队首位置指向下一项；若当前队首项生命标记值大于0(大于0表示该项内容尚有效)，则当前队首项生命值减1，队首位置指向下一项。重复执行以上插入操作直到成功插入。

当目标检测模块从队列中读取帧时，从当前队首-1项读取，即从前一插入帧进行读取。若当前队首-1项生命标记值大于0，则取出当前队首-1项所在帧，并且该项生命标记值+1；如果队首-1项的生命标记值<0，则读取失败，等待10ms后再次尝试。在这里，生命标记值+1指代正进行目标检测的帧后续还有被需要的可能。而因队首-1项的生命标记值<0导致读取失败的情况则通常发生在帧队列存储初始的阶段。

当目标筛选模块根据目标检测的结果更新待分析目标库时，如旧目标的所在关键帧编号需更新至最新检测帧，则该最新检测帧所在位置的生命标记值+1；如在最新检测帧发现新的待分析目标，则最新检测帧位置的生命标记值+1。每次更新待分析目标库时，每一帧最多增加1一生命标记值。换句话说，即便某一帧是一个以上目标的最新关键帧，其生命标记值仍然只加1。这是因为后续目标分析模块对每一帧的读取是一次性获取该帧全部内容的。

上述的目标检测模块和目标筛选模块可以对应于如上线程1中所涉及的帧图像缩放、目标检测和去重操作。在经由目标筛选模块对缓存帧进行关键帧标记之后，后续的线程2则可仅针对关键帧进行操作。

于是，当目标分析模块从队列中读取帧时，若该帧生命标记值大于0，可认为该帧是包括新目标或是旧目标的最新信息的关键帧，则直接读取该帧，并将该帧生命标记值置为0；若该帧生命标记值小于0，则读取失败，跳过该目标。目标分析模块于是对读取的该关键帧进行目标子图处理、识别和属性分析等。随后，线程3就可以为每一个已有的旧目标或新目标存储其相应的关键帧和属性分析结果，例如将信息存储至本地或远程数据库，以供实时或后续使用。

如下将结合图6A-H对上述规则的具体适用进行描述。图6A-H是根据以上规则进行队列操作的简化示意图。为了方便说明，图中以队列长度为3的循环队列为例，分别显示了从解码器插入新帧、目标检测模块从队列读取帧、目标筛选模块更新目标库、目标分析模块读取帧这几种情况下队列状态的变化。

帧队列的每一项包括编号(id)和生命(life)标记。在图6A所示的初始状态中，帧队列中每一项的生命值都为零，且队首位于第0帧。

随后如图6B所示，解码器输入第0帧。根据规则，由于当前队首项(第0项)生命标记值为0，则立即将第0帧(fid＝0)插入当前队首项，该项的生命值加1，同时队首项指向下一项(即，第1项)。

随后，如图6C所示，目标检测模块取出第0帧，同时解码器输入第1帧。根据规则，当目标检测模块从队列中读取帧时，从当前队首-1项读取，即从id＝1-1＝0项读取。由于第0项中存储的第0帧生命标记值大于0，因此取出该项中存储的第0帧，并将该项的生命值加1，即life＝2。由于当前队首项(id＝1项)生命标记值为0，则立即将第1帧(fid＝1)插入当前队首项，该项的生命值加1，同时队首项指向下一项(即，第2项)。

之后，如图6D所示，第0帧完成目标检测和筛选，更新待分析目标库(第0帧有目标)，同时目标检测模块取出第1帧。根据规则，当目标筛选模块根据目标检测结果更新待分析目标库时，如果该帧有目标(旧目标所在最新检测帧或有新的待检测目标)，则该帧生命标记值加1。因此第0帧的生命标记值加1，即，life＝3。同时，目标检测模块从当前队首-1项读取，即从第1项读取。由于第1项中存储的第1帧生命标记值大于0，因此取出该项中存储的第1帧，并将该项的生命值加1，即life＝2。另外，由于没有新的帧插入，因此队首位置不变，仍为指向第2项。

随后，如图6E所示，目标分析模块取出第0帧，同时解码器输入第2帧。根据规则，目标分析模块根据待分析目标库内存储的目标检测结果，读取被判定为有目标的第0帧。由于第0帧的生命标记值大于0，则直接读取第0帧，并将其生命标记值置为0。同时，由于当前队首项(第2项)生命标记值为0，则立即将第2帧(fid＝2)插入当前队首项，该项的生命值加1，同时队首项指向下一项(即，回到第0项)。

随后如图6F所示，解码器输入第3帧。由于当前队首项(第0项)生命标记值已被置为0，则立即将第3帧(fid＝3)插入当前队首项，该项的生命值加1，同时队首项指向下一项(即，第1项)。

随后，如图6G所示，第1帧完成目标检测和筛选，更新待分析目标库(第1帧无目标)，同时目标检测模块取出第3帧。根据规则，当目标筛选模块根据目标检测结果更新待分析目标库时，如果该帧无目标，则不更新该帧生命标记值。因此第1帧的生命标记值保持不变，仍为life＝2。同时，目标检测模块从当前队首-1项读取，即从第0项读取。由于第0项中存储的第3帧生命标记值大于0，因此取出该项中存储的第3帧，并将该项的生命值加1，即life＝2。另外，由于没有新的帧插入，因此队首位置不变，仍为指向第1项。

随后如图6H所示，解码器输入第4帧。由于当前队首项(第1项)生命标记值为2大于0，则将当前队首项的生命标记值减1(life＝1)，并将队首移至下一项(第2项)。由于当前队首项(第2项)生命标记值为1大于0，则将当前队首项的生命标记值减1(life＝0)，并将队首移至下一项(返回第0项)。由于当前队首项(第0项)生命标记值为2大于0，则将当前队首项的生命标记值减1(life＝1)，并将队首移至下一项(第1项)。由于当前队首项(第1项)生命标记值为1大于0，则将当前队首项的生命标记值减1(life＝0)，并将队首移至下一项(第2项)。由于当前队首项(第2项)生命标记值为0，则立即将第4帧(fid＝4)插入当前队首项，该项的生命值加1，同时队首项指向下一项(即，第0项)。

如上结合图6描述了根据规则进行队列操作的例子。通过针对各类操作对生命标记值进行适当加减，能够以最小的开销实现目标分析模块对关键帧的读取，并且保证帧缓存队列缓存新图像帧的能力。

应该理解的是，在实际操作中，循环队列的长度通常会大于3，例如存储帧率为20FPS的1秒视频流所需的25的长度(例如，还需同时考虑到进行目标属性分析的时间间隔)。

同样应该理解的是，可以根据图像帧输入速率、目标检测模块的检测能力、目标分析模块进行属性分析的间隔等合理安排对生命标记值的增减。例如，在目标检测模块能即刻完成关键帧确认或是远小于帧缓存队列一个存储循环的情况下，可以不对目标检测的图像帧进行生命标记值增加的操作。再例如，在目标属性分析间隔较长(例如，10秒)的情况下，为了确保关键帧不会因为跳过使生命标记值减1而被盖写，可以对确定的关键帧的生命标记值增加更多的值，例如，加3。换句话说，上述生命标记值在哪些操作下增减以及如何增减，可以根据实际应用和硬件处理水平进行合理配置。

另外，虽然例子中给出的是基于操作对生命标记值的增减，但本领域技术人员应该理解的是，上述生命标记值的正负设置可以正好相反，或者将其设置为可盖写、待定、不可盖写三种状态等。这些变化都位于本发明原理所涵盖的范围内。

在实际使用中，上述视频分析系统的部分或全部功能可由数字电路实现。目标检测模块和目标分析模块的至少一部分由数字电路实现，在一个实施例中，本发明的视频分析系统可以在包括通用处理器、存储器和数字电路的片上系统(SoC)实现。图7示出了可用于实现本发明的目标检测系统的SoC的一个例子。

在一个实施例中，可由SoC上的数字电路部分(例如，FPGA)来实现本系统所需的深度学习网络，例如卷积神经网络。例如，使用FPGA来实现本发明的视频分析系统中的目标检测模块和目标分析模块的部分或全部。由于CNN进行的是并行计算，因此通过逻辑硬件，尤其是FPGA来实现目标检测和属性分析功能具有天然的计算优势，并且相比于软件执行，能够实现更低的功耗。

在一个实施例中，可以将通过在前训练得到的有关CNN的全部参数都存储在片上系统的存储器(例如，主存储器)中，在随后进行目标检测时，首先从主存储器中读取CNN各层的参数来对输入图像执行神经网络计算，由此得到非线性特征。随后，将大量连续特征(例如，针对特定区域的所有通道的特征)一次性地从主存储器读入逻辑硬件的缓存模块。这样可以减少计算下一个区域时的读取数据造成的延时，并且增加每次读取主存的利用率，由此提升整体的计算效率。逻辑硬件的缓存模块可以包括本发明中的帧缓存队列以及待分析目标库，通过对图像帧参数(例如，生命标记值)的合理设置，能够高效地实现对图像帧的最大化存入以及关键帧的适时保留，从而在不增加缓存要求的情况下提升视频分析效率。

以上已结合图2-7描述了根据本发明的视频分析系统及其优选实现。可以理解的是，本发明的视频分析系统所包括的各部分，例如帧缓存队列、目标检测模块和目标分析模块可以全部或部分地由硬件实现，也可全部或部分地由软件实现。在一个实施例中，帧缓存队列可以是逻辑硬件的缓存模块，目标检测模块和目标分析模块中的深度学习模块可以由逻辑硬件实现，其具体操作则可在处理器控制下以线程的形式实现。

如下将根据图8对基于本发明的相应的视频分析方法进行描述。

图8示出了根据本发明一个实施例的视频分析方法的流程图。如图所示，在步骤S810，将持续输入的视频图像帧存储至帧缓存队列。在步骤S820，从帧缓存队列连续读取图像帧并进行处理，以确定包含目标的关键帧并加以标记。在步骤S830，以预定间隔读取所述帧缓存队列中标记的关键帧，以进行目标属性分析，其中关键帧在被读取用于目标属性分析之前不被新图像帧盖写。在一个实施例中，关键帧可以在被读取用于目标属性分析之后能被新图像帧盖写。

上述图像帧处理步骤S820还可以包括目标检测及其去重和跟踪步骤。在一个实施例中，步骤S820可以包括：确定从所述帧缓存队列中读取的当前图像帧中的目标类别和位置信息；以及根据在前处理图像帧和当前图像帧中的目标类别和位置信息筛选出针对每一目标的有用相关信息，并对包含目标的关键帧加以标记，所述针对每一目标的有用相关信息包括该目标的编号、所属关键帧的帧号以及该目标在所属关键帧中的位置信息。相应地，目标分析步骤S830可以包括根据针对每一目标的有用相关信息从所述帧缓存队列中读取在所述预定间隔期间标记的关键帧，并对读取的关键帧进行重新标记以使其能够被新图像帧盖写。

本发明的视频分析方法还可以从所述帧队列缓存中读取由所述目标分析模块读取的关键帧并获取所述关键帧的所有属性分析结果，以用于后续处理，所述后续处理包括如下的至少一项：在读取的关键帧中显示其所包含目标的目标属性；以及将所述关键帧及其关联属性分析结果存储至本地或远程数据库。

在一个实施例中，图像帧可以具有用于标记其是否能被盖写的参数。例如，帧缓存队列中的图像帧可以具有用于标记其能否被盖写的生命标记值。响应于图像帧被确定为关键帧，该图像帧的生命标记值变更为表示该图像帧不可盖写的值。相应地，响应于关键帧被读取以进行目标属性分析，该关键帧的生命标记值变更为表示该关键帧可被盖写的值。

在帧缓存队列是环形存储队列的情况下，关键帧在被目标分析模块读取之前跳过关键帧进行新图像帧的盖写。针对生命标记值还可以进行如下至少一项的操作：响应于图像帧被跳过一次盖写，将该图像帧的生命标记值变更为易于被盖写的值；以及响应于图像帧被读取确定是否为关键帧，将该图像帧的生命标记值变更为不易被盖写的值。

应该理解的是，本发明的视频分析方法可以实现上述针对视频分析系统描述的任意操作，在此不再赘述。

图9示出了根据本发明一个实施例可用于实现上述视频分析方法的数据处理的计算设备的结构示意图。

参见图9，计算设备900包括存储器910和处理器920。

处理器920可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器920可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器920可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器910可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器920或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器910可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器910上存储有可处理代码，当可处理代码被处理器1020处理时，可以使处理器920执行上文述及的视频分析方法。

在一个实施例中，图7所示的SoC可以看做是图9所示计算设备的一个优选实现。

上文中已经参考附图详细描述了根据本发明的视频分析系统和方法。

【应用例】

下表为缓存容量2GB，输入视频流帧率25FPS，分别每隔5s和10s进行一次目标分析时，采用普通异步帧队列缓存和本发明中基于目标检测与跟踪的异步帧队列缓存机制的性能对比。由于同一个关键帧中有可能有多个待分析目标，故目标属性分析成功概率与关键帧获取成功概率略有区别，但在目标统计规律下分布均匀的情况下关键帧获取成功概率和目标属性分析成功概率基本呈线性关系。

由此可见，本发明中提出的基于目标检测和跟踪的异步帧队列缓存机制通过有效提高待分析目标所在帧在队列中的存留时间，充分利用有限的队列空间，在同样的缓存容量资源下，大幅提高了属性分析目标获取成功的概率和目标属性分析成功概率。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种视频分析系统，包括：

帧缓存队列，用于存储持续输入的视频图像帧；

目标检测模块，用于从所述帧缓存队列连续读取图像帧并进行处理，以确定包含目标的关键帧；以及

目标分析模块，用于以预定间隔读取所述帧缓存队列中的关键帧，以进行目标属性分析，

其中，所述帧缓存队列在所述关键帧被所述目标分析模块读取之前保持其不被新图像帧盖写，

其中，所述帧缓存队列中的图像帧具有用于标记其能否被盖写的生命标记值，

响应于图像帧被确定为关键帧，该图像帧的生命标记值变更为表示该图像帧不可盖写的值；

响应于关键帧被读取以进行目标属性分析，该关键帧的生命标记值变更为表示该关键帧可被盖写的值。

2.如权利要求1所述的系统，其中，所述目标分析模块在读取了所述帧缓存队列中的关键帧之后对所读取的关键帧进行标记以使其能够被新图像帧盖写。

3.如权利要求1所述的系统，其中，所述目标检测模块包括：

目标检测单元，用于确定从所述帧缓存队列中读取的当前图像帧中的目标类别和位置信息；以及

目标筛选单元，用于根据在前处理图像帧和当前图像帧中的目标类别和位置信息筛选出针对每一目标的有用相关信息，并对包含目标的关键帧加以标记，并且，

所述视频分析系统还包括：

待分析目标库，用于存储由所述目标筛选单元筛选出的针对每一目标的有用相关信息，所述针对每一目标的有用相关信息包括该目标的编号、所属关键帧的帧号以及该目标在所属关键帧中的位置信息。

4.如权利要求3所述的系统，其中，所述目标分析模块从所述待分析目标库中读取针对每一目标的有用相关信息并据此从所述帧缓存队列中读取在所述预定间隔期间标记的关键帧，并对读取的关键帧进行重新标记以使其能够被新图像帧盖写。

5.如权利要求4所述的系统，其中，所述待分析目标库与针对每一目标的有用相关信息相对应地存储由所述目标分析模块输出的目标属性分析结果，并且，

所述视频分析系统还包括：

后续处理模块，用于从所述帧缓存队列中读取由所述目标分析模块读取的关键帧，从所述待分析目标库中读取所述关键帧的所有属性分析结果，以用于后续处理。

6.如权利要求5所述的系统，其中，所述后续处理包括如下的至少一项：

在读取的关键帧中显示其所包含目标的目标属性；以及

将所述关键帧及其关联属性分析结果存储至本地或远程数据库。

7.如权利要求1所述的系统，其中，所述帧缓存队列是环形存储队列，并且在所述关键帧被所述目标分析模块读取之前跳过所述关键帧进行新图像帧的盖写。

8.如权利要求7所述的系统，其中，针对所述生命标记值还进行如下至少一项的操作：

响应于图像帧被跳过一次盖写，将该图像帧的生命标记值变更为易于被盖写的值；以及

响应于图像帧被读取确定是否为关键帧，将该图像帧的生命标记值变更为不易被盖写的值。

9.如权利要求1所述的系统，其中，所述目标检测模块和所述目标分析模块至少部分由卷积神经网络实现，并且所述视频分析系统至少部分由硬件实现。

10.一种视频分析方法，包括：

将持续输入的视频图像帧存储至帧缓存队列；

从所述帧缓存队列连续读取图像帧，以从所读取的图像帧中确定包含目标的关键帧；

以预定间隔读取所述帧缓存队列中标记的关键帧，以进行目标属性分析，

其中，所述关键帧被设置为在被读取以用于目标属性分析之前不被新图像帧盖写，

其中，所述帧缓存队列中的图像帧具有用于标记其能否被盖写的生命标记值，

响应于图像帧被确定为关键帧，该图像帧的生命标记值变更为表示该图像帧不可盖写的值；

响应于关键帧被读取以进行目标属性分析，该关键帧的生命标记值变更为表示该关键帧可被盖写的值。

11.如权利要求10所述的方法，其中，所述关键帧在被读取用于目标属性分析之后能被新图像帧盖写。

12.如权利要求10所述的方法，其中，从所述帧缓存队列连续读取图像帧，以确定包含目标的关键帧包括：

确定从所述帧缓存队列中读取的当前图像帧中的目标类别和位置信息；以及

根据在前处理图像帧和当前图像帧中的目标类别和位置信息筛选出针对每一目标的有用相关信息，并对包含目标的关键帧加以标记，所述针对每一目标的有用相关信息包括该目标的编号、所属关键帧的帧号以及该目标在所属关键帧中的位置信息。

13.如权利要求12所述的方法，其中，以预定间隔读取所述帧缓存队列中标记的关键帧，以进行目标属性分析还包括：

根据针对每一目标的有用相关信息从所述帧缓存队列中读取在所述预定间隔期间标记的关键帧，并对读取的关键帧进行重新标记以使其能够被新图像帧盖写。

14.如权利要求13所述的方法，还包括：

从所述帧缓存队列中读取为进行所述目标属性分析读取的关键帧并获取所述关键帧的所有属性分析结果，以用于后续处理，所述后续处理包括如下的至少一项：

在读取的关键帧中显示其所包含目标的目标属性；以及

将所述关键帧及其关联属性分析结果存储至本地或远程数据库。

15.如权利要求10所述的方法，其中，所述帧缓存队列是环形存储队列，并且在所述关键帧在为进行所述目标属性分析被读取之前跳过所述关键帧进行新图像帧的盖写。

16.如权利要求15所述的方法，还包括：

响应于图像帧被跳过一次盖写，将该图像帧的生命标记值变更为易于被盖写的值；以及

响应于图像帧被读取确定是否为关键帧，将该图像帧的生命标记值变更为不易被盖写的值。

17.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求10-16中任一项所述的方法。

18.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求10-16中任一项所述的方法。

Images