CN114494978A - 基于Pipeline的并行视频结构化推理方法及系统 - Google Patents

Abstract

本发明公开了基于Pipeline的并行视频结构化推理方法及系统，属于人工智能视觉分析技术领域，要解决的技术问题为串行链式解析导致视频结构化推理解析效率低，无法满足pipeline解析的并行处理。包括如下步骤：将Pipeline拆分为主Pipeline和分支Pipeline；通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；通过行人检测分支Pipeline对行人进行属性分析和特征提取，通过车辆检测分支Pipeline对车辆进行属性分析和特征提取；通过主Pipeline对行人分析结果和车辆分析结果进行汇总。

Description

基于Pipeline的并行视频结构化推理方法及系统

技术领域

本发明涉及人工智能视觉分析技术领域，具体地说是基于Pipeline的并行视频结构化推理方法及系统。

背景技术

随着人工智能的快速发展以及国家对于安防领域的重视，智能视觉技术作为安防领域的核心技术也得到了快速的发展，而视频结构化也是智能视觉研究领域的重点方向。视频结构化是指根据视频画面中呈现出的人、车、物、颜色、数字及其他属性特征，经过推理解析建立视频结构大数据平台。

视频结构化推理解析是需要将视频画面中符合要求的行人、车辆解析出来，并将结果发到下级服务。但是已有框架并没有提供带有并行合并pipeline结果属性的element，在视频结构化推理中只能串行解析每个模型获取对应信息。这样串行链式解析就会导致解析效率低。

串行链式解析导致视频结构化推理解析效率低，无法满足pipeline解析的并行处理，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供基于Pipeline的并行视频结构化推理方法及系统，来解决串行链式解析导致视频结构化推理解析效率低，无法满足pipeline解析的并行处理的问题。

第一方面，本发明的基于Pipeline的并行视频结构化推理方法，包括如下步骤：

将Pipeline拆分为主Pipeline和分支Pipeline，所述主Pipeline共多个且并行运行，所述分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline；

配置并初始化主Pipeline，所述主Pipeline用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人车辆推理结果以及行人图片和车辆图片；

配置并初始化行人检测分支Pipeline和车辆检测分支Pipeline，所述行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果，所述车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，所述主Pipeline用于将所述行人分析结果和车辆分析结果汇集为最终结果并返回下级服务；

通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；

以行人图片为输入，通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，并以车辆图片为输入，通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；

通过主Pipeline对行人车辆推理结果以及行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。

作为优选，所述主Pipeline中配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于以图片为输入，对行人和车辆进行推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；

所述行人检测分支Pipeline中配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；

所述车辆检测分支Pipeline中配置有车辆检测模型，所述车辆检测模型为基于深度学习构建的神经网络模型，用于以车辆图片为输入，对车辆进行属性分析和特征提取，得到车辆分析结果；

通过服务器显存的大小以及主Pipeline和分支Pipeline中模型的大小计算出可并行的主pipeline个数，所述主pipeline个数计算公式为：

其中，X_m表示服务器显存的大小，X_d表示主Pipeline和分支Pipeline中模型的大小，所述模型包括行人车辆检测模型、行人检测模型以及车辆检测模型；num为向下取整获取整数结果。

作为优选，所述主Pipeline包括如下模块：

视频流输入模块，所述视频流输入模块用于通过视频监控点和码流类型完成开流，获取视频源的rtsp流；

视频解码分帧模块，所述视频码分帧模块与所述视频流输入模块交互，用于对视频流进行分帧，得到多帧图片；

检测推理模块，所述检测推理模块与所述视频解码分帧模块交互，配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；

跟踪模块，所述跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆；

返回结果模块，所述返回结果模块与所述检测推理模块交互，用于对行人图片和车辆图片进行抠图处理，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人车辆推理结果以及行人分析结果和车辆分析结果汇总为最终结果并返回下级服务。

作为优选，所述行人检测分支Pipeline包括：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取行人图片；

行人属性及特征提取模块，所述行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；

结果返回模块，所述结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline。

作为优选，所述行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果。

作为优选，所述车辆检测分支Pipeline中配置有如下模块：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取车辆图片；

解码预处理模块，所述解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；

车辆属性分析和特征提取模块，所述车辆属性分析和特征提取模块中配置有车辆分析模型，所述车辆分析模型为基于深度学习构建的神经网络模型，用于通过所述车辆分析模型对车辆图片进行车辆属性分析和提取，输出车辆分析结果；

返回结果模块，所述返回结果模块用于将车辆分析结果分返回主Pipeline。

作为优选，所述车辆分析模型用于对车辆品牌进行属性识别，并用于对车牌进行属性识别，获取对应的特征值，得到车辆分析结果，通过对车辆进行识别获得车辆信息，所述车辆信息包括车辆颜色、车前物品、主驾是否打电话、主驾是否系安全带、副驾是否系安全带、车辆品牌、车辆型号、车辆年款以及车辆类型，通过对车牌进行识别获得车牌信息，所述车牌信息包括车牌号码和车牌位置坐标。

第二方面，本发明的基于Pipeline的并行视频结构化推理系统，其特征在于包括：

Pipeline拆分模块，所述Pipeline拆分模块用于将Pipeline拆分为主Pipeline和分支Pipeline，所述分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline；

分支Pipeline配置模块，所述分支Pipeline配置模块用于配置并初始化主Pipeline、行人检测分支Pipeline和车辆检测分支Pipeline，所述主Pipeline共多个且并行运行，用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人车辆推理结果以及行人图片和车辆图片，所述行人车辆推理结果包括目标名称和目标位置坐标，所述目标包括行人和车辆；所述行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；所述车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，所述主Pipeline用于将所述行人车辆推理结果以及行人分析结果和车辆分析结果汇集为最终结果，并返回下级服务；

推理模块，所述推理模块用于通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；用于以行人图片为输入、通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，用于以车辆图片为输入、通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；并用于通过主Pipeline对行人车辆推理结果以及行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。

作为优选，所述主Pipeline包括如下模块：

视频流输入模块，所述视频流输入模块用于通过视频监控点和码流类型完成开流，获取视频源的rtsp流；

视频解码分帧模块，所述视频码分帧模块与所述视频流输入模块交互，用于对视频流进行分帧，得到多帧图片；

检测推理模块，所述检测推理模块与所述视频解码分帧模块交互，配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到行人车辆推理结果以及行人图片和车辆图片；

跟踪模块，所述跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆；

返回结果模块，所述返回结果模块与所述检测推理模块交互，用于对行人图片和车辆图片进行抠图处理，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人分析结果和车辆分析结果汇总为最终结果并返回下级服务；

所述行人检测分支Pipeline包括：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取行人图片；

行人属性及特征提取模块，所述行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；

结果返回模块，所述结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline；

所述行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果；

所述车辆检测分支Pipeline中配置有如下模块：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取车辆图片；

解码预处理模块，所述解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；

车辆属性分析和特征提取模块，所述车辆属性分析和特征提取模块中配置有车辆分析模型，所述车辆分析模型为基于深度学习构建的神经网络模型，用于通过所述车辆分析模型对车辆图片进行车辆属性分析和提取提取，输出车辆分析结果；

返回结果模块，所述返回结果模块用于将车辆分析结果分返回主Pipeline；

所述车辆分析模型用于对车辆品牌进行属性识别，并用于对车牌进行属性识别，获取对应的特征值，得到车辆分析结果，通过对车辆进行识别获得车辆信息，所述车辆信息包括车辆颜色、车前物品、主驾是否打电话、主驾是否系安全带、副驾是否系安全带、车辆品牌、车辆型号、车辆年款以及车辆类型，通过对车牌进行识别获得车牌信息，所述车牌信息包括车牌号码和车牌位置坐标。

作为优选，所述Pipeline拆分模块用于通过服务器显存的大小以及主Pipeline和分支Pipeline中模型的大小计算出可并行的主pipeline个数，所述主pipeline个数计算公式为：

其中，X_m表示服务器显存的大小，X_d表示主Pipeline和分支Pipeline中模型的大小，所述模型包括行人车辆检测模型、行人检测模型以及车辆检测模型；num为向下取整获取整数结果。

本发明的基于Pipeline的并行视频结构化推理方法及系统具有以下优点：

1、通过拆分pipeline的方法并行处理行人与车辆检测，主pipeline调用分支pipeline的推理结果将最终结果返回到下级服务，该过程并行处理提高了解析效率，通过拆分pipeline，使得不同分支pipeline可灵活组合与扩充，提高了算法服务的灵活性，便于并行编排；

2、通过服务器显存大小和深度学习训练出的模型大小计算出可并行的主pipeline个数，多个主pipeline并行运行，提高了算法效率，并对主pipeline个数进行了精准计算，提供了适配的主pipeline，避免了不必要的资源浪费；

3、住并只初始化一个行人pipeline分支和一个车辆pipeline分支减少了初始化pipeline加载模型占用的GPU资源，极大的节约了资源。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

图1为实施例1基于Pipeline的并行视频结构化推理方法的工作原理框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供基于Pipeline的并行视频结构化推理方法及系统，用于解决串行链式解析导致视频结构化推理解析效率低，无法满足pipeline解析的并行处理的技术问题。

实施例1：

本发明基于Pipeline的并行视频结构化推理方法，包括如下步骤：

S100、将Pipeline拆分为主Pipeline和分支Pipeline，所述主Pipeline共多个且并行运行，所述分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline；

S200、配置并初始化主Pipeline，所述主Pipeline用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人图片和车辆图片；

配置并初始化行人检测分支Pipeline和车辆检测分支Pipeline，所述行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果，所述车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，所述主Pipeline用于将所述行人分析结果和车辆分析结果汇集为最终结果并返回下级服务；

S300、通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；

S400、以行人图片为输入，通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，并以车辆图片为输入，通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；

S500、通过主Pipeline对行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。

本实施例中，主Pipeline中配置有行人车辆检测模型，行人车辆检测模型为基于深度学习构建的神经网络模型，用于以图片为输入，对行人和车辆进行推理分类，得到行人图片和车辆图片；行人检测分支Pipeline中配置有行人检测模型，行人检测模型为基于深度学习构建的神经网络模型，用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；车辆检测分支Pipeline中配置有车辆检测模型，车辆检测模型为基于深度学习构建的神经网络模型，用于以车辆图片为输入，对车辆进行属性分析和特征提取，得到车辆分析结果。

在步骤S100中将pipeline拆分成不同的pipeline分支，进行行人和车辆的并行处理，其中，主pipeline共多个且并行处理，行人检测分支pipeline和车辆检测分支pipeline各一个，在拆分时需要确定主pipeline的个数。

本实施例中，根据服务器提供的显存大小X_m以及深度学习训练出的模型大小X_d，那么可以计算出并行的主pipeline个数为：

num为向下取整获取整数结果。根据计算结果初始化并行的主pipeline个数。其中每个主pipeline继承自管理多个element的bin容器，为服务提供一个总线用于传输消息。当pipeline中没有数据时，各element处于等待状态，直到出现待处理数据便处于工作状态。初始化主pipeline的同时在分别初始化一个行人pipeline分支和一个车辆pipeline分支，行人pipeline分支和车辆pipeline分支并行处理行人和车辆目标。

主Pipeline包括的构成元素包括如下模块：视频流输入模块、视频解码分帧模块、检测推理模块、跟踪模块以及返回结果模块。

视频流输入模块用于通过视频监控点和码流类型完成开流，获取视频源的rtsp流。视频码分帧模块利用探针实现硬件解码功能，将传统的缓冲区通过硬件缓冲区ID由一个element传递到另一个element，用于对视频流进行分帧，得到多帧图片。

检测推理模块与视频解码分帧模块交互，配置有行人车辆检测模型，行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到目标名称和目标位置坐标，目标包括行人和车辆，并得到行人图片和车辆图片。

跟踪模块，跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆。

返回结果模块与检测推理模块交互，用于对行人图片和车辆图片进行抠图处理以缩小图片，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人车辆推理结果以及行人分析结果和车辆分析结果汇总为最终结果并返回下级服务。

行人检测分支Pipeline包括图片源输入模块、行人属性及特征提取模块以及结果返回模块，图片源输入模块用于从主Pipeline中获取行人图片；行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline。行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果。

该行人检测分支pipeline作为图片处理pipeline同步返回检测数据，图片源输入模块为主pipeline检测到的行人通过抠图得到的小图，经过图片预处理加载到pipeline的数据源元件。行人属性及特征提取模块主要对行人性别、年龄、是否戴口罩、是否戴眼镜等属性检测，获取该行人的特征值。返回结果模块主要返回缓存中检测到的行人属性和特征值检测结果。该过程只对特定的图片目标检测处理，简化的处理过程。

车辆检测分支Pipeline中配置有如下模块：图片源输入模块、解码预处理模块、车辆属性分析和特征提取模块以及返回结果模块，图片源输入模块用于从主Pipeline中获取车辆图片；解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；车辆属性分析和特征提取模块中配置有车辆分析模型，车辆分析模型为基于深度学习构建的神经网络模型，用于通过车辆分析模型对车辆图片进行车辆属性分析和提取，输出车辆分析结果；返回结果模块用于将车辆分析结果分返回主Pipeline。

车辆检测分支Pipeline输入源为主pipeline检测到的车辆通过抠图获取到的小图，经过图片预处理裁剪、归一化成标准大小的图片加载到车辆检测pipeline的数据源元件。车辆属性分析和特征提取模块中涉及到多模型处理，将车辆品牌和属性识别推理作为一次推理，车牌检测、识别作为二次推理。车辆品牌/属性识别模型获取车辆信息和车牌信息，车辆信息包括车辆颜色、车前物品、主驾是否打电话、主驾是否系安全带、副驾是否系安全带、、车辆品牌、车辆型号、车辆年款以及车辆类型等信息，车牌信息包括车牌号码、车牌位置坐标等信息。车牌检测、识别通过读取配置参数gie-unique-id和class_ids跳过pipeline中的element来过滤模型数据。车牌检测过程中将检测的车牌抠图再贴图到原图上，该过程利用的是发到车辆分支pipeline的车辆小图，这样就避免了以往对大图中多个车辆的车牌抠图贴图图片大小限制问题。

本实施例中主Pipeline和分支Pipeline中元素配合将结构化视频解码分帧获取待解析图片，然后进行行人/车辆推理检测、跟踪处理，将满足条件的目标在进行行人属性(如年龄、性别、附属物(是否戴眼镜、口罩))提取，然后再进行车辆属性、车辆颜色、车牌识别等特征提取。

在实际应用中，主pipeline异步返回视频检测结果，并在返回结果模块调用同步图片检测任务。主pipeline将检测到的行人小图作为输入源发送到行人检测pipeline分支，将检测到的车辆小图作为输入源发送到车辆检测pipeline分支。行人检测分支通过图片推理同步返回行人属性、行人特征结果。车辆检测分支通过推理后将车辆品牌、车辆属性、检测到的车牌位置坐标等信息同步返回到图片检测任务。

本实施例的方法实现了pipeline并行处理视频流，将pipeline拆分成不同的pipeline分支，进行行人和车辆的并行处理。由于目前框架没有提供能够实现pipeline并行处理行人和车辆的element，以往的基于Pipeline的视频解析只能通过跳过element实现不同模型的串行解析，主要过程是先将结构化视频解码分帧获取待解析图片，然后进行行人/车辆推理检测、跟踪处理，将满足条件的目标在进行行人属性(如年龄、性别、附属物(是否戴眼镜、口罩))提取，然后再进行车辆属性、车辆颜色、车牌识别等特征提取，最终将各个模块的处理放在同一个pipeline管道中，其中pipeline中图片使用同一块内存传递解析。本发明通过拆分pipeline的方式简化了pipeline组织结构，将行人属性检测和车辆属性检测分别放在分支pipeline中，最后主pipeline通过调用分支pipeline的检测结果，实现pipeline并行处理的目的。

该方法简化了视频结构化检测结构，对于行人检测模型和车辆检测模型只需创建一次，减少了模型加载占用GPU资源，通过读取配置文件的参数可以过滤不需要检测的模型类别和模型数据，便于编排。

实施例2：

本发明基于Pipeline的并行视频结构化推理系统，包括Pipeline拆分模块、分支Pipeline配置模块以及推理模块。

Pipeline拆分模块用于将Pipeline拆分为主Pipeline和分支Pipeline，分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline。

分支Pipeline配置模块用于配置并初始化主Pipeline、行人检测分支Pipeline和车辆检测分支Pipeline，主Pipeline共多个且并行运行，用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人车辆推理结果以及行人车辆推理结果以及行人图片和车辆图片，行人车辆推理结果包括目标名称和目标位置坐标，目标包括行人和车辆；行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，主Pipeline用于将行人车辆推理结果以及行人分析结果和车辆分析结果汇集为最终结果，并返回下级服务。

推理模块用于通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；用于以行人图片为输入、通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，用于以车辆图片为输入、通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；并用于通过主Pipeline对行人车辆推理结果以及行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。

本实施例中，主Pipeline包括的构成元素包括如下模块：视频流输入模块、视频解码分帧模块、检测推理模块、跟踪模块以及返回结果模块。

视频流输入模块用于通过视频监控点和码流类型完成开流，获取视频源的rtsp流。视频码分帧模块利用探针实现硬件解码功能，将传统的缓冲区通过硬件缓冲区ID由一个element传递到另一个element，用于对视频流进行分帧，得到多帧图片。

检测推理模块与视频解码分帧模块交互，配置有行人车辆检测模型，行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到目标名称和目标位置坐标，目标包括行人和车辆，并得到行人图片和车辆图片。

跟踪模块，跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆。

返回结果模块与检测推理模块交互，用于对行人图片和车辆图片进行抠图处理，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人车辆推理结果以及行人分析结果和车辆分析结果汇总为最终结果并返回下级服务。

行人检测分支Pipeline包括图片源输入模块、行人属性及特征提取模块以及结果返回模块，图片源输入模块用于从主Pipeline中获取行人图片；行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline。行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果。

该行人检测分支pipeline作为图片处理pipeline同步返回检测数据，图片源输入模块为主pipeline检测到的行人通过抠图得到的小图，经过图片预处理加载到pipeline的数据源元件。行人属性及特征提取模块主要对行人性别、年龄、是否戴口罩、是否戴眼镜等属性检测，获取该行人的特征值。返回结果模块主要返回缓存中检测到的行人属性和特征值检测结果。该过程只对特定的图片目标检测处理，简化的处理过程。

车辆检测分支Pipeline中配置有如下模块：图片源输入模块、解码预处理模块、车辆属性分析和特征提取模块以及返回结果模块，图片源输入模块用于从主Pipeline中获取车辆图片；解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；车辆属性分析和特征提取模块中配置有车辆分析模型，车辆分析模型为基于深度学习构建的神经网络模型，用于通过车辆分析模型对车辆图片进行车辆属性分析和提取，输出车辆分析结果；返回结果模块用于将车辆分析结果分返回主Pipeline。

车辆检测分支Pipeline输入源为主pipeline检测到的车辆通过抠图获取到的小图，经过图片预处理裁剪、归一化成标准大小的图片加载到车辆检测pipeline的数据源元件。车辆属性分析和特征提取模块中涉及到多模型处理，将车辆品牌和属性识别推理作为一次推理，车牌检测、识别作为二次推理。车辆品牌/属性识别模型获取车辆信息和车牌信息，车辆信息包括车辆颜色、车前物品、主驾是否打电话、主驾是否系安全带副驾是否系安全带、车辆品牌、车辆型号、车辆年款以及车辆类型等信息，车牌信息包括车牌号码、车牌位置坐标等信息。车牌检测、识别通过读取配置参数gie-unique-id和class_ids跳过pipeline中的element来过滤模型数据。车牌检测过程中将检测的车牌抠图再贴图到原图上，该过程利用的是发到车辆分支pipeline的车辆小图，这样就避免了以往对大图中多个车辆的车牌抠图贴图图片大小限制问题。

本实施例可执行实施例1公开的方法，主Pipeline和分支Pipeline中元素配合将结构化视频解码分帧获取待解析图片，然后进行行人/车辆推理检测、跟踪处理，将满足条件的目标在进行行人属性(如年龄、性别、附属物(是否戴眼镜、口罩))提取，然后再进行车辆属性、车辆颜色、车牌识别等特征提取。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.基于Pipeline的并行视频结构化推理方法，其特征在于包括如下步骤：

将Pipeline拆分为主Pipeline和分支Pipeline，所述主Pipeline共多个且并行运行，所述分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline；

配置并初始化主Pipeline，所述主Pipeline用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人车辆推理结果以及行人图片和车辆图片；

配置并初始化行人检测分支Pipeline和车辆检测分支Pipeline，所述行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果，所述车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，所述主Pipeline用于将所述行人分析结果和车辆分析结果汇集为最终结果并返回下级服务；

通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；

以行人图片为输入，通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，并以车辆图片为输入，通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；

通过主Pipeline对行人车辆推理结果以及行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。

2.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述主Pipeline中配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于以图片为输入，对行人和车辆进行推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；

所述行人检测分支Pipeline中配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；

所述车辆检测分支Pipeline中配置有车辆检测模型，所述车辆检测模型为基于深度学习构建的神经网络模型，用于以车辆图片为输入，对车辆进行属性分析和特征提取，得到车辆分析结果；

通过服务器显存的大小以及主Pipeline和分支Pipeline中模型的大小计算出可并行的主pipeline个数，所述主pipeline个数计算公式为：

其中，X_m表示服务器显存的大小，X_d表示主Pipeline和分支Pipeline中模型的大小，所述模型包括行人车辆检测模型、行人检测模型以及车辆检测模型；num为向下取整获取整数结果。

3.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述主Pipeline包括如下模块：

视频流输入模块，所述视频流输入模块用于通过视频监控点和码流类型完成开流，获取视频源的rtsp流；

视频解码分帧模块，所述视频码分帧模块与所述视频流输入模块交互，用于对视频流进行分帧，得到多帧图片；

检测推理模块，所述检测推理模块与所述视频解码分帧模块交互，配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到目标名称和目标位置坐标，并得到行人图片和车辆图片，所述目标包括行人和车辆；

跟踪模块，所述跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆；

返回结果模块，所述返回结果模块与所述检测推理模块交互，用于对行人图片和车辆图片进行抠图处理，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人车辆推理结果以及行人分析结果和车辆分析结果汇总为最终结果并返回下级服务。

4.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述行人检测分支Pipeline包括：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取行人图片；

行人属性及特征提取模块，所述行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；

结果返回模块，所述结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline。

5.根据权利要求1-4任一项所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果。

6.根据权利要求1所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述车辆检测分支Pipeline中配置有如下模块：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取车辆图片；

解码预处理模块，所述解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；

车辆属性分析和特征提取模块，所述车辆属性分析和特征提取模块中配置有车辆分析模型，所述车辆分析模型为基于深度学习构建的神经网络模型，用于通过所述车辆分析模型对车辆图片进行车辆属性分析和提取，输出车辆分析结果；

返回结果模块，所述返回结果模块用于将车辆分析结果分返回主Pipeline。

7.根据权利要求1、2、3、4或6所述的基于Pipeline的并行视频结构化推理方法，其特征在于所述车辆分析模型用于对车辆品牌进行属性识别，并用于对车牌进行属性识别，获取对应的特征值，得到车辆分析结果，通过对车辆进行识别获得车辆信息，所述车辆信息包括车辆颜色、车前物品、主驾是否打电话、主驾是否系安全带、副驾是否系安全带、车辆品牌、车辆型号、车辆年款以及车辆类型，通过对车牌进行识别获得车牌信息，所述车牌信息包括车牌号码和车牌位置坐标。

8.基于Pipeline的并行视频结构化推理系统，其特征在于包括：

Pipeline拆分模块，所述Pipeline拆分模块用于将Pipeline拆分为主Pipeline和分支Pipeline，所述分支Pipeline包括行人检测分支Pipeline和车辆检测分支Pipeline；

分支Pipeline配置模块，所述分支Pipeline配置模块用于配置并初始化主Pipeline、行人检测分支Pipeline和车辆检测分支Pipeline，所述主Pipeline共多个且并行运行，用于以获取的视频流为输入，对视频流进行解码分帧得到多帧图片，并以行人和车辆为目标，对每帧图片进行目标检测以及目标跟踪抓拍，输出行人车辆推理结果以及行人图片和车辆图片，所述行人车辆推理结果包括目标名称和目标位置坐标，所述目标包括行人和车辆；所述行人检测分支Pipeline用于以行人图片为输入，对行人进行属性分析和特征提取，得到行人分析结果；所述车辆检测分支Pipeline用于以车辆图片为输入，多车辆进行属性分析和特征提取，得到车辆分析结果，并用于将行人分析结果和车辆分析结果返回主Pipeline，所述主Pipeline用于将所述行人车辆推理结果以及行人分析结果和车辆分析结果汇集为最终结果，并返回下级服务；

推理模块，所述推理模块用于通过主Pipeline对获取的视频流进行行人和车辆的检测分析，得到行人图片和车辆图片；用于以行人图片为输入、通过行人检测分支Pipeline对行人进行属性分析和特征提取，得到行人分析结果，用于以车辆图片为输入、通过车辆检测分支Pipeline对车辆进行属性分析和特征提取，得到车辆分析结果；并用于通过主Pipeline对行人车辆推理结果以及行人分析结果和车辆分析结果进行汇总，得到最终结果，并将最终结果返回下级服务。

9.根据权利要求8所述的基于Pipeline的并行视频结构化推理系统，其特征在于所述主Pipeline包括如下模块：

视频流输入模块，所述视频流输入模块用于通过视频监控点和码流类型完成开流，获取视频源的rtsp流；

视频解码分帧模块，所述视频码分帧模块与所述视频流输入模块交互，用于对视频流进行分帧，得到多帧图片；

检测推理模块，所述检测推理模块与所述视频解码分帧模块交互，配置有行人车辆检测模型，所述行人车辆检测模型为基于深度学习构建的神经网络模型，用于通过行人车辆检测模型对输入的图片进行行人和车辆的推理分类，得到行人车辆推理结果以及行人图片和车辆图片；

跟踪模块，所述跟踪模块用于利用IOU计算方法跟踪区域中的某个目标，跟踪规则为第一次出现检测区域中的目标或者跟丢后再次出现在区域中的目标进行跟踪抓拍，所述目标包括行人和车辆；

返回结果模块，所述返回结果模块与所述检测推理模块交互，用于对行人图片和车辆图片进行抠图处理，将抠图后的行人图片发送至行人检测分支Pipeline，将抠图后的车辆图片发送至车辆检测分支Pipeline；用于获取行人分析结果和车辆分析结果，将行人分析结果和车辆分析结果汇总为最终结果并返回下级服务；

所述行人检测分支Pipeline包括：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取行人图片；

行人属性及特征提取模块，所述行人属性及特征提取模块与所述图片源输入模块交互，配置有行人检测模型，所述行人检测模型为基于深度学习构建的神经网络模型，用于通过行人检测模块对行人图片进行属性分析和特征提取，得到行人分析结果；

结果返回模块，所述结果返回模块与所述行人属性及特征提取模块交互，用于将行人分析结果返回主Pipeline；

所述行人检测模型用于对行人性别、年龄、是否戴口罩以及是否戴眼镜进行属性检测，获取行人的特征值，得到行人分析结果；

所述车辆检测分支Pipeline中配置有如下模块：

图片源输入模块，所述图片源输入模块用于从主Pipeline中获取车辆图片；

解码预处理模块，所述解码预处理模块用于对车辆图片进行解码预处理，通过对车辆图片进行图像剪裁和归一化处理，输出满足统一标准的车辆图片；

车辆属性分析和特征提取模块，所述车辆属性分析和特征提取模块中配置有车辆分析模型，所述车辆分析模型为基于深度学习构建的神经网络模型，用于通过所述车辆分析模型对车辆图片进行车辆属性分析和提取，输出车辆分析结果；

返回结果模块，所述返回结果模块用于将车辆分析结果分返回主Pipeline；

所述车辆分析模型用于对车辆品牌进行属性识别，并用于对车牌进行属性识别，获取对应的特征值，得到车辆分析结果，通过对车辆进行识别获得车辆信息，所述车辆信息包括车辆颜色、车前物品、主驾是否打电话、主驾是否系安全带、副驾是否系安全带、车辆品牌、车辆型号、车辆年款以及车辆类型，通过对车牌进行识别获得车牌信息，所述车牌信息包括车牌号码和车牌位置坐标。

10.根据权利要求8或9所述的基于Pipeline的并行视频结构化推理系统，其特征在于所述Pipeline拆分模块用于通过服务器显存的大小以及主Pipeline和分支Pipeline中模型的大小计算出可并行的主pipeline个数，所述主pipeline个数计算公式为：

其中，X_m表示服务器显存的大小，X_d表示主Pipeline和分支Pipeline中模型的大小，所述模型包括行人车辆检测模型、行人检测模型以及车辆检测模型；num为向下取整获取整数结果。

Images