CN114743163A - 一种基于深度学习的视频智能监控算法架构方法和系统 - Google Patents

Abstract

本发明提供了一种基于深度学习的视频智能监控算法架构方法和系统，其方法包括：基于预设摄像头获取目标监控区域的视频图像，并对所述视频图像进行处理，确定所述目标监控区域的实时流图像；对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果，根据分析结果，基于预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构。实现对多任务场景进行有效监控，且提高了对监控图像的处理效率，同时便于根据视频智能监控算法架构实时检测监控图像中的异常行为或现象，并进行相应的告警操作，提高了监控力度，确保了监控区域的秩序以及安全性。

Description

一种基于深度学习的视频智能监控算法架构方法和系统

技术领域

本发明涉及视频监控技术领域，特别涉及一种基于深度学习的视频智能监控算法架构方法和系统。

背景技术

目前，随着国民经济的迅速发展及信息技术、网络技术的迅速发展，监控系统在各行业的应用日渐广泛，监控系统已经不是单单在通信、交通、安全等行业应用，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有长足的发展；

但常规视频监控只能对设定好的具体违法进行告警，一是不具备复杂的语义信息分析，二是不能根据视频监控任务灵活调整监控策略，系统更改复杂，监控效率较低；

因此，本发明提供了一种基于深度学习的视频智能监控算法架构方法和系统，通过对视频智能监控算法进行灵活配置，实现对多任务场景的有效监控，提高了对监控图像的处理效率，同时根据视频智能监控算法实时检测监控图像中的异常行为或现象，进行相应的告警操作，提高了监控力度，确保了监控区域的秩序及安全性。

发明内容

本发明提供一种基于深度学习的视频智能监控算法架构方法和系统，通过对视频智能监控算法进行灵活配置，实现对多任务场景的有效监控，提高了对监控图像的处理效率，同时根据视频智能监控算法实时检测监控图像中的异常行为或现象，进行相应的报警操作，提高了监控力度，确保了监控区域的秩序及安全性。

本发明提供了一种基于深度学习的视频智能监控算法架构方法，包括：

步骤1：基于预设摄像头获取目标监控区域的视频流，并对所述视频流进行处理，确定所述目标监控区域的实时流图像；

步骤2：对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果；

步骤3：基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构。

优选的，一种基于深度学习的视频智能监控算法架构方法，步骤1中，获取目标监控区域的视频流，包括：

基于预设指令发送方式向服务器发送视频查看请求，其中，所述视频查看请求包括待查看的监控设备编号；

所述服务器基于所述视频查看请求获取监控设备编号对应的目标监控设备，确定所述目标监控设备当前时刻的视频流数据，并将所述视频图像数据转换为标准视频流；

基于预设封装方法将所述标准视频流进行封装发送给视频查看方终端。

优选的，一种基于深度学习的视频智能监控算法架构方法，步骤1中，对所述视频流进行处理，确定所述目标监控区域的实时流图像，包括：

获取得到的视频流，并将所述视频流转换为对应的视频帧序列，其中，所述视频帧序列中每一视频帧对应一张帧图像；

确定所述视频帧序列对应的帧图像序列，并提取所述帧图像的编码方式；

基于所述编码方式确定解码方案，并基于所述解码方案从所述帧图像序列中解码出帧图像，得到所述目标监控区域的实时流图像。

优选的，一种基于深度学习的视频智能监控算法架构方法，得到所述视频图像每帧对应的目标图像，包括：

获取得到的目标监控区域的实时流图像，并基于预设筛选方法判断相邻视频帧对应的实时流图像是否相似；

若相似，将所述相邻视频帧对应的实时流图像归为同类图像集，并基于预设图像质量评估模型对所述同类图像集中每张实时流图像进行图像质量评估；

基于评估结果确定同类图像集中的目标代表图像，并将所述目标代表图像传输至预设深度学习图像智能分析模块进行分析处理；

否则，将每个视频帧对应的实时流图像分别传输至预设深度学习图像智能分析模块进行分析处理。

优选的，一种基于深度学习的视频智能监控算法架构方法，步骤2中，对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果，包括：

所述预设深度学习图像智能分析模块包括前处理模块、模型推理模块以及后处理模块；

基于预设配置方法分别对所述前处理模块、模型推理模块以及后处理模块进行第一配置、第二配置以及第三配置；

基于配置结果依次将所述实时流图像输入至所述前处理模块、模型推理模块以及后处理模块进行处理，得到分析结果。

优选的，一种基于深度学习的视频智能监控算法架构方法，对前处理模块进行第一配置，包括：

获取预设摄像头的数量以及每个摄像头的任务配置情况，并基于所述预设摄像头的数量以及每个摄像头的任务配置情况确定所述预设摄像头采集到的实时流图像的图像信息；

基于所述实时流图像的图像信息将所述实时流图像进行分块处理，得到M个子目标图像块，并基于预设处理函数分别对所述M个子目标图像块进行计算，确定每个所述子目标图像块所需的内存容量；

基于所述内存容量对采集到的实时流图像设置目标容量的缓存队列；

基于所述缓存队列将所述预设摄像头采集到的实时流图像进行缓存，并确定对实时流图像的预设处理规则；

确定所述预处理规则的执行逻辑，并基于所述执行逻辑将所述预设处理规则进行组合；

基于组合结果生成对应的配置文件；

确定所述实时流图像的属性信息，基于所述属性信息确定所述实时流图像对应的目标预设处理规则组合结果，并基于所述目标预设处理规则组合结果对所述配置文件中的目标参数进行调整，得到目标配置文件；

基于所述目标配置文件对所述实时流图像进行前处理操作。

优选的，一种基于深度学习的视频智能监控算法架构方法，对模型推理模块进行第二配置，包括：

获取前处理模块对实时流图像处理后得到的第一图像，并确定对所述第一图像的分析目标，其中，所述第一图像至少为一张；

基于所述分析目标判断所述第一图像对应的模型是否一致；

若一致，根据预设配置文件，确定所述第一图像的推理逻辑，并基于所述推理逻辑确定所述第一图像对模型的调用顺序；

基于所述调用顺序得到模型集合；

基于所述模型集合对所述第一图像进行推理，得到所述第一图像的推理分析数据；

若不一致，确定所述第一图像对应的模型，并分别基于所述模型对所述第一图像进行推理，得到所述第一图像的推理分析数据。

优选的，一种基于深度学习的视频智能监控算法架构方法，对后处理模块进行第三配置，包括：

获取模型推理模块分析得到的推理分析结果数据，并基于预设解码方法对所述推理分析结果数据进行解码操作，得到目标原始数据；

获取所述目标图像的原始图像数据，并基于所述目标原始数据与所述原始图像数据判断所述前处理模块是否对所述实时流图像执行空间变化操作；

若执行，确定所述目标图像执行空间变化操作的目标变换规则，并基于所述目标变换规则对所述目标原始数据进行逆操作，得到与所述目标图像中原始空间关系相对应的分析结果；

否则，基于所述目标原始数据确定对所述目标图像的分析结果。

优选的，一种基于深度学习的视频智能监控算法架构方法，步骤3中，基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构，包括：

获取待分析图像，其中，所述待分析图像为所述实时流图像；

获取分析结果，其中，所述分析结果为所述实时流图像经步骤2处理后得到的分析结果；

基于所述待分析图像，确定对目标监控区域执行的监控类型，且基于所述监控类型确定所述待分析图像对应的目标预设业务逻辑分析规则；

基于所述目标预设业务逻辑分析规则，从预设算法配置文件库中确定需应用的算法配置文件，并基于所述目标预设业务逻辑分析规则对所述待分析图像设置目标感兴趣区域，其中，若不设置，则默认感兴趣区域为所述待分析图像的全图区域；

基于所述待分析图像，结合所述目标预设业务逻辑分析规则，对所述分析结果进行业务分析，确定在所述目标感兴趣区域内的目标分析结果；

基于所述算法配置文件确定对所述目标感兴趣区域的告警条件，并基于所述告警条件确定目标告警阈值；

提取所述目标分析结果，并确定所述目标分析结果的目标取值；

将所述目标取值与所述目标告警阈值进行比较；

若所述目标取值大于或等于所述目标告警阈值，则进行告警通知；

否则，不进行告警通知。

优选的，一种基于深度学习的视频智能监控算法架构系统，包括：

图像获取模块，用于基于预设摄像头获取目标监控区域的视频流，并对所述视频流进行处理，确定所述目标监控区域的实时流图像；

图像分析模块，用于对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果；

业务逻辑分析模块，用于基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于深度学习的视频智能监控算法架构方法的流程图；

图2为本发明实施例中一种基于深度学习的视频智能监控算法架构方法中步骤1的流程图；

图3为本发明实施例中一种基于深度学习的视频智能监控算法架构系统的结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本实施例提供了一种基于深度学习的视频智能监控算法架构方法，如图1所示，包括：

步骤1：基于预设摄像头获取目标监控区域的视频流，并对所述视频流进行处理，确定所述目标监控区域的实时流图像；

步骤2：对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果；

步骤3：基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构。

该实施例中，目标监控区域可以是各类型用途的监控场所，例如可以是办公区域、停车场等。

该实施例中，实时流图像可以是视频流中每一时刻对应的静态图像。

该实施例中，预设深度学习图像智能分析模块是提前设定好的，用于对图像得到一些分析结果，比如图像中哪里有人、车、车牌、动物等物体，图像中的人脸是谁等，包括但不限于进行图像分类、目标检测、关键点检测、目标跟踪、图像分割等操作。

该实施例中，对预设深度学习图像智能分析模块进行配置指的是对图像的旋转、切割、仿射变换等进行多样组合，对图像缩放、图像归一化、颜色通道转换、像素点数据排列方式转换等进行参数配置以及根据摄像头数量和每个摄像头任务配置情况，设置合适大小的缓存队列等，其中，配置是以算法为单位，生成对应的算法配置文件，该算法配置文件描述了该算法需要用到的模型以及前处理等操作，也描述了业务处理需要的告警条件等内容。

该实施例中，基于配置结果对输入的目标图像进行处理指的是对实时流图像进行旋转、切割、图像分类等。

该实施例中，分析结果指的是待分析图像经过模型推理后得到的结果，其中，待分析图像指的是对实时流图像进行旋转、切割、图像分类等操作后，得到的能够直接进行模型推理，并确定目标监控区域是否有异常行为的图像。

该实施例中，目标预设业务逻辑分析规则是提前设定好的，可以是多种，例如可以是入侵检测逻辑、图像车辆品牌及类型分析逻辑、口罩是否穿戴逻辑等。

该实施例中，告警推送指的是根据目标区域的环境属性进行相应的告警操作。

该实施例中，业务分析指的是根据监控任务对分析结果中对应的监控图像中物体或人执行的动作进行预设顺序或逻辑分析。

上述技术方案的有益效果是：通过对视频智能监控算法进行灵活配置，实现对多任务场景的有效监控，提高了对监控图像的处理效率，同时根据视频智能监控算法实时检测监控图像中的异常行为或现象，进行相应的告警操作，提高了监控力度，确保了监控区域的秩序及安全性。

实施例2：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，如图2所示，步骤1中，获取目标监控区域的视频流，包括：

步骤101：基于预设指令发送方式向服务器发送视频查看请求，其中，所述视频查看请求包括待查看的监控设备编号；

步骤102：所述服务器基于所述视频查看请求获取监控设备编号对应的目标监控设备，确定所述目标监控设备当前时刻的视频流数据，并将所述视频图像数据转换为标准视频流；

步骤103：基于预设封装方法将所述标准视频流进行封装发送给视频查看方终端。

该实施例中，预设指令发送方式是提前设定好的，例如可以是无线传输等。

该实施例中，目标监控设备可以是视频查看请求中与编号相一致的监控设备，可以是一个也可以是多个。

该实施例中，标准视频流指的是视频图像数据在传输时的一种数据格式。

该实施例中，预设封装方法是提前设定好的，例如可以是采用RTMP协议对视频流进行封装。

上述技术方案的有益效果是：通过确定待采集视频图像的监控设备，有利于准确获取待监控区域的视频流，从而便于对获取到的视频流进行准确分析，实现对任务场景进行有效监控，提高了监控的针对性。

实施例3：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，步骤1中，对所述视频流进行处理，确定所述目标监控区域的实时流图像，包括：

获取得到的视频流，并将所述视频流转换为对应的视频帧序列，其中，所述视频帧序列中每一视频帧对应一张帧图像；

确定所述视频帧序列对应的帧图像序列，并提取所述帧图像的编码方式；

基于所述编码方式确定解码方案，并基于所述解码方案从所述帧图像序列中解码出帧图像，得到所述目标监控区域的实时流图像。

该实施例中，视频帧序列指的是将视频图像按照拍摄的时间顺序进行转换，得到视频图像中按照时间顺序拍摄到的多张瞬时图像。

该实施例中，帧图像序列指的是视频帧序列中每一帧对应的图像对应的排序结果。

上述技术方案的有益效果是：通过将获取到的视频流转换为对应的视频帧，并对视频帧对应的帧图像进行处理，确保准确得到每帧视频帧对应的图像，为对视频图像进行分析做好准备，提高了对任务场景监控的有效性，同时也便于根据实时流图像对智能监控算法进行合理架构。

实施例4：

在上述实施例3的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，得到所述目标监控区域的实时流图像，包括：

获取得到的目标监控区域的实时流图像，并基于预设筛选方法判断相邻视频帧对应的实时流图像是否相似；

若相似，将所述相邻视频帧对应的实时流图像归为同类图像集，并基于预设图像质量评估模型对所述同类图像集中每张实时流图像进行图像质量评估；

基于评估结果确定同类图像集中的目标代表图像，并将所述目标代表图像传输至预设深度学习图像智能分析模块进行分析处理；

否则，将每个视频帧对应的实时流图像分别传输至预设深度学习图像智能分析模块进行分析处理。

该实施例中，预设筛选方法是提前设定好的，用于对相邻实时流图像进行分析，判断相邻实时流图像是否相似，该预设筛选方法例如可以是通过专业的图像分析仪器进行分析。

该实施例中，判断相邻视频帧对应的实时流图像是否相似指的是相邻目标图像中，监控对象的行为操作未发生变化的图像或行为变化程度在一定允许范围内的图像。

该实施例中，预设图像质量评估模型是提前准备好的，根据图像的清晰度、亮度等对图像进行质量评估。

该实施例中，目标代表图像指的是同类图像集中拍摄质量最好的一张监控图像。

该实施例中，获取得到的视频流每帧对应的实时流图像，并基于预设筛选方法判断相邻视频帧对应的实时流图像是否相似，包括：

获取相邻视频帧对应的实时流图像F1及F2，将所述实时流图像F1及F2灰度化得到灰度图像G1和G2；

根据如下公式计算灰度图像G1和G2的差值图像G_diff的灰度值：

g_diff(x，y)＝|g₁(x，y)-g₂(x，y)|

其中，g₁(x，y)表示灰度图像G1在坐标(x，y)处的灰度值；g₂(x，y)表示灰度图像G2在坐标(x，y)处的灰度值；g_diff(x，y)表示所述差值图像G_diff在坐标(x，y)处的灰度值；

基于所述灰度值g_diff(x，y)确定所述灰度图像G1和G2的差值图像G_diff；

得到所述差值图像G_diff后，对所述差值图像G_diff进行图像二值化处理、腐蚀、膨胀、连通域分析，得到连通区域集合R；

统计连通区域集合R中所有连通区域的外接矩形面积，取面积大于预设连通区域面积阈值的有效连通区域数量为N，其中，所述预设连通区域面积阈值为预设的经验取值，或根据现场情况调整；

若有效连通区域数量N大于0，则判定所述相邻帧对应的实时流图像不相似：

否则，判定所述相邻帧对应的实时流图像相似。

上述技术方案的有益效果是：通过对相邻实时流图像进行相似性判断，便于从众多图像中筛选出最有效的图像进行分析，提高了对监控图像的分析效率，同时也便于根据视频智能监控算法架构在监测到异常行为或现象时，进行相应的报警操作。

实施例5：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，步骤2中，对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果，包括：

所述预设深度学习图像智能分析模块包括前处理模块、模型推理模块以及后处理模块；

基于预设配置方法分别对所述前处理模块、模型推理模块以及后处理模块进行第一配置、第二配置以及第三配置；

基于配置结果依次将所述实时流图像输入至所述前处理模块、模型推理模块以及后处理模块进行处理，得到分析结果。

该实施例中，预设配置方法是提前设定好的，用于对前处理模块、模型推理模块以及后处理模块分别进行配置。

该实施例中，第一配置指的是对前处理模块进行配置，包括图像本身所需前处理配置，例如旋转、切割、仿射变换、从配置中提取感兴趣区域、去模糊、调整亮度对比度等。

该实施例中，第二配置是对模型推理模块进行配置，对接前述前处理模块中缓存队列，对多路摄像头共设同一模型推理需求的情况，集中数据进行批处理，充分利用计算资源以及灵活搭配所需模型，做到链式处理。

该实施例中，第三配置是对后处理模块进行配置，包括对模型推理后所得数据的解码以及部分前处理过程的逆处理。

该实施例中，输入至所述前处理模块、模型推理模块以及后处理模块进行处理包括但不局限于：图像分类、目标检测、关键点检测、目标跟踪、图像分割。

上述技术方案的有益效果是：通过对预设深度学习图像智能分析模块进行配置，便于根据采集到视频图像快速准确的调用相应的处理策略对图像进行处理，提高了对监控图像的处理效率，同时便于根据视频智能监控算法架构实时检测监控图像中的异常行为或现象。

实施例6：

在上述实施例5的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，对前处理模块进行第一配置，包括：

获取预设摄像头的数量以及每个摄像头的任务配置情况，并基于所述预设摄像头的数量以及每个摄像头的任务配置情况确定所述预设摄像头采集到的实时流图像的图像信息；

基于所述实时流图像的图像信息将所述实时流图像进行分块处理，得到M个子目标图像块，并基于预设处理函数分别对所述M个子目标图像块进行计算，确定每个所述子目标图像块所需的内存容量；

基于所述内存容量对采集到的实时流图像设置目标容量的缓存队列；

基于所述缓存队列将所述预设摄像头采集到的实时流图像进行缓存，并确定对实时流图像的预设处理规则；

确定所述预处理规则的执行逻辑，并基于所述执行逻辑将所述预设处理规则进行组合；

基于组合结果生成对应的配置文件；

确定所述实时流图像的属性信息，基于所述属性信息确定所述实时流图像对应的目标预设处理规则组合结果，并基于所述目标预设处理规则组合结果对所述配置文件中的目标参数进行调整，得到目标配置文件；

基于所述目标配置文件对所述实时流图像进行前处理操作。

该实施例中，预设摄像头是提前设定好的，用于采集目标区域内的监控图像。

该实施例中，任务配置情况指的是每个摄像头的分辨率以及摄像头拍摄图像的亮度等。

该实施例中，图像信息指的是视频图像对应的监控内容以及图像的结构情况等。

该实施例中，子目标图像块指的是将采集到的视频图像进行分块后得到的多个子块，是视频图像的一部分。

该实施例中，预设处理函数是提前设定好的，用于确定各个子图像块的图像内存，图像前处理配置，属于深度学习图像智能分析模块中的公共处理函数功能，并不绑定某个特定的模型或算法，例如可以是通过专业的软件进行处理。

该实施例中，预设处理规则可以是包括但不限于：旋转、切割、仿射变换、从配置中提取感兴趣区域、去模糊、调整亮度对比度等。

该实施例中，执行逻辑指的是对图像处理的先后顺序，例如可以是先去模糊再调整亮度对比度等。

该实施例中，配置文件指的是各个预设处理规则对应的描述文件，通过该描述文件可控制相应的程序对图像进行处理。

该实施例中，属性信息指的是图像的偏转角度以及图像当前的明亮程度值等。

该实施例中，前处理操作指的是例如由于现场原因导致摄像头歪斜、畸变等，可通过调整配置文件或参数的方式，使得程序对图像进行自动校正。

该实施例中，对图像进行分块的目的是对于大尺寸图像，像素点较多，在所述前处理操作时耗时较长，因此可采取将图像分块的方式，利用多核多线程加速计算，同时，为减少内存拷贝，提前为每块结果计算好所需内存容量及指针位置，各线程计算结束后直接将结果写回主线程操作的内存。

该实施例中，对于若干个所述前处理操作，可进行合并，进而减少计算步骤和中间结果的内存申请、拷贝。例如：图像归一化+颜色通道转换操作+像素点数据排列方式转换。整型像素值首先转化为浮点型数据，归一化操作一般为对应像素值除以255.0；颜色通道转换操作要求原始图像BGR排列方式转换为RGB排列方式或反之，其本质为单像素点的值在内存中位置的改变；像素点排列方式转换，一般指将CHW排列方式的数据转换为HWC排列方式或反之，其本质是图像数据在宽度、高度、通道方面排列顺序的改变，也即在内存中位置的改变。

该实施例中，设置缓存队列的目的有以下两个优点：。该队列针对两个优化项设立：

(1)批处理：例如，当摄像头A和B的图像均需放入模型M1运行时，在A、B前处理任务完成后，将相应数据置入M1处理队列中，集中批处理。

(2)前处理计算结果复用：例如，根据业务需要，摄像头A的图像数据经前处理后，需要置入模型M1和模型M2中进行推理计算，则需要在队列中缓存A图像前处理得到的数据，在M1和M2模型均使用完毕后再删除。

上述技术方案的有益效果是：通过对前处理模块进行配置，便于在预设深度学习图像智能分析模块接收到图像时，根据图像需要调整的属性对图像进行快速调整，提高了图像处理的效率，同时在对图像处理时，确定图像涉及到的处理规则，实现对处理规则进行灵活的组合，确保对图像进行准确的处理，便于对目标监控区域进行有效监控，同时也确保了视频智能监控算法架构的完善性。

实施例7：

在上述实施例5的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，对模型推理模块进行第二配置，包括：

获取前处理模块对实时流图像处理后得到的第一图像，并确定对所述第一图像的分析目标，其中，所述第一图像至少为一张；

基于所述分析目标判断所述第一图像对应的模型是否一致；

若一致，确定所述第一图像的推理逻辑，并基于所述推理逻辑确定所述第一图像对模型的调用顺序；

基于所述调用顺序得到模型集合；

基于所述模型集合对所述第一图像进行推理，得到所述第一图像的推理分析数据；

若不一致，确定所述第一图像对应的模型，并分别基于所述模型对所述第一图像进行推理，得到所述第一图像的推理分析数据。

该实施例中，第一图像指的是对实时流图像进行图像缩放、图像归一化、颜色通道转换、像素点数据排列方式转换等得到的图像。

该实施例中，模型可以是人脸检测模型、人脸识别模型以及分类模型等。

该实施例中，分析目标指的是第一图像的监控目的，例如可以是：

(1)目标检测模型A，输出人员、车辆、花朵检测结果；

(2)人脸检测模型B，输出人脸检测结果；

(3)人脸识别模型C，输出某人脸的ID信息；

(4)分类模型D，输出人员是否穿戴反光衣的分类结果；

若业务需要反光衣穿戴检测算法，将模型A->D组合即可；若业务需要人脸识别算法，将模型B->C组合即可；若业务需要知道未穿反光衣的人员信息，则将模型A->B->C->D组合，生成新算法。

该实施例中，推理逻辑指的是第一图像要实现的分析结果，例如可以是需要人脸识别算法，则需要执行人脸检测以及人脸识别。

该实施例中，预设配置文件是提前设定好的。

该实施例中，推理分析数据指的是第一图像对应的分析任务对应的分析结果。

该实施例中，模型组合目的是根据算法不同，灵活搭配所需模型，做到链式处理。模型推理是算法运行的一部分，不同算法可能需要运行同一模型，一个算法也可能需要同步或异步运行几个模型，通过设立本模块，做到模型推理无业务逻辑状态，与系统其他部分解耦，可在配置文件直接指明某算法的模型调用过程及顺序，做到灵活可控。

上述技术方案的有益效果是：通过将图像推理过程中涉及到的检测模型进行组合，并根据组合结果对配置文件进行相应的修改，实现对图像进行快速高效的处理，灵活生成图像处理所需要的算法，确保对视频智能监控算法架构的完善。

实施例8：

在上述实施例5的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，对后处理模块进行第三配置，包括：

获取模型推理模块分析得到的推理分析结果数据，并基于预设解码方法对所述推理分析结果数据进行解码操作，得到目标原始数据；

获取所述目标图像的原始图像数据，并基于所述目标原始数据与所述原始图像数据判断所述前处理模块是否对所述实时流图像执行空间变化操作；

若执行，确定所述目标图像执行空间变化操作的目标变换规则，并基于所述目标变换规则对所述目标原始数据进行逆操作，得到与所述目标图像中原始空间关系相对应的分析结果；

否则，基于所述目标原始数据确定对所述目标图像的分析结果。

该实施例中，预设解码方法是提前设定好的，用来对分析得到的数据进行解码。

该实施例中，目标原始数据指的是对推理分析数据进行解码后得到的数据信息，便于后期数据分析方便。

该实施例中，原始图像数据指的是实时流图像未输入模型前的图像数据，即保持图像原有的拍摄角度以及空间位置关系等。

该实施例中，空间变化操作指的是将图像结构以及图像角度等进行改变。

该实施例中，目标变换规则指的是前处理模块对目标图像的具体处理规则。

该实施例中，逆操作指的是若前处理过程中用到旋转、切割、仿射变换、ROI提取等空间相关操作，需要将模型推理并解码后的结果，进行相关的逆操作，得到适应原始输入图像空间关系的分析结果。

上述技术方案的有益效果是：通过将分析得到的推理数据进行解码以及对处理后的图像进行还原，有利于对目标图像中涉及到的监控对象进行有效监控，提高了对监控对象的监控力度，同时便于根据视频智能监控算法架构实时检测监控图像中的异常行为或现象。

实施例9：

在上述实施例1的基础上，本实施例提供了一种基于深度学习的视频智能监控算法架构方法，步骤3中，基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构，包括：

获取待分析图像，其中，所述待分析图像为所述实时流图像；

获取分析结果，其中，所述分析结果为所述实时流图像经步骤2处理后得到的分析结果；

基于所述待分析图像，确定对目标监控区域执行的监控类型，且基于所述监控类型确定所述待分析图像对应的目标预设业务逻辑分析规则；

基于所述目标预设业务逻辑分析规则，从预设算法配置文件库中确定需应用的算法配置文件，并基于所述目标预设业务逻辑分析规则对所述待分析图像设置目标感兴趣区域，其中，若不设置，则默认感兴趣区域为所述待分析图像的全图区域；

基于所述待分析图像，结合所述目标预设业务逻辑分析规则，对所述分析结果进行业务分析，确定在所述目标感兴趣区域内的目标分析结果；

基于所述算法配置文件确定对所述目标感兴趣区域的告警条件，并基于所述告警条件确定目标告警阈值；

提取所述目标分析结果，并确定所述目标分析结果的目标取值；

将所述目标取值与所述目标告警阈值进行比较；

若所述目标取值大于或等于所述目标告警阈值，则进行告警通知；

否则，不进行告警通知。

该实施例中，目标预设业务逻辑分析规则可以是待分析图像要实现的监控目的，例如可以是入侵检测逻辑、车牌识别逻辑、违禁车辆识别逻辑。

该实施例中，预设算法配置文件库是提前设定好的，内部存储有多种算法配置文件。

该实施例中，算法配置文件是预设好的，描述特定算法的告警条件等信息。

该实施例中，目标感兴趣区域指的是待分析图像中的重点监控区域。

该实施例中，目标分析结果指的是根据目标预设业务逻辑分析规则对分析结果进行分析后，得到的所述分析结果对应的业务分析参数，例如可以是目标感兴趣区域内包含的车辆数等。

该实施例中，告警条件是根据监控目的进行设置的，例如车辆超过若干辆就进行告警。

该实施例中，目标告警阈值是根据实际情况设定好的，例如车辆超过10辆就进行告警。

该实施例中，目标预设业务逻辑分析规则有多种，例如可以是：

(1)从前述模块得到图像中行人的检测结果后，若行人与感兴趣区域交互，可形成入侵检测逻辑；若与感兴趣区域交互的行人过多，且彼此坐标相近，可形成人群聚集逻辑；若行人跟踪轨迹复杂且长时间保持入镜状态，可形成人员徘徊逻辑；若某模型判断出行人处于摔倒状态，可形成摔倒检测逻辑；若长时间感兴趣区域无人员存在，可形成离岗逻辑；若某模型判断人员处于趴姿且长时间保持，可形成睡岗逻辑等；

(2)从前述模块得到图像中车辆检测结果后，对车辆部分图像进行车牌检测和识别，可形成车牌识别逻辑；利用车辆品牌分类模型，可形成图像车辆品牌及类型分析逻辑；利用业务定制的车辆检测或分类模型，可形成违禁车辆识别逻辑等。

(3)从前述模块得到图像中人脸检测结果后，结合人脸识别模型，可形成人脸识别、打卡签到逻辑；结合口罩分类模型，可形成口罩是否穿戴逻辑；结合红外摄像头数据，可形成体温测量逻辑。

上述技术方案的有益效果是：通过对待分析图像确定目标感兴趣区域，并根据目标预设业务逻辑分析规则对分析结果进行业务分析，确保对待分析图像进行快速有效的分析，同时通过设置对应告警条件，确保目标感兴趣区域在达到告警条件时进行告警，提高了监控力度，确保了监控区域的秩序以及安全性。

实施例10：

本实施例提供了一种基于深度学习的视频智能监控算法架构系统，如图3所示，包括：

图像获取模块，用于基于预设摄像头获取目标监控区域的视频流，并对所述视频流进行处理，确定所述目标监控区域的实时流图像；

图像分析模块，用于对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果；

业务逻辑分析模块，用于基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构。

上述技术方案的有益效果是：通过对视频智能监控算法进行灵活配置，实现对多任务场景的有效监控，提高了对监控图像的处理效率，同时根据视频智能监控算法实时检测监控图像中的异常行为或现象，进行相应的告警操作，提高了监控力度，确保了监控区域的秩序及安全性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于深度学习的视频智能监控算法架构方法，其特征在于，包括：

步骤1：基于预设摄像头获取目标监控区域的视频流，并对所述视频流进行处理，确定所述目标监控区域的实时流图像；

步骤2：对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果；

步骤3：基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构。

2.根据权利要求1所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，步骤1中，获取目标监控区域的视频流，包括：

基于预设指令发送方式向服务器发送视频查看请求，其中，所述视频查看请求包括待查看的监控设备编号；

所述服务器基于所述视频查看请求获取监控设备编号对应的目标监控设备，确定所述目标监控设备当前时刻的视频流数据，并将所述视频图像数据转换为标准视频流；

基于预设封装方法将所述标准视频流进行封装发送给视频查看方终端。

3.根据权利要求1所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，步骤1中，对所述视频流进行处理，确定所述目标监控区域的实时流图像，包括：

获取得到的视频流，并将所述视频流转换为对应的视频帧序列，其中，所述视频帧序列中每一视频帧对应一张帧图像；

确定所述视频帧序列对应的帧图像序列，并提取所述帧图像的编码方式；

基于所述编码方式确定解码方案，并基于所述解码方案从所述帧图像序列中解码出帧图像，得到所述目标监控区域的实时流图像。

4.根据权利要求3所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，得到所述目标监控区域的实时流图像，包括：

获取得到的目标监控区域的实时流图像，并基于预设筛选方法判断相邻视频帧对应的实时流图像是否相似；

若相似，将所述相邻视频帧对应的实时流图像归为同类图像集，并基于预设图像质量评估模型对所述同类图像集中每张实时流图像进行图像质量评估；

基于评估结果确定同类图像集中的目标代表图像，并将所述目标代表图像传输至预设深度学习图像智能分析模块进行分析处理；

否则，将每个视频帧对应的实时流图像分别传输至预设深度学习图像智能分析模块进行分析处理。

5.根据权利要求1所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，步骤2中，对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果，包括：

所述预设深度学习图像智能分析模块包括前处理模块、模型推理模块以及后处理模块；

基于预设配置方法分别对所述前处理模块、模型推理模块以及后处理模块进行第一配置、第二配置以及第三配置；

基于配置结果依次将所述实时流图像输入至所述前处理模块、模型推理模块以及后处理模块进行处理，得到分析结果。

6.根据权利要求5所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，对前处理模块进行第一配置，包括：

获取预设摄像头的数量以及每个摄像头的任务配置情况，并基于所述预设摄像头的数量以及每个摄像头的任务配置情况确定所述预设摄像头采集到的实时流图像的图像信息；

基于所述实时流图像的图像信息将所述实时流图像进行分块处理，得到M个子目标图像块，并基于预设处理函数分别对所述M个子目标图像块进行计算，确定每个所述子目标图像块所需的内存容量；

基于所述内存容量对采集到的实时流图像设置目标容量的缓存队列；

基于所述缓存队列将所述预设摄像头采集到的实时流图像进行缓存，并确定对实时流图像的预设处理规则；

确定所述预处理规则的执行逻辑，并基于所述执行逻辑将所述预设处理规则进行组合；

基于组合结果生成对应的配置文件；

确定所述实时流图像的属性信息，基于所述属性信息确定所述实时流图像对应的目标预设处理规则组合结果，并基于所述目标预设处理规则组合结果对所述配置文件中的目标参数进行调整，得到目标配置文件；

基于所述目标配置文件对所述实时流图像进行前处理操作。

7.根据权利要求5所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，对模型推理模块进行第二配置，包括：

获取前处理模块对实时流图像处理后得到的第一图像，并确定对所述第一图像的分析目标，其中，所述第一图像至少为一张；

基于所述分析目标判断所述第一图像对应的模型是否一致；

若一致，根据预设配置文件，确定所述第一图像的推理逻辑，并基于所述推理逻辑确定所述第一图像对模型的调用顺序；

基于所述调用顺序得到模型集合；

基于所述模型集合对所述第一图像进行推理，得到所述第一图像的推理分析数据；

若不一致，确定所述第一图像对应的模型，并分别基于所述模型对所述第一图像进行推理，得到所述第一图像的推理分析数据。

8.根据权利要求5所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，对后处理模块进行第三配置，包括：

获取模型推理模块分析得到的推理分析结果数据，并基于预设解码方法对所述推理分析结果数据进行解码操作，得到目标原始数据；

获取所述目标图像的原始图像数据，并基于所述目标原始数据与所述原始图像数据判断所述前处理模块是否对所述实时流图像执行空间变化操作；

若执行，确定所述目标图像执行空间变化操作的目标变换规则，并基于所述目标变换规则对所述目标原始数据进行逆操作，得到与所述目标图像中原始空间关系相对应的分析结果；

否则，基于所述目标原始数据确定对所述目标图像的分析结果。

9.根据权利要求1所述的一种基于深度学习的视频智能监控算法架构方法，其特征在于，步骤3中，基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构，包括：

获取待分析图像，其中，所述待分析图像为所述实时流图像；

获取分析结果，其中，所述分析结果为所述实时流图像经步骤2处理后得到的分析结果；

基于所述待分析图像，确定对目标监控区域执行的监控类型，且基于所述监控类型确定所述待分析图像对应的目标预设业务逻辑分析规则；

基于所述目标预设业务逻辑分析规则，从预设算法配置文件库中确定需应用的算法配置文件，并基于所述目标预设业务逻辑分析规则对所述待分析图像设置目标感兴趣区域，其中，若不设置，则默认感兴趣区域为所述待分析图像的全图区域；

基于所述待分析图像，结合所述目标预设业务逻辑分析规则，对所述分析结果进行业务分析，确定在所述目标感兴趣区域内的目标分析结果；

基于所述算法配置文件确定对所述目标感兴趣区域的告警条件，并基于所述告警条件确定目标告警阈值；

提取所述目标分析结果，并确定所述目标分析结果的目标取值；

将所述目标取值与所述目标告警阈值进行比较；

若所述目标取值大于或等于所述目标告警阈值，则进行告警通知；

否则，不进行告警通知。

10.一种基于深度学习的视频智能监控算法架构系统，其特征在于，包括：图像获取模块，用于基于预设摄像头获取目标监控区域的视频流，并对所述视频流进行处理，确定所述目标监控区域的实时流图像；

图像分析模块，用于对预设深度学习图像智能分析模块进行配置，并基于配置结果对输入的实时流图像进行处理，得到分析结果；

业务逻辑分析模块，用于基于目标预设业务逻辑分析规则对所述分析结果进行业务分析，并基于业务分析结果进行告警推送，完成对视频智能监控算法的架构。

Images