CN115761614A - 基于多视角深度学习算法的异常行为目标检测系统 - Google Patents

Abstract

本发明涉及监控管理技术领域，具体地说，涉及基于多视角深度学习算法的异常行为目标检测系统。以监控视频数据为基础，对涵盖视频内容、监测目标信息、目标行为等海量数据进行管理分析，基于以深度学习、目标检测、图像处理为主的核心技术，构建多视角分析的目标检测平台，用以辅助业务的监管和决策；包括依次通信连接的基础架构单元、智能分析AI、技术基础单元和应用管理单元。本发明设计通过人工智能异常行为识别系统的应用，可减少人力资源的投入，系统可以及时发现异常行为，还可为事后追溯提供直观依据，减少事后查询投入的人力及物力，降低成本，提升监督效能，实现智能化办公，减少人力资源的投入，提升公司的品牌价值及核心竞争力。

Description

基于多视角深度学习算法的异常行为目标检测系统

技术领域

本发明涉及监控管理技术领域，具体地说，涉及基于多视角深度学习算法的异常行为目标检测系统。

背景技术

视频监控系统是企业软件系统中的重要组成部分，视频监控系统有助于保证企业运营安全和生产安全。在办公场所、生产厂房、仓库等重要场所中，往往会部署多个摄像头来保证监控区域全面无死角，监控设备越多，视频流量越大。在传统的视频监控系统中，需要人工二十四小时值班，查看监控来发现一些异常行为，且大多数情况都是事后追溯。人工实时查看监控系统不仅成本高，而且会由于员工精力有限，注意力不集中等情况导致一些异常行为没有及时被发现。同时，人工查看监控视频还会存在注意力只能集中于一个或几个监控视频，从而忽略其他的监控视频。随着计算机科学、人工智能、深度学习和视频技术的发展及应用，为满足公司视频监控中心业务需求，应当引入智能监控系统对视频进行实时监控，对监控视频中的目标进行智能分析，对违规行为、违规物品进行自动检测分类，提高监控的效率和可靠性，满足安全的需要。

传统的方法难以全面进行防控。主要面临以下困难和问题：缺乏系统的评标过程风险防控策略；原有专家管理模式难以做到对风险的有效控制；缺乏应对新形势下的技防措施。为确保招标采购活动的公平和公正原则，传统手段和方法是依靠人工对视频内容进行监控并分析识别。人工识别一是需人员在评标活动期间不间断值守，二是需不间断紧盯监控画面，才能及时发现问题并处置。其存在以下问题：一是人员长时间集中精力较难，长期值守导致识别能力下降，需多人专职轮换开展值守工作；由于人类自身的弱点，值班人员长期盯着监视屏幕，很容易产生疲劳感，降低注意力；二是评标活动多、评标时间长、摄像头多、数据流量大等特点，人眼识别能力有限，易出现遗漏可疑对象和行为的情况。评标室数量很多，难以按照1:1 的比例为监控摄像机配置专职人员监视，大多采用轮巡播放的方式显示在监视器上，这将导致错过部分重要画面信息，延误上报评标过程中出现的异常行为。

鉴于此，我们提出了基于多视角深度学习算法的异常行为目标检测系统。

发明内容

本发明的目的在于提供了基于多视角深度学习算法的异常行为目标检测系统，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了基于多视角深度学习算法的异常行为目标检测系统，以监控视频数据为基础，对涵盖视频内容、监测目标信息、目标行为等海量数据进行管理分析，基于以深度学习、目标检测、图像处理为主的核心技术，构建多视角分析的目标检测平台，用以辅助业务的监管和决策；该系统包括依次通信连接的：

基础架构单元，用于采集、提供并管理支持系统运维的海量数据基础；

智能分析AI，用于为系统运行提供视频分析、图片分析、目标比对以及任务调度能力；

技术基础单元，用于从技术层面解决复杂现实环境中光照变化、目标遮挡、目标重现、阴影干扰、物体形态变化等干扰对目标检测技术造成影响的问题；

应用管理单元，用于根据应用场景的需求作出适应性调整后以投入应用。

作为本技术方案的进一步改进，所述基础架构单元包括视频监控系统和数据管理模块，所述视频监控系统与所述数据管理模块通信连接；其中：

所述视频监控系统用于在封闭场所内各处部署多角度摄像头来保证监控区域内业务活动全过程、全面无死角的音视频监控，并以监控音视频数据作为海量的基础数据之一；

所述数据管理模块用于对涵盖系统全生命周期的全面数据进行集中的采集、处理、存储、分析及应用的管理。

作为本技术方案的进一步改进，所述数据管理模块包括依次通信连接的数据安全加密模块、访问控制模块、安全审计模块和数据备份模块；其中：

所述数据安全加密模块用于采用文件的存储加密与数据传输加密两种加密方式来满足电网数据的高保密要求；

所述访问控制模块用于根据系统的使用等级对访问者进行分类及分别制定相应的访问控制策略；

所述访问控制模块还包括身份认证子模块，所述身份认证子模块用于通过多重用户认证手段来认真访问者的身份；

所述安全审计模块用于针对事关应用系统的安全相关事件进行审计管理；

所述安全审计模块还包括通信完整子模块，所述通信完整子模块用于通过加密来保证通信过程中数据的完整性；

所述数据备份模块用于采用热备和冷备结合的方式来确保数据的完整和不丢失。

作为本技术方案的进一步改进，所述智能分析AI包括视频分析模块、图片分析模块、目标比对模块和资源管理模块，所述视频分析模块与所述图片分析模块通信连接且并列运行，所述视频分析模块、所述图片分析模块的信号输出端同时与所述目标比对模块的信号输入端连接，所述视频分析模块、所述图片分析模块及所述目标比对模块的信号输出端均与所述所述资源管理模块的信号输入端连接；其中：

所述视频分析模块用于提供基于ISAPI协议的视频任务增删改查接口；配合算法仓库，可以指定需要调用的视频目标分析算法，包括但不仅限于人脸、人体、车辆、行为分析等；

所述图片分析模块用于提供基于ISAPI协议的图片任务分析接口；配合算法仓库，可以指定需要调用的图片目标分析算法，包括但不仅限于人脸、人体、车辆分析等；

所述目标比对模块可以提供1V1和1Vn两种目标对比能力，用于自动识别视频/图片中的目标并输出目标的相似度和/相似度排序；

所述资源管理模块用于提供不同GPU资源的统一调度管理以及资源的预分配这两种主要的资源管理功能。

作为本技术方案的进一步改进，所述技术基础单元包括目标检测技术、图像处理技术、深度学习技术和多视角分析算法；所述目标检测技术、所述图像处理技术与所述深度学习技术依次通信连接且并列运行；所述目标检测技术、所述图像处理技术及所述深度学习技术的信号输出端均与所述多视角分析算法的信号输入端连接；其中：

所述目标检测技术用于快速对视频中出现的物品进行检测并预测物品分类的概率，通过使用目标检测技术可以对视频中违禁物品进行检测、异常行为进行识别等；

所述图像处理技术用于利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象；

所述图像处理技术还包括人脸识别模块，所述人脸识别模块用于对视频/图像中出现的人物的身份进行处理及判识；

所述深度学习技术用于通过分析已有数据建立模型，并用这个模型对新加入的数据进行分析；

所述深度学习技术还包括终身学习模块，所述终身学习模块能让模型不断学习新的类别，用于同时考虑网络在新的类别上的预测性能；

所述多视角分析算法用于结合上述的目标检测、图像处理及深度学习的技术，构建可应用于系统且能够提高异常行为识别最终检测结果的可靠性与精确性的分析算法。

作为本技术方案的进一步改进，所述多视角分析算法包括依次通信连接的多视角目标检测、多视角分析模块、大数据分析模块和智能决策模块；其中：

所述多视角目标检测用于以所述图像处理技术为基础，通常对单视角目标检测定义为通过分析前端视频所采集的连续信号图像，确定在静止的背景图像中是否有目标物体；

所述多视角分析模块用于聚类相似的运动轨迹并提取出运动特征模式，用来分析和预测对象运动行为；

所述大数据分析模块用于运用大数据分析功能，对已获取及已分析出的大量数据信息进行整合，挖掘更多深层次/隐藏的信息来作为后续决策的依据；

所述智能决策模块用于根据所述多视角分析模块中提取出的运动模式，当出现异常行为时，系统结合已制定的决策规则和背景信息，做出对应的决策，并将决策信息转换为云台控制的命令。

作为本技术方案的进一步改进，所述应用管理单元包括依次通信连接的场景设定模块、开发扩展模块、测试投入模块和运行维护模块；其中：

所述场景设定模块用于针对该系统需要应用于的场景的具体需求，在系统中预先设定相应的场景规则及运行参数信息，包括但不限于场景规模、访问者名单、检测目标及识别对象等；

所述开发扩展模块用于根据场景的设定，在系统中开发扩展符合场景需求的系统功能及软件程序等；

所述测试投入模块用于通过模拟场景来测试系统的检测效果，并在测试通过后投入使用；

所述运行维护模块用于对系统的运行过程进行实时监控及维护管理。

本发明的目的之二在于，提供了一种系统运行平台装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述的基于多视角深度学习算法的异常行为目标检测系统。

本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多视角深度学习算法的异常行为目标检测系统。

与现有技术相比，本发明的有益效果：

1.该基于多视角深度学习算法的异常行为目标检测系统中，通过人工智能异常行为识别系统的应用，在无需人为干预的情况下，系统自动识别不同人员和现场物品，快速准确的定位违规，判断监控画面中的异常情况，及时预警异常情况、可疑形迹，有效进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控，为公司提供自动分析监控视频的手段：一是可减少人力资源的投入，不需每日值班的形式进行实时监控，通过在现场办公室、监控室实现系统可视化运行，根据系统发出预警及时开展现场处置工作，提升监控效率，降低成本；二是系统及时发现异常行为，有效辅助人员开展评标活动现场干预，保障评标活动的公平、公正；三是为事后追溯提供直观依据，减少事后查询投入的人力及物力，降低成本，提升监督效能，从而提高企业的经济效益；

2.该基于多视角深度学习算法的异常行为目标检测系统中，人工智能异常行为识别系统评标活动及时发现异常行为，有效辅助人员开展评标活动现场干预，实现智能化办公，减少人力资源的投入，确保评标活动的公平、公正顺利进行，保障招标方、投标方各方权益，助力构建互利共赢、公平公正的供应链生态圈，优化营商环境，提升公司的品牌价值及核心竞争力；使得评标活动过程监控管理更加自动化、智能化和高效化，实现视频监控系统的智能采集、智能分析、智能控制和智能管理；

3.该基于多视角深度学习算法的异常行为目标检测系统中，可以为企业提供自动分析监控视频的手段，从而有效地提高监控的效率和效果，对于企业在评标安全具有重要的意义和价值；还可以在不增加监控室的人力需求的前提下显著提高视频监控效果，从而能够提高企业的经济效益。

附图说明

图1为本发明中示例性的整体技术架构框图；

图2为本发明中示例性的整体系统装置模块框图；

图3为本发明中示例性的局部系统装置模块框图；

图4为本发明中示例性的局部系统设计思路框图；

图5为本发明中示例性的特征提取网络架构框图；

图6为本发明中示例性的电子计算机平台装置结构示意图。

图中各个标号意义为：

100、基础架构单元；101、视频监控系统；102、数据管理模块；1021、数据安全加密模块；1022、访问控制模块；10221、身份认证子模块；1023、安全审计模块；10231、通信完整子模块；1024、数据备份模块；

200、智能分析AI；201、视频分析模块；202、图片分析模块；203、目标比对模块；204、资源管理模块；

300、技术基础单元；301、目标检测技术；302、图像处理技术；3021、人脸识别模块；303、深度学习技术；3031、终身学习模块；304、多视角分析算法；3041、多视角目标检测；3042、多视角分析模块；3043、大数据分析模块；3044、智能决策模块；

400、应用管理单元；401、场景设定模块；402、开发扩展模块；403、测试投入模块；404、运行维护模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1-6所示，本实施例提供了基于多视角深度学习算法的异常行为目标检测系统，以监控视频数据为基础，对涵盖视频内容、监测目标信息、目标行为等海量数据进行管理分析，基于以深度学习、目标检测、图像处理为主的核心技术，构建多视角分析的目标检测平台，用以辅助业务的监管和决策；该系统包括依次通信连接的：

基础架构单元100，用于采集、提供并管理支持系统运维的海量数据基础；

智能分析AI200，用于为系统运行提供视频分析、图片分析、目标比对以及任务调度能力；

技术基础单元300，用于从技术层面解决复杂现实环境中光照变化、目标遮挡、目标重现、阴影干扰、物体形态变化等干扰对目标检测技术造成影响的问题；

应用管理单元400，用于根据应用场景的需求作出适应性调整后以投入应用。

其中，该系统主要分为采集层、基础架构层、API接口层和应用层。分层架构的突出特性是组件间关注点分离(separation of concerns)，一个层中的组件仅处理本层的逻辑，整体技术架构如图1所示；比如说，采集层的组件仅处理数据的捕捉，基础架构层中的组件仅提供最基本的支撑功能。通过分层的架构设计能够让系统更好开发、测试、管理和维护。

本实施例中，基础架构单元100包括视频监控系统101和数据管理模块102，视频监控系统101与数据管理模块102通信连接。

视频监控系统101用于在封闭场所内各处部署多角度摄像头来保证监控区域内业务活动全过程、全面无死角的音视频监控，并以监控音视频数据作为海量的基础数据之一；

数据管理模块102用于对涵盖系统全生命周期的全面数据进行集中的采集、处理、存储、分析及应用的管理。

进一步地，如图3所示，数据管理模块102包括依次通信连接的数据安全加密模块1021、访问控制模块1022、安全审计模块1023和数据备份模块1024。

其一，数据安全加密模块1021用于采用文件的存储加密与数据传输加密两种加密方式来满足电网数据的高保密要求；

具体地，存储加密包括两类数据：历史数据文件和监控画面文件。画面文件采用非对称加密和对称加密组合的加密方式。以工程项目名及项目密码为基础，用非对称加密算法生成散列码，然后以此散列码作密钥，用对称加密算法对文件加密。对称加密算法与当前系统时间有关，非法用户即便下载加密版的图形文件编辑工具，并窃取得到用户密码，也无法解密画面文件；传输加密指数据通信采用SSL加密传输协议，即使数据包被非法用户截取也不能还原。

其二，访问控制模块1022用于根据系统的使用等级对访问者进行分类及分别制定相应的访问控制策略；

其中，根据系统的使用等级，可以确定包括但不限于以下四种访问者：

(1)系统管理员——负责管理整个系统，分配用户权限，创建角色；

(2)工作人员——负责对识别的异常进行处理，例如对疑似异常行为进行汇报但没有权限进行修改；

(3)部门负责人——在本系统中，负责人具有对数据进行查改的功能；

(4)一般人员——可以对识别结果进行查看。

访问控制模块1022还包括身份认证子模块10221，身份认证子模块10221用于通过多重用户认证手段来认真访问者的身份；

多重用户认证手段包括但不限于：

(1)系统授权——系统采用双重识别模式，核查MAC地址和用户的合法性；MAC地址不在授权列表中的非授权用户以及非法用户都不能登录监控系统；

(2)登录控制模块身份鉴别——系统提供专用的登录控制模块进行身份标识和鉴别；

(3)随机码验证——系统登录时附加随机码进行验证；

(4)两种组合身份鉴别——系统采用两种组合的鉴别技术实现用户身份鉴别。

其三，安全审计模块1023用于针对事关应用系统的安全相关事件进行审计管理；

其中，安全审计内容包括：

(1)提供覆盖每个用户的安全审计功能，对应用系统重要安全事件进行审计；

(2)保证日志记录只能查询，不能被删除、修改或覆盖；

(3)安全相关事件的记录内容，包括日期和时间、类型、主体标识、事件结果。

安全审计模块1023还包括通信完整子模块10231，通信完整子模块10231用于通过加密来保证通信过程中数据的完整性；

其中，通信完整性包括两个方面：(1)采用密码技术，保证通信过程中数据的完整性；(2)在通信过程中对整个报文或回话进行加密。

其四，数据备份模块1024用于采用热备和冷备结合的方式来确保数据的完整和不丢失；

其中，数据备份过程中，在系统设计上可以通过硬件冗余、数据备份、数据缓存等多种技术来进行备份以维护监控数据的完整性和实时性。

本实施例中，智能分析AI200包括视频分析模块201、图片分析模块202、目标比对模块203和资源管理模块204，视频分析模块201与图片分析模块202通信连接且并列运行，视频分析模块201、图片分析模块202的信号输出端同时与目标比对模块203的信号输入端连接，视频分析模块201、图片分析模块202及目标比对模块203的信号输出端均与资源管理模块204的信号输入端连接。

其一，视频分析模块201用于提供基于ISAPI协议的视频任务增删改查接口；配合算法仓库，可以指定需要调用的视频目标分析算法，包括但不仅限于人脸、人体、车辆、行为分析等；

其中，提交的任务请求中需要指定视频码流的地址以及协议类型，分析服务会采用对应的方式获取码流数据并进行分析；下载协议包括但不限于标准rtsp；

提交的任务请求中需要结果物的发送地址，分析后的结果会以异步的方式，使用TCP 协议携带JSON报文，发送到指定的监听地址上；报文的格式由ISAPI协议对顶。

其二，图片分析模块202用于提供基于ISAPI协议的图片任务分析接口；配合算法仓库，可以指定需要调用的图片目标分析算法，包括但不仅限于人脸、人体、车辆分析等；

其中，图片分析任务提供同步和异步两种方式——同步分析任务的接入方式较为简便，但是整体的性能比较受限，适用于小批量的图片检测；异步分析任务则可以提供更大的分析吞吐量，适用于大批量的任务提交；

异步分析任务的提交方式与视频分析任务类似，需要在提交的任务请求中指定图片的下载地址以及协议类型，分析服务会采用对应的方式下载图片数据并进行分析；下载协议包括但不限于http/https、ftp等；

同样，提交的异步图片分析任务请求中需要结果物的发送地址，分析后的结果会通过 TCP的方式发送JSON报文，报文格式为ISAPI协议所规定的。

其三，目标比对模块203可以提供1V1和1Vn两种目标对比能力，用于自动识别视频/图片中的目标并输出目标的相似度和/相似度排序；

其中，1V1比对需要用户提供两张目标的图片，智能分析服务会自动识别图片中的目标并输出目标的相似度；目标包括但不仅限于人脸、人体、车辆等；

1Vn比对需要事先先完成n个目标的分析，智能分析服务会事先加载好n个目标的分析结果信息；当提交1Vn的比对请求后，会对n个目标与待比对目标的相似度进行排序，并返回相似度最高的topM个结果，其中M的值可由用户指定。

其四，资源管理模块204用于提供不同GPU资源的统一调度管理以及资源的预分配这两种主要的资源管理功能；

其中，智能分析服务在接收到任务后会将任务派发到对应的分析节点上，不同的分析节点可能采用不同的GPU硬件结构，包括但不限于NVIDIATesla P4、NVIDIA TeslaP40、 NVIDIA Tegra X1等；智能分析服务会将不同的GPU硬件资源进行归一处理，并结合算法仓库中对算法支持的GPU硬件、占用资源的描述，进行动态的分配调度；

资源预分配提供的是预先为某种算法分配硬件资源的功能；默认情况下所有的硬件资源会根据指定的任务算法类型进行动态加载；但是，在某些情况下，用户需要事先给某些算法预留好硬件资源(防止被其他算法抢占或者减少由于算法加载带来的时间损耗)，因此智能分析服务提供算法预分配的接口，来实现对应的需求。

本实施例中，技术基础单元300包括目标检测技术301、图像处理技术302、深度学习技术303和多视角分析算法304；目标检测技术301、图像处理技术302与深度学习技术303依次通信连接且并列运行；目标检测技术301、图像处理技术302及深度学习技术 303的信号输出端均与多视角分析算法304的信号输入端连接。

其一，目标检测技术301用于快速对视频中出现的物品进行检测并预测物品分类的概率，通过使用目标检测技术可以对视频中违禁物品进行检测、异常行为进行识别等；

其中，目标检测技术是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分；

具体地，目标检测算法主要包括特征提取网络，RPN网络，ROI池化和检测框分类与回归；其中：

特征提取网络——卷积神经网络能够自动提取特征，获得目标检测所需要的空间信息和语义信息；

RPN网络——Lective Search算法提取候选框，耗时大，且无法实现端到端的学习如何提取候选框；针对这些缺点，RPN网络将此候选框的提取纳入到端到端的学习中来，加速候选框的提取，并提升提取的精度；

ROI池化——N网络生成的Proposal称为Region of Interest(ROI)；由于它们具有不同的尺度和长度，因此需要通过一个ROI池化层获得统一的大小；

检测框分类和回归——框分类和回归用于判断所框目标的类别以及方框的位置。

其二，图像处理技术302用于利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象；

其中，图像处理是应用深度学习算法的一种实践应用，一般主要分为四个步骤：图像采集→图像预处理→特征提取→图像识别；

图像处理是智能监控系统中关键的第一步，是多视角目标检测、多视角目标识别、多视角分析和理解等后续处理和分析的基础，其目标是对监控视频拍摄到的图片进行预处理，如图像滤波去噪，边缘增强，灰度变换等，然后根据已有的一些知识信息，对图像进行分割，把识别的物体从背景中分割出来，同时对整个图像进行去噪，去除明显的干扰点，使整个图像平滑，再根据物体的形态特征或者多视角的物体特征来提取目标物体，并标记物体在图像中的位置。

同时，图像处理技术302还包括人脸识别模块3021，人脸识别模块3021用于对视频/ 图像中出现的人物的身份进行处理及判识；

其中，人脸识别模块3021主要分为人脸归正、特征刻画、数据预处理、特征提取、相似度对比五个部分，具体为：

人脸归正——将人脸图像输入到模型中，模型首先检测图像中的人脸，并且将人脸进行归正，对侧脸进行3D旋转；将人脸图像归正至符合人脸图像特征提取的角度；

特征刻画——在经过人脸归正之后，模型对人脸上特征进行刻画；模型将人脸用于人脸识别的特征部位进行标注，在图像中准确标定出人脸的位置和大小，并筛选关键特征，并以该特征为基准，有针对性的对特征进行提取与预处理；

数据预处理——由于人脸具有相当复杂的细节变化，且环境会对人脸识别造成较大影响；在此部分人脸图像的光线补偿，灰度变换、直方图均衡化、归一化，取得尺寸一致，并使用几何校正、中值滤波、锐化以及灰度取值范围相同的标准化人脸图像；

特征提取——利用卷积神经网络学习人脸图像到128维欧几里得空间的映射，该映射将人脸图像映射为128维的特征向量，联想到二维空间的相关系数定义，使用特征向量之间距离的倒数来表征人脸图像之间的“相关系数”，对于相同个体的不同图片，其特征向量之间的距离较小(即相似度较大)，对于不同个体的图像，其特征向量之间的距离较大(即相似度较小)；特征提取过程如图5所示；

相似度对比——本研究使用余弦相似度来进行衡量相似性，通过测量两个向量的夹角的余弦值来度量它们之间的相似性；从两个向量之间角度的余弦值确定两个向量是否大致指向相同的方向；从而获取两张人脸之间的相似度。

其三，深度学习技术303用于通过分析已有数据建立模型，并用这个模型对新加入的数据进行分析；

其中，深度学习是机器学习与人工智能的核心，是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远超先前相关技术；深度学习主要研究计算机程序如何随着经验积累自动提高性能的学科，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助；这里经验积累就是数据，包括图像、语音、文本、统计资料等；性能指的是对数据进行分类、聚类、回归的能力；因此，通俗地讲，深度学习就是通过对分析已有数据建立模型，并用这个模型对新加入的数据进行分析；

运用深度学习当中的分类方法，可以构建视觉计算当中的识别器(检测器)；运用深度学习当中的聚类方法，可以对视频当中出现的物品进行分类，并找出违规物品；结合深度学习当中的分类和聚类方法，可实现智能监控系统的物体识别，人物行动轨迹，行为分析及预测等功能。

深度学习技术303还包括终身学习模块3031，终身学习模块3031能让模型不断学习新的类别，用于同时考虑网络在新的类别上的预测性能；

终身学习架构能让模型不断学习新的类别，如在微调模型A得到模型B的过程中提出一个新的损失函数，用于同时考虑网络在新的类别上的预测性能，以及原始类别在新模型B和旧模型A上的响应差异；

其中，LOSS函数为LOSS＝新类别检测LOSS+旧类别在模型A和模型B上的差异LOSS。

其四，多视角分析算法304用于结合上述的目标检测、图像处理及深度学习的技术，构建可应用于系统且能够提高异常行为识别最终检测结果的可靠性与精确性的分析算法。

进一步地，如图4所示，多视角分析算法304包括依次通信连接的多视角目标检测3041、多视角分析模块3042、大数据分析模块3043和智能决策模块3044。

其一，多视角目标检测3041用于以图像处理技术302为基础，通常对单视角目标检测定义为通过分析前端视频所采集的连续信号图像，确定在静止的背景图像中是否有目标物体；

其中，当确定有目标物体的时候，则需要分析该目标物体的位置参数信息，而目标物体的变化非常多，例如尺度的变化、在视频中的背景变化、光线的变化等，根据这些综合情况的不确定性，在不同的情况下采取多视角来检测目标物体；

但是，现实多视角的实现可能会遇到多种情况，例如不同摄像头数据传输存在延迟、不同视角所配置的置信度不同、不同摄像头检测到物体目标光线不同等。对于上述问题，系统采用在传输实时性满足情况下，融合多个视角视频流联合预测；在同步性很难情况下，人工选择一个视角视频流检测；当模型置信度不高时，系统自动采样其它视角辅助预测三种检测算法保证系统能够准确和实时检测出物体目标。通过当前帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，作出准确、快速的判定。

其二，多视角分析模块3042用于聚类相似的运动轨迹并提取出运动特征模式，用来分析和预测对象运动行为；

通过多视角检测和目标检测已经可以获得目标在图像中的位置和目标的运动属性(运动速度和方向，方式等参数)，且由于物体所处的空间位置的检测能力不断加强，使得收集大量对象的运动轨迹数据成为可能，而对象的运动轨迹包含着丰富的信息。

其三，大数据分析模块3043用于运用大数据分析功能，对已获取及已分析出的大量数据信息进行整合，挖掘更多深层次/隐藏的信息来作为后续决策的依据；

其四，智能决策模块3044用于根据多视角分析模块3042中提取出的运动模式，当出现异常行为时，系统结合已制定的决策规则和背景信息，做出对应的决策，并将决策信息转换为云台控制的命令；

如果在硬件条件允许的情况下，可以根据不同的预测结果启动不同的摄像头来进行拍摄，使用云台控制来控制摄像机拍摄的角度适应目标的变化，以便用较佳地角度来观测目标物体。

本实施例中，应用管理单元400包括依次通信连接的场景设定模块401、开发扩展模块402、测试投入模块403和运行维护模块404；其中：

场景设定模块401用于针对该系统需要应用于的场景的具体需求，在系统中预先设定相应的场景规则及运行参数信息，包括但不限于场景规模、访问者名单、检测目标及识别对象等；

开发扩展模块402用于根据场景的设定，在系统中开发扩展符合场景需求的系统功能及软件程序等；

测试投入模块403用于通过模拟场景来测试系统的检测效果，并在测试通过后投入使用；

运行维护模块404用于对系统的运行过程进行实时监控及维护管理。

此外，上述系统进行规则适配后可运用于生产基地、课堂考场、涉密单位等场景。以课堂考场场景示例，传统的人工巡堂及监考方式大多凭经验、靠感觉、简单描述考场情况，难以及时地发现考场中出现的问题，并且巡堂记录难以有效地进行整合分析，而且监考员往往精力有限，难以兼顾到每一个教室、每一个考生。复用原有课室点位进行在线监考应运而生，但是往往大多数考场还是采取人工“看视频”的方式。随着人工智能技术的不断发展，通过图像分析和行为识别技术对考场中出现的违纪行为进行自动识别，并输出每一个考点的记录报表，真正实现管理部门对每个考点的有效监管。目前包括两类监管系统，包括：

1)人脸识别无感自动点名和比对——系统以人脸识别技术为基础，图像采集设备在考试期间对考生进行扫描抓拍，WEB服务器的人脸库图片将对抓拍图片进行比对分析，自动得出结果，整个过程无须人工参与，有效解决替考、陌生人员闯入等问题；

2)图像识别考生行为分析——通过服务器扫描抓拍的图片，可以识别考生夹带纸张等行为，管理平台通过汇总分析这些数据，可以实现考生行为的监督。

本实施例还提供了一种系统可行性的应用实施例，具体为将上述基于多视角深度学习算法的异常行为目标检测系统应用于云南电网封闭评标基地评标活动中，用于智能识别封闭评标活动中的异常行为，包括但不限于人员黑白名单判识、人员携带违规物品(接打电话、电子设备、U盘、夹带纸张材料等)、异常活动轨迹(进入非指定活动区域、陌生人今进入封闭区域等)等。其具体的算法技术路线包括：

S1、研发并实现异常行为智能检测算法：

多视角异常行为检测系统通过异常行为智能检测模块，能有效将室内人员行为图像转化为不同的特征表示，并结合人的肢体动作及周边是否存在可疑违规物品，从不同角度全面地反映室内人员行为的可疑程度，在不同姿态、不同视角、不同光照、不同背景下，实现人员的异常行为检测和标识；

S2、研发并实现多视角目标检测分析算法：

多视角综合分析算法利用多个摄像设备，采集不同角度的行为图像，对是否存在异常行为或违规物品进行综合分析判断，最大程度降低室内人员利用监控设备角度和遮挡行为掩盖自身违规操作的可能性，使系统能够排除复杂的人为干扰，对是否存在异常行为作出稳定、精确和可靠的判断；

S3、通过对多个监控视频当中出现的异常行为进行标注、分析和预测，并结合多视角目标检测分析算法，发现对应场所中发生的异常行为：

多视角异常行为检测系统通过深度学习对不同监控设备中的异常行为图像的特征进行学习、分析和识别，得到多个可靠的异常行为检测模型；多视角目标检测分析则利用深度学习得到的多个异常行为检测模型，根据具体情况选择合适的算法从多个视角对室内人员的行为信息进行提取和分析，有效的判别室内人员的行为是否异常；

S4、将上述算法与硬件环境结合，使之达到能实时分析监控视频内容的要求：

将多视角异常行为检测分析系统与现有的硬件平台进行结合，对海量视频元数据进行深度分析和挖掘，有效的提升系统对不同环境的适应性，包括更多异常行为的检测，更多异常行为图像特征的提取，从而实现对视频内容的精准识别；

S5、研发应用系统，实现评标视频监控辅助识别和预警功能开发：

通过应用系统完成视频监控内容分析、监控预警、专家识别、入侵检测、统计与查询、资产管理、系统管理等功能，实现项目研究成果的验证应用；应用实现对评标活动场所不同维度的监控，为评标活动过程中以及评标后的视频分析提供辅助，达到降低人力投入，提升异常行为识别的准确率。

具体地，通过上述的测试应用，可以实现对封闭评标活动中各种异常行为的智能识别。

同时，系统还具备如下功能：

专家异常行为识别，包括：

黑白名单——通过摄像机实时监测对进入评标室或其他授权区域人员进行人脸识别，并与该人员授权的区域进行对比，如果该人员所在位置为其非授权区域，则上报相关预警信息；

夹带纸张——对评标区域内纸张进行检测，如果识别到纸张消失，则将纸张消失前的画面和消失后的画面进行上传；

打电话识别——对评标区域内的打电话行为进行实时检测，如果识别到打电话行为，则上报相关预警信息：

电子产品识别——对评标区域内的手机、移动硬盘、U盘等电子产品进行实时检测，如果检测到电子产品，则上报预警信息；

信息管理，包括：

异常行为信息管理——可对上报的预警信息进行分类查看、删除等操作；

人员信息管理——可对人员信息进行录入、删除、编辑、批量操作(导入、导出、下载导入模板)，列表显示人员信息；

功能管理——对异常行为功能模块进行管理，可实现异常行为检测的开关，并可对各评标区域设置检测时间范围，在设置时间段以外不进行检测，以节省运算资源；

权限管理——权限管理功能分为授权与认证；授权(将权限授予角色或用户)；认证 (指用户访问某些资源的某些操作时，根据授权，判断是否允许用户的访问)；

摄像头管理——对摄像头信息进行录入、删除、编辑、查看详情等，并可将视频转换为实时流供实时检测。

此外，该系统可根据相关业务管理要求，新增多种异常行为识别规则，人工智能算法根据规则进行深度学习并应用。

该系统法的应用，通过人工智能异常行为识别系统的建设应用，使得评标活动过程监控管理更加自动化、智能化和高效化，实现视频监控系统的智能采集、智能分析、智能控制和智能管理。系统基于现有评标视频监控设备，实时获取监控视频数据，在无需人为干预的情况下，对不同角度的视频进行分析，通过智能算法深度模拟学习，自动识别评标活动中的不同人员和现场物品，识别人员携带违规物品、违规夹带纸张、违规进入非活动区域、长时间停留在隐蔽区域等异常事件，根据预定规则学习并判断异常行为，计算风险系数值，对异常行为的人与物品进行截图和标记，及时发出预警通知，辅助监控人员及时发现异常行为和潜在风险，保障评标活动的公平、公正，大力解放人力投入，有效提高监控效能。

如图6所示，本实施例还提供了一种系统运行平台装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。

处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于多视角深度学习算法的异常行为目标检测系统。

可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

此外，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于多视角深度学习算法的异常行为目标检测系统。

可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于多视角深度学习算法的异常行为目标检测系统。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.基于多视角深度学习算法的异常行为目标检测系统，其特征在于：以监控视频数据为基础，对涵盖视频内容、监测目标信息、目标行为等海量数据进行管理分析，基于以深度学习、目标检测、图像处理为主的核心技术，构建多视角分析的目标检测平台，用以辅助业务的监管和决策；该系统包括依次通信连接的：

基础架构单元(100)，用于采集、提供并管理支持系统运维的海量数据基础；

智能分析AI(200)，用于为系统运行提供视频分析、图片分析、目标比对以及任务调度能力；

技术基础单元(300)，用于从技术层面解决复杂现实环境中光照变化、目标遮挡、目标重现、阴影干扰、物体形态变化等干扰对目标检测技术造成影响的问题；

应用管理单元(400)，用于根据应用场景的需求作出适应性调整后以投入应用。

2.根据权利要求1所述的基于多视角深度学习算法的异常行为目标检测系统，其特征在于：所述基础架构单元(100)包括视频监控系统(101)和数据管理模块(102)，所述视频监控系统(101)与所述数据管理模块(102)通信连接；其中：

所述视频监控系统(101)用于在封闭场所内各处部署多角度摄像头来保证监控区域内业务活动全过程、全面无死角的音视频监控，并以监控音视频数据作为海量的基础数据之一；

所述数据管理模块(102)用于对涵盖系统全生命周期的全面数据进行集中的采集、处理、存储、分析及应用的管理。

3.根据权利要求2所述的基于多视角深度学习算法的异常行为目标检测系统，其特征在于：所述数据管理模块(102)包括依次通信连接的数据安全加密模块(1021)、访问控制模块(1022)、安全审计模块(1023)和数据备份模块(1024)；其中：

所述数据安全加密模块(1021)用于采用文件的存储加密与数据传输加密两种加密方式来满足电网数据的高保密要求；

所述访问控制模块(1022)用于根据系统的使用等级对访问者进行分类及分别制定相应的访问控制策略；

所述访问控制模块(1022)还包括身份认证子模块(10221)，所述身份认证子模块(10221)用于通过多重用户认证手段来认真访问者的身份；

所述安全审计模块(1023)用于针对事关应用系统的安全相关事件进行审计管理；

所述安全审计模块(1023)还包括通信完整子模块(10231)，所述通信完整子模块(10231)用于通过加密来保证通信过程中数据的完整性；

所述数据备份模块(1024)用于采用热备和冷备结合的方式来确保数据的完整和不丢失。

4.根据权利要求1所述的基于多视角深度学习算法的异常行为目标检测系统，其特征在于：所述智能分析AI(200)包括视频分析模块(201)、图片分析模块(202)、目标比对模块(203)和资源管理模块(204)，所述视频分析模块(201)与所述图片分析模块(202)通信连接且并列运行，所述视频分析模块(201)、所述图片分析模块(202)的信号输出端同时与所述目标比对模块(203)的信号输入端连接，所述视频分析模块(201)、所述图片分析模块(202)及所述目标比对模块(203)的信号输出端均与所述所述资源管理模块(204)的信号输入端连接；其中：

所述视频分析模块(201)用于提供基于ISAPI协议的视频任务增删改查接口；配合算法仓库，可以指定需要调用的视频目标分析算法，包括但不仅限于人脸、人体、车辆、行为分析等；

所述图片分析模块(202)用于提供基于ISAPI协议的图片任务分析接口；配合算法仓库，可以指定需要调用的图片目标分析算法，包括但不仅限于人脸、人体、车辆分析等；

所述目标比对模块(203)可以提供1V1和1Vn两种目标对比能力，用于自动识别视频/图片中的目标并输出目标的相似度和/相似度排序；

所述资源管理模块(204)用于提供不同GPU资源的统一调度管理以及资源的预分配这两种主要的资源管理功能。

5.根据权利要求1所述的基于多视角深度学习算法的异常行为目标检测系统，其特征在于：所述技术基础单元(300)包括目标检测技术(301)、图像处理技术(302)、深度学习技术(303)和多视角分析算法(304)；所述目标检测技术(301)、所述图像处理技术(302)与所述深度学习技术(303)依次通信连接且并列运行；所述目标检测技术(301)、所述图像处理技术(302)及所述深度学习技术(303)的信号输出端均与所述多视角分析算法(304)的信号输入端连接；其中：

所述目标检测技术(301)用于快速对视频中出现的物品进行检测并预测物品分类的概率，通过使用目标检测技术可以对视频中违禁物品进行检测、异常行为进行识别等；

所述图像处理技术(302)用于利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象；

所述图像处理技术(302)还包括人脸识别模块(3021)，所述人脸识别模块(3021)用于对视频/图像中出现的人物的身份进行处理及判识；

所述深度学习技术(303)用于通过分析已有数据建立模型，并用这个模型对新加入的数据进行分析；

所述深度学习技术(303)还包括终身学习模块(3031)，所述终身学习模块(3031)能让模型不断学习新的类别，用于同时考虑网络在新的类别上的预测性能；

所述多视角分析算法(304)用于结合上述的目标检测、图像处理及深度学习的技术，构建可应用于系统且能够提高异常行为识别最终检测结果的可靠性与精确性的分析算法。

6.根据权利要求5所述的基于多视角深度学习算法的异常行为目标检测系统，其特征在于：所述多视角分析算法(304)包括依次通信连接的多视角目标检测(3041)、多视角分析模块(3042)、大数据分析模块(3043)和智能决策模块(3044)；其中：

所述多视角目标检测(3041)用于以所述图像处理技术(302)为基础，通常对单视角目标检测定义为通过分析前端视频所采集的连续信号图像，确定在静止的背景图像中是否有目标物体；

所述多视角分析模块(3042)用于聚类相似的运动轨迹并提取出运动特征模式，用来分析和预测对象运动行为；

所述大数据分析模块(3043)用于运用大数据分析功能，对已获取及已分析出的大量数据信息进行整合，挖掘更多深层次/隐藏的信息来作为后续决策的依据；

所述智能决策模块(3044)用于根据所述多视角分析模块(3042)中提取出的运动模式，当出现异常行为时，系统结合已制定的决策规则和背景信息，做出对应的决策，并将决策信息转换为云台控制的命令。

7.根据权利要求1所述的基于多视角深度学习算法的异常行为目标检测系统，其特征在于：所述应用管理单元(400)包括依次通信连接的场景设定模块(401)、开发扩展模块(402)、测试投入模块(403)和运行维护模块(404)；其中：

所述场景设定模块(401)用于针对该系统需要应用于的场景的具体需求，在系统中预先设定相应的场景规则及运行参数信息，包括但不限于场景规模、访问者名单、检测目标及识别对象等；

所述开发扩展模块(402)用于根据场景的设定，在系统中开发扩展符合场景需求的系统功能及软件程序等；

所述测试投入模块(403)用于通过模拟场景来测试系统的检测效果，并在测试通过后投入使用；

所述运行维护模块(404)用于对系统的运行过程进行实时监控及维护管理。

Images