CN115346157A - 入侵检测方法、系统、设备及介质 - Google Patents

Abstract

本申请提出了一种入侵检测方法、系统、设备及介质，该方法包括：获取监控视频中目标对象的异常行为，所述异常行为包括目标对象突兀出现、所述目标对象横向移动、以及根据所述目标对象所对应的目标特征在所述监控视频的出现顺序确定所述目标对象翻越或所述目标对象挖地洞的至少之一；构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型；利用所述入侵检测模型对待测的目标对象的异常行为进行检测，确定所述目标对象是否存在入侵行为，本申请通过该入侵检测模型进行入侵检测，降低了入侵的漏报率，提高了入侵检测的准确率，也降低了入侵检测的成本。

Description

入侵检测方法、系统、设备及介质

技术领域

本申请涉及视频监控或图像处理领域，尤其涉及一种入侵检测方法、系统、设备及介质。

背景技术

在目前的安防应用中，通常使用摄像装置和图像识别技术，通过对摄像装置所采集的待检测区域的图像进行图像识别，以确定待检测区域中是否有外人或外来物体进入。然而，在边境线、园区、小区等封闭区域的应用场景，由于受外界的干扰，如光照、雨雪等自然环境的干扰，以及外来人员频繁来往监控区域等外力因数的干扰，无法确保采集的图像的准确性，进而，导致识别的图像准确率不高，容易发生错误预警，从而无法准确检测到区域入侵的发生。

申请内容

鉴于以上所述现有技术的缺点，本申请提供一种入侵检测方法、系统、设备及介质，以解决上述入侵检测方法无法准确检测入侵行为的技术问题。

在第一方面，本申请提供的一种入侵检测方法，所述方法包括：

获取监控视频中目标对象的异常行为，所述异常行为包括目标对象突兀出现、所述目标对象横向移动、以及根据所述目标对象所对应的目标特征在所述监控视频的出现顺序确定所述目标对象翻越或所述目标对象挖地洞的至少之一；

构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型；

利用所述入侵检测模型对待测的目标对象的异常行为进行检测，确定所述目标对象是否存在入侵行为。

在一种可能的实施方式中，获取监控视频中目标对象的异常行为之前，还包括：

获取监控视频中目标对象的目标特征，所述目标特征包括人脸特征和/或人体特征；

基于所述目标特征对所述目标对象进行聚档，生成聚档结果；

根据所述目标对象在预设时间内形成的轨迹确定为档案轨迹，并将所述聚档结果与所述档案轨迹关联映射进行存储。

在一种可能的实施方式中，基于所述目标特征对所述目标对象进行聚档，生成聚档结果，还包括：

对所述监控视频中第一预设区域内的人脸特征或/和人体特征进行聚档处理，其中，以所述目标对象的人脸特征为准，与获取的人脸特征进行比较，若比较结果大于预设阈值，则确定为同一聚档结果；或，以所述目标对象的人体特征为准，与获取的人体特征进行比较，若比较结果大于预设阈值，则确定为同一聚档结果。

在一种可能的实施方式中，获取监控视频中目标对象的异常行为，还包括：

若监测到所述目标对象出现在所述监控视频中第一预设区域，则利用所述入侵检测模型对待测的目标对象的异常行为进行检测；若监测到所述目标对象出现在所述监控视频中第二预设区域，则确定所述目标对象存在入侵行为，并进行入侵预警提示。

在一种可能的实施方式中，根据所述目标对象在预设时间内形成的轨迹确定为档案轨迹，并将所述聚档结果与所述档案轨迹关联映射进行存储，还包括：

根据所述目标对象关联的人体特征与人脸特征，将同一个所述目标对象所对应的人体特征与人脸特征各自在预设时间内形成的轨迹进行融合，确定所述目标对象的档案轨迹，并基于关联相似度将所述聚档结果与所述档案轨迹关联映射进行存储。

在一种可能的实施方式中，获取监控视频中目标对象的异常行为，还包括：

所述目标特征从上至下依次包括人脸特征、躯干特征、腿部特征与脚部特征，所述人体特征至少包括躯干特征、腿部特征与脚部特征；

对所述监控视频进行解析处理，确定所述目标特征在所述监控视频的出现顺序；

在所述监控视频中第一预设区域，若监测到所述目标特征在所述监控视频的出现顺序依次为人脸特征、躯干特征、腿部特征与脚部特征，则确定所述目标对象存在挖地洞的异常行为；

在所述监控视频中第二预设区域，若监测到所述目标特征在所述监控视频的出现顺序依次为脚部特征、腿部特征、躯干特征与人脸特征，则确定所述目标对象存在翻越的异常行为；

基于所述目标对象在所述监控视频的位置区域与出现时间确定所述目标对象的运动速度与运动方向；

根据所述目标对象的运动速度与档案轨迹，确定所述目标对象存在突兀出现的异常行为；

根据所述目标对象在监控视频中位置变化信息，确定所述目标对象存在横向移动的异常行为。

在一种可能的实施方式中，构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型，还包括：

每种所述异常行为对应一个子任务，将每个所述子任务对应的训练数据形成一个子任务训练集；

将每个子任务训练集输入预先构建的多任务神经网络模型，确定每个子任务所对应的损失值；

基于每个子任务所对应的损失值对所述多任务神经网络模型的关联任务所对应的各个子任务共享的网络进行训练，直至满足收敛条件时得到入侵检测模型。

在一种可能的实施方式中，获取监控视频中目标对象的异常行为，还包括：

若监测接收到外部触发，根据所述外部触发的位置获取当前触发时间前后时段的监控视频；

对所述监控视频内的目标对象进行识别，确定所述目标对象的置信度，根据所述置信度确定所述目标对象为陌生入侵的异常行为；

基于所述目标对象在所述监控视频的位置区域与出现时间确定所述目标对象的运动速度与运动方向；根据所述运动方向以及运动速度确定所述目标对象是否存在入侵的异常行为。

在第二方面，本申请还提供了一种入侵检测系统，所述系统包括：

获取模块，用于获取监控视频中目标对象的异常行为，所述异常行为包括目标对象突兀出现、所述目标对象横向移动、以及根据所述目标对象所对应的目标特征在所述监控视频的出现顺序确定所述目标对象翻越或所述目标对象挖地洞的至少之一；

模型构建模块，用于构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型；

入侵检测模块，用于利用所述入侵检测模型对待测的目标对象的异常行为进行检测，确定所述目标对象是否存在入侵行为。

在第三方面，本申请还提供了一种电子设备，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述中任一项实施例所述的入侵检测方法。

在第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使计算机执行如上述任一项实施例所述的入侵检测方法。

本申请的有益效果：本申请提出的一种入侵检测方法、系统、设备及介质，该方法通过获取目标对象在多个维度的异常行为作为训练数据集，用于训练非触发式的入侵检测模型，通过该入侵检测模型对目标对象进行入侵检测，相比传统入侵检测方法，本申请降低了入侵的漏报率，提高了入侵检测的准确率，也降低了入侵检测的成本。

附图说明

图1是本申请一实施例中提供的一种入侵检测方法实施环境应用示意图；

图2是本申请一实施例中提供的入侵检测方法流程图；

图3是本申请一实施例中提供的入侵检测方法完整的流程图；

图4是本申请一实施例中提供的入侵检测方法的另一流程图；

图5是本申请一实施例中提供的入侵检测方法的架构框图；

图6是本申请一实施例中提供的入侵检测方法实物效果图；

图7是本申请一实施例中提供的入侵检测系统框架图；

图8是本申请一实施例提供的一种电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本申请实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本申请的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本申请的实施例难以理解。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化，区块链等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请提供的一种入侵检测方法，涉及上述的人工智能、机器学习等技术领域。示例性的，可以利用人工智能技术中机器模拟、云计算等技术，以实现基于训练得到的模型对待检测图像进行检测，例如，在视频监控中，通过采集目标检测视频对截取该目标检测视频中的每帧目标图像进行检测，进而判断目标图像中的一个或多个目标是否在抽烟。

在相关技术中，现有的入侵检测模型在针对封闭区域，例如，边境线、园区、小区等，对于非法闯入采取的具体解决方案是，在边境已有的自动感知非法越境事件的技术方案，可通过在边境部署大量的声纹、振动光纤等感知节点，通过越境人员主动触发设备感知条件(振动光纤、人类声纹等)，然后，设备根据感知产生告警数据并上传至平台，最终在边境指挥系统界面上展示，详述如下：

1)在封闭区域边界部署自动感知设备(振动光纤、人类声纹)；

2)部署前端智能摄像头与感知设备联动；

3)当非法进入触发感知设备产生信号的条件后，将信号传递给前端摄像头；

4)摄像头接收到信号产生告警并校准摄像头对目标进行抓拍；

5)摄像头将告警数据上传至应用平台。

上述方案可以显著减少人工成本，并有效监测到部分越境事件。然而，上述方案存在以下缺点：

⑴分析准确率低；封闭区域内合法人员无意触发感知设备、动物触发感知设备时，甚至自然环境因素触发(风、雨)，无法区分行为的危险性和真实性，容易产生错误预警。

⑵硬件成本高；需要在封闭区域的边界布置大量的感知设备，用于感知边界的非法闯入行为。

⑶特殊场景无法预警；非触碰式入侵(挖洞、翻越)无法进行预警，例如，非法人员通过挖地道越过边界线及相关设备，又例如，借助边界的其他物体进行跨越，例如，利用树木进行翻越，这些非触碰场景都是难以触发越境告警。

因此，亟需一种准确率高的入侵检测方案，具体详见以下描述。

请参见图1，为本申请一实施例中提供的一种入侵检测方法实施环境应用示意图。如图1所示，该实施环境应用网络架构可以包括服务器01(服务器集群)和监视终端集群。该监视终端集群可以包括一个或者多个监视终端，这里将不对监视终端的数量进行限制。如图1所示，具体可以包括监视终端100a、监视终端100b、监视终端100c、…、监视终端100n。如图1所示，监视终端100a、监视终端100b、监视终端100c、…、监视终端100n可以分别与上述服务器10进行网络连接，以便于每个监视终端可以通过该网络连接与服务器10进行数据交互。其中，这里不限定该网络连接的具体连接方式，比如，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接。

如图1所示，本申请实施例中的服务器01可以为监视终端对应的服务器。该服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。为便于理解，监视终端可以通过采集监控视频发送至务器01进行入侵检测。其中，上述入侵检测方法可以在服务器、服务器集群或云计算服务集群等任意设备中进行。例如，服务器兼具目标入侵检测功能，例如，服务器将采集的待测图像，基于待测图像和入侵检测模型进行入侵检测。

请参阅图2，本申请一实施例中提供的入侵检测方法流程示意图，详述如下：

步骤S210，获取监控视频中目标对象的异常行为，所述异常行为包括目标对象突兀出现、所述目标对象横向移动、以及根据所述目标对象所对应的目标特征在所述监控视频的出现顺序确定所述目标对象翻越或所述目标对象挖地洞的至少之一；

其中，监控视频可以通过摄像头等图像采集装置获得，图像采集装置可以设置在电子设备的本体上，也可以设置在于电子设备通信连接的其他设备上，本实施方式不做限制。

在此，目标对象主要指人，用于监测是否存在非法入侵行为，例如，布置于边境线、园区、小区等区域，当然，也可指定动物、物品等，用于监测是否有动物非法入侵或物品违法搬移，例如，物品偷盗等。

需要说明的是，所述目标特征从上至下依次包括人脸特征、躯干特征、腿部特征与脚部特征；其中，所述躯干特征、腿部特征与脚部特征可以归纳为人体特征，即，目标特征包括人脸与人体特征。

对所述监控视频进行解析处理，确定所述目标特征在所述监控视频的出现顺序；例如，通过连续检测目标，对所述监控视频进行解析处理，确定监控视频的监控画面指定区域出现顺序。

在所述监控视频中第一预设区域，若监测到所述目标特征在所述监控视频的出现顺序依次为人脸特征、躯干特征、腿部特征与脚部特征，则确定所述目标对象存在挖地洞的异常行为；例如，详见图6，在图中从左至右分别有四个指定的预设区域，其中，第一预设区域为从左至右第二个预设区域与第四个预设区域。

在所述监控视频中第二预设区域，若监测到所述目标特征在所述监控视频的出现顺序依次为脚部特征、腿部特征、躯干特征与人脸特征，则确定所述目标对象存在翻越的异常行为；例如，详见图6，在图中从左至右分别有四个指定的预设区域，其中，第二预设区域为从左至右第三个预设区域。

从上述图可知，第三个预设区域及围栏，表示高危险区域，目标对象不应该出现在此，第二个预设区域与第四个预设区域由于靠近高危险区域为次高危区域。

基于所述目标对象在所述监控视频的位置区域与出现时间确定所述目标对象的运动速度与运动方向；

具体地，根据目标对象在监控画面中出现的坐标点所变化的位置关系，确定目标对象的运动方向，根据目标对象在监控画面中出现的坐标点所变化的位置信息以及出现的时间即可确定该目标对象的运动速度。

根据所述目标对象的运动速度与档案轨迹，确定所述目标对象存在突兀出现的异常行为；

具体地，通过运动速度以及结合目标对象在时空的档案轨迹，能够确定目标对象是否突兀出现，例如，若在监控的相邻区域存在档案轨迹，则目标对象不是突兀出现，相反，若在监控的相邻区域不存在档案轨迹，则目标对象是突兀出现。

根据所述目标对象在监控视频中位置变化信息，确定所述目标对象存在横向移动的异常行为。

具体地，若所述目标对象在监控视频中位置变化信是向高位区域靠近，且一直持续靠近，则可确定所述目标对象存在横向移动的异常行为。

通过上述方式，无需触发式监控，根据监控的目标对象出现在指定区域进行分析处理，进而确定目标对象的异常行为，利用该异常行为能够更准确确定目标对象是否存在入侵。

步骤S220，构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型；

具体地，每种所述异常行为对应一个子任务，将每个所述子任务对应的训练数据形成一个子任务训练集；

将每个子任务训练集输入预先构建的多任务神经网络模型，确定每个子任务所对应的损失值；

基于每个子任务所对应的损失值对所述多任务神经网络模型的关联任务所对应的各个子任务共享的网络进行训练，直至满足收敛条件时得到入侵检测模型。

需要说明的是，多任务神经网络模型是深度学习领域目前较为新颖且实用的方向，多任务神经网络模型是指将多个使用相似信息的视觉任务整合在同一个神经网络中，通过统一的网络训练得到的神经网络。

多任务神经网络模型中的各个子任务；根据性能相关性确定所述多任务神经网络模型中各个所述关联任务；每种异常行为所对应图像数据集都设置有标签，标记该异常行为的类型，形成各个子任务训练集，将每个子任务训练集的图像输入多任务神经网络模型得到相应的检测结果，基于该检测结果与标签之间的差异，确定每个子任务所对应图像的损失值。

还需要说明的是，多任务中划分的关联任务的数量确定子任务共享的网络数量，例如，将多任务划分为成3个关联任务，那么对应的子任务共享的网络数量为3，通过对任务共享的网络进行训练，该模型为一款检测速度快的轻量化模型，同时具有优秀的检测准确度，通过训练该模型至收敛，满足测试结果与验证结果，即得到入侵检测模型。

举例说明，按比例8:1:1的方式将所述训练数据划分为训练集、测试集与验证集，利用所述测试集与验证集的样本数据分别对入侵检测模型进行测试与验证，得到最终的入侵检测模型。

即，本公开实施方式的多任务神经网络模型包括第一子网络、第二子网络以及子任务网络，第一子网络在提取各个图像数据集中的对待处理图像进行深层次的特征提取，得到待处理图像的第一特征图，所使用的骨干网络考虑到网络的轻量化，可以使用基于Mobilenet V2的网络；第二子网络为子任务共享的网络，用于对第一子网络输出的第一特征图进行解码，从而将较小图像尺度的第一特征图进行上采样，得到具有更大尺度特征信息的第二特征图，从而提供依赖于大尺度感受野的任务所需的特征信息。另外，还需要说明的是，子任务网络为每个子任务所私有的头部网络(Head)，其输入即为对应的第二子网络输出的第二特征图，其输出即为该子任务对应的输出结果。

举例来说，对于“人脸检测”和“人体检测”两个子任务，两者均关注于目标对象检测，两者对感受野和特征信息的需求极为相近，且两者之间存在关联，当其中一方性能提高时，另一方性能也相应提高，定义这样的两类子任务为具有关联性的子任务，即可将该两类任务划分为同一个关联任务。

通过上述方式，利用同一关联任务组的多个子任务损失值对该关联任务组对应的子任务共享的网络进行训练，降低不同图像检测任务之间的相互制约影响，同时兼顾所有任务的性能，提高多任务图像检测效果。

步骤S230，利用所述入侵检测模型对待测的目标对象的异常行为进行检测，确定所述目标对象是否存在入侵行为。

具体地，通过提取监控视频中的目标对象的异常行为，利用该入侵检测模型对待测的目标对象的异常行为进行检测，所述入侵检测模型根据输出的置信度确定所述目标对象是否存在入侵行为，例如，置信度的取值范围是0～1的概率值，若置信度大于预设值，则确定所述目标对象存在入侵行为，若置信度不大于预设值，则确定所述目标对象不存在入侵行为。

在本实施例中，过获取目标对象在多个维度的异常行为作为训练数据集，用于训练非触发式的入侵检测模型，通过该入侵检测模型对目标对象进行入侵检测，相比传统入侵检测方法，本申请降低了入侵的漏报率，提高了入侵检测的准确率，也降低了入侵检测的成本。

请参阅图3，为本申请一实施例中提供的入侵检测方法完整的流程图，获取监控视频中目标对象的异常行为之前，还包括：

步骤S310，获取监控视频中目标对象的目标特征，所述目标特征包括人脸特征和/或人体特征；

具体地，通过目标检测方法对监控视频中目标对象的目标特征进行提取，进而准确得到各个目标对象的目标特征，该目标特征包括人脸特征、人体特征，或者，人脸特征与人体特征。

举例说明，利用人脸提取算法，对摄像机采集的监控视频进行智能分析，将监控视频中的人脸图片进行截取得到人脸图片；利用人脸特征提取算法，对人脸图片进行人脸特征提取，得到人脸特征。

利用人体提取算法，对摄像机采集的视频进行智能分析，将视频中的人体图片进行截取得到人体图片；利用人体特征提取算法，对人体图片进行人体特征提取，得到人体特征。

步骤S320，基于所述目标特征对所述目标对象进行聚档，生成聚档结果；

具体地，对所述监控视频中第一预设区域内的人脸特征或/和人体特征进行聚档处理，其中，以所述目标对象的人脸特征为准，与获取的人脸特征进行比较，若比较结果大于预设阈值，则确定为同一聚档结果；或，以所述目标对象的人体特征为准，与获取的人体特征进行比较，若比较结果大于预设阈值，则确定为同一聚档结果。

在一些实施例中，将预设周期内的抓拍的目标对象进行聚档，将聚档的人员人体通过第三方置信库进行置信，其中，通过采集封闭区域内的人员信息建立置信库，置信过程是标记可信人员的相关信息，并关联存储到档案。当边界产生预警时，可判定目标的陌生程度，从而判断目标入侵行为的可靠程度。

例如，对封闭区域内出现的人脸图像、人体图像进行实时聚档，实时聚档是以一张人体图像或人脸图像为基础，后续前端相机每抓拍到一张人体图像或人脸图像都会与这张图像进行比较(全身特性，part特征)，如果比较结果的相似度大于阈值，则合并为一个档案，如果比较结果的相似度小于阈值，就生产一个新档案；同时，本实施例中，实时聚档只对当天的人脸图像、人体图像进行聚档。

档案合并：跨天人脸人体档案的融合，首先人体通过特征关联到人脸，根据档案的人脸相似度进行融合，当人脸相似度大于阈值进行融合，否则不融合。

步骤S330，根据所述目标对象在预设时间内形成的轨迹确定为档案轨迹，并将所述聚档结果与所述档案轨迹关联映射进行存储。

具体地，根据所述目标对象关联的人体特征与人脸特征，将同一个所述目标对象所对应的人体特征与人脸特征各自在预设时间内形成的轨迹进行融合，确定所述目标对象的档案轨迹，并基于关联相似度将所述聚档结果与所述档案轨迹关联映射进行存储。

在另一些实施例中，将目标对象在预设时间内的轨迹确定为档案轨迹，对目标对象之前聚档结果与档案轨迹进行关联存储，在融合时，将同一目标对象的轨迹进行融合，得到档案轨迹。

需要说明的是，关联映射即是将聚档结果与所述档案轨迹进行关联绑定，方便后续调用。

还需要说明的是，图3中的步骤S340～S360与图2中步骤S210～S230内容相同，在此不再赘述。

在另一些实施例中，获取监控视频中目标对象的异常行为，还包括：

若监测到所述目标对象出现在所述监控视频中第一预设区域，则利用所述入侵检测模型对待测的目标对象的异常行为进行检测；若监测到所述目标对象出现在所述监控视频中第二预设区域，则确定所述目标对象存在入侵行为，并进行入侵预警提示。

具体地，通过在监控视频中规划预设区域，监控目标对象在监控视频中画面指定区域的位置变化情况，例如，当出现在指定的第一预设区域时，利用所述入侵检测模型对待测的目标对象的异常行为进行检测，即，无需外部设备(传感器)进行触发，直接通过对监控视频进行分析处理，相比原有触碰式检测，对非触碰式(边界挖洞、翻越等)的入侵进行检测并预警，防止非触碰方式的入侵行为漏报。

另外，若监测到所述目标对象出现在所述监控视频中第二预设区域，即，围墙、围栏、栅栏等预设区域，则确定所述目标对象存在入侵行为，并进行入侵预警提示；通过监控视频对目标对象的位置进行监测，能够准确判定目标对象是否存在入侵行为，进而，确定目标对象是否违法违规。

在另一些实施例中，获取监控视频中目标对象的异常行为，还包括：

若监测接收到外部触发，根据所述外部触发的位置获取当前触发时间前后时段的监控视频；

对所述监控视频内的目标对象进行识别，确定所述目标对象的置信度，根据所述置信度确定所述目标对象为陌生入侵的异常行为；

基于所述目标对象在所述监控视频的位置区域与出现时间确定所述目标对象的运动速度与运动方向；根据所述运动方向以及运动速度确定所述目标对象是否存在入侵的异常行为。

在一示例中，利用触碰式进行预警检测：当震动光纤或声纹光线产生告警后，启动视频解析，判断当前告警时间前后30s内是否有目标对象(即，人体目标)，若无人体目标，则判断为误报；若存在人体目标，首先，判断是否在非法区域和高危时间段发生预警，再通过聚档判断目标陌生程度，若在非法区域且聚档后通过置信度确定该目标对象为陌生人，或，在非法区域和高危时间段发生预警，且聚档后通过置信度确定该目标对象为陌生人，通过上述条件基本可确定入侵嫌疑度极大，极有可能存在入侵行为；然后，通过运动检测算法计算目标的运动速度和运动方向及是否使用载具，以上条件均满足后，能够实现准确判断，有效降低误报率。

例如，若在非法区域和高危时间发生预警，有嫌疑存在非法入侵行为，结合对目标的聚档判断，若聚档分析该目标为陌生人，即，非相关的巡视工作人员，存在非法入侵行为的概率进一步增大，若通过运动检测算法检测该目标的运动方向就是非法区域，同时，该目标没有使用交通载具，即可确定目标时突兀出现，则依据非法入侵的判断原则，可以确定该目标是非法入侵，这样，通过丰富判断逻辑可显著地提高了入侵检测的准确率与检测精度，有效避免入侵检测的误报率。

在另一示例中，非触碰式检测，前端摄像头开启实时视频解析，当在监控视频中出现目标后，通过聚档还原目标在过去30分钟或60分钟的目标轨迹；再通过聚档置信判断目标陌生程度，若目标聚档置信不为陌生人所在的陌生程度，例如，为相关巡视工作时，则无需进行后续处理；若目标聚档置信为陌生人所在陌生程度，则通过出现在视频中的目标特征顺序判断目标的行为；例如，目标特征顺序包括视频中人脸特征与人体特征的出现顺序，然后，通过运动检测算法，计算目标的运动速度和运动方向及是否使用交通运输载具，例如，可以通过目标的运动速度是否达到预设阈值，确定当前目标是否使用交通运输工具；也可以。最后，结合是否在高危时间出现在非法区域判断目标行为的可信度进行预警，提升告警准确性的同时，有效降低漏报率。

通过上述方式，获取目标对象的异常行为，包括但不限于：目标对象是否出现在高危区域、标对象出现时间是否是为高危时间(例如，凌晨12点-凌晨5点)、目标对象的运动检测结果(运动速度、运动方向、是否使用载具)、目标聚档轨迹、目标聚档陌生程度、人脸人体特征在监控画面出现的顺序等条件，通过入侵模型计算出目标是否在进行边界入侵，同时计算出入侵的置信度。

请参阅图4，为本申请一实施例中提供的入侵检测方法的另一流程图，详述如下：

步骤一，人脸图像&人体图像采集。

步骤1.1，在目标对象的合理授权的前提下，或，在政府有关单位授权下，运用在国家边界巡查时，通过摄像机抓拍获取的抓拍人脸图像&人体图像信息包含实际人脸图像&人体图像、设备ID(点位信息：经纬度)、抓拍时间等，所述人脸图像&人体图像通过人脸检测算法&人体检测算法从抓拍场景图中进行识别获取。

步骤1.2，所述人脸检测算法&人体检测算法一般为神经网络模型，如MTCNN、YOLO系列等目标检测模型，抓拍场景图可能包含一个或多个人脸图像&人体图像，人脸检测算法&人体检测算法需要识别出抓拍场景图中所有的可能人脸图像&人体图像。

步骤二：人脸特征提取

步骤2.1通过人脸解析服务对抓拍的人脸图像进行人脸特征向量与结构化信息提取。

步骤2.2所述人脸解析服务一般为一个或多个多任务的神经网络解析模型，所述多任务的神经网络解析模型表示一个模型可以同时识别人脸图像的某几类或所有结构化信息与人脸特征信息。示例性地，如，人脸解析模型为一个多任务神经网络模型，则通过该模型可以解析得到人脸特征并能回归预测所有结构化信息值，如人脸俯仰角度、水平角度、人脸质量分数、性别、年龄、是否带口罩等。

步骤2.3所述人脸结构化信息包括人脸俯仰角度、水平角度、人脸质量分数、性别、年龄、是否带口罩等。示例性地，如人脸俯仰角度：0，水平角度：10，人脸质量分数：80，性别：0，年龄：30，是否带口罩：1等。

步骤三：人体特征提取

步骤3.1通过人体解析服务对抓拍的人体图像进行人体特征向量与结构化信息提取。

步骤3.2所述人体解析服务一般为一个或多个多任务的Re-ID解析模型，所述多任务的Re-ID解析模型表示一个模型利用视觉技术判断图像或者视频序列中是否存在特定行人的技术，通过穿着、体态、发型等再不确定的场景中能够再次识别时同一个人，并以此描绘出个体轨迹的AI视觉技术。

步骤四：人脸人体图像(即，人脸图像与人体图像)实时聚档

对封闭区域内出现的人脸图像、人体图像进行实时聚档，实时聚档是以一张人体图像或人脸图像为基础，后续前端相机每抓拍到一张人体图像或人脸都图像会与这张图像进行比较(全身特性，part特征)，如果比较结果的相似度大于阈值合为一个档案，如果比较结果的相似度小于阈值就生产一个新档案，同时，实时聚档只对当天的人脸人体图像进行聚档。

档案合并：跨时间跨地域对人脸人体图像所对应的档案进行融合，首先，人体图像通过特征关联到人脸图像，根据档案的人脸相似度进行融合，当人脸相似度大于阈值进行融合，否则不融合。

骤五：人员置信

通过采集封闭区域内的人员信息建立置信库，置信过程是标记可信人员的相关信息，并关联到步骤四中的档案。当边界产生预警时，可判定目标的陌生程度，从而判断目标入侵行为的可靠程度。例如，虽然产生了预警，通过陌生程度判断目标对象为工作相关人员，不是陌生人，则不存在入侵；相反，若产生了预警且通过陌生程度判断目标对象是陌生人，则目标对象存在入侵，即，入侵嫌疑极大。

步骤六：入侵检测

在以下示例中，在此监控画面中，如图6所示，从左至右的第一预设区域内的目标为安全区域，目标出现不预警。从左至右的第二预设区域与第四预设区域为低危险区域，当目标出现在该区域，启动视频解析。从左至右的第三预设区域为高危区域，即，目标对象不应该出现的区域，当目标对象出现在该区域直接预警。

步骤6.1触碰式入侵检测

如图6所示，当监控画面的感应设备(震动光纤，声纹感应装置等)被触发后，后台系统视频解析，解析触发时间点的前10秒和后10秒时间段内的视频，并抓取视频内出现的人体目标(即，目标对象)，解析人体目标的人脸图像和人体图像，解析到人脸人体特征(人脸特征与人体特征)后，通过特征对比档案库，判断目标对象是否置信，从而判断目标对象的陌生程度。

Risk_coeff＝compar_face(s_face_feature,a_face_feature，p_info)

由compar_face函数处理抓拍人脸特征值s_face_feature与档案人脸特征a_face_feature的对比结果，同时，通过目标对象的置信信息p_info，返回人员的危险系数Risk_coeff。

获取目标出现的区域和出现的时间点，检测目标运动速度和运动方向：

目标在监控画面出现的坐标为(x，y)，在监控画面小时的坐标为(x'，y')

当x'-x>β(y'-y)时，则判断目标在监控画面中为横向移动，否则，判断目标为纵向移动，其中，β为预设运动方向比对参数，可根据实际情况进行调整，与监控画面的质量、位置角度相关。

运动速度：

其中，△t为出现坐标与消失坐标两点的时间差，v'为设置的阈值速度，可根据实际情况进行调整，当运动速度大于阈值速度时，则判断目标运动过快，提升目标入侵的嫌疑度。

步骤6.2非触碰式入侵检测

对于非触碰式的入侵，需开启视频的实时视频流解析，用于解析在监控画面指定区域内解析人脸特征、人体特征及目标特征在监控中出现的顺序，同时，需要开启区域内的实时聚档，用于还原目标在一段时间内是否在区域内是否有活动轨迹。

算法基于人脸人体特征将人体特征分为4个特征，part_h_id:人脸特征(颈部以上特征)，part_t_id:躯干特征(颈部以下，腰部以上)，part_l_id:腿部特征(腰部以下，膝盖以上)，part_f_id：脚部特征(膝盖以下)。通过连续检测目标，在监控画面指定区域出现的顺序。例如在指定区域不能出现先出现头部或脚部。

Feature_order＝appear_seq(range(get_feature(t，△t')))

其中，t为目标对象在视频中首次出现的5s内的连续视频，△t'为解析间隔，例如1s，则算法每一秒解析一次，共解析5次。通过函数get_feature连续获取目标特征，range函数遍历解析结果，然后，通过函数appear_seq函数获取目标特征序列。

例如，详见图6，在图中从左至右的第二预设区域与第四预设区域出现目标对象时，不应按头部、躯干、腿部、脚部的顺序在监控视频中出现，否则加重挖洞入侵的权重；在图中从左至右的第二预设区域与第四预设区域出现目标对象时，不不应按脚部、腿部、躯干、头部的顺序出现在监控视频中，否则加重翻越入侵的权重。通过展示非触碰情况下的场景，包括目标特征在画面出现的顺序，以及目标对象移动的运动方向和运动速度，能够有效确定目标对象是否存在入侵行为。

步骤七：入侵检测模型计算：

入侵检测模型，计算输入参数包括：Fi感应设备预警，Risk_coeff通过聚档比对的危险系数，目标移动方向Md，移动速度v，目标出现时间T，是否有轨迹L，目标在标定区域内特征出现的顺序Feature_order；

Re＝θ*Early_Warning(Fi，Risk_coeff，Md，v，L，T，Feature_order)

其中，Early_Warning为预警函数，β为预警系数，通过大量实际样本输入，求出最优参数。具体实现可用梯度上升迭代公式获取：

通过上述方式，结合感应设备预警，从目标对象的移动方向、移动速度、出现时间与目标轨迹与目标特征的出现顺序多个维度进行计算，提高了入侵检测模型的检测精度。

步骤八：入侵检测应用展示：

上层应用通过接口，调取生成的结果，展示目标入侵抓拍图片、录像回放、可信度和预警推送等功能，例如，提供接口供上层应用(如Web平台、APP等)，应用通过设置预警参数阈值，调整告警级别等。

请参阅图5，为本申请一实施例中提供的入侵检测方法的架构框图，详述如下：

通过人脸库、人体库机构化图片库生成模块，在目标特征检索模块下，对待测的监控视频中目标对象进行检索，确定人脸库、人体库中人脸人体聚档置信，进而，有利于入侵检测及行为参数计算模块进行计算，确定目标对象相应的异常行为；通过入侵检测行为模型算法模块对异常行为进行检测，将检测结果通过结果上层应用模块进行展示，便于监控人员及时知晓。

通过上述方式，通过获取目标对象在多个维度的异常行为作为训练数据集，用于训练入侵检测模型，通过该入侵检测模型对目标对象所对应图像数据进行检测，相比传统入侵检测方法，本申请降低了入侵的漏报率，提高了入侵检测的准确率，也降低了入侵检测的成本。

请参阅图7，本实施例提供了一种入侵检测系统700，该系统包括：

获取模块701，用于获取监控视频中目标对象的异常行为，所述异常行为包括目标对象突兀出现、所述目标对象横向移动、以及根据所述目标对象所对应的目标特征在所述监控视频的出现顺序确定所述目标对象翻越或所述目标对象挖地洞的至少之一；

模型构建模块702，用于构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型；

入侵检测模块703，用于利用所述入侵检测模型对待测的目标对象的异常行为进行检测，确定所述目标对象是否存在入侵行为。

需要说明的是，在上述实施例基础上，还包括：

特征获取模块，用于获取监控视频中目标对象的目标特征，所述目标特征包括人脸特征和/或人体特征；

聚档模块，基于所述目标特征对所述目标对象进行聚档，生成聚档结果；

档案轨迹模块，用于根据所述目标对象在预设时间内形成的轨迹确定为档案轨迹，并将所述聚档结果与所述档案轨迹关联映射进行存储。

在本实施例中，该系统实质上是设置了多个模块用以执行上述实施例中的方法，具体功能和技术效果参照上述方法实施例即可，此处不再赘述。

参见图8，本申请实施例还提供了一种电子设备800，包括处理器801、存储器802和通信总线803；

通信总线803用于将处理器801和存储器连接802；

处理器801用于执行存储器802中存储的计算机程序，以实现如上述实施例一中的一个或多个的方法。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序用于使计算机执行如上述实施例一中的任一项的方法。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (11)

1.一种入侵检测方法，其特征在于，所述方法包括：

获取监控视频中目标对象的异常行为，所述异常行为包括目标对象突兀出现、所述目标对象横向移动、以及根据所述目标对象所对应的目标特征在所述监控视频的出现顺序确定所述目标对象翻越或所述目标对象挖地洞的至少之一；

构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型；

利用所述入侵检测模型对待测的目标对象的异常行为进行检测，确定所述目标对象是否存在入侵行为。

2.如权利要求1所述的方法，其特征在于，获取监控视频中目标对象的异常行为之前，还包括：

获取监控视频中目标对象的目标特征，所述目标特征包括人脸特征和/或人体特征；

基于所述目标特征对所述目标对象进行聚档，生成聚档结果；

根据所述目标对象在预设时间内形成的轨迹确定为档案轨迹，并将所述聚档结果与所述档案轨迹关联映射进行存储。

3.如权利要求2所述的方法，其特征在于，基于所述目标特征对所述目标对象进行聚档，生成聚档结果，还包括：

对所述监控视频中第一预设区域内的人脸特征或/和人体特征进行聚档处理，其中，以所述目标对象的人脸特征为准，与获取的人脸特征进行比较，若比较结果大于预设阈值，则确定为同一聚档结果；或，以所述目标对象的人体特征为准，与获取的人体特征进行比较，若比较结果大于预设阈值，则确定为同一聚档结果。

4.如权利要求1所述的方法，其特征在于，获取监控视频中目标对象的异常行为，还包括：

若监测到所述目标对象出现在所述监控视频中第一预设区域，则利用所述入侵检测模型对待测的目标对象的异常行为进行检测；若监测到所述目标对象出现在所述监控视频中第二预设区域，则确定所述目标对象存在入侵行为，并进行入侵预警提示。

5.如权利要求2或3所述的方法，其特征在于，根据所述目标对象在预设时间内形成的轨迹确定为档案轨迹，并将所述聚档结果与所述档案轨迹关联映射进行存储，还包括：

根据所述目标对象关联的人体特征与人脸特征，将同一个所述目标对象所对应的人体特征与人脸特征各自在预设时间内形成的轨迹进行融合，确定所述目标对象的档案轨迹，并基于关联相似度将所述聚档结果与所述档案轨迹关联映射进行存储。

6.如权利要求1至4任一所述的方法，其特征在于，获取监控视频中目标对象的异常行为，还包括：

所述目标特征从上至下依次包括人脸特征、躯干特征、腿部特征与脚部特征，所述人体特征至少包括躯干特征、腿部特征与脚部特征；

对所述监控视频进行解析处理，确定所述目标特征在所述监控视频的出现顺序；

在所述监控视频中第一预设区域，若监测到所述目标特征在所述监控视频的出现顺序依次为人脸特征、躯干特征、腿部特征与脚部特征，则确定所述目标对象存在挖地洞的异常行为；

在所述监控视频中第二预设区域，若监测到所述目标特征在所述监控视频的出现顺序依次为脚部特征、腿部特征、躯干特征与人脸特征，则确定所述目标对象存在翻越的异常行为；

基于所述目标对象在所述监控视频的位置区域与出现时间确定所述目标对象的运动速度与运动方向；

根据所述目标对象的运动速度与档案轨迹，确定所述目标对象存在突兀出现的异常行为；

根据所述目标对象在监控视频中位置变化信息，确定所述目标对象存在横向移动的异常行为。

7.如权利要求1至4任一所述的方法，其特征在于，构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型，还包括：

每种所述异常行为对应一个子任务，将每个所述子任务对应的训练数据形成一个子任务训练集；

将每个子任务训练集输入预先构建的多任务神经网络模型，确定每个子任务所对应的损失值；

基于每个子任务所对应的损失值对所述多任务神经网络模型的关联任务所对应的各个子任务共享的网络进行训练，直至满足收敛条件时得到入侵检测模型。

8.如权利要求1所述的方法，其特征在于，获取监控视频中目标对象的异常行为，还包括：

若监测接收到外部触发，根据所述外部触发的位置获取当前触发时间前后时段的监控视频；

对所述监控视频内的目标对象进行识别，确定所述目标对象的置信度，根据所述置信度确定所述目标对象为陌生入侵的异常行为；

基于所述目标对象在所述监控视频的位置区域与出现时间确定所述目标对象的运动速度与运动方向；根据所述运动方向以及运动速度确定所述目标对象是否存在入侵的异常行为。

9.一种入侵检测系统，其特征在于，所述系统包括：

获取模块，用于获取监控视频中目标对象的异常行为，所述异常行为包括目标对象突兀出现、所述目标对象横向移动、以及根据所述目标对象所对应的目标特征在所述监控视频的出现顺序确定所述目标对象翻越或所述目标对象挖地洞的至少之一；

模型构建模块，用于构建多任务神经网络模型，将所述异常行作为训练数据对所述神经网络模型进行训练，得到入侵检测模型；

入侵检测模块，用于利用所述入侵检测模型对待测的目标对象的异常行为进行检测，确定所述目标对象是否存在入侵行为。

10.一种电子设备，其特征在于，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-8中任一项所述的方法。

Images