CN112668496A - 入侵检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种入侵检测方法、装置、设备及存储介质，其中，所述方法包括：从待处理的视频流中获得所述待处理图像；对所述待处理图像中的对象进行检测，得到至少一个对象检测框；确定所述对象检测框中是否存在所述预设的入侵对象；在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

Description

入侵检测方法、装置、设备及存储介质

技术领域

本申请实施例涉及智能监控领域，涉及但不限于入侵检测方法、装置、设备及存储介质。

背景技术

高快速道路中时常发生行人/非机动车误闯或有意进入，影响道路行驶车辆的正常行驶，对交通安全造成极大影响。这类长尾事件的特点是在一定时间段内发生的概率低，采集过程中摄像装置采集的图像数据是海量的，相关技术深度学习的目标检测方法，通过增加训练数据和模型容量达到目标精度，但需要投入大量人力进行检测框标注，并且会大幅度增加算法运行的硬件成本，是行人入侵等类似长尾事件算法落地亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供一种入侵检测方法、装置、设备及存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种入侵检测方法，包括：从待处理的视频流中获得所述待处理图像；对所述待处理图像中的对象进行检测，得到至少一个对象检测框；确定所述对象检测框中是否存在所述预设的入侵对象；在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

在一些实施例中，所述对所述待处理图像中的对象进行检测，得到至少一个对象检测框，包括：对所述待处理图像中的对象进行检测，得到至少一个对象检测框、每一所述对象检测框的位置和每一所述对象检测框中对象的类别；在基于所述对象的类别确定任一所述对象检测框中存在所述预设的入侵对象情况下，确定所述待处理图像中存在所述预设的入侵对象；基于存在所述预设的入侵对象的对象检测框的位置，确定所述预设的入侵对象的位置。

这样，先得到对象检测框，再确定对象检测框中存在预设的入侵对象的方法，可以有效检测出待处理图像中的预设的入侵对象，且检测框还可以用于后续判断入侵对象是否存在于入侵检测区域。实现了利用检测器准确确定待处理图像中是否包括入侵对象以及入侵对象的位置。

在一些实施例中，所述对所述待处理图像中的对象进行检测，得到至少一个对象检测框、每一所述对象检测框的位置和每一所述对象检测框中对象的类别，包括：基于深度卷积网络，对所述待处理图像进行特征提取，得到第一特征图；基于区域生成网络，在所述第一特征图中生成候选目标区域，得到第二特征图；所述第二特征图包括至少一个检测框和每一所述检测框的位置、置信度；基于池化层在将所述第一特征图和所述第二特征图进行位置敏感的候选区域池化的过程中，基于所述至少一个检测框和每一所述检测框的置信度，将满足预设条件的检测框确定为对象检测框，并确定所述对象检测框中对象的类别。

这样，基于深度卷积网络、区域生成网络和池化层可以实现待处理图像中的对象进行检测，得到至少一个对象检测框、每一对象检测框的位置和每一对象检测框中对象的类别。

在一些实施例中，所述基于所述至少一个检测框和每一所述检测框的置信度，将满足预设条件的检测框确定为对象检测框，包括：采用非极大值抑制算法，基于每一所述检测框的置信度和所述至少一个所述检测框中所述检测框之间的交并比，将满足预设条件的检测框确定为对象检测框。

这样，采用非极大值抑制算法可以将待处理图像中的每一对象最终确定一个最合适的对象检测框。

在一些实施例中，所述采用非极大值抑制算法，基于每一所述检测框的置信度和所述至少一个所述检测框中所述检测框之间的交并比，将满足预设条件的检测框确定为对象检测框，包括：基于每一所述检测框的置信度，将至少一个所述检测框中置信度最大的检测框，确定为目标检测框；将所述目标检测框确定为一所述对象检测框；确定所述目标检测框与每一其他检测框的交并比；其中，所述其他检测框是指所述至少一个所述检测框中除所述目标检测框之外的检测框；将交并比大于阈值的其他检测框从所述至少一个所述检测框删除，得到候选检测框集合；将所述候选检测框集合中除所述目标检测框之外的置信度最大的检测框，确定为新的目标检测框；将所述新的目标检测框确定为一所述对象检测框；确定所述新的目标检测框与每一新的其他检测框的交并比；其中，所述每一新的其他检测框是指所述候选检测框集合中除所述新的目标检测框之外的检测框；将交并比大于阈值的新的其他检测框从所述候选检测框集合中删除，得到新的候选检测框集合；以此类推，得到所述对象检测框。

这样，采用非极大值抑制算法，合并交并比大于阈值的检测框，可以将满足预设条件的检测框确定为对象检测框，以实现将待处理图像中的每一对象最终确定一个最合适的对象检测框。

在一些实施例中，所述确定所述对象检测框中是否存在所述预设的入侵对象，包括：采用第一级分类器，基于所述对象的类别将目标类别对应的对象检测框进行第一分类，得到第一分类结果；采用与所述第一级分类器级联的第二级分类器，基于所述第一分类结果，对满足预设条件的对象检测框进行第二分类，得到第二分类结果；在基于所述第二分类结果确定任一所述对象检测框中存在所述预设的入侵对象时，确定所述对象检测框中存在所述预设的入侵对象。

这样，第一分类可以看做是初步判定，第二分类可以看做是再次判定，采用先初步判定再再次判定的两次分类方法可以有效提升分类的效率、降低误判率。

在一些实施例中，所述第一级分类器与所述第二级分类器之间具有以下关系：所述第一级分类器的分类精度比所述第二级分类器的分类精度低；所述第一级分类器中卷积层的层数比所述第二级分类器中卷积层的层数少；所述第一级分类器的置信度比所述第二级分类器的置信度低。

这样，利用第一级分类器与所述第二级分类器组成的分类器可以保证分类精度的基础上有效提升分类的效率和置信度，降低误判率。

在一些实施例中，所述对所述待处理图像进行识别，得到入侵检测区域，包括：采用卷积神经网络模型对所述待处理图像进行语义分割，得到所述入侵检测区域。

这样，采用卷积神经网络对待处理图像进行语义分割，实现了入侵检测区域的自动识别，无需人工标注区域，方便大规模上线应用。

在一些实施例中，所述基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件，包括：基于所述预设的入侵对象的位置判断所述预设的入侵对象是否位于所述入侵检测区域内；响应于所述预设的入侵对象位于所述入侵检测区域之内，确定发生所述入侵事件；或响应于所述预设的入侵对象位于所述入侵检测区域之外，确定未发生所述入侵事件。

这样，基于预设的入侵对象的位置判断预设的入侵对象是否位于入侵检测区域内，可有效提升确定预设的入侵对象位于入侵检测区域的准确性。

在一些实施例中，所述基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件，包括：将存在所述预设的入侵对象的对象检测框，确定为目标检测框；将所述目标检测框的底边的中心点，确定为所述预设的入侵对象的位置；基于所述目标检测框的底边的中心点和所述入侵检测区域之间的相对位置关系，确定是否发生入侵事件。

这样，基于所述目标检测框的底边的中心点和所述入侵检测区域之间的相对位置关系，确定是否发生入侵事件。这样，将目标检测框的底边的中心点对应的位置坐标与入侵检测区域的位置坐标做比对。在确定该位置坐标属于入侵区域的情况下，确定发生入侵事件，可以有效提升确定入侵事件的精度。

在一些实施例中，所述方法还包括：响应于发生所述入侵事件，输出告警标识。

这样，可以根据告警标识迅速引导入侵对象离开入侵检测区域，有效预防入侵对象进入入侵检测区域。

在一些实施例中，所述方法还包括：响应于发生所述入侵事件，基于所述入侵对象的类别和所述入侵检测区域对所述入侵事件进行记录，得到入侵记录；将所述入侵记录进行存储或者发送给关联的终端。

这样，可以对入侵事件进行记录，根据入侵记录发现入侵对象入侵的高频点位，加强防范措施。

第二方面，本申请实施例提供一种入侵检测装置，包括：获得模块，用于从待处理的视频流中获得所述待处理图像；检测模块，用于对所述待处理图像中的对象进行检测，得到至少一个对象检测框；第一确定模块，用于确定所述对象检测框中是否存在所述预设的入侵对象；识别模块，用于在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；第二确定模块，用于基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的入侵检测方法。

第四方面，本申请实施例提供一种入侵检测存储介质，存储有可执行指令，用于引起处理器执行时，实现上述方法的入侵检测方法。

本申请实施例中具有以下优点：

1)从待处理的视频流中获得所述待处理图像，这样可以利用监控设备采集的视频流中的图像作为输入，对视频流进行分析，能够有效提高监控设备的利用率。

2)先对待处理图像中的对象进行检测，得到至少一个对象检测框，然后确定对象检测框中是否存在预设的入侵对象。这样，提供的检测模型和分类模型实现了解耦，可以在算法落地过程中，针对特殊场景定制分类模型，快速达到预期性能，解除了对单一检测模型的精度依赖，使得算法速度和精度获得了很大的提升。进一步地，由于检测模型和分类模型实现了解耦，对于新场景误报优化，仅需要加入误报数据训练新分类器，与已有检测模型级联即可，适合算法落地的快速升级迭代，通过级联方式过滤误报，可以极大提高长尾事件的检测精度。

3)在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；基于预设的入侵对象的位置和入侵检测区域，确定是否发生入侵事件。这样，只在确认有入侵对象的待处理图像中进行入侵检测区域的识别，而无需对所有的待处理图像进行识别，能够显著减少对硬件设备上计算力的要求，从而实现了高效全自动检测入侵对象是否入侵入侵检测区域，进而无需人工标注区域，方便大规模上线应用。

附图说明

图1为本申请实施例提供的一种入侵检测方法的实现流程示意图；

图2为本申请实施例提供的一种级联分类模型示意图；

图3为本申请实施例提供的一种语义分割模型示意图；

图4为本申请实施例提供的一种检测模型示意图；

图5为本申请实施例提供的智慧交通平台展示图；

图6为本申请实施例提供的行人/车闯入图；

图7为本申请实施例提供的一种入侵检测方法的实现流程示意图；

图8为本申请实施例入侵检测装置结构组成示意图；

图9为本申请实施例计算机设备的一种硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应当理解，此处所描述的一些实施例仅仅用以解释本申请实施例的技术方案，并不用于限定本申请实施例的技术范围。

本申请实施例提出一种入侵检测方法应用于计算机设备，所述计算机设备可包括可移动设备或不可移动设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。

本申请实施例提供的一种入侵检测方法的实现流程示意图，如图1所示，该方法包括：

步骤S101、从待处理的视频流中获得所述待处理图像；

在一些实施例中，可以利用监控视频流作为输入，从监控视频流中获得待处理图像，这类监控视频流由于受监控时间段的影响，数据多数情况是海量的。在实施过程中，可以复用当前道路监控系统，这样可以有效避免专用硬件的限制；还可以采用定时抓拍方式获取待处理图像，对闯入高快速路的行人/非机动车进行识别和预警，协助交警维护高快速路秩序，提高路网安全性。

步骤S102、对所述待处理图像中的对象进行检测，得到至少一个对象检测框；

在一些实施例中，可以使用目标检测模型对待处理图像中的对象进行检测，得到至少一个对象检测框。在实施过程中，目标检测模型可以是经过训练的基于快速区域卷积神经网络(Faster-Regions with Convolutional Neural Network，Faster-RCNN)、你只需看一次(You Only Look Once，YOLO)、单发多框(SingleShot MultiBox Detector，SSD)网络等之一。其中，以Faster R-CNN为代表的双步目标检测方法，优点是检测精度高，缺点是检测速度慢；以YOLO、SSD网络为代表的单步目标检测方法，优点是检测速度比双步检测方法类快。

在实施过程中，以上三类目标检测模型任一的输入可以是待处理图像，经过处理输出至少一个对象检测框。

步骤S103、确定所述对象检测框中是否存在所述预设的入侵对象；

在一些实施例中，可以采用级联分类器模型确定对象检测框中是否存在预设的入侵对象。级联分类器模型可以包括多级分类器，每一级分类器完成对应的分类任务。这样，经过级联分类器模型确定的分类结果比单级分类器模型确定的分类结果精度更高，且可以达到有效提升分类效率的效果。

在实施过程中，例如高快速路场景下，预设的入侵对象可以是行人或非机动车辆。

步骤S104、在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；

本申请实施例提供的入侵检测方法可以应用于高快速道路中发生的行人/非机动车误闯，或有意进入事件的识别，还可以应用于幼儿园门口监控幼儿走丢、湖边或水边有人失足落水，或越狱事件等这类长尾事件。由于这类长尾事件的特点是在一定时间段内发生的概率低，采集过程中摄像装置采集的图像数据是海量的，如果每个图像都进行目标区域的识别，对系统的运算能力要求高。这里，系统只对经过判断存在入侵对象的待处理图像进行识别，识别的方法可以采用语义分割模型。在本实施例中，以将本申请实施例提供的入侵检测方法应用于高快速道路中发生的行人/非机动车误闯为例进行说明。

步骤S105、基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

将在同一张待处理图像中，识别出的预设的入侵对象的位置和步骤S104得到的入侵检测区域，经过运算处理，确定入侵检测区域中有或无预设的入侵对象。

本申请实施例中具有以下优点：

1)从待处理的视频流中获得所述待处理图像，这样可以利用监控设备采集的视频流中的图像作为输入，对视频流进行分析，能够有效提高监控设备的利用率。

2)先对待处理图像中的对象进行检测，得到至少一个对象检测框，然后确定对象检测框中是否存在预设的入侵对象。这样，提供的检测模型和分类模型实现了解耦，可以在算法落地过程中，针对特殊场景定制分类模型，快速达到预期性能，解除了对单一检测模型的精度依赖，使得算法速度和精度获得了很大的提升；进一步地，由于检测模型和分类模型实现了解耦，对于新场景误报优化，仅需要加入误报数据训练新分类器，与已有检测模型级联即可，适合算法落地的快速升级迭代，通过级联方式过滤误报，可以极大提高长尾事件的检测精度。

3)在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；基于预设的入侵对象的位置和入侵检测区域，确定是否发生入侵事件。这样，只在确认有入侵对象的待处理图像中进行入侵检测区域的识别，而无需对所有的待处理图像进行识别，能够显著减少对硬件设备上计算力的要求，从而实现了高效全自动检测入侵对象是否入侵入侵检测区域，进而无需人工标注区域，方便大规模上线应用。

本申请实施例提供一种级联分类模型，如图2所示，该级联分类模型包括：第一级分类器220和第二级分类器230。其中：

第一级分类器220，包括第一残差网络221和第一全连接层222，其中，第一残差网络221对输入的对象检测框210中的画面内容进行特征提取，得到特征图P1；第一全连接层222基于特征图P1进行第一次分类，得到第一分类结果；基于第一分类结果将不符合要求的对象检测框过滤掉。

第二级分类器230，包括第二残差网络231和第二全连接层232，其中，第二残差网络231用于在第一分类结果满足条件的情况下，对对象检测框中的画面内容进行特征提取，得到特征图P2；第二全连接层232基于特征图P2进行第二次分类，得到第二分类结果；基于第二分类结果将不符合要求的对象检测框过滤掉。

第二分类结果240，表示经过级联模型分类后的对象检测框分类结果。

如图2所示的级联分类模型，第一级分类器220中的第一残差网络221可以使用分类速度快的分类模型，例如残差网络Resnet18，可以过滤大部分负样本；第二级分类器230中的第二残差网络231可以使用速度慢但精度高的分类模型，例如残差网络Resnet50，提高准确率，这样整体速度不会变慢很多，精度提高了很多。

本申请实施例提供的一种入侵检测方法，该方法包括：

步骤S201、从待处理的视频流中获得所述待处理图像；

步骤S202、对所述待处理图像中的对象进行检测，得到至少一个对象检测框、每一所述对象检测框的位置和每一所述对象检测框中对象的类别；

在一些实施例中，在高快速路场景的情况下，检测模型输入为高快速路图像，输出为对象检测框。这里，对象可以是工作人员、行人、动物、车、摩托车、电动自行车等。在特征提取阶段，使用深度卷积网络，对高快速路图像进行特征提取，并通过区域生成网络进行提取候选对象检测框；在检测阶段，基于特征提取阶段得到的对象检测框，对候选对象检测框特征进行位置敏感的候选区域池化，即进行类别分类和坐标回归，得到每一对象检测框的位置和每一对象检测框中对象的类别。

步骤S203、在基于所述对象的类别确定任一所述对象检测框中存在所述预设的入侵对象情况下，确定所述待处理图像中存在所述预设的入侵对象；

在一些实施例中，在高快速路场景的情况下，检测结果包括但不限于以下中的至少一种：高快速路上的工作人员、行人、动物、车、摩托车、电动自行车等。这里，可以确定类别为行人和非机动车的对象为预设的入侵对象，即任一对象检测框中存在行人和非机动车的情况下，确定待处理图像中存在预设的入侵对象。

步骤S204、基于存在所述预设的入侵对象的对象检测框的位置，确定所述预设的入侵对象的位置；

在一些实施例中，存在预设的入侵对象的对象检测框的位置，可以用位置坐标表示。基于对象检测框的位置坐标可以确定入侵对象在待处理图像中的位置。

步骤S205、采用第一级分类器，基于所述对象的类别将目标类别对应的对象检测框进行第一分类，得到第一分类结果；

在一些实施例中，可以使用如图2所示的级联分类模型，第一级分类器220可以包括第一残差网络221和第一全连接层222。其中，第一残差网络221可以使用ResNet18网络，18代表的是网络的深度，也就是18指定的是带有权重的18层，包括卷积层和全连接层，不包括池化层和批归一化(Batch Normalization，BN)层。ResNet18网络对对象检测框进行特征提取，得到特征图；第一全连接层222基于特征图进行第一次分类，得到第一分类结果，即将不满足要求的对象检测框经过第一过滤过滤掉。这里第一级分类器220完成的是图像的初判，也可以称为粗判，粗判的特点是效率高但误判率高。

步骤S206、采用与所述第一级分类器级联的第二级分类器，基于所述第一分类结果，对满足预设条件的对象检测框进行第二分类，得到第二分类结果；

在一些实施例中，第一级分类器与所述第二级分类器之间具有以下关系：所述第一级分类器的分类精度比所述第二级分类器的分类精度低；所述第一级分类器中卷积层的层数比所述第二级分类器中卷积层的层数少；所述第一级分类器的置信度比所述第二级分类器的置信度低。

在一些实施例中，如图2所示，在第一分类结果满足条件的情况下，对对象检测框使用第二级分类器230进行分类，其中第二级分类器230包括第二残差网络231和第二全连接层232。其中，第二残差网络231可以使用ResNet50网络。ResNet50网络对对象检测框进行特征提取，得到特征图；第二全连接层232基于特征图进行第二次分类，得到第二分类结果，即将不满足要求的对象检测框经过第二过滤过滤掉。第二级分类器230完成的是对对象检测框的复判，也可以称为细判，细判的特点是分类精度高、误判率低。

步骤S207、在基于所述第二分类结果确定任一所述对象检测框中存在所述预设的入侵对象时，确定所述对象检测框中存在所述预设的入侵对象；

步骤S208、在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；

步骤S209、将存在所述预设的入侵对象的对象检测框，确定为目标检测框；

步骤S210、将所述目标检测框的底边的中心点，确定为所述预设的入侵对象的位置；

在一些实施例中，目标检测框的底边的中心点对应一个位置坐标，将该位置坐标确定为入侵对象的位置。

在另一些实施例中，还可以确定目标检测框的任意边框的中心点对应的位置坐标为入侵对象的位置。

步骤S211、基于所述目标检测框的底边的中心点和所述入侵检测区域之间的相对位置关系，确定是否发生入侵事件。

在实施过程中，可以将目标检测框的底边的中心点对应的位置坐标与入侵检测区域的位置坐标做比对。在确定该位置坐标属于入侵区域的情况下，确定发生入侵事件；在确定该位置坐标不属于入侵区域的情况下，确定未发生入侵事件。

本申请实施例中，获得分类后的对象检测框，仅将符合的分类的对象框裁剪出来的图像输入级联分类。这样，无需对所有的待处理图像进行识别，能够显著减少对硬件设备上计算力的要求。

本申请实施例中，在经过级联分类确认符合包括入侵对象的对象检测框的情况下，将该待处理图像进行识别，得到入侵检测区域。这样，利用级联分类器分两次进行分类，第一级分类可以看做是初步判定，第二级分类可以看做是再次判定，采用先初步判定再再次判定的两次分类方法可以有效提升分类的效率、降低误判率。用于类似的长尾事件检测，例如烟火检测，通过级联方式过滤误报，可以极大提高长尾事件的检测精度。

本申请实施例中，基于所述目标检测框的底边的中心点和所述入侵检测区域之间的相对位置关系，确定是否发生入侵事件。这样，将目标检测框的底边的中心点对应的位置坐标与入侵检测区域的位置坐标做比对。在确定该位置坐标属于入侵区域的情况下，确定发生入侵事件，可以有效提升确定入侵事件的精度。

本申请实施例提供的一种语义分割模型，如图3所示，该语义分割模型包括：多层卷积网络302、多层反卷积网络303和完成语义分割的图像304。其中：

多层卷积网络302，在层数取值为5的情况下，是5层卷积网络，用于对待处理图像进行32倍降采样，同时对待处理图像进行编码。

多层反卷积网络303，在层数取值为4的情况下，是4层反卷积网络，用于对编码结果进行32倍上采样，对编码结果进行解码和语义理解。

以待处理图像为高快速路场景为例，将待处理图像301输入卷积神经网络模型得到可以完成语义分割的图像304，即得到高快速路区域(灰色，标签为1)和非高快速路区域(黑色，标签为0)。这样，将高快速路区域标注为灰色，将非高快速路区域标注为黑色，可以达到可视化效果；将高快速路区域标注为1，将非高快速路区域标注为0，可以实现利用不同的标注区域，快速识别出入侵对象所在的位置。

本申请实施例提供的一种检测模型，如图4所示，该检测模型包括：深度卷积网络402、区域生成网络(RegionProposal Network，RPN)403、位置敏感的候选区域池化层(Position Sensitive Regions of Interest Pooling，PSROIPooling)404、边框回归结果405和分类结果406。其中：

深度卷积网络402，用于对待处理图像301(与图3所示的待处理图像301为同一图像)进行特征提取，得到第一特征图。

区域生成网络(RegionProposal Network，RPN)403，用于在第一特征图上生成候选目标区域(对象检测框)，得到第二特征图，所述第二特征图包括至少一个检测框和每一所述检测框的位置、置信度。

位置敏感的候选区域池化(Position Sensitive Regions of InterestPooling，PSROIPooling)层404，用于对同时输入的第一特征图像和至少一个对象检测框进行位置敏感的候选区域池化，得到边框回归结果405和分类结果406，其中，本实施例中，所述分类结果406实现检测结果的预测，所述检测结果包括但不限于以下中的至少一种：高快速路上的工作人员、行人、动物、车、摩托车、电动自行车等等，所述边框回归结果405预测所述检测结果所对应检测框的精准坐标。

这样，待处理图像经过检测模型的检测后，得到从待处理图像中剪裁出的至少一个对象检测框，并确定每一所述对象检测框的位置、置信度和对象检测框中对象的类别。

本申请实施例提供的一种入侵检测方法，该方法包括：

步骤S401、从待处理的视频流中获得所述待处理图像；

步骤S402、基于深度卷积网络，对所述待处理图像进行特征提取，得到第一特征图；

在一些实施例中，可以使用如图4所示的，基于快速区域卷积神经网络(Faster-Regions with Convolutional Neural Network，Faster-RCNN)的检测器进行待处理图像的检测，Faster-RCNN网络输入的是待处理图像，经过处理输出至少一个对象检测框；

如图4所示，阶段一(特征提取阶段)使用深度卷积网络402进行特征提取，其中，深度卷积网络402包括：向量卷积运算1(conv1)、向量卷积运算2(conv2)、稠密向量卷积运算3(dense conv3)和稠密向量卷积运算4(dense conv4)，使用以上4个深度卷积网络，对图像进行特征提取。

步骤S403、基于区域生成网络，在所述第一特征图中生成候选目标区域，得到第二特征图；所述第二特征图包括至少一个检测框和每一所述检测框的位置、置信度；

如图4所示，基于区域生成网络403，在第一特征图中生成候选目标区域，得到第二特征图。第二特征图包括至少一个检测框和每一所述检测框的位置、检出目标的置信度。

步骤S404、基于池化层在将所述第一特征图和所述第二特征图进行位置敏感的候选区域池化的过程中，基于所述至少一个检测框和每一所述检测框的置信度，将满足预设条件的检测框确定为对象检测框，并确定所述对象检测框中对象的类别；

如图4所示，将第一特征图和第二特征图进行位置敏感的候选区域池化，即同时输入第一特征图和第二特征图进行位置敏感的候选区域池化层404，得到边框回归结果405和分类结果406，得到检出目标的置信度，以及检测框的位置，将满足预设条件的检测框确定为对象检测框，并确定所述对象检测框中对象的类别。

步骤S405、在基于所述对象的类别确定任一所述对象检测框中存在所述预设的入侵对象情况下，确定所述待处理图像中存在所述预设的入侵对象；

步骤S406、基于存在所述预设的入侵对象的对象检测框的位置，确定所述预设的入侵对象的位置；

步骤S407、确定所述对象检测框中是否存在所述预设的入侵对象；

步骤S408、在确定所述对象检测框中存在预设的入侵对象的情况下，采用卷积神经网络模型对所述待处理图像进行语义分割，得到所述入侵检测区域；

在实施过程中，如图3所示的卷积神经网络模型包括多层卷积网络302、多层反卷积网络303。其中，多层卷积网络302，在层数取值为5的情况下，是5层卷积网络，用于对待处理图像进行32倍降采样，同时对待处理图像进行编码；多层反卷积网络303，在层数取值为4的情况下，是4层反卷积网络，用于对编码结果进行32倍上采样，对编码结果进行解码和语义理解。

以待处理图像为高快速路场景为例，将输入待处理图像301输入卷积神经网络模型可以得到高快速路区域(灰色，标签为1)和非高快速路区域(黑色，标签为0)。这样，将高快速路区域标注为灰色，将非高快速路区域标注为黑色，可以达到可视化效果；将高快速路区域标注为1，将非高快速路区域标注为0，可以实现利用不同的标注区域，快速识别出入侵对象所在的位置。

步骤S409、基于所述预设的入侵对象的位置判断所述预设的入侵对象是否位于所述入侵检测区域内；

在实施过程中，入侵对象的位置可以对应一组位置坐标，例如将对象检测框的一组位置坐标作为入侵对象的位置坐标，在一组位置坐标中选择最能代表入侵对象位置的坐标作为入侵对象的位置坐标，与入侵检测区域的位置坐标做比对，以判断入侵对象是否位于入侵检测区域内。

步骤S410、响应于所述预设的入侵对象位于所述入侵检测区域之内，确定发生所述入侵事件；或响应于所述预设的入侵对象位于所述入侵检测区域之外，确定未发生所述入侵事件。

本申请实施例中，基于深度卷积网络，得到第一特征图；基于区域生成网络，得到第二特征图；基于池化层在将第一特征图和第二特征图进行位置敏感的候选区域池化的过程中，基于至少一个检测框和每一检测框的置信度，将满足预设条件的检测框确定为对象检测框，并确定对象检测框中对象的类别。这样，得到的对象检测框是包括预设的入侵对象的检测框，如果没有检测到包括入侵对象的对象检测框，则不需要进行后续的处理，可以有效提升长尾事件的检测效率。

本申请实施例中，在存在预设的入侵对象的情况下，采用卷积神经网络模型对待处理图像进行语义分割，得到用颜色和标签区分的入侵检测域和非入侵检测区域。这样，使用不同颜色标注出的入侵检测区域，可以达到可视化效果；使用不用标签标出的入侵检测区域，可以实现利用不同标签标注不同区域，快速识别出入侵对象所在的位置。通过引入卷积神经网络模型对待处理图像进行入侵检测区域识别，实现了入侵检测区域的自动识别，无需人工标注区域，方便大规模上线应用。不需要预先标注入侵检测区域，部署上线方便。

本申请实施例中，基于预设的入侵对象的位置判断预设的入侵对象是否位于入侵检测区域内，可有效提升确定预设的入侵对象位于入侵检测区域的准确性。

本申请实施例提供的一种入侵检测方法，该方法包括：

步骤S421、从待处理的视频流中获得所述待处理图像；

步骤S422、基于深度卷积网络，对所述待处理图像进行特征提取，得到第一特征图；

步骤S423、基于区域生成网络，在所述第一特征图中生成候选目标区域，得到第二特征图；所述第二特征图包括至少一个检测框和每一所述检测框的位置、置信度；

步骤S424、基于池化层在将所述第一特征图和所述第二特征图进行位置敏感的候选区域池化的过程中，采用非极大值抑制算法，基于每一所述检测框的置信度和所述至少一个所述检测框中所述检测框之间的交并比，将满足预设条件的检测框确定为对象检测框，并确定所述对象检测框中对象的类别；

在实施过程中，采用非极大值抑制算法，基于每一所述检测框的置信度和所述至少一个所述检测框中所述检测框之间的交并比，将满足预设条件的检测框确定为对象检测框，包括：基于每一所述检测框的置信度，将至少一个所述检测框中置信度最大的检测框，确定为目标检测框；将所述目标检测框确定为一所述对象检测框；确定所述目标检测框与每一其他检测框的交并比；其中，所述其他检测框是指所述至少一个所述检测框中除所述目标检测框之外的检测框；将交并比大于阈值的其他检测框从所述至少一个所述检测框删除，得到候选检测框集合；将所述候选检测框集合中除所述目标检测框之外的置信度最大的检测框，确定为新的目标检测框；将所述新的目标检测框确定为一所述对象检测框；确定所述新的目标检测框与每一新的其他检测框的交并比；其中，所述每一新的其他检测框是指所述候选检测框集合中除所述新的目标检测框之外的检测框；将交并比大于阈值的新的其他检测框从所述候选检测框集合中删除，得到新的候选检测框集合；以此类推，得到所述对象检测框。

步骤S425、在基于所述对象的类别确定任一所述对象检测框中存在所述预设的入侵对象情况下，确定所述待处理图像中存在所述预设的入侵对象；

步骤S426、基于存在所述预设的入侵对象的对象检测框的位置，确定所述预设的入侵对象的位置；

步骤S427、确定所述对象检测框中是否存在所述预设的入侵对象；

步骤S428、在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；

步骤S429、基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

步骤S430、响应于发生所述入侵事件，输出告警标识；

在实施过程中，以识别高快速路的行人闯入事件为例，输出告警标识，可以迅速引导入侵对象离开危险区域，预防交通事故发生。还可以利用识别结果，发现入侵对象入侵高频点位，加强防范措施。

步骤S431、响应于发生所述入侵事件，基于所述入侵对象的类别和所述入侵检测区域对所述入侵事件进行记录，得到入侵记录；

步骤S432、将所述入侵记录进行存储或者发送给关联的终端。

本申请实施例中，在检测预设的入侵对象的过程中，首先得到检出对象的置信度，以及检测框的位置。然后采用非极大值抑制算法，合并交并比大于阈值的检测框，将满足预设条件的检测框确定为对象检测框。这样，采用非极大值抑制算法可以将待处理图像中的每一对象最终确定一个最合适的对象检测框。

本申请实施例中，当确定对象检测框在入侵检测区域内的情况下，输出告警标识；基于入侵对象的类别和入侵检测区域对入侵事件进行记录，得到入侵记录；将入侵记录进行存储或者发送给关联的终端。这样，可以根据告警标识迅速引导入侵对象离开入侵检测区域，有效预防入侵对象进入入侵检测区域。还可以对入侵事件进行记录，根据入侵记录发现入侵对象入侵的高频点位，加强防范措施。

高快速道路中时常发生行人/非机动车误闯或有意进入，影响道路行驶车辆的正常行驶，对交通安全造成极大影响。视频巡逻需对道路中行人/机动车进行实时、主动检测，发现行人/机动车出现在高快速路行驶范围内时，及时进行相关预警，并通知交警部门及时响应处理，引导敦促行人/非机动车离开高快速路驾驶区域，消除道路行驶安全隐患，提升道路行驶安全指数。

早期的视频巡逻系统，主要依赖研判员轮询监控录像，来发现误闯入高快速的行人，并采取相应措施。这种方案虽然能够有效发现误闯入行人，但研判效率低，比较容易出现遗漏的情况，且轮询实时性也不高。随着计算机视觉技术的发展，目标检测算法得到了极大改进，将其用于预筛选图像视频中出现的行人，极大地提高了研判员的工作效率。近些年，目标检测算法基于深度学习提出了数据驱动的方案，进一步提高了行人入侵检测的准确率和召回率。算法精度如何达到甚至超越人工研判成为研究热点。

通常情况下，行人入侵在快高快速路中并不是一种常见事件，这对检测算法精度提出了很高的要求，例如99％准确率意味着百起事件时间内只允许1次误报。虽然基于深度学习的目标检测方法，理论上可以通过增加训练数据和模型容量达到目标精度，但需要投入大量人力进行检测框标注，并且会大幅度增加算法运行的硬件成本，是行人入侵事件算法落地亟待解决的问题。另一方面，行人入侵需要设定禁止入侵区域，基于人工标定区域的方式对大规模应用存在大量冗余的运维工作。

图5为本申请实施例提供的智慧交通平台展示图，如图5所示，智慧交通平台501，用于展示使用入侵检测方法在快高快速路上识别出的行人/非机动车闯入图像。

图6为本申请实施例提供的行人/车闯入图，如图6所示，行人/车闯入601，是点击图5所示行人/非机动车闯入图像后，展示的行人/非机动车闯入放大图像和图像详情，例如行人/非机动车闯入的时间、地点等。

为了说明本申请实施例提供的方案能够明显节省硬件设备的计算力，以时间顺序来说明快高快速路上判断行人闯入禁止区域为例，图7为本申请实施例提供的一种入侵检测方法的实现流程示意图，如图7示，其中，时间轴上涉及5个时刻，按照先后顺序依次为T1至T5时刻，工作流程描述如下：

步骤S700、在T1时刻将待处理图像输入检测器，获得至少一个候选行人检测框；

其中，待处理图像可以是原始图像也可以是对原始图像经过预处理之后的图像。步骤S700的处理过程分为特征提取阶段和检测阶段：

特征提取阶段：利用如图4所示的深度卷积网络402，包括向量卷积运算1(conv1)、向量卷积运算2(conv2)、稠密向量卷积运算3(dense conv3)和稠密向量卷积运算4(denseconv4)。可以使用以上4个深度卷积层，对待处理图像进行特征提取得到第一特征图，基于区域生成网络403，在第一特征图中生成候选目标区域，得到第二特征图。第二特征图包括至少一个检测框和每一所述检测框的位置、检出目标的置信度。

检测阶段：如图4所示，将第一特征图和第二特征图进行位置敏感的候选区域池化，即同时输入第一特征图和第二特征图进行位置敏感的候选区域池化层404，得到边框回归结果405和分类结果406，这样处理之后，可以得到检出目标的置信度，以及检测框的位置，将满足预设条件的检测框确定为对象检测框，并确定所述对象检测框中对象的类别。

最后通过极大值抑制算法，合并交并比大于阈值的检测框，输出符合要求的对象检测框(候选行人检测框)。

步骤S701、在T2时刻将每一候选行人检测框裁剪出来，输入到级联分类器，得到分类结果；

这里，级联分类器可以通过训练获得，例如在训练阶段：收集30万张检测报警小图，其中正样本6万，负样本24万。首先对这些数据进行行人/非行人二分类标注，再使用随机梯度下降算法，分别训练得到ResNet18网络和ResNet50网络。如图2所示，第一残差网络211可以使用ResNet18网络实现对图像的粗判，具有判断效率高但误判率也高的特点；第二残差网络231可以使用ResNet50网络实现对图像的细判，误判率低。这样，通过将多个分类器级联，在保持高召回的前提下，逐级分类提高精度，最终获得高精度行人检测结果。

步骤S702、在T3时刻判断级联分类模型是否获取到有效图像；

经过级联分类模型可以判断出待处理图像中是否存在需要的有效图像。例如：判断高快速路上禁止闯入的行人，在T3时刻可以判断级联分类模型是否获取到有闯入行人的图像。当未获取到有效图像时，不需要再对待处理图像做目标区域(高快速路区域)识别，流程结束，这样，不需要对每一输入的原始图像做目标区域识别，明显节省了硬件设备的计算力。

步骤S703、当确定级联分类器获取到有效图像时，在T4时刻将待处理图像输入语义分割模型，获得高快速路行人禁止进入区域；

这里，因为快高快速路上出现行人是一种长尾事件，即，在固定场景中该事件的发生概率极低，所以需要在确定级联分类器获取到有效图像时，再次将待处理图像输入语义分割模型，获得高快速路行人禁止进入区域。这样，只需要对有效图像做语音分割，可以在类似的长尾事件分析中有效降低算法对算力的需求。

参见图3，语义分割模型的输入是待处理图像301，先经过5层卷积网络(conv1、conv2、conv3、conv4和conv5)302对待处理图像301进行32倍降采样，对待处理图像进行编码；再经过4层反卷积(dconv1、dconv2、dconv3和dconv4)303对编码结果进行32倍上采样，对编码结果进行解码和语义理解，得到高快速路区域(灰色，标签为1)和非高快速路区域(黑色，标签为0)。这样，将高快速路区域标注为灰色，将非高快速路区域标注为黑色，可以达到可视化效果；将高快速路区域标注为1，将非高快速路区域标注为0，可以实现利用不同的标注区域，快速识别出入侵对象所在的位置。

步骤S704、在T5时刻，根据行人分类结果和高快速路行人禁止进入区域，判断行人是否闯入禁止区域；

完成步骤S701至S704，可以获得到了行人检测框和语义分割图。

设行人检测框左上点为(x₁,y₁)，右下点为(x₂,y₂)，语义分割结果为二维矩阵G。这里，透视关系，判断行人是否进入区域，需要尽可能选择与地面尽处于同一平面的行人定位点。

理论上，可以选择行人检测框底边中心点作为行人定位点，判断行人是否入侵，即以下公式(1)；

实际使用中，为了获得更鲁棒的结果，通过统计行人底边中心点附近的一个区域的分割结果均值，来判断行人是否进入禁止进入区域。判断行人入侵的公式为公式(2)：

步骤S705、在T6时刻，输出行人闯入结果。

如图5所示，展示使用入侵检测方法在快高快速路上识别出的行人/非机动车闯入图像。点击图5所示行人/非机动车闯入图像后，如图6所示，展示的行人/非机动车闯入放大图像和图像详情，例如行人/非机动车闯入的时间、地点等。

本申请实施例提出了一种对级联事件检测的入侵检测方法，首先在T1时刻基于检测模型进行行人检测，其次在T2时刻通过级联分类器对候选目标进行二次过滤，在T3时刻判断待处理图像中是否有入侵对象，如果没有入侵对象则不再对原始图像进行语义分割，在T4时刻将有入侵对象的待处理图像进行语义分割，判断目标是否出现在禁止闯入区域，在T5时刻同时输入对象检测框和入侵检测区域进行判断，在T6时刻完成判断。该方案通过将多个算法模块级联，在不显著增加算力需求的前提下，实现了全自动高快速路行人入侵检测。这样，使用语义分割来识别禁止进入区域，不需要人工标注。使用多模型级联方式实现，可单独升级检测、分类、分割的算法模块，对于长尾事件检测，降低了算法对算力的需求。

基于前述的实施例，本申请实施例提供一种入侵检测装置，该装置包括所包括的各模块、以及各模块所包括的各子模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

本申请实施例提供一种入侵检测装置，图8为本申请实施例入侵检测装置结构组成示意图，如图8所示，所述装置800包括：

获得模块810、用于从待处理的视频流中获得所述待处理图像；

检测模块820、用于对所述待处理图像中的对象进行检测，得到至少一个对象检测框；

第一确定模块830、确定所述对象检测框中是否存在所述预设的入侵对象；

识别模块840、用于在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；

第二确定模块850、用于基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

在一些实施例中，所述检测模块820包括检测子模块、第一确定子模块和第二确定子模块，其中，所述检测子模块，用于对所述待处理图像中的对象进行检测，得到至少一个对象检测框、每一所述对象检测框的位置和每一所述对象检测框中对象的类别；所述第一确定子模块，用于在基于所述对象的类别确定任一所述对象检测框中存在所述预设的入侵对象情况下，确定所述待处理图像中存在所述预设的入侵对象；所述第二确定子模块，用于基于存在所述预设的入侵对象的对象检测框的位置，确定所述预设的入侵对象的位置。

在一些实施例中，所述检测子模块包括深度卷积网络、区域生成网络和池化层，其中，所述深度卷积网络，用于对所述待处理图像进行特征提取，得到第一特征图；所述区域生成网络，用于在所述第一特征图中生成候选目标区域，得到第二特征图；所述第二特征图包括至少一个检测框和每一所述检测框的位置、置信度；所述池化层，用于在将所述第一特征图和所述第二特征图进行位置敏感的候选区域池化的过程中，基于所述至少一个检测框和每一所述检测框的置信度，将满足预设条件的检测框确定为对象检测框，并确定所述对象检测框中对象的类别。

在一些实施例中，所述检测子模块包括非极大值抑制算法单元，采用非极大值抑制算法，基于每一所述检测框的置信度和所述至少一个所述检测框中所述检测框之间的交并比，将满足预设条件的检测框确定为对象检测框。

在一些实施例中，所述非极大值抑制算法单元包括第一确定子单元、第二确定子单元、删除子单元、第三确定子单元和第四确定子单元，其中，所述第一确定子单元，用于基于每一所述检测框的置信度，将至少一个所述检测框中置信度最大的检测框，确定为目标检测框；将所述目标检测框确定为一所述对象检测框；所述第二确定子单元，用于确定所述目标检测框与每一其他检测框的交并比；其中，所述其他检测框是指所述至少一个所述检测框中除所述目标检测框之外的检测框；所述删除子单元，用于将交并比大于阈值的其他检测框从所述至少一个所述检测框删除，得到候选检测框集合；所述第三确定子单元，用于将所述候选检测框集合中除所述目标检测框之外的置信度最大的检测框，确定为新的目标检测框；将所述新的目标检测框确定为一所述对象检测框；所述第四确定子单元，用于确定所述新的目标检测框与每一新的其他检测框的交并比；其中，所述每一新的其他检测框是指所述候选检测框集合中除所述新的目标检测框之外的检测框；所述删除子单元，还用于将交并比大于阈值的新的其他检测框从所述候选检测框集合中删除，得到新的候选检测框集合；以此类推，得到所述对象检测框。

在一些实施例中，所述第一确定模块830包括第一分类子模块，第二分类子模块和第三确定子模块，其中，所述第二分类子模块，采用第一级分类器，基于所述对象的类别将目标类别对应的对象检测框进行第一分类，得到第一分类结果；所述第二分类子模块，采用与所述第一级分类器级联的第二级分类器，基于所述第一分类结果，对满足预设条件的对象检测框进行第二分类，得到第二分类结果；所述第三确定子模块，在基于所述第二分类结果确定任一所述对象检测框中存在所述预设的入侵对象时，确定所述对象检测框中存在所述预设的入侵对象。所述第一级分类器与所述第二级分类器之间具有以下关系：所述第一级分类器的分类精度比所述第二级分类器的分类精度低；所述第一级分类器中卷积层的层数比所述第二级分类器中卷积层的层数少；所述第一级分类器的置信度比所述第二级分类器的置信度低。

在一些实施例中，所述识别模块840还用于采用卷积神经网络模型对所述待处理图像进行语义分割，得到所述入侵检测区域。

在一些实施例中，所述第二确定模块850包括判断子模块和第四确定子模块，其中，所述判断子模块，用于基于所述预设的入侵对象的位置判断所述预设的入侵对象是否位于所述入侵检测区域内；所述第四确定子模块，用于响应于所述预设的入侵对象位于所述入侵检测区域之内，确定发生所述入侵事件；或响应于所述预设的入侵对象位于所述入侵检测区域之外，确定未发生所述入侵事件。

在一些实施例中，所述第二确定模块850还包括第五确定子模块、第六确定子模块和第七确定子模块，其中，所述第五确定子模块，用于将存在所述预设的入侵对象的对象检测框，确定为目标检测框；所述第六确定子模块，用于将所述目标检测框的底边的中心点，确定为所述预设的入侵对象的位置；所述第七确定子模块，用于基于所述目标检测框的底边的中心点和所述入侵检测区域之间的相对位置关系，确定是否发生入侵事件。

在一些实施例中，所述入侵检测装置还包括输出模块，用于响应于发生所述入侵事件，输出告警标识。

基于前述的实施例，所述入侵检测装置还包括记录模块和发生模块，其中，所述记录模块，用于响应于发生所述入侵事件，基于所述入侵对象的类别和所述入侵检测区域对所述入侵事件进行记录，得到入侵记录；所述发生模块，用于将所述入侵记录进行存储或者发送给关联的终端。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的入侵检测方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的入侵检测方法中的步骤。

对应地，本申请实施例提供一种计算机设备，图9为本申请实施例计算机设备的一种硬件实体示意图，如图9所示，该设备900的硬件实体包括：包括存储器901和处理器902，所述存储器901存储有可在处理器902上运行的计算机程序，所述处理器902执行所述程序时实现上述实施例中提供的入侵检测方法中的步骤。

存储器901配置为存储由处理器902可执行的指令和应用，还可以缓存待处理器902以及计算机设备900中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种入侵检测方法，所述方法包括：

从待处理的视频流中获得所述待处理图像；

对所述待处理图像中的对象进行检测，得到至少一个对象检测框；

确定所述对象检测框中是否存在所述预设的入侵对象；

在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；

基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像中的对象进行检测，得到至少一个对象检测框，包括：

对所述待处理图像中的对象进行检测，得到至少一个对象检测框、每一所述对象检测框的位置和每一所述对象检测框中对象的类别；

在基于所述对象的类别确定任一所述对象检测框中存在所述预设的入侵对象情况下，确定所述待处理图像中存在所述预设的入侵对象；

基于存在所述预设的入侵对象的对象检测框的位置，确定所述预设的入侵对象的位置。

3.根据权利要求2所述的方法，其特征在于，所述对所述待处理图像中的对象进行检测，得到至少一个对象检测框、每一所述对象检测框的位置和每一所述对象检测框中对象的类别，包括：

基于深度卷积网络，对所述待处理图像进行特征提取，得到第一特征图；

基于区域生成网络，在所述第一特征图中生成候选目标区域，得到第二特征图；所述第二特征图包括至少一个检测框和每一所述检测框的位置、置信度；

基于池化层在将所述第一特征图和所述第二特征图进行位置敏感的候选区域池化的过程中，基于所述至少一个检测框和每一所述检测框的置信度，将满足预设条件的检测框确定为对象检测框，并确定所述对象检测框中对象的类别。

4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一个检测框和每一所述检测框的置信度，将满足预设条件的检测框确定为对象检测框，包括：

采用非极大值抑制算法，基于每一所述检测框的置信度和所述至少一个所述检测框中所述检测框之间的交并比，将满足预设条件的检测框确定为对象检测框。

5.根据权利要求4所述的方法，其特征在于，所述采用非极大值抑制算法，基于每一所述检测框的置信度和所述至少一个所述检测框中所述检测框之间的交并比，将满足预设条件的检测框确定为对象检测框，包括：

基于每一所述检测框的置信度，将至少一个所述检测框中置信度最大的检测框，确定为目标检测框；将所述目标检测框确定为一所述对象检测框；

确定所述目标检测框与每一其他检测框的交并比；其中，所述其他检测框是指所述至少一个所述检测框中除所述目标检测框之外的检测框；

将交并比大于阈值的其他检测框从所述至少一个所述检测框删除，得到候选检测框集合；

将所述候选检测框集合中除所述目标检测框之外的置信度最大的检测框，确定为新的目标检测框；将所述新的目标检测框确定为一所述对象检测框；

确定所述新的目标检测框与每一新的其他检测框的交并比；其中，所述每一新的其他检测框是指所述候选检测框集合中除所述新的目标检测框之外的检测框；

将交并比大于阈值的新的其他检测框从所述候选检测框集合中删除，得到新的候选检测框集合；

以此类推，得到所述对象检测框。

6.根据权利要求1所述的方法，其特征在于，所述确定所述对象检测框中是否存在所述预设的入侵对象，包括：

采用第一级分类器，基于所述对象的类别将目标类别对应的对象检测框进行第一分类，得到第一分类结果；

采用与所述第一级分类器级联的第二级分类器，基于所述第一分类结果，对满足预设条件的对象检测框进行第二分类，得到第二分类结果；

在基于所述第二分类结果确定任一所述对象检测框中存在所述预设的入侵对象时，确定所述对象检测框中存在所述预设的入侵对象。

7.根据权利要求6所述的方法，其特征在于，所述第一级分类器与所述第二级分类器之间具有以下关系：

所述第一级分类器的分类精度比所述第二级分类器的分类精度低；

所述第一级分类器中卷积层的层数比所述第二级分类器中卷积层的层数少；

所述第一级分类器的置信度比所述第二级分类器的置信度低。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述对所述待处理图像进行识别，得到入侵检测区域，包括：

采用卷积神经网络模型对所述待处理图像进行语义分割，得到所述入侵检测区域。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件，包括：

基于所述预设的入侵对象的位置判断所述预设的入侵对象是否位于所述入侵检测区域内；

响应于所述预设的入侵对象位于所述入侵检测区域之内，确定发生所述入侵事件；或响应于所述预设的入侵对象位于所述入侵检测区域之外，确定未发生所述入侵事件。

10.根据权利要求1至7任一所述的方法，其特征在于，所述基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件，包括：

将存在所述预设的入侵对象的对象检测框，确定为目标检测框；

将所述目标检测框的底边的中心点，确定为所述预设的入侵对象的位置；

基于所述目标检测框的底边的中心点和所述入侵检测区域之间的相对位置关系，确定是否发生入侵事件。

11.根据权利要求1至10任一所述的方法，其特征在于，所述方法还包括：

响应于发生所述入侵事件，输出告警标识。

12.根据权利要求1至11任一所述的方法，其特征在于，所述方法还包括：

响应于发生所述入侵事件，基于所述入侵对象的类别和所述入侵检测区域对所述入侵事件进行记录，得到入侵记录；

将所述入侵记录进行存储或者发送给关联的终端。

13.一种入侵检测装置，所述装置包括：

获得模块，用于从待处理的视频流中获得所述待处理图像；

检测模块，用于对所述待处理图像中的对象进行检测，得到至少一个对象检测框；

第一确定模块，用于确定所述对象检测框中是否存在所述预设的入侵对象；

识别模块，用于在确定所述对象检测框中存在预设的入侵对象的情况下，对所述待处理图像进行识别，得到入侵检测区域；

第二确定模块，用于基于所述预设的入侵对象的位置和所述入侵检测区域，确定是否发生入侵事件。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至12任一项所述方法中的步骤。

15.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至12任一项所述的方法。

Images