CN113903000A - 一种翻墙检测方法、装置及设备 - Google Patents

Abstract

本申请提供一种翻墙检测方法、装置及设备，用于解决现有的翻墙检测方法存在的数据集的图片数量及多样性将直接影响翻墙检测的准确性的技术问题，所述方法包括：从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从待处理视频的结束视频帧包含的至少一个目标中确定出第一目标；确定第一目标的目标位置序列；其中，目标位置序列中的各个目标位置用于指示第一视频帧序列的各个视频帧中的第一目标的位置；根据目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定第一目标是否执行针对监控墙体的异常行为；其中，异常动作预警线是根据监控墙体的墙体上边缘确定的。

Description

一种翻墙检测方法、装置及设备

技术领域

本申请涉及视频监控技术领域，尤其涉及一种翻墙检测方法、装置及设备。

背景技术

随着视频监控技术的不断发展，视频监控已经遍布生活的各个角落。例如，对于监狱、戒毒所、政府办公园区、军事基地、军工生产研究单位等重要封闭园区，由于其防御等级高，涉密等级高，安全要求等级高，所以都会在该类型的园区围墙或围栏上架设摄像机，再通过交换机将视频流传输至检测服务器，然后检测服务器利用翻墙检测模型对视频流进行逐帧的检测分析，当检测到某一帧存在人的翻墙行为时，将该帧图片推送给管理服务器，管理服务器在管理平台显示该报警图片提示管理员有可疑人员翻墙，再由管理员判断是否准确，从而准确检测出人的翻墙行为，实时对可疑人员违规翻墙行为进行监测以及告警，避免不必要的误报，同时能够替代人工巡逻，保护园区内的人身和财产安全。

然而，由于检测服务器利用翻墙检测模型对视频流进行逐帧的检测分析之前，需先构造包括正样本图片、负样本图片和试验图片的数据集，其中，正样本为包含“人翻墙的行为”的图片，负样本为除正样本以外包含其他物体的图片，试验图片为随机图片，再通过该数据集对翻墙检测模型进行多次训练，导致该数据集中的图片数量及多样性将直接影响翻墙检测的准确性，并且该翻墙检测模型仅能够检测出人的翻墙行为，不能检测出动物的翻墙行为。

发明内容

本申请实施例提供一种翻墙检测方法、装置及设备，用于解决现有的翻墙检测方法存在的数据集的图片数量及多样性将直接影响翻墙检测的准确性的技术问题。

第一方面，为解决上述技术问题，本申请实施例提供一种翻墙检测方法，包括：

从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从所述待处理视频的结束视频帧包含的至少一个目标中确定出第一目标；其中，所述第一视频帧序列中包含所述结束视频帧之前连续的N1个视频帧和所述结束视频帧，所述N1为正整数；

确定所述第一目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第一视频帧序列的各个视频帧中的所述第一目标的位置；

根据所述目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定所述第一目标是否执行针对所述监控墙体的异常行为；其中，所述异常动作预警线是根据所述监控墙体的墙体上边缘确定的。

在本申请实施例中，可以先从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从待处理视频的结束视频帧包含的至少一个目标中确定出第一目标，其中，第一视频帧序列中包含结束视频帧之前连续的N1个视频帧和结束视频帧，N1为正整数，再确定第一目标的目标位置序列，其中，目标位置序列中的各个目标位置用于指示第一视频帧序列的各个视频帧中的第一目标的位置，然后根据目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定第一目标是否执行针对监控墙体的异常行为，其中，异常动作预警线是根据监控墙体的墙体上边缘确定的。通过针对监控墙体的待处理视频的结束视频帧包含的任一目标在第一视频帧序列的至少两个视频帧中的位置和异常动作预警线的相对位置关系，确定该任一目标是否执行针对监控墙体的异常行为，实现对该任一目标的翻墙检测，不仅无需人为构造数据集训练翻墙检测模型，而且避免了虚检目标对翻墙检测的影响，减少了误报，另外通过监控墙体的墙体上边缘自动确定异常动作预警线，无需人为设置翻墙检测的异常动作预警线，降低了人力成本。

一种可选实施方式中，所述根据所述目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定所述第一目标是否执行针对所述监控墙体的异常行为，包括：

若确定第一目标位置和第二目标位置位于所述异常动作预警线的两侧，则确定所述第一目标执行针对所述监控墙体的异常行为；其中，所述第一目标位置和所述第二目标位置为所述目标位置序列中的不同目标位置。

一种可选实施方式中，所述确定第一目标位置和第二目标位置位于所述异常动作预警线的两侧之后，还包括：

确定所述第一目标在所述第一视频帧序列的各个视频帧中为预设目标类型和非预设目标类型的概率；

确定所述第一目标为预设目标类型和非预设目标类型的平均概率；

若所述第一目标为预设目标类型的平均概率大于所述第一目标为非预设目标类型的平均概率，则确定所述第一目标执行针对所述监控墙体的异常行为。

在本申请实施例中，确定第一目标位置和第二目标位置位于异常动作预警线的两侧之后，可以先确定第一目标在第一视频帧序列的各个视频帧中为预设目标类型和非预设目标类型的概率，再确定第一目标为预设目标类型和非预设目标类型的平均概率，若第一目标为预设目标类型的平均概率大于第一目标为非预设目标类型的平均概率，则确定第一目标执行针对监控墙体的异常行为。通过第一目标为预设目标类型和非预设目标类型的平均概率确定第一目标是否为预设目标类型，从而检测出预设目标(例如人或动物)的翻墙行为，不仅使得目标分类效果更鲁棒，还避免了因为对第一目标的类别的误判导致的漏报或者误报。

一种可选实施方式中，所述确定所述第一目标的目标位置序列之前，还包括：

从所述待处理视频中选取连续的视频帧为第二视频帧序列；其中，所述第二视频帧序列包含所述待处理视频的结束视频帧之前连续的N2个视频帧，所述N2为不小于所述N1的正整数；

确定第二目标的目标检测框与第三目标的目标检测框之间的第一交并比是否大于第一预设阈值；其中，所述第二目标为所述第二视频帧序列的任一视频帧中的任一目标，所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的任一目标；

若所述第一交并比大于所述第一预设阈值，则确定所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的所述第二目标；

确定所述第二目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第二视频帧序列的各个视频帧中的所述第二目标的位置。

在本申请实施例中，可以从待处理视频中选取连续的视频帧为第二视频帧序列，其中，第二视频帧序列包含待处理视频的结束视频帧之前连续的N2个视频帧，N2为不小于N1的正整数，确定第二目标的目标检测框与第三目标的目标检测框之间的第一交并比是否大于第一预设阈值，其中，第二目标为第二视频帧序列的任一视频帧中的任一目标，第三目标为任一视频帧的前一个视频帧或后一个视频帧中的任一目标，若第一交并比大于第一预设阈值，则确定第三目标为任一视频帧的前一个视频帧或后一个视频帧中的第二目标，确定第二目标的目标位置序列，其中，目标位置序列中的各个目标位置用于指示第二视频帧序列的各个视频帧中的第二目标的位置。通过第二视频帧序列的任一视频帧中的任一目标与该任一视频帧的前一个视频帧或后一个视频帧中的任一目标之间的交并比，确定该任一视频帧中的任一目标在该任一视频帧的前一个视频帧或后一个视频帧中对应的目标，进而确定该任一视频帧中的任一目标在第二视频帧序列的各个视频帧中的位置，从而实现对第二视频帧序列的任一视频帧中的任一目标的目标跟踪。

一种可选实施方式中，所述确定所述第一目标的目标位置序列，包括：

确定所述第一目标的目标检测框与所述待处理视频的结束视频帧的前一个视频帧中的所述第二目标的目标检测框之间的第二交并比；

根据所述第二交并比，确定所述第一目标的标识以及状态，其中，所述标识为所述第二目标的目标位置序列的标识或新增标识，所述标识用于指示所述第一目标在所述第一视频帧序列中是否是连续出现，所述状态为更新、创建、丢失或销毁，所述状态用于指示所述第一目标在所述待处理视频中是否是第一次出现以及在所述待处理视频中是否是连续出现；

若所述标识为所述第二目标的目标位置序列的标识，且所述状态为更新，则确定所述第一目标的目标位置序列为所述第二目标的目标位置序列；

若所述标识为新增标识，且所述状态为创建，则确定所述第一目标在所述第一视频帧序列中是第一次出现。

一种可选实施方式中，所述根据所述第二交并比，确定所述第一目标的标识以及状态，包括：

确定所述第二交并比是否大于所述第一预设阈值；

若所述第二交并比大于所述第一预设阈值，则确定所述第一目标的标识为所述第二目标的目标位置序列的标识，所述第一目标的状态为更新；

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第一目标的标识为新增标识，所述第一目标的状态为创建。

一种可选实施方式中，所述确定所述第二交并比是否大于所述第一预设阈值之后，还包括：

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第二目标的状态为丢失；

获取所述第二目标的状态为丢失的连续视频帧的个数；

若所述连续视频帧的个数大于第二预设阈值，则确定所述第二目标的状态为销毁，并删除所述第二目标。

第二方面，本申请实施例还提供一种翻墙检测装置，包括：

第一确定模块，用于从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从所述待处理视频的结束视频帧包含的至少一个目标中确定出第一目标；其中，所述第一视频帧序列中包含所述结束视频帧之前连续的N1个视频帧和所述结束视频帧，所述N1为正整数；

第二确定模块，用于确定所述第一目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第一视频帧序列的各个视频帧中的所述第一目标的位置；

检测模块，用于根据所述目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定所述第一目标是否执行针对所述监控墙体的异常行为；其中，所述异常动作预警线是根据所述监控墙体的墙体上边缘确定的。

一种可选实施方式中，所述检测模块，具体用于：

若确定第一目标位置和第二目标位置位于所述异常动作预警线的两侧，则确定所述第一目标执行针对所述监控墙体的异常行为；其中，所述第一目标位置和所述第二目标位置为所述目标位置序列中的不同目标位置。

一种可选实施方式中，所述检测模块，具体用于：

确定所述第一目标在所述第一视频帧序列的各个视频帧中为预设目标类型和非预设目标类型的概率；

确定所述第一目标为预设目标类型和非预设目标类型的平均概率；

若所述第一目标为预设目标类型的平均概率大于所述第一目标为非预设目标类型的平均概率，则确定所述第一目标执行针对所述监控墙体的异常行为。

一种可选实施方式中，所述装置还包括第三确定模块，用于：

从所述待处理视频中选取连续的视频帧为第二视频帧序列；其中，所述第二视频帧序列包含所述待处理视频的结束视频帧之前连续的N2个视频帧，所述N2为不小于所述N1的正整数；

确定第二目标的目标检测框与第三目标的目标检测框之间的第一交并比是否大于第一预设阈值；其中，所述第二目标为所述第二视频帧序列的任一视频帧中的任一目标，所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的任一目标；

若所述第一交并比大于所述第一预设阈值，则确定所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的所述第二目标；

确定所述第二目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第二视频帧序列的各个视频帧中的所述第二目标的位置。

一种可选实施方式中，所述第二确定模块，具体用于：

确定所述第一目标的目标检测框与所述待处理视频的结束视频帧的前一个视频帧中的所述第二目标的目标检测框之间的第二交并比；

根据所述第二交并比，确定所述第一目标的标识以及状态，其中，所述标识为所述第二目标的目标位置序列的标识或新增标识，所述标识用于指示所述第一目标在所述第一视频帧序列中是否是连续出现，所述状态为更新、创建、丢失或销毁，所述状态用于指示所述第一目标在所述待处理视频中是否是第一次出现以及在所述待处理视频中是否是连续出现；

若所述标识为所述第二目标的目标位置序列的标识，且所述状态为更新，则确定所述第一目标的目标位置序列为所述第二目标的目标位置序列；

若所述标识为新增标识，且所述状态为创建，则确定所述第一目标在所述第一视频帧序列中是第一次出现。

一种可选实施方式中，所述第二确定模块，具体用于：

确定所述第二交并比是否大于所述第一预设阈值；

若所述第二交并比大于所述第一预设阈值，则确定所述第一目标的标识为所述第二目标的目标位置序列的标识，所述第一目标的状态为更新；

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第一目标的标识为新增标识，所述第一目标的状态为创建。

一种可选实施方式中，所述第二确定模块，具体用于：

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第二目标的状态为丢失；

获取所述第二目标的状态为丢失的连续视频帧的个数；

若所述连续视频帧的个数大于第二预设阈值，则确定所述第二目标的状态为销毁，并删除所述第二目标。第三方面，本申请实施例还提供一种翻墙检测设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中的任一种实施方式包括的步骤。

第四方面，本申请实施例提供一种存储介质，该存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面中的任一种实施方式包括的步骤。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1为本申请实施例中的一种翻墙检测设备的结构示意图；

图2为本申请实施例中的一种翻墙检测方法的流程示意图；

图3为本申请实施例中的一种翻墙检测装置的结构示意图；

图4为本申请实施例中的一种翻墙检测设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，能够以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中，“至少一个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

目前，由于检测服务器利用翻墙检测模型对视频流进行逐帧的检测分析之前，需先构造包括正样本图片、负样本图片和试验图片的数据集，其中，正样本为包含“人翻墙的行为”的图片，负样本为除正样本以外包含其他物体的图片，试验图片为随机图片，再通过该数据集对翻墙检测模型进行多次训练，导致该数据集中的图片数量及多样性将直接影响翻墙检测的准确性，并且该翻墙检测模型仅能够检测出人的翻墙行为，不能检测出动物的翻墙行为。

鉴于此，本申请实施例提供一种翻墙检测方法，该方法可以先从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从待处理视频的结束视频帧包含的至少一个目标中确定出第一目标，其中，第一视频帧序列中包含结束视频帧之前连续的N1个视频帧和结束视频帧，N1为正整数，再确定第一目标的目标位置序列，其中，目标位置序列中的各个目标位置用于指示第一视频帧序列的各个视频帧中的第一目标的位置，然后根据目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定第一目标是否执行针对监控墙体的异常行为，其中，异常动作预警线是根据监控墙体的墙体上边缘确定的。通过针对监控墙体的待处理视频的结束视频帧包含的任一目标在第一视频帧序列的至少两个视频帧中的位置和异常动作预警线的相对位置关系，确定该任一目标是否执行针对监控墙体的异常行为，实现对该任一目标的翻墙检测，不仅无需人为构造数据集训练翻墙检测模型，而且避免了虚检目标对翻墙检测的影响，减少了误报，另外通过监控墙体的墙体上边缘自动确定异常动作预警线，无需人为设置翻墙检测的预警线，降低了人力成本。

为了更好的理解上述技术方案，下面通过说明书附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

图1为本申请实施例所提供方法可适用的一种翻墙检测设备的结构示意图，当然本申请实施例所提供的方法可以适用到多种翻墙检测设备上，应当理解图1所示的翻墙检测设备是对可适用本申请实施例所提供方法的翻墙检测设备的简单说明，而不是对可适用本申请实施例所提供方法的翻墙检测设备的限定。

图1所示的翻墙检测设备包括存储器101、处理器102、总线接口103。存储器101以及处理器101通过总线接口103连接。存储器101用于存储程序指令。处理器102用于调用存储器101中存储的程序指令，按照获得的程序指令执行翻墙检测方法中包括的所有步骤。

需要说明的是，在本申请实施例中，翻墙检测设备可以安装在智能摄像头中，该智能摄像头主要用于监控监狱、戒毒所、政府办公园区、军事基地、军工生产研究单位等重要封闭园区的墙体。

请参见图2，为本申请实施例提供的一种翻墙检测方法的流程示意图，该方法可以由前述图1所示的翻墙检测设备执行。该方法的具体流程描述如下。

步骤201：从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从待处理视频的结束视频帧包含的至少一个目标中确定出第一目标。

在本申请实施例中，翻墙检测设备可以从智能摄像头针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从待处理视频的结束视频帧包含的至少一个目标中确定出第一目标，其中，第一视频帧序列中包含结束视频帧之前连续的N1个视频帧和结束视频帧，N1为正整数。例如，若待处理视频包含20个视频帧，N1为10，则第一视频帧序列为待处理视频的第10-20个视频帧，第一目标为待处理视频的第20个视频帧包含的任一目标。

需要说明的是，在本申请实施例中，可以通过目标检测网络对每一个视频帧进行目标检测处理，确定每一个视频帧包含的目标，例如，人或动物，其中，目标检测网络可以是区域卷积神经网络(Region-Convolutional Neural Networks，R-CNN)、单点多边界框探测器(Single Shot MultiBox Detector，SSD)或YOLO，本申请对此不作具体的限定。步骤202：确定第一目标的目标位置序列。

在本申请实施例中，翻墙检测设备从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从待处理视频的结束视频帧包含的至少一个目标中确定出第一目标之后，为了避免虚检目标对翻墙检测的影响，减少误报，可以对第一目标进行目标跟踪处理，确定第一目标的目标位置序列，其中，目标位置序列中的各个目标位置用于指示第一视频帧序列的各个视频帧中的第一目标的位置，例如，若第一视频帧序列为待处理视频的第10-20个视频帧，第一目标为待处理视频的第20个视频帧包含的任一目标，则第一目标的目标位置序列的各个目标位置用于指示待处理视频的第10-20个视频帧中的第一目标的位置。

需要说明是，在本申请实施例中，对第一目标进行目标跟踪处理，确定第一目标的目标位置序列之前，还可以从待处理视频中选取连续的视频帧为第二视频帧序列，其中，第二视频帧序列包含待处理视频的结束视频帧之前连续的N2个视频帧，N2为不小于N1的正整数，确定第二目标的目标检测框与第三目标的目标检测框之间的第一交并比是否大于第一预设阈值，其中，第二目标为第二视频帧序列的任一视频帧中的任一目标，第三目标为任一视频帧的前一个视频帧或后一个视频帧中的任一目标，若第一交并比大于第一预设阈值，则确定第三目标为任一视频帧的前一个视频帧或后一个视频帧中的第二目标，确定第二目标的目标位置序列，其中，目标位置序列中的各个目标位置用于指示第二视频帧序列的各个视频帧中的第二目标的位置。

例如，若待处理视频包含20个视频帧，N1为10，N2为11，则第二视频帧序列为待处理视频的第9-19个视频帧，若第二目标为待处理视频的第9个视频帧包含的任一目标，则第三目标为待处理视频的第10个视频帧包含的任一目标，可以在第二目标的目标检测框与第三目标的目标检测框之间的第一交并比大于第一预设阈值时确定第三目标为待处理视频的第10个视频帧中的第二目标，类似的，可以依次确定待处理视频的第11-19个视频帧中的第二目标，进而确定第二目标的目标位置序列。

需要说明的是，在本申请实施例中，在确定确定第二目标的目标位置序列之后，可以确定第一目标的目标检测框与待处理视频的结束视频帧的前一个视频帧中的第二目标的目标检测框之间的第二交并比，根据第二交并比，确定第一目标的标识以及状态，其中，标识为第二目标的目标位置序列的标识或新增标识，第一目标的标识用于指示第一目标在第一视频帧序列中是否是连续出现，状态为更新(update)、创建(create)、丢失(lost)或销毁(delete)，第一目标的状态用于指示第一目标在待处理视频中是否是第一次出现以及在待处理视频中是否是连续出现。若第一目标的标识为第二目标的目标位置序列的标识，且第一目标的状态为更新，则确定第一目标在第一视频帧序列中不是第一次出现，进而可根据待处理视频的结束视频帧之前连续的N1个视频帧中的第二目标的位置与待处理视频的结束视频帧中的第一目标的位置，确定第一目标的目标位置序列；若第一目标的标识为新增标识，且第一目标的状态为创建，则确定第一目标在第一视频帧序列中是第一次出现，进而可根据待处理视频的结束视频帧中的第一目标的位置，确定第一目标的目标位置序列。

需要说明的是，在本申请实施例中，更新可用于指示第一目标在待处理视频中不是第一次出现，此处的更新也可被理解为第一目标的位置的更新。创建可用于指示第一目标在待处理视频中是第一次出现，此处的创建也可被理解为创建一个新目标。丢失和销毁均可用于指示第一目标在待处理视频中不是连续出现，两者的区别在于未连续出现的帧数不同，例如，当第一目标的状态为丢失的连续视频帧的个数超过预设阈值时，第一目标的状态就将由丢失变为销毁。

需要说明的是，在本申请实施例中，在根据第二交并比，确定第一目标的目标检测框的标识以及状态时，可以通过确定第二交并比是否大于第一预设阈值，若第二交并比大于第一预设阈值，则确定第一目标的标识为第二目标的目标位置序列的标识，第一目标的状态为更新，若第二交并比小于或等于第一预设阈值，则确定第一目标的标识为新增标识，第一目标的状态为创建。

另外，若第二交并比小于或等于第一预设阈值，还确定第二目标的状态为丢失，然后获取第二目标的状态为丢失的连续视频帧的个数，若连续视频帧的个数大于第二预设阈值，则确定第二目标的状态为销毁，并删除第二目标。

步骤203：根据目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定第一目标是否执行针对监控墙体的异常行为。

在本申请实施例中，翻墙检测设备确定第一目标的目标位置序列之后，可以根据目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定第一目标是否执行针对监控墙体的异常行为，其中，异常动作预警线是根据监控墙体的墙体上边缘确定的。具体的，若确定第一目标位置和第二目标位置位于异常动作预警线的两侧，则确定第一目标执行针对监控墙体的异常行为，其中，第一目标位置和第二目标位置为目标位置序列中的不同目标位置，从而通过确定第一目标位置和第二目标位置位于异常动作预警线的两侧实现对第一目标的翻墙检测，不仅无需人为构造数据集训练翻墙检测模型，而且避免了虚检目标对翻墙检测的影响，减少了误报。

需要说明的是，在本申请实施例中，可以通过墙体上边缘检测网络对每一个视频帧进行监控墙体的墙体上边缘检测处理，确定每一个视频帧中的监控墙体的墙体上边缘，其中，墙体上边缘检测网络为基于直线边缘检测技术的网络。并且通过墙体上边缘检测网络对每一个视频帧进行监控墙体的墙体上边缘检测处理之后，翻墙检测设备会自动在该墙体上边缘处设置一条虚拟的异常动作预警线，从而无需人为设置翻墙检测的异常动作预警线，降低人力成本。

需要说明的是，在本申请实施例中，由于在实际应用中，仅需要对大动物(例如野猪、野象等)的入侵输出报警信息，并不需要对小动物(例如猫、狗等)的入侵输出报警信息，为了防止目标检测处理时不能很好地区分大动物与小动物，甚至有时候会将人检测成动物或将动物检测为人，所以在确定第一目标位置和第二目标位置位于异常动作预警线的两侧之后，可以目标分类网络通过对第一目标进行目标分类处理，确定第一目标是否为指定目标(例如人、小动物等)。其中，目标分类网络可以是残差网络(Residual Network)或轻量化网络，本申请对此不作具体的限定

具体的，先确定第一目标在第一视频帧序列的各个视频帧中为预设目标类型和非预设目标类型的概率，再确定第一目标为预设目标类型和非预设目标类型的平均概率，例如，根据公式：

确定第一目标为预设目标类型和非预设目标类型的平均概率，其中，

表示第一目标在第一视频帧序列的第j个视频帧中为i目标的概率，第j个视频帧为第一视频帧序列的任一视频帧，i目标为预设目标类型或非预设目标类型，若第一目标为预设目标类型的平均概率大于第一目标为非预设目标类型的平均概率，则确定第一目标为预设目标类型，进而确定第一目标执行针对监控墙体的异常行为，从而通过第一目标为预设目标类型和非预设目标类型的平均概率确定第一目标是否为预设目标类型，检测出预设目标(例如人或动物)的翻墙行为，不仅使得目标分类效果更鲁棒，还避免了因为对第一目标的类别的误判导致的漏报或者误报。

需要说明的是，在本申请实施例中，在确定第一目标执行针对监控墙体的异常行为之后，可以输出报警信息，其中，报警信息可以是闪光灯闪光提示有人或动物翻墙入侵，也可以是提示音提示有人或动物翻墙入侵，还可以是发送至中央监控室的提示有人或动物翻墙入侵的信息，本申请对此不作具体的限定。

上述方案，先从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从待处理视频的结束视频帧包含的至少一个目标中确定出第一目标，其中，第一视频帧序列中包含结束视频帧之前连续的N1个视频帧和结束视频帧，N1为正整数，再确定第一目标的目标位置序列，其中，目标位置序列中的各个目标位置用于指示第一视频帧序列的各个视频帧中的第一目标的位置，然后根据目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定第一目标是否执行针对监控墙体的异常行为，其中，异常动作预警线是根据监控墙体的墙体上边缘确定的。通过针对监控墙体的待处理视频的结束视频帧包含的任一目标在第一视频帧序列的至少两个视频帧中的位置和异常动作预警线的相对位置关系，确定该任一目标是否执行针对监控墙体的异常行为，实现对该任一目标的翻墙检测，不仅无需人为构造数据集训练翻墙检测模型，而且避免了虚检目标对翻墙检测的影响，减少了误报，另外通过监控墙体的墙体上边缘自动确定异常动作预警线，无需人为设置翻墙检测的异常动作预警线，降低了人力成本。

基于同一发明构思，本申请实施例还提供一种翻墙检测装置，该翻墙检测装置可以应用于前述图1所示的翻墙检测设备。该翻墙检测装置可以实现前述的翻墙检测方法对应的功能。该翻墙检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。该翻墙检测装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图3，为本申请实施例提供的一种翻墙检测装置的结构示意图，该翻墙检测装置包括第一确定模块301、第一确定模块302以及检测模块303。

其中，第一确定模块301，用于从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从所述待处理视频的结束视频帧包含的至少一个目标中确定出第一目标；其中，所述第一视频帧序列中包含所述结束视频帧之前连续的N1个视频帧和所述结束视频帧，所述N1为正整数；

第二确定模块302，用于确定所述第一目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第一视频帧序列的各个视频帧中的所述第一目标的位置；

检测模块303，用于根据所述目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定所述第一目标是否执行针对所述监控墙体的异常行为；其中，所述异常动作预警线是根据所述监控墙体的墙体上边缘确定的。

一种可选实施方式中，所述检测模块303，具体用于：

若确定第一目标位置和第二目标位置位于所述异常动作预警线的两侧，则确定所述第一目标执行针对所述监控墙体的异常行为；其中，所述第一目标位置和所述第二目标位置为所述目标位置序列中的不同目标位置。

一种可选实施方式中，所述检测模块303，具体用于：

确定所述第一目标在所述第一视频帧序列的各个视频帧中为预设目标类型和非预设目标类型的概率；

确定所述第一目标为预设目标类型和非预设目标类型的平均概率；

若所述第一目标为预设目标类型的平均概率大于所述第一目标为非预设目标类型的平均概率，则确定所述第一目标执行针对所述监控墙体的异常行为。

一种可选实施方式中，所述装置还包括第三确定模块，用于：

从所述待处理视频中选取连续的视频帧为第二视频帧序列；其中，所述第二视频帧序列包含所述待处理视频的结束视频帧之前连续的N2个视频帧，所述N2为不小于所述N1的正整数；

确定第二目标的目标检测框与第三目标的目标检测框之间的第一交并比是否大于第一预设阈值；其中，所述第二目标为所述第二视频帧序列的任一视频帧中的任一目标，所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的任一目标；

若所述第一交并比大于所述第一预设阈值，则确定所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的所述第二目标；

确定所述第二目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第二视频帧序列的各个视频帧中的所述第二目标的位置。

一种可选实施方式中，所述第二确定模块302，具体用于：

确定所述第一目标的目标检测框与所述待处理视频的结束视频帧的前一个视频帧中的所述第二目标的目标检测框之间的第二交并比；

根据所述第二交并比，确定所述第一目标的标识以及状态，其中，所述标识为所述第二目标的目标位置序列的标识或新增标识，所述标识用于指示所述第一目标在所述第一视频帧序列中是否是连续出现，所述状态为更新、创建、丢失或销毁，所述状态用于指示所述第一目标在所述待处理视频中是否是第一次出现以及在所述待处理视频中是否是连续出现；

若所述标识为所述第二目标的目标位置序列的标识，且所述状态为更新，则确定所述第一目标的目标位置序列为所述第二目标的目标位置序列；

若所述标识为新增标识，且所述状态为创建，则确定所述第一目标在所述第一视频帧序列中是第一次出现。

一种可选实施方式中，所述第二确定模块302，具体用于：

确定所述第二交并比是否大于所述第一预设阈值；

若所述第二交并比大于所述第一预设阈值，则确定所述第一目标的标识为所述第二目标的目标位置序列的标识，所述第一目标的状态为更新；

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第一目标的标识为新增标识，所述第一目标的状态为创建。

一种可选实施方式中，所述第二确定模块，具体用于：

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第二目标的状态为丢失；

获取所述第二目标的状态为丢失的连续视频帧的个数；

若所述连续视频帧的个数大于第二预设阈值，则确定所述第二目标的状态为销毁，并删除所述第二目标。

基于同一发明构思，本申请实施例还提供一种翻墙检测设备，请参见图4，为本申请实施例提供的一种翻墙检测设备的结构示意图，该翻墙检测设备包括至少一个处理器402，以及与至少一个处理器连接的存储器401，本申请实施例中不限定处理器402与存储器401之间的具体连接介质，图4是以处理器402和存储器401之间通过总线400连接为例，总线400在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不以此为限。总线400可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，存储器401存储有可被至少一个处理器402执行的指令，至少一个处理器402通过调用存储器401存储的指令，可以执行前述的翻墙检测方法中所包括的步骤。其中，处理器402是翻墙检测设备的控制中心，可以利用各种接口和线路连接整个翻墙检测设备的各个部分，通过执行存储在存储器401内的指令，从而实现翻墙检测设备的各种功能。可选的，处理器402可包括一个或多个处理单元，处理器402可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器402中。在一些实施例中，处理器402和存储器401可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

存储器401作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器401可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器401是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器401还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

在本申请实施例中，处理器402可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的翻墙检测方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

通过对处理器402进行设计编程，可以将前述实施例中介绍的翻墙检测方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的翻墙检测方法的步骤，如何对处理器402进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的翻墙检测方法的步骤。

在一些可能的实施方式中，本申请提供的翻墙检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在翻墙检测设备上运行时，程序代码用于使该翻墙检测设备执行本说明书上述描述的根据本申请各种示例性实施方式的翻墙检测方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种翻墙检测方法，其特征在于，包括：

从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从所述待处理视频的结束视频帧包含的至少一个目标中确定出第一目标；其中，所述第一视频帧序列中包含所述结束视频帧之前连续的N1个视频帧和所述结束视频帧，所述N1为正整数；

确定所述第一目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第一视频帧序列的各个视频帧中的所述第一目标的位置；

根据所述目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定所述第一目标是否执行针对所述监控墙体的异常行为；其中，所述异常动作预警线是根据所述监控墙体的墙体上边缘确定的。

2.如权利要求1所述的方法，其特征在于，所述根据所述目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定所述第一目标是否执行针对所述监控墙体的异常行为，包括：

若确定第一目标位置和第二目标位置位于所述异常动作预警线的两侧，则确定所述第一目标执行针对所述监控墙体的异常行为；其中，所述第一目标位置和所述第二目标位置为所述目标位置序列中的不同目标位置。

3.如权利要求2所述的方法，其特征在于，所述确定第一目标位置和第二目标位置位于所述异常动作预警线的两侧之后，还包括：

确定所述第一目标在所述第一视频帧序列的各个视频帧中为预设目标类型和非预设目标类型的概率；

确定所述第一目标为预设目标类型和非预设目标类型的平均概率；

若所述第一目标为预设目标类型的平均概率大于所述第一目标为非预设目标类型的平均概率，则确定所述第一目标执行针对所述监控墙体的异常行为。

4.如权利要求1-3任一所述的方法，其特征在于，所述确定所述第一目标的目标位置序列之前，还包括：

从所述待处理视频中选取连续的视频帧为第二视频帧序列；其中，所述第二视频帧序列包含所述待处理视频的结束视频帧之前连续的N2个视频帧，所述N2为不小于所述N1的正整数；

确定第二目标的目标检测框与第三目标的目标检测框之间的第一交并比是否大于第一预设阈值；其中，所述第二目标为所述第二视频帧序列的任一视频帧中的任一目标，所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的任一目标；

若所述第一交并比大于所述第一预设阈值，则确定所述第三目标为所述任一视频帧的前一个视频帧或后一个视频帧中的所述第二目标；

确定所述第二目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第二视频帧序列的各个视频帧中的所述第二目标的位置。

5.如权利要求4所述的方法，其特征在于，所述确定所述第一目标的目标位置序列，包括：

确定所述第一目标的目标检测框与所述待处理视频的结束视频帧的前一个视频帧中的所述第二目标的目标检测框之间的第二交并比；

根据所述第二交并比，确定所述第一目标的标识以及状态，其中，所述标识为所述第二目标的目标位置序列的标识或新增标识，所述标识用于指示所述第一目标在所述第一视频帧序列中是否是连续出现，所述状态为更新、创建、丢失或销毁，所述状态用于指示所述第一目标在所述待处理视频中是否是第一次出现以及在所述待处理视频中是否是连续出现；

若所述标识为所述第二目标的目标位置序列的标识，且所述状态为更新，则确定所述第一目标的目标位置序列为所述第二目标的目标位置序列；

若所述标识为新增标识，且所述状态为创建，则确定所述第一目标在所述第一视频帧序列中是第一次出现。

6.如权利要求5所述的方法，其特征在于，所述根据所述第二交并比，确定所述第一目标的标识以及状态，包括：

确定所述第二交并比是否大于所述第一预设阈值；

若所述第二交并比大于所述第一预设阈值，则确定所述第一目标的标识为所述第二目标的目标位置序列的标识，所述第一目标的状态为更新；

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第一目标的标识为新增标识，所述第一目标的状态为创建。

7.如权利要求6所述的方法，其特征在于，所述确定所述第二交并比是否大于所述第一预设阈值之后，还包括：

若所述第二交并比小于或等于所述第一预设阈值，则确定所述第二目标的状态为丢失；

获取所述第二目标的状态为丢失的连续视频帧的个数；

若所述连续视频帧的个数大于第二预设阈值，则确定所述第二目标的状态为销毁，并删除所述第二目标。

8.一种翻墙检测装置，其特征在于，包括：

第一确定模块，用于从针对监控墙体采集的待处理视频中确定第一视频帧序列，以及从所述待处理视频的结束视频帧包含的至少一个目标中确定出第一目标；其中，所述第一视频帧序列中包含所述结束视频帧之前连续的N1个视频帧和所述结束视频帧，所述N1为正整数；

第二确定模块，用于确定所述第一目标的目标位置序列；其中，所述目标位置序列中的各个目标位置用于指示所述第一视频帧序列的各个视频帧中的所述第一目标的位置；

检测模块，用于根据所述目标位置序列中的至少两个目标位置和异常动作预警线的相对位置关系，确定所述第一目标是否执行针对所述监控墙体的异常行为；其中，所述异常动作预警线是根据所述监控墙体的墙体上边缘确定的。

9.一种翻墙检测设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-7任一项所述的方法包括的步骤。

10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-7任一项所述的方法包括的步骤。

Images