CN115205786A - 手机盗拍行为在线自动识别告警方法 - Google Patents

Abstract

本发明公开了一种手机盗拍行为在线自动识别告警方法，以计算机显示屏上内嵌微型摄像头拍摄视频为信息载体，使用深度神经网络模型、模型轻量化和模型部署技术，实现手机盗拍行为智能化识别，同时保证模型在边缘计算模块上快速稳定运行；本发明将先进人工智能算法用于工作人员使用手机盗拍屏幕输出信息违规行为的自动识别告警，是人工智能技术在信息安全领域的高价值落地应用，对推动智慧监控技术发展具有十分重要的现实指导意义。

Description

手机盗拍行为在线自动识别告警方法

技术领域

本发明涉及人工智能、计算机视觉、机器学习领域，尤其涉及一种手机盗拍行为在线自动识别告警方法。

背景技术

对比通过手机或摄像头捕捉图像的两种方法，手机拍摄更具灵活性和便捷性。手机拍摄的优点也导致其成为屏幕输出敏感信息泄露的最普遍方式。为了防止手机盗拍屏幕输出信息，常规方法就是观看监控录像，对非正常使用手机行为进行告警。这种方法虽然一定程度上能缓解手机盗拍事件发生，但是比较费时耗力。随着人工智能技术的快速发展，将人工智能技术引入信息安全领域得到越来越多的研究与关注。

2013年，张文豪等人融合层级特征检测、直方图比较、主成分分析、K近邻分析等多种方法，对电影院中手机非法拍摄行为告警。2020年，王昕等人提出一种手机拍摄行为智能识别方法。首先，构建手机数据集并标注；然后，使用人工神经网络进行模型训练；最后，获得手机检测模型，实现对手机拍摄行为的实时检测。2020年，沈冬远等人提出一种防止屏幕拍摄的技术。该技术基于深度学习完成手机识别、确保实时主动守护屏幕信息安全。此外，该技术检测到敏感物体和可疑特征时会关闭显示器，并进行现场取证和声光报警，有效地从信息泄露源头防止拍摄屏幕造成信息泄漏。

迄今为止，智能化的手机盗拍行为识别方法还比较少，容易出现手机盗拍行为的场景诸多，例如会议、办公室、银行等。因此，开发智能化的手机盗拍行为分析方法至关重要。为此，我们公开此发明专利，实现计算机领域中目标识别前沿技术应用于信息安全保护。将智能化的算法模型嵌入边缘设备，用其进行手机盗拍行为智能识别，并将抓拍画面自动上传监控中心，对管理人员进行实时提醒。此专利利用人工智能前沿技术解决传统视觉方法无法解决的难题，可以保障银行等要害部门信息安全，是人工智能技术在信息安全领域的高价值落地应用，对推动智慧监控技术的发展具有十分重要的现实指导意义。

发明内容

为解决上述问题，本发明公开了一种手机盗拍行为在线自动识别告警方法，针对性考虑盗拍姿态多样性问题，设计了目标感知模块，该模块能提高模型对前景目标的聚焦能力；针对手机拍摄位置差异(多尺度问题)，提出一种交叉聚合多尺度特征融合结构，该结构能充分利用多尺度特征，丰富各尺度特征表示。此外，使用量化、剪枝技术对模型进行轻量化。进一步使用推理加速框架对模型进行优化，满足检测精度的前提下，实现模型在边缘设备上的部署。

手机盗拍行为在线自动识别告警方法使用深度卷积网络CPSdarknent53作为主干网络提取特征，设计一种新颖的目标感知模块，提高模型对盗拍姿态变化的适应力；构建一种交叉聚合多尺度特征融合结构，实现多尺度特征跨层融合，提高模型对拍摄位置变化的鲁棒性；使用量化、剪枝技术对模型作轻量化处理，进一步使用推理加速框架对模型进行优化，实现精度和速度的平衡，可在计算资源有限的环境如边缘计算平台上部署使用。

具体包括如下主要步骤：

步骤1，视频采集留档及送检；

步骤2，手机检测模型模块化设计；

步骤3，无锚框正负样本分配优化策略；

步骤4，手机盗拍识别预警及模型部署；

步骤5，监控中心推送告警并记录数据。

本发明进一步改进在于：

步骤1中，视频采集留档及送检，该步骤分为两部分：

步骤1.1：屏上内嵌摄像头采集视频并进行预处理，最终送检；

步骤1.2：对处理后的视频分段存储。

本发明进一步改进在于：

步骤2中，手机检测模型模块化设计，该步骤分为三部分：

步骤2.1：主干网络采用深度卷积网络CSPdarknet53进行特征提取，该网络泛化能力强且计算复杂性适中；

步骤2.2：盗拍者距离摄像机存在远近差异，设计一种新颖的目标感知模块，提高模型对目标位置变化的适应力；

步骤2.3：使用交叉聚合多尺度特征模块对第一部分输出特征进行融合，增强模型对盗拍姿态多变的适应力。

本发明进一步改进在于：

步骤2.2：目标感知模块，提高模型对目标位置变化的适应力；

目标感知模块实现过程，描述如下：

首先，用不同尺度的卷积核提取特征，然后进行特征加权，描述如下：

x_sum＝α₁f₁(x_in)+α₂f₂(x_in)+α₃f₃(x_in)

其中x_in为输入特征，α_i为权重因子，f_i(·)表示用不同卷积核提取特征，实际使用空洞卷积，膨胀率分别取1,2,3。

接着，对加权特征分别进行通道注意力和空间注意力处理，

通道注意力处理，描述如下：

其中

表示逐点相乘，采用平均池化AvgPool(·)，δ为Relu函数，σ为Sigmoid激活函数。

空间注意力处理，描述如下：

其中

表示逐点相乘，采用softmax(·)激活函数，

表示通道方向上求平均值，

表示通道方向上取最大值。

最后，将通道注意力和空间注意力加权融合，描述如下：

x_out＝β₁x_CA+β₂x_SA+β₃x_sum

其中β_i为加权因子；

上述目标感知模块融合了空间注意力和通道注意力，实现了空间和通道注意力的互补提升，提高了模型对手机拍摄姿态变化的鲁棒性。

本发明进一步改进在于：

步骤2.3：交叉聚合多尺度特征融合结构设计；

首先，将主干网络不同下采样特征层定义为X＝{x₂,x₄,x₈,x₁₆,x₃₂}；

其次，计算

其中φ(·)为

其中f(·)表示Conv 3×3，步长为2，

表示重复f(·)操作

次；h(·)表示Conv1×1，C_out＝0.25C_in；g(·)表示2倍上采样,Conv1×1,C_out＝0.5C_in,

表示重复g(·)操作

次；

最后，对每层特征进行融合：

本发明进一步改进在于：

步骤3中，无锚框正负样本分配优化策略，该步骤分为三部分：

步骤3.1：生成候选区域，用无锚框目标检测方法，特征图上每个位置只生成一个候选区域；

步骤3.2：确定正样本区域，根据候选框与真实框的IoU值确定正样本；

步骤3.3：扩展正样本区域，将第二部分选出的正样本周围3×3区域均选为正样本，提高正样本数量，缓解正负样本不平衡问题。

本发明进一步改进在于：

步骤4中，手机盗拍识别预警及模型部署，该步骤分为四部分：

步骤4.1：用解耦检测头完成盗拍手机检测，将检测到手机的抓拍画面上传监控中心，实现远程实时告警；

步骤4.2：对训练好的模型进行剪枝处理，保证检测精度的前提下，缩减模型规模；

步骤4.3：用神经网络加速算法优化模型推理过程，提高模型推理速度；

步骤4.4：将优化后的模型部署于边缘计算模块，保证模型能在边缘设备上快速稳定运行。

本发明进一步改进在于：

步骤5中，监控中心推送告警并记录数据，该步骤分为两部分：

步骤5.1：监控中心收到检测结果后向管理人员推送告警邮件或短信；

步骤5.2：监控中心留存检测结果，以备查验。

本发明的有益效果是：

(1)高效的网络结构

本发明设计了一种目标感知模块，能提高模型对前景目标(手机)的注意程度，实现模型对盗拍手机姿态变化的不敏性；构建了一种交叉聚合多尺度特征融合的结构，有效利用各尺度特征，丰富各尺度特征的表示，有效解决手机拍摄位置差异引起的尺度变化问题；优化无锚框正负样本分配问题，将原来目标中心分配的1个正样本变为现在的9个正样本，缓解了正负样本不平衡问题；用解耦检测头完成目标定位和预测，降低模型对目标的学习难度。经实际验证，该深度网络模型对盗拍手机识别准确率为91.33％、召回率为83.54％。

(2)模型部署

本发明使用推理加速框架对模型进行优化，在满足检测精度的前提下，尽量平衡模型速度和精度，实现模型在计算资源有限的边缘设备上快速稳定运行。

附图说明

图1为盗拍手机识别预警方法主要步骤；

图2为盗拍手机识别预警流程示意图；

图3为交叉聚合多尺度特征融合示意图；

图4为目标感知模块示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

本发明公开了一种手机盗拍行为在线自动识别告警方法及装置，如图1所示，包括如下主要步骤：

步骤1中，视频采集、留档及送检，该步骤分为两部分：第一部分，屏上内嵌摄像头采集视频并进行预处理，最终送检；第二部分，对处理后的视频分段存储；

步骤2中，手机检测模型模块化设计，该步骤分为三部分：第一部分，主干网络采用深度卷积网络CSPdarknet53进行特征提取，该网络泛化能力强且计算复杂性适中；第二部分，盗拍者距离摄像机远近存在差异，因此设计了一种新颖的目标感知模块，提高模型对目标位置变化的鲁棒性；

目标感知模块实现过程，描述如下：

首先，用不同尺度的卷积核提取特征，然后进行特征加权，描述如下：

x_sum＝α₁f₁(x_in)+α₂f₂(x_in)+α₃f₃(x_in)

其中x_in为输入特征，α_i为权重因子，f_i(·)表示用不同卷积核提取特征，实际使用空洞卷积，膨胀率分别取1,2,3。

接着，对加权特征分别进行通道注意力和空间注意力处理，

通道注意力处理，描述如下：

其中

表示逐点相乘，采用平均池化AvgPool(·)，δ为Relu函数，σ为Sigmoid激活函数。

空间注意力处理，描述如下：

其中

表示逐点相乘，采用softmax(·)激活函数，

表示通道方向上求平均值，

表示通道方向上取最大值。

最后，将通道注意力和空间注意力加权融合，描述如下：

x_out＝β₁x_CA+β₂x_SA+β₃x_sum

其中β_i为加权因子。

上述目标感知模块融合了空间注意力和通道注意力，实现了空间和通道注意力的互补提升，提高了模型对手机拍摄姿态变化的鲁棒性。

第三部分，使用交叉聚合多尺度特征模块对第一部分的特征进行融合，增强模型对盗拍姿态多变的适应力；

交叉聚合多尺度特征融合结构设计如下：

首先，将主干网络不同下采样特征层定义为X＝{x₂,x₄,x₈,x₁₆,x₃₂}；

其次，计算

其中φ(·)为

其中f(·)表示Conv 3×3，步长为2，

表示重复f(·)操作

次；h(·)表示Conv 1×1，C_out＝0.25C_in；g(·)表示2倍上采样,Conv 1×1,C_out＝0.5C_in,

表示重复g(·)操作

次。

最后，对每层特征进行融合：

上述特征融合方法，一方面能实现多尺度跨层融合，另一方面能降低浅层与深层特征间的语义鸿沟。该结构实现了不同尺度特征信息的充分利用，能够帮助模型强化对位置变化的不敏性。

步骤3中，无锚框正负样本分配优化策略，该步骤分为三部分：第一部分，生成候选区域，用无锚框目标检测方法，特征图上每个位置只生成一个候选区域；第二部分，确定正样本区域，根据候选框与真实框的IoU值确定正样本；第三部分，扩展正样本区域，将第二部分选出的正样本周围3×3区域均选为正样本，增加正样本数量，缓解正负样本不平衡问题。

步骤4中，手机盗拍识别预警及模型部署，该步骤分为四部分：第一部分，用解耦检测头完成盗拍手机检测，将检测到手机的抓拍画面上传监控中心，实现远程实时告警；第二部分：对训练好的模型进行剪枝处理，保证检测精度的前提下，缩减模型规模；第三部分：利用推理加速框架优化模型，提高模型推理速度；第三部分，将优化后的模型部署于边缘计算模块，保证模型能在边缘设备上快速稳定运行。

步骤5中，监控中心推送告警并记录数据，该步骤分为两部分：第一部分，监控中心收到检测结果后向管理人员推送告警邮件或短信；第二部分：监控中心留存检测结果，以备查验。

本发明所公开的方法对手机盗拍距离变化具有不敏性，大大拓展了模型可识别手机的尺度范围；通过引入新颖的目标感知模块，增强了模型对前景目标的注意力，提高了模型对盗拍姿态变化的鲁棒性。此外，使用量化、剪枝技术对模型进行轻量化，进一步使用推理加速框架对模型进行优化，使其能够在计算资源非常有限的边缘计算平台部署。

本实施例经实际验证，该深度网络模型对盗拍手机识别准确率为91.33％、召回率为83.54％。

其中分别测试使用推理加速框架前后，模型在边缘计算模块上运行的检测耗时，未加速前2秒/帧，有明显时延；使用推理加速框架后200毫秒/帧，相比优化前的模型，加速模型的检测速度提高了10倍，提升效果显著。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (8)

1.手机盗拍行为在线自动识别告警方法，其特征在于：以计算机显示屏上内嵌微型摄像头拍摄视频为信息载体，使用深度神经网络模型、模型轻量化和模型部署技术，实现手机盗拍行为智能化识别，同时保证模型在边缘计算模块上快速稳定运行；具体包括如下主要步骤：

步骤1，视频采集留档及送检；

步骤2，手机检测模型模块化设计；

步骤3，无锚框正负样本分配优化策略；

步骤4，手机盗拍识别预警及模型部署；

步骤5，监控中心推送告警并记录数据。

2.根据权利要求1所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤1中，视频采集留档及送检，该步骤分为两部分：

步骤1.1：屏上内嵌摄像头采集视频并进行预处理，最终送检；

步骤1.2：对处理后的视频分段存储。

3.根据权利要求1所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤2中，手机检测模型模块化设计，该步骤分为三部分：

步骤2.1：主干网络采用深度卷积网络CSPdarknet53进行特征提取，该网络泛化能力强且计算复杂性适中；

步骤2.2：盗拍者距离摄像机存在远近差异，设计一种新颖的目标感知模块，提高模型对目标位置变化的适应力；

步骤2.3：使用交叉聚合多尺度特征模块对第一部分输出特征进行融合，增强模型对盗拍姿态多变的适应力。

4.根据权利要求3所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤2.2：目标感知模块，提高模型对目标位置变化的适应力；

目标感知模块实现过程，描述如下：

首先，用不同尺度的卷积核提取特征，然后进行特征加权，描述如下：

x_sum＝α₁f₁(x_in)+α₂f₂(x_in)+α₃f₃(x_in)

其中x_in为输入特征，α_i为权重因子，f_i(·)表示用不同卷积核提取特征，实际使用空洞卷积，膨胀率分别取1,2,3；

接着，对加权特征分别进行通道注意力和空间注意力处理，通道注意力处理，描述如下：

其中

表示逐点相乘，采用平均池化AvgPool(·)，δ为Relu函数，σ为Sigmoid激活函数。

空间注意力处理，描述如下：

其中

表示逐点相乘，采用softmax(·)激活函数，

表示通道方向上求平均值，

表示通道方向上取最大值。

最后，将通道注意力和空间注意力加权融合，描述如下：

x_out＝β₁x_CA+β₂x_SA+β₃x_sum

其中β_i为加权因子；

上述目标感知模块融合了空间注意力和通道注意力，实现了空间和通道注意力的互补提升，提高了模型对手机拍摄姿态变化的鲁棒性。

5.根据权利要求3所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤2.3：交叉聚合多尺度特征融合结构设计；

首先，将主干网络不同下采样特征层定义为X＝{x₂,x₄,x₈,x₁₆,x₃₂}；

其次，计算

其中φ(·)为

其中f(·)表示Conv 3×3，步长为2，C_out＝2C_in,

表示重复f(·)操作

次；h(2)表示Conv 1×1，C_out＝0.25C_in；g(·)表示2倍上采样,Conv 1×1,C_out＝0.5C_in,

表示重复g(·)操作

次；

最后，对每层特征进行融合：

6.根据权利要求1所述的手机盗拍行为在线自动识别告警方法，其特征在于：步骤3中，无锚框正负样本分配优化策略，该步骤分为三部分：

步骤3.1：生成候选区域，用无锚框目标检测方法，特征图上每个位置只生成一个候选区域；

步骤3.2：确定正样本区域，根据候选框与真实框的IoU值确定正样本；

步骤3.3：扩展正样本区域，将第二部分选出的正样本周围3×3区域均选为正样本，提高正样本数量，缓解正负样本不平衡问题。

7.根据权利要求1所述的手机盗拍行为在线自动识别告警方法及装置，其特征在于：步骤4中，手机盗拍识别预警及模型部署，该步骤分为四部分：

步骤4.1：用解耦检测头完成盗拍手机检测，将检测到手机的抓拍画面上传监控中心，实现远程实时告警；

步骤4.2：对训练好的模型进行剪枝处理，保证检测精度的前提下，缩减模型规模；

步骤4.3：用神经网络加速算法优化模型推理过程，提高模型推理速度；

步骤4.4：将优化后的模型部署于边缘计算模块，保证模型能在边缘设备上快速稳定运行。

8.根据权利要求1所述的手机盗拍行为在线自动识别告警方法及装置，其特征在于：步骤5中，监控中心推送告警并记录数据，该步骤分为两部分：

步骤5.1：监控中心收到检测结果后向管理人员推送告警邮件或短信；

步骤5.2：监控中心留存检测结果，以备查验。

Images