CN111581679A - 一种基于深度网络的防范屏幕拍照方法 - Google Patents

Abstract

本发明公开一种基于深度网络的防范屏幕拍照方法，包括以下步骤：步骤1：制作数据集；步骤2：训练类手机目标检测网络模型；步骤3：训练手机分类网络模型；步骤4：使用训练好的类手机目标检测网络模型对计算机上设置的相机实时拍摄的图像进行类手机目标检测，定位出类手机目标的位置；步骤5：将定位出的类手机目标的位置映射到原图像，将该区域图像用步骤3训练好的手机分类网络模型进行类别再次判断，给出最终目标类别结果；步骤6：如果步骤5手机分类网络模型输出结果为手机，则判定有类似手机拍摄行为并控制计算机屏幕内容为屏保和发出报警信号。本发明相对于现有技术进一步的提高了数字信息的安全性。

Description

一种基于深度网络的防范屏幕拍照方法

技术领域

本发明属于计算机数字图像处理与模式识别技术领域，特别涉及一种基于深度网络的防范屏幕拍照方法。

背景技术

信息媒体的数字化为信息的存取提供了极大的便利性，同时也显著提高了信息表达的效率和准确性。特别是现代信息化技术的发展，数据的交换和传输变成了一个相对简单的过程。人们可以借助计算机快速高效的储存和显示我们所需要的数字信息，但随之而来的是数字信息的安全性得不到保障，很容易通过移动存储设备，屏幕拍照等方式进行信息的泄密。目前大部分保密单位会禁止移动储存设备对保密计算机的连接，所以通过移动储存设备的信息泄密有了一定的监督。但由于屏幕拍照方式的隐蔽性和灵活性，其不需要通过物理连接的方式就可以获得电脑屏幕中显示的信息，因此其更不容易受到监督和发现。

发明内容

本发明的目的在于提供一种基于深度网络的防范屏幕拍照方法，通过用计算机屏幕上安装的固定摄像头实时采集的图像，来自动地进行类手机目标的位置定位进而判断该区域目标是否为手机，以解决现有技术的不足。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度网络的防范屏幕拍照方法，包括以下步骤：

步骤1：制作手机目标检测的数据集及手机分类的数据集；

步骤2：构建第一深度神经网络，使用手机目标检测的数据集对第一深度神经网络进行训练，获得类手机目标检测网络模型；

步骤3：构建第二深度神经网络，使用手机分类数据集对第二深度神经网络进行训练，获得手机分类网络模型；

步骤4：使用训练好的类手机目标检测网络模型对计算机上设置的相机实时拍摄的图像进行类手机目标检测，定位出类手机目标的位置；

步骤5：将定位出的类手机目标的位置映射到原图像，将该区域图像用步骤3训练好的手机分类网络模型进行类别再次判断，给出最终目标类别结果；

步骤6：如果步骤5手机分类网络模型输出结果为手机，则判定有类似手机拍摄行为并控制计算机屏幕内容为屏保和发出报警信号。

本发明进一步的改进在于：手机目标检测的数据集含有手机的图像，并标注出手机目标出现的位置；手机目标检测的数据集中图像为RGB图像(1280x720分辨率)；手机分类的数据集由含有手机目标的图像(正样本)和不含为手机目标的图像(负样本)构成；图像为RGB图像(224x224分辨率)。

本发明进一步的改进在于：步骤2中构建的第一深度神经网络为YOLO、FasterRCNN或SSD。

本发明进一步的改进在于：步骤2具体包括：

2.1)将手机目标检测的数据集转化为VOC标准数据集格式；

2.2)用第一深度神经网络进行训练240个epoch，生成类手机目标检测网络模型，每隔5个epoch进行模型测试挑选一个性能最好的模型保存下来。

本发明进一步的改进在于：步骤3中构建的第二深度神经网络为VGGnet、Resnet、Moblienet或Shufflenet。

本发明进一步的改进在于：步骤3具体包括：

3.1)将手机分类的数据集转化为Imagenet标准数据集格式；

3.2)用第二深度神经网络进行训练100个epoch，生成手机分类网络模型，每隔5个epoch进行模型测试挑选一个性能最好的模型保存下来。

本发明进一步的改进在于：步骤4使用训练好的类手机目标检测网络模型对计算机屏幕上的相机实时采集的图像进行类手机目标的检测，定位出类手机目标的位置，具体包括：

4.1)阈值筛选，首先将类手机目标检测网络模型的检测结果进行softmax归一化处理成各类别的置信度，对检测置信度大于阈值的进行处理；

softmax归一化处理的操作过程为：

其中：s_i为归一化后的置信度；V表示输出矩阵，Vi表示V中的第i个元素；Vj为网络的置信度输出；

4.2)使用非最大值抑制算法对相似区域进行抑制。

步骤4.1的阈值选取是通过网格调参获取的测试集上的最优值，大于设定的阈值的预测框被认定为类手机目标。经过阈值筛选后的目标预测框，有可能会出现一个目标预测出多个框，为了尽量保证一个目标值对应一个预测框，应用4.2的非最大值抑制算法。非最大值抑制算法：基于前面阈值筛选后框的分数，分数越大证明框越接近期待值。一个目标预测出多个框时，在局部选出最大分数对应框，然后去掉和这个框IOU＞0.5的框；获得类手机目标的位置。

本发明进一步的改进在于：步骤5具体包括：

5.1)将定位出的类手机目标的位置在原图中映射获得更加清晰的图像；

5.2)将映射到原图中的区域进行1.25倍的区域扩放，获得类手机目标区域扩放图；

5.3)使用步骤3训练好的手机分类网络模型对类手机目标区域扩放图进行类别判断，如果超过设定阈值则判断该区域为手机。

本发明进一步的改进在于：经过多次实验测试SSD在速度和准确性上取得了较好的均衡。本发明在采用SSD深度神经网络时取得了最好的效果，但不局限于SSD深度神经网络。

本发明进一步的改进在于：经过多次实验结果测试，Shufflenetv2在速度和准确性上取得了较好的均衡。本发明在采用Shufflenetv2深度神经网络的时候取得了最好的效果，但不局限于Shufflenetv2深度神经网络。

相对于现有技术，本发明具有以下有益效果：本发明是一种实时离线智能分析屏幕手机拍照的检测方法，通过安装在计算机屏幕上的相机实时拍摄屏幕前的场景，人工标注组成手机目标检测数据集及手机分类数据集；基于样本训练生成类手机目标检测器和手机目标分类器；采用深度神经网络类手机目标检测器进行类手机目标区域的定位；结合定位结果在原图中映射并进行区域扩放，之后对扩放后的区域进行手机目标分类；最后通过手机目标分类结果判断有无屏幕拍照行为，并自动与计算机对接来控制屏幕内容的显示和发成报警信号，进一步提高数字信息的安全性。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种基于深度网络的防范屏幕拍照方法的流程图；

图2是用于深度神经网络类手机目标检测模型训练的样本集；其中，图2(a)为手机目标检测样本，图2(b)表示图片及其同名标注文件；

图3是用于深度神经网络手机目标分类模型训练的样本集；其中，图3(a)为图像中有手机的样本，图3(b)为图像中没有手机的样本；

图4是类手机目标区域检测效果图；

图5是手机目标分类结果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明范围。

请参阅图1所示，本发明提供一种基于深度网络的防范屏幕拍照方法，包括如下步骤：

步骤1，制作手机目标检测数据集和手机目标分类数据集：

本实例以计算机屏幕上相机拍摄实地采集图像作为原始图像，对其中的出现的手机目标的位置进行标注，标注内容为手机目标的位置坐标和对应的类别内容；只检测一个类别，对应类别为Phone。目标检测的数据集含有手机的图像，并标注出手机目标出现的位置；手机分类的数据集由含有手机目标的图像和不含为手机目标的图像构成。手机目标检测的数据集中图像为RGB图像(1280x720分辨率)；手机分类的数据集由含有手机目标的图像(正样本)和不含为手机目标的图像(负样本)构成；图像为RGB图像(224x224分辨率)。图2和图3为部分深度神经网络学习样本集。

步骤2：深度神经网络类手机目标检测器训练：

本实例通过深度神经网络学习样本集，通过不断减少真实属性与预测属性之间的误差使网络的预测结果与真实结果相近，采用深度学习算法训练一个深度神经网络类手机目标检测器。

步骤是：

1)数据集转化为VOC标准数据集格式，以便计算机进行读取。

2)用深度神经网络进行训练240个epoch，生成深度神经网络类手机目标检测器，每隔5个epoch进行模型测试挑选一个性能最好的模型保存下来。

步骤3：深度神经网络手机目标分类器训练；

本实例通过深度神经网络学习样本集，通过不断减少真实属性与预测属性之间的误差使网络的预测结果与真实结果相近，采用深度学习算法训练一个深度神经网络手机目标分类器。步骤是：

1)将数据集转化为Imagenet标准数据集格式，以便计算机进行读取。

2)用深度神经网络进行训练100个epoch，生成深度神经网络手机目标分类器，每隔5个epoch进行模型测试挑选一个性能最好的模型保存下来。

步骤4：训练好的网络模型对新获取待检测的图像进行类手机目标的位置判定，对于模型输出的类手机目标的位置映射到原图并进行目标区域的1.25倍扩放获得类手机目标区域扩放图，来保证所截取区域充分包含目标信息。

步骤5：使用训练好的手机目标分类模型对类手机目标区域扩放图进行进一步的目标类别判定，步骤是：

5.1)使用非极大值抑制算法对相似区域进行抑制，避免同一区域重复检测；采集到的原始待检测图像，经过第一级类手机目标检测器得到的预测框。扩放后的新预测框以一级检测框的中心固定不变，边长为之前的预测框最长边的1.25倍，以保证新检测框为正方形(后续深度神经网络手机目标分类器的图片输入需要为正方形)，同时目标被完全囊括住。经扩放后的目标框对应的区域resize到224x224分辨率，在送入到深度神经网络手机目标分类器来对该区域的目标精分类，以过滤掉类手机目标，保留真实的手机目标。

5.2)使用置信阈值对手机目标分类结果进行筛选，消除相似目标干扰。对于图像的模型输出分数，大于指定的阈值的图像判定为含有手机目标的图像，反之为不含有手机目标的图像。阈值是通过在测试集中网格调节获取的最优值。

步骤6：如果手机目标分类器输出结果为手机，则判定有类似手机拍摄行为并控制计算机屏幕内容为屏保和发出报警信号。

实验结果表明，通过本技术方案，可以快速准确地判断屏幕前是否有类似手机拍摄屏幕内容的行为。对单张图像的响应时间可以控制在150ms内。经过实验验证，对于类似手机拍照行为的小视频，识别准确率可以达到90％以上(正确识别数量/总的视频数量)。本发明较好的解决了不容易受到监督的手机拍摄计算机屏幕的问题，使得数字信息的安全性进一步的得到了保障。

Claims (8)

1.一种基于深度网络的防范屏幕拍照方法，其特征在于，包括以下步骤：

步骤1：制作手机目标检测的数据集及手机分类的数据集；

步骤2：构建第一深度神经网络，使用手机目标检测的数据集对第一深度神经网络进行训练，获得类手机目标检测网络模型；

步骤3：构建第二深度神经网络，使用手机分类数据集对第二深度神经网络进行训练，获得手机分类网络模型；

步骤4：使用训练好的类手机目标检测网络模型对计算机上设置的相机实时拍摄的图像进行类手机目标检测，定位出类手机目标的位置；

步骤5：将定位出的类手机目标的位置映射到原图像，将该区域图像用步骤3训练好的手机分类网络模型进行类别再次判断，给出最终目标类别结果；

步骤6：如果步骤5手机分类网络模型输出结果为手机，则判定有类似手机拍摄行为并控制计算机屏幕内容为屏保和发出报警信号。

2.根据权利要求1所述的一种基于深度网络的防范屏幕拍照方法，其特征在于，手机目标检测的数据集含有手机的图像，并标注出手机目标出现的位置；手机分类的数据集由含有手机目标的图像和不含为手机目标的图像构成。

3.根据权利要求1所述的一种基于深度网络的防范屏幕拍照方法，其特征在于，步骤2中构建的第一深度神经网络为YOLO、Faster RCNN或SSD。

4.根据权利要求1所述的一种基于深度网络的防范屏幕拍照方法，其特征在于，步骤2具体包括：

2.1)将手机目标检测的数据集转化为VOC标准数据集格式；

2.2)用第一深度神经网络进行训练240个epoch，生成类手机目标检测网络模型，每隔5个epoch进行模型测试挑选一个性能最好的模型保存下来。

5.根据权利要求1所述的一种基于深度网络的防范屏幕拍照方法，其特征在于，步骤3中构建的第二深度神经网络为VGGnet、Resnet、Moblienet或Shufflenet。

6.根据权利要求1所述的一种基于深度网络的防范屏幕拍照方法，其特征在于，步骤3具体包括：

3.1)将手机分类的数据集转化为Imagenet标准数据集格式；

3.2)用第二深度神经网络进行训练100个epoch，生成手机分类网络模型，每隔5个epoch进行模型测试挑选一个性能最好的模型保存下来。

7.根据权利要求1所述的一种基于深度网络的防范屏幕拍照方法，其特征在于，步骤4使用训练好的类手机目标检测网络模型对计算机屏幕上的相机实时采集的图像进行类手机目标的检测，定位出类手机目标的位置，具体包括：

4.1)阈值筛选，首先将类手机目标检测网络模型的检测结果进行softmax归一化处理成各类别的置信度，对检测置信度大于阈值的进行处理；

softmax归一化处理的操作过程为：

其中：s_i为归一化后的置信度；V表示输出矩阵，Vi表示V中的第i个元素；Vj为网络的置信度输出；

4.2)使用非最大值抑制算法对相似区域进行抑制。

8.根据权利要求1所述的一种基于深度网络的防范屏幕拍照方法，其特征在于，步骤5具体包括：

5.1)将定位出的类手机目标的位置在原图中映射获得更加清晰的图像；

5.2)将映射到原图中的区域进行1.25倍的区域扩放，获得类手机目标区域扩放图；

5.3)使用步骤3训练好的手机分类网络模型对类手机目标区域扩放图进行类别判断，如果超过设定阈值则判断该区域为手机。

Images