CN107679577A - 基于深度学习的图像检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的图像检测方法，包括：输入关键图；对关键图进行处理，生成多个训练样本；利用多个训练样本进行基于深度学习的图像识别训练，生成训练模型；以及使用训练模型检测上传的图像中是否含有关键图。本发明避免了目前的深度学习中需要大量采集真实样本的问题，检测速度快。

Description

基于深度学习的图像检测方法

技术领域

本发明涉及一种基于深度学习的图像检测方法，属于电子信息领域。

背景技术

打印机/复印机导致的企业机密信息泄露问题一直以来都是企业关心的安全问题之一，而另一方面，随着移动打印、共享打印的发展，街边的共享打印机任何时候都有可能打印输出不健康或者反社会的宣传资料。

面对各种非法打印行为，目前业界一般都采用关键字和关键图检测技术，以过滤打印内容。其中，关键字的检测技术比较成熟，效果也比较理想，并且检测速度很快，可以做到实时检测处理。然而，对于关键图的搜索，目前，即便采用最优化的图像特征点查找、匹配技术，也是非常耗时的操作(搜索一页A4纸大小的图像，平均需要3～5秒)，即便采用高性能的服务器或分布式系统，也很难做到实时检测。这极大地限制了图像检测在打印中的应用，换句话说，如果恶意使用图像格式来打印，通常是很难被检测出来的，所以一直以来，打印/复印环节中的图像检测课题，一直没有得到很好的解决。

发明内容

本发明的目的在于解决图像检测耗时过长的问题，提出一种基于深度学习的图像检测方法。

本发明的第一方面提供了一种基于深度学习的图像检测方法，包括：

输入关键图；

对关键图进行处理，生成多个训练样本；

利用多个训练样本进行基于深度学习的图像识别训练，生成训练模型；以及

使用训练模型检测上传的图像中是否含有关键图。

本发明通过在打印前事先添加关键图，自动生成深度学习训练样本并训练模型记忆关键图，避免了目前的深度学习中需要大量采集真实样本的问题。

进一步地，对关键图进行处理进一步包括以下步骤中的任意一个或多个：

对关键图进行放大或缩小的步骤；

对关键图进行仿射变换的步骤；

对关键图进行模糊处理的步骤；

添加随机噪声的步骤；

对关键图进行色彩处理的步骤；

对关键图进行二值化处理的步骤；以及

倾斜、旋转关键图的步骤。

本发明按照图像在打印、复印或扫描等环节可能会出现的各种形态变化，生成各种模拟训练样本，对于图像的倾斜、旋转、比例缩放、颜色衰减或丢失等异常情况，提高检测的成功率。

进一步地，使用训练模型检测上传的图像进一步包括：

中止含有关键图的图像的处理进程，并发送告警信号的步骤。

进一步地，上述方法是在打印机、复印机或多功能事务机中使用的图像检测方法。

本发明的第二方面提供了一种基于深度学习的图像检测装置，包括：

输入单元，用于输入关键图；

处理单元，对关键图进行处理，生成多个训练样本；

训练单元，训练单元利用多个训练样本进行基于深度学习的图像识别训练，生成训练模型；和

检测单元，用于使用训练模型检测上传的图像中是否含有关键图。

进一步地，处理单元进一步包括以下单元中的任意一个或多个：

缩放单元，用于对关键图进行放大或缩小；

仿射变换单元，用于对关键图进行仿射变换；

模糊处理单元，用于对关键图进行模糊处理；

噪声单元，用于添加随机噪声；

色彩处理单元，对关键图进行色彩处理；

二值化单元，用于对关键图进行二值化处理；和

旋转单元，用于倾斜、旋转关键图。

进一步地，用于检测单元进一步包括：

告警单元，中止含有关键图的图像的处理进程，并发送告警信号。

本发明的第三方面提供了一种基于深度学习的图像检测系统，包括服务器和打印机，服务器和打印机之间建立通信连接，

服务器接收关键图，并对关键图进行处理，生成多个训练样本；利用生成的训练样本进行基于深度学习的图像识别训练，生成训练模型；

当服务器接收需要打印机处理的图像时，运行训练模型，对上传的图像材料进行检测；

当检测到图像含有关键图时，中止含有关键图的图像的处理进程，并发送告警信号；

当未检测到图像含有关键图时，将图像发送给打印机，执行打印机的处理程序。

其中，打印机的处理包括：打印、复印和/或扫描。

本发明的第四方面提供了一种计算设备，该设备包括处理器、存储器，处理器与存储器建立通信连接；

处理器，用于读取存储器中的程序，以执行前述第一方面或第一方面的任一实现方式提供的方法。

本发明的第五方面提供了一种非易失性存储介质，该非易失性存储介质中存储了程序，该程序被计算设备运行时，计算设备执行前述第一方面或第一方面的任一实现方式提供的方法。

本发明第六方面提供了一种服务器，包括前述第四方面或第四方面的任一实现方式提供的设备。

与现有技术相比，本发明通过在打印前事先添加关键图，按照图像在打印、复印或扫描等环节可能会出现的各种形态变化，自动生成深度学习训练样本，训练模型记忆关键图，最后使用训练好的模型对需要打印、复印或扫描等处理的图像进行高速检测。相比于已有的图像检测方案，具有检测速度快、不依赖于真实样本以及抗干扰能力强的优点。

附图说明

图1是根据本发明的实施例的基于深度学习的图像检测方法的流程示意图。

图2是根据本发明的实施例的训练样本生成示意图。

图3是根据本发明的实施例使用训练模型检测图像的流程图。

具体实施方式

下面结合具体实施例和附图对本发明做进一步说明。可以理解的是，此处描述的具体实施例仅仅是为了解释本发明，而非对本发明的限定。此外，为了便于描述，附图中仅示出了与本发明相关的部分而非全部的过程。

本发明着力于解决图像检测耗时过长的问题，利用已有的目标检测技术，例如Faster-RCNN或者SSD等，它们作为先进的、基于深度学习的目标检测技术，本身的高性能、以及检测能力都是公开的，本发明的目的在于利用打印机对图像处理的全面理解，通过深度学习来对图像进行快速地检测。

在传统的基于深度学习的图像检测方法中，通常需要采集大量的带有某个感兴趣的图像的样本，在不同的样本中划定感兴趣的图像的位置，不断地进行训练，以形成模型。这种传统的训练方法需要大量的真实样本作为支持，而在实际生产场景中，很多情况下大量的样本是很难获得的。因此，本发明直接将感兴趣的图像作为关键图，运用程序自动根据关键图生成大量训练样本，从而回避了真实样本的采集问题。

根据本发明的实施例的基于深度学习的图像检测方法的流程示意图如图1所示，该方法包括以下步骤：

步骤S101，打印机或者多功能事务机(MFP)的管理员输入用于检测的关键图。例如，对于企业中的打印设备，设备管理人员可以指定公司的公章、LOGO、机密印章、新机型图像、关键信息的图像等作为关键图输入。而对于街边的共享打印设备，可以由相应的管理人员指定带有敏感字的图像或者其他违法图像等作为关键图来输入。

随后，步骤S102，图像检测系统按照图像在打印、复印环节可能会出现的各种形态变化，对关键图进行处理，生成多个训练样本。在此，脱离传统深度学习过程中对真实样本的依赖，而直接由一张关键图经过各种图像处理生成大量训练样本，来满足深度学习的需求，例如，可选择地，样本数量可设为10万份。

随后，步骤S103，利用生成的训练样本进行基于深度学习的图像识别训练；训练模型记忆关键图。在该步骤中，可充分利用各种主流的或小众的目标检测技术来进行训练。例如而不限于，前文提到的Faster-RCNN或者SSD等。

随后，步骤S104，当打印机或MFP收到打印、复印或者扫描等任务的指令时，根据训练得到的训练模型高速检测上传的图像。由于深度学习训练已在S103中完成，在该步骤S104中，可以直接使用训练模型，能够达到很高的检测速度。

下面，结合图2具体说明前述步骤S102中对关键图进行处理，生成多个训练样本的过程。

根据本发明的实施例的训练样本生成过程如图2所示，包括：

步骤S1021，对图像进行放大或缩小，缩放比例可以设置为使图像占整个纸张的0.1～0.9的范围；在该步骤中，可以采用在一定范围内生成随机数作为缩放因子的方式，来对图像进行缩放处理；

步骤S1022，对图像进行仿射变换，包括平移、翻转、错切等，尺度缩放因子同样可以采用一定范围内生成随机数的方式；

步骤S1023，对图像进行模糊处理，模糊强度可以在1～5之间，类似的，也可以采用一定范围内生成随机数的方式生成模糊强度因子；

步骤S1024，以不同角度倾斜、旋转图像；

步骤S1025，对图像进行色彩处理，例如颜色增强、衰减、灰度处理等；

步骤S1026，对图像进行二值化处理；以及

步骤S1027，添加随机噪声，例如，椒盐噪声或者高斯噪声。

根据本发明的实施例，按照图像在打印、复印或扫描等环节可能会出现的各种形态变化，对关键图进行处理以生成各种模拟训练样本，以上结合图2说明的图像处理过程仅仅是举例，而并不是对本发明的限制，在其他实施例中，其他未示出或未列举的图像处理方式也可以被采用。

另外，在一个处理进程中，除随机噪声以外，以上各步骤并不需要同时使用，而是可以以随机方式或其他方式任意组合使用，同时，在每一步骤中，都可在一定范围内的使用随机数作为变换因子的方式来进行图像处理。

同时，需要注意的是，在本发明的实施例中，以上步骤说明仅仅是解释对关键图进行处理所包含的过程，并不是对顺序的限定。除了部分步骤在同时使用时有先后的限制，例如灰度处理须置于颜色增强、衰减之后，二值化处理必须置于灰度处理之后等；除此之外，在对关键图的一个处理进程中，各个步骤的顺序可以颠倒、打乱、重新排序和/或多次使用。优选地，以上各步骤可以以随机或者伪随机的方式选用，例如，在每个步骤前，预置一个数字，随后在一定范围内生成随机码或伪随机码，并判断生成的数字是否是预置的数字，以此来选择是否进行该步骤的处理。

优选地，可以设置在每个处理进程的最后均强制添加随机噪声，以避免训练结果过拟合。当然，也可以在每次其他的处理步骤之后都添加一次随机噪声。

通过上文提到的方式，充分模拟图像的倾斜、旋转、比例缩放、颜色衰减或丢失等各种异常情况，通过数万次或更多的处理进程，可以生成数万或更多的训练样本，以供后面利用各种目标检测算法进行深度学习。由此，本发明解决了通常的深度学习图像识别训练需要大量真实样本的问题，能够脱离对真实样本的依赖，而直接由一张关键图生成大量训练样本，回避了真实样本的采集课题。另一方面，通过对图像的倾斜、旋转、比例缩放、颜色衰减或丢失的充分模拟，相比于传统图像特征点匹配方法，本发明也提高了随后的图像检测的成功率。

训练样本生成后，将训练样本分成两份，其中一部分用于训练，另一部分用于验证训练模型，进行迭代训练，例如，可采取80％用于训练，20％用于验证的方式。训练时可以采用Faster-RCNN或SSD目标检测技术等各种基于深度学习的目标检测技术，下面以Faster-RCNN为例简要说明训练过程。

首先，输入训练图像，同时通过XML指定关键图所在矩形区域位置；随后将整张图像缩放至300*300像素，输入CNN，进行特征提取；每张图像指定1个建议窗口，尺寸即为训练图大小；把建议窗口映射到CNN的最后一层卷积特征映射(feature map)上；通过兴趣区池(RoI pooling，Region of interest pooling)层使每个RoI(Region of interest)生成固定尺寸的特征映射(feature map)；利用柔性最大值传输损失函数(Softmax Loss)和平滑L1损失(Smooth L1Loss)对分类概率和边框回归(Bounding box regression)联合训练。

训练好的模型可以在服务器上运行，封装成WEB服务接口，例如：WEB应用程序界面(WEBAPI，WEB Application Program Interface)，即可被外部使用。

下面，结合图3具体说明前述步骤S104中，当打印机或MFP收到打印、复印或者扫描等任务的指令时，使用训练模型高速检测上传的图像的过程。

在需要进行图像检测的情形中，首先，如果服务器接收到打印指令，即步骤S1042；则进入S1043，将接收的文档导出成图像；随后，步骤S1044，使用前文中生成的模型对图像进行检测。而如果服务器接收到复印/扫描指令，即步骤S1041，则直接进入步骤S1044，使用前文中生成的模型对图像进行检测，由于模型已提前训练完成，检测速度可以很快，每张图像的检测时间可以低于0.03秒。

如果在图像中没有检测到关键图，即步骤S1045中为否，则进入步骤S1047，继续执行打印/复印/扫描任务。

如果检测到图像中含有关键图，即步骤S1045中为是，则进入步骤S1046，中止含有关键图的图像的处理进程，并发送告警信号(步骤S1048)，步骤S1048可以通过向管理人员发送邮件或者其他常用的报警方式来实现，以通知网络安全监管者及时处理。

本发明通过在打印前事先添加关键图，按照图像在打印、复印或扫描等环节可能会出现的各种形态变化，自动生成深度学习训练样本，训练模型记忆关键图，解决了现实环境下真实样本难以足量收集的问题，能够不依赖于大量的真实样本进行检测，提高了检测速度，同时多种异常情况的模拟也增强了检测时的抗干扰能力。

本发明的另一个实施例还提供了一种基于深度学习的图像检测装置，包括：

输入单元，用于输入关键图；

处理单元，对关键图进行处理，生成多个训练样本；

训练单元，训练单元利用生成的训练样本进行基于深度学习的图像识别训练，生成训练模型；和

检测单元，用于使用训练模型检测上传的图像。

其中，处理单元进一步包括以下单元中的任意一个或多个：缩放单元，用于对图像进行放大或缩小；仿射变换单元，用于对图像进行仿射变换；模糊处理单元，用于对图像进行模糊处理；噪声单元，用于添加随机噪声；色彩处理单元，对图像进行颜色增强、衰减、灰度处理；二值化单元，用于对图像进行二值化处理；和旋转单元，用于倾斜、旋转图像。

检测单元进一步包括：子检测单元，子检测单元运行训练好的模型，对上传的图像材料进行检测；和告警单元，中止含有关键图的图像的处理进程，并发送告警信号。

本发明的另一个实施例还提供了一种基于深度学习的图像检测系统，包括服务器和打印机，服务器和打印机之间建立通信连接。其中，服务器接收关键图，并对关键图进行处理，生成多个训练样本；利用生成的训练样本进行基于深度学习的图像识别训练；当服务器接收需要打印机处理的图像时，运行训练好的模型，对上传的图像材料进行检测；当检测到图像含有关键图时，中止含有关键图的图像的处理进程，并发送告警信号；当未检测到图像含有关键图时，将图像发送给打印机，执行打印机的处理程序。其中，打印机的处理可以包括：打印、复印和/或扫描等。

本发明的另一个实施例还提供了一种计算设备，该设备包括处理器、存储器，处理器与存储器建立通信连接；

处理器，用于读取存储器中的程序，以执行图1-3中所示的方法。

本发明的另一个实施例还提供了一种非易失性存储介质，该非易失性存储介质中存储了程序，该程序被计算设备运行时，计算设备执行图1-3中所示的方法。

本发明的另一个实施例还提供了一种服务器，包括前述设备。

与现有技术相比，本发明通过在打印前事先添加关键图，按照图像在打印、复印或扫描等环节可能会出现的各种形态变化，自动生成深度学习训练样本，训练模型记忆关键图，最后使用训练好的模型对需要打印、复印或扫描等处理的图像进行高速检测。相比于已有的图像检测方案，具有检测速度快、不依赖于真实样本、抗干扰能力强的优点。

上面结合附图对本发明的实施例做了详细说明，但本发明技术方案的使用不仅仅局限于本专利实施例中提及的各种应用，各种结构和变型都可以参考本发明技术方案轻易地实施，以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下做出的各种变化，均应归属于本发明专利涵盖范围。

Claims (12)

1.一种基于深度学习的图像检测方法，其特征在于，包括：

输入关键图；

对所述关键图进行处理，生成多个训练样本；

利用所述多个训练样本进行基于深度学习的图像识别训练，生成训练模型；以及

使用所述训练模型检测上传的图像中是否含有所述关键图。

2.根据权利要求1所述的基于深度学习的图像检测方法，其特征在于，对所述关键图进行处理进一步包括以下步骤中的任意一个或多个：

对所述关键图进行放大或缩小的步骤；

对所述关键图进行仿射变换的步骤；

对所述关键图进行模糊处理的步骤；

添加随机噪声的步骤；

对所述关键图进行色彩处理的步骤；

对所述关键图进行二值化处理的步骤；以及

倾斜、旋转所述关键图的步骤。

3.根据权利要求1所述的基于深度学习的图像检测方法，其特征在于，使用所述训练模型检测上传的图像进一步包括：

中止含有所述关键图的图像的处理进程，并发送告警信号的步骤。

4.根据权利要求1所述的基于深度学习的图像检测方法，其特征在于，所述方法是在打印机、复印机或多功能事务机中使用的图像检测方法。

5.一种基于深度学习的图像检测装置，其特征在于，包括：

输入单元，用于输入关键图；

处理单元，对所述关键图进行处理，生成多个训练样本；

训练单元，所述训练单元利用所述多个训练样本进行基于深度学习的图像识别训练，生成训练模型；和

检测单元，用于使用所述训练模型检测上传的图像中是否含有所述关键图。

6.根据权利要求5所述的基于深度学习的图像检测装置，其特征在于，所述处理单元进一步包括以下单元中的任意一个或多个：

缩放单元，用于对所述关键图进行放大或缩小；

仿射变换单元，用于对所述关键图进行仿射变换；

模糊处理单元，用于对所述关键图进行模糊处理；

噪声单元，用于添加随机噪声；

色彩处理单元，对所述关键图进行色彩处理；

二值化单元，用于对所述关键图进行二值化处理；和

旋转单元，用于倾斜、旋转所述关键图。

7.根据权利要求5所述的基于深度学习的图像检测装置，其特征在于，所述检测单元进一步包括：

告警单元，用于中止含有所述关键图的图像的处理进程，并发送告警信号。

8.一种基于深度学习的图像检测系统，包括服务器和打印机，所述服务器和打印机之间建立通信连接，其特征在于，

所述服务器接收关键图，并对所述关键图进行处理，生成多个训练样本；利用生成的训练样本进行基于深度学习的图像识别训练，生成训练模型；

当所述服务器接收需要所述打印机处理的图像时，运行所述训练模型，对上传的图像材料进行检测；

当检测到图像含有关键图时，中止所述含有关键图的图像的处理进程，并发送告警信号；

当未检测到图像含有关键图时，将所述图像发送给所述打印机，执行打印机的处理程序。

9.根据权利要求8所述的基于深度学习的图像检测系统，其特征在于，所述打印机的处理包括：打印、复印和/或扫描。

10.一种设备，其特征在于，包括处理器、存储器，所述处理器与所述存储器建立通信连接；

所述处理器，用于读取所述存储器中的程序，以执行如权利要求1-3中任一项所述的方法。

11.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储了程序，该程序被计算设备运行时，所述计算设备执行如权利要求1-3中任一项所述的方法。

12.一种服务器，其特征在于，包括如权利要求9所述的设备。