CN105989330A - 一种图片检测方法及设备 - Google Patents

Abstract

本申请的目的是提供一种图片检测方法及设备。与现有技术相比，本申请中的图片检测设备获取已分别标注图片类型的多个训练图片，其中，所述图片类型包括正常类型或违禁类型；再基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；并且，获取所述图片检测模型所对应的图片检测阈值；再利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型。本申请能够高效、准确地识别待检测图片的图片类型，有效缩短了图片的审核时间，改善用户的使用体验。

Description

一种图片检测方法及设备

技术领域

本申请涉及计算机领域，尤其涉及一种图片检测技术。

背景技术

随着互联网技术的发展，图片因其相对文字具有表达直观、内容丰富等优势，在越来越多的网页及应用中被广泛应用。例如，网购平台为各电商提供了各种商品信息发布机制，商家可以上传多角度、多背景的商品照片，以吸引用户。

然而，在实际应用中，一些商家为博取眼球效应，上传的图片不符合网购平台甚至法律的规定。若将这类图片予以展示不仅阻碍了用户获取所需信息，也浪费了用户宝贵的带宽资源、降低了用户的屏幕利用率。显然，鉴于互联网的开放性本质，这样的情况将会持续存在；而且，由于互联网信息的爆发性，试图通过人工来审核这些图片的陈列方式也是不可行的。

为此，现有技术中采用了LLC(Locality-constrained Linear Coding，局部限制的线性编码)+liblinear(一个适用于大规模数据的线性分类库)等方式对图片进行分类训练和检测。这些方式主要是采用检测特征颜色区域，包括颜色直方图和梯度直方图等对图片特征进行描述与分析，再对图片进行分类。然而，现有的检测方式只能够识别一小部分违禁类图片(如色情图片等)，且会有很多图片被误杀。另外针对不同的应用场景，现有技术需要手工设计不同的颜色特征，这个给工程师带来了巨大的工作量。

发明内容

本申请的目的是提供一种的图片检测方法及设备。

根据本申请的一个方面，提供了一种图片检测方法，包括：

获取已分别标注图片类型的多个训练图片，其中，所述图片类型包括正常类型或违禁类型；

基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

获取所述图片检测模型所对应的图片检测阈值；

利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型。

根据本申请的另一方面，还提供了一种图片检测设备，其包括：

第一装置，用于获取已分别标注图片类型的多个训练图片，其中，所述图片类型包括正常类型或违禁类型；

第二装置，用于基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

第三装置，用于获取所述图片检测模型所对应的图片检测阈值；

第四装置，用于利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型。

与现有技术相比，本申请利用卷积神经网络建立图片检测模型，并根据图片检测模型和图片检测阈值来检测图片的图片类型，能够高效、准确地识别待检测图片的图片类型，有效缩短了图片的审核时间，改善用户的使用体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种图片检测设备示意图；

图2示出根据本申请一个优选实施例的一种图片检测设备中第一装置的示意图；

图3示出根据本申请另一个优选实施例的一种图片检测设备示意图；

图4示出根据本申请另一个方面的一种图片检测方法流程图；

图5示出根据本申请一个优选实施例的一种图片检测方法中步骤S1的流程图；

图6示出根据本申请另一个优选实施例的一种图片检测方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种图片检测设备1，其中，所述图片检测设备1包括：第一装置11、第二装置12、第三装置13和第四装置14。具体地，所述第一装置11用于获取已分别标注图片类型的多个训练图片，其中，所述图片类型包括正常类型或违禁类型；所述第二装置12用于基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；所述第三装置13用于获取所述图片检测模型所对应的图片检测阈值；所述第四装置14用于利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型。

在此，所述图片检测设备1可由网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述图片检测设备1仅为举例，其他现有的或今后可能出现的网络设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在此，所述图片检测设备1包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

具体地，所述第一装置11按照所述第二装置12构建图片检测模型所要求的尺寸、格式等，通过http、https等约定通信方式远程调用、或通过本地读取等方式获取训练图片及所对应的图片类型。其中，所述图片类型中的违禁类型包括但不限于：色情类型等。其中，所述训练图片可以是所存储的源图片，也可以是对源图片进行修剪之后所得到的图片等。所述第一装置11按照预设的图片类型的获取比例来获取各训练图片。其中，所述获取比例可按照实际需要进行设定。例如，所获取的正常类型的图片与违禁类型的图片的数量比例为1:n，其中，n大于1。

为了得到更合适的训练图片，所述第一装置11还可以包括：第一一单元111和第一二单元112。如图2所示。具体地，所述第一一单元111用于获取已分别标注图片类型的多个样本图片，其中，所述图片类型包括正常类型或违禁类型；所述第一二单元112用于对每个样本图片进行预处理以获得对应的训练图片。

在此，所述第一一单元111通过http、https等约定通信方式远程调用、或通过本地读取等方式获取多个样本图片及相应的图片类型。由于所获取的样本图片的尺寸、格式等各不相同，则所述第一二单元112对每个样本图片进行预处理，以得到符合预设规格、数量等要求的各训练图片。

在此，所述第一二单元112对每个样本图片进行预处理的方式包括：从所获取的样本图片中选取符合预设规格、数量等要求的图片作为所述训练图片。

由于图库中的违禁类型的图片的数量通常远小于正常类型的图片的数量。为了得到足够多的违禁类型的训练图片。所述第一二单元112还用于对标注为违禁类型的每个样本图片进行变换扩展。

在此，所述第一二单元112对标注为违禁类型的每个样本图片进行变换扩展的方式包括但不限于：1)将每个标注有违禁类型的样本图片进行平移，以得到新的样本图片。例如，所述第一二单元112将标注为违禁类型的样本图片沿着预设的x轴和y轴方向平行移动，则所述第一二单元112的平移操作可以表示为：x_o＝rand(-10，10)，y_o＝rand(-10，10)，所得到的新的样本图片的各点像素值为：Inew(x，y)＝I(x+xo，y+y_o)。其中，x_o表示x轴方向的平移幅度，y_o表示y轴方向的平移幅度。I(x，y)表示坐标为(x，y)处图像的像素值，Inew(x，y)表示平移后坐标为(x，y)处图像的像素值。如果(x+x_o，y+y_o)超出原始图像区域，则所述第一二单元112用预设的像素值予以填充。由此，所述第一二单元112得到了新的样本图片。

2)通过对标注为违禁类型的每个样本图片进行旋转，以得到新的样本图片。例如，预设θ＝rand(-10，10)，θ表示对样本图片进行逆时针旋转的角度，所述第一二单元112利用I_new(x，y)＝R(θ)οI(x，y）公式，得到旋转后的样本图片，其中ο表示逆时针旋转操作。

3)通过对标注为违禁类型的每个样本图片进行模糊处理。其中，所述模糊处理的方式包括但不限于：高斯滤波、均值滤波中的至少一种。例如，所述第一二单元112可仅选择高斯滤波或均值滤波来模糊处理所有标注为违禁类型的样本图片。又如，所述第一二单元112可随机的选择高斯滤波或均值滤波来模糊处理标注为违禁类型的每个样本图片。

为了处理不同尺寸和/或不同亮度的训练图片，所述第一二单元112对每个样本图片进行预处理的方式还包括：对每个样本图片进行归一化处理以获得对应的训练图片。

具体地，所述归一化处理的方式包括但不限于以下至少任一项：1)将样本图片缩放至预定分辨率。例如，所述第一二单元112将所得到的1024*768尺寸的样本图片缩成256*256尺寸的训练图片。又如，所述第一二单元112将所获取的157*124尺寸的样本图片放大至256*256尺寸的训练图片。2)对样本图片进行减均值处理。例如，所述第一二单元112先将所获取的样本图片缩放至预定分辨率，再计算缩放后的所述样本图片的像素均值，并将缩放后的所述样本图片的每个像素值与所述像素均值相减，由此来去除平均图像对缩放后的所述样本图片的干扰,并得到相应的训练图片。

当所述第一装置11得到足够多的标注有图片类型的训练图片时，将各所述训练图片传输至所述第二装置12。则所述第二装置12基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型。

具体地，所述第二装置12将所述各训练图片送入预设的包含有多卷积层和多全连接通层的神经网络进行训练。其中，各卷积层包含卷积核。所述第二装置12将每个所述训练图片在每一卷积层中提取的特征输至下一卷积层，以提取更加高阶的特征。再由所述全连接通层将各卷积层逐层提取后得到的各特征按照对应的图片类型进行连接分类处理，由此得到关于标注图片类型的图片检测模型。其中，所述特征包括但不限于：训练图片中的特征向量、训练图片中的特征信息等。

在此，所述卷积神经网络优选的包括：相级联的五个卷积层、三个全连接通层和一个Softmax层。

其中，每个所述卷积层的卷积操作相当于矩阵乘法。例如，所述第二装置12利用公式1执行各所述卷积层的操作。

$f_{\mathrm{ij}}^k=\mathrm{relu}({(W^k*x)}_{\mathrm{ij}}+b^k)$ 公式1

其中f^k表示第k个特征映射，其中，所述特征映射为所述卷积层所得到的特征与图片类型之间的映射关系。W^k表示第k个卷积核的参数，每一个卷积核表示一种特征，在一个卷积层中，可以包含多个卷积核。x表示上一层的特征。relu(x)＝max(0，x)表示非线性的神经元函数。i和j分别表示所述第k个特征映射所在维度的序列编号。b^k表示第k个卷积核在执行卷积运算时的偏移量。

更为优选地，所述神经网络中还包括：设置在至少一个所述卷积层中的Max pooling(最大池化)。所述Max Pooling是对通过各卷积层得到的特征的下采样操作。所述Max Pooling的操作包括但不限于：平均池化操作，最大池化操作等。例如，在所述神经网络中设置了最大池化操作，所述第二装置12通过最大池化操作，不仅降低了特征的维度，而且使得最终得到的图片检测模型具有了平移不变性质。

所述Max pooling可以设置在每个卷积层后，也可以选择性的设置在部分卷积层后。

例如，第一个卷积层包含k1个卷积核，每个卷积核大小为x1×y1×z1，通过max pooling进行降维，输出为x1'×y1'×z1'的特征映射。

第二个卷积层包含k2个卷积核，每个卷积核大小为x2×y2×z2，通过max pooling进行降维，输出为x2'×y2'×z2'的特征映射。

第三个卷积层包含k3个卷积核，每个卷积核大小为x3×y3×z3，输出为x3'×y3'×z3'的特征映射。这层不包含max pooling。

第四个卷积层包含k4个卷积核，每个卷积核大小为x4×y4×z4，输出为x4'×y4'×z4'的特征映射。这层不包含max pooling。

第五个卷积层包含k5个卷积核，每个卷积核大小为x5×y5×z5，通过max pooling进行降维，输出为x5'×y5'×z5'的特征映射。其中，每个卷积层中的卷积核的数量和大小按照实际需求来设置。

所述神经网络中还可以进一步的包括：归一化层(Normalization层)。所述Normalization层是将不同特征映射之间做归一化操作。

例如，所述第二装置12利用公式2来将相邻的特征映射进行归一化操作。

$f_{\mathrm{ij}}^k=\frac{f_{\mathrm{ij}}^k}{{(1+\frac{\mathrm{\α}}{N}{\mathrm{\Σ}}_{k^{,}\∈(k-N/2,k+N/2)}{\left(f_{\mathrm{ij}}^{k^{,}}\right)}^2)}^{\mathrm{\β}}}$ 公式2

其中，N,α,β为预设的常数参数。表示第k个特征映射。

表示对相邻特征映射之间进行归一化。

所述全连接通层用于将两所述卷积层中的各个节点(即特征)相互连接。当所述神经网络中包含五个卷积层时，则所述全连接通层对应包含三个。

例如，第一个全连接通层的含有a1*b1个参数，输出为c1个节点(特征)的值。

第二个全连接通层的含有a2*b2个参数，输出为c2个节点(特征)的值。

第三个全连接通层的含有a3*b3个参数，输出为c3个节点(特征)的值。其中，a1>a2>a3，b1>b2>b3，c1>c2>c3。

所述Softmax层设置在所述神经网络中的全连接通层之后。所述第二装置12利用所述Softmax层来将各特征映射按照图片类型进行分类。由此，所述第二装置12构建出了基于图片类型的图片检测模型，并启动所述第三装置13来获取所述图片检测模型所对应的图片检测阈值。

在此，所述图片检测阈值可以是用于确定待检测的第一图片属于违禁类型或正常类型的概率。该图片检测阈值可以预先固定设置，所述第三装置13仅从预设的存储单元予以提取即可。

优选地，所述第三装置13利用所述图片检测模型对已标注图片类型的第二图片进行检测，以获得对应的感受性曲线；再根据所述感受性曲线确定所述图片检测模型所对应的图片检测阈值。其中，所述第二图片可以从各训练图片中选取，也可以从图库中另行选取。

所述第三装置13将已标注图片类型的多个所述第二图片输入所述图片检测模型，以得到对应各图片类型FP(假正类False positive)、FN(假负类false negative)、TP(真正类True positive)、TN(真负类True negative)的概率，并得到相应的感受性曲线，例如，该感受性曲线的横坐标及纵坐标分别对应误判率(例如FP)和准确率(例如TP)。接着，所述第三装置13根据所述感受性曲线确定所述图片检测模型中FP、FN、TP和/或TN的图片检测阈值。例如，基于本方案所得到的某一感受性曲线，本领域技术人员可以把FP(误判率)控制在2％，从而得到模型的准确率为80％；因此，留给审核人员审核的只有2％的这部分数据，从而大幅降低了审核的工作量。

当用户上传待检测的第一图片时，所述第四装置14获取所述第一图片，并送入所述图片检测模型以得到所述第一图片对应各图片类型的图片检测信息。其中，所述图片检测信息包括但不限于：所述第一图片对应各图片类型的检测概率等。接着，所述第四装置14将所得到的图片检测信息与所述图片检测阈值进行比较。

当所述图片检测信息满足TP对应的图片检测阈值，则所述第四装置14认定所述第一图片的图片类型为正常类型。当所述图片检测信息满足FP对应的图片检测阈值，则所述第四装置14认定所述第一图片的图片类型为违禁类型。当所述图片检测信息满足TN或FN对应的图片检测阈值，则所述第四装置14无法确定所述第一图片的图片类型，此时，所述第四装置14将所述第一图片提供给更其他检测设备或提供给人工处理，以便进行更精准的确定。

当其他检测设备或人工检测完成后，将所述第四装置14所提供的第一图片的图片类型予以返回时，所述图片检测设备1还包括：第五装置15(如图3所示)，用于根据所述第一图片经再检测所确定的图片类型，调整所述图片检测模型。

具体地，所述第五装置15将所述第一图片和所得到的图片类型提供给所述第一装置11。由所述第一装置11对所述第一图片进行预处理以获得相应的训练图片，并交由所述第二装置12以便利用卷积神经网络继续训练并调整了当前的图片检测模型。在此，该“再检测”操作可以是人工完成的，也可以是其他图片检测应用或工具完成的。本领域技术人员应能理解，通过对于该图片检测模型的输出结果再检测，并根据再检测所获得的图片类型信息来进一步优化该图片检测模型，从而在后续图片检测中可以获得更好的检测准确度。

优选地，为了提高所述图片检测模型的检测精准度，所述第二装置12还可以根据所述训练图片的数量来调整调整学习率。其中，所述学习率表示梯度下降的速度。例如，初始化的学习率设置为rate1，所述第二装置12在迭代预设轮次以后，将其改为rate2，以此类推。其中，rate1>rate2。

图4示出根据本申请又一个方面的一种图片检测方法，其中，所述图片检测方法主要由图片检测设备来执行。所述图片检测方法包括：步骤S1、S2、S3和S4。具体地，在步骤S1中，所述图片检测设备获取已分别标注图片类型的多个训练图片，其中，所述图片类型包括正常类型或违禁类型；在步骤S2中，所述图片检测设备基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；在步骤S3中，所述图片检测设备获取所述图片检测模型所对应的图片检测阈值；在步骤S4中，所述图片检测设备利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型。

在此，所述图片检测设备可由网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述图片检测设备仅为举例，其他现有的或今后可能出现的网络设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在此，所述图片检测设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

具体地，所述图片检测设备按照欲构建图片检测模型所要求的尺寸、格式等，通过http、https等约定通信方式远程调用、或通过本地读取等方式获取训练图片及所对应的图片类型。其中，所述图片类型中的违禁类型包括但不限于：色情类型等。其中，所述训练图片可以是所存储的源图片，也可以是对源图片进行修剪之后所得到的图片等。所述图片检测设备按照预设的图片类型的获取比例来获取各训练图片。其中，所述获取比例可按照实际需要进行设定。例如，所获取的正常类型的图片与违禁类型的图片的数量比例为1:n，其中，n大于1。

为了得到更合适的训练图片，所述步骤S1还可以包括：步骤S11和步骤S12。如图5所示。具体地，在步骤S11中，所述图片检测设备获取已分别标注图片类型的多个样本图片，其中，所述图片类型包括正常类型或违禁类型；在步骤S12中，所述图片检测设备对每个样本图片进行预处理以获得对应的训练图片。

在此，所述图片检测设备通过http、https等约定通信方式远程调用、或通过本地读取等方式获取多个样本图片及相应的图片类型。由于所获取的样本图片的尺寸、格式等各不相同，则所述图片检测设备对每个样本图片进行预处理，以得到符合预设规格、数量等要求的各训练图片。

在此，所述图片检测设备对每个样本图片进行预处理的方式包括：从所获取的样本图片中选取符合预设规格、数量等要求的图片作为所述训练图片。

由于图库中的违禁类型的图片的数量通常远小于正常类型的图片的数量。为了得到足够多的违禁类型的训练图片。所述图片检测设备还对标注为违禁类型的每个样本图片进行变换扩展。

在此，所述图片检测设备对标注为违禁类型的每个样本图片进行变换扩展的方式包括但不限于：1)将每个标注有违禁类型的样本图片进行平移，以得到新的样本图片。例如，所述图片检测设备将标注为违禁类型的样本图片沿着预设的x轴和y轴方向平行移动，则图片检测设备的平移操作可以表示为：x_o＝rand(-10，10)·y_o＝rand(-10，10)，所得到的新的样本图片的各点像素值为：I_new(x，y)＝I(x+x_o，y+y_o)。其中，x_o表示x轴方向的平移幅度，y_o表示y轴方向的平移幅度。I(x，y)表示坐标为(x，y)处图像的像素值，I_new(x，y)表示平移后坐标为(x，y)处图像的像素值。如果(x+x_o，y+y_o)超出原始图像区域，则所述第一二单元用预设的像素值予以填充。由此，所述图片检测设备得到了新的样本图片。

2)通过对标注为违禁类型的每个样本图片进行旋转，以得到新的样本图片。例如，预设θ＝rand(-10，10)，θ表示对样本图片进行逆时针旋转的角度，所述图片检测设备利用Ineww(x，y)＝R(θ)οI(x，y)公式，得到旋转后的样本图片，其中ο表示逆时针旋转操作。

3)通过对标注为违禁类型的每个样本图片进行模糊处理。其中，所述模糊处理的方式包括但不限于：高斯滤波、均值滤波中的至少一种。例如，所述图片检测设备可仅选择高斯滤波或均值滤波来模糊处理所有标注为违禁类型的样本图片。又如，所述图片检测设备可随机的选择高斯滤波或均值滤波来模糊处理标注为违禁类型的每个样本图片。

为了从有限数量的样本图片中获取足够多的训练图片，所述图片检测设备对每个样本图片进行预处理的方式还包括：对每个样本图片进行归一化处理以获得对应的训练图片。

具体地，所述归一化处理的方式包括但不限于以下至少任一项：1)将样本图片缩放至预定分辨率。例如，所述图片检测设备将所得到的1024*768尺寸的样本图片缩成256*256尺寸的训练图片。又如，所述图片检测设备将所获取的157*124尺寸的样本图片放大至256*256尺寸的训练图片。2)对样本图片进行减均值处理。例如，所述图片检测设备先将所获取的样本图片缩放至预定分辨率，再计算缩放后的所述样本图片的像素均值，并将缩放后的所述样本图片的每个像素值与所述像素均值相减，由此来去除平均图像对缩放后的所述样本图片的干扰,并得到相应的训练图片。

当所述图片检测设备得到足够多的标注有图片类型的训练图片后，执行步骤S2，即基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型。

具体地，所述图片检测设备将所述各训练图片送入预设的包含有多卷积层和多全连接通层的神经网络进行训练。其中，各卷积层包含卷积核。所述图片检测设备将每个所述训练图片在每一卷积层中提取的特征输至下一卷积层，以提取更加高阶的特征。再由所述全连接通层将各卷积层逐层提取后得到的各特征按照对应的图片类型进行连接分类处理，由此得到关于标注图片类型的图片检测模型。其中，所述特征包括但不限于：训练图片中的特征向量、训练图片中的特征信息等。

在此，所述卷积神经网络优选的包括：相级联的五个卷积层、三个全连接通层和一个Softmax层。

其中，每个所述卷积层的卷积操作相当于矩阵乘法。例如，所述图片检测设备利用公式1执行各所述卷积层的操作。

$f_{\mathrm{ij}}^k=\mathrm{relu}({(W^k*x)}_{\mathrm{ij}}+b^k)$ 公式1

其中f^k表示第k个特征映射，其中，所述特征映射为所述卷积层所得到的特征与图片类型之间的映射关系。W^k表示第k个卷积核的参数，每一个卷积核表示一种特征，在一个卷积层中，可以包含多个卷积核。x表示上一层的特征。relu(x)＝max(0，x)表示非线性的神经元函数。i和j分别表示所述第k个特征映射所在维度的序列编号。b^k表示第k个卷积核在执行卷积运算时的偏移量。

更为优选地，所述神经网络中还包括：设置在至少一个所述卷积层中的Max pooling(最大池化)。所述Max Pooling是对通过各卷积层得到的特征的下采样操作。所述Max Pooling的操作包括但不限于：平均池操作，最大池化操作等。例如，在所述神经网络中设置了最大池化操作，所述图片检测设备通过最大池化操作，不仅降低了特征的维度，而且使得最终得到的图片检测模型具有了平移不变性质。

所述Max pooling可以设置在每个卷积层后，也可以选择性的设置在部分卷积层后。

例如，第一个卷积层包含k1个卷积核，每个卷积核大小为x1×y1×z1，通过max pooling进行降维，输出为x1'×y1'×z1'的特征映射。

第二个卷积层包含k2个卷积核，每个卷积核大小为x2×y2×z2，通过max pooling进行降维，输出为x2'×y2'×z2'的特征映射。

第三个卷积层包含k3个卷积核，每个卷积核大小为x3×y3×z3，输出为x3'×y3'×z3'的特征映射。这层不包含max pooling。

第四个卷积层包含k4个卷积核，每个卷积核大小为x4×y4×z4，输出为x4'×y4'×z4'的特征映射。这层不包含max pooling。

第五个卷积层包含k5个卷积核，每个卷积核大小为x5×y5×z5，通过max pooling进行降维，输出为x5'×y5'×z5'的特征映射。其中，每个卷积层中的卷积核的数量和大小按照实际需求来设置。

所述神经网络中还可以进一步的包括：归一化层(Normalization层)。所述Normalization层是将不同特征映射之间做归一化操作。

例如，所述图片检测设备利用公式2来将相邻的特征映射进行归一化操作。

$f_{\mathrm{ij}}^k=\frac{f_{\mathrm{ij}}^k}{{(1+\frac{\mathrm{\α}}{N}{\mathrm{\Σ}}_{k^{,}\∈(k-N/2,k+N/2)}{\left(f_{\mathrm{ij}}^{k^{,}}\right)}^2)}^{\mathrm{\β}}}$ 公式2

其中，N,α,β为预设的常数参数。表示第k个特征映射。

表示对相邻特征映射之间进行归一化。

所述全连接通层用于将两所述卷积层中的各个节点(即特征)相互连接。当所述神经网络中包含五个卷积层时，则所述全连接通层对应包含三个。

例如，第一个全连接通层的含有a1*b1个参数，输出为c1个节点(特征)的值。

第二个全连接通层的含有a2*b2个参数，输出为c2个节点(特征)的值。

第三个全连接通层的含有a3*b3个参数，输出为c3个节点(特征)的值。其中，a1>a2>a3，b1>b2>b3，c1>c2>c3。

在所述神经网络中的全连接通层之后设置所述Softmax层设置在所述神经网络中的全连接通层之后。所述图片检测设备利用所述Softmax层来将各特征映射按照图片类型进行分类。由此，所述图片检测设备构建出了基于图片类型的图片检测模型，并执行步骤S3来获取所述图片检测模型所对应的图片检测阈值。

在此，所述图片检测设备的第三装置获取所述图片检测模型所对应的图片检测阈值可以是用于确定待检测的第一图片属于违禁类型或正常类型的概率。该图片检测阈值的方式包括可以预先固定设置，所述图片检测设备仅从预设的存储单元予以提取即可。在所述神经网络中的全连接通层之后设置一个Softmax(软性核函数)层，来确定用于检测出属于违禁类型的图片的图片检测阈值。

优选地，所述图片检测设备利用所述图片检测模型对已标注图片类型的第二图片进行检测，以获得对应的ROC感受性曲线；再根据所述感受性曲线确定所述图片检测模型所对应的图片检测阈值。其中，所述第二图片可以从各训练图片中选取，也可以从图库中另行选取。

所述图片检测设备将已标注图片类型的多个所述第二图片输入所述图片检测模型，以得到对应各图片类型FP(假正类False positive)、FN(假负类false negative)、TP(真正类True positive)、TN(真负类True negative)的概率，并得到相应的感受性曲线，例如，该感受性曲线的横坐标及纵坐标分别对应误判率(例如FP)和准确率(例如TP)。接着，所述图片检测设备根据所述感受性曲线确定所述图片检测模型中FP、FN、TP和/或TN的图片检测阈值。例如，基于本方案所得到的某一感受性曲线，本领域技术人员可以把FP(误判率)控制在2％，从而得到模型的准确率为80％；因此，留给审核人员审核的只有2％的这部分数据，从而大幅降低了审核的工作量。

当用户上传待检测的第一图片时，所述图片检测设备获取所述第一图片，并送入所述图片检测模型以得到所述第一图片对应各图片类型的图片检测信息。其中，所述图片检测信息包括但不限于：所述第一图片对应各图片类型的检测概率等。接着，所述图片检测设备将所得到的图片检测信息与所述图片检测阈值进行比较。

当所述图片检测信息满足TP对应的图片检测阈值，则所述图片检测设备认定所述第一图片的图片类型为正常类型。当所述图片检测信息满足FP对应的图片检测阈值，则所述图片检测设备认定所述第一图片的图片类型为违禁类型。当所述图片检测信息满足TN或FN对应的图片检测阈值，则所述图片检测设备无法确定所述第一图片的图片类型，此时，所述图片检测设备将所述第一图片提供给更其他检测设备或提供给人工处理，以便进行更精准的确定。

当其他检测设备或人工检测完成后，将所述图片检测设备所提供的第一图片的图片类型予以返回时，所述图片检测方法还包括：步骤S5。如图6所示。

在所述步骤S5中，所述图片检测设备根据所述第一图片经再检测所确定的图片类型，调整所述图片检测模型。如图6所示。

具体地，所述图片检测设备将所述第一图片进行预处理以获得相应的训练图片，并输入卷积神经网络继续训练并调整了当前的图片检测模型。在此，该“再检测”操作可以是人工完成的，也可以是其他图片检测应用或工具完成的。本领域技术人员应能理解，通过对于该图片检测模型的输出结果再检测，并根据再检测所获得的图片类型信息来进一步优化该图片检测模型，从而在后续图片检测中可以获得更好的检测准确度。

优选地，为了提高所述图片检测模型的检测精准度，所述图片检测设备还可以根据所述训练图片的数量来调整调整学习率。其中，所述学习率表示梯度下降的速度。例如，初始化的学习率设置为rate1，所述图片检测设备在迭代预设轮次以后，将其改为rate2，以此类推。其中，rate1>rate2。

综上所述，本申请的图片检测方法及设备，利用卷积神经网络建立图片检测模型，再利用所述图片检测模型和图片检测阈值来检测图片的图片类型，能够高效、准确地识别待检测图片的图片类型，有效缩短了图片的审核时间，改善用户的使用体验。

与现有技术相比，本申请的误判率显著降低(如表1所示)。

表1

另外，本申请对所获取的样本图片进行归一化处理，有利于建模时对训练图片的统一处理，实现了使用较少的样本图片的数量来获得足够多的训练图片，提高建模效率。

还有，采用五层卷积层和三层全连通层来进行神经网络训练，能够有效提高图片检测模型的准确性；此外，将未能利用所述图片检测模型检测出图片类型的图片作为训练图片，能够有效调整所述图片检测模型，提高所述图片检测模型今后的识别正确率。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种图片检测方法，包括：

获取已分别标注图片类型的多个训练图片，其中，所述图片类型包括正常类型或违禁类型；

基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

获取所述图片检测模型所对应的图片检测阈值；

利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型。

2.根据权利要求1所述的方法，其中，所述获取所述图片检测模型所对应的图片检测阈值包括：

利用所述图片检测模型对已标注图片类型的第二图片进行检测，以获得对应的感受性曲线；

根据所述感受性曲线确定所述图片检测模型所对应的图片检测阈值。

3.根据权利要求1或2所述的方法，其中，所述利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型包括：

利用所述图片检测模型对第一图片进行检测以获得对应的图片检测信息；

将所述图片检测信息与所述图片检测阈值相比较，以确定第一图片的图片类型。

4.根据权利要求1至3中任一项所述的方法，其中，该方法还包括：

根据所述第一图片经再检测所确定的图片类型，调整所述图片检测模型。

5.根据权利要求1至4中任一项所述的方法，其中，所述获取已分别标注图片类型的多个训练图片包括：

获取已分别标注图片类型的多个样本图片，其中，所述图片类型包括正常类型或违禁类型；

对每个样本图片进行预处理以获得对应的训练图片。

6.根据权利要求5所述的方法，其中，所述对每个样本图片进行预处理以获得对应的训练图片包括：

对每个样本图片进行归一化处理以获得对应的训练图片。

7.根据权利要求6所述的方法，其中，所述归一化处理包括以下至少任一项：

将样本图片缩放至预定分辨率；

对样本图片进行减均值处理。

8.根据权利要求5至7中任一项所述的方法，其中，所述对每个样本图片进行预处理以获得对应的训练图片还包括：

对标注为违禁类型的每个样本图片进行变换扩展以得到多个训练图片。

9.根据权利要求1至8中任一项所述的方法，其中，所述卷积神经网络包括相级联的五个卷积层、三个全连接通层及一个Softmax层。

10.一种图片检测设备，包括：

第一装置，用于获取已分别标注图片类型的多个训练图片，其中，所述图片类型包括正常类型或违禁类型；

第二装置，用于基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

第三装置，用于获取所述图片检测模型所对应的图片检测阈值；

第四装置，用于利用所述图片检测模型及所述图片检测阈值确定第一图片的图片类型。

11.根据权利要求10所述的设备，其中，所述第三装置用于：

利用所述图片检测模型对已标注图片类型的第二图片进行检测，以获得对应的感受性曲线；

根据所述感受性曲线确定所述图片检测模型所对应的图片检测阈值。

12.根据权利要求10或11所述的设备，其中，所述第四装置用于：

利用所述图片检测模型对第一图片进行检测以获得对应的图片检测信息；

将所述图片检测信息与所述图片检测阈值相比较，以确定第一图片的图片类型。

13.根据权利要求10至12中任一项所述的设备，其中，该设备还包括：

第五装置，用于根据所述第一图片经再检测所确定的图片类型，调整所述图片检测模型。

14.根据权利要求10至13中任一项所述的设备，其中，所述第一装置包括：

第一一单元，用于获取已分别标注图片类型的多个样本图片，其中，所述图片类型包括正常类型或违禁类型；

第一二单元，用于对每个样本图片进行预处理以获得对应的训练图片。

15.根据权利要求14所述的设备，其中，所述第一二单元用于：

对每个样本图片进行归一化处理以获得对应的训练图片。

16.根据权利要求15所述的设备，其中，所述归一化处理包括以下至少任一项：

将样本图片缩放至预定分辨率；

对样本图片进行减均值处理。

17.根据权利要求14至16中任一项所述的设备，其中，所述第一二单元还用于：

对标注为违禁类型的每个样本图片进行变换扩展以得到多个训练图片。

18.根据权利要求10至17中任一项所述的设备，其中，所述卷积神经网络包括相级联的五个卷积层、三个全连接通层及一个Softmax层。