CN112396571A - 一种基于注意力机制的EfficientNet敏感图像检测方法及系统 - Google Patents

一种基于注意力机制的EfficientNet敏感图像检测方法及系统 Download PDF

Info

Publication number
CN112396571A
CN112396571A CN202110073846.8A CN202110073846A CN112396571A CN 112396571 A CN112396571 A CN 112396571A CN 202110073846 A CN202110073846 A CN 202110073846A CN 112396571 A CN112396571 A CN 112396571A
Authority
CN
China
Prior art keywords
image
efficientnet
sensitive
feature
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110073846.8A
Other languages
English (en)
Inventor
陈晓莉
和建文
丁一帆
杨世宏
冯国栋
徐云华
林建洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Ponshine Information Technology Co ltd
China Mobile Group Yunnan Co Ltd
Original Assignee
Zhejiang Ponshine Information Technology Co ltd
China Mobile Group Yunnan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Ponshine Information Technology Co ltd, China Mobile Group Yunnan Co Ltd filed Critical Zhejiang Ponshine Information Technology Co ltd
Priority to CN202110073846.8A priority Critical patent/CN112396571A/zh
Publication of CN112396571A publication Critical patent/CN112396571A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于注意力机制的EfficientNet敏感图像检测方法，包括：S1.创建图像数据集；S2.对数据集进行扩充处理，得到扩充后的图像数据集；S3.通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune训练，得到EfficientNet网络结构的参数；S4.将EfficientNet网络结构的参数输入至numpy中，采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型；S5.预设敏感图像数据库，将敏感图像数据库中的图像输入waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库；S6.将待检测的图像输入waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值，若是，则输出待测图像为敏感图像。

Description

一种基于注意力机制的EfficientNet敏感图像检测方法及 系统
技术领域
本发明涉及敏感图像检测技术领域，尤其涉及一种基于注意力机制的EfficientNet敏感图像检测方法及系统。
背景技术
互联网每年新增大量图像，利用神经网络可以对图像进行检测分类，可以用来净化网络环境，保障网络事业的健康发展，以及打击有预谋的网络犯罪活动，为了提高图像分类的准确率，可以从加深网络的深度，扩展宽度来捕获更细粒度的特征，以及增加分辨率等方法来实现，但是这会大大地增加计算力负担。
如公开号为CN107203765A的专利公开了一种敏感图像检测方法和装置，所述方法包括：获取待检测图像；将所述待检测图像输入卷积神经网络模型；获取所述卷积神经网络模型中的卷积层输出的特征图；根据获取的特征图确定候选局部敏感图像位置；根据所述候选局部敏感图像位置，在所述待检测图像中截取候选局部敏感图像；将所述候选局部敏感图像输入所述卷积神经网络模型进行检测，输出所述待检测图像是否为敏感图像的检测结果。本发明提供的敏感图像检测方法和装置，无需构建敏感图像检索库，只要利用卷积神经网络模型对候选局部敏感图像进行检测，在检测到候选局部敏感图像时，即可确定待检测图像为敏感图像，从而提高了检测的准确率。虽然上述专利可以将检测出敏感图像识别，但是其采用的神经网络依然会大大地增加计算力负担。
为了解决此问题，本发明设计了一种基于注意力机制的EfficientNet敏感图像检测方法及系统。经过实验，可以提高了图像训练和检测的速度。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于注意力机制的EfficientNet敏感图像检测方法及系统。
为了实现以上目的，本发明采用以下技术方案：
一种基于注意力机制的EfficientNet敏感图像检测方法，包括步骤：
S1.创建图像数据集；所述图像数据集包括敏感图像、非敏感图像；
S2.对创建的数据集进行扩充处理，得到扩充后的图像数据集；
S3.通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune微调训练，得到训练好的EfficientNet网络结构的参数；
S4.将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型；
S5.预设敏感图像数据库，将预设的敏感图像数据库中的敏感图像输入得到的waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库；
S6.将待检测的图像输入步骤S4中得到的waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值，若是，则输出待测图像为敏感图像。
进一步的，所述步骤S2中对创建的数据集进行扩充处理的处理方式包括翻转、旋转、裁剪、缩放、平移、添加噪声、对比度变换。
进一步的，所述步骤S4具体为：
S41.将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy对扩充后的图像数据集中的图像进行卷积操作，得到图像数据集中图像的特征图；
S42.将得到的特征图输入注意力机制中进行处理，得到waff_EfficientNet网络模型。
进一步的，所述步骤S41中对扩充后的图像数据集中的图像进行卷积操作包括：
A1.将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集，并将经过划分得到的不同子集分别与卷积核点乘，得到经过点乘后的不同子集；
A2.将经过点乘后得到的不同子集与卷积核相乘，得到图像的特征图信息；
A3.将EfficientNet网络结构的参数输入得到的特征图信息中进行处理，得到处理后的特征图。
进一步的，所述步骤A1中将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集是通过numpy的张量分割函数进行划分的；所述将经过划分得到的不同子集分别与卷积核点乘是通过numpy的tensordot函数进行点乘的。
进一步的，所述步骤S42具体为：
S421.将得到的特征图与C个1*1的卷积核进行卷积处理，生成特征图的空间信息；
S422.将生成的特征图的空间信息通过sigmoid函数进行激活，得到激活后的特征图空间信息，即为加入注意力机制处理后的特征图。
进一步的，所述步骤S5与步骤S6中waff_EfficientNet网络模型进行特征处理包括进行特征转换以及归一化处理。
相应的，还提供一种基于注意力机制的EfficientNet敏感图像检测系统，包括：
创建模块，用于创建图像数据集；所述图像数据集包括敏感图像、非敏感图像；
扩充模块，用于对创建的数据集进行扩充处理，得到扩充后的图像数据集；
微调模块，用于通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune微调训练，得到训练好的EfficientNet网络结构的参数；
构建模块，用于将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型；
预设模块，预设敏感图像数据库，将预设的敏感图像数据库中的敏感图像输入得到的waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库；
输出模块，用于将待检测的图像输入得到的waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值。
进一步的，所述构建模块具体为：
卷积模块，用于将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy对扩充后的图像数据集中的图像进行卷积操作，得到图像数据集中图像的特征图；
处理模块，用于将得到的特征图输入注意力机制中进行处理，得到waff_EfficientNet网络模型。
进一步的，所述卷积模块中对扩充后的图像数据集中的图像进行卷积操作包括：
将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集，并将经过划分得到的不同子集分别与卷积核点乘，得到经过点乘后的不同子集；
将经过点乘后得到的不同子集与卷积核相乘，得到图像的特征图信息；
将EfficientNet网络结构的参数输入得到的特征图信息中进行处理，得到处理后的特征图。
与现有技术相比，本发明的目的在于在EfficientNet网络的基础上，加入注意力机制，将原始图片中的空间信息变换到另一个空间中并保留了关键信息，能够找出图片信息中需要被关注的区域，过滤掉噪声信息，减少了卷积计算中的参数，提高了网络检测的准确率，并基于numpy的并行计算功能，利用矩阵乘法实现卷积操作，从而实现完整的EfficientNet网络结构，进一步提高了图像训练和检测的速度。
附图说明
图1是实施例一提供的一种基于注意力机制的EfficientNet敏感图像检测方法流程图；
图2是实施例一提供的训练阶段结构示意图；
图3是实施例一提供的检测阶段结构示意图；
图4是实施例一提供的EfficientNet网络结构示意图；
图5是实施例一提供的空间转换器结构示意图；
图6是实施例三提供的一种基于注意力机制的EfficientNet敏感图像检测系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷，提供了一种基于注意力机制的EfficientNet敏感图像检测方法及系统。
实施例一
本实施例提供一种基于注意力机制的EfficientNet敏感图像检测方法，如图1所示，包括步骤：
S1.创建图像数据集；所述图像数据集包括敏感图像、非敏感图像；
S2.对创建的数据集进行扩充处理，得到扩充后的图像数据集；
S3.通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune微调训练，得到训练好的EfficientNet网络结构的参数；
S4.将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型；
S5.预设敏感图像数据库，将预设的敏感图像数据库中的敏感图像输入得到的waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库；
S6.将待检测的图像输入步骤S4中得到的waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值，若是，则输出待测图像为敏感图像。
本实施例的一种基于注意力机制的EfficientNet敏感图像检测方法包括训练阶段和检测阶段。
训练模块即通过加入注意力机制的EfficientNet对扩充后的训练集进行finetune训练，利用numpy将EfficientNet网络中训练好的参数保存至本地，使用numpy自带的一个将张量分割函数（as_strided）来实现卷积操作，用numpy的另一个函数tensordot作张量的点乘操作，可以实现卷积操作的并行计算功能，通过numpy来实现EfficientNet结构里的卷积层，全连接层功能来构建EfficientNet模型，并将之前保存在本地的模型参数并复制到EfficientNet网络，得到numpy实现的基于注意力机制的EfficientNet网络，即waff_EfficientNet。如图2所示，
检测模块即利用waff_EfficientNet作为backbone网络，对所有敏感图像库中图像进行特征转换，并对每个特征进行归一化，组成一个敏感图像特征库A，当待检测图像X的归一化后的特征数据与A中的特征数据的欧氏距离小于定义的阈值时，被标记为敏感图像并输出。如图3所示。
本实施例的步骤S1-S4为训练阶段，步骤S5-S6为检测阶段。
在步骤S1中，创建图像数据集；其中图像数据集包括敏感图像、非敏感图像。
首先通过爬虫等工具获取网络中的存在的图片，然后将获取的图片进行组合生成图像数据集；其中网络中存在的图片大致可以分为20个大类，敏感图像占4类，其余类别为非敏感图像；其中敏感图像比如色情图像、血腥图像、暴力图像等等。
在步骤S2中，对创建的数据集进行扩充处理，得到扩充后的图像数据集。
将从网页上获取的图像组成一个数据集后，为了提高训练的精确度，对组成的数据集进行扩充，得到一个数据更多的数据集；其中扩充的方法包括对获取的图像通过翻转、旋转、裁剪、缩放、平移、添加噪声、对比度变换等中的一种或多种手段进行处理。
在步骤S3中，通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune微调训练，得到训练好的EfficientNet网络结构的参数，并将得到的EfficientNet网络结构的参数保存到本地文件。
对扩充后的图像数据集进行finetune微调训练，具体包括：
计算数据集中的均值文件，修改EfficientNet网络结构最后一层的输出类别，并且需要加快最后一层的参数学习速率，调整配置参数，通常学习速率和步长，迭代次数都要适当减少，启动训练，得到训练好的EfficientNet网络结构的参数。
在步骤S4中，将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型。
本实施例采用的EfficientNet网络结构区别于传统的神经网络，EfficientNet目的在于找到一个同时兼顾速度与精度的模型复合缩放方法，通过grid search同时搜索缩放三个维度：网络深度d，网络宽度w以及图像分辨率r来搜索一个得到可以平衡精度以及计算速度的（d,w,r）组合(传统的神经网络通常只改变其中一个维度来获得更好的精度)，其中：
Depth:d=αφ
Width:w=βφ
Resolution: r= γϕ
S.t.α∙β2∙γ2= 2
经过大量的搜索，最终得到的最优解为α= 1.2，β = 1.1，γ =1.15。并且使用不同的混合系数 ϕ 来放大初代网络得到不同的EfficientNet-B0 ~EfficientNet-B7, 结合硬件条件，本实施例使用EfficientNet-B0替代传统ResNet -50，网络结构如图4所示。
本实施例中加入注意力机制的EfficientNet能够减少计算量进一步减少时间消耗，提高准确率。
步骤S4具体包括：
S41.将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy对扩充后的图像数据集中的图像进行卷积操作，得到图像数据集中图像的特征图；
对扩充后的图像数据集中的图像进行卷积操作会进行多层卷及处理，每层卷积处理的方法类似，只是输入的图像尺寸不同而已。
本实施例以其中一层卷积（单卷积核单通道卷积）为例进行说明。包括以下内容：
A1.将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集，并将经过划分得到的不同子集分别与卷积核点乘，得到经过点乘后的不同子集；
卷积计算的输入从二维的矩阵到四维张量，以及卷积核从二维矩阵到四维矩阵都对应不同大小的输出，x为待检测图像的特征，也是输入，k是卷积核，a是卷积的结果，即特征图（feature map），假设输入和卷积核都是矩阵，步长为1，本实施例通过以下数据为例进行说明：
Figure 83812DEST_PATH_IMAGE001
Figure 931420DEST_PATH_IMAGE002
Figure 900513DEST_PATH_IMAGE003
卷积的过程就是，将输入划分成若干个与卷积核相同大小的不同子集，再分别与卷积核点乘。得到输入的4个子集，表示为：
Figure 462076DEST_PATH_IMAGE004
Figure 465804DEST_PATH_IMAGE005
其中，将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集是通过numpy的张量分割函数进行划分的；将经过划分得到的不同子集分别与卷积核点乘是通过numpy的tensordot函数进行点乘的。
A2.将经过点乘后得到的不同子集与卷积核相乘，得到图像的特征图信息；
将A1中得到的4个子集展开，变成一个行向量，表示为：
x(1) =[x11 x12 x13 x21 x22 x23 x31 x32 x33 ]
x(2) =[x12 x13 x14 x22 x23 x24 x32 x33 x34 ]
x(3) =[x21 x22 x23 x31 x32 x33 x41 x42 x43 ]
x(4) =[x22 x23 x24 x32 x33 x34 x42 x43 x44 ]
然后变成行向量的4个子集并在一起得到一个矩阵，表示为：
Figure 782516DEST_PATH_IMAGE006
同样的，将卷积核展开成列向量，表示为：
K=[k1,1 k1,2 k1,3 k2,1 k2,2 k2,3 k3,1 k3,2 k3,3]T
然后将X、K相乘，得到：
Figure 114271DEST_PATH_IMAGE007
最后将A变形，就得到了卷积的结果：
Figure 869738DEST_PATH_IMAGE008
以上，就是输入和卷积核都是矩阵时的情况，用公式总结为：
Figure 570715DEST_PATH_IMAGE009
其中，kH、kW分别表示卷积核的宽和高。
A3.将EfficientNet网络结构的参数输入得到的特征图信息中进行处理，得到处理后的特征图。
设EfficientNet网络结构的参数为w、b，则得到处理后的特征图
Figure 386224DEST_PATH_IMAGE010
是通过下述公 式得到，公式表示为：
Figure 2014DEST_PATH_IMAGE011
上述步骤A1-A3即为单卷积核单通道卷积；当进行多卷积核多通道处理时（多层卷积）就是将上述单卷积核单通道卷积的处理过程执行多遍，然后把结果进行累加，则得到最终的图像特征图。
S42.将得到的特征图输入注意力机制中进行处理，得到waff_EfficientNet网络模型。
空间区域注意力可以理解为让神经网络在看哪里。通过注意力机制，将上一步骤 卷积后得到的处理后的特征图
Figure 436537DEST_PATH_IMAGE010
变换到另一个空间中并保留了关键信息，具体结构如图5 所示。
图5中下层的链路为原始神经网络结构中的convolution层，attentionmechanism 为并行链路，左侧模块为原始输入经过convolution的输出。
步骤S42具体包括：
S421.将得到的特征图与C个1*1的卷积核进行卷积处理，生成特征图的空间信息；
上一步骤得到的处理后的特征图
Figure 149278DEST_PATH_IMAGE010
，
Figure 479896DEST_PATH_IMAGE010
通过与C个1*1的卷积核卷积生成( H*W*C)的 spatial空间信息S 1，其中H表示特征图
Figure 910878DEST_PATH_IMAGE010
的高，W表示特征图
Figure 382048DEST_PATH_IMAGE010
的宽。
S422.将生成的特征图的空间信息通过sigmoid函数进行激活，得到激活后的特征图空间信息，即为加入注意力机制处理后的特征图
对S 1进行sigmoid函数激活得到
Figure 886979DEST_PATH_IMAGE012
，最终通过注意力机制后的输出
Figure 778711DEST_PATH_IMAGE013
=
Figure 306776DEST_PATH_IMAGE010
*
Figure 207736DEST_PATH_IMAGE012
，得到 的
Figure 504856DEST_PATH_IMAGE013
即为加入注意力机制后得到的特征图。
本实施例按照基于注意力机制的EfficientNet网络的结构，用numpy的张量分割函数（as_strided）来实现卷积操作，用numpy的tensordot函数作张量的点乘操作，实现了基于注意力机制的EfficientNet网络的卷积操作的并行计算功能，构建waff_EfficientNet网络。
在步骤S5中，预设敏感图像数据库，将预设的敏感图像数据库中的敏感图像输入得到的waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库。
首先需要预设一个敏感图像的数据库，该数据库可以是由步骤S1及步骤S2扩充后的敏感图像形成的数据库，也可以是重新在网络上抓取图像，然后通过筛选得到的敏感图像组成的数据库。对于敏感数据库的形成本实施例不做限定。
将创建的敏感图像数据库中的每个图像均输入至步骤S4中建立waff_ EfficientNet网络模型中进行处理，其处理方式包括通过卷积的方式得到特征图，再将特 征图输入至注意力机制中进行处理（其方式与步骤S4中类似），然后在进行转换得到转换后 的特征图，在对每个经过转换后的特征图
Figure 3708DEST_PATH_IMAGE014
进行归一化，组成一个敏 感图像特征库B。
在步骤S6中，将待检测的图像输入步骤S4中得到的waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值，若是，则输出待测图像为敏感图像。
将待检测的图像同样输入至步骤S4中建立waff_EfficientNet网络模型中进行处 理，其处理方式与步骤S5类似，在此不多做赘述，经过处理后得到归一化的特征
Figure 143703DEST_PATH_IMAGE015
，比较X与B库中各数据特征的欧氏距离，当且仅当待检测的图像 特征与敏感图像特征库B中任一图像特征的欧式距离小于某阈值时，该待检测的图像则会 被标记为敏感图像，并将标记的敏感图像输出。
与现有技术相比，本实施例的目的在于在EfficientNet网络的基础上，加入注意力机制，将原始图片中的空间信息变换到另一个空间中并保留了关键信息，能够找出图片信息中需要被关注的区域，过滤掉噪声信息，减少了卷积计算中的参数，提高了网络检测的准确率，并基于numpy的并行计算功能，利用矩阵乘法实现卷积操作，从而实现完整的EfficientNet网络结构，进一步提高了图像训练和检测的速度。
实施例二
本实施例提供的一种基于注意力机制的EfficientNet敏感图像检测方法与实施例一的不同之处在于：
本实施例将本发明中的方法与现有技术中的方法通过实验进行对比。
本发明构建的waff_EfficientNet网络，分别与基于EfficientNet方法和基于EfficientNet+注意力机制的方法在检测时间和准确率上进行比较，如表1所示为检测时间和准确率的比较。
Figure 723720DEST_PATH_IMAGE016
表1
根据表1中的内容可得，当使用CPU时，本方法检测时间为0.5s，当使用GPU时，BatchSzie为64进行检测时，所需要的检测时间为0.2s，且Top-5准确率达94.4%，比其他两种方法相比，能够实现更加快速和精准的检测。
实施例三
本实施例提供一种基于注意力机制的EfficientNet敏感图像检测系统，如图6所示，包括：
创建模块11，用于创建图像数据集；所述图像数据集包括敏感图像、非敏感图像；
扩充模块12，用于对创建的数据集进行扩充处理，得到扩充后的图像数据集；
微调模块13，用于通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune微调训练，得到训练好的EfficientNet网络结构的参数；
构建模块14，用于将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型；
预设模块15，预设敏感图像数据库，将预设的敏感图像数据库中的敏感图像输入得到的waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库；
输出模块16，用于将待检测的图像输入得到的waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值。
进一步的，所述构建模块14具体为：
卷积模块，用于将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy对扩充后的图像数据集中的图像进行卷积操作，得到图像数据集中图像的特征图；
处理模块，用于将得到的特征图输入注意力机制中进行处理，得到waff_EfficientNet网络模型。
进一步的，所述卷积模块中对扩充后的图像数据集中的图像进行卷积操作包括：
将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集，并将经过划分得到的不同子集分别与卷积核点乘，得到经过点乘后的不同子集；
将经过点乘后得到的不同子集与卷积核相乘，得到图像的特征图信息；
将EfficientNet网络结构的参数输入得到的特征图信息中进行处理，得到处理后的特征图。
需要说明的是，本实施例提供的一种基于注意力机制的EfficientNet敏感图像检测系统与实施例一类似，在此不多做赘述。
与现有技术相比，本实施例的目的在于在EfficientNet网络的基础上，加入注意力机制，将原始图片中的空间信息变换到另一个空间中并保留了关键信息，能够找出图片信息中需要被关注的区域，过滤掉噪声信息，减少了卷积计算中的参数，提高了网络检测的准确率，并基于numpy的并行计算功能，利用矩阵乘法实现卷积操作，从而实现完整的EfficientNet网络结构，进一步提高了图像训练和检测的速度。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于注意力机制的EfficientNet敏感图像检测方法，其特征在于，包括步骤：
S1.创建图像数据集；所述图像数据集包括敏感图像、非敏感图像；
S2.对创建的数据集进行扩充处理，得到扩充后的图像数据集；
S3.通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune微调训练，得到训练好的EfficientNet网络结构的参数；
S4.将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型；
S5.预设敏感图像数据库，将预设的敏感图像数据库中的敏感图像输入得到的waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库；
S6.将待检测的图像输入步骤S4中得到的waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值，若是，则输出待测图像为敏感图像。
2.根据权利要求1所述的一种基于注意力机制的EfficientNet敏感图像检测方法，其特征在于，所述步骤S2中对创建的数据集进行扩充处理的处理方式包括翻转、旋转、裁剪、缩放、平移、添加噪声、对比度变换。
3.根据权利要求1所述的一种基于注意力机制的EfficientNet敏感图像检测方法，其特征在于，所述步骤S4具体为：
S41.将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy对扩充后的图像数据集中的图像进行卷积操作，得到图像数据集中图像的特征图；
S42.将得到的特征图输入注意力机制中进行处理，得到waff_EfficientNet网络模型。
4.根据权利要求3所述的一种基于注意力机制的EfficientNet敏感图像检测方法，其特征在于，所述步骤S41中对扩充后的图像数据集中的图像进行卷积操作包括：
A1.将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集，并将经过划分得到的不同子集分别与卷积核点乘，得到经过点乘后的不同子集；
A2.将经过点乘后得到的不同子集与卷积核相乘，得到图像的特征图信息；
A3.将EfficientNet网络结构的参数输入得到的特征图信息中进行处理，得到处理后的特征图。
5.根据权利要求4所述的一种基于注意力机制的EfficientNet敏感图像检测方法，其特征在于，所述步骤A1中将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集是通过numpy的张量分割函数进行划分的；所述将经过划分得到的不同子集分别与卷积核点乘是通过numpy的tensordot函数进行点乘的。
6.根据权利要求3所述的一种基于注意力机制的EfficientNet敏感图像检测方法，其特征在于，所述步骤S42具体为：
S421.将得到的特征图与C个1*1的卷积核进行卷积处理，生成特征图的空间信息；
S422.将生成的特征图的空间信息通过sigmoid函数进行激活，得到激活后的特征图空间信息，即为加入注意力机制处理后的特征图。
7.根据权利要求1所述的一种基于注意力机制的EfficientNet敏感图像检测方法，其特征在于，所述步骤S5与步骤S6中waff_EfficientNet网络模型进行特征处理包括进行特征转换以及归一化处理。
8.一种基于注意力机制的EfficientNet敏感图像检测系统，其特征在于，包括：
创建模块，用于创建图像数据集；所述图像数据集包括敏感图像、非敏感图像；
扩充模块，用于对创建的数据集进行扩充处理，得到扩充后的图像数据集；
微调模块，用于通过基于注意力机制的EfficientNet网络结构对扩充后的图像数据集进行finetune微调训练，得到训练好的EfficientNet网络结构的参数；
构建模块，用于将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy构建基于注意力机制的EfficientNet网络模型，得到waff_EfficientNet网络模型；
预设模块，预设敏感图像数据库，将预设的敏感图像数据库中的敏感图像输入得到的waff_EfficientNet网络模型进行特征处理，得到敏感图像特征数据库；
输出模块，用于将待检测的图像输入得到的waff_EfficientNet网络模型进行特征处理，得到转换后的特征图像，计算转换后的特征图像与敏感图像特征数据库中的敏感图像的欧氏距离，并判断是否存在欧氏距离小于预设阈值。
9.根据权利要求8所述的一种基于注意力机制的EfficientNet敏感图像检测系统，其特征在于，所述构建模块具体为：
卷积模块，用于将得到的EfficientNet网络结构的参数输入至numpy中，并采用numpy对扩充后的图像数据集中的图像进行卷积操作，得到图像数据集中图像的特征图；
处理模块，用于将得到的特征图输入注意力机制中进行处理，得到waff_EfficientNet网络模型。
10.根据权利要求9所述的一种基于注意力机制的EfficientNet敏感图像检测系统，其特征在于，所述卷积模块中对扩充后的图像数据集中的图像进行卷积操作包括：
将扩充后的图像数据集中的图像划分成若干个与卷积核相同大小的不同子集，并将经过划分得到的不同子集分别与卷积核点乘，得到经过点乘后的不同子集；
将经过点乘后得到的不同子集与卷积核相乘，得到图像的特征图信息；
将EfficientNet网络结构的参数输入得到的特征图信息中进行处理，得到处理后的特征图。
CN202110073846.8A 2021-01-20 2021-01-20 一种基于注意力机制的EfficientNet敏感图像检测方法及系统 Pending CN112396571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110073846.8A CN112396571A (zh) 2021-01-20 2021-01-20 一种基于注意力机制的EfficientNet敏感图像检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110073846.8A CN112396571A (zh) 2021-01-20 2021-01-20 一种基于注意力机制的EfficientNet敏感图像检测方法及系统

Publications (1)

Publication Number Publication Date
CN112396571A true CN112396571A (zh) 2021-02-23

Family

ID=74625419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110073846.8A Pending CN112396571A (zh) 2021-01-20 2021-01-20 一种基于注意力机制的EfficientNet敏感图像检测方法及系统

Country Status (1)

Country Link
CN (1) CN112396571A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116707918A (zh) * 2023-06-14 2023-09-05 福建师范大学 基于CBAM- EfficientNet异常检测的网络安全态势评估方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203765A (zh) * 2017-03-30 2017-09-26 腾讯科技（上海）有限公司 敏感图像检测方法和装置
CN110414581A (zh) * 2019-07-19 2019-11-05 腾讯科技（深圳）有限公司 图片检测方法和装置、存储介质及电子装置
CN111062297A (zh) * 2019-12-11 2020-04-24 青岛科技大学 基于eann深度学习模型的暴力异常行为检测方法
CN111522987A (zh) * 2020-04-24 2020-08-11 腾讯科技（深圳）有限公司 一种图像审核方法、设备及计算机可读存储介质
CN112131978A (zh) * 2020-09-09 2020-12-25 腾讯科技（深圳）有限公司 一种视频分类方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203765A (zh) * 2017-03-30 2017-09-26 腾讯科技（上海）有限公司 敏感图像检测方法和装置
CN110414581A (zh) * 2019-07-19 2019-11-05 腾讯科技（深圳）有限公司 图片检测方法和装置、存储介质及电子装置
CN111062297A (zh) * 2019-12-11 2020-04-24 青岛科技大学 基于eann深度学习模型的暴力异常行为检测方法
CN111522987A (zh) * 2020-04-24 2020-08-11 腾讯科技（深圳）有限公司 一种图像审核方法、设备及计算机可读存储介质
CN112131978A (zh) * 2020-09-09 2020-12-25 腾讯科技（深圳）有限公司 一种视频分类方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张子振等: "融合注意力机制和高效网络的糖尿病视网膜病变识别与分类", 《中国图象图形学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116707918A (zh) * 2023-06-14 2023-09-05 福建师范大学 基于CBAM- EfficientNet异常检测的网络安全态势评估方法

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
Li et al. Recurrent feedback convolutional neural network for hyperspectral image classification
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN110443805B (zh) 一种基于像素密切度的语义分割方法
JP2023545565A (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
US6594392B2 (en) Pattern recognition based on piecewise linear probability density function
CN113177549B (zh) 一种基于动态原型特征融合的少样本目标检测方法及系统
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
WO2023206944A1 (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN110602120B (zh) 一种面向网络的入侵数据检测方法
CN111899203B (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
US11893497B2 (en) Method and apparatus for acquiring feature data from low-bit image
CN113222998B (zh) 基于自监督低秩网络的半监督图像语义分割方法及装置
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Papakostas et al. A unified methodology for the efficient computation of discrete orthogonal image moments
CN112396571A (zh) 一种基于注意力机制的EfficientNet敏感图像检测方法及系统
CN114519383A (zh) 一种图像目标检测方法及系统
WO2022021624A1 (zh) 模型确定方法及相关装置、终端、计算机可读存储介质、计算机程序产品
Akbari et al. Hierarchical deep learning approach using fusion layer for Source Camera Model Identification based on video taken by smartphone
CN116403237A (zh) 一种基于关联信息与注意力机制的遮挡行人重识别方法
CN116229551A (zh) 一种人脸细粒度特征差异性学习的人脸防欺骗方法与系统
JP2022064808A (ja) 画像認識方法および画像認識システム
CN112529081A (zh) 基于高效注意力校准的实时语义分割方法
Wang et al. MDM-CPS: A few-shot sample approach for source camera identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210223