CN111860545A - 一种基于弱检测机制的图像敏感内容识别方法及系统 - Google Patents

一种基于弱检测机制的图像敏感内容识别方法及系统 Download PDF

Info

Publication number
CN111860545A
CN111860545A CN202010751825.2A CN202010751825A CN111860545A CN 111860545 A CN111860545 A CN 111860545A CN 202010751825 A CN202010751825 A CN 202010751825A CN 111860545 A CN111860545 A CN 111860545A
Authority
CN
China
Prior art keywords
weak detection
image
sensitive content
branch network
weak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010751825.2A
Other languages
English (en)
Other versions
CN111860545B (zh
Inventor
凌贺飞
曾豪
黄昌喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuanshen Technology Hangzhou Co Ltd
Original Assignee
Yuanshen Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanshen Technology Hangzhou Co Ltd filed Critical Yuanshen Technology Hangzhou Co Ltd
Priority to CN202010751825.2A priority Critical patent/CN111860545B/zh
Publication of CN111860545A publication Critical patent/CN111860545A/zh
Application granted granted Critical
Publication of CN111860545B publication Critical patent/CN111860545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于弱检测机制的图像敏感内容识别方法及系统，包括：构建弱检测模型，其包括主干分支网络和弱检测分支网络；主干分支网络从全局的角度对输入图像进行特征提取和粗粒度分类；弱检测分支网络关注局部的区域，以辅助弱检测模型查找输入图像中潜在敏感内容；弱检测模型用于检测输入图像中的敏感内容；基于预先采集的图像数据集对弱检测模型进行训练，以保证弱检测模型检测图像中敏感内容的准确率；图像数据库中有包含敏感内容的图像和不包含敏感内容的图像；基于训练好的弱检测模型对输入图像进行识别，检测输入图像中的敏感内容。本发明从损失函数和训练策略两方面进行改进，使弱检测摆脱了对训练数据的依赖，提高了检测准确率。

Description

一种基于弱检测机制的图像敏感内容识别方法及系统
技术领域
本发明属于计算机视觉与模式识别领域，更具体地，涉及一种基于弱检测机制的图像敏感内容识别方法及系统。
背景技术
随着Internet的快速发展和智能手机用户的增长，人们可以轻易访问各类网站、APP，交换和分享各种信息，上传下载图像、视频等等，这为我们的生活和娱乐提供了巨大的便利。但是，在海量的互联网数据中，色情图片的传播危害重大，因此，及时的发现并阻断互联网上的敏感内容传播对于个人身心健康发展、和谐社会建设、净化网络空间、建设安全合法的互联网环境具有重要的意义。
互联网上的数据量增长是指数级的，依靠人工审核已经难以满足企业的发展，除了需要消耗大量的人力，人工审核还具有审核速度慢、容易出现人为纰漏的缺点。因此，急需一种自动化的识别算法来解决这一难题。得益于深度学习的兴起以及硬件计算能力的提升，基于卷积神经网络的图像识别算法为敏感内容识别提供了一种解决方案。基于卷积神经网络的图像识别算法在诸如ImageNet任务上取得了非常棒的效果，以大量数据驱动模型的学习，然后以图片作为输入，以类别作为输出，通过一种端到端的方式进行识别，大大降低了手工算法设计的复杂性，提升识别的准确性。目前研究者们提出了很多基于卷积神经网络的敏感图像识别算法，并且其中有部分已经被应用到互联网公司的业务场景中，如直播中的图像审核、短视频的内容审核等，这些算法大大提高了业务中的审核效率和准确率，减少了人力物力，节约了成本。
尽管如此，图像识别任务仍然存在许多挑战，需要通过更好的方法解决，这些挑战主要来自两个方面：(1)敏感图片的复杂性与多样性。通常，一张图像如果包含特定的私密部位，就可以视为色情。但是，这些部位出现在图片中的方式通常非常不同。例如，相同的部位会根据姿势的不同而有呈现出巨大的差异，并且在某些情况下，裸露不会被视为色情的，例如游泳，拳击和一些婴儿的照片。因此，要解决图像复杂性问题，必须要求识别模型具有很强的鲁棒性，因此传统图像识别算法中基于颜色、纹理等的方法显然不能满足此类要求，因为它们仅使用图像的较低级的特征。另外，这些方法需要大量的人工经验，对于简单样本进行识别，但对复杂的图像却无能为力。相比之下，近年来出现了更健壮的基于卷积神经网络(Convolutional neural network，CNN)的方法，但仅使用CNN进行识别仍然存在挑战。(2)色情的局部分布特性。局部分布特性是指许多色情图像的敏感部位分布在图像的局部区域，仅占据原始图像较小的比例。如果从整体观察这些图像，它们可能与正常图像非常相似。这一特性要求本发明采用的方法能够检测图像的局部区域，这对于一般的CNN模型来讲仍然存在挑战。一些研究人员也认识到了这一难点并且尝试提出了一些解决方案，现有的一些方法也考虑了局部和全局信息。但是他们都存在缺陷：除了图像标签外，还需要大量的手工标注关键部位信息，而算法难以大规模的应用和扩展，另外除了需要精细标注外，在训练和推理时效率也非常低下。
基于以上分析，设计一种鲁棒性强、识别准确率高、识别效率高并且能够兼顾全局和局部信息的神经网络模型具有巨大的挑战性。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于弱检测机制的图像敏感内容识别方法及系统，旨在解决现有敏感图像识别鲁棒性低、识别准确率低、识别效率低并且不能够兼顾全局和局部信息的问题。
为实现上述目的，第一方面，本发明提供了一种基于弱检测机制的图像敏感内容识别方法，包括以下步骤：
构建弱检测模型，其包括主干分支网络和弱检测分支网络；所述主干分支网络从全局的角度对输入图像进行特征提取和粗粒度分类；所述弱检测分支网络关注输入图像局部的区域，以辅助弱检测模型查找输入图像中潜在敏感内容；所述弱检测模型用于检测输入图像中的敏感内容，所述敏感内容指的是带有色情暗示的内容；
基于预先采集的图像数据集对所述弱检测模型进行训练，以保证所述弱检测模型检测图像中敏感内容的准确率；所述图像数据库中有包含敏感内容的图像和不包含敏感内容的图像；
基于训练好的弱检测模型对输入图像进行识别，检测输入图像中的敏感内容。
具体地，带有色情暗示的部位指的是特定的私密部位，若图片中含有特定的私密部位就可以视为色情。但是，这些部位出现在图片中的方式通常非常不同。例如，相同的部位会根据姿势的不同而有呈现出巨大的差异，并且在某些情况下，裸露不会被视为色情的，例如游泳，拳击和一些婴儿的照片。因此需要在图像数据集中包含不同的样本图像，以使得弱检测模型的检测效果达到最佳。
可以理解的是，若图像中含有敏感内容或者敏感部位，即带色情暗示的内容或部位，则该图像可视为敏感图像或者色情图像。其中，图像也可称为图片，二者为一个意思。
在一个可选的实施例中，所述弱检测分支网络包括至少一个弱检测模块；
所述弱检测模块包括：特征聚集层、激活层以及分类层；所述弱检测模块采用卷积形式的滑动窗口对输入图像的局部区域进行检测，在对局部区域训练和预测时，仅预测局部区域的类别信息不预测局部区域的位置信息，以摆脱对目标框的依赖。
在一个可选的实施例中，所述主干分支网络使用ResNet体系结构；所述主干分支网络和弱检测分支网络分支共享底部的卷积层。
在一个可选的实施例中，将所述弱检测模块的训练问题转化为基于多实例学习的分类问题，所述基于多实例学习的弱检测模块的损失函数基于以下两个方面确定：对于图像数据集中的第m张图像：1)如果其标签为正常，则该图像中的N个实例均正常，并且敏感置信度最高的实例块可以看作是该图片中最难区分的部位；2)如果其标签为敏感，则其必须至少有一个包含敏感内容的实例块，并且N个实例块中得分最高的块最有可能是敏感内容；
所述弱检测模型的损失函数等于主干分支网络的损失函数与弱检测分支网络的损失函数之和；
所述弱检测分支网络的损失函数等于其包括的每个弱检测模块损失函数的加权。
在一个可选的实施例中，对所述弱检测模型的训练过程具体为：主干分支网络首先使用ImageNet对预训练的参数初始化，弱检测分支网络的参数采用默认的初始化，为了防止弱检测分支网络收敛到局部最优，先将每个弱检测模块在一个简单的数据集上训练一轮；所述简单的数据集是指具有单一的背景，且包含较大敏感区域和明显特征的图像集。
在一个可选的实施例中，所述弱检测模型可以在主干分支网络的低阶段输出特征图以拥有更小的感受野，使得弱检测模型能够找到更小区域的敏感内容；还可以在主干分支网络的高阶段输出特征图以拥有更大的感受野，使得弱检测模型能够找到更大区域的敏感内容。
第二方面，本发明提供了一种基于弱检测机制的图像敏感内容识别系统，包括：
模型构建单元，用于构建弱检测模型，其包括主干分支网络和弱检测分支网络；所述主干分支网络从全局的角度对输入图像进行特征提取和粗粒度分类；所述弱检测分支网络关注输入图像局部的区域，以辅助弱检测模型查找输入图像中潜在敏感内容；所述弱检测模型用于检测输入图像中的敏感内容，所述敏感内容指的是带有色情暗示的内容；
模型训练单元，用于基于预先采集的图像数据集对所述弱检测模型进行训练，以保证所述弱检测模型检测图像中敏感内容的准确率；所述图像数据库中有包含敏感内容的图像和不包含敏感内容的图像；
敏感图像识别单元，用于基于训练好的弱检测模型对输入图像进行识别，检测输入图像中的敏感内容。
在一个可选的实施例中，所述模型构建单元构建的弱检测分支网络包括至少一个弱检测模块；所述弱检测模块包括：特征聚集层、激活层以及分类层；所述弱检测模块采用卷积形式的滑动窗口对输入图像的局部区域进行检测，在对局部区域训练和预测时，仅预测局部区域的类别信息不预测局部区域的位置信息，以摆脱对目标框的依赖。
在一个可选的实施例中，所述模型训练单元对所述弱检测模型的训练过程具体为：主干分支网络首先使用ImageNet对预训练的参数初始化，弱检测分支网络的参数采用默认的初始化，为了防止弱检测分支网络收敛到局部最优，先将每个弱检测模块在一个简单的数据集上训练一轮；所述简单的数据集是指具有单一的背景，且包含较大敏感区域和明显特征的图像集。
在一个可选的实施例中，所述模型构建单元构建的弱检测模型可以在主干分支网络的低阶段输出特征图以拥有更小的感受野，使得弱检测模型能够找到更小区域的敏感内容；还可以在主干分支网络的高阶段输出特征图以拥有更大的感受野，使得弱检测模型能够找到更大区域的敏感内容。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
(1)本发明提供一种基于弱检测机制的图像敏感内容识别方法及系统，将目标检测引入了敏感图像识别中，所提出的模型结合了目标检测算法的局部检测机制以及基于多实例学习的模型训练策略，达到了同时对图像全局和局部进行识别的目的，并且通过改进检测分支使得网络不需要目标框的标注就能够完成训练和预测，通过这种方式，模型在兼顾全局和局部信息的同时，也能够保证识别的效率，因为本模型引入的弱检测分支仅仅增加了极少量的参数。
(2)本发明提供一种基于弱检测机制的图像敏感内容识别方法及系统，通过改进目标检测结构，创新性的提出了弱检测结构分支，并将其用于对局部图像进行识别，并且本发明从损失函数和训练策略两方面进行改进，使弱检测摆脱了对训练数据的依赖，使得模型能够更方便的进行训练和部署。
(3)本发明提供一种基于弱检测机制的图像敏感内容识别方法及系统，所提出的模型基于卷积神经网络，采用端到端的设计，大大简化了图像敏感内容识别的流程，从图片输入到结果输出一步到位，并且和传统的识别方式相比，基于卷积神经网络的模型具有更好的鲁棒性，能更好的处理光照、角度和姿势等的变化。
(4)本发明提供一种基于弱检测机制的图像敏感内容识别方法及系统，通过多尺度的特征实现更全面的识别，对图像进行多个尺度、多种大小比例的局部区域识别，大大提升网络对难例样本的查全率，从而能大大提升识别准确率。
(5)本发明提供一种基于弱检测机制的图像敏感内容识别方法及系统，提出的结构相对简单，训练容易，性能非常好，结构较为简单，仅需要图像级别的标签就可以训练，因此适合应用在业务系统中。
附图说明
图1是本发明提供的基于弱检测机制的图像敏感内容检测方法流程图；
图2是本发明中的弱检测模型的整体框架图；
图3是本发明中的三种弱检测模型的结构对比图；
图4是本发明提供的基于弱检测机制的图像敏感内容检测系统架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对色情图像识别中存在的复杂性与多样性问题以及色情部位的局部分布问题，本发明提出一种基于弱检测机制的色情图像识别方法，该方法通过结合基于卷积神经网络的目标检测方法和图像识别方法，利用经过修改的弱检测分支进行局部的色情部位的检测与识别，再利用图像识别方法进行全局的识别，通过结合全局和局部的识别结果完成高精度的色情图像识别，并且使得网络训练摆脱了对目标框标注的依赖问题，实现了网络的高识别率、高鲁棒性以及训练和部署的便捷性。
本发明将基于现有的研究成果和结论，针对敏感图像识别任务的特点和难点，提出一种基于弱检测机制的色情图像识别方法，取得比现有方法更先进的效果。本发明介绍了一种基于弱检测机制的敏感图像识别算法。该算法通过弱检测机制解决敏感图像的局部分布问题。弱检测机制以受启发与目标检测，然后通过多实例学习解决了检测模型训练时的数据标注依赖问题，为解决弱检测模型的训练问题，提出了一种新的损失函数和训练策略。然后，本发明进行了充分大量的实验，模型结构对比实验，模块有效性实验，结果可视化实验并与现有的先进方法进行了比较。所有结果表明，本发明在敏感图像识别任务上表现出了优秀的性能，超过了大部分现有的先进算法。此外，本发明中的模型性能非常好，结构较为简单，仅需要图像级别的标签就可以训练，因此适合应用在业务系统中。
图1是本发明提供的基于弱检测机制的图像敏感内容检测方法流程图，如图1所示，包括如下步骤：
S110，构建弱检测模型，其包括主干分支网络和弱检测分支网络；所述主干分支网络从全局的角度对输入图像进行特征提取和粗粒度分类；所述弱检测分支网络关注输入图像局部的区域，以辅助弱检测模型查找输入图像中潜在敏感内容；所述弱检测模型用于检测输入图像中的敏感内容，所述敏感内容指的是带有色情暗示的内容；
S120，基于预先采集的图像数据集对所述弱检测模型进行训练，以保证所述弱检测模型检测图像中敏感内容的准确率；所述图像数据库中有包含敏感内容的图像和不包含敏感内容的图像；
S130，基于训练好的弱检测模型对输入图像进行识别，检测输入图像中的敏感内容。
在一个示例中，为了实现上述目的，本发明所述方法包括下述几种步骤：
1、色情图像数据集构建：
色情图像数据集主要包括两个类别：色情图像和正常图像。对于色情图像，我们采用从互联网主要是相关开源项目中获取相关图像，并着重添加一些复杂困难样本如海报等；对于正常图像主要采用从互联网获取以及从公开通用数据集中采集，着重增加游泳、比基尼等困难样本，从而提升模型的鲁棒性。
2、弱检测网络模型的构建：
(2.1)选择基干网络：本发明方法将采用ResNet-50作为弱检测模型的基干网络。并且基于步骤一种构建的色情图像数据集，采用通用图像分类网络的训练策略对基准网络进行初步的训练，实现对图像的整体识别能力。
(2.2)弱检测模块的设计与实现：为了有效解决现有网络对局部区域识别能力不足的问题，本发明提出了一种新型的弱检测分支。弱检测分支的核心是弱检测模块，图2的下半部分显示了弱检测模块的详细结构。弱检测模块由特征聚集层、激活层和分类层组成。弱检测模块采用卷积形式的滑动窗口方法对输入特征图的局部区域进行检测。当窗口滑动到每个位置时，聚集层首先使用3×3卷积过滤器聚合位置及其周围区域的特征，同时将收集的特征映射到固定长度256。然后，ReLU层在将特征发送到分类层之前执行激活。最后，分类层使用1×1卷积滤波器对该位置处的特征进行特征类别打分，并输出分别代表正常和色情类别的二维向量。
3、损失函数和训练策略设计阶段：
(3.1)损失函数设计：由于缺少局部区域的目标框标签，弱检测分支的训练缺乏监督信息，即模型无法确定某一个局部区域是否属于敏感，因此，本发明基于多实例学习，将弱检测分支的训练问题转化为基于多实例学习的分类问题，并基于此设计了训练的损失函数。
损失函数的定义基于以下两个事实：对于数据集中的第m张图像：1)如果其标签为正常，则该图像中的N个实例均正常，并且敏感置信度最高的实例块可以看作是该图片中最难区分的部位。2)如果其标签为敏感，则其必须至少有一个包含色情内容的实例块，并且N个实例块中得分最高的块最有可能是色情内容。因此，本发明可以用统一的方式表示这两种情况，即使用最高分实例代表最终结果。
Figure BDA0002610265030000091
符号k*表示得分最高的实例的索引。然后，第m张图像的最终预测可以表示为：
pm＝pm,k*∈R1*C
结合公上述两个公式，弱检测分支的输出可以表示为：
Figure BDA0002610265030000092
最后，弱检测分支的损失可以定义为：
Figure BDA0002610265030000093
M和C分别代表一个mini-batch中图像的数量和类别的数量。{·}表示当括号中的条件为真时取值1，否则为0。Ym是第m张图像的标签。此外，在模型中，同时会有多个弱检测分支，本发明对每个分支的损失进行加权以获得整个损失网络，如下公式所示：
Figure BDA0002610265030000101
Lossmaster表示主分支的损失，由于主分支是直接对整体进行分类，因此并且本发明将其简单的定义为二分类形式的交叉熵损失。公式中的B表示WD分支的数量，
Figure BDA0002610265030000104
表示第b个分支的损失，而αb∈[0,1]是权重。
(3.2)训练策略设计：
尽管以多实例学习的方式解决了弱检测分支的可学习问题，但是多实例学习可能会陷入局部最优，除非对网络进行良好的初始化。为解决此问题，本发明采用了一种名为Simple-First的策略，该策略中，主干网络首先使用ImageNet预训练的参数初始化，弱检测分支的参数采用默认的初始化，然后为了防止网络收敛到局部最优，先将每个弱检测分支在一个简单的数据集上训练一轮。简单的数据集是指其中图像具有单一的背景，较大的敏感区域和明显的特征，本发明分析认为简单样本中的敏感占据很大区域，因此弱检测模块检测到的大多数实例块都是敏感的，这将使其能够以更大的概率学习对敏感区域的响应，这可以防止随机初始化的网络在一开始得分就在某些正常区域上响应过高，而对网络的识别产生误导。
4、结果预测阶段：
在测试阶段，弱检测模型将输出多个结果，包括N个实例块类别和整体的类别。为获得最终的类别输出，本发明用Rmaster∈R1*2表示为主干分支的输出，
Figure BDA0002610265030000102
是第b个分支输出的结果，ωb是第b个分支输出结果的权重，其中Nb是第b个分支得到的实例数。然后通过取最大的形式求得最终结果，求解过程如下公式，首先定义R∈RN*2为所有结果的拼接，其中
Figure BDA0002610265030000103
R＝{concat(Rmaster,ω1*R1,ωb*Rb,…)|ωb∈[0.5,1]}
最终预测的结果是在敏感置信度最高的实例的结果：
pred＝{Rk*|k*＝argmax(R1),R1∈RN*1}
本方案所设计的模型的整体架构如图2所示。该弱检测网络模型(WDCNN，WeakDetection Based CNN)由一个主干分支和两个由弱检测模块(WD-Block，Weak DetectionBlock)组成的弱检测分支组成，所有的分支共享底部的卷积层。本发明使用ResNet体系结构作为主干网络，该模型拥有较简洁的层次性结构和相对较少的参数量，并且在图像分类任务上有出色的性能。主干分支网络从全局的角度进行特征提取和粗粒度分类。分支网络更加关注局部的区域，以增强模型查找图像中潜在敏感部位的能力。最后，通过合并各个分支机构和骨干网的结果来完成最终输出。
此外，受SSD、FPN等目标检测网络的启发，本发明也采用了多尺度的特征图来增强网络对不同尺寸的目标的鲁棒性。不同层次的特征图对应着不同大小的感受野，可以被用于检测不同大小的物体，为探索最佳的模型架构，本发明设计了三种不同的模型结构，这三种架构如图3所示，分别将三种结构命名为WDCNN-A，WDCNN-B和WDCNN-C。WDCNN-A和WDCNN-B都只有一个弱检测分支，不同之处是A模型使用ResNet的第4阶段输出的特征图，而B模型使用第3阶段输出的特征图。WDCNN-C则是将A和B两种模型组合起来。在预期中，A使用较底层次的特征图拥有更小的感受野，可以找到较小大的部位。B利用了高一层次的特征图，拥有更大的感受野，可以检测更大的部位。C可以同时具有以上两个优点。然而，实验证明B模型具有更好的效果。
在一个具体的实例中，为了证明基于弱检测机制的方法在性能具有优势，本发明通过以下实验进行验证与分析：
A、实验数据集
本章节的实验在三个数据集上进行：WDPorn、PosterPorn以及Porngraphy-800，表1记录了每个数据及的详细信息。WDPorn数据集是一个主要从Internet收集的敏感图像数据集，并且从ImageNet数据集中采样了一些标签为正常的图像，最终得到的数据包含10488个正常图像和10472个手动标记的色情图像。为了增加数据集的多样性以提高模型的鲁棒性，本发明还在数据集中添加了婴儿，比基尼，泳衣等的图片。
表1数据集详情
Figure BDA0002610265030000121
PosterPorn也是一个来源于互联网的数据集，但是仅用于评估WDCNN在难例上的效果。它总共包含8008张图像，其中4959张为色情图片，而3049张为正常图片。数据集包含许多极其复杂的图像(称为海报)，这些图像具有复杂的画面和通常很小的目标，模型在该数据集的性能可以很好地反映本发明模型的有效性。
Pornography-800目前学术界仅有的一个公开数据集，其中包含将近80个小时的400个色情视频和400个非色情视频。同时，作者也通过对视频中每个镜头提取关键帧的形式提供了基于图像的数据集，但是关键帧的提取过程是自动算法进行的，并未经过人工校正，包含部分噪音数据。该图像数据集被作者分为五个文件夹以进行交叉验证。由于该数据集已被许多其他研究人员使用，因此本发明主要在此数据集上将本发明的方法与其他方法进行比较。
B、评价标准
为了评估该方法的性能，本发明主要采用准确性和F-score作为指标。准确性是正确分类的图像的百分比，F-score是精度和召回率的加权谐波平均值。此外，实验中还记录了召回率，以证明WD-Block召回困难样本的能力。评价指标的定义如下：
Figure BDA0002610265030000131
Figure BDA0002610265030000132
Figure BDA0002610265030000133
Figure BDA0002610265030000134
式中的符号TP，FN，TN和FP为真阳性，假阴性，真阴性和假阳性分别。符号ALL代表测试图像的总数；Accuracy，Recall，Precision，Fβ-score，四个符号分别表示识别的准确率，召回率，精确度和F分数，F分数是精度和召回率的加权谐波平均值。
C、实验平台
Figure BDA0002610265030000135
D、实验结果
实验表明，本发明方法在WDPorn、PosterPorn上的色情图像识别准确度精确度分别达到98.61％、89.69％；另外，在公开色情图像数据集Pornography-800上的准确率达到了95.3％，均达到领先水平。本发明将详细的实验结果记录在如下表格中，实验结果如下表所示：
表2弱检测模块的有效性验证实验
Figure BDA0002610265030000141
上表中，WD是WeakDetection的缩写，代表弱检测机制，通过将引入弱检测机制的模型和没引入弱检测机制的模型进行对比实验，实验结果充分证明了弱检测机制的有效性。
表3在Pornography-800上与现有方法对比
Figure BDA0002610265030000142
从上面两个表格可以看出，在相同的实验环境下，本发明均表现出优越的性能，通过将不加入弱检测的主分支ResNet50和加入了弱检测的ResNet50+WD对比，以证明加入弱检测之后准确率有所提升。另外，本发明也对基于弱检测机制的色情图像识别进行了可视化处理，可以看到弱检测模块能有效的定位出图像中的敏感部位，使得色情图像的识别准确率更高，这充分证明了本发明具有更好的鲁棒性和准确率。
图4是本发明提供的基于弱检测机制的图像敏感内容检测系统架构图，如图4所示，包括：
模型构建单元410，用于构建弱检测模型，其包括主干分支网络和弱检测分支网络；所述主干分支网络从全局的角度对输入图像进行特征提取和粗粒度分类；所述弱检测分支网络关注输入图像局部的区域，以辅助弱检测模型查找输入图像中潜在敏感内容；所述弱检测模型用于检测输入图像中的敏感内容，所述敏感内容指的是带有色情暗示的内容；
模型训练单元420，用于基于预先采集的图像数据集对所述弱检测模型进行训练，以保证所述弱检测模型检测图像中敏感内容的准确率；所述图像数据库中有包含敏感内容的图像和不包含敏感内容的图像；
敏感图像识别单元430，用于基于训练好的弱检测模型对输入图像进行识别，检测输入图像中的敏感内容。
可以理解的是，图4中各个单元的具体功能可参见前述方法实施例中的介绍，在此不做赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于弱检测机制的图像敏感内容识别方法，其特征在于，包括以下步骤：
构建弱检测模型，其包括主干分支网络和弱检测分支网络；所述主干分支网络从全局的角度对输入图像进行特征提取和粗粒度分类；所述弱检测分支网络关注输入图像局部的区域，以辅助弱检测模型查找输入图像中潜在敏感内容；所述弱检测模型用于检测输入图像中的敏感内容，所述敏感内容指的是带有色情暗示的内容；
基于预先采集的图像数据集对所述弱检测模型进行训练，以保证所述弱检测模型检测图像中敏感内容的准确率；所述图像数据库中有包含敏感内容的图像和不包含敏感内容的图像；
基于训练好的弱检测模型对输入图像进行识别，检测输入图像中的敏感内容。
2.根据权利要求1所述的图像敏感内容识别方法，其特征在于，所述弱检测分支网络包括至少一个弱检测模块；
所述弱检测模块包括：特征聚集层、激活层以及分类层；所述弱检测模块采用卷积形式的滑动窗口对输入图像的局部区域进行检测，在对局部区域训练和预测时，仅预测局部区域的类别信息不预测局部区域的位置信息，以摆脱对目标框的依赖。
3.根据权利要求1所述的图像敏感内容识别方法，其特征在于，所述主干分支网络使用ResNet体系结构；
所述主干分支网络和弱检测分支网络分支共享底部的卷积层。
4.根据权利要求2所述的图像敏感内容识别方法，其特征在于，将所述弱检测模块的训练问题转化为基于多实例学习的分类问题，所述基于多实例学习的弱检测模块的损失函数基于以下两个方面确定：对于图像数据集中的第m张图像：1)如果其标签为正常，则该图像中的N个实例均正常，并且敏感置信度最高的实例块可以看作是该图片中最难区分的部位；2)如果其标签为敏感，则其必须至少有一个包含敏感内容的实例块，并且N个实例块中得分最高的块最有可能是敏感内容；
所述弱检测模型的损失函数等于主干分支网络的损失函数与弱检测分支网络的损失函数之和；
所述弱检测分支网络的损失函数等于其包括的每个弱检测模块损失函数的加权。
5.根据权利要求2所述的图像敏感内容识别方法，其特征在于，对所述弱检测模型的训练过程具体为：主干分支网络首先使用ImageNet对预训练的参数初始化，弱检测分支网络的参数采用默认的初始化，为了防止弱检测分支网络收敛到局部最优，先将每个弱检测模块在一个简单的数据集上训练一轮；所述简单的数据集是指具有单一的背景，且包含较大敏感区域和明显特征的图像集。
6.根据权利要求1至5任一项所述的图像敏感内容识别方法，其特征在于，所述弱检测模型可以在主干分支网络的低阶段输出特征图以拥有更小的感受野，使得弱检测模型能够找到更小区域的敏感内容；还可以在主干分支网络的高阶段输出特征图以拥有更大的感受野，使得弱检测模型能够找到更大区域的敏感内容。
7.一种基于弱检测机制的图像敏感内容识别系统，其特征在于，包括：
模型构建单元，用于构建弱检测模型，其包括主干分支网络和弱检测分支网络；所述主干分支网络从全局的角度对输入图像进行特征提取和粗粒度分类；所述弱检测分支网络关注输入图像局部的区域，以辅助弱检测模型查找输入图像中潜在敏感内容；所述弱检测模型用于检测输入图像中的敏感内容，所述敏感内容指的是带有色情暗示的内容；
模型训练单元，用于基于预先采集的图像数据集对所述弱检测模型进行训练，以保证所述弱检测模型检测图像中敏感内容的准确率；所述图像数据库中有包含敏感内容的图像和不包含敏感内容的图像；
敏感图像识别单元，用于基于训练好的弱检测模型对输入图像进行识别，检测输入图像中的敏感内容。
8.根据权利要求7所述的图像敏感内容识别系统，其特征在于，所述模型构建单元构建的弱检测分支网络包括至少一个弱检测模块；所述弱检测模块包括：特征聚集层、激活层以及分类层；所述弱检测模块采用卷积形式的滑动窗口对输入图像的局部区域进行检测，在对局部区域训练和预测时，仅预测局部区域的类别信息不预测局部区域的位置信息，以摆脱对目标框的依赖。
9.根据权利要求8所述的图像敏感内容识别系统，其特征在于，所述模型训练单元对所述弱检测模型的训练过程具体为：主干分支网络首先使用ImageNet对预训练的参数初始化，弱检测分支网络的参数采用默认的初始化，为了防止弱检测分支网络收敛到局部最优，先将每个弱检测模块在一个简单的数据集上训练一轮；所述简单的数据集是指具有单一的背景，且包含较大敏感区域和明显特征的图像集。
10.根据权利要求7至9任一项所述的图像敏感内容识别系统，其特征在于，所述模型构建单元构建的弱检测模型可以在主干分支网络的低阶段输出特征图以拥有更小的感受野，使得弱检测模型能够找到更小区域的敏感内容；还可以在主干分支网络的高阶段输出特征图以拥有更大的感受野，使得弱检测模型能够找到更大区域的敏感内容。
CN202010751825.2A 2020-07-30 2020-07-30 一种基于弱检测机制的图像敏感内容识别方法及系统 Active CN111860545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010751825.2A CN111860545B (zh) 2020-07-30 2020-07-30 一种基于弱检测机制的图像敏感内容识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010751825.2A CN111860545B (zh) 2020-07-30 2020-07-30 一种基于弱检测机制的图像敏感内容识别方法及系统

Publications (2)

Publication Number Publication Date
CN111860545A true CN111860545A (zh) 2020-10-30
CN111860545B CN111860545B (zh) 2023-12-19

Family

ID=72946260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010751825.2A Active CN111860545B (zh) 2020-07-30 2020-07-30 一种基于弱检测机制的图像敏感内容识别方法及系统

Country Status (1)

Country Link
CN (1) CN111860545B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712126A (zh) * 2021-01-05 2021-04-27 南京大学 一种图片识别方法
CN114998605A (zh) * 2022-05-10 2022-09-02 北京科技大学 一种恶劣成像条件下图像增强引导的目标检测方法
CN115359308A (zh) * 2022-04-06 2022-11-18 北京百度网讯科技有限公司 模型训练、难例识别方法、装置、设备、存储介质及程序

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778867A (zh) * 2016-12-15 2017-05-31 北京旷视科技有限公司 目标检测方法和装置、神经网络训练方法和装置
CN107122806A (zh) * 2017-05-16 2017-09-01 北京京东尚科信息技术有限公司 一种敏感图像识别方法及装置
CN107729944A (zh) * 2017-10-23 2018-02-23 百度在线网络技术（北京）有限公司 一种低俗图片的识别方法、装置、服务器及存储介质
CN108122003A (zh) * 2017-12-19 2018-06-05 西北工业大学 一种基于深度神经网络的弱小目标识别方法
US20180300880A1 (en) * 2017-04-12 2018-10-18 Here Global B.V. Small object detection from a large image
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统
KR102051032B1 (ko) * 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법
WO2020024584A1 (zh) * 2018-08-03 2020-02-06 华为技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111401293A (zh) * 2020-03-25 2020-07-10 东华大学 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778867A (zh) * 2016-12-15 2017-05-31 北京旷视科技有限公司 目标检测方法和装置、神经网络训练方法和装置
US20180300880A1 (en) * 2017-04-12 2018-10-18 Here Global B.V. Small object detection from a large image
CN107122806A (zh) * 2017-05-16 2017-09-01 北京京东尚科信息技术有限公司 一种敏感图像识别方法及装置
CN107729944A (zh) * 2017-10-23 2018-02-23 百度在线网络技术（北京）有限公司 一种低俗图片的识别方法、装置、服务器及存储介质
CN108122003A (zh) * 2017-12-19 2018-06-05 西北工业大学 一种基于深度神经网络的弱小目标识别方法
KR102051032B1 (ko) * 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법
WO2020024584A1 (zh) * 2018-08-03 2020-02-06 华为技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111401293A (zh) * 2020-03-25 2020-07-10 东华大学 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHEN, RB 等: "EFUI: An ensemble framework using uncertain inference for pornographic image recognition", NEUROCOMPUTING, no. 322, pages 166 - 176 *
WANG YU-SHI 等: "A novel circular object detection method and its application in pornographic image detection", JOURNAL OF HARBIN INSTITUTE OF TECHNOLOGY, vol. 40, no. 3, pages 393 - 6 *
余明扬;羊鹏;王一军;: "基于卷积神经网络的色情图像检测", 计算机应用与软件, no. 01, pages 238 - 242 *
曾豪: "基于弱检测机制和细粒度特征的敏感图像识别研究", 中国优秀硕士毕业论文全文数据库 信息科技辑, no. 5, pages 1138 - 599 *
杨阳;: "应用残差神经网络的色情图片检测", 福建电脑, no. 06, pages 5 - 8 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712126A (zh) * 2021-01-05 2021-04-27 南京大学 一种图片识别方法
CN112712126B (zh) * 2021-01-05 2024-03-19 南京大学 一种图片识别方法
CN115359308A (zh) * 2022-04-06 2022-11-18 北京百度网讯科技有限公司 模型训练、难例识别方法、装置、设备、存储介质及程序
CN115359308B (zh) * 2022-04-06 2024-02-13 北京百度网讯科技有限公司 模型训练、难例识别方法、装置、设备、存储介质及程序
CN114998605A (zh) * 2022-05-10 2022-09-02 北京科技大学 一种恶劣成像条件下图像增强引导的目标检测方法

Also Published As

Publication number Publication date
CN111860545B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
Qi et al. Exploiting multi-domain visual information for fake news detection
Hua et al. Clickage: Towards bridging semantic and intent gaps via mining click logs of search engines
Wu et al. Dynamic graph convolutional network for multi-video summarization
CN111860545A (zh) 一种基于弱检测机制的图像敏感内容识别方法及系统
CN108459785A (zh) 一种视频多尺度可视化方法与交互方法
Yang et al. Graph-based neural networks for explainable image privacy inference
Wu et al. Spatial–temporal relation reasoning for action prediction in videos
JP2008123486A (ja) デジタルメディアで１つまたは複数の概念を検出する方法、システム及びプログラム
Sindhu Meena et al. A survey on supervised and unsupervised learning techniques
WO2019180310A1 (en) A method, an apparatus and a computer program product for an interpretable neural network representation
CN114528411A (zh) 一种中文医药知识图谱自动化构建方法、装置及介质
CN110008365A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
Bouchakwa et al. A review on visual content-based and users’ tags-based image annotation: methods and techniques
Jenrette et al. Shark detection and classification with machine learning
CN117557886A (zh) 融合偏标签和消极学习的含噪声标签图像识别方法及系统
Dong et al. Training inter-related classifiers for automatic image classification and annotation
Wang et al. Deep learning for scene-independent crowd analysis
CN116578729B (zh) 内容搜索方法、装置、电子设备、存储介质和程序产品
Chiang Interactive tool for image annotation using a semi-supervised and hierarchical approach
CN114973107B (zh) 基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法
Tian et al. Automatic image annotation with real-world community contributed data set
CN111259152A (zh) 一种深度多层网络驱动的特征聚合类别划分器
CN115935953A (zh) 虚假新闻检测方法、装置、电子设备及存储介质
CN116955707A (zh) 内容标签的确定方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant