CN111832622A - 特定人物丑化图片识别方法及系统 - Google Patents

特定人物丑化图片识别方法及系统 Download PDF

Info

Publication number
CN111832622A
CN111832622A CN202010531569.6A CN202010531569A CN111832622A CN 111832622 A CN111832622 A CN 111832622A CN 202010531569 A CN202010531569 A CN 202010531569A CN 111832622 A CN111832622 A CN 111832622A
Authority
CN
China
Prior art keywords
picture
specific
network
recognized
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010531569.6A
Other languages
English (en)
Inventor
刘春阳
张旭
陈志鹏
唐胜
王鹏
张翔宇
张丽
万大千
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
National Computer Network and Information Security Management Center
Original Assignee
Institute of Computing Technology of CAS
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS, National Computer Network and Information Security Management Center filed Critical Institute of Computing Technology of CAS
Priority to CN202010531569.6A priority Critical patent/CN111832622A/zh
Publication of CN111832622A publication Critical patent/CN111832622A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种特定人物丑化图片识别方法和系统,包括:获取包含特定人物的图片集,该图片集包括多张漫画和多张照片,该图片集中每张图片标有代表是否丑化的预设标签,以该图片集中漫画和照片分别作为训练数据,训练卷积神经网络模型,得到特定人物漫画识别网络和特定人物照片识别网络;通过前置网络判断待识别图片是否属于漫画,若是,则将该待识别图片发送至该特定人物漫画识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则对该待识别图片进行人脸对比,判断该待识别图片是否包括该特定人物,若是则通过该特定人物照片识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则得到该待识别图片不包括该特定人物的识别结果。

Description

特定人物丑化图片识别方法及系统
技术领域
本方法属于机器学习和计算机视觉领域,特别涉及面向计算机视觉中图片分类的机器学习问题。
背景技术
随着互联网的飞速发展,在网络上传播的内容也不再只局限于文字,图片所占的比重越来越大,例如微博日均的图片量约900万张。在如此大量的图片中,不乏与事实相悖甚至诋毁他人的图片,造成不良影响。目前针对不良信息内容的技术研究多集中在文本分析上,针对图片尤其是特定人物的图片识别缺乏关键技术,少量的相关工作主要依靠业务人员结合图片和周边文字等信息进行肉眼识别,这种方法效率低且发现能力有限,因此有必要利用机器学习的方法实现特定人物图片的自动识别。本系统实现了互联网中特定人物图片的快速自动识别,能够为后续的处理提供技术支持。
发明内容
本发明提出一种特定人物丑化图片识别方法与系统,为了更好的识别漫画和照片两种不同风格的图片,系统中包含两种分别基于漫画和照片的特定人物图片识别方法,它们分别被命名为特定人物漫画识别网络和特定人物照片识别网络。
具体来说针对现有技术的不足,本发明提出一种特定人物丑化图片识别方法,其中包括:
步骤1、获取包含特定人物的图片集,该图片集包括多张漫画和多张照片,该图片集中每张图片标有代表是否丑化的预设标签,以该图片集中漫画和照片分别作为训练数据,训练卷积神经网络模型,得到特定人物漫画识别网络和特定人物照片识别网络;
步骤2、通过前置网络判断待识别图片是否属于漫画,若是,则将该待识别图片发送至该特定人物漫画识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则对该待识别图片进行人脸对比,判断该待识别图片是否包括该特定人物,若是则通过该特定人物照片识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则得到该待识别图片不包括该特定人物的识别结果。
所述的特定人物丑化图片识别方法,其中该特定人物漫画识别网络包括多层残差网络结构来进行丑化漫画、正常漫画和无关漫画的分类;该特定人物照片识别网络包括多层残差网络结构来进行丑化照片、正常照片的分类。
所述的特定人物丑化图片识别方法,其中该步骤1包括:
步骤11、在训练的过程中该特定人物漫画识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重;
步骤12、在训练的过程中该特定人物照片识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重。
所述的特定人物丑化图片识别方法,其中该前置网络为多层残差网络。
所述的特定人物丑化图片识别方法,其中该前置网络还用于判断该待识别图片是否为无人图片,若是则得到该待识别图片中无人的识别结果。
本发明还提出了一种特定人物丑化图片识别系统,其中包括:
模块1、获取包含特定人物的图片集,该图片集包括多张漫画和多张照片,该图片集中每张图片标有代表是否丑化的预设标签,以该图片集中漫画和照片分别作为训练数据,训练卷积神经网络模型,得到特定人物漫画识别网络和特定人物照片识别网络;
模块2、通过前置网络判断待识别图片是否属于漫画,若是,则将该待识别图片发送至该特定人物漫画识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则对该待识别图片进行人脸对比,判断该待识别图片是否包括该特定人物,若是则通过该特定人物照片识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则得到该待识别图片不包括该特定人物的识别结果。
所述的特定人物丑化图片识别系统,其中该特定人物漫画识别网络包括多层残差网络结构来进行丑化漫画、正常漫画和无关漫画的分类;该特定人物照片识别网络包括多层残差网络结构来进行丑化照片、正常照片的分类。
所述的特定人物丑化图片识别系统,其中该模块1包括:
模块11、在训练的过程中该特定人物漫画识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重;
模块12、在训练的过程中该特定人物照片识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重。
所述的特定人物丑化图片识别系统,其中该前置网络为多层残差网络。
所述的特定人物丑化图片识别系统,其中该前置网络还用于判断该待识别图片是否为无人图片,若是则得到该待识别图片中无人的识别结果。
由以上方案可知,本发明的优点在于:
1.通过前置网络能滤除大量无人的照片,减少计算量;
2.将漫画和照片两种不同形式的图片分开处理,提高了识别的准确率;
3.在识别特定人物照片之前进行人脸比对,避免无关人物图片影响识别结果。
附图说明
图1为特定人物图片识别系统的结构。
具体实施方式
本发明提出的特定人物漫画识别网络主要用于识别出互联网中针对某个特定人物的丑化漫画和正常漫画,为后续的处理提供支持。针对某个特定人物,该网络可以充分获取特定人物漫画的特征信息,从而对漫画做出快速的分类判断,判断漫画对该特定人物来说是丑化的漫画、正常的漫画还是与其无关的漫画。
本发明提出的特定人物照片识别网络主要用于识别出互联网中针对某个特定人物的丑化照片和正常照片,为后续的处理提供支持。针对某个特定人物,该网络首先进行人脸比对操作筛选出关于该特定人物的照片,滤除无关图片;然后网络获取特定人物照片的特征信息,对照片做出快速的分类判断,判断照片对该特定人物来说是丑化的照片还是正常的照片。
本发明提出的特定人物图片识别系统融合上述两种图片识别网络,采用一种层次化的结构,将两种图片识别网络并联在前置网络之后,分别针对漫画和照片实现层次化的筛选分类。系统结构如图1所示。在该系统中,前置网络可以将图片分类为漫画、有人照片和无人照片,然后对前置网络的图片分类结果分别进行漫画的识别和有人照片的识别。该系统能够在大量互联网图片中筛选出关于某个特定人物的正常或丑化的照片和漫画。实验结果表明本发明方法的有效性。
1、本发明提出的“特定人物漫画识别网络”主要利用漫画的特征信息识别出互联网中针对某个特定人物的丑化漫画和正常漫画。该网络包括以下特征:
(1)特定人物漫画识别网络使用较深的卷积神经网络结构,在本发明的具体实施中采用了50层残差网络的结构来进行3分类。较深的卷积神经网络中通常包含多层的卷积层和卷积层以及若干步长为2的下采样操作,可以快速的扩大感受野的大小,从而捕捉全局特征信息。
(2)特定人物漫画识别网络使用残差网络在大规模图片分类数据集上预训练的参数进行初始化。其中最后一层中对应分类结果的参数将利用随机数进行初始化。
(3)在训练的过程中,特定人物漫画识别网络使用网络判断结果与真实值的交叉熵作为损失函数。同时为了解决正负样本不平衡的问题,在交叉熵上为每个类别添加一个与样本数量成反比的权重。
2、本发明提出的“特定人物照片识别网络”主要利用人脸比对技术和照片的特征信息识别出互联网中针对某个特定人物的丑化照片和正常照片。该网络包括以下特征:
(1)在将照片输入到网络之前,首先利用人脸比对技术将输入图片与Facebank里的图片进行比对,滤除那些不包含某特定人物的照片,以此来实现无关图片的筛选。
(2)特定人物照片识别网络使用较深的卷积神经网络结构,在本发明的具体实施中采用了50层残差网络的结构来进行2分类。较深的卷积神经网络中通常包含多层的卷积层和卷积层以及若干步长为2的下采样操作,可以快速的扩大感受野的大小,从而捕捉全局特征信息。
(3)特定人物照片识别网络使用残差网络在大规模图片分类数据集上预训练的参数进行初始化。其中最后一层中对应分类结果的参数将利用随机数进行初始化。
(4)在训练的过程中,特定人物照片识别网络使用网络判断结果与真实值的交叉熵作为损失函数。同时为了解决正负样本不平衡的问题,在交叉熵上为每个类别添加一个与样本数量成反比的权重。
3、本发明提出的“特定人物图片识别系统”融合上述两种图片识别网络,系统结构如图1所示,采用了一种层次化的结构,将两种图片识别网络并联在前置网络之后,分别针对漫画和照片实现层次化的筛选分类。它能够在大量互联网图片中筛选出关于某个特定人物的正常或丑化的照片和漫画,可以极大的提高图片识别的效率和精度。该系统包括的三个部分为:
(1)使用前置网络将输入系统的图片分为漫画、有人照片和无人照片,滤除无人图片;
(2)使用特定人物漫画识别网络,识别前置网络判为漫画的图片是哪类漫画;
(3)使用特定人物照片识别网络,识别前置网络判为有人照片的图片是哪类照片;
实验结果表明了本发明中提出的融合两种特定人物图片识别网络的特定人物图片识别系统的有效性。
为让本发明的上述特征和效果能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。
目前流行的不良图片识别方法主要利用卷积神经网络(Convolutional NeuralNetworks,CNNs)对互联网图片进行分类。这类方法主要存在以下问题:(1)大量没有包含人物的图片也经过了各种模型的处理,造成了计算资源的浪费。(2)漫画和照片混合在一起,使得模型要实现的分类任务复杂,进而导致模型训练困难。(3)不经过人脸比对操作使得大量他人照片也被判为某特定人物的丑化照片或正常照片。
为了解决以上三大问题,本发明从漫画和照片两个角度提出了两种特定人物图片识别网络。这两种识别网络均可串联在前置网络之后单独识别特定人物的漫画或者照片,也可以并联在前置网络之后组成一个联合框架,从而同时识别特定人物的漫画和照片,形成特定人物图片识别系统。
(1)特定人物漫画识别网络
特定人物漫画识别网络主要利用漫画的特征信息识别出互联网中针对某个特定人物的丑化漫画和正常漫画。
为了能够简化模型要实现的分类任务,使得模型在训练时能够快速收敛,特定人物漫画识别网络的输入只限于互联网中的漫画。在整个系统中,被前置网络分类为漫画的图片才被输入到漫画识别网络。
特定人物漫画识别网络使用较深的卷积神经网络结构捕捉全局内容信息。在神经网络的前向传播过程中,后面层的每个位置会与其前层中相邻区域全连接,从而受到该区域中所有值的影响。因此随着神经网络层数的加深,感受野也在不断的增大。特定人物漫画识别网络使用的卷积神经网络结构中包含许多的卷积核和的卷积核以及若干步长为2的下采样操作,因此可以获得一个较大的感受野,从而较好的捕捉全局内容信息。
特定人物漫画识别网络采用现在流行的残差网络结构,因此还可以利用残差网络在大规模图片分类数据集上预训练的参数进行初始化。在训练的过程中,特定人物漫画识别网络使用网络判断结果与真实值的交叉熵作为损失函数。同时为了解决正负样本不平衡的问题,也为了获得较大的梯度,加快优化速度,在交叉熵上为每个类别添加一个与样本数量成反比的权重。
(2)特定人物照片识别网络
特定人物照片识别网络主要利用人脸比对技术和照片的特征信息识别出互联网中针对某个特定人物的丑化照片和正常照片。
同样为了能够简化模型要实现的分类任务,使得模型在训练时能够快速收敛,特定人物照片识别网络的输入只限于互联网中的照片。在整个系统中,被前置网络分类为有人照片的图片才被输入到照片识别网络。与漫画识别网络不同的是,为了滤除不包含特定人物的照片,照片在进行分类之前,先进行人脸比对操作,将比对失败即不含特定人物的照片丢弃,只将比对成功的照片进行后续操作。
特定人物照片识别网络同样使用较深的卷积神经网络结构捕捉全局内容信息。在神经网络的前向传播过程中,后面层的每个位置会与其前层中相邻区域全连接,从而受到该区域中所有值的影响。因此随着神经网络层数的加深,感受野也在不断的增大。特定人物照片识别网络使用的卷积神经网络结构中包含许多的卷积核和的卷积核以及若干步长为2的下采样操作,因此可以获得一个较大的感受野,从而较好的捕捉全局内容信息。
特定人物照片识别网络采用现在流行的残差网络结构,因此还可以利用残差网络在大规模图片分类数据集上预训练的参数进行初始化。在训练的过程中,特定人物照片识别网络使用网络判断结果与真实值的交叉熵作为损失函数。同时为了解决正负样本不平衡的问题,也为了获得较大的梯度,加快优化速度,在交叉熵上为每个类别添加一个与样本数量成反比的权重。
(3)特定人物图片识别系统
特定人物图片识别系统主要利用上述特定人物漫画识别网络和特定人物照片识别网络以及一个前置网络对互联网中的图片进行层次化的筛选分类,分别针对漫画和照片筛选出某特定人物的丑化图片和正常图片,分类结果可用于后续处理。
特定人物图片识别系统中包含的三个网络分别使用不同的数据集单独进行训练,将训练之后的三个模型集成到整个系统。
特定人物图片识别系统的结构如图1所示,互联网中的图片输入到系统之后的操作如下:1.经过前置网络的分类之后,图片被分为三个类别,其中被判为无人照片的图片直接被判为无关照片;2.被前置网络判为漫画的图片输入到特定人物漫画识别网络被分类为特定人物的丑化漫画、正常漫画和无关漫画;3.被前置网络判为有人照片的图片输入到特定人物照片识别网络,首先经过人脸比对操作,其中比对失败的照片被系统判为无关照片,比对成功的照片被网络分类为特定人物的丑化照片和正常照片。
系统能把互联网的图片分为关于特定人物的丑化图片、正常图片和无关图片三类。同时,本系统采用了一种层次化的结构,所以每层都可以滤除大量无关的图片,系统对无关图片不会进行后续操作,提升了识别的效率,避免了计算资源的浪费。
为了更好的识别漫画和照片两张不同形式的图片,特定人物图片识别系统采用一种层次化的结构使用本发明提出的特定人物的漫画识别网络和特定人物的照片识别网络,对前置网络的分类结果分别进行漫画和照片的识别。该系统包括三个部分:(1)使用前置网络将输入系统的图片分为漫画、有人照片和无人照片,滤除无人照片;(2)使用特定人物的漫画识别网络,识别前置网络判为漫画的图片是哪类漫画;(3)使用特定人物的照片识别网络,识别前置网络判为有人照片的图片是哪类照片;本发明提出的系统采用了一种层次化的结构,将漫画识别网络和照片识别网络并联在前置网络之后实施,滤除大量无人的照片,针对漫画和有人照片采用两种专门的网络进行识别,可以极大的提高图片识别的效率和精度,同时还能节约计算资源。
在系统中,前置网络使用了目前流行的多层残差网络。该网络利用在大规模图片分类数据集上预训练的残差网络的参数进行初始化,然后利用新构建的数据集进行重训练。为了贴近互联网的真实环境,新构建数据集的图片没有采用ImageNet等现有数据集而是从微博、Twitter等多个网站采集得来,并经过人工标注得到最终的数据集。
在模型训练过程中,前置网络、特定人物的漫画识别网络和特定人物的照片识别网络均使用了50层残差网络的结构,并且以残差网络在大规模图像分类数据集上预训练的参数作为初始化。残差网络最后一层的1000类分类器被替换为与特定人物图片数据集中类别数相同的分类器。在训练时需要对整体系统进行分解,逐个训练每个网络。训练时以分类结果和真实值的带权重交叉熵作为损失函数,采用随机梯度下降法进行优化。根据数据集的特点在实验中选取合适的优化参数。在训练的过程中还对训练数据采用了多尺度数据扩增方法,以提高模型的鲁棒性,减小过拟合的程度。
下面的实验结果表明:本发明提出的特定人物图片识别系统可以从漫画和照片的角度对特定人物图片进行识别,从而取得更准确的识别结果和更快的识别速度。
实验结果
为了验证本发明方法的有效性,我们在新构建的特定人物1图片数据集和特定人物2图片数据集上进行实验验证。
特定人物1图片数据集是一个规模较大的特定人物图片数据集,它有三个类别组成分别是特定人物1正常图片、特定人物1丑化图片和无关图片。其中正常图片和丑化图片里同时包含了漫画和照片两种图片形式。数据集中包含正常图片22359张,丑化图片5992张,无关图片321015张。特定人物1图片数据集中的数据都是从微博、Twitter等网站采集图片并进行人工标注得来,因此该数据集十分符合互联网的真实环境。
本发明方法在特定人物1图片数据集的有效性:
我们在特定人物1图片数据集上验证本发明提出的特定人物图片识别有效性。将整个数据集分为训练集、验证集和测试集。首先分别使用训练集和验证集的不同部分训练整个系统中的三个网络。具体来说:利用丑化图片、正常图片和无关图片里的漫画来训练漫画识别网络;利用丑化图片和正常图片里的照片来训练照片识别网络;利用整个训练集和验证集中的漫画、有人照片和无人照训练前置网络。为了符合真实的互联网环境,用于测试系统的测试集由200张丑化图片、2000张正常图片和6000张无关图片组成,丑化图片仅占整个测试集的2.4%,其中三类图片中都包含了照片和漫画两种图片形式。我们采用丑化图片Top-x准确率来评判特定人物图片识别系统的效果,如表1所示:
Figure BDA0002535640850000091
表格1:本发明方法在特定人1图片数据集的测试结果
特定人物2图片数据集的数据同样从微博、Twitter等网站采集图片并进行人工标注得来,因此该数据集也十分符合互联网的真实环境。它有三个类别组成分别是特定人物2正常图片、特定人物2丑化图片和无关图片。其中正常图片和丑化图片里同时包含了漫画和照片两种图片形式。数据集中包含正常图片18009张,丑化图片6212张,无关图片321015张。
本发明方法在特定人物2图片数据集的有效性:
和上述方法相同,为了符合真实的互联网环境,特定人:2图片数据集用于测试系统的测试集由200张丑化图片、2000张正常图片和6000张无关图片组成,丑化图片仅占整个测试集的2.4%,其中三类图片中都包含了照片和漫画两种图片形式。我们采用丑化图片Top-x准确率来评判特定人物图片识别系统的效果,如表2所示:
Figure BDA0002535640850000092
表格2:本发明方法在特定人物2图片数据集的测试结果
以下为与上述方法实施例对应的系统实施例,本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效,为了减少重复,这里不再赘述。相应地,本实施系统中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种特定人物丑化图片识别系统,其中包括:
模块1、获取包含特定人物的图片集,该图片集包括多张漫画和多张照片,该图片集中每张图片标有代表是否丑化的预设标签,以该图片集中漫画和照片分别作为训练数据,训练卷积神经网络模型,得到特定人物漫画识别网络和特定人物照片识别网络;
模块2、通过前置网络判断待识别图片是否属于漫画,若是,则将该待识别图片发送至该特定人物漫画识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则对该待识别图片进行人脸对比,判断该待识别图片是否包括该特定人物,若是则通过该特定人物照片识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则得到该待识别图片不包括该特定人物的识别结果。
所述的特定人物丑化图片识别系统,其中该特定人物漫画识别网络包括多层残差网络结构来进行丑化漫画、正常漫画和无关漫画的分类;该特定人物照片识别网络包括多层残差网络结构来进行丑化照片、正常照片的分类。
所述的特定人物丑化图片识别系统,其中该模块1包括:
模块11、在训练的过程中该特定人物漫画识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重;
模块12、在训练的过程中该特定人物照片识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重。
所述的特定人物丑化图片识别系统,其中该前置网络为多层残差网络。
所述的特定人物丑化图片识别系统,其中该前置网络还用于判断该待识别图片是否为无人图片,若是则得到该待识别图片中无人的识别结果。

Claims (10)

1.一种特定人物丑化图片识别方法,其特征在于,包括:
步骤1、获取包含特定人物的图片集,该图片集包括多张漫画和多张照片,该图片集中每张图片标有代表是否丑化的预设标签,以该图片集中漫画和照片分别作为训练数据,训练卷积神经网络模型,得到特定人物漫画识别网络和特定人物照片识别网络;
步骤2、通过前置网络判断待识别图片是否属于漫画,若是,则将该待识别图片发送至该特定人物漫画识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则对该待识别图片进行人脸对比,判断该待识别图片是否包括该特定人物,若是则通过该特定人物照片识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则得到该待识别图片不包括该特定人物的识别结果。
2.如权利要求1所述的特定人物丑化图片识别方法,其特征在于,该特定人物漫画识别网络包括多层残差网络结构来进行丑化漫画、正常漫画和无关漫画的分类;该特定人物照片识别网络包括多层残差网络结构来进行丑化照片、正常照片的分类。
3.如权利要求1或2所述的特定人物丑化图片识别方法,其特征在于,该步骤1包括:
步骤11、在训练的过程中该特定人物漫画识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重;
步骤12、在训练的过程中该特定人物照片识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重。
4.如权利要求1所述的特定人物丑化图片识别方法,其特征在于,该前置网络为多层残差网络。
5.如权利要求4所述的特定人物丑化图片识别方法,其特征在于,该前置网络还用于判断该待识别图片是否为无人图片,若是则得到该待识别图片中无人的识别结果。
6.一种特定人物丑化图片识别系统,其特征在于,包括:
模块1、获取包含特定人物的图片集,该图片集包括多张漫画和多张照片,该图片集中每张图片标有代表是否丑化的预设标签,以该图片集中漫画和照片分别作为训练数据,训练卷积神经网络模型,得到特定人物漫画识别网络和特定人物照片识别网络;
模块2、通过前置网络判断待识别图片是否属于漫画,若是,则将该待识别图片发送至该特定人物漫画识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则对该待识别图片进行人脸对比,判断该待识别图片是否包括该特定人物,若是则通过该特定人物照片识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则得到该待识别图片不包括该特定人物的识别结果。
7.如权利要求1所述的特定人物丑化图片识别系统,其特征在于,该特定人物漫画识别网络包括多层残差网络结构来进行丑化漫画、正常漫画和无关漫画的分类;该特定人物照片识别网络包括多层残差网络结构来进行丑化照片、正常照片的分类。
8.如权利要求1或2所述的特定人物丑化图片识别系统,其特征在于,该模块1包括:
模块11、在训练的过程中该特定人物漫画识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重;
模块12、在训练的过程中该特定人物照片识别网络使用网络判断结果与预设标签的交叉熵作为损失函数,同时在交叉熵上为每个类别添加一个与样本数量成反比的权重。
9.如权利要求1所述的特定人物丑化图片识别系统,其特征在于,该前置网络为多层残差网络。
10.如权利要求4所述的特定人物丑化图片识别系统,其特征在于,该前置网络还用于判断该待识别图片是否为无人图片,若是则得到该待识别图片中无人的识别结果。
CN202010531569.6A 2020-06-11 2020-06-11 特定人物丑化图片识别方法及系统 Pending CN111832622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010531569.6A CN111832622A (zh) 2020-06-11 2020-06-11 特定人物丑化图片识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010531569.6A CN111832622A (zh) 2020-06-11 2020-06-11 特定人物丑化图片识别方法及系统

Publications (1)

Publication Number Publication Date
CN111832622A true CN111832622A (zh) 2020-10-27

Family

ID=72899307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010531569.6A Pending CN111832622A (zh) 2020-06-11 2020-06-11 特定人物丑化图片识别方法及系统

Country Status (1)

Country Link
CN (1) CN111832622A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627498A (zh) * 2021-07-28 2021-11-09 中国科学院计算技术研究所 人物丑化图像识别和模型训练方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330453A (zh) * 2017-06-19 2017-11-07 中国传媒大学 基于分步识别和融合关键部位检测的色情图像识别方法
CN110037667A (zh) * 2019-03-27 2019-07-23 乐歌人体工学科技股份有限公司 应用于工作站的基于人脸识别的人体生理参数监测方法
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法
CN111079549A (zh) * 2019-11-22 2020-04-28 杭州电子科技大学 一种利用门控融合判别特征进行漫画人脸识别的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330453A (zh) * 2017-06-19 2017-11-07 中国传媒大学 基于分步识别和融合关键部位检测的色情图像识别方法
CN110037667A (zh) * 2019-03-27 2019-07-23 乐歌人体工学科技股份有限公司 应用于工作站的基于人脸识别的人体生理参数监测方法
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN111079549A (zh) * 2019-11-22 2020-04-28 杭州电子科技大学 一种利用门控融合判别特征进行漫画人脸识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭进业等: "人脸疼痛表情识别综述", 数据采集与处理, pages 43 - 55 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627498A (zh) * 2021-07-28 2021-11-09 中国科学院计算技术研究所 人物丑化图像识别和模型训练方法与装置
CN113627498B (zh) * 2021-07-28 2024-03-12 中国科学院计算技术研究所 人物丑化图像识别和模型训练方法与装置

Similar Documents

Publication Publication Date Title
Singh et al. Image classification: a survey
CN108664996B (zh) 一种基于深度学习的古文字识别方法及系统
US20150199568A1 (en) Automated document recognition, identification, and data extraction
CN110598800A (zh) 一种基于人工智能的垃圾分类识别方法
CN111931758B (zh) 一种结合面部静脉的人脸识别方法及装置
WO2017088537A1 (zh) 一种元件分类方法及装置
TWI712980B (zh) 理賠資訊提取方法和裝置、電子設備
Chandran et al. Missing child identification system using deep learning and multiclass SVM
CN110543811B (zh) 一种基于深度学习的非配合式考试人员管理方法及其系统
CN103810274A (zh) 基于WordNet语义相似度的多特征图像标签排序方法
CN107368827A (zh) 字符识别方法及装置、用户设备、服务器
US10423817B2 (en) Latent fingerprint ridge flow map improvement
CN112257709A (zh) 一种招牌照片审核方法、装置、电子设备及可读存储介质
Kantipudi et al. Scene text recognition based on bidirectional LSTM and deep neural network
CN115937945A (zh) 基于视觉Transformer和卷积网络相融合的人脸表情识别方法
CN111832622A (zh) 特定人物丑化图片识别方法及系统
CN113888675A (zh) 用于生成证件图像的方法、系统、装置和介质
Bintoro et al. Lampung script recognition using convolutional neural network
CN109670480B (zh) 图像判别方法、装置、设备及存储介质
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法
Li et al. An improved PCB defect detector based on feature pyramid networks
CN111832498B (zh) 基于卷积神经网络的漫画人脸识别方法
CN114648813A (zh) 一种基于深度学习的手写签名鉴别方法及装置
CN113610080A (zh) 基于跨模态感知的敏感图像识别方法、装置、设备及介质
CN113627498A (zh) 人物丑化图像识别和模型训练方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination