CN106446932A - 基于机器学习与图片识别的可进化违禁图片批量处理方法 - Google Patents

基于机器学习与图片识别的可进化违禁图片批量处理方法 Download PDF

Info

Publication number
CN106446932A
CN106446932A CN201610771081.4A CN201610771081A CN106446932A CN 106446932 A CN106446932 A CN 106446932A CN 201610771081 A CN201610771081 A CN 201610771081A CN 106446932 A CN106446932 A CN 106446932A
Authority
CN
China
Prior art keywords
picture
identification
data set
user
batch processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610771081.4A
Other languages
English (en)
Inventor
盛斌
吴凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610771081.4A priority Critical patent/CN106446932A/zh
Publication of CN106446932A publication Critical patent/CN106446932A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器学习与图片识别的可进化违禁图片批量处理方法,包括以下步骤:a)通过使用卷积神经网络来进行图片识别,设置学习训练装置对卷积神经网络进行训练优化;b)针对实际的实用需求,为用户提供调节选项,允许用户针对自身需求进行选择。与现有技术相比,本发明各个部分之间具有较好的独立性,且能很好的协同工作,具有较好的可扩展性等优点。

Description

基于机器学习与图片识别的可进化违禁图片批量处理方法
技术领域
本发明涉及图片检测处理技术领域,尤其是涉及一种基于机器学习与图片识别的可进化违禁图片批量处理方法。
背景技术
每时每刻,数量惊人的图片流经互联网,其中有许多图片都包含非法不良信息。这些信息可能毒害青少年的身心健康,或是危害社会的和谐稳定。以往为了监控这些不良信息,必须要动用许多的人力去人工审查图片。这样相较于计算机自动进行批量处理无疑显得效率低下。同时,一些图片甚至对于审查人员都有毒害作用,以至于许多鉴黄师工作几年就会换工作。可见自动地批量的处理这些图片由多必要。然而,识别系统可能并不总是那么奏效。必须要有人进行人为修正,不仅仅针对于识别结果,也针对于识别系统本身。所以,我们也配合识别系统提供简单易操作的训练软件。
但是,一个完善而高效的违禁图片批量处理系统却并不容易获得。在最初开始对图片进行管制时,方法非常简单粗暴---许多网站都是简单地靠识别颜色来鉴别图片,一张人的全脸照就有极大可能被识别为裸照。尽管那种非常不可靠的识别很快就消失了,但对于违禁图片批量处理系统的需求却从来没有减弱,甚至可能是相反地在加强。
毋庸置疑,图像识别技术已经取得了巨大的进步,受限于知识与经验,我们难以从本质上进行更好的改进,所以参考当前比较成熟而有效的识别算法R-CNN加以利用。
应用CNN识别图片时,CNN网络的质量将对识别效果产生巨大作用。任何一个静态的CNN网络都无法被证明是最优的,所以永远存在着对CNN的改进。一个可进化的CNN网络对于识别系统具有巨大作用。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于机器学习与图片识别的可进化违禁图片批量处理方法。
本发明的目的可以通过以下技术方案来实现:
一种基于机器学习与图片识别的可进化违禁图片批量处理方法,其特征在于,包括以下步骤:
a)通过使用卷积神经网络来进行图片识别,设置学习训练装置对卷积神经网络进行训练优化;
b)针对实际的实用需求,为用户提供调节选项,允许用户针对自身需求进行选择。
该方法具体包括以下步骤:
1)采用卷积神经网络CNN对图片进行识别;
2)通过提高颜色对比度并减小阈值来改善识别效果;
3)考虑到识别的实际需求,设置参数设置模块;
4)对CNN进行训练及优化的数据集,提供数据集更新的功能,用于满足用户对于提升CNN网络性能的实际需求;
5)用户获取自身的数据集进行CNN训练;
6)加入数据集添加及数据集删除模块,用于使用户基于数据集对CNN网络进行改进的能力得到进一步增强;
7)对识别的参数进行调整,由人体局部识别改为整个裸露人体识别。
所述的参数设置模块提供“精度优先模式”、“速度优先模式”和“自定义模式”的选项。
所述的步骤3)中的“自定义模式”为用户通过调节参数来获得一个自己最合适的识别模式。
所述的步骤5)中用户获取自身的数据集具体为:
(1)找到需要训练的图片所在的目录,确认后则找到文件夹中的第一张图片。
(2)如果图片中存在目标识别物,对图片中的目标识别物品进行框选操作并对目标识别物进行命名,生成此图片对应的xml文件;
(3)进入后一图片,重复(2)操作直至此文件夹中所有图片都进行了处理。
与现有技术相比,本发明通过使用卷积神经网络来进行图片识别,能够改进识别效果;而给用户提供更加简单的学习训练装置,使所有的本发明的使用者都能够改进本发明的识别性能。
附图说明
图1为本发明的界面示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本发明针对构建系统的用途与较为实际的客户需要,提供简单易于操作的软件系统。该系统各个部分之间具有较好的独立性,且能很好的协同工作,具有较好的可扩展性。此系统充分利用了已有算法与平台,给用户极大的自主性。
本发明包括以下方面:
1)本发明系统不仅仅自己提供了原始的CNN(深度卷积网络),还允许用户自己训练CNN。经过简单的操作就可以更新CNN网络。识别精度可以通过CNN网络进化而提升。能够更新CNN对于一个较大的网络系统则具有重要的意义,它使得更多不十分熟悉系统用户参与CNN网络更新成为可能。
2)正如之前所说,针对淫秽图片识别,过去大多数的系统的简单的通过颜色的识别来进行,这样的识别精度确实难以保证且无疑会极大地增加误报的可能。(例如:将全脸识别为裸体,将粉色的物体识别为淫秽图片)而采用了CNN来进行识别,同时考虑到了形状与颜色两方面的影响,且判定机制与人脸的识别更加相似。故而精度能提高的同时,误报率也可以下降。
3)本发明系统拥有参数调节模块,针对不同的情景,可以调节识别精度,可以适应更多的应用环境。
4)本发明做了较好的整合,将学习训练与识别处理整合为同一软件,方便用户的使用。
本发明具体实施例包括以下步骤:
第一步、尝试CNN识别:由于目标识别物体(乳房)并非较为理想的物体(理想的物体与周围的环境存在较大的颜色对比度;一般而言,识别开始前需要首先确定可能存在物体的区域,而识别实际上是针对于那些已经被认为存在着物体的区域进行。与已经较为成熟的人脸识别进行以对比说明。尽管,人脸毫无疑问也是人体的一部分,故而认为人脸是一个物体似乎也不十分容易。但经过进一步的比较,无论是侧视图还是正视图,人脸始终如一的保持者一个特征——有三面与周围的环境有较大颜色对比度仅仅由脖子和人体相连。不仅仅在识别时神经网络可以用到这一特征,在寻找可能存在人脸的区域时这一特征使得人脸与周围环境的颜色对比度较为明显,使用selective search寻找区域时也可以设置较低的颜色对比度。而本发明选择的目标识别物的,无法拥有一个像人脸一样显著特征,目标识别物的侧视图和正视图特征差别较大,而且即便本发明将目标识别物进一步划分侧视图与正视图,正视图中目标识别物欲周围环境颜色对比不明显的特征并不适合selectivesearch。也就是说,确定可能存在物体的区域并不容易。正是由于这个原因,识别效果并不十分理想。
第二步、基于第一步的实践与分析,本发明试图改进识别效果。通过提高颜色对比度并减小阈值的改进,识别的效果有了明显的提高。但此时识别总时间由于selectivesearch部分运行时间的增加而出现了较为巨大的增幅。
第三步、考虑到识别的实际需求并基于第二步的实践工作,本发明认为提供一个参数功能对于用户多变的使用具有较大的作用。参数设置模块提供了“精度优先”和“速度优先”选项去满足两类基本要求外,特意设置了自定义模式,允许用户调节参数找到一个自己最喜欢的识别模式。
第四步、由于本发明的识别算法是基于CNN网络的,所以对CNN网络进行的优化必将使得优化效果更好。本发明的数据集很小很难保证CNN网络足够优秀。但本发明可以让用户去提升CNN网络,也就是说本发明必须允许用户去自己训练CNN网络。因此,本发明的系统提供了数据集更新的功能去满足用户对于提升CNN网络性能的实际需求。
第五步、基于第四步,本发明知道用户如果拥有数据集则可以对使用数据集对CNN进行变更。然而,用户不一定都拥有自己的数据集。本发明必须允许用户经过简单的操作获取自己的数据集第四步才更具有实用价值。得到类似图片查看器的软件模块,客户可以用鼠标进行框选操作仅过如下步骤即可得到训练集合:
(1)找到需要训练的图片所在的目录,确认后则可以看到文件夹中的第一张图片。
(2)如果图片中存在目标识别物,对图片中的目标识别物品用鼠标进行框选操作并对目标识别物进行命名,点击“生成”(或者按“enter”)则可生成此图片对应的xml文件。
(3)点击“后一图片”(或者按“方向键左键”),可以看到下一图片,重复(3)操作直至此文件夹中所有图片都进行了处理。
第六步、在实际使用中,目标识别物的种类可能会增加。允许用户去添加自己的数据集是必须的。数据集添加及数据集删除模块的加入使得用户基于数据集对CNN网络进行改进的能力得到进一步增强。
第七步、由第二步及第三步的讨论,通过增大颜色对比度并减小阈值的方法可以提升识别效果却增加了识别的总耗时。经过对问题的分析,本发明做出了适当的调整不对人体的局部进行识别而是选择整个裸露的人体去进行识别。这大大降低了selectivesearch的用时。经过实验测试,调整参数后,在相似的识别准确度下,本发明的识别总耗时大约降至之前的十分之一。这样的调整是有益的。同时,这种识别方式可能会面临问题,在对色情信息做进一步分类时并不像之前的算法方便。
实施效果
依照上述步骤,本发明对测试集进行测试,测试集包含96张图片,其中50张为随机抽取的色情图片,25张为从VOC2007数据集中随机抽取的非色情图片,21张为从互联网中挑选出来的人物干扰图片。实验在PC计算机中完成,主要参数为:Inter Core i5 2。6GHz处理器,ubuntu14.04操作系统,4GB DDR3 1600MHZ内存,NVIDA GeForce GT 740M(2G)显卡,软件设置为高速模式。运行时间为149.65s,单张图片平均检测时间为1.56s。结果显示,最终识别出42张色情图片,另有1张图片被误检,漏检率为8%,误检率为2.4%,漏检率和误检率都相对较低,达到了良好的检测效果。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于机器学习与图片识别的可进化违禁图片批量处理方法,其特征在于,包括以下步骤:
a)通过使用卷积神经网络来进行图片识别,设置学习训练装置对卷积神经网络进行训练优化;
b)针对实际的实用需求,为用户提供调节选项,允许用户针对自身需求进行选择。
2.根据权利要求1所述的一种基于机器学习与图片识别的可进化违禁图片批量处理方法,其特征在于,该方法具体包括以下步骤:
1)采用卷积神经网络CNN对图片进行识别;
2)通过提高颜色对比度并减小阈值来改善识别效果;
3)考虑到识别的实际需求,设置参数设置模块;
4)对CNN进行训练及优化的数据集,提供数据集更新的功能,用于满足用户对于提升CNN网络性能的实际需求;
5)用户获取自身的数据集进行CNN训练;
6)加入数据集添加及数据集删除模块,用于使用户基于数据集对CNN网络进行改进的能力得到进一步增强;
7)对识别的参数进行调整,由人体局部识别改为整个裸露人体识别。
3.根据权利要求2所述的一种基于机器学习与图片识别的可进化违禁图片批量处理方法,其特征在于,所述的参数设置模块提供“精度优先模式”、“速度优先模式”和“自定义模式”的选项。
4.根据权利要求3所述的一种基于机器学习与图片识别的可进化违禁图片批量处理方法,其特征在于,所述的步骤3)中的“自定义模式”为用户通过调节参数来获得一个自己最合适的识别模式。
5.根据权利要求2所述的一种基于机器学习与图片识别的可进化违禁图片批量处理方法,其特征在于,所述的步骤5)中用户获取自身的数据集具体为:
(1)找到需要训练的图片所在的目录,确认后则找到文件夹中的第一张图片。
(2)如果图片中存在目标识别物,对图片中的目标识别物品进行框选操作并对目标识别物进行命名,生成此图片对应的xml文件;
(3)进入后一图片,重复(2)操作直至此文件夹中所有图片都进行了处理。
CN201610771081.4A 2016-08-30 2016-08-30 基于机器学习与图片识别的可进化违禁图片批量处理方法 Pending CN106446932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610771081.4A CN106446932A (zh) 2016-08-30 2016-08-30 基于机器学习与图片识别的可进化违禁图片批量处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610771081.4A CN106446932A (zh) 2016-08-30 2016-08-30 基于机器学习与图片识别的可进化违禁图片批量处理方法

Publications (1)

Publication Number Publication Date
CN106446932A true CN106446932A (zh) 2017-02-22

Family

ID=58091825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610771081.4A Pending CN106446932A (zh) 2016-08-30 2016-08-30 基于机器学习与图片识别的可进化违禁图片批量处理方法

Country Status (1)

Country Link
CN (1) CN106446932A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229946A (zh) * 2017-05-11 2017-10-03 宸盛科华(北京)科技有限公司 基于人工神经网络的色情图片检测方法及装置
WO2020000879A1 (zh) * 2018-06-27 2020-01-02 北京字节跳动网络技术有限公司 图像识别方法和装置
CN115546824A (zh) * 2022-04-18 2022-12-30 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
CN115565201A (zh) * 2022-04-18 2023-01-03 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
WO2023218839A1 (ja) * 2022-05-09 2023-11-16 ソニーグループ株式会社 画像処理方法、情報提供装置及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117413A (zh) * 2011-03-01 2011-07-06 金华就约我吧网络科技有限公司 基于多层特征的不良图像自动过滤方法
CN104036285A (zh) * 2014-05-12 2014-09-10 新浪网技术(中国)有限公司 垃圾图片识别方法及系统
CN104063720A (zh) * 2014-07-03 2014-09-24 浙江大学 基于深度玻尔兹曼机的电商网站违禁商品图片检测方法
CN104182735A (zh) * 2014-08-18 2014-12-03 厦门美图之家科技有限公司 训练优化的基于卷积神经网络的色情图像或视频检测方法
CN104992177A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深层卷积神经网络的网络色情图像检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117413A (zh) * 2011-03-01 2011-07-06 金华就约我吧网络科技有限公司 基于多层特征的不良图像自动过滤方法
CN104036285A (zh) * 2014-05-12 2014-09-10 新浪网技术(中国)有限公司 垃圾图片识别方法及系统
CN104063720A (zh) * 2014-07-03 2014-09-24 浙江大学 基于深度玻尔兹曼机的电商网站违禁商品图片检测方法
CN104182735A (zh) * 2014-08-18 2014-12-03 厦门美图之家科技有限公司 训练优化的基于卷积神经网络的色情图像或视频检测方法
CN104992177A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深层卷积神经网络的网络色情图像检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔鹏飞等: ""面向网络内容安全的图像识别技术研究"", 《信息网络安全》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229946A (zh) * 2017-05-11 2017-10-03 宸盛科华(北京)科技有限公司 基于人工神经网络的色情图片检测方法及装置
WO2020000879A1 (zh) * 2018-06-27 2020-01-02 北京字节跳动网络技术有限公司 图像识别方法和装置
CN115546824A (zh) * 2022-04-18 2022-12-30 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
CN115565201A (zh) * 2022-04-18 2023-01-03 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
CN115546824B (zh) * 2022-04-18 2023-11-28 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
CN115565201B (zh) * 2022-04-18 2024-03-26 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
WO2023218839A1 (ja) * 2022-05-09 2023-11-16 ソニーグループ株式会社 画像処理方法、情報提供装置及び情報処理プログラム

Similar Documents

Publication Publication Date Title
CN106446932A (zh) 基于机器学习与图片识别的可进化违禁图片批量处理方法
Geslin et al. How color properties can be used to elicit emotions in video games
CN110175325B (zh) 基于词向量和句法特征的评论分析方法及可视化交互界面
CN110390647A (zh) 基于环形对抗生成网络的oct图像去噪方法及装置
CN104679825B (zh) 基于网络文本的地震宏观异常信息获取与筛选方法
CN111401722B (zh) 智能决策方法和智能决策系统
CN108596338A (zh) 一种神经网络训练集的获取方法及其系统
CN108664932A (zh) 一种基于多源信息融合的学习情感状态识别方法
CN111159572B (zh) 推荐内容的审核方法、装置、电子设备及存储介质
JP2022547248A (ja) コンテンツ配信画像の自動生成のためのスケーラブルアーキテクチャ
CN108537277A (zh) 一种图像分类识别的方法
CN111652822A (zh) 一种基于生成对抗网络的单幅图像阴影去除方法及系统
CN105183780A (zh) 基于改进agnes算法的协议分类方法
CN109345133A (zh) 基于大数据和深度学习的评审方法和机器人系统
CN110781633A (zh) 基于深度学习模型的图文设计质量检测方法、装置及系统
Kumar et al. A filter-wrapper based feature selection for optimized website quality prediction
CN116663530B (zh) 数据生成方法、装置、电子设备及存储介质
Zhang et al. Classification and recognition of fish farming by extraction new features to control the economic aquatic product
Carlisi et al. Using genetic algorithms to uncover individual differences in how humans represent facial emotion
CN107729909A (zh) 一种属性分类器的应用方法及装置
CN116451207A (zh) 一种多要素语义验证码及其生成方法
JPWO2018083853A1 (ja) 視野感度推定装置、視野感度推定装置の制御方法、及びプログラム
Gao et al. A robust improved network for facial expression recognition
Hertz et al. I haven’ta clue! Expectations based on repetitions and hints facilitate perceptual experience of ambiguous images.
CN109446229A (zh) 基于大数据和深度学习的认定方法和机器人系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication