CN109491970B - 面向云存储的不良图片检测方法、装置及存储介质 - Google Patents
面向云存储的不良图片检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109491970B CN109491970B CN201811184249.7A CN201811184249A CN109491970B CN 109491970 B CN109491970 B CN 109491970B CN 201811184249 A CN201811184249 A CN 201811184249A CN 109491970 B CN109491970 B CN 109491970B
- Authority
- CN
- China
- Prior art keywords
- picture
- bad
- pictures
- storage space
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 7
- RRNIZKPFKNDSRS-UHFFFAOYSA-N Bensulide Chemical compound CC(C)OP(=S)(OC(C)C)SCCNS(=O)(=O)C1=CC=CC=C1 RRNIZKPFKNDSRS-UHFFFAOYSA-N 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000002950 deficient Effects 0.000 description 26
- 238000012550 audit Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及云存储技术，提供了一种面向云存储的不良图片检测方法、装置及存储介质。该方法包括：为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值；利用预先确定的不良图片识别系统对所述每个存储空间中存储的图片进行识别，将识别分值大于所述第一判定阈值的图片导入预设数据库；从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片；接收对抽取图片的人工审核结果，将所述第一判定阈值调整为第二判定阈值；将待识别图片输入所述不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出不良图片类型。利用本发明，可以减少需要人工审核的图片数量，提高不良图片检测效率。
Description
技术领域
本发明涉及图片识别技术领域，尤其涉及一种面向云存储的不良图片检测方法、装置及计算机可读存储介质。
背景技术
云存储(cloud storage)是在云计算(cloud computing)概念上延伸和发展出来的概念，可以实现规模效应，提高存储效率，降低运维成本。随着云存储技术的发展和推广，越来越多的企业与个人用户选择将大量图片上传并保存在云存储系统，传统的人工审核的方式显然已不适用于云存储系统的图片审核，如何检测和过滤云存储系统海量图片中的不良图片(例如涉黄、涉暴、涉政等)，已成为研究者密切关注的问题。
目前，有些云平台已开始利用不良图片识别系统对图片进行识别，然而，现有的不良图片识别系统都是根据预设的判定阈值将逻辑回归值(图片属于不良图片的概率)映射到二元类别，决定是否删除图片或图片是否需要复审。如果所述判定阈值过高，则不良图片的漏检率将很高，无法达到图片审核的目的；如果所述判定阈值过低，则误删图片数量或需要复审的图片数量太大，大大增加了不良图片检测成本。
发明内容
鉴于以上原因，有必要提供一种面向云存储的不良图片检测方法、装置及计算机可读存储介质，用来识别多种不同类型的不良图片，提高不良图片检测的效率和质量，降低不良图片检测成本。
为实现上述目的，本发明提供一种面向云存储的不良图片检测方法，应用于电子装置，该方法包括：
设置步骤：为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值；
识别步骤：利用预先确定的不良图片识别系统对云存储系统的每个存储空间中存储的图片进行识别，将识别分值大于所述第一判定阈值的图片导入预设数据库，将大于所述第一判定阈值的识别分值对应的不良图片的类型作为该预设数据库中图片的类型标签；
抽取步骤：从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片；
计算步骤：接收对抽取图片的人工审核结果，计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值，将该平均值作为该存储空间不良图片的第二判定阈值；及
检测步骤：将待检测图片输入所述预先确定的不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。
优选地，所述第二判定阈值的计算公式为：
a＝sum(a1：ax)/X，b＝sum(b1：by)/Y，c＝sum(c1：cz)/Z
其中，a表示某存储空间第一类型不良图片的第二判定阈值，b表示该存储空间第二类型不良图片的第二判定阈值，c表示该存储空间第三类型不良图片的第二判定阈值，sum(a1：ax)表示该存储空间X张第一类型不良图片识别分值之和，sum(b1：by)表示该存储空间Y张第二类型不良图片识别分值之和，sum(c1：cz)表示该存储空间Z张第三类型不良图片识别分值之和。
优选地，该方法还包括：
将人工审核结果与所述类型标签不同的图片存储至预设样本库，每隔预设时间间隔利用所述预设样本库对所述不良图片识别系统进行训练更新。
优选地，该方法还包括：
为所述第二判定阈值设置更新周期，根据人工审核结果定期更新所述第二判定阈值。
优选地，该方法还包括：
在将图片判定为不良图片后，从所述云存储系统的对应存储空间中删除该图片。
本发明还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括不良图片检测程序，该不良图片检测程序被所述处理器执行时实现如下步骤：
设置步骤：为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值；
识别步骤：利用预先确定的不良图片识别系统对云存储系统的每个存储空间中存储的图片进行识别，将识别分值大于所述第一判定阈值的图片导入预设数据库，将大于所述第一判定阈值的识别分值对应的不良图片的类型作为该预设数据库中图片的类型标签；
抽取步骤：从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片；
计算步骤：接收对抽取图片的人工审核结果，计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值，将该平均值作为该存储空间不良图片的第二判定阈值；及
检测步骤：将待检测图片输入所述预先确定的不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。
优选地，所述第二判定阈值的计算公式为：
a＝sum(a1：ax)/X，b＝sum(b1：by)/Y，c＝sum(c1：cz)/Z
其中，a表示某存储空间第一类型不良图片的第二判定阈值，b表示该存储空间第二类型不良图片的第二判定阈值，c表示该存储空间第三类型不良图片的第二判定阈值，sum(a1：ax)表示该存储空间X张第一类型不良图片识别分值之和，sum(b1：by)表示该存储空间Y张第二类型不良图片识别分值之和，sum(c1：cz)表示该存储空间Z张第三类型不良图片识别分值之和。
优选地，所述不良图片检测程序被所述处理器执行时还实现如下步骤：
将人工审核结果与所述类型标签不同的图片存储至预设样本库，每隔预设时间间隔利用所述预设样本库对所述不良图片识别系统进行训练更新。
优选地，所述不良图片检测程序被所述处理器执行时还实现如下步骤：
在将图片判定为不良图片后，从所述云存储系统的对应存储空间中删除该图片。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有不良图片检测程序，该不良图片检测程序被处理器执行时实现如上所述的不良图片检测方法的任意步骤。
本发明提供的面向云存储的不良图片检测方法、装置及计算机可读存储介质，通过为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值，利用预先确定的不良图片识别系统将识别分值大于所述第一判定阈值的疑似不良图片导入预设数据库，然后根据人工审核结果利用预先确定的第二判定阈值的计算公式得到不良图片的第二判定阈值，最后将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，并对不良图片执行删除操作。因为可以为云存储系统的每个存储空间单独设置第一判定阈值，每个存储空间的第二判定阈值也可能各不相同，所以本发明可以根据实际需求灵活地对云存储系统中的图片进行管理和检测。通过对不良图片判定阈值的调整及其合理值的确定，本发明还可以降低不良图片检测成本，提高不良图片检测的质量和效率。
附图说明
图1为本发明电子装置一实施例的应用环境示意图；
图2为图1中不良图片检测程序一实施例的程序模块图；
图3为本发明面向云存储的不良图片检测方法第一实施例的流程示意图；
图4为本发明面向云存储的不良图片检测方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明白，下面将结合若干附图及实施例，对本发明进行进一步的详细说明。应当理解的是，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种电子装置。参照图1所示，为本发明电子装置1一实施例的应用环境示意图。在该实施例中，电子装置1与云存储系统3通过网络2连接，与不良图片识别系统5通过网络4链接，网络2和网络4可以是局域网、广域网、城域网或互联网等等类型的网络，可以是有线网络，也可以是无线网络。不良图片识别系统5可以与云存储系统3通过预设接口连接。云存储系统3中存储有海量图片，不良图片识别系统5可以对任意图片输出识别分值，该识别分值用来衡量图片与不良图片的接近程度。电子装置1是本发明面向云存储的不良图片检测方法的执行主体，该电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备，用于配合所述不良图片识别系统5对所述云存储系统3中的图片进行检测。
在一个实施例中，当所述电子装置1为服务器时，该服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等的一种或几种。
在其他实施例中，所述电子装置1还可以集成于所述云存储系统3中，所述不良图片识别系统5也可以集成在所述电子装置1上。
所述电子装置1包括存储器11、处理器12及网络接口13。
其中，存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器11，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储不良图片检测程序10以及从云存储系统3中导出的图片等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行不良图片检测程序10等。
所述网络接口13可以包括标准的有线接口、无线接口(如WI-FI接口)。通常用于在所述电子装置1与其他电子设备或系统之间建立通信连接。
图1仅示出了具有组件11-13和不良图片检测程序10的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括输入单元比如键盘(Keyboard)，语音输入装置比如麦克风(Microphone)等具有语音识别功能的设备以及语音输出装置比如音响、耳机等。用户可以利用所述输入单元或所述语音输入装置完成对不良图片的第一判定阈值的设置，所述语音输出装置可以用来输出图片的所属类型。
可选地，该电子装置1还可以包括显示器，也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(OrganicLight-Emitting Diode，OLED)显示器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
在上述实施例中，所述处理器12执行所述存储器11中存储的不良图片检测程序10时可以实现如下步骤：
设置步骤：为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值；
识别步骤：利用预先确定的不良图片识别系统对云存储系统的每个存储空间中存储的图片进行识别，将识别分值大于所述第一判定阈值的图片导入预设数据库，将大于所述第一判定阈值的识别分值对应的不良图片的类型作为该预设数据库中图片的类型标签；
抽取步骤：从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片；
计算步骤：接收对抽取图片的人工审核结果，计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值，将该平均值作为该存储空间不良图片的第二判定阈值；及
检测步骤：将待检测图片输入所述预先确定的不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。
关于上述步骤的详细介绍，请参照下述图2关于不良图片检测程序10实施例的程序模块图以及图3、图4关于面向云存储的不良图片检测方法实施例的流程图的说明。
在其他实施例中，所述不良图片检测程序10可以被分割为多个模块，该多个模块被存储于存储器12中，并由处理器13执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
参照图2所示，为图1中不良图片检测程序10一实施例的程序模块图。在本实施例中，所述不良图片检测程序10可以被分割为：设置模块110、接收模块120、抽取模块130、计算模块140和检测模块150。
所述设置模块110，用于为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值。所述不良图片可以包括色情、暴恐和政治敏感等类型，每种不良图片类型对应所述第一判定阈值中的一项。例如，云存储系统3存储空间A的第一判定阈值的色情项分值可以设置为80、暴恐项分值可以设置为70、政治敏感项分值可以设置为60。在一个实施例中，所述存储空间为云存储系统为用户提供的虚拟存储空间，是存储对象(object)的容器。例如，用户可以通过在云存储系统中设置bucket，将每个bucket作为一个存储空间，其中，每个bucket的容量可以是无上限的，而bucket的名称是唯一确定的。
所述接收模块120，用于接收不良图片识别系统5对云存储系统的每个存储空间中存储的图片进行识别得到的识别分值，并将识别分值大于所述第一判定阈值的图片存储至预设数据库。所述不良图片识别系统5用于对云存储系统3每个存储空间中的图片进行识别，得到每张图片的识别分值。若某图片的识别分值大于所述第一判定阈值中的一项或多项，则该图片将被认为是疑似不良图片，将被导入到预设数据库中。依上述例子，假设所述不良图片识别系统5对所述存储空间A中某图片的识别分值为{“porn”：90，“horror”：10，“politics”：5}，因为该图片识别分值的色情项得分(90)大于所述第一判定阈值的色情项的设置分值(80)，而暴恐项和政治敏感项的识别分值均小于所述第一判定阈值，所以“色情”将作为该图片的类型标签。所述接收模块120在接收到该图片的识别分值后，会将该图片存储至预设数据库中，等待接受人工审核。
所述接收模块120，还用于接收人工对疑似不良图片的审核结果。
所述抽取模块130，用于从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片。识别分值大于所述第一判定阈值的疑似不良图片按照在所述云存储系统3中的存储空间以及类型标签被分类存储至预设数据库中，抽取模块130根据所述存储空间和所述类型标签，随机抽取预设数量的疑似不良图片。例如，为每个存储空间分别随机抽取一万张类型标签为“色情”、“暴恐”和“政治敏感”的疑似不良图片。在一个实施例中，抽取图片经过人工审核后，人工审核结果将作为所述疑似不良图片的最终的审核标签。所述人工审核结果即对所述疑似不良图片的分类结果，包括“色情图片”、“暴恐图片”、“政治敏感图片”和“正常图片”。
所述计算模块140，用于计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值。该平均值将被作为对应存储空间中不良图片的第二判定阈值。所述第二判定阈值的计算公式为：
a＝sum(a1：ax)/X，b＝sum(b1：by)/Y，c＝sum(c1：cz)/Z
其中，a表示某存储空间第一类型不良图片的第二判定阈值，b表示该存储空间第二类型不良图片的第二判定阈值，c表示该存储空间第三类型不良图片的第二判定阈值，sum(a1：ax)表示该存储空间X张第一类型不良图片识别分值之和，sum(b1：by)表示该存储空间Y张第二类型不良图片识别分值之和，sum(c1：cz)表示该存储空间Z张第三类型不良图片识别分值之和。依上述例子，所述第一类型不良图片可以为色情图片，所述第二类型不良图片可以为暴恐图片，所述第三类型不良图片可以为政治敏感图片，所述各类型不良图片的识别分值为对应不良图片类型项的识别分值。
所述检测模块150，用于将待检测图片输入所述不良图片识别系统5，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。例如，假设色情图片的第二判定阈值为85，暴恐图片的第二判定阈值为75，政治敏感图片的第二判定阈值为65，待检测图片的识别分值为{“porn”：90，“horror”：10，“politics”：5}，因为该待检测图片识别分值的色情项得分(90)大于色情图片的第二判定阈值(85)，而暴恐项和政治敏感项的识别分值均小于所述第二判定阈值，所以该待检测图片为不良图片，属于色情图片。
此外，本发明还提供一种面向云存储的不良图片检测方法。参照图3所示，为本发明面向云存储的不良图片检测方法第一实施例的流程示意图。电子装置1的处理器12执行存储器11中存储的不良图片检测程序10时实现面向云存储的不良图片检测方法的如下步骤：
步骤S300，设置模块110为云存储系统3的每个存储空间设置每种类型不良图片的第一判定阈值。所述不良图片可以包括色情、暴恐和政治敏感等类型，每种不良图片类型对应所述第一判定阈值中的一项。例如，云存储系统3存储空间A的第一判定阈值的色情项分值可以设置为80、暴恐项分值可以设置为70、政治敏感项分值可以设置为60。
在该实施例中，所述存储空间为云存储系统为用户提供的虚拟存储空间，是存储对象(object)的容器。例如，用户可以通过在云存储系统中设置bucket，将每个bucket作为一个存储空间，其中，每个bucket的容量可以是无上限的，而bucket的名称是唯一确定的。
步骤S310，接收模块120接收不良图片识别系统5对云存储系统3的每个存储空间中存储的图片进行识别得到的分值，并将识别分值大于所述第一判定阈值的图片存储至预设数据库。如果图片的识别分值大于所述第一判定阈值中的一项或几项，则该图片将被认为是疑似不良图片，将被导入到预设数据库中。依上述例子，假设所述不良图片识别系统5对所述存储空间A中某图片的识别分值为{“porn”：90，“horror”：10，“politics”：5}，因为该图片识别分值的色情项得分(90)大于所述第一判定阈值的色情项的设置分值(80)，而暴恐项和政治敏感项的识别分值均小于所述第一判定阈值，所以该图片将被存储至预设数据库中，“色情”将作为该图片的类型标签。
步骤S320，抽取模块130从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片。识别分值大于所述第一判定阈值的疑似不良图片按照在所述云存储系统3中的存储空间以及类型标签被分类存储至预设数据库中，抽取模块130根据所述存储空间和所述类型标签，随机抽取预设数量的疑似不良图片。例如，为每个存储空间分别随机抽取一万张类型标签为“色情”、“暴恐”和“政治敏感”的疑似不良图片。在一个实施例中，抽取图片经过人工审核后，人工审核结果将作为所述疑似不良图片的最终的审核标签。所述人工审核结果即对所述疑似不良图片的分类结果，包括“色情图片”、“暴恐图片”、“政治敏感图片”和“正常图片”。
步骤S330，计算模块140计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值，将该平均值将被作为对应存储空间中不良图片的第二判定阈值。
所述第二判定阈值的计算公式为：
a＝sum(a1：ax)/X，b＝sum(b1：by)/Y，c＝sum(c1：cz)/Z
其中，a表示某存储空间第一类型不良图片的第二判定阈值，b表示该存储空间第二类型不良图片的第二判定阈值，c表示该存储空间第三类型不良图片的第二判定阈值，sum(a1：ax)表示该存储空间X张第一类型不良图片识别分值之和，sum(b1：by)表示该存储空间Y张第二类型不良图片识别分值之和，sum(c1：cz)表示该存储空间Z张第三类型不良图片识别分值之和。依上述例子，所述第一类型不良图片可以为色情图片，所述第二类型不良图片可以为暴恐图片，所述第三类型不良图片可以为政治敏感图片，所述各类型不良图片的识别分值为对应不良图片类型项的识别分值。
步骤S340，检测模块150将待检测图片输入所述不良图片识别系统5，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。所述待检测图片可以是用户实时上传至云存储系统3某个存储空间中的图片，也可以是云存储系统3某个存储空间中已有的图片，也就是说，本发明可以对用户上传图片进行实时的检测和审核，也可以随时对云存储系统3中已有的图片进行检测和筛查。例如，假设不良图片识别系统5对用户上传至云存储系统3存储空间A的某张待检测图片的识别分值为{“porn”：90，“horror”：10，“politics”：5}，而该存储空间A色情图片的第二判定阈值为85，暴恐图片的第二判定阈值为75，政治敏感图片的第二判定阈值为65，因为该待检测图片识别分值的色情项得分90大于色情图片的第二判定阈值85，而暴恐项和政治敏感项的识别分值均小于所述第二判定阈值，所以检测模块150判定该待检测图片为不良图片，属于色情图片。
参照图4所示，为本发明面向云存储的不良图片检测方法的第二实施例的流程示意图。在本实施例中，所述面向云存储的不良图片检测方法的步骤S400-S430与第一较佳实施例的步骤S300-S330相类似，区别在于该实施例还包括步骤S440-S470。
步骤S440，将人工审核结果与所述类型标签不同的图片存储至预设样本库，每隔预设时间间隔利用所述预设样本库对所述不良图片识别系统进行训练更新；
步骤S450，设置模块110为所述第二判定阈值设置更新周期，根据人工审核结果定期更新所述第二判定阈值；
步骤S460，检测模块150将待检测图片输入预先确定的定期更新的不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型；
步骤S470，在将图片判定为不良图片后，从所述云存储系统的对应存储空间中删除该图片。
在本实施例中，为了保证不良图片识别系统的准确性，每个预设时间间隔(例如，1个月)需要对所述预先确定的不良图片识别系统进行训练更新，更新数据的来源为人工审核结果与所述类型标签不同的图片，将这些图片存储至预设样本库，并为不同人工审核结果的图片定义新的识别分值，例如将人工审核结果为色情图片的色情项识别分值定义为100，将人工审核结果为暴恐图片的暴恐项识别分值定义为100，将人工审核结果为政治敏感图片的政治敏感项识别分值定义为100，将人工审核为正常图片的识别分值的各项定义为0或40。识别分值为0说明图片为完全健康的图片，识别分值为40说明图片中存在性感、武力、政治等相关信息，但不至于造成不良影响。不良图片识别系统的训练更新过程将有利于提高不良图片检测的准确率。
为了进一步减少不良图片的错检率和漏检率，本实施例根据人工审核结果定期更新所述第二判定阈值。例如，若疑似不良图片的人工审核结果全部与其类型标签相符，则说明当前的第二判定阈值可能偏高，可能存在不良图片漏检的情况，可以将当前第二判定阈值减3，作为新的第二判定阈值。若疑似不良图片的人工审核结果出现大量正常图片，则说明当前的第二判定阈值可能偏低，需要为人工审核提高门槛，可以将当前第二判定阈值加3，作为新的第二判定阈值。所述第二判定阈值的更新过程将有利于平衡图片检测效率和图片监测质量。
从云存储系统3的对应存储空间中对不良图片进行删除操作，有助于保证云存储系统3存储图片合规，提高云存储系统3的用户体验。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括不良图片检测程序10，该不良图片检测程序10被所述处理器12执行时实现如下操作：
设置步骤：为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值；
识别步骤：利用预先确定的不良图片识别系统对云存储系统的每个存储空间中存储的图片进行识别，将识别分值大于所述第一判定阈值的图片导入预设数据库，将大于所述第一判定阈值的识别分值对应的不良图片的类型作为该预设数据库中图片的类型标签；
抽取步骤：从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片；
计算步骤：接收对抽取图片的人工审核结果，计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值，将该平均值作为该存储空间不良图片的第二判定阈值；及
检测步骤：将待检测图片输入所述预先确定的不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。
本发明之计算机可读存储介质的具体实施方式与上述面向云存储的不良图片检测方法和电子装置1的具体实施方式大致相同，请参照上述图2关于不良图片检测程序10较佳实施例的程序模块图以及图3、图4关于面向云存储的不良图片检测方法实施例的流程图的详细介绍，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质中，包括若干指令用以使得电子装置执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种面向云存储的不良图片检测方法，其特征在于，该方法包括：
设置步骤：为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值；
识别步骤：利用预先确定的不良图片识别系统对云存储系统的每个存储空间中存储的图片进行识别，当识别分值大于所述第一判定阈值中的一项或多项时，将所述识别分值对应的图片导入预设数据库，将大于所述第一判定阈值的识别分值对应的不良图片的类型作为该预设数据库中图片的类型标签；
抽取步骤：从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片；
计算步骤：接收对抽取图片的人工审核结果，计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值，将该平均值作为该存储空间不良图片的第二判定阈值，其中，所述第二判定阈值的计算公式为：
a＝sum(a1：ax)/X，b＝sum(b1：by)/Y，c＝sum(c1：cz)/Z
其中，a表示某存储空间第一类型不良图片的第二判定阈值，b表示该存储空间第二类型不良图片的第二判定阈值，c表示该存储空间第三类型不良图片的第二判定阈值，sum(a1：ax)表示该存储空间X张第一类型不良图片识别分值之和，sum(b1：by)表示该存储空间Y张第二类型不良图片识别分值之和，sum(c1：cz)表示该存储空间Z张第三类型不良图片识别分值之和；及
检测步骤：将待检测图片输入所述预先确定的不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。
2.如权利要求1所述的不良图片检测方法，其特征在于，该方法还包括：
将人工审核结果与所述类型标签不同的图片存储至预设样本库，每隔预设时间间隔利用所述预设样本库对所述不良图片识别系统进行训练更新。
3.如权利要求1所述的不良图片检测方法，其特征在于，该方法还包括：
为所述第二判定阈值设置更新周期，根据人工审核结果定期更新所述第二判定阈值。
4.如权利要求1所述的不良图片检测方法，其特征在于，该方法还包括：
在将图片判定为不良图片后，从所述云存储系统的对应存储空间中删除该图片。
5.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中包括不良图片检测程序，该不良图片检测程序被所述处理器执行时实现如下步骤：
设置步骤：为云存储系统的每个存储空间设置每种类型不良图片的第一判定阈值；
识别步骤：利用预先确定的不良图片识别系统对云存储系统的每个存储空间中存储的图片进行识别，当识别分值大于所述第一判定阈值中的一项或多项时，将所述识别分值对应的图片导入预设数据库，将大于所述第一判定阈值的识别分值对应的不良图片的类型作为该预设数据库中图片的类型标签；
抽取步骤：从所述预设数据库中为所述每个存储空间随机抽取预设数量的各种类型的图片；
计算步骤：接收对抽取图片的人工审核结果，计算所述每个存储空间中人工审核结果与所述类型标签相同的图片的识别分值的平均值，将该平均值作为该存储空间不良图片的第二判定阈值，其中，所述第二判定阈值的计算公式为：
a＝sum(a1：ax)/X，b＝sum(b1：by)/Y，c＝sum(c1：cz)/Z
其中，a表示某存储空间第一类型不良图片的第二判定阈值，b表示该存储空间第二类型不良图片的第二判定阈值，c表示该存储空间第三类型不良图片的第二判定阈值，sum(a1：ax)表示该存储空间X张第一类型不良图片识别分值之和，sum(b1：by)表示该存储空间Y张第二类型不良图片识别分值之和，sum(c1：cz)表示该存储空间Z张第三类型不良图片识别分值之和；及
检测步骤：将待检测图片输入所述预先确定的不良图片识别系统，将识别分值大于所述第二判定阈值的待检测图片判定为不良图片，输出该待检测图片的不良图片类型。
6.如权利要求5所述的电子装置，其特征在于，所述不良图片检测程序被所述处理器执行时还实现如下步骤：
将人工审核结果与所述类型标签不同的图片存储至预设样本库，每隔预设时间间隔利用所述预设样本库对所述不良图片识别系统进行训练更新。
7.如权利要求5所述的电子装置，其特征在于，所述不良图片检测程序被所述处理器执行时还实现如下步骤：
在将图片判定为不良图片后，从所述云存储系统的对应存储空间中删除该图片。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括不良图片检测程序，该不良图片检测程序被处理器执行时实现如权利要求1至4中任意一项所述的不良图片检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811184249.7A CN109491970B (zh) | 2018-10-11 | 2018-10-11 | 面向云存储的不良图片检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811184249.7A CN109491970B (zh) | 2018-10-11 | 2018-10-11 | 面向云存储的不良图片检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109491970A CN109491970A (zh) | 2019-03-19 |
| CN109491970B true CN109491970B (zh) | 2024-05-10 |
Family
ID=65690161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811184249.7A Active CN109491970B (zh) | 2018-10-11 | 2018-10-11 | 面向云存储的不良图片检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109491970B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111240574B (zh) * | 2020-01-16 | 2021-07-06 | 惠州Tcl移动通信有限公司 | 一种内存清理方法、装置、存储介质及终端 |
| CN112633313B (zh) * | 2020-10-13 | 2021-12-03 | 北京匠数科技有限公司 | 一种网络终端的不良信息识别方法及局域网终端设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404631A (zh) * | 2014-09-15 | 2016-03-16 | 腾讯科技（深圳）有限公司 | 图片识别方法和装置 |
| CN105915953A (zh) * | 2016-06-12 | 2016-08-31 | 腾讯科技（深圳）有限公司 | 直播视频鉴别的方法、装置和系统 |
| CN106055277A (zh) * | 2016-05-31 | 2016-10-26 | 重庆大学 | 一种去中心化的分布式异构存储系统数据分布方法 |
| CN106776842A (zh) * | 2016-11-28 | 2017-05-31 | 腾讯科技（上海）有限公司 | 多媒体数据检测方法及装置 |
| CN106791517A (zh) * | 2016-11-21 | 2017-05-31 | 广州爱九游信息技术有限公司 | 直播视频检测方法、装置及服务端 |
| CN106874296A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格识别方法及装置 |
| CN107729924A (zh) * | 2017-09-25 | 2018-02-23 | 平安科技（深圳）有限公司 | 图片复审概率区间生成方法及图片复审判定方法 |
| CN107943588A (zh) * | 2017-11-22 | 2018-04-20 | 用友金融信息技术股份有限公司 | 数据处理方法、系统、计算机设备和可读存储介质 |
| CN108491866A (zh) * | 2018-03-06 | 2018-09-04 | 平安科技（深圳）有限公司 | 色情图片鉴定方法、电子装置及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951848B (zh) * | 2017-03-13 | 2018-12-28 | 平安科技（深圳）有限公司 | 图片识别的方法及系统 |
| CN107665333A (zh) * | 2017-08-28 | 2018-02-06 | 平安科技（深圳）有限公司 | 一种基于卷积神经网络的不雅图片识别方法、终端、设备及计算机可读存储介质 |
-
2018
- 2018-10-11 CN CN201811184249.7A patent/CN109491970B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404631A (zh) * | 2014-09-15 | 2016-03-16 | 腾讯科技（深圳）有限公司 | 图片识别方法和装置 |
| CN106874296A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格识别方法及装置 |
| CN106055277A (zh) * | 2016-05-31 | 2016-10-26 | 重庆大学 | 一种去中心化的分布式异构存储系统数据分布方法 |
| CN105915953A (zh) * | 2016-06-12 | 2016-08-31 | 腾讯科技（深圳）有限公司 | 直播视频鉴别的方法、装置和系统 |
| CN106791517A (zh) * | 2016-11-21 | 2017-05-31 | 广州爱九游信息技术有限公司 | 直播视频检测方法、装置及服务端 |
| CN106776842A (zh) * | 2016-11-28 | 2017-05-31 | 腾讯科技（上海）有限公司 | 多媒体数据检测方法及装置 |
| CN107729924A (zh) * | 2017-09-25 | 2018-02-23 | 平安科技（深圳）有限公司 | 图片复审概率区间生成方法及图片复审判定方法 |
| CN107943588A (zh) * | 2017-11-22 | 2018-04-20 | 用友金融信息技术股份有限公司 | 数据处理方法、系统、计算机设备和可读存储介质 |
| CN108491866A (zh) * | 2018-03-06 | 2018-09-04 | 平安科技（深圳）有限公司 | 色情图片鉴定方法、电子装置及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109491970A (zh) | 2019-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299258B (zh) | 一种舆情事件检测方法、装置及设备 | |
| CN109582791B (zh) | 文本的风险识别方法及装置 | |
| CN112560453B (zh) | 语音信息校验方法、装置、电子设备及介质 | |
| CN110336838B (zh) | 账号异常检测方法、装置、终端及存储介质 | |
| CN107688742B (zh) | 大规模快速移动应用app检测和分析方法 | |
| CN111612610A (zh) | 风险预警方法及系统、电子设备及存储介质 | |
| CN109491970B (zh) | 面向云存储的不良图片检测方法、装置及存储介质 | |
| CN113961764A (zh) | 诈骗电话的识别方法、装置、设备及存储介质 | |
| CN106301979B (zh) | 检测异常渠道的方法和系统 | |
| CN111338692A (zh) | 基于漏洞代码的漏洞分类方法、装置及电子设备 | |
| CN111400126A (zh) | 网络服务异常数据检测方法、装置、设备和介质 | |
| CN111784360B (zh) | 一种基于网络链接回溯的反欺诈预测方法及系统 | |
| CN110611655B (zh) | 一种黑名单筛选方法和相关产品 | |
| CN113010785A (zh) | 用户推荐方法及设备 | |
| CN112579781A (zh) | 文本归类方法、装置、电子设备及介质 | |
| CN111950623A (zh) | 数据稳定性监控方法、装置、计算机设备及介质 | |
| CN111967437A (zh) | 文本识别方法、装置、设备及存储介质 | |
| CN110598115A (zh) | 一种基于人工智能多引擎的敏感网页识别方法及系统 | |
| CN113344469B (zh) | 欺诈识别方法、装置、计算机设备及存储介质 | |
| CN114240928A (zh) | 板卡质量的分区检测方法、装置、设备及可读存储介质 | |
| CN114021716A (zh) | 一种模型训练的方法、系统及电子设备 | |
| CN112131418A (zh) | 目标标注方法、目标标注装置和计算机可读存储介质 | |
| CN111783786A (zh) | 图片的识别方法、系统、电子设备及存储介质 | |
| CN112286986B (zh) | 一种基于企业族谱的产权分析管理系统 | |
| CN113055396B (zh) | 一种跨终端溯源分析的方法、装置、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |