CN112818150B - 一种图片内容审核方法、装置、设备和介质 - Google Patents

一种图片内容审核方法、装置、设备和介质 Download PDF

Info

Publication number
CN112818150B
CN112818150B CN202110089225.9A CN202110089225A CN112818150B CN 112818150 B CN112818150 B CN 112818150B CN 202110089225 A CN202110089225 A CN 202110089225A CN 112818150 B CN112818150 B CN 112818150B
Authority
CN
China
Prior art keywords
picture
scene
checked
model
auditing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110089225.9A
Other languages
English (en)
Other versions
CN112818150A (zh
Inventor
孙立奋
毛绍荣
杨珉
吴凯迪
许超
陈培实
李敬昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Shilian Technology Co ltd
Original Assignee
Tianyi Shilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Shilian Technology Co ltd filed Critical Tianyi Shilian Technology Co ltd
Priority to CN202110089225.9A priority Critical patent/CN112818150B/zh
Publication of CN112818150A publication Critical patent/CN112818150A/zh
Application granted granted Critical
Publication of CN112818150B publication Critical patent/CN112818150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图片内容审核方法、装置、设备和介质，方法包括：响应于图片审核请求，获取待审核图片；调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别；根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果。本申请解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。

Description

一种图片内容审核方法、装置、设备和介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图片内容审核方法、装置、设备和介质。
背景技术
图片内容审核即审核图片中是否含有违法违规的信息，例如涉黄、涉暴涉恐、涉赌以及用户隐私等信息。在内容审核中，往往有多种违规审核类别，如涉黄审核，个人隐私信息识别等等，而每一种违规识别在通用场景中都难以满足商业要求。如涉黄审核中，对于涉黄与性感往往难以区别，导致机器漏审或者误判；对于个人隐私信息识别，真实场景中往往存在手写用户隐私信息，而现有的技术难以识别这些手写内容而导致个人隐私信息泄露。
因此，如何保证机器审核的误报率以及漏验率满足商业要求是目前亟待解决的问题。
发明内容
本申请提供了一种图片内容审核方法、装置、设备和介质，用于解决现有技术存在审核结果误报率以及漏验率较高的技术问题。
有鉴于此，本申请第一方面提供了一种图片内容审核方法，包括：
响应于图片审核请求，获取待审核图片；
调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别；
根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果。
可选的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之前还包括：
获取各负向类型图片，得到各负向类型数据集，其中，各所述负向类型数据集用于训练对应的所述负向模型；
通过所述场景识别模型对各所述负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；
通过列表存储各所述负向类型数据集对应的所述负向模型和场景类别的对应关系，得到各所述负向模型的场景列表；
相应的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，包括：
根据所述待审核图片的场景类别，通过所述场景列表调用该场景类别对应的所述负向模型进行内容审核，得到所述待审核图片的审核结果。
可选的，所述调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别，之前还包括：
获取所述待审核图片的MD5值；
将所述待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将所述待审核图片的MD5值匹配到的所述预置图片MD5库中的MD5值对应的审核结果作为所述待审核图片的审核结果，当匹配失败时，执行后续步骤。
可选的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之后还包括：
将所述待审核图片的MD5值和所述待审核图片的审核结果存入到所述预置图片MD5库中，以更新所述预置图片MD5库。
可选的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之后还包括：
当所述待审核图片的审核结果为疑似时，对所述待审核图片进行人工审核。
本申请第二方面提供了一种图片内容审核装置，包括：
第一获取单元，用于响应于图片审核请求，获取待审核图片；
第一识别单元，用于调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别；
审核单元，用于根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果。
可选的，还包括：
第二获取单元，用于获取各负向类型图片，得到各负向类型数据集，其中，各所述负向类型数据集用于训练对应的所述负向模型；
第二识别单元，用于通过所述场景识别模型对各所述负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；
存储单元，用于通过列表存储各所述负向类型数据集对应的所述负向模型和场景类别的对应关系，得到各所述负向模型的场景列表；
相应的，所述审核单元具体用于：
根据所述待审核图片的场景类别，通过所述场景列表调用该场景类别对应的所述负向模型进行内容审核，得到所述待审核图片的审核结果。
可选的，还包括：
第三获取单元，用于获取所述待审核图片的MD5值；
匹配单元，用于将所述待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将所述待审核图片的MD5值匹配到的所述预置图片MD5库中的MD5值对应的审核结果作为所述待审核图片的审核结果，当匹配失败时，触发所述第一识别单元。
本申请第三方面提供了一种图片内容审核设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的图片内容审核方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的图片内容审核方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种图片内容审核方法，包括：响应于图片审核请求，获取待审核图片；调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别；根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。
本申请中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种图片内容审核方法的一个流程示意图；
图2为本申请实施例提供的一种图片内容审核方法的另一个流程示意图；
图3为本申请实施例提供的一种图片内容审核装置的一个结构示意图。
具体实施方式
本申请提供了一种图片内容审核方法、装置、设备和介质，用于解决现有技术存在审核结果误报率以及漏验率较高的技术问题。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
术语解释：
误报：将正常的图片识别为违规；
误报率：误报图片量/总的图片量×100%；
漏检：将违规的图片识别为正常；
漏检率：漏验图片量/总的图片量×100%；
疑似：机器无法判断图片是正常还是违规；
Top1准确率：预测概率最高的类别与标签类别一致的图片数量/总的图片量×100%；
Top5准确率：预测概率前5高的类别与标签类别一致的图片数量/总的图片量×100%，往往用于多类别分类中。
为了便于理解，请参阅图1，本申请提供的一种图片内容审核方法的一个实施例，包括：
步骤101、响应于图片审核请求，获取待审核图片。
待审核图片可以为用户直接上传的图片，也可以是由有图片审核需求的第三方提供的。在接收到图片审核请求后，获取对应的待审核图片。
步骤102、调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别。
可以采用现有的场景识别模型对待审核图片进行场景识别，也可以通过采集各场景类别的数据集训练神经网络得到场景识别模型。
步骤103、根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。
在本申请实施例中，负向模型包括涉黄模型、涉暴涉恐模型、涉赌模型和/或隐私模型等，通过不同的负向模型可以识别不同违规类型的待审核图片，具体可以选择图像分类模型、目标检测模型、人脸识别模型和/或文字识别模型作为负向模型进行各种违规类别的审核。
图像分类的主要任务是识别给定图片的类别。传统的图片分类是使用手工设计图片的特征并使用分类器来进行分类。近年来，深度学习在图像处理中的应用越来越广泛，目前图像分类采用卷积网络对图片进行特征自动提取，并实现了端到端的特征提取与分类。在ImageNet大型数据集上，目前最佳的分类模型top1准确率达到了88.61%，top5准确率达到了98.7%。对于图片内容审核而言，通过图像分类模型可以直接将图片划分到不同的类别，如涉黄，涉暴涉恐，涉赌等。
目标检测与图像分类不同，目标检测的主要任务是，对于一张给定的图片，检测该图片是否含有特定的目标，若含有，则识别该目标在这张图的位置，以及该目标具体属于哪一类。对于图片内容审核而言，目标检测模型可以同时识别待审核图片中含有的多个违规目标，有利于减少违规图片的漏验情况。此外，识别图像中特定位置图像的类别，也有利于降低噪声影响，提高类别识别准确率。
人脸识别是目标检测的一个特殊分支。与目标检测不同的是，人脸识别的研究对象是人脸。对于一张给定的图片，人脸识别模型首先会对图片进行人脸检测，获取到人脸的位置，并对人脸进行预处理，如人脸矫正等。此后，会对人脸进行特征提取并进行人脸比对，以此判断图片中是否含有特定的人物；在图片内容审核中，人脸识别模型看用于识别暴恐分子等。
文字识别也是目标检测的一个特殊分支。由于文字的特殊性，如成行出现，不具有封闭的界限（人等目标是有明确界限的）等，对文字的识别与一般的目标检测也有所不同。文字识别大致有两个过程，分别是文本检测以及文字识别。文本检测用以检测图片中的文本块，文字识别用以识别文本块中含有哪些文字。在内容审核中，文字识别模型可以用于识别待审核图片中的文字，并进一步判断这些文字是否含有相关违规信息，例如用户隐私信息等。
在本申请实施例中，不同场景类别的待审核图片采用不同的负向模型进行不同违规类别的审核，通过结合场景模型和负向模型，可以解决负向模型无法解决的审核问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，结合场景类别进行不同违规类型的审核，可以提高审核结果的准确性。
本申请实施例中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。
以上为本申请提供的一种图片内容审核方法的一个实施例，以下为本申请提供的一种图片内容审核方法的另一个实施例。
请参考图2，本申请实施例提供的一种图片内容审核方法，包括：
步骤201、响应于图片审核请求，获取待审核图片。
步骤201的具体内容与步骤101的具体内容一致，在此不再进行赘述。
步骤202、获取待审核图片的MD5值。
可以通过MD5算法获取待审核图片的MD5值，通过MD5算法可以为待审核图片产生一个独一无二的“数字指纹”，即MD5值。通过MD5算法获取待审核图片的MD5值属于现有技术，在此不再进行赘述。
步骤203、将待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将待审核图片的MD5值匹配到的预置图片MD5库中的MD5值对应的审核结果作为待审核图片的审核结果，当匹配失败时，执行步骤204。
预置图片MD5库通过已经审核过的图片构建得到，即对已经审核过的图片，已知其审核结果，通过MD5算法获取其MD5值，然后存储该MD5值与其对应的审核结果，得到预置图片MD5库。在获取到待审核图片的MD5值后，将待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将待审核图片的MD5值匹配到的预置图片MD5库中的MD5值对应的审核结果作为待审核图片的审核结果，当匹配失败时，执行步骤204，通过负向模型进行审核。
在本申请实施例中，通过MD5算法对待审核图片进行过滤，对于已经审核过的类似的图片可有效、快速的过滤掉，对于全新的待审核图片则通过负向模型进行审核，有助于提高审核速度。
步骤204、调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别。
步骤204的具体内容与步骤102的具体内容一致，在此不再进行赘述。
步骤205、根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。
进一步，在根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果之前还包括：获取各负向类型图片，得到各负向类型数据集，其中，各负向类型数据集用于训练对应的负向模型；通过场景识别模型对各负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；通过列表存储各负向类型数据集对应的负向模型和场景类别的对应关系，得到各负向模型的场景列表。
在本申请实施例中获取各负向类型图片，包括涉黄图片、涉暴涉恐图片、涉赌图片和/或隐私图片，每个负向类型图片的数量尽可能多，然后按照具体的业务进行划分，得到涉黄数据集、涉暴涉恐数据集、涉赌数据集和/或隐私数据集等各负向类型数据集。各负向类型数据集可以用于训练对应的负向模型。
通过调用场景识别模型对各负向类型数据集进行场景识别，得到各负向类型数据集的场景类别，然后通过列表存储各负向类型数据集对应的负向模型和场景类别的对应关系，得到各负向模型的场景列表。具体的，调用场景模型对涉黄数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到涉黄模型对应的涉黄场景列表pornList；调用场景模型对涉暴涉恐数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到涉暴涉恐模型对应的涉暴涉恐场景列表terrorList；调用场景模型对涉赌数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到涉赌模型对应的涉赌场景列表gambleList；调用场景模型对隐私数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到隐私模型对应的隐私场景列表privateList。
通过场景识别模型获取到待审核图片的场景类别后，结合场景列表（pornList、politicsList、terrorList、gambleList、privateList）调用该场景类别对应的负向模型进行审核，例如，某一待审核图片的场景类别为卧室场景，而pornList和privateList中均记录有该卧室场景类别，则调用涉黄模型和隐私模型对该待审核图片进行内容审核，若该卧室场景中存在相应的违规类别，则得到的该待审核图片的审核结果为违规，若涉黄模型和隐私模型都识别为正常，则该待审核图片的审核结果为正常，审核结果还包括疑似，即负向模型无法判断待审核图片是否违规，当待审核图片的审核结果为疑似时，对待审核图片进行人工审核，以保证违规图片不漏审，正常图片不误判。
本申请实施例中，通过收集各负向类型数据集并对其进行场景识别，以挖掘各负向模型与场景类别之间的对应关系，将场景不限的内容审核问题转化成多个抽象场景下的小问题，可以实现对不同场景类别的内容审核，以降低审核结果的误报率和漏验率。本申请实施例中的图片内容审核方法可以实现审核误报率低于千分之一，漏验率低于百万分之五的商业要求，大大降低了人工审核量，提高了审核效率和准确性。
进一步，本申请实施例在根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果之后还包括：将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库。
对于匹配失败的待审核图片，通过负向模型或人工审核得到审核结果后，可以将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库，使得下次审核到类似的图片时，可以通过MD5算法快速审核，提高审核速度。
本申请实施例中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。
进一步，在本申请实施例中，通过MD5算法对待审核图片进行过滤，对于已经审核过的类似的图片可有效、快速的审核，提高了审核速度；对于全新的待审核图片，通过结合场景识别模型和负向模型进行内容审核，在得到审核结果后，将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库，使得下次审核到类似的图片时，可以通过MD5算法快速审核，提高审核速度。
进一步，在本申请实施例中，当待审核图片的审核结果为疑似时，对待审核图片进行人工审核，以保证违规图片不漏审，正常图片不误判。
以上为本申请提供的一种图片内容审核方法的另一个实施例，以下为本申请提供的一种图片内容审核装置的一个实施例。
请参阅图3，本申请实施例提供的一种图片内容审核装置，包括：
第一获取单元，用于响应于图片审核请求，获取待审核图片；
第一识别单元，用于调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别；
审核单元，用于根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。
可选的，还包括：
第二获取单元，用于获取各负向类型图片，得到各负向类型数据集，其中，各负向类型数据集用于训练对应的负向模型；
第二识别单元，用于通过场景识别模型对各负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；
存储单元，用于通过列表存储各负向类型数据集对应的负向模型和场景类别的对应关系，得到各负向模型的场景列表；
相应的，审核单元具体用于：
根据待审核图片的场景类别，通过场景列表调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。
可选的，还包括：
第三获取单元，用于获取待审核图片的MD5值；
匹配单元，用于将待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将待审核图片的MD5值匹配到的预置图片MD5库中的MD5值对应的审核结果作为待审核图片的审核结果，当匹配失败时，触发第一识别单元。
作为进一步地改进，还包括：
更新单元，用于将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库。
作为进一步地改进，还包括：
人工审核单元，用于当待审核图片的审核结果为疑似时，对待审核图片进行人工审核。
本申请实施例中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。
进一步，在本申请实施例中，通过MD5算法对待审核图片进行过滤，对于已经审核过的类似的图片可有效、快速的审核，提高了审核速度；对于全新的待审核图片，通过结合场景识别模型和负向模型进行内容审核，在得到审核结果后，将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库，使得下次审核到类似的图片时，可以通过MD5算法快速审核，提高审核速度。
进一步，在本申请实施例中，当待审核图片的审核结果为疑似时，对待审核图片进行人工审核，以保证违规图片不漏审，正常图片不误判。
本申请实施例还提供了一种图片内容审核设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的图片内容审核方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的图片内容审核方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种图片内容审核方法，其特征在于，包括：
响应于图片审核请求，获取待审核图片；
调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别；
获取各负向类型图片，得到各负向类型数据集，其中，各所述负向类型数据集用于训练对应的负向模型；所述负向模型包括涉黄模型、涉暴涉恐模型、涉赌模型和/或隐私模型；
通过所述场景识别模型对各所述负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；
通过列表存储各所述负向类型数据集对应的所述负向模型和场景类别的对应关系，得到各所述负向模型的场景列表；
根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，包括：
根据所述待审核图片的场景类别，通过所述场景列表调用该场景类别对应的所述负向模型进行内容审核，得到所述待审核图片的审核结果。
2.根据权利要求1所述的图片内容审核方法，其特征在于，所述调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别，之前还包括：
获取所述待审核图片的MD5值；
将所述待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将所述待审核图片的MD5值匹配到的所述预置图片MD5库中的MD5值对应的审核结果作为所述待审核图片的审核结果，当匹配失败时，执行后续步骤。
3.根据权利要求2所述的图片内容审核方法，其特征在于，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之后还包括：
将所述待审核图片的MD5值和所述待审核图片的审核结果存入到所述预置图片MD5库中，以更新所述预置图片MD5库。
4.根据权利要求1所述的图片内容审核方法，其特征在于，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之后还包括：
当所述待审核图片的审核结果为疑似时，对所述待审核图片进行人工审核。
5.一种图片内容审核装置，其特征在于，包括：
第一获取单元，用于响应于图片审核请求，获取待审核图片；
第一识别单元，用于调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别；
第二获取单元，用于获取各负向类型图片，得到各负向类型数据集，其中，各所述负向类型数据集用于训练对应的负向模型；所述负向模型包括涉黄模型、涉暴涉恐模型、涉赌模型和/或隐私模型；
第二识别单元，用于通过所述场景识别模型对各所述负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；
存储单元，用于通过列表存储各所述负向类型数据集对应的所述负向模型和场景类别的对应关系，得到各所述负向模型的场景列表；
审核单元，用于根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果；所述审核单元具体用于：
根据所述待审核图片的场景类别，通过所述场景列表调用该场景类别对应的所述负向模型进行内容审核，得到所述待审核图片的审核结果。
6.根据权利要求5所述的图片内容审核装置，其特征在于，还包括：
第三获取单元，用于获取所述待审核图片的MD5值；
匹配单元，用于将所述待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将所述待审核图片的MD5值匹配到的所述预置图片MD5库中的MD5值对应的审核结果作为所述待审核图片的审核结果，当匹配失败时，触发所述第一识别单元。
7.一种图片内容审核设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的图片内容审核方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的图片内容审核方法。
CN202110089225.9A 2021-01-22 2021-01-22 一种图片内容审核方法、装置、设备和介质 Active CN112818150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110089225.9A CN112818150B (zh) 2021-01-22 2021-01-22 一种图片内容审核方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110089225.9A CN112818150B (zh) 2021-01-22 2021-01-22 一种图片内容审核方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112818150A CN112818150A (zh) 2021-05-18
CN112818150B true CN112818150B (zh) 2024-05-07

Family

ID=75858894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110089225.9A Active CN112818150B (zh) 2021-01-22 2021-01-22 一种图片内容审核方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112818150B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946703B (zh) * 2021-10-20 2024-04-19 天翼视联科技有限公司 一种图片漏检处理方法及其相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
CN108898082A (zh) * 2018-06-19 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN109284894A (zh) * 2018-08-10 2019-01-29 广州虎牙信息科技有限公司 图片审核方法、装置、存储介质和计算机设备
CN109543516A (zh) * 2018-10-16 2019-03-29 深圳壹账通智能科技有限公司 签约意向判断方法、装置、计算机设备和存储介质
CN109597902A (zh) * 2018-12-20 2019-04-09 深圳市丰巢科技有限公司 图片审核方法、装置、设备及存储介质
CN110309388A (zh) * 2018-03-09 2019-10-08 阿里巴巴集团控股有限公司 数据对象信息违法风险识别方法、装置以及计算机系统
CN110956123A (zh) * 2019-11-27 2020-04-03 中移（杭州）信息技术有限公司 一种富媒体内容的审核方法、装置、服务器及存储介质
CN111079816A (zh) * 2019-12-11 2020-04-28 北京金山云网络技术有限公司 图像的审核方法、装置和服务器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110047388A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for remotely controlling access to pornographic content of an image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
CN110309388A (zh) * 2018-03-09 2019-10-08 阿里巴巴集团控股有限公司 数据对象信息违法风险识别方法、装置以及计算机系统
CN108898082A (zh) * 2018-06-19 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN109284894A (zh) * 2018-08-10 2019-01-29 广州虎牙信息科技有限公司 图片审核方法、装置、存储介质和计算机设备
CN109543516A (zh) * 2018-10-16 2019-03-29 深圳壹账通智能科技有限公司 签约意向判断方法、装置、计算机设备和存储介质
CN109597902A (zh) * 2018-12-20 2019-04-09 深圳市丰巢科技有限公司 图片审核方法、装置、设备及存储介质
CN110956123A (zh) * 2019-11-27 2020-04-03 中移（杭州）信息技术有限公司 一种富媒体内容的审核方法、装置、服务器及存储介质
CN111079816A (zh) * 2019-12-11 2020-04-28 北京金山云网络技术有限公司 图像的审核方法、装置和服务器

Also Published As

Publication number Publication date
CN112818150A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN107437038B (zh) 一种网页篡改的检测方法及装置
CN102945366B (zh) 一种人脸识别的方法及装置
CN109302410A (zh) 一种内部用户异常行为检测方法、系统及计算机存储介质
CN109819126B (zh) 一种异常号码识别方法及装置
CN113688630B (zh) 文本内容审核方法、装置、计算机设备和存储介质
CN107016298B (zh) 一种网页篡改监测方法及装置
CN111861240A (zh) 可疑用户识别方法、装置、设备及可读存储介质
CN105303442A (zh) 网上银行开户账号检测方法和装置
CN112464030B (zh) 一种可疑人员确定方法及装置
CN111177367A (zh) 案件分类方法、分类模型训练方法及相关产品
CN111753642B (zh) 一种确定关键帧的方法及装置
CN111027400A (zh) 一种活体检测方法及装置
CN115205766A (zh) 基于区块链的网络安全异常视频大数据检测方法及系统
CN112818150B (zh) 一种图片内容审核方法、装置、设备和介质
CN112380922A (zh) 复盘视频帧确定方法、装置、计算机设备和存储介质
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN113920335A (zh) 基于深度学习的图像和文本嵌入的药物标签识别方法
CN114021556A (zh) 基于自然语言处理技术的日志敏感数据检测方法及系统
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN115688107B (zh) 一种涉诈app检测系统和方法
US9323987B2 (en) Apparatus and method for detecting forgery/falsification of homepage
CN114817518B (zh) 基于大数据档案识别的证照办理方法、系统及介质
CN109409091A (zh) 检测Web页面的方法、装置、设备以及计算机存储介质
CN108920700B (zh) 一种虚假图片识别方法及装置
CN114676428A (zh) 基于动态特征的应用程序恶意行为检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211215

Address after: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200040

Applicant after: Tianyi Digital Life Technology Co.,Ltd.

Address before: 1 / F and 2 / F, East Garden, Huatian International Plaza, 211 Longkou Middle Road, Tianhe District, Guangzhou, Guangdong 510000

Applicant before: Century Dragon Information Network Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240315

Address after: Unit 1, Building 1, China Telecom Zhejiang Innovation Park, No. 8 Xiqin Street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100

Applicant after: Tianyi Shilian Technology Co.,Ltd.

Country or region after: China

Address before: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200040

Applicant before: Tianyi Digital Life Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant