CN115187104A - 内容审核方法及电子设备和计算机可读存储介质 - Google Patents
内容审核方法及电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115187104A CN115187104A CN202210860656.5A CN202210860656A CN115187104A CN 115187104 A CN115187104 A CN 115187104A CN 202210860656 A CN202210860656 A CN 202210860656A CN 115187104 A CN115187104 A CN 115187104A
- Authority
- CN
- China
- Prior art keywords
- risk
- content
- fields
- rechecking
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012552 review Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 description 19
- 238000012550 audit Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Storage Device Security (AREA)
Abstract
本申请公开了一种内容审核方法及一种电子设备和计算机可读存储介质，该方法包括：识别需要审核的内容的风险标签；确定不同风险领域的安全策略；基于不同风险领域的安全策略对风险标签进行分析，以确定内容在不同风险领域的风险等级；根据内容在不同风险领域的风险等级确定不同风险领域需要人工复核的目标内容；获取目标内容的人工复核结果，并计算不同风险领域对应的目标内容中的违规内容的比例作为不同风险领域的复核风险比例；基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数。本申请提高了内容审核过程中策略的灵活性。
Description
技术领域
本申请涉及数据处理技术领域，更具体地说，涉及内容审核方法及电子设备和计算机可读存储介质。
背景技术
随着用户在互联网平台发布的UGC(User Generated Content，用户生成内容)越来越多，其中存在着大量的不合法不合规不健康的违规内容，因此必须对UGC行审查，防止违规内容在互联网平台上展示和传播。
在相关技术中，审核UGC包含机器审核和人工审核两部分，机器审核为基于预设的安全策略对UGC进行初步审核，人工审核为基于预设的任务分配策略为审核人员分配UGC进行复核。但是，在上述方案中，机器审核的安全策略和人工审核的任务分配策略不具备快速灵活调整的能力，策略的灵活性较差。
因此，如何提高内容审核过程中策略的灵活性是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种内容审核方法及一种电子设备和一种计算机可读存储介质，提高了内容审核过程中策略的灵活性。
为实现上述目的，本申请第一方面提供了一种内容审核方法，包括：
识别需要审核的内容的风险标签；
确定不同风险领域的安全策略；
基于不同风险领域的安全策略对所述风险标签进行分析，以确定不同风险领域需要人工复核的目标内容；
获取所述目标内容的人工复核结果，并计算不同风险领域对应的目标内容中的违规内容的比例作为不同风险领域的复核风险比例；
基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数。
其中，所述识别需要审核的内容的风险标签，包括：
确定需要审核的内容的媒体类型，并利用所述媒体类型对应的识别算法识别所述内容的风险标签。
其中，所述识别需要审核的内容的风险标签，包括：
识别需要审核的内容包含不同风险内容的概率、热度信息、内容发布者信息中任一项或任几项的组合。
其中，所述确定不同风险领域的安全策略，包括：
确定需要审核的内容的应用场景，并确定所述应用场景对应的不同风险领域的安全策略。
其中，所述基于不同风险领域的安全策略对所述风险标签进行分析，以确定不同风险领域需要人工复核的目标内容，包括：
基于不同风险领域的安全策略对所述风险标签进行分析，以确定所述内容在不同风险领域的风险等级；
根据所述内容在不同风险领域的风险等级确定不同风险领域需要人工复核的目标内容。
其中，所述确定所述内容在不同风险领域的风险等级之后，还包括：
利用所述风险等级对应的处置命令对所述内容进行处理。
其中，所述基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数，包括：
若所述复核风险比例大于第一预设值，则调整对应风险领域的安全策略中的阈值参数，以增加对应风险领域的目标内容的数量；
若所述复核风险比例小于第二预设值，则调整对应风险领域的安全策略中的阈值参数，以减少对应风险领域的目标内容的数量；
其中，所述第一预设值大于所述第二预设值。
其中，所述调整对应风险领域的安全策略中的阈值参数，以增加对应风险领域的目标内容的数量，包括：
向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；
若更新后的复核风险比例小于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；
若更新后的复核风险比例大于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数；
相应的，所述调整对应风险领域的安全策略中的阈值参数，以减少对应风险领域的目标内容的数量，包括：
向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；
若更新后的复核风险比例大于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；
若更新后的复核风险比例小于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数。
为实现上述目的，本申请第二方面提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述内容审核方法的步骤。
为实现上述目的，本申请第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容审核方法的步骤。
通过以上方案可知，本申请提供的一种内容审核方法，包括：识别需要审核的内容的风险标签；确定不同风险领域的安全策略；基于不同风险领域的安全策略对所述风险标签进行分析，以确定所述内容在不同风险领域的风险等级；根据所述内容在不同风险领域的风险等级确定不同风险领域需要人工复核的目标内容；获取所述目标内容的人工复核结果，并计算不同风险领域对应的目标内容中的违规内容的比例作为不同风险领域的复核风险比例；基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数。
本申请提供的内容审核方法，通过需要人工复核的目标内容中违规内容的比例评估安全策略的审核效果，根据审核效果自动调整安全策略，不断优化安全策略，提高了策略的灵活性和鲁棒性。另外，优化安全策略可以进一步优化需要人工复核的目标内容，提高人工复核的审核效率，同时降低违规内容的漏审率。本申请还公开了一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为本申请实施例提供的一种内容审核方法的流程图；
图2为本申请实施例提供的另一种内容审核方法的流程图；
图3为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种内容审核方法，提高了内容审核过程中策略的灵活性。
参见图1，本申请实施例提供的一种内容审核方法的流程图，如图1所示，包括：
S101：识别需要审核的内容的风险标签；
本实施例的目的在于对UGC进行审核，可以理解的是，用户在互联网平台发布的UGC通常融合多种媒体类型，例如，图片、文本、音频、视频等，因此，在获取需要审核的内容后，可以将其拆分为单一的媒体类型，方便后续审核。
在本步骤中，为需要审核的内容生成风险标签，风险标签可以理解为内容的可量化描述属性。作为一种可行的实施方式，本步骤可以包括：确定需要审核的内容的媒体类型，并利用所述媒体类型对应的识别算法识别所述内容的风险标签。在具体实施中，通过不同媒体类型对应的识别算法识别属于不同媒体类型的内容，识别算法可以包括AI(人工智能，Artificial Intelligence)算法等，风险标签可以包括：包含不同风险内容的概率、热度信息、内容发布者信息等，风险内容例如涉黄内容、涉黑产内容、涉暴内容、裸露皮肤、敏感词、敏感人物等，内容发布者信息例如内容发布者的账号等级、信用分等，热度信息例如点击率、展示次数、转发次数等。举例说明，若需要审核的内容为图片，则利用图片对应的识别算法对其进行识别，得到该图片的标签：包含涉黄内容的概率、包含敏感人物的概率、裸露皮肤比例、热度信息、内容发布者信息。
S102：确定不同风险领域的安全策略；
在本步骤中，确定机器审核的安全策略，安全策略可以理解为规则集合，规则为多个风险标签的组合，例如：包含敏感人物的概率大于0.5且裸露皮肤比例大于0.3。安全策略用于审核UGC内容是否违规，不同的风险领域对应不同的安全策略，风险领域可以包括涉黄领域、涉暴域、涉黑产领域等。
作为一种优选实施方式，本步骤可以包括：确定需要审核的内容的应用场景，并确定所述应用场景对应的不同风险领域的安全策略。在具体实施中，确定需要审核的内容的应用场景，例如，游戏、动漫、表情包和真人秀等。进一步的，根据不同的应用场景设置不同的安全策略，不同的安全策略对应不同的审核尺度，从而可以针对不同的应用场景提供不同的审核尺度，提高内容审核的效率。
S103：基于不同风险领域的安全策略对所述风险标签进行分析，以确定不同风险领域需要人工复核的目标内容；
在本步骤中，基于不同风险领域的安全策略对内容的风险标签进行机器审核，确定该内容在不同风险领域的风险等级，可以包括高风险、中风险和低风险，并根据风险等级确定不同领域需要人工复核的目标内容，例如，将中风险的内容确定为需要人工复核的目标内容。进一步的，将不同领域的目标内容发送至不同领域的审核人员进行人工复核。
作为一种可行的实施方式，确定所述内容在不同风险领域的风险等级之后，还包括：利用所述风险等级对应的处置命令对所述内容进行处理。在具体实施中，对于不同风险等级的内容采用不同的处理策略，例如，对高风险的内容进行删除，将中风险的内容确定为需要人工复核的目标内容，对低风险的内容进行正常发布。也即，在机器审核阶段，可以将需要审核的内容划分为三类，低风险可以正常发布、中风险需要人工复核、高风险需要立即删除。
另外，还可以根据不同领域的目标内容的风险标签划分为不同等级的队列，人工审核时可以优先审核等级较高的队列中的目标内容。举例说明，涉黄领域的高等级队列为：涉黄内容概率>0.5或者低俗内容概率>0.8且裸露皮肤比例>0.3，涉黄领域的低等级队列：0.3<涉黄内容概率<0.5且0.3<低俗内容概率<0.8。
S104：获取所述目标内容的人工复核结果，并计算不同风险领域对应的目标内容中的违规内容的比例作为不同风险领域的复核风险比例；
在本步骤中，获取不同风险领域的目标内容的人工复核结果，包括违规内容、非违规内容，计算不同风险领域的目标内容中的违规内容的比例作为不同风险领域的复核风险比例。复核风险比例可以用于评估机器审核的安全策略的审核效果，复核风险比例越高，说明机器审核时安全策略的审核效果越好。
S105：基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数。
在本步骤中，根据复核风险比例调整对应风险领域的安全策略中的阈值参数。由于调整了安全策略中的阈值参数，进而调整了下一阶段的复核风险比例。对于审核效果较好的风险领域，可以放松对应的安全策略，从而在下一阶段召回更多的目标内容。对于审核效果较差的风险领域，可以放松对应的安全策略，从而在下一阶段召回更少的目标内容，减少人工复核的审核量，提高复核风险比例，使得审核人员将精力花在最有价值的地方，提高审核效率，降低违规内容的漏审率。
在具体实施中，若复核风险比例大于第一预设值，则放松对应风险领域的安全策略，也即调整对应风险领域的安全策略中的阈值参数，以增加对应风险领域的目标内容的数量。若复核风险比例小于第二预设值，则收紧对应风险领域的安全策略，调整对应风险领域的安全策略中的阈值参数，以减少对应风险领域的目标内容的数量。
举例说明，某审核团队每天最多审核10000张图片，按照当前的安全策略召回了涉黄领域的5000张图片和涉暴领域的5000张图片，也即涉黄领域的目标内容和涉暴领域的目标内容分别包含5000张图片。审核团队在审核1000张涉黄领域的图片和1000张涉暴领域的图片后，确定涉黄图片400张，涉暴图片50张，也即涉黄领域的复核风险比例为40％，涉暴领域的复核风险比例为5％。此时如果不调整安全策略的话，审核完全部数据后，得到250张涉暴图片和2000张涉黄图片，即共2250张违规图片。若第一预设值为30％，第二预设值为8％，则需要放松涉黄领域的安全策略，召回的涉黄领域的图片从5000张增加到7000张，复核风险比例从40％下降到30％，涉黄图片从2000张增加到2100张。同时，收紧涉暴领域的安全策略，召回的涉黄领域的图片从5000张增加到3000张，复核风险比例从4％上升到8％，涉暴图片从250张增加到240张。通过自适应调整安全策略后，在审核数量为10000张保持不变的前提下，审核到的违规图片从2250张增加到2340张。
在调整安全策略中的阈值参数时，可以借鉴强化学习、策略参数网格搜索、进化学习等方法确定最优的阈值参数组合。对于强化学习来说，调整对应风险领域的安全策略中的阈值参数，以增加对应风险领域的目标内容的数量，包括：向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；若更新后的复核风险比例小于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；若更新后的复核风险比例大于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数。
在放松安全策略时，对于安全策略中的每个阈值参数，首先向目标方向进行调整，例如增大或减小，基于更新后的安全策略重新确定需要人工复核的目标内容，进而重新计算复核风险比例，若复核风险比例减小，则继续向目标方向进行调整，若复核风险比例增加，则向目标方向的相反方向进行调整。
相应的，所述调整对应风险领域的安全策略中的阈值参数，以减少对应风险领域的目标内容的数量，包括：向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；若更新后的复核风险比例大于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；若更新后的复核风险比例小于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数。
在收紧安全策略时，对于安全策略中的每个阈值参数，首先向目标方向进行调整，例如增大或减小，基于更新后的安全策略重新确定需要人工复核的目标内容，进而重新计算复核风险比例，若复核风险比例增加，则继续向目标方向进行调整，若复核风险比例减小，则向目标方向的相反方向进行调整。
本申请实施例提供的内容审核方法，通过需要人工复核的目标内容中违规内容的比例评估安全策略的审核效果，根据审核效果自动调整安全策略，不断优化安全策略，提高了策略的灵活性和鲁棒性。另外，优化安全策略可以进一步优化需要人工复核的目标内容，提高人工复核的审核效率，同时降低违规内容的漏审率。
下面介绍本申请提供的应用场景实施例，如图2所示，审核流程包括：UGC内容解析并接入审核系统；然后调用通用的机器算法打标，获取算法对内容的描述标签；接着选择合适的机审和人审安全策略并在策略引擎上执行，获得待审内容的风险分级；疑似有风险的内容将进入人审系统，审核员都结果进行复核确认；人审数据积累到一定量后即可对各个策略的效果进行评估；最后根据策略评估效果实时动态调整安全策略的配置。
审核接入模块：用户在互联网平台发布UGC内容常是融合多种媒体形式，在接入审核流程前先将其拆分为图片、文本、音频、视频等单种媒体，同时审核。同时分析业务场景，选择合适的安全策略。
算法机审打标：通过人工智能算法对图片、文本、音频、视频等内容进行识别，并打上标签，可以包括涉黄概率、违禁概率、是否包含敏感词、是否有敏感人物等，还可以包括UGC内容作者的账号等级、信用分、内容热度等辅助信息。
策略引擎包括机审安全策略和人审安全策略，机审安全策略：预先设置的策略，根据标签将待审内容分为：正常、有风险需删除、疑似有风险需复核三类。人审安全策略：将疑似有风险需复核的内容，进行更加细致的分类/分组/队列，更加风险等级设置不同队列，便于审核员优先处理高风险内容。
策略引擎本质上是一个专家系统，它将算法标签转化为处置指令。不同业务场景下的转化规则各不相同，因而需要维护大量的规则，并根据场景选择合适的规则，进而需要动态调整规则配置，策略引擎包含两部分：预先设定的安全策略、动态规则计算引擎。
策略引擎的输入为待审内容的标签，输出为待审内容的风险领域和风险等级。例如：涉暴高风险、涉暴低风险、涉黄高风险、涉黄低风险，进而根据风险等级可转化为不同的处置指令，例如：正常发布、删除、待复核等。
动态规则计算引擎可以采用Gengine、govaluate、gorule动态规则计算引擎，Gengine是一款基于AST(AbstractSyntaxTree)和golang语言实现的规则引擎，能够在不停服务的情况下实现动态加载与配置规则，无需编译即可动态计算。它可根据算法标签和安全策略，计算出待审内容所属的风险队列。
使用时，只需配置各种不同安全策略，整个过程无需编码，大幅提高了策略制定的效率，减少研发人力成本；而且策略实时上线，可及时查看效果并调整配置，极大提高了对风险内容反应的效率，降低风险内容的露出率。
人审模块是一种内容审核工具，帮助审核人员查看待审内容，判断是否违规，优先审核风险等级高队列中的待审内容。
质检模块：检测审核人员的审核质量，及时发现审核中出现的问题；同时也评估审核员的熟练程度和擅长领域。目前内容违规样式多，审核标准和规范也非常多，一个审核员往往只能精通部分领域。例如，有的审核员精通鉴黄标准，有的精通涉暴内容审核规范，有的熟悉黑产违规内容等等。实践中，往往需要根据审核员擅长领域来分配相应的审核内容。
策略评估模块：根据人审结果，实时计算各种策略的风险内容比例。风险内容比例越高，策略效果越好。
自适应调整策略：根据策略评估对安全策略进行自适应调整，效果好的策略，调整放宽策略条件多召回；效果差的策略，收紧策略条件减少审核量，通过这种自动调整，可以让审核员的精力花在最有价值的地方，提高审核效率，进而降到风险内容漏损率。
策略引擎能够实时统计评估策略效果，支持手动调整安全策略提升效果，并能够自适应调整策略配置，提高审核员的效率。总之，不管是自动还是手动调整，都能让整个审核系统发现更多的违规内容，降低业务内容违规风险。
整个策略制定和上线流程高度自动化、智能化，集中存储，便于复用和管理。解决了各场景安全策略割裂零散，文档维护困难等问题，达到节省了研发人力和安全策略工程师的人力，降到了审核成本。
下面对本申请实施例提供的一种内容审核装置进行介绍，下文描述的一种内容审核装置与上文描述的一种内容审核方法可以相互参照。
本申请实施例提供的内容审核装置，包括：
识别模块，用于识别需要审核的内容的风险标签；
确定模块，用于确定不同风险领域的安全策略；
分析模块，用于基于不同风险领域的安全策略对所述风险标签进行分析，以确定不同风险领域需要人工复核的目标内容；
计算模块，用于获取所述目标内容的人工复核结果，并计算不同风险领域对应的目标内容中的违规内容的比例作为不同风险领域的复核风险比例；
调整模块，用于基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数。
本申请实施例提供的内容审核装置，通过需要人工复核的目标内容中违规内容的比例评估安全策略的审核效果，根据审核效果自动调整安全策略，不断优化安全策略，提高了策略的灵活性和鲁棒性。另外，优化安全策略可以进一步优化需要人工复核的目标内容，提高人工复核的审核效率，同时降低违规内容的漏审率。
在上述实施例的基础上，作为一种优选实施方式，所述识别模块具体用于：确定需要审核的内容的媒体类型，并利用所述媒体类型对应的识别算法识别所述内容的风险标签。
在上述实施例的基础上，作为一种优选实施方式，所述识别模块具体用于：识别需要审核的内容包含不同风险内容的概率、热度信息、内容发布者信息中任一项或任几项的组合。
在上述实施例的基础上，作为一种优选实施方式，所述确定模块具体用于：确定需要审核的内容的应用场景，并确定所述应用场景对应的不同风险领域的安全策略。
在上述实施例的基础上，作为一种优选实施方式，所述分析模块具体用于：基于不同风险领域的安全策略对所述风险标签进行分析，以确定所述内容在不同风险领域的风险等级；根据所述内容在不同风险领域的风险等级确定不同风险领域需要人工复核的目标内容。
在上述实施例的基础上，作为一种优选实施方式，还包括：
处理模块，用于利用所述风险等级对应的处置命令对所述内容进行处理。
在上述实施例的基础上，作为一种优选实施方式，所述调整模块包括：
第一调整单元，用于当所述复核风险比例大于第一预设值时，调整对应风险领域的安全策略中的阈值参数，以增加对应风险领域的目标内容的数量；
第二调整单元，用于当所述复核风险比例小于第二预设值时，调整对应风险领域的安全策略中的阈值参数，以减少对应风险领域的目标内容的数量；
其中，所述第一预设值大于所述第二预设值。
在上述实施例的基础上，作为一种优选实施方式，所述第一调整单元具体用于：向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；若更新后的复核风险比例小于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；若更新后的复核风险比例大于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数；
相应的，所述第二调整单元具体用于：向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；若更新后的复核风险比例大于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；若更新后的复核风险比例小于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请还提供了一种电子设备，参见图3，本申请实施例提供的一种电子设备30的结构图，如图3所示，可以包括处理器31和存储器32。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器32可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器32还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器32至少用于存储以下计算机程序321，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的由电子设备侧执行的内容审核方法中的相关步骤。另外，存储器32所存储的资源还可以包括操作系统322和数据323等，存储方式可以是短暂存储或者永久存储。其中，操作系统322可以包括Windows、Unix、Linux等。
在一些实施例中，电子设备30还可包括有显示屏33、输入输出接口34、通信接口35、传感器36、电源37以及通信总线38。
当然，图3所示的电子设备的结构并不构成对本申请实施例中电子设备的限定，在实际应用中电子设备可以包括比图3所示的更多或更少的部件，或者组合某些部件。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任一实施例电子设备所执行的内容审核方法的步骤。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种内容审核方法，其特征在于，包括：
识别需要审核的内容的风险标签；
确定不同风险领域的安全策略；
基于不同风险领域的安全策略对所述风险标签进行分析，以确定不同风险领域需要人工复核的目标内容；
获取所述目标内容的人工复核结果，并计算不同风险领域对应的目标内容中的违规内容的比例作为不同风险领域的复核风险比例；
基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数。
2.根据权利要求1所述内容审核方法，其特征在于，所述识别需要审核的内容的风险标签，包括：
确定需要审核的内容的媒体类型，并利用所述媒体类型对应的识别算法识别所述内容的风险标签。
3.根据权利要求1所述内容审核方法，其特征在于，所述识别需要审核的内容的风险标签，包括：
识别需要审核的内容包含不同风险内容的概率、热度信息、内容发布者信息中任一项或任几项的组合。
4.根据权利要求1所述内容审核方法，其特征在于，所述确定不同风险领域的安全策略，包括：
确定需要审核的内容的应用场景，并确定所述应用场景对应的不同风险领域的安全策略。
5.根据权利要求1所述内容审核方法，其特征在于，所述基于不同风险领域的安全策略对所述风险标签进行分析，以确定不同风险领域需要人工复核的目标内容，包括：
基于不同风险领域的安全策略对所述风险标签进行分析，以确定所述内容在不同风险领域的风险等级；
根据所述内容在不同风险领域的风险等级确定不同风险领域需要人工复核的目标内容。
6.根据权利要求5所述内容审核方法，其特征在于，所述确定所述内容在不同风险领域的风险等级之后，还包括：
利用所述风险等级对应的处置命令对所述内容进行处理。
7.根据权利要求1至6中任一项所述内容审核方法，其特征在于，所述基于不同风险领域的复核风险比例调整对应风险领域的安全策略中的阈值参数，包括：
若所述复核风险比例大于第一预设值，则调整对应风险领域的安全策略中的阈值参数，以增加对应风险领域的目标内容的数量；
若所述复核风险比例小于第二预设值，则调整对应风险领域的安全策略中的阈值参数，以减少对应风险领域的目标内容的数量；
其中，所述第一预设值大于所述第二预设值。
8.根据权利要求7所述内容审核方法，其特征在于，所述调整对应风险领域的安全策略中的阈值参数，以增加对应风险领域的目标内容的数量，包括：
向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；
若更新后的复核风险比例小于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；
若更新后的复核风险比例大于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数；
相应的，所述调整对应风险领域的安全策略中的阈值参数，以减少对应风险领域的目标内容的数量，包括：
向目标方向调整对应风险领域的安全策略中的阈值参数，并重新进入基于不同风险领域的安全策略对所述风险标签进行分析的步骤，得到更新后的复核风险比例；
若更新后的复核风险比例大于更新前的复核风险比例，则继续向所述目标方向调整对应风险领域的安全策略中的阈值参数；
若更新后的复核风险比例小于更新前的复核风险比例，则向所述目标方向的相反方向调整对应风险领域的安全策略中的阈值参数。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述内容审核方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述内容审核方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210860656.5A CN115187104A (zh) | 2022-07-21 | 2022-07-21 | 内容审核方法及电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210860656.5A CN115187104A (zh) | 2022-07-21 | 2022-07-21 | 内容审核方法及电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115187104A true CN115187104A (zh) | 2022-10-14 |
Family
ID=83518960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210860656.5A Pending CN115187104A (zh) | 2022-07-21 | 2022-07-21 | 内容审核方法及电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115187104A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116415017A (zh) * | 2023-03-17 | 2023-07-11 | 湖北巨字传媒有限公司 | 基于人工智能的广告敏感内容审核方法及系统 |
| CN116881962A (zh) * | 2023-07-12 | 2023-10-13 | 上海隽钰网络工程有限公司 | 一种安全监控系统、方法、装置和存储介质 |
-
2022
- 2022-07-21 CN CN202210860656.5A patent/CN115187104A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116415017A (zh) * | 2023-03-17 | 2023-07-11 | 湖北巨字传媒有限公司 | 基于人工智能的广告敏感内容审核方法及系统 |
| CN116415017B (zh) * | 2023-03-17 | 2024-03-29 | 湖北巨字传媒有限公司 | 基于人工智能的广告敏感内容审核方法及系统 |
| CN116881962A (zh) * | 2023-07-12 | 2023-10-13 | 上海隽钰网络工程有限公司 | 一种安全监控系统、方法、装置和存储介质 |
| CN116881962B (zh) * | 2023-07-12 | 2024-05-10 | 上海隽钰网络工程有限公司 | 一种安全监控系统、方法、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115187104A (zh) | 内容审核方法及电子设备和计算机可读存储介质 | |
| CN109862394A (zh) | 视频内容的审核方法、装置、设备和存储介质 | |
| US20130212701A1 (en) | Method and system for classifying and redacting segments of electronic documents | |
| CN111160749A (zh) | 一种情报质量评估和情报融合方法及装置 | |
| US11544176B1 (en) | Systems and methods for automatically assessing and conforming software development modules to accessibility guidelines in real-time | |
| CN110688536A (zh) | 一种标签预测方法、装置、设备和存储介质 | |
| CN112767108A (zh) | 决策树创建方法和装置、规则执行方法和装置及存储介质 | |
| KR102439429B1 (ko) | 객체 추출이 용이한 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| CN111767838A (zh) | 视频审核方法和系统、计算机系统和计算机可读存储介质 | |
| CN115936895A (zh) | 基于人工智能的风险评估方法、装置、设备及存储介质 | |
| CN111488603A (zh) | 一种识别打印文件的敏感内容的方法及装置 | |
| CN113762303A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN107885489A (zh) | 一种快速检测实名登记数据指标的方法和系统 | |
| KR102525491B1 (ko) | 구조물 손상검출 보고서 제공 방법 | |
| CN112182441A (zh) | 违规数据的检测方法及装置 | |
| CN111737090B (zh) | 日志仿真方法、装置、计算机设备和存储介质 | |
| KR102205810B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법 | |
| KR102164852B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 긴급도를 고려한 프로젝트 참여 제한 방법 | |
| KR102217092B1 (ko) | 애플리케이션의 품질 정보 제공 방법 및 장치 | |
| CN113254837A (zh) | 应用程序评估方法、装置、系统、设备和介质 | |
| CN110134785A (zh) | 论坛文章的管理方法、装置、存储介质及设备 | |
| US11861015B1 (en) | Risk scoring system for vulnerability mitigation | |
| KR102430398B1 (ko) | 지점 지정을 통한 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR102155881B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수자 능력 평가를 통한 검수자 트레이드 방법 | |
| CN115809466B (zh) | 基于stride模型的安全需求生成方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |