CN114493530A - 内容审核处理方法、装置、设备及系统 - Google Patents
内容审核处理方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN114493530A CN114493530A CN202210101737.7A CN202210101737A CN114493530A CN 114493530 A CN114493530 A CN 114493530A CN 202210101737 A CN202210101737 A CN 202210101737A CN 114493530 A CN114493530 A CN 114493530A
- Authority
- CN
- China
- Prior art keywords
- auditing
- content
- audit
- request
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012550 audit Methods 0.000 claims description 169
- 238000012552 review Methods 0.000 claims description 75
- 238000000034 method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 28
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 16
- 238000011161 development Methods 0.000 description 10
- 230000018109 developmental process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种内容审核处理方法、装置、设备及系统。该内容审核处理方法，包括：获取审核平台的请求端配置生成的内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；根据内容审核请求对内容进行审核，得到审核结果。本申请提供的方案，能够使得审核处理更标准化和具有通用性，能提高审核效率。
Description
技术领域
本申请涉及移动互联网技术领域，尤其涉及一种内容审核处理方法、装置、设备及系统。
背景技术
内容审核主要是对包含敏感内容、不健康内容等信息的文本、图片、音频或视频等进行检测和识别，过滤拦截含有违规内容的信息，从而保证平台内容的健康绿色，保障发布内容的安全和合规。通过审核可以对内容进行相应规范，防止违规内容传播到社会造成不良影响。
目前审核在各大平台的运作中占据重要位置，通过何种方式充分发挥审核的作用也成为各平台考虑的问题。单纯人工审核(简称人审)难以应对审核任务，而全靠机器审核(简称机审)也不能保证所有违规内容被筛除。在企业的审核系统开发中，一般是根据不同的部门独立对接不同的审核业务，但是公司部门多且每个部门又分很多业务线时，很难独立对接众多部门及业务线，再加上系统开发迭代频繁度，很容易导致审核业务延迟，给公司带来巨大的损失。
因此，相关技术中的内容审核处理方法，无法标准化，缺少通用性，影响审核效率。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种内容审核处理方法、装置、设备及系统，能够使得审核处理更标准化和具有通用性，能提高审核效率。
本申请第一方面提供一种内容审核处理方法，包括：
获取审核平台的请求端配置生成的内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；
根据所述内容审核请求对内容进行审核，得到审核结果。
在一实施方式中，所述审核类目配置结构包括模块、类型、模板和字段中的部分或全部。
在一实施方式中，所述字段包括字段名称和属性信息，其中所述属性信息包括以下配置项中至少一项或其组合：字段类型、显示形式、是否机器审核。
在一实施方式中，所述根据内容审核请求对内容进行审核，包括：
在所述内容审核请求携带审核方式标识时，根据所述内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核；或，
根据所述内容审核请求，对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核。
在一实施方式中，所述根据机器审核结果确定是否继续进行人工审核，包括：
在所述机器审核结果包括疑似结论或不确定结论时，确定继续进行人工审核。
在一实施方式中，所述对内容进行机器审核，包括：
采用至少两个第三方审核系统进行机器审核，参考至少两个第三方审核系统的机器审核结果确定最终的机器审核结果。
在一实施方式中，所述对内容进行机器审核，包括：
在机器审核的字段包括多个不同任务字段时，进行任务分解后分别进行机器审核，参考不同任务的机器审核结果确定最终的机器审核结果。
在一实施方式中，将内容审核的关联数据汇总在单个数据表中。
本申请第二方面提供一种内容审核处理装置，包括：
请求获取模块，用于获取审核平台的请求端配置生成的内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；
内容审核模块，用于根据所述内容审核请求对内容进行审核，得到审核结果。
在一实施方式中，所述内容审核模块包括：
第一审核处理子模块，用于在所述内容审核请求携带审核方式标识时，根据所述内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核；或，
第二审核处理子模块，用于根据所述内容审核请求，对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核。
在一实施方式中，所述第一审核处理子模块或第二审核处理子模块对内容进行机器审核时，包括：
采用至少两个第三方审核系统进行机器审核，参考至少两个第三方审核系统的机器审核结果确定最终的机器审核结果；或，
在机器审核的字段包括多个不同任务字段时，进行任务分解后分别进行机器审核，参考不同任务的机器审核结果确定最终的机器审核结果。
在一实施方式中，所述装置还包括：
数据汇总模块，用于将内容审核的关联数据汇总在单个数据表中。
本申请第三方面提供一种内容审核处理系统，包括：
请求端，用于配置生成内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；
审核端，用于获取审核平台的所述请求端配置生成的内容审核请求，根据所述内容审核请求对内容进行审核，得到审核结果。
在一实施方式中，所述请求端包括：
配置项子模块，用于配置统一的审核类目配置结构，所述审核类目配置结构包括模块、类型、模板和字段中的部分或全部；
请求生成子模块，用于根据所述统一的审核类目配置结构生成内容审核请求。
在一实施方式中，所述审核端包括：
请求获取模块，用于获取所述请求端配置生成的内容审核请求；
内容审核模块，用于根据所述内容审核请求对内容进行审核，得到审核结果。
本申请第四方面提供一种计算设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第五方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的技术方案，是获取审核平台的请求端配置生成的内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；根据所述内容审核请求对内容进行审核，得到审核结果。由于内容审核请求是根据统一的审核类目配置结构生成，虽然从业务角度而言每个审核类目都是独立的，但是从审核系统的角度看，所有的审核类目都是相同，内容审核请求都是通过一个流程配置生成，并且是按照统一的审核类目配置结构生成，这样对接新的审核流程时就只需要简单的配置就可以自动生成，从而实现了审核流程的标准化和提高了通用性，开发人员无需编写冗余的代码而产生额外的开发工作量，也极大地降低了开发成本，审核端也可以快速审核，提高了审核效率。
进一步的，本申请的技术方案，审核类型可以配置是否支持机器审核的总开关，生成的内容审核请求可以携带审核方式标识，这样审核端可以根据所述内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核，实现灵活选择；另外，也可以设置所有内容数据都首先进入机器审核，根据机器审核结果判断是否继续进行人工审核，从而可以优化整个审核流程，大大地减少了人工审核的成本。
进一步的，本申请还可以将内容审核的关联数据汇总在单个数据表中。因为审核流程实现了标准化，因此可以将传统模式中多个数据表按类型进行数据分组的形式优化成所有基础数据都来源于单个数据表，也即将内容审核的关联数据汇总在单个数据表中，这样就可以便于各种维度的统计、聚合数据和报表分析，以及提高统计时效。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的内容审核处理方法的流程示意图；
图2是本申请实施例示出的内容审核处理方法的另一流程示意图；
图3是本申请实施例示出的内容审核处理方法中机器审核的一流程示意图；
图4是本申请实施例示出的审核类目配置结构示意图；
图5是本申请实施例示出的审核模块列表的界面示意图；
图6是本申请实施例示出的创建类型的界面示意图；
图7是本申请实施例示出的创建模板的界面示意图；
图8是本申请实施例示出的添加模板字段界面的第一示意图；
图9是本申请实施例示出的添加模板字段界面的第二示意图；
图10是本申请实施例示出的添加模板字段界面的第三示意图；
图11是本申请实施例示出的字段的展示项选择的界面示意图；
图12是本申请实施例示出的设定时间范围内的审核统计结果的界面示意图；
图13是本申请实施例示出的内容审核处理装置的结构示意图；
图14是本申请实施例示出的内容审核处理系统的结构示意图；
图15是本申请实施例示出的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，一般是根据不同的部门独立对接不同的审核业务，当公司部门多且每个部门又分很多业务线时，很难独立对接众多部门及业务线。因此，相关技术中的内容审核处理方法，无法标准化，缺少通用性，影响审核效率。针对上述问题，本申请实施例提供一种内容审核处理方法，能够使得审核处理更标准化和具有通用性，能提高审核效率。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的内容审核处理方法的流程示意图。
参见图1，该方法包括：
在S101中，获取审核平台的请求端配置生成的内容审核请求，其中内容审核请求根据统一的审核类目配置结构生成。
其中，审核类目配置结构可以包括模块、类型、模板和字段中的部分或全部。模块是大的分类，类型是属于模块下的分类，每个类型下又可以包括多个并存的模板，模板中可以包括各种字段，字段是最小的维度。字段包括可以字段名称和属性信息，其中属性信息可以包括以下配置项中至少一项或其组合：字段类型、显示形式、是否机器审核。
通过设置统一的审核类目配置结构，内容审核请求都是通过一个流程配置生成，并且按照统一的审核类目配置结构生成，新的审核流程只需简单的配置就可以自动生成，这样可实现审核流程的标准化和提高通用性。
在S102中，根据内容审核请求对内容进行审核，得到审核结果。
该步骤S102可以在内容审核请求携带审核方式标识时，根据内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核；或，根据内容审核请求，对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核，例如在机器审核结果包括疑似结论或不确定结论时，确定继续进行人工审核。
例如，如果审核方式标识表示人工审核，则直接进行人工审核，如果审核方式标识表示机器审核，则直接进行机器审核。或者，本申请可以设置都先进行机器审核，根据机器审核结果确定是否继续进行人工审核，这时如果机器审核已经通过，则无需再进行人工审核，这样也可以减少审核人员的工作量，甚至可以减少审核人员70％的工作量，从而极大提高审核效率。
对内容进行机器审核，可以包括：采用至少两个第三方审核系统进行机器审核，参考至少两个第三方审核系统的机器审核结果确定最终的机器审核结果。通过多个第三方审核系统一起审核，可以提高审核的可靠性和安全性。
对内容进行机器审核还可以包括：在机器审核的字段包括多个不同任务字段时，进行任务分解后分别进行机器审核，参考不同任务的机器审核结果确定最终的机器审核结果。通过进行任务分解，可以进行精准审核及进一步提高审核效率。
从该实施例可以看出，本申请的技术方案，是获取审核平台的请求端配置生成的内容审核请求，其中内容审核请求根据统一的审核类目配置结构生成；根据内容审核请求对内容进行审核，得到审核结果。由于内容审核请求是根据统一的审核类目配置结构生成，虽然从业务角度而言每个审核类目都是独立的，但是从审核系统的角度看，所有的审核类目都是相同，内容审核请求都是通过一个流程配置生成，并且是按照统一的审核类目配置结构生成，这样对接新的审核流程时就只需要简单的配置就可以自动生成，从而实现了审核流程的标准化和提高了通用性，开发人员无需编写冗余的代码而产生额外的开发工作量，也极大地降低了开发成本，审核端也可以快速审核，提高了审核效率。
图2是本申请实施例示出的内容审核处理方法的另一流程示意图。图2中以审核系统的请求端与审核端的交互进行介绍。
参见图2，该方法包括：
在S201中，请求端根据统一的审核类目配置结构生成内容审核请求。
本申请的技术方案，参见图4所示，可以将整个审核流程的审核类目配置结构统一划分为模块、类型、模板和字段四部分。
其中，模块是大的分类，例如可以划分为用户模块、内容模块等。每个模块又包括不同的类型，类型是属于模块下的分类，例如用户模块下又可以划分为头像审核、简介审核和昵称审核等类型。每个类型下又可以包括多个并存的模板，模板设有相对应的版本号和基础配置信息，模板的作用是用于平滑升级。模板中可以包括各种字段。字段是最小的维度，字段包括字段名称和属性信息，其中属性信息包括以下配置项中至少一项或其组合：字段类型、显示形式、是否机器审核。如图4所示，属性信息包括字段类型、显示形式、是否送审、机审能力等，另外还有列表展示、列表搜索和字段排序等，这些都可以通过配置生成。
对于将整个审核流程的审核类目配置结构统一划分为模块、类型、模板和字段四部分，从业务角度而言每个审核类目都是独立的，但是从审核系统的角度看，所有的审核类目都是相同，内容审核请求都是通过一个流程配置生成，并且是按照统一的审核类目配置结构生成，这样对接新的审核流程时就只需要简单的配置就可以自动生成，从而实现了审核流程的标准化和提高了通用性，开发人员无需编写冗余的代码而产生额外的开发工作量，也极大地降低了开发成本。
本申请在审核类型上，还配置有是否支持机器审核(简称机审)的总开关。如果选择否，代表着所有的信息都需要人工审核(简称人审)。如果选择是，就会在每个模板的字段上配置是否机审的审核方式标识。对于审核流程，可以根据审核方式标识，对内容进行人工审核或对内容进行机器审核；或，统一先对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核。也就是说，可以所有数据都首先进入机审，根据机审结果判断是否继续进入人审。这样，就优化了整个审核流程，大大地减少了人工审核的成本。
本申请的审核系统，可以采用Yii2.0框架+MySQL数据库+Elasticsearch搜索引擎实现。
其中，Yii是一个高性能基于组件的PHP(Hypertext Preprocessor，超文本预处理器)框架，用于快速开发现代Web(World Wide Web，全球广域网，也称为万维网)应用程序。MySQL是一种关系型数据库管理系统，用来存数数据之间的关联关系。Elasticsearch是一个基于Lucene(全文搜索引擎)的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，在此架构设计中，主要用来存储已完成的审核列表的检索功能。
以下进一步分别对模块、类型、模板和字段四部分进行详细说明。
1)模块
模块即业务类别。当类型下的模板第一次发布时，会自动生成相对应的菜单，也就是说模块名称对应着一级菜单名。模块代表着公司的组织架构和业务划分，所以一般变动频率很低。同时，为了规范系统模块，防止滥用创建，可以设置为由技术人员创建模块。模块创建成功后，页面可以生成图4左侧相对应的菜单项(模块-类型-模板-字段)。
其中，可以通过编写代码实现表结构，在编写表结构的代码时，name为模块名称，key为模块标识，icon为模块菜单图标，topic_id为kafka的主题id。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。主题以模块为维度，当审核流程完成后发送审核结果到这个主题，订阅的用户(请求端，也即送审端)就可以消费这个topic得到审核结果。其中，如图5所示，显示了审核模块列表。例如，审核模块可以包括商品审核、机构审核、医生审核、形象照审核、内容日记审核等模块。
2)类型
参见图6，以内容日记审核模块中审核的类型为日记短评审核为例说明。用户可以点击内容日记审核模块，点击新建审核类型，填写审核类型创建相关信息，审核类型名称和模块对应菜单的二级菜单(如表结构-审核类型)等。其中，审核类型菜单key是类型的唯一标识，也是审核列表页的唯一标识。审核结果是否支持疑似(is_suspected)，取决于机审匹配度值，根据范围内的设定值得到相应匹配的结果。例如，大于某个相似度设定值则作为疑似结果等，疑似结果后续可以考虑继续进行人工审核。如果不包含疑似结果，那疑似都可以归属于驳回类型，这属于严格审核的一种。
其中，审核方式可以分为领单审核和列表审核。领单审核是审核人员可以领取订单防止撞单(即同时与其他人审核同一篇内容)。列表审核的使用场景是符合一些审核内容极度相似并且内容简单的审核单。列表审核的审核方式可以支持批量审核，因此可以增加审核效率。
需说明的是，领单后不能设置为永久锁单，这是为了防止死单(即长时间无人受理)的情况。所以，如果后续审核人员选择的是领单审核会出现一个锁单时间(lock_minutes)的设置，如果在锁单时间内没有完成审核，将会释放此审核单为待审核，其他审核人员可以继续审核和领单。
其中，是否支持机审字段是全局控制审核此类型的审核规则。如果选择人审，此类目下所有的送审单将直接进入人审；如果是选择机审，则可以先进行一次机审，根据机审结果判断已经审核完成还是继续进行人审。
参见图11，在类型的设置部分，可以配置列表字段的的列表展示、搜索展示和调整顺序，这样就生成了真正送审数据的列表页。其中，审核列表可以包含自定义部分和公共部分。例如送审时间、审核时间、审核人、审核结果、审核状态等是公共部分，不需要配置就可以直接生成，而字段名称post_id、uid等是自定义部分，是可配置。
其中，本申请支持的配置选项类型可以包括文本搜索、下拉选项搜索和时间范围搜索等，可以根据时间范围等进行统计，其中设置时间为检索字段自动生成时间范围查找插件。参见图12，显示了审核统计结果。例如，显示的审核统计例如包括已审核数量、审核通过数量、审核驳回数量、审核用时、平均审核用时等。
3)模板
模板的目的是为了平滑进行系统的版本升级。例如新建了一个版本1.0，在1.0版本下有10个字段，发布后就可以正常的接受外部送审的数据。但是运行了一段时间，业务人员突然要更改字段，10个字段要删除两个，再增加三个新的字段，那么此时就可以重新再建一个新的版本2.0，送审过来的数据带着标识版本号2.0，就可以用新配置的模板进行接收处理，如果是依然有一些旧的业务想要使用版本1.0，那依旧带着版本1.0进行送审请求。这样，两个版本在系统中可以同时兼容，也可以通过两个版本的设置进行一次版本升级的过渡。因为单个模板的字段往往比较多，所以可以做导入和导出的功能，如图7所示，包括新建模板菜单和导入模板数据菜单，点击导入模板数据菜单就可以导入模板数据。
4)模板的字段
对于已经发布的模板是锁定状态，不允许再编辑。参见图8，当点击新建模板，模板下会出现一条新的未发布的模板信息。点击编辑进入字段列表，然后点击页面新建字段。新建字段中可以包含：字段中文名称、字段英文名称、字段类型(包含整数、字符串、列表、表格、时间、对象等)、显示形式、列表字段配置、是否送审(是否机审)、机审能力、字段备注、json(JavaScript Object Notation，JS对象简谱)配置等。
其中显示形式是字段类型的补充，例如字符串分为图片、视频、文本、url(uniformresource locator，统一资源定位系统)、html(Hyper Text Markup Language，超文本标记语言)等，列表分为横向布局还是纵向布局，还是多张图片、多个视频等，这些是字段类型的表现形式，主要是页面渲染时使用。机审能力选择，目前可以支持文本检测、图片检测、图文检测、视频检测、敏感词检测、多重检测等。json配置主要是配置一些表格或者下拉选项的常量，是字段信息的补充。
需说明的是，参见图9和图10，版本未发布状态下，可以通过字段列表页面进行编辑、删除以及顺序的调整。发布后变为锁定状态，此时不可以更改信息，但是可以进行排序调整。如果是第一个模板，在发布的时候同时会生成左侧菜单和权限功能，使整个流程变成一个闭环。
在S202中，审核端获取请求端配置生成的内容审核请求。
公司的其他部门例如业务部门可以通过系统对外开放的公共RPC(RemoteProcedure Call，远程过程调用)接口，发送内容审核请求送审到审核端，审核端接收该内容审核请求。其中，内容审核请求可以携带审核方式标识或不携带审核方式标识。
在S203中，审核端根据内容审核请求，对内容进行机器审核。
对于机器审核，本申请可以使用多个第三方审核系统对外提供的审核接口进行审核，同时可以参考多个第三方审核系统的审核结果，确定最终的机器审核结果，以达到审核结果的可靠性和安全性。
当选择机审时，被设置机审的审核单进到消息后，可以直接进入到机审总任务表内，记录当下审核单的总任务数和总任务状态等。由于一个审核单支持配置多个机审字段，则所有总任务表延伸了一个记录详细任务的任务子表，其中记录详细审核内容和审核进度等。
当任务进入到数据表后，可以自动执行一次机器审核，若中途出现异常，系统是设置了周期例如每2分钟执行一次计划任务，会运行这个数据表中待审核状态的审核单，直至机审完成。也就是说，总任务表中的总任务数＝完成任务数时，则被标记成已完成。
如图3所示，审核端接收到送审的内容，可以根据审核方式标识判断是否需要机审和是否具有机审字段，如无需机审则直接送入待人审列表，由人工进行审核，流程结束；如有机审字段，则会进行任务分解，例如包括机审字段1的审核、机审字段2的审核、机审字段n的审核等，将分解的审核任务分别过机审模型进行审核。如果一个字段配置了多个机审能力，则审核结果以等级较高例如最最高的审核结果为准(敏感程度最高)。
在S204中，审核端根据机器审核结果确定是否继续进行人工审核，如果是，进入步骤S205，如果否，进入步骤S206。
如果机器审核最终的结果是全部通过，则认为直接审核通过，无需进入人审环节。
在S205中，审核端在机器审核结果包括疑似结论或不确定结论时，确定继续进行人工审核，进入步骤S206。
机器审核结果包括疑似结论或不确定结论时，继续进行人工审核。例如，如果不同任务的审核结果是单个或多个违规，此时可认为属不确定结论，则可以人审接入继续进行人工审核，判定最终审核状态。
在S206中，审核端输出审核结果。
该步骤中，根据机审或人审的结果，输出审核通过或审核驳回的审核结果。
在S207中，审核端根据汇总在单个数据表的内容审核的关联数据进行统计分析。
本申请还可以将内容审核的关联数据汇总在单个数据表中。因为审核流程实现了标准化，因此可以将传统模式中多个数据表按类型进行数据分组的形式优化成所有基础数据都来源于单个数据表，也即将内容审核的关联数据汇总在单个数据表中，这样就可以便于各种维度的统计、聚合数据和报表分析，以及提高统计时效。
综上所描述，本申请技术方案实现了模块化配置，例如可将对接流程线上化，通过业务人员即可完成所有对接流程，不需要开发人员进行操作。另外，本申请技术方案实现了审核标准化，例如可以同样采用配置的方式选择审核的类型，如果需要机审也是可以自由配置机审模型，发现疑似违规后再通过人工介入进行人工审核。如果机审全部通过，则最终结果为通过，实现全部由机器操作完成，这样可以减少审核人员70％的工作量。本申请技术方案可以提高审核时效，及体现审核数据的直观性渲染，从而大大提高时效，例如平均3-5秒便可完成一单审核。
相对于相关技术的方案，本申请技术方案是采用模块功能字段定制，优化了系统的代码冗余量，节省了开发人员的开发工作，提升了工作效率。其中配置机审到人审的过程，也减少了给审核人员带来的工作量。另外，数据分析、底层架构设计时都可以将所有数据都聚合在单个表中，这样可以可实现不同维度的图表分析和表报归总等。
与前述应用功能实现方法实施例相对应，本申请还提供了一种内容审核处理装置、计算设备、系统及相应的实施例。
图13是本申请实施例示出的内容审核处理装置的结构示意图。
参见图13，本申请的一种内容审核处理装置130，包括：请求获取模块131、内容审核模块132。
请求获取模块131，用于获取审核平台的请求端配置生成的内容审核请求，其中内容审核请求根据统一的审核类目配置结构生成。其中，审核类目配置结构可以包括模块、类型、模板和字段中的部分或全部。模块是大的分类，类型是属于模块下的分类，每个类型下又可以包括多个并存的模板，模板中可以包括各种字段，字段是最小的维度。字段包括可以字段名称和属性信息，其中属性信息可以包括以下配置项中至少一项或其组合：字段类型、显示形式、是否机器审核。
内容审核模块132，用于根据内容审核请求对内容进行审核，得到审核结果。
内容审核模块132可以包括：第一审核处理子模块1321、第二审核处理子模块1322。
第一审核处理子模块1321，用于在内容审核请求携带审核方式标识时，根据内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核。
第二审核处理子模块1322，用于根据内容审核请求，对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核，例如在机器审核结果包括疑似结论或不确定结论时，确定继续进行人工审核。
例如，如果审核方式标识表示人工审核，则直接进行人工审核，如果审核方式标识表示机器审核，则直接进行机器审核。或者，本申请可以设置都先进行机器审核，根据机器审核结果确定是否继续进行人工审核，这时如果机器审核已经通过，则无需再进行人工审核，这样也可以减少审核人员的工作量，甚至可以减少审核人员70％的工作量，从而极大提高审核效率。
在一实施方式中，第一审核处理子模块1321或第二审核处理子模块1322对内容进行机器审核时，包括：
采用至少两个第三方审核系统进行机器审核，参考至少两个第三方审核系统的机器审核结果确定最终的机器审核结果；或，
在机器审核的字段包括多个不同任务字段时，进行任务分解后分别进行机器审核，参考不同任务的机器审核结果确定最终的机器审核结果。
在一实施方式中，内容审核处理装置130还可以包括：数据汇总模块133。
数据汇总模块133，用于将内容审核的关联数据汇总在单个数据表中。本申请可以将内容审核的关联数据汇总在单个数据表中。因为审核流程实现了标准化，因此可以将传统模式中多个数据表按类型进行数据分组的形式优化成所有基础数据都来源于单个数据表，也即将内容审核的关联数据汇总在单个数据表中，这样就可以便于各种维度的统计、聚合数据和报表分析，以及提高统计时效。
本申请提供的内容审核处理装置，是获取审核平台的请求端配置生成的内容审核请求，其中内容审核请求根据统一的审核类目配置结构生成；根据内容审核请求对内容进行审核，得到审核结果。由于内容审核请求是根据统一的审核类目配置结构生成，虽然从业务角度而言每个审核类目都是独立的，但是从审核系统的角度看，所有的审核类目都是相同，内容审核请求都是通过一个流程配置生成，并且是按照统一的审核类目配置结构生成，这样对接新的审核流程时就只需要简单的配置就可以自动生成，从而实现了审核流程的标准化和提高了通用性，开发人员无需编写冗余的代码而产生额外的开发工作量，也极大地降低了开发成本，审核端也可以快速审核，提高了审核效率。
图14是本申请实施例示出的内容审核处理系统的结构示意图。
参见图14，本申请的一种内容审核处理系统140，包括：请求端141、请求端141、审核端142。
请求端141，用于配置生成内容审核请求，其中内容审核请求根据统一的审核类目配置结构生成。
审核端142，用于获取审核平台的请求端141配置生成的内容审核请求，根据内容审核请求对内容进行审核，得到审核结果。
请求端141可以包括：配置项子模块1411、请求生成子模块1412。
配置项子模块1411，用于配置统一的审核类目配置结构，审核类目配置结构包括模块、类型、模板和字段中的部分或全部。模块是大的分类，类型是属于模块下的分类，每个类型下又可以包括多个并存的模板，模板中可以包括各种字段，字段是最小的维度。字段包括可以字段名称和属性信息，其中属性信息可以包括以下配置项中至少一项或其组合：字段类型、显示形式、是否机器审核。
请求生成子模块1412，用于根据统一的审核类目配置结构生成内容审核请求。
请求端141还可以包括：数据汇总模块(图中未示出)，用于将内容审核的关联数据汇总在单个数据表中。
审核端142可以包括：请求获取模块1421、内容审核模块1422。
请求获取模块1421，用于获取请求端141配置生成的内容审核请求，
内容审核模块1422，用于根据内容审核请求对内容进行审核，得到审核结果。
内容审核模块1422可以在内容审核请求携带审核方式标识时，根据内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核；或，根据内容审核请求，对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核，例如在机器审核结果包括疑似结论或不确定结论时，确定继续进行人工审核。
内容审核模块1422可以采用至少两个第三方审核系统进行机器审核，参考至少两个第三方审核系统的机器审核结果确定最终的机器审核结果；或，在机器审核的字段包括多个不同任务字段时，进行任务分解后分别进行机器审核，参考不同任务的机器审核结果确定最终的机器审核结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图15是本申请实施例示出的计算设备的结构示意图。
参见图15，计算设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (17)
1.一种内容审核处理方法，其特征在于，包括：
获取审核平台的请求端配置生成的内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；
根据所述内容审核请求对内容进行审核，得到审核结果。
2.根据权利要求1所述的方法，其特征在于：
所述审核类目配置结构包括模块、类型、模板和字段中的部分或全部。
3.根据权利要求2所述的方法，其特征在于：
所述字段包括字段名称和属性信息，其中所述属性信息包括以下配置项中至少一项或其组合：字段类型、显示形式、是否机器审核。
4.根据权利要求1所述的方法，其特征在于，所述根据内容审核请求对内容进行审核，包括：
在所述内容审核请求携带审核方式标识时，根据所述内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核；或，
根据所述内容审核请求，对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核。
5.根据权利要求4所述的方法，其特征在于，所述根据机器审核结果确定是否继续进行人工审核，包括：
在所述机器审核结果包括疑似结论或不确定结论时，确定继续进行人工审核。
6.根据权利要求4所述的方法，其特征在于，所述对内容进行机器审核，包括：
采用至少两个第三方审核系统进行机器审核，参考至少两个第三方审核系统的机器审核结果确定最终的机器审核结果。
7.根据权利要求4所述的方法，其特征在于，所述对内容进行机器审核，包括：
在机器审核的字段包括多个不同任务字段时，进行任务分解后分别进行机器审核，参考不同任务的机器审核结果确定最终的机器审核结果。
8.根据权利要求1至7任一项所述的方法，其特征在于：
将内容审核的关联数据汇总在单个数据表中。
9.一种内容审核处理装置，其特征在于，包括：
请求获取模块，用于获取审核平台的请求端配置生成的内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；
内容审核模块，用于根据所述内容审核请求对内容进行审核，得到审核结果。
10.根据权利要求9所述的装置，其特征在于，所述内容审核模块包括：
第一审核处理子模块，用于在所述内容审核请求携带审核方式标识时，根据所述内容审核请求的审核方式标识，对内容进行人工审核或对内容进行机器审核；或，
第二审核处理子模块，用于根据所述内容审核请求，对内容进行机器审核，根据机器审核结果确定是否继续进行人工审核。
11.根据权利要求10所述的装置，其特征在于：
所述第一审核处理子模块或第二审核处理子模块对内容进行机器审核时，包括：
采用至少两个第三方审核系统进行机器审核，参考至少两个第三方审核系统的机器审核结果确定最终的机器审核结果；或，
在机器审核的字段包括多个不同任务字段时，进行任务分解后分别进行机器审核，参考不同任务的机器审核结果确定最终的机器审核结果。
12.根据权利要求9至11任一项所述的装置，其特征在于，所述装置还包括：
数据汇总模块，用于将内容审核的关联数据汇总在单个数据表中。
13.一种内容审核处理系统，其特征在于，包括：
请求端，用于配置生成内容审核请求，其中所述内容审核请求根据统一的审核类目配置结构生成；
审核端，用于获取审核平台的所述请求端配置生成的内容审核请求，根据所述内容审核请求对内容进行审核，得到审核结果。
14.根据权利要求13所述的系统，其特征在于，所述请求端包括：
配置项子模块，用于配置统一的审核类目配置结构，所述审核类目配置结构包括模块、类型、模板和字段中的部分或全部；
请求生成子模块，用于根据所述统一的审核类目配置结构生成内容审核请求。
15.根据权利要求13或14所述的系统，其特征在于，所述审核端包括：
请求获取模块，用于获取所述请求端配置生成的内容审核请求；
内容审核模块，用于根据所述内容审核请求对内容进行审核，得到审核结果。
16.一种计算设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
17.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210101737.7A CN114493530A (zh) | 2022-01-27 | 2022-01-27 | 内容审核处理方法、装置、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210101737.7A CN114493530A (zh) | 2022-01-27 | 2022-01-27 | 内容审核处理方法、装置、设备及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114493530A true CN114493530A (zh) | 2022-05-13 |
Family
ID=81477034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210101737.7A Pending CN114493530A (zh) | 2022-01-27 | 2022-01-27 | 内容审核处理方法、装置、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114493530A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330337A (zh) * | 2022-08-04 | 2022-11-11 | 北京百度网讯科技有限公司 | 数据内容的处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633433A (zh) * | 2017-09-29 | 2018-01-26 | 北京奇虎科技有限公司 | 广告的审核方法及装置 |
| CN109118162A (zh) * | 2018-07-06 | 2019-01-01 | 首都信息发展股份有限公司 | 申报信息的审核方法及装置 |
| CN110263024A (zh) * | 2019-05-20 | 2019-09-20 | 平安普惠企业管理有限公司 | 数据处理方法、终端设备及计算机存储介质 |
| CN111582825A (zh) * | 2020-05-09 | 2020-08-25 | 焦点科技股份有限公司 | 一种基于深度学习的产品信息审核方法及系统 |
| WO2021169208A1 (zh) * | 2020-02-25 | 2021-09-02 | 平安科技（深圳）有限公司 | 一种文本审核方法、装置、计算机设备及可读存储介质 |
-
2022
- 2022-01-27 CN CN202210101737.7A patent/CN114493530A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633433A (zh) * | 2017-09-29 | 2018-01-26 | 北京奇虎科技有限公司 | 广告的审核方法及装置 |
| CN109118162A (zh) * | 2018-07-06 | 2019-01-01 | 首都信息发展股份有限公司 | 申报信息的审核方法及装置 |
| CN110263024A (zh) * | 2019-05-20 | 2019-09-20 | 平安普惠企业管理有限公司 | 数据处理方法、终端设备及计算机存储介质 |
| WO2021169208A1 (zh) * | 2020-02-25 | 2021-09-02 | 平安科技（深圳）有限公司 | 一种文本审核方法、装置、计算机设备及可读存储介质 |
| CN111582825A (zh) * | 2020-05-09 | 2020-08-25 | 焦点科技股份有限公司 | 一种基于深度学习的产品信息审核方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330337A (zh) * | 2022-08-04 | 2022-11-11 | 北京百度网讯科技有限公司 | 数据内容的处理方法、装置、电子设备及存储介质 |
| CN115330337B (zh) * | 2022-08-04 | 2024-01-02 | 北京百度网讯科技有限公司 | 数据内容的处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7441188B1 (en) | Web construction framework presentation tier | |
| US9390395B2 (en) | Methods and apparatus for defining a collaborative workspace | |
| US8037000B2 (en) | Systems and methods for automated interpretation of analytic procedures | |
| US8601438B2 (en) | Data transformation based on a technical design document | |
| US8856157B2 (en) | Automatic detection of columns to be obfuscated in database schemas | |
| CN107122296B (zh) | 用于测试接口的数据断言的方法及设备 | |
| US20070268822A1 (en) | Conformance control module | |
| AU2016302371A1 (en) | Building and managing data-processing attributes for modeled data sources | |
| US10445675B2 (en) | Confirming enforcement of business rules specified in a data access tier of a multi-tier application | |
| US11423232B2 (en) | Systems and methods for deploying computerized conversational agents | |
| CN110162408A (zh) | 一种数据处理方法、装置、设备和机器可读介质 | |
| CN110990274B (zh) | 一种生成测试案例的数据处理方法、装置及系统 | |
| US20180373706A1 (en) | Assessing translation quality | |
| JP2021519960A (ja) | ウェブトラフィックデータを処理および管理するシステム、装置、および方法 | |
| CN117407414A (zh) | 结构化查询语句的处理方法、装置、设备、介质 | |
| CN114493530A (zh) | 内容审核处理方法、装置、设备及系统 | |
| CN112947844A (zh) | 一种数据存储方法、装置、电子设备及介质 | |
| CN110795137B (zh) | 权限配置方法、装置、系统、电子设备及可读介质 | |
| CA3063175A1 (en) | Data storage method and apparatus | |
| CN111916164B (zh) | 用于临床研究中的中心启动调研系统的实现方法和装置 | |
| CN112445461B (zh) | 一种业务规则生成方法、装置、电子设备和可读存储介质 | |
| US20220083611A1 (en) | Data management system for web based data services | |
| KR101932734B1 (ko) | 메타데이터 온톨로지 기반의 콘텐츠 관리 방법 및 이를 이용한 콘텐츠 관리 장치 | |
| CN112711718A (zh) | 一种评论信息的审核方法、装置、介质及电子设备 | |
| CN112181407A (zh) | 业务实现处理方法及装置、系统、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |