CN113342849A - 数据审核方法、装置、电子设备及存储介质 - Google Patents
数据审核方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113342849A CN113342849A CN202110591941.7A CN202110591941A CN113342849A CN 113342849 A CN113342849 A CN 113342849A CN 202110591941 A CN202110591941 A CN 202110591941A CN 113342849 A CN113342849 A CN 113342849A
- Authority
- CN
- China
- Prior art keywords
- proxy
- auditing
- result
- target
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012552 review Methods 0.000 claims description 65
- 238000012550 audit Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013210 evaluation model Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种数据审核方法、装置及电子设备,该方法包括:获取待审核的目标对象;获取代理信息集合,其中,所述代理信息集合包括至少一个代理服务的信息,所述代理服务用于使用对应的审核算法审核接收到的对象,每一代理服务所对应的审核算法不同;根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,其中,所述初审结果集合中包括至少一个初审结果,每一初审结果与一代理服务对应;根据所述初审结果集合,获得目标审核结果。该方法可以灵活、高效的实现对目标对象的自动审核处理。
Description
技术领域
本公开涉及互联网技术领域,更具体地,涉及一种数据审核方法、装置、电子设备及计算机可读存储介质。
背景技术
近年来,各种内容应用已形成良好的内容分发形态,在此业务场景下,为了实现对各种内容应用种的数据对象,例如,短视频的精细化运营,一般需要对用户生产的数据对象进行人工审核和打标。然而,在toC场景下,人力资源通常无法跟上庞大的数据生产量,因此,在人工审核之前,一般需要先使用机器审核方法对内容进行初步审核,以减轻人工审核工作量。
然而,目前的机器审核方法通常偏流水线设计,存在前后节点依赖紧密、业务代码耦合度高以及审核策略不够灵活的问题。
发明内容
本公开实施例提供了一种数据审核方法、装置、电子设备及存储介质,可以灵活、高效的实现对目标对象的自动审核处理。
本公开的第一方面,提供了一种数据审核方法,该方法包括:
获取待审核的目标对象;
获取代理信息集合,其中,所述代理信息集合包括至少一个代理服务的信息,所述代理服务用于使用接入的审核算法审核接收到的对象,每一代理服务所接入的审核算法不同;
根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,其中,所述初审结果集合中包括至少一个初审结果,每一初审结果与一代理服务对应;
根据所述初审结果集合,获得目标审核结果。
本公开的第二方面,还提供了一种数据审核装置,包括:
目标对象获取模块,用于获取待审核的目标对象;
信息获取模块,用于获取代理信息集合,其中,所述代理信息集合包括至少一个代理服务的信息,所述代理服务用于使用接入的审核算法审核接收到的对象,每一代理服务所接入的审核算法不同;
初审结果获得模块,用于根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,其中,所述初审结果集合中包括至少一个初审结果,每一初审结果与一代理服务对应;
目标审核结果获得模块,用于根据所述初审结果集合,获得目标审核结果。
本公开的第三方面,还提供了一种电子设备,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的指令的控制,运行所述电子设备执行根据本公开的第一方面所述的方法。
本公开的第四方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有可被计算机读取执行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行根据本公开的第一方面所述的方法。
本公开的有益效果在于,根据本公开实施例的方法,在电子设备获取到待审核的目标对象之后,通过获取代理信息集合,以获得在系统中注册的代理服务的信息,之后,根据该代理信息集合,通过将目标对象分别分发给不同的代理服务进行处理,可以获得由至少一个初审结果构成的初审结果集合;再通过该初审结果集合,对目标对象进行综合评判,即可获得目标审核结果。根据本实施例的方法,区别于现有机器审核方法将审核算法与业务逻辑编码混合在一起进行审核的方法,该方法通过以插件的形式接入分别对应不同审核算法的代理服务,可以将算法与业务代码解耦,进而使得可以灵活、高效的实现对目标对象的自动审核处理。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其他特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且连同其说明一起用于解释本公开的原理。
图1是现有的数据审核处理的框架示意图。
图2是本公开实施例提供的数据审核方法的流程示意图。
图3是本公开实施例提供的数据审核处理的框架示意图。
图4是本公开实施例提供的数据审核装置的原理框图。
图5是本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其他例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
请参看图1,其是现有的数据审核处理的框架示意图。如图1所示,现有的数据审核方法,通常是针对用户上传的待审核的数据对象,例如,短视频、图片等,先将该数据对象持久化存储在数据库中;再由机器审核的业务调度模块通过轮询或数据流等方式从数据库中获取该数据对象,并由业务调度模块将该数据对象分发给各个算法策略服务处理;之后,业务调度模块通过收集各个算法策略服务返回的处理结果并进行汇总,输出针对该数据对象的最终机审结果。
在实现本申请的过程中,发明人发现,现有的数据审核方法虽然也可以对用户上传的数据对象进行审核,并输出机审结果,然而,在现有方法中,业务调度模块的代码与各算法策略模块的代码混合在一起,算法人员既要维护算法策略,也要维护调度架构,存在代码维护困难的问题;另外,由于业务调度模块的代码与算法策略模块的代码是混合在一起的,所以还存在算法策略不可插拔的问题,即,在需要添加或删除某一算法策略的时候,往往需要算法侧和业务调度侧一起升级,整个升级流程不够平滑;此外,由于不同算法往往是由不同人员负责,因此,业务调度模块与算法策略模块的交互协议,例如,输入接口、输出接口以及数据交互方式等还存在不够统一的问题;综上,现有数据审核方法存在前后节点依赖紧密、业务代码耦合度高以及审核策略不够灵活的问题。
为解决上述问题,本公开实施例提供一种数据审核方法,请参看图2,其是本公开实施例提供的数据审核方法的流程示意图。该方法可以应用于电子设备中,该电子设备可以为终端设备,或者,也可以为服务器,例如,该电子设备可以为机器审核系统中的某一节点服务器,此处不做特殊限定。
如图2所示,本实施例的方法可以包括如下步骤S2100-S2400,以下予以详细说明。
步骤S2100,获取待审核的目标对象。
在本实施例中,目标对象,可以为用户生产的、待审核的内容数据。例如,可以为文字、图像、短视频等,在本实施例中,如无特殊说明,以目标对象为用户生产的短视频为例进行说明,当然,在具体实施时,目标对象也可以为短视频之外的其他数据对象,此处不做特殊限定。
在具体实施时,目标对象的获取过程,可以是先由用户使用终端设备生产该目标对象;之后,响应于用户在应用程序中发布该目标对象的操作,在获得用户授权的情况下,终端设备将该目标对象上传到数据库服务器中进行持久化存储;再之后,为了减轻人工审核的工作量,可以由用于机器审核的节点服务器从数据库服务器中以轮询或者数据流的方式获取该目标对象,并通过不同的算法策略对该目标对象进行机器审核处理,例如,可以通过不同的算法策略审核目标对象的质量是否模糊、是否涉及不当言论等;其中,用户使用的终端设备可以为手机、平板电脑等设备,此处不做特殊限定。
步骤S2200,获取代理信息集合,其中,所述代理信息集合包括至少一个代理服务的信息,所述代理服务用于使用对应的审核算法审核接收到的对象,每一代理服务所对应的审核算法不同。
在本实施例中,代理服务,是指以注册方式加载在机器审核系统中的服务。
请参看图3,其是本公开实施例提供的数据审核处理的框架示意图。如图3所示,区别于现有数据审核方法中将业务调度模块与算法策略模块的代码混合在一起的方式,在本实施例中,为了将业务调度模块与算法策略模块解耦合,具体是在业务调度模块和算法策略模块之间抽象出一个剥离算法业务逻辑的代理层,即,proxy层,该代理层通过各个代理服务,一方面可以用于接收业务调度模块发送的请求调用;另一方面可以根据该请求调用,直接调用算法策略层中的对应审核算法审核接收到的对象;以下对代理层中的代理服务以及处理流程进行详细说明。
在本实施例中,代理信息集合中包括至少一个代理服务的信息,该信息可以至少包括用于唯一性的标识代理服务的标识、服务地址、对应的初审结果类型以及该代理服务在业务数据库中的数据库字段等信息,当然,该信息也可以仅包括代理服务的标识,其他信息可以通过该标识从业务数据库中获得,此处不做特殊限定。
如图3所示,在具体实施时,为了实现业务调度模块与算法策略模块的解耦合,针对每一审核算法,可以由开发人员将其对应的算法代码打包编译成一库文件(LibraryFiles),例如,通过分别对审核算法1、审核算法2以及审核算法3的算法代码进行打包编译,可以得到图3所示的算法库文件1、算法库文件2以及算法库文件3,每一库文件入口对外提供一个接口供加载它的程序调用;而每一代理服务可以对应的调用一个审核算法的库文件,例如,代理服务1通过加载算法库文件1方式,将接收到的请求发送给审核算法1审核;代理服务2通过加载算法库文件2的方式,将接收到的请求发送给审核算法2审核;以及,代理服务3通过加载算法库文件3的方式,将接收到的请求发送给审核算法3审核。通过如图3所示的方式,即可获得独立于业务调度模块的、对应不同算法策略的各个代理服务,例如,图3所示的代理服务1、代理服务2以及代理服务3;在获得了各个独立的代理服务之后,本实施例提供的方法具体在加载各个代理服务时,为了提升调整算法策略时的灵活性,具体是以插件化的方式来加载和移除各代理服务,以下予以详细说明。
如图3所示,为了实现以插件化的方式加载和移除各代理服务,可以通过设置一配置数据库来管理和发现系统中的代理服务。在具体实施时,在代理服务启动时,该代理服务会在配置数据库中注册自身的信息,例如,标识、服务地址、初审结果类型(例如,不通过、低质通过、通过)等各类信息;同时,为了方便业务调度模块可以方便的查找到已注册的代理服务,在本实施例中,与每一审核算法对应的代理服务在配置数据库中注册时,其可以均关联同一个键值,这样,在配置数据库接收到代理服务的注册请求之后,就可以根据该键值和该代理服务的信息,建立反映该代理服务与该键值之间的关联关系的数据记录,并通过存储该数据记录的方式来方便的管理该代理服务。
需要说明的是,在本实施例中,配置数据库例如可以为etcd,其中,etcd是一个高可用的分布式key/value存储系统,其可以用于分享配置和服务发现等;当然,在具体实施时,该配置数据库也可以为其他数据库,例如,也可以根据需要使用Redis数据库或其他数据库,此处不做特殊限定。
根据以上说明可知,在本实施例中,与已注册的各代理服务对应的代理信息集合可以通过以下方法获得:获取目标键值,其中,所述目标键值为所有代理服务关联的键值;根据所述目标键值,从预设的配置数据库中,获得所述代理信息集合。此外,还可以通过以下步骤维护配置数据库中的记录:接收第一代理服务的注册请求,其中,所述注册请求包括所述第一代理服务的第一信息;响应于所述注册请求,根据所述第一信息,建立反映所述第一代理服务与所述目标键值之间的关联关系的数据记录;将所述数据记录写入所述配置数据库。
其中,第一代理服务,可以是通过加载对应审核算法的库文件,实现调用该审核算法审核待审核对象的服务。
根据以上描述可知,在本实施例中,通过在业务调度模块与算法策略模块之间增加代理层,并通过在代理层中设置与业务调度模块间互相独立的各个代理服务,使得业务调度模块在与各个代理服务之间进行交互时,可以以代理服务提供的、统一的输入接口、输出接口作为边界来进行交互。而针对现有数据审核方法中可能存在的业务调度模块与各个算法策略间的通信协议不统一的问题,在本实施例中,由于已经将业务调度模块和算法策略模块通过代理层中的各个代理服务进行了解耦合处理,因此,针对各个算法策略的通信协议不统一的问题,可以通过在代理服务中设置统一的输入接口、输出接口的方式解决该问题,即,业务调度模块与各个代理服务提供的统一接口进行交互,而算法策略层中的不同审核算法可以在各个代理服务的接口之下进行各自的处理,以避免互相干扰,使得开发人员可以根据业务需要随时调整用于机器审核的算法策略。
请继续参看图3,在实际中,独立存在的服务在工作过程中可能发生故障,例如,网络连接异常、异常重启等故障,从而可能发生该服务不能用来进行审核处理的情况。针对该情况,本实施例提供的方法在审核的过程中,还包括:接收第二代理服务发送的心跳请求,其中,所述第二代理服务为所述目标键值关联的所有代理服务中的任一代理服务;若预设时长内未接收到所述心跳请求,则从所述代理信息集合中,移除所述第二代理服务的第二信息。
如图3所示,每一代理服务在配置数据库,例如,etcd中注册之后,为了便于随时获得各个代理服务的健康状态,已注册的代理服务可以与业务调度模块之间保持心跳机制(heartbeatmechanism),在一代理服务的心跳丢失预设时长的情况下,为了避免错误调用,业务调度模块可以先从代理信息集合中移除该代理服务的信息,以避免在根据代理信息集合,对待审核的目标对象进行审核时,可能发送的错误调度的情况。
当然,在预设时长内未接收到第二代理服务,并从代理信息集合中移除第二代理服务的第二信息之后,还可以在重新接收到该第二代理服务的心跳请求的情况下,重新将第二信息添加至代理信息集合,以恢复对第二代理服务的调度和审核汇总。由此可知,在本实施例中,还可以进一步通过该方式实现算法策略的自动可插拔处理,从而实现算法策略的平滑升级,使得机器系统的质量更加稳固。
在步骤S2200之后,执行步骤S2300,根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,其中,所述初审结果集合中包括至少一个初审结果,每一初审结果与一代理服务对应。
在本实施例中,在经过上述步骤获取到待审核的目标对象,以及,获取到系统中已注册的、分别用于使用不同审核算法对目标对象进行初审处理的代理服务的代理信息集合之后,即可根据该代理信息集合,将目标对象分发给不同的代理服务进行处理,以获得初审结果集合。
在具体实施时,所述根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,包括:从所述代理信息集合中,获取第三代理服务的第三信息;根据所述第三信息和所述目标对象,生成第一初审请求;将所述第一初审请求发送至所述第三代理服务;以及,接收所述第三代理服务返回的第一初审结果;根据所述第一初审结果,获得所述初审结果集合。
需要说明的是,在本实施例中,在将第一初审请求发送给第三代理服务时,可以是直接将该第一初审请求发送给第三代理服务;也可以是先将该第一初审请求放入一任务队列中,并由第三代理服务按照预设时间间隔从该任务队列中获取请求进行处理的方式实现,以避免系统中并发请求数量较多而出现系统压力过大的问题。
步骤S2400,根据所述初审结果集合,获得目标审核结果。
在经过以上步骤,业务调度模块通过获得对目标对象进行初审后返回的各个初审结果之后,即可通过汇总各初审结果并进行综合评判的方式,得到针对目标对象的目标审核结果。
在具体实施时,所述根据所述初审结果集合,获得所述目标审核结果,包括:将所述初审结果集合输入到预设结果评估模型中,获得所述目标审核结果。
即,在本实施例中,针对不同算法策略返回的初审结果,为了提升目标审核结果的准确率,可以预先训练获得一结果评估模型,该结果评估模型用于根据不同算法策略返回结果所对应的权重值,通过综合计算,得到目标分值,再通过将该分值与预设阈值进行比较,以获得表示该目标对象是否审核通过的目标审核结果。
当然,在具体实施时,在获得初审结果集合之后,也可以基于木桶效应(Cannikin'slaw),来获得目标审核结果,即,所述根据所述初审结果集合,获得所述目标审核结果,包括:若所述初审结果集合中的任一初审结果低于第一阈值,则将所述目标审核结果设置为第一审核状态;若所述初审结果集合中的所有初审结果均不低于所述第一阈值,并且,任一初审结果低于第二阈值,则将所述目标审核结果设置为第二审核状态;以及,若所述初审结果集合中的所有初审结果均不低于所述第二阈值,则将所述目标审核结果设置为第三审核状态;其中,所述第一审核状态表示所述目标对象为审核未通过状态,所述第二审核状态表示所述目标对象为低质通过状态,所述第三审核状态表示所述目标对象为高质通过状态,所述第一阈值低于所述第二阈值。
在该实施例中,以目标对象为短视频为例,每一算法策略,即审核算法在审核短视频之后,可以向调用其的代理服务返回一分值,再由该代理服务根据该分值,生成初审结果,并将初审结果返回给业务调度模块,以由业务调度模块通过汇总各初审结果,得到目标审核结果。
例如,第一阈值为“不通过”,第二阈值为“低质通过”;代理服务1对应审核算法1,并且审核算法1用于评估视频的模糊度,代理服务2对应审核算法2,并且审核算法2用于评估视频中是否包含不当言论;在具体实施时,针对待审核的短视频1,审核算法1进行处理,可以获得一分值,例如,为45,则在60表示“低质通过”的情况下,代理服务1可以向业务调度模块返回结果为“不通过”的初审结果1;而代理服务2可以向业务调度框架返回结果为“通过”的初审结果2;那么,经过综合评估,根据初审结果1和初审结果2,可以得到针对短视频1的目标审核结果为“不通过”。
综上所述,本公开实施例提供的数据审核方法,在电子设备,例如,服务器获取到待审核的目标对象之后,通过获取代理信息集合,以获得在系统中注册的代理服务的信息,之后,根据该代理信息集合,通过将目标对象分别分发给不同的代理服务进行处理,可以获得由至少一个初审结果构成的初审结果集合;再通过该初审结果集合,对目标对象进行综合评判,即可获得目标审核结果。根据本实施例的方法,区别于现有机器审核方法将审核算法与业务逻辑编码混合在一起进行审核的方法,该方法通过以插件的形式接入分别对应不同审核算法的代理服务,可以将算法与业务代码解耦,进而使得可以灵活、高效的实现对目标对象的自动审核处理。
<装置实施例>
与上述实施例相对应,在本实施例中,还提供一种数据审核装置,如图4所示,该装置4000可以包括目标对象获取模块4100、信息获取模块4200、初审结果获得模块4300和目标审核结果获得模块4400。
该目标对象获取模块4100,用于获取待审核的目标对象;该信息获取模块4200,用于获取代理信息集合,其中,所述代理信息集合包括至少一个代理服务的信息,所述代理服务用于使用接入的审核算法审核接收到的对象,每一代理服务所接入的审核算法不同;该初审结果获得模块4300,用于根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,其中,所述初审结果集合中包括至少一个初审结果,每一初审结果与一代理服务对应;该目标审核结果获得模块4400,用于根据所述初审结果集合,获得目标审核结果。
<设备实施例>
在本实施例中,还提供一种电子设备,如图5所示,该电子设备5000还可以包括处理器5200和存储器5100,该存储器5100用于存储可执行的指令;该处理器5200用于根据指令的控制运行电子设备以执行根据本公开任意实施例的数据审核方法。
<介质实施例>
与上述方法实施例对应,在本实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质存储有可被计算机读取并运行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行如本公开以上任意实施例所述的方法。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。
Claims (10)
1.一种数据审核方法,其特征在于,包括:
获取待审核的目标对象;
获取代理信息集合,其中,所述代理信息集合包括至少一个代理服务的信息,所述代理服务用于使用对应的审核算法审核接收到的对象,每一代理服务所对应的审核算法不同;
根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,其中,所述初审结果集合中包括至少一个初审结果,每一初审结果与一代理服务对应;
根据所述初审结果集合,获得目标审核结果。
2.根据权利要求1所述的方法,其特征在于,所述获取所述代理信息集合,包括:
获取目标键值,其中,所述目标键值为所有代理服务关联的键值;
根据所述目标键值,从预设的配置数据库中,获得所述代理信息集合。
3.根据权利要求2所述的方法,其特征在于,所述方法通过以下步骤维护所述配置数据库中的记录:
接收第一代理服务的注册请求,其中,所述注册请求包括所述第一代理服务的第一信息;
响应于所述注册请求,根据所述第一信息,建立反映所述第一代理服务与所述目标键值之间的关联关系的数据记录;
将所述数据记录写入所述配置数据库。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括;
接收第二代理服务发送的心跳请求,其中,所述第二代理服务为所述目标键值关联的所有代理服务中的任一代理服务;
若预设时长内未接收到所述心跳请求,则从所述代理信息集合中,移除所述第二代理服务的第二信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,包括:
从所述代理信息集合中,获取第三代理服务的第三信息;
根据所述第三信息和所述目标对象,生成第一初审请求;
将所述第一初审请求发送至所述第三代理服务;以及,
接收所述第三代理服务返回的第一初审结果;
根据所述第一初审结果,获得所述初审结果集合。
6.根据权利要求1所述的方法,其特征在于,所述根据所述初审结果集合,获得所述目标审核结果,包括:
将所述初审结果集合输入到预设结果评估模型中,获得所述目标审核结果。
7.根据权利要求1所述的方法,其特征在于,所述根据所述初审结果集合,获得所述目标审核结果,包括:
若所述初审结果集合中的任一初审结果低于第一阈值,则将所述目标审核结果设置为第一审核状态;
若所述初审结果集合中的所有初审结果均不低于所述第一阈值,并且,任一初审结果低于第二阈值,则将所述目标审核结果设置为第二审核状态;以及,
若所述初审结果集合中的所有初审结果均不低于所述第二阈值,则将所述目标审核结果设置为第三审核状态;
其中,所述第一审核状态表示所述目标对象为审核未通过状态,所述第二审核状态表示所述目标对象为低质通过状态,所述第三审核状态表示所述目标对象为高质通过状态,所述第一阈值低于所述第二阈值。
8.一种数据审核装置,其特征在于,包括:
目标对象获取模块,用于获取待审核的目标对象;
信息获取模块,用于获取代理信息集合,其中,所述代理信息集合包括至少一个代理服务的信息,所述代理服务用于使用接入的审核算法审核接收到的对象,每一代理服务所接入的审核算法不同;
初审结果获得模块,用于根据所述代理信息集合,将所述目标对象分发给不同的代理服务进行处理,获得初审结果集合,其中,所述初审结果集合中包括至少一个初审结果,每一初审结果与一代理服务对应;
目标审核结果获得模块,用于根据所述初审结果集合,获得目标审核结果。
9.一种电子设备,其特征在于,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述指令的控制运行所述电子设备执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有可被计算机读取执行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行根据权利要求1-7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110591941.7A CN113342849B (zh) | 2021-05-28 | 2021-05-28 | 数据审核方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110591941.7A CN113342849B (zh) | 2021-05-28 | 2021-05-28 | 数据审核方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113342849A true CN113342849A (zh) | 2021-09-03 |
CN113342849B CN113342849B (zh) | 2024-06-07 |
Family
ID=77471949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110591941.7A Active CN113342849B (zh) | 2021-05-28 | 2021-05-28 | 数据审核方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113342849B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125054A (zh) * | 2021-11-29 | 2022-03-01 | 百果园技术(新加坡)有限公司 | 一种内容审核系统、方法、装置、设备及介质 |
CN114218599A (zh) * | 2022-02-22 | 2022-03-22 | 飞狐信息技术(天津)有限公司 | 一种业务数据处理方法及装置、存储介质及电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040015723A1 (en) * | 2002-07-22 | 2004-01-22 | Duc Pham | Secure network file access controller implementing access control and auditing |
US20070036331A1 (en) * | 2005-07-18 | 2007-02-15 | Consistacom, Inc. | Method and system for automatically synchronizing and auditing databases of telephone call center switching systems in a telephone call center network |
US7225249B1 (en) * | 1997-09-26 | 2007-05-29 | Mci, Llc | Integrated systems for providing communications network management services and interactive generating invoice documents |
EP2790123A1 (en) * | 2013-04-08 | 2014-10-15 | BlackBerry Limited | Generating A Data Audit Trail For Cross Perimeter Data Transfer |
CN106878029A (zh) * | 2015-12-14 | 2017-06-20 | 任子行网络技术股份有限公司 | 一种网络数据审计系统及方法 |
US20170270175A1 (en) * | 2016-03-16 | 2017-09-21 | Linkedin Corporation | Tracking data replication and discrepancies in incremental data audits |
CN111343146A (zh) * | 2020-02-04 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 数据审核方法、系统、计算机可读介质及电子设备 |
CN111385129A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 全球化内容审核方法、装置、计算机设备及存储介质 |
CN111428945A (zh) * | 2020-04-27 | 2020-07-17 | 中国银行股份有限公司 | 业务审核处理方法、装置及电子设备 |
US10917524B1 (en) * | 2019-10-30 | 2021-02-09 | American Tel-A-Systems, Inc. | Methods for auditing communication sessions |
WO2021088400A1 (zh) * | 2019-11-07 | 2021-05-14 | 达而观信息科技(上海)有限公司 | 一种文档审核方法、装置、系统、设备及存储介质 |
-
2021
- 2021-05-28 CN CN202110591941.7A patent/CN113342849B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7225249B1 (en) * | 1997-09-26 | 2007-05-29 | Mci, Llc | Integrated systems for providing communications network management services and interactive generating invoice documents |
US20040015723A1 (en) * | 2002-07-22 | 2004-01-22 | Duc Pham | Secure network file access controller implementing access control and auditing |
US20070036331A1 (en) * | 2005-07-18 | 2007-02-15 | Consistacom, Inc. | Method and system for automatically synchronizing and auditing databases of telephone call center switching systems in a telephone call center network |
EP2790123A1 (en) * | 2013-04-08 | 2014-10-15 | BlackBerry Limited | Generating A Data Audit Trail For Cross Perimeter Data Transfer |
CN106878029A (zh) * | 2015-12-14 | 2017-06-20 | 任子行网络技术股份有限公司 | 一种网络数据审计系统及方法 |
US20170270175A1 (en) * | 2016-03-16 | 2017-09-21 | Linkedin Corporation | Tracking data replication and discrepancies in incremental data audits |
CN111385129A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 全球化内容审核方法、装置、计算机设备及存储介质 |
US10917524B1 (en) * | 2019-10-30 | 2021-02-09 | American Tel-A-Systems, Inc. | Methods for auditing communication sessions |
WO2021088400A1 (zh) * | 2019-11-07 | 2021-05-14 | 达而观信息科技(上海)有限公司 | 一种文档审核方法、装置、系统、设备及存储介质 |
CN111343146A (zh) * | 2020-02-04 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 数据审核方法、系统、计算机可读介质及电子设备 |
CN111428945A (zh) * | 2020-04-27 | 2020-07-17 | 中国银行股份有限公司 | 业务审核处理方法、装置及电子设备 |
Non-Patent Citations (10)
Title |
---|
NAGANNA CHETTY 等: "Computational Analysis of Online Hate Content using Cognitive-AI", 2021 6TH INTERNATIONAL CONFERENCE ON COMPUTING, COMMUNICATION AND SECURITY (ICCCS), 24 March 2021 (2021-03-24), pages 1 - 3 * |
ROBERT GORWA 等: "Algorithmic content moderation: Technical and political challenges in the automation of platform governance", pages 1, Retrieved from the Internet <URL:https://doi.org/10.1177/2053951719897945> * |
TEAM CLARIFAI: "5 Types of Content Moderation and How to Scale Using AI", pages 1, Retrieved from the Internet <URL:https://www.clarifai.com/blog/5-types-of-content-moderation-and-how-ai-is-helping> * |
万里顾—程: "23种设计模式——代理模式", pages 1 - 10, Retrieved from the Internet <URL:https://blog.csdn.net/wpc2018/article/details/115581684> * |
内容安全小趴菜: "安全产品之内容审核体系", pages 1, Retrieved from the Internet <URL:https://www.woshipm.com/operate/4056433.html> * |
廖建新 等: "基于代理缓存的移动流媒体动态调度算法", 计算机学报, no. 07, 15 July 2008 (2008-07-15), pages 1216 - 1223 * |
张建军 等: "通过人工智能实现内容智能审核及在世界杯的实战", 现代电视技术, no. 8, pages 52 - 54 * |
朱烨行 等: "基于内容审查过滤的网络安全研究", 计算机应用研究, no. 10, 10 October 2006 (2006-10-10), pages 130 - 132 * |
百度大脑: "图像、文本、视频审核一站式搞定,百度大脑内容审核平台轻松应对审核难题", pages 1, Retrieved from the Internet <URL:https://ai.baidu.com/support/news?action=detail&id=1646> * |
许杨鹏: "基于LNMP的微博内容监控与反垃圾系统设计与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 4, 15 April 2018 (2018-04-15), pages 139 - 543 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125054A (zh) * | 2021-11-29 | 2022-03-01 | 百果园技术(新加坡)有限公司 | 一种内容审核系统、方法、装置、设备及介质 |
CN114125054B (zh) * | 2021-11-29 | 2024-03-15 | 百果园技术(新加坡)有限公司 | 一种内容审核系统、方法、装置、设备及介质 |
CN114218599A (zh) * | 2022-02-22 | 2022-03-22 | 飞狐信息技术(天津)有限公司 | 一种业务数据处理方法及装置、存储介质及电子设备 |
CN114218599B (zh) * | 2022-02-22 | 2022-05-27 | 飞狐信息技术(天津)有限公司 | 一种业务数据处理方法及装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113342849B (zh) | 2024-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9253265B2 (en) | Hot pluggable extensions for access management system | |
CN113342849B (zh) | 数据审核方法、装置、电子设备及存储介质 | |
US8660996B2 (en) | Monitoring files in cloud-based networks | |
US8353014B2 (en) | Dynamic dual permissions-based data capturing and logging | |
CN106713469B (zh) | 用于分布式容器的动态加载方法、装置及系统 | |
CN110324209B (zh) | 微服务系统监控方法、装置、电子设备及计算机可读介质 | |
CN111694638A (zh) | 规则包加载方法、规则包执行方法及终端设备 | |
US20200153889A1 (en) | Method for uploading and downloading file, and server for executing the same | |
CN114189525A (zh) | 服务请求方法、装置和电子设备 | |
WO2020232158A1 (en) | System and methods for securely storing data for efficient access by cloud-based computing instances | |
US11544119B2 (en) | Business rules processing framework for implementing new desired functionality in a telecommunication application | |
US7275250B1 (en) | Method and apparatus for correlating events | |
CN116257438A (zh) | 接口测试用例的更新方法及相关设备 | |
CN112925648B (zh) | 业务策略的发布方法和装置 | |
CN112068807B (zh) | 流程工业应用软件生态系统、开发方法及存储介质 | |
CN106936643B (zh) | 一种设备联动方法以及终端设备 | |
CN116151631A (zh) | 一种业务决策处理系统、一种业务决策处理方法和装置 | |
CN112416980B (zh) | 数据业务处理方法、装置及设备 | |
CN110995890B (zh) | 域名请求的调度方法及装置 | |
CN111857548B (zh) | 数据读取方法、装置及系统 | |
CN117472617B (zh) | 一种消息处理方法、装置、电子设备及可读存储介质 | |
CN116305218B (zh) | 一种数据链路追踪及数据更新方法、装置及数据管理系统 | |
CN117076007B (zh) | 降低中台架构代码侵入的方法、装置及中台系统 | |
US20230229582A1 (en) | Information processing apparatus, processing method for information processing apparatus, and storage medium | |
CN117762533A (zh) | 业务数据的多环节流程处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |