CN116861198A - 数据处理方法、装置及存储介质 - Google Patents

数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN116861198A
CN116861198A CN202311120284.3A CN202311120284A CN116861198A CN 116861198 A CN116861198 A CN 116861198A CN 202311120284 A CN202311120284 A CN 202311120284A CN 116861198 A CN116861198 A CN 116861198A
Authority
CN
China
Prior art keywords
algorithm
data
auditing
target
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311120284.3A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202311120284.3A priority Critical patent/CN116861198A/zh
Publication of CN116861198A publication Critical patent/CN116861198A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例涉及计算机领域,提供一种数据处理方法、装置及存储介质。数据处理方法包括:接收数据接入设备的第一消息,基于第一消息包含的对待审核数据的审核请求,读取待审核数据对应的控制文件;基于控制文件,向算法引擎发送关于目标算法的第二消息;接收算法引擎基于第二消息返回的目标响应;基于目标响应,通过算法调用接口调用目标算法,以使得算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果;将审核结果发送数据接入设备。本申请实施例利用控制文件确定与待审核数据匹配的目标算法,从而可以更好地满足待审核数据的审核需求,提高待审核数据的审核结果的准确性、可靠性、全面性和深度。

Description

数据处理方法、装置及存储介质
技术领域
本申请实施例涉及计算机技术领域,更具体地涉及一种数据处理方法、装置及存储介质。
背景技术
近年来,随着移动互联网的兴起和监管制度的严格化、常规化,内容审核领域面临着越来越大的挑战,需要被审核的图像和视频等数据的数据量暴增。同时,需要被审核的数据大多来自不同的渠道,若采用无差别的审核算法对数据进行审核,无法有效满足审核需求,进而无法保证审核结果的正确性和可靠性。
发明内容
本申请实施例提供一种数据处理方法、装置及存储介质,避免了无差别的审核算法在特定场景下应用的局限性,更好地满足了审核需求,保证了审核结果的正确性和可靠性。
第一方面,本申请实施例提供一种数据处理方法,该方法包括:应用于内容审核系统中的算法调度模块,内容审核系统还包括算法引擎和数据接入设备,算法引擎中集合多个审核算法。数据处理方法包括:接收数据接入设备的第一消息,基于第一消息包含的对待审核数据的审核请求,读取待审核数据对应的控制文件,控制文件包括多个审核算法各自的算法调用逻辑;基于控制文件,向算法引擎发送关于目标算法的第二消息,第二消息用于请求调取与待审核数据匹配的目标算法;接收算法引擎基于第二消息返回的目标响应;基于目标响应,通过算法调用接口调用目标算法,以使得算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果;将审核结果发送至数据接入设备。
在一个实施方式中,基于控制文件,向算法引擎发送关于目标算法的第二消息,包括:获取待审核数据的业务类型和数据模态;基于待审核数据的业务类型和数据模态,利用控制文件中包括的多个审核算法各自的算法调用逻辑,确定与待审核数据的业务类型和数据模态匹配的目标算法,并向算法引擎发送关于目标算法的第二消息。
在一个实施方式中,目标算法满足下列各项中的一项:包括用于审核待审核数据是否合法的算法;包括用于审核待审核数据是否包括伪造内容的算法;或者,包括审核待审核数据是否合法的算法、以及包括在确定待审核数据合法的情况下,审核待审核数据是否包括伪造内容的算法。
在一个实施方式中,算法调用接口中定义多个审核算法的输入数据模态、输出数据模态和多个审核算法的算法结果的融合方式中的至少一种。
第二方面,本申请实施例提供一种数据处理方法,应用于内容审核系统中的算法引擎,内容审核系统还包括算法调度模块和数据接入设备,算法引擎中集合多个审核算法。数据处理方法包括:接收算法调度模块基于控制文件发送的第二消息,第二消息用于请求调取与待审核数据匹配的目标算法,控制文件包括多个审核算法各自的算法调用逻辑;基于第二消息,向算法调度模块发送目标响应,以便算法调度模块通过算法调用接口调用目标算法;响应于算法调度模块对目标算法的调用,利用目标算法对待审核数据进行审核,得到待审核数据的审核结果。
本申请实施例提供一种数据处理装置,具有实现对应于上述第一方面提供的数据处理方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,模块可以是软件和/或硬件。
第三方面,本申请实施例提供一种数据处理装置,应用于内容审核系统中的算法调度模块,内容审核系统还包括算法引擎和数据接入设备,算法引擎中集合多个审核算法。数据处理装置包括:收发模块,用于接收数据接入设备的第一消息,基于第一消息包含的对待审核数据的审核请求,读取待审核数据对应的控制文件,控制文件包括多个审核算法各自的算法调用逻辑;第一发送模块,用于基于控制文件,向算法引擎发送关于目标算法的第二消息,第二消息用于请求调取与待审核数据匹配的目标算法;接收模块,用于接收算法引擎基于第二消息返回的目标响应;处理模块,用于基于目标响应,通过算法调用接口调用目标算法,以使得算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果;第二发送模块,用于将审核结果发送数据接入设备。
本申请实施例还提供一种数据处理装置,具有实现对应于上述第二方面提供的数据处理方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,模块可以是软件和/或硬件。
第四方面,本申请实施例提供一种数据处理装置,应用于内容审核系统中的算法引擎,内容审核系统还包括算法调度模块和数据接入设备,算法引擎中集合多个审核算法。数据处理装置包括:接收模块,用于接收述算法调度模块基于控制文件发送的第二消息,第二消息用于请求调取与待审核数据匹配的目标算法,控制文件包括多个审核算法各自的算法调用逻辑;发送模块,用于基于第二消息,向算法调度模块发送目标响应,以便算法调度模块通过算法调用接口调用目标算法;审核模块,用于响应于算法调度模块对目标算法的调用,利用目标算法对待审核数据进行审核,得到待审核数据的审核结果。
第五方面,本申请实施例提供一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行如第一方面和第二方面所提及的数据处理方法。
第六方面,本申请实施例提供一种计算设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现第一方面和第二方面所提及的数据处理方法。
第七方面,本申请实施例提供一种芯片,该芯片中包括与终端设备的收发器耦合的处理器,用于执行本申请实施例第一方面和第二方面提供的技术方案。
第八方面,本申请实施例提供一种芯片系统,该芯片系统包括处理器,用于支持终端设备实现上述第一方面和第二方面中所涉及的功能,例如,生成或者处理上述第一方面和第二方面提供的数据处理方法中所涉及的信息。
在一种可能的设计中,上述芯片系统还包括存储器,该存储器用于保存终端必需的程序指令和数据。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
第九方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面和第二方面提供的数据处理方法。
相较于现有技术,本申请实施例提供的数据处理方法应用于内容审核系统中的算法调度模块。具体地,在接收到数据接入设备的第一消息后,读取与第一消息匹配的待审核数据对应的控制文件,并根据控制文件向算法引擎发送第二消息,请求调取与待审核数据匹配的目标算法。由于控制文件中包括多个审核算法各自的算法调用逻辑,因此,本申请实施例实现了在不修改代码的情况下,灵活地针对待审核数据的审核需求,获取所需的目标算法,目标算法可以是一个,也可以是多个,避免了在特定场景下审核算法的局限性,从而可以更好地满足待审核数据的审核需求。进一步地,接收算法引擎根据第二消息返回的目标响应,根据目标响应通过算法调用接口调用目标算法,以便算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果,进而提高待审核数据的审核结果的准确性、可靠性、全面性和深度。之后,将待审核数据的审核结果发送至数据接入设备,保证了数据接入设备接收到的审核结果的准确性,便于用户通过数据接入设备对待审核数据的审核结果进行分析,进而做出正确的应对举措。
附图说明
通过参考附图阅读本申请实施例的详细描述,本申请实施例的目的、特征和优点将变得易于理解。
图1为本申请实施例提供的内容审核算法的执行流程图。
图2为本申请实施例中数据处理方法的一种数据处理系统示意图。
图3为本申请实施例的数据处理方法的一种流程示意图。
图4为本申请实施例的数据处理方法的交互示意图。
图5为本申请实施例的发送第二消息的一种流程示意图。
图6为本申请实施例的利用目标算法处理待审核数据的流程图。
图7为本申请实施例的数据处理装置的结构示意图。
图8为本申请又一实施例的数据处理装置的结构示意图。
图9为本申请实施例的计算设备的一种结构示意图。
图10为本申请实施例的手机的一种结构示意图。
图11为本申请实施例中服务器的一种结构示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象(例如第一xx和第二xx分别表示为不同的xx,其他类似),而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请实施例中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行。另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合,通信连接可以是电性或其他类似的形式,本申请实施例中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例提供一种数据处理方法、装置及存储介质,应用于内容审核系统中的算法调度模块。该内容审核系统中包括数据获取装置和数据审核装置,数据获取装置和数据审核装置可以集成部署,也可以分离式部署。数据获取装置用于对海量的多媒体内容进行预处理,得到待审核数据。数据审核装置用于识别输入的待审核数据,并利用目标算法对待审核数据进行审核,得到待审核数据的审核结果。其中,数据获取装置可以是基于对媒体内容进行预处理,得到待审核数据的应用程序,或为基于对媒体内容进行预处理,得到待审核数据的服务器或终端设备。数据审核装置可为识别输入的待审核数据,并利用目标算法对待审核数据进行审核,得到审核结果的数据审核程序。示例性地,该数据审核程序是数据审核模型,此外,数据审核装置还可以是部署了数据审核模型的终端设备。
本申请实施例提供的方案涉及人工智能(Artificial Intelligence,AI)和机器学习(Machine Learning,ML)等技术,具体通过如下实施例进行说明。
其中,AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
AI技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
图1为本申请实施例提供的内容审核算法的执行流程图。如图1所示,在现有技术中,针对需要算法服务审核的场景,内容审核算法会接收算法请求端的数据第一消息,并获取相应场景下的待审核数据。示例性地,待审核数据为图像数据或视频数据。进一步地,对待审核数据进行数据模态的判断,若待审核数据为图像数据,则对图像进行图像解码,若待审核数据是视频数据,则对视频数据进行视频解帧,之后,将视频解帧后的数据或图像解码后的数据发送至内容审核算法。内容审核算法对接收的相关数据进行推理识别,并将推理识别结果进行展示。
然而,该方法存在如下缺陷。
第一,审核算法与待审核数据的适配程度低。举例来说,在社交媒体上,用户可能会发布包含图像、视频和文字的多媒体信息,现有技术中,若不对待审核数据进行分析,而是采用无差别的审核算法对多媒体信息进行处理,由于该审核算法可能更擅长处理图像或视频等信息,在处理文字内容时效果不佳,因此,会导致无法有效处理多媒体信息的审核需求,导致审核结果的准确性和全面性受到限制。
第二,审核算法在执行审核过程中面临正确性和可靠性的挑战。具体而言,不同的审核场景可能需要不同的审核算法来处理,某个审核算法在场景A下表现良好,但在场景B下可能效果不佳。因此,审核算法的适用性限制了其在不同审核场景下的准确性。例如,在处理海量待监测数据时,一些监测场景可能需要更高的算法准确性,以确保敏感内容的准确过滤和分析,而一些审核算法无法满足海量待监测数据的审核需求,导致数据监测的可靠性下降。
第三,审核算法无法覆盖所有的审核场景。不同的审核场景可能需要多个审核算法的组合,以获得更准确、全面和可靠的审核结果。示例性地,一些审核场景需要同时进行内容审核、文字解析和人脸识别等多个审核算法的调用,无差别的审核算法不能提供针对性的算法覆盖,导致审核结果缺乏全面性和深度。
相较于现有技术,本申请实施例提供的数据处理方法应用于内容审核系统中的算法调度模块。具体地,在接收到数据接入设备的第一消息后,读取与第一消息匹配的待审核数据对应的控制文件,并根据控制文件向算法引擎发送第二消息,请求调取与待审核数据匹配的目标算法。由于控制文件中包括多个审核算法各自的算法调用逻辑,因此,本申请实施例实现了在不修改代码的情况下,灵活地针对待审核数据的审核需求,获取所需的目标算法,目标算法可以是一个,也可以是多个,避免了在特定场景下审核算法的局限性,从而可以更好地满足待审核数据的审核需求。进一步地,接收算法引擎根据第二消息返回的目标响应,根据目标响应通过算法调用接口调用目标算法,以便算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果,进而提高待审核数据的审核结果的准确性、可靠性、全面性和深度。之后,将待审核数据的审核结果发送至数据接入设备,保证了数据接入设备接收到的审核结果的准确性,便于用户通过数据接入设备对待审核数据的审核结果进行分析,进而做出正确的应对举措。
一些实施方式中,数据获取装置和数据审核装置分离式部署,参照图2,本申请实施例提供的数据处理方法可基于图2所示的一种数据处理系统实现。该数据处理系统可以包括服务器01和终端设备02。
该终端设备02可以是数据获取装置,其中可以部署针对多媒体内容的预处理程序。
该服务器01可以是数据审核装置,其中可以部署有多种审核算法,例如,内容审核算法、光学字符识别(Optical Character Recognition,OCR)算法、人脸识别算法等。
终端设备02可以将接收到的多媒体内容进行预处理,得到待审核数据,并将待审核数据发送至服务器01。服务器01基于待审核数据,利用与待审核数据匹配的目标算法对其进行处理,得到审核结果,然后将审核结果发送至终端设备02。
需要说明的是,本申请实施例涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例涉及的终端设备,可以是指向用户提供语音和/或数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语音和/或数据。例如,个人通信业务(Personal Communication Service,PCS)电话、无绳电话、会话发起协议(Sessioninitialization Protocol,SIP)话机、无线本地环路(Wireless Local Loop,WLL)站、个人数字助理(Personal Digital Assistant,PDA)等设备。
下面举例说明,内容审核系统中的数据接入设备、算法调度模块和算法引擎之间的信息交互逻辑。具体而言,数据接入设备向算法调度模块发送第一消息,算法调度模块接收到第一消息后,根据第一消息包含的对待审核数据的审核请求,读取待审核数据对应的控制文件,并根据控制文件中包含的多个审核算法各自的算法调用逻辑,向算法引擎发送第二消息,以便向算法引擎请求调取与待审核数据匹配的目标算法。算法引擎接收到第二消息后,根据第二消息向算法调度模块发送目标响应。算法调度模块根据目标响应,通过算法调用接口调用目标算法。算法引擎响应于算法调度模块对目标算法的调用,利用目标算法对待审核数据进行审核,得到待审核数据的审核结果,并将审核结果发送至算法调度模块。进一步地,算法调度模块接收到审核结果之后,将审核结果发送给数据接入设备。为了进一步明确数据接入设备、算法调度模块和算法引擎之间的信息交互逻辑,下面结合图3进行进一步说明。
具体地,参照图3,图3为本申请实施例的数据处理方法的一种流程示意图。如图3所示,本申请实施例提及的数据处理方法应用于内容审核系统,涉及数据接入设备、算法调度模块和算法引擎。
本申请实施例提供的数据处理方法包括如下步骤。
步骤S310,数据接入设备向算法调度模块发送第一消息。
在一些实施方式中,第一消息携带有待验证数据和终端标识等,本申请实施例不作具体限定。其中,待验证数据用于判断第一消息是否符合调用审核算法的响应条件,在符合调用审核算法的响应条件的情况下,根据终端标识从预设的数据库中获取待审核数据。
示例性地,根据终端标识从预设的数据库中获取目标视频,目标视频的内容不限。对目标视频进行抽帧处理,得到目标视频中的关键帧,将关键帧确定为待审核数据。具体地,将目标视频按照一定的间隔进行抽帧,间隔包括时间间隔和/或视频帧间隔。在一种实现方式中,将目标视频转换成视频帧数据,时间间隔为0.5 s,也即,根据视频帧数据的生成时间,将每隔0.5 s选择得到的视频帧序列作为目标视频的关键帧。在另一种实现方式中,视频帧间隔为5,也即,每隔5个视频帧,抽取一个关键帧,进而得到目标视频中包含的所有关键帧。如此,将目标视频输入到目标算法之前,首先对目标视频进行抽帧,得到目标视频中的关键帧,多个目标算法可共享使用抽取的目标视频中的关键帧,并对目标视频中的关键帧进行计算,避免各个目标算法重复地对目标视频进行抽帧计算,换句话说,避免了各个目标算法之间的冗余计算,提高了目标算法的计算效率和资源利用率。
步骤S320,算法调度模块基于第一消息包含的对待审核数据的审核请求,读取待审核数据对应的控制文件。
控制文件包括多个审核算法各自的算法调用逻辑。示例性地,控制文件可以是yaml控制文件,也可以是json控制文件,本申请实施例不限制控制文件的类型。此外,控制文件对应有多个审核算法。具体地,控制文件中包含多个审核算法各自对应的算法名称、算法路径和算法参数等信息。针对多个审核算法中的每个审核算法,在控制文件中设置有inable关键字,当inable为开时,则调用其对应的审核算法,否则,不调用其对应的审核算法。示例性地,多个审核算法包括内容审核算法、OCR算法、人脸识别算法等。此外,控制文件可扩展,其可以增加或删除一些字段信息。
在一些实施例中,控制文件中还包括每个审核算法对应的审核规则,审核规则中包括待审核数据对应的审核流程,审核流程包括调用审核算法的顺序。例如,针对待审核数据,需要先调用人脸识别算法进行审核,然后,调用内容审核算法进行审核。
控制文件中对应的多个审核算法可以由用户申请创建,并且,多个审核算法可以根据审核需求进行更新,本申请实施例中的更新包括审核算法的增添、删除以及审核算法的功能更新,以满足用户在不同时间节点、不同场景下的审核需求。示例性地,审核算法的增添方法包括:接收用户提交的、待发布的审核算法的名称和版本,如果检测到待发布的审核算法的名称和版本不存在,则会将待发布的审核算法自动补充至数据库。数据库中存储的审核算法一般包括算法名称、算法版本信息、算法程序文件、算法控制文件和算法样例文件等等,并为每个审核算法分配一个文件存储目录,以便将不同的审核算法进行隔离。
根据控制文件中记录的审核算法的信息,可以实现审核算法的动态加载和卸载。也即,针对待审核数据需要增加新的审核算法时,根据控制文件中的信息,动态加载相应的算法服务;针对待审核数据需要减少审核算法时,可以将其从运行环境中卸载。
步骤S330,算法调度模块基于控制文件,向算法引擎发送第二消息。
第二消息用于请求调取与待审核数据匹配的目标算法。
示例性地,可根据数据审核需求,确定与待审核数据匹配的目标算法。进一步地,利用控制文件中包含的各个审核算法的信息,从多个审核算法中确定与待审核数据匹配的目标算法,目标算法的数量可以是一个,也可以是多个。
步骤S340,算法引擎基于第二消息,向算法调度模块发送目标响应。
步骤S340的目的是,便于算法调度模块通过算法调用接口调用目标算法。目标响应为算法引擎基于第二消息返回的响应信息,其可以包含是否可调用、以及具体如何调用等信息。
步骤S350,算法调度模块基于目标响应,通过算法调用接口调用目标算法。
以使得算法引擎根据目标算法,对待审核数据进行审核,得到待审核数据的审核结果。
步骤S360,算法引擎响应于算法调度模块对目标算法的调用,利用目标算法对待审核数据进行审核,得到待审核数据的审核结果。
审核待审核数据是指,对待审核数据的真伪性和/或合法合规性进行审核校验。审核结果可以是通过或不通过、异常或正常、或者是命中了具体的审核对象。
具体地,从控制文件中获取目标算法各自的运行逻辑,基于目标算法各自的运行逻辑,运行目标算法审核待审核数据,得到待审核数据的审核结果。控制文件中包括多个审核算法各自的运行逻辑,运行逻辑包括并行度和/或算法参数。此外,运行逻辑还包括审核算法的算法路径。其中,并行度是指可同时开辟的线程的数量,在本申请实施例中,目标算法对应的并行度是指可同时运行的目标算法。算法参数是指审核算法的行为参数,示例性地,待审核数据为视频数据,若该视频数据适配的审核算法为内容审核算法,并且,内容审核算法的算法参数表示支持视频数据的减帧,则内容审核算法在处理视频数据时,会对视频数据进行减帧并处理视频数据减帧后的帧数据。
根据审核算法的算法路径,调用与待审核数据匹配的目标算法。进一步地,根据目标算法的并行度和/或算法参数,运行目标算法,得到待审核数据的审核结果。示例性地,目标算法包含多个的情况下,多个目标算法可根据自身的任务需求,对待审核数据进行计算。举例来说,多个目标算法可以通过并行计算或任务调度的方式,实现协同计算,避免冗余计算和资源浪费。
示例性地,利用目标算法审核关键帧,得到关键帧中出现违规场景的命中帧,从命中帧中确定最优帧,基于最优帧,得到待审核数据的审核结果。
最优帧表示同一违规场景下置信度最高的帧。示例性地,违规场景为开车时接听电话,目标算法包括算法A、算法B和算法C。对于待审核数据中的关键帧,算法A、算法B和算法C都会进行消费推理,如果关键帧中的第2帧出现了算法A中包括的违规场景,会输出响应该违规场景的违规标志(例如,开车时接听电话)。同时,确定算法B和算法C对第2帧的推理识别结果,若根据算法B和算法C的推理识别结果也确定第2帧出现了开车时接听电话的违规场景,则将第2帧确定为最优帧。若基于算法A、算法B和算法C,确定存在多个命中帧出现了开车时接听电话的违规场景,则从多个命中帧选择置信度最高的命中帧作为最优帧。待审核数据的审核结果包括命中违规场景的帧在关键帧中的序列号以及违规场景的标志信息。
在本申请实施例中,首先确定命中帧,在命中帧的基础上,利用目标算法,联合确定命中帧中的最优帧,保证了审核结果的可靠性和准确性。此外,将待审核数据的单位最小化,以帧为单位进行审核,能够实现违规与否的精准定位,便于后续对待审核数据进行修改、或者指出待审核数据的违规之处。
步骤S370,算法引擎向算法调度模块发送审核结果。
步骤S380,算法调度模块向数据接入设备发送审核结果。
数据接入设备在接收到待审核数据的审核结果之后,进一步将审核结果发送给用户侧,以便用户侧根据审核结果对待审核数据进行分析。若待审核数据出现违规内容,方便采取相应的应对举措。
下面结合图4举例说明在一实际应用场景中,内容审核系统中的数据接入设备、算法调度模块和算法引擎之间的信息交互,具体地,图4为本申请实施例的数据处理方法的交互示意图。
参见图4,用户侧根据数据源(也即待审核数据)设置接口对接程序,示例性地,接口对接程序包含Algo API Schedule,并定期将数据源放入指定服务器的指定文件夹,方便获取数据。进一步地,用户侧还提供消息队列的相关配置信息。
用户通过数据接入设备调用Algo API Schedule,向算法调度模块发送第一消息。利用服务器文件监听相应的文件夹,并自动发起审核任务,同时,接入消息队列。
算法调度模块在接收到第一消息后,读取yaml控制文件,并向算法引擎请求多审核算法,对待审核数据进行审核。示例性地,审核结果中包含不合法帧数据所命中违规场景的标签、以及不合法概率。根据不合法概率,对不合法帧数据进行标签阈值过滤,并在同一待审核数据对应多个目标算法的情况下,将多个目标算法针对待审数据的审核结果进行聚合,将聚合后的审核结果存储至数据中间件。示例性地,数据中间件包括clickhouse、kafka等。在本实施例中,数据中间件包括一个主中心和多个分中心,主中心与分中心之间通过数据总线交换数据。数据流向中,主数据的流向从主中心通过数据总线实时同步到分中心,而交易数据的流向从分中心实时同步到主中心。在故障时,会从分中心转移到主中心。其是一个用于解决异构数据源同步问题的数据传输工具,它将复杂的网状的同步链路变成了星型数据链路,作为中间传输载体连接各种数据源。当需要接入一个新的数据源时,只需要将此数据源对接到数据中间件,便能与已有的数据源实现无缝数据同步。
在本申请实施例中,算法调度模块在接收到数据接入设备的第一消息后,读取与第一消息匹配的待审核数据对应的控制文件,并根据控制文件向算法引擎发送第二消息,请求调取与待审核数据匹配的目标算法。由于控制文件中包括多个审核算法各自的算法调用逻辑,因此,本申请实施例实现了在不修改代码的情况下,灵活地针对待审核数据的审核需求,获取所需的目标算法,目标算法可以是一个,也可以是多个,避免了在特定场景下审核算法的局限性,从而可以更好地满足待审核数据的审核需求。进一步地,算法调度模块接收算法引擎根据第二消息返回的目标响应,根据目标响应通过算法调用接口调用目标算法,以便算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果,进而提高待审核数据的审核结果的准确性、可靠性、全面性和深度。之后,将待审核数据的审核结果发送至数据接入设备,保证了数据接入设备接收到的审核结果的准确性,便于用户通过数据接入设备对待审核数据的审核结果进行分析,进而作出正确的应对举措。
图5为本申请实施例的发送第二消息的一种流程示意图。在图3所示实施例的基础上延伸出图5所示实施例,下面着重叙述图5所示实施例与图3所示实施例的不同之处,相同之处不再赘述。
如图5所示,在本申请实施例中,算法调度模块基于控制文件,向算法引擎发送关于目标算法的第二消息,包括如下步骤。
步骤S510,获取待审核数据的业务类型和数据模态。
示例性地,业务类型包括娱乐业务、新闻业务、政要业务等等,不同的业务类型所匹配的审核算法也不相同。示例性地,数据模态有音频数据模态、图像数据模态、视频数据模态和文本数据模态等。审核算法的类型不同,其适配的数据模态也不同。举例来说,内容审核算法适配音频数据模态和文本数据模态的待审核数据,人脸识别算法适配图像数据模态和视频数据模态的待审核数据。
确定待审核数据后,对待审核数据进行解析,确定待审核数据中包含的各类数据模态,并将不同数据模态的待审核数据进行分离。例如,待审核数据中包含图像数据和文本数据,则待审核数据包含的数据模态包含图像数据模态和文本数据模态,进一步地,将待审核数据中的图像数据和文本数据进行分离,以便后续采用不同的审核算法对其进行处理。
步骤S520,基于待审核数据的业务类型和数据模态,利用控制文件中包括的多个审核算法各自的算法调用逻辑,确定与待审核数据的业务类型和数据模态匹配的目标算法,并向算法引擎发送关于目标算法的第二消息。
在本实施例中,待审核数据可以是任意业务类型的数据,示例性地,待审核数据可以是公安系统提供的实网数据,还可以是客户提供的接口数据或者其他开放的数据源应用程序编程接口(Application Programming Interface,API)。此外,待审核数据可以是任意数据模态的数据,示例性地,待审核数据可以是图像数据,也可以是视频数据,还可以是文字数据,或者,待审核数据是前述任意三种数据类型中的至少两种。待审核数据的具体内容可以根据场景需求而定,举例来说,在短视频发布场景下,待审核数据可以是剪辑的电影片段;在新闻发布场景下,待审核数据可以是群众针对某一热点事件的观点表达;在医疗场景下,待审核数据可以是患者的疾病数据;在保险场景下,待审核数据是核保理赔数据;在金融场景下,待审核数据是贷款审批数据等等。
基于上述图5所示实施例所描述的内容,下面结合图6举例说明如何利用目标算法处理待审核数据。
图6为本申请实施例的利用目标算法处理待审核数据的流程图。如图6所示,若待审核数据中包含视频数据模态的视频数据,算法引擎读取相应的控制文件并处理视频数据;若待审核数据中包含图像数据模态的图像数据,算法引擎读取相应的控制文件并处理图像数据。进一步地,对视频数据进行解帧,对图像数据进行图像解码,并选择与视频数据和图像数据各自匹配的目标算法。之后,得到各个目标算法输出的算法结果,对算法结果进行数据后处理,并将处理后的数据进行结果融合。
需要说明的是,各个审核算法之间不存在技术壁垒,每类数据模态的待审核数据可以对应至少两个审核算法(也即,目标算法包含多个)。例如,文本数据模态的待审核数据,与其匹配的至少两个审核算法包括OCR算法和内容审核算法;视频数据模态的待审核数据,与其匹配的至少两个审核算法包括人脸识别算法和内容审核算法;针对图像数据模态的待审核数据,与其匹配的至少两个审核算法包括图像识别算法和人脸识别算法。
此外,同一审核算法针对不同类型的待审核数据,其审核的重点存在差异。例如,针对文本数据模态的待审核数据,内容审核算法主要检测其是否涉及敏感词条、暴恐、违禁等垃圾文本;针对视频数据模态的待审核数据,内容审核算法主要检测在各类场景下、是否涉黄、涉政以及违规等。
在本申请实施例中,通过待审核数据的业务类型和数据模态、以及多个审核算法各自匹配的业务类型和数据模态,可以确定多个审核算法中与待审核数据匹配的目标算法,进而提高审核算法和与其要处理的待审核数据的匹配程度。并且,通过待审核数据的业务类型数据模态确定匹配的审核算法,实现方式简单,易操作,可复制性高。在此基础上,也提高了待审核数据的审核结果的准确性。
在一实施方式中,目标算法满足下列各项中的一项:
包括用于审核待审核数据是否合法的算法;
包括用于审核待审核数据是否包括伪造内容的算法;
包括用于审核待审核数据是否合法的算法、以及包括在确定待审核数据合法的情况下,审核待审核数据是否包括伪造内容的算法。
根据本实施例中各类的目标算法,可检测图像、文本、音视频等待审核数据中是否存在违规内容等。通过对用户侧上传的图像、文本、音视频进行内容审核,以确定用户侧上传内容的违规性,从而帮助内容审核终端降低业务违规风险。针对图像审核,其可应用于视频直播、在线商城、网站论坛等场景。其中,对于视频直播场景,内容审核可以对所有房间的直播内容实时监控,识别可疑房间并进行预警;对于在线商城场景,内容审核可以审核商家和/或用户上传的图像、视频等,识别并预警不合规的图像、视频等,以防止违规图像、视频等发布,从而降低业务违规风险。针对文本审核,其可应用于电商评论筛选、注册昵称审核、媒资内容审核、弹幕审核、聊天内容实时审核等。此外,内容审核还可以应用于清晰度检测等场景。针对清晰度检测,内容审核可以对企业表单的清晰度进行判断并量化,避免二次上次,从而降低了人工成本;内容审核还可以对电商评论论坛上传的图像进行清晰度检测,避免上传模糊图像,从而保证上传图像的真实性。
在一实施方式中,算法调用接口中定义了多个审核算法的输入数据模态、输出数据模态和多个审核算法的算法结果的融合方式中的至少一种。
此外,算法调用接口中还包括多个审核算法各自的接口函数定义。
在调用目标算法时,是通过算法调用接口实现的。示例性地,当确定与待审核数据匹配的目标算法后,根据负载均衡策略,利用算法调用接口调用对应的目标算法。同时,记录目标算法的调用过程,以便监控各个目标算法的负载和运行状态。
算法调用接口中定义了多个审核算法的输入数据模态是指,在运行目标算法对待审核数据进行处理之前,若待审核数据的数据模态不是算法调用接口中规定的输入数据模态,目标算法可根据自己的接口函数定义,将待审核数据的数据模态转换成该输入数据模态。
算法调用接口中定义了多个审核算法的输出数据模态是指,在运行目标算法对待审核数据进行处理,并输出算法结果之前,将算法结果转换成算法调用接口中定义的目标算法的输出数据模态。
算法调用接口中定义了多个审核算法的算法结果的融合方式是指,在目标算法为多个的情况下,根据各个目标算法的融合权重,对多个目标算法的算法结果进行融合,以得到待审核数据的审核结果。
也就是说,针对待审核数据,当需要单个或多个目标算法协同工作时,可以通过算法调用接口,确定各个审核算法之间的输入数据模态、输出数据模态以及算法结果的融合方式的一致性。
在一些实施例中,针对特定的审核场景,可以根据该审核场景下的审核需求,选择合适的目标算法,并调用每个目标算法的接口,实现多个目标算法之间的协同工作。
在本实施例中,通过算法调用接口中的定义,解决了不同审核场景下的审核需求。利用算法调用接口中的定义,可以将审核算法的输入数据模态、输出数据模态、算法结果的融合方式进行统一,进而实现了不同的审核算法的协同工作,保证待审核数据的审核结果的全面性和准确性。在此基础上,若对审核结果进行进一步的分析,也能提高分析的效果和精度。
以上对本申请实施例中的数据处理方法进行说明,以下对执行上述数据处理方法的数据处理装置(例如服务器)分别进行介绍。
参阅图7,图7为本申请实施例的数据处理装置的结构示意图。在本申请实施例中的数据处理装置70能够实现对应于上述图3中算法引擎对应的实施例中所执行的数据处理方法的步骤。数据处理装置70实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。所述数据处理装置70可包括:接收模块701、发送模块702、审核模块703,接收模块701、发送模块702、审核模块703的功能实现可参考图3所对应的实施例中所执行的操作,此处不作赘述。
具体而言,接收模块701,用于接收述算法调度模块基于控制文件发送的第二消息,第二消息用于请求调取与待审核数据匹配的目标算法,控制文件包括多个审核算法各自的算法调用逻辑;
发送模块702,用于基于第二消息,向算法调度模块发送目标响应,以便算法调度模块通过算法调用接口调用目标算法;
审核模块703,用于响应于算法调度模块对目标算法的调用,利用目标算法对待审核数据进行审核,得到待审核数据的审核结果。
本申请实施例提供的数据处理装置应用于内容审核系统中的算法引擎,具体地,审核模块703根据与待审核数据匹配的目标算法各自的运行逻辑,运行目标算法,以便得到待审核数据的审核结果。通过本实施例中的控制文件中的运行逻辑,可动态调整审核算法的行为,以适应不同审核场景下的审核需求,同时,也提高了目标算法与待审核数据的适配度。根据目标算法对应的并行度,在保证目标算法正常运行的前提下,提高了对待审核数据的审核效率。通过目标算法对应的算法参数,保证了待审核数据的审核结果的准确度以及全面性。
参阅图8,图8为本申请又一实施例的数据处理装置的结构示意图。在本申请实施例中的数据处理装置80能够实现对应于上述图3中算法调度模块对应的实施例中所执行的数据处理方法的步骤。数据处理装置80实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。所述数据处理装置80可包括:收发模块801、第一发送模块802、接收模块803、处理模块804、第二发送模块805,其中,收发模块801、第一发送模块802、接收模块803、处理模块804、第二发送模块805的功能实现可参考图3所对应的实施例中所执行的操作,此处不作赘述。
具体而言,收发模块801,用于接收数据接入设备的第一消息,基于第一消息包含的对待审核数据的审核请求,读取待审核数据对应的控制文件,控制文件包括多个审核算法各自的算法调用逻辑;
第一发送模块802,用于基于控制文件,向算法引擎发送关于目标算法的第二消息,第二消息用于请求调取与待审核数据匹配的目标算法;
接收模块803,用于接收算法引擎基于第二消息返回的目标响应;
处理模块804,用于基于目标响应,通过算法调用接口调用目标算法,以使得算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果;
第二发送模块805,用于将审核结果发送数据接入设备。
在一些实施方式中,第一发送模块802还用于,获取待审核数据的业务类型和数据模态;基于待审核数据的业务类型和数据模态,利用控制文件中包括的多个审核算法各自的算法调用逻辑,确定与待审核数据的业务类型和数据模态匹配的目标算法,并向算法引擎发送关于目标算法的第二消息。
在一些实施方式中,目标算法满足下列各项中的一项:包括用于审核待审核数据是否合法的算法;包括用于审核待审核数据是否包括伪造内容的算法;或者,包括用于审核待审核数据是否合法的算法、以及包括在确定待审核数据合法的情况下,审核待审核数据是否包括伪造内容的算法。
在一些实施方式中,算法调用接口中定义了多个审核算法的输入数据模态、输出数据模态和多个审核算法的算法结果的融合方式中的至少一种。
本申请实施例提供的数据处理装置应用于内容审核系统中的算法调度模块。具体地,在接收到数据接入设备的第一消息后,收发模块801读取与第一消息匹配的待审核数据对应的控制文件,第一发送模块802根据控制文件向算法引擎发送第二消息,请求调取与待审核数据匹配的目标算法。由于控制文件中包括多个审核算法各自的算法调用逻辑,因此,本申请实施例实现了在不修改代码的情况下,灵活地针对待审核数据的审核需求,获取所需的目标算法,目标算法可以是一个,也可以是多个,避免了在特定场景下审核算法的局限性,从而可以更好地满足待审核数据的审核需求。进一步地,接收模块803接收算法引擎根据第二消息返回的目标响应,处理模块804根据目标响应通过算法调用接口调用目标算法,以便算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果,进而提高待审核数据的审核结果的准确性、可靠性、全面性和深度。之后,第二发送模块805将待审核数据的审核结果发送至数据接入设备,保证了数据接入设备接收到的审核结果的准确性,便于用户通过数据接入设备对待审核数据的审核结果进行分析,进而作出正确的应对举措。
上面从模块化功能实体的角度对本申请实施例中的数据处理装置80进行了描述,下面从硬件处理的角度分别对本申请实施例中的数据处理装置80进行描述。
需要说明的是,图7中的接收模块701、发送模块702,图8所示的收发模块801、第一发送模块802、接收模块803和第二发送模块805对应的实体设备可以为收发器、射频电路、通信模块和输入/输出(I/O)接口等,图7中的审核模块703、图8中的处理模块804对应的实体设备可以为处理器。
图7和图8所示的装置均可以具有如图9所示的结构,当图7和图8所示的数据处理装置具有如图9所示的结构时,图9中的处理器和收发器能够实现前述对应该装置的装置实施例提供的接收模块701、发送模块702、审核模块703、收发模块801、第一发送模块802、接收模块803、处理模块804、第二发送模块805相同或相似的功能,图9中的存储器存储处理器执行上述数据处理方法时需要调用的计算机程序。
需要说明的是,不论是上述实施例提及的数据处理装置,还是计算设备,都可以以一体机的形式呈现。也就是说,一体机能够执行上述实施例提及的数据处理方法。
本申请实施例还提供了一种终端设备,如图10所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例的方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、销售终端设备(Point of Sales,POS)、车载电脑等任意终端设备,以终端设备为手机为例:
图10示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图10,手机包括:射频(Radio Frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图10中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体地介绍:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier,LNA)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General PacketRadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如音频播放功能、视频播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、待发布文本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的关键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作),并根据预先设定的程序驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(LiquidCrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中,触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一手机,或者将音频数据输出至存储器1020以便进一步处理。
Wi-Fi属于短距离无线传输技术,手机通过Wi-Fi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图10示出了Wi-Fi模块1070,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理单元;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池),可选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该手机所包括的处理器1080还具有控制执行以上由数据处理装置执行的数据处理方法流程。
本申请实施例还提供了一种服务器,请参阅图11,图11是本申请实施例提供的一种服务器结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图中未示出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows Server,Mac OS X,Unix, Linux,FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器1100的结构。例如,上述实施例中由图7和图8所示的数据处理装置所执行的步骤可以基于该图11所示的服务器结构。例如,所述中央处理器1122通过调用存储器1132中的指令,执行图8所示的数据处理装置的操作:
通过输入输出接口1158,接收数据接入设备的第一消息,基于第一消息包含的对待审核数据的审核请求,读取待审核数据对应的控制文件,控制文件包括多个审核算法各自的算法调用逻辑;基于控制文件,向算法引擎发送关于目标算法的第二消息,第二消息用于请求调取与待审核数据匹配的目标算法;接收算法引擎基于第二消息返回的目标响应;基于目标响应,通过算法调用接口调用目标算法,以使得算法引擎利用目标算法对待审核数据进行审核,得到待审核数据的审核结果;将审核结果发送数据接入设备。
还可以通过输入输出接口1158,接收用户的审核需求,并根据审核需求,确定待审核数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其他的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,既可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍,本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请实施例的限制。

Claims (10)

1.一种数据处理方法,其特征在于,应用于内容审核系统中的算法调度模块,所述内容审核系统还包括算法引擎和数据接入设备,所述算法引擎中集合多个审核算法,所述方法包括:
接收所述数据接入设备的第一消息,基于所述第一消息包含的对待审核数据的审核请求,读取所述待审核数据对应的控制文件,所述控制文件包括所述多个审核算法各自的算法调用逻辑;
基于所述控制文件,向所述算法引擎发送第二消息,所述第二消息用于请求调取与所述待审核数据匹配的目标算法;
接收所述算法引擎基于所述第二消息返回的目标响应;
基于所述目标响应,通过算法调用接口调用所述目标算法,以使得所述算法引擎利用所述目标算法对所述待审核数据进行审核,得到所述待审核数据的审核结果;
将所述审核结果发送至所述数据接入设备。
2.根据权利要求1所述的方法,其特征在于,所述基于所述控制文件,向所述算法引擎发送第二消息,包括:
获取所述待审核数据的业务类型和数据模态;
基于所述待审核数据的业务类型和数据模态,利用所述控制文件中包括的所述多个审核算法各自的算法调用逻辑,确定与所述待审核数据的业务类型和数据模态匹配的目标算法,并向所述算法引擎发送关于所述目标算法的第二消息。
3.根据权利要求2所述的方法,其特征在于,所述目标算法满足下列各项中的一项:
包括用于审核所述待审核数据是否合法的算法;
包括用于审核所述待审核数据是否包括伪造内容的算法;
包括审核所述待审核数据是否合法的算法、以及包括在确定所述待审核数据合法的情况下,审核所述待审核数据是否包括伪造内容的算法。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述算法调用接口中定义所述多个审核算法的输入数据模态、输出数据模态和所述多个审核算法的算法结果的融合方式中的至少一种。
5.一种数据处理方法,其特征在于,应用于内容审核系统中的算法引擎,所述内容审核系统还包括算法调度模块和数据接入设备,所述算法引擎中集合多个审核算法,所述方法包括:
接收所述算法调度模块基于控制文件发送的第二消息,所述第二消息用于请求调取与待审核数据匹配的目标算法,所述控制文件包括所述多个审核算法各自的算法调用逻辑;
基于所述第二消息,向所述算法调度模块发送目标响应,以便所述算法调度模块通过算法调用接口调用所述目标算法;
响应于所述算法调度模块对所述目标算法的调用,利用所述目标算法对所述待审核数据进行审核,得到所述待审核数据的审核结果。
6.一种数据处理装置,其特征在于,应用于内容审核系统中的算法调度模块,所述内容审核系统还包括算法引擎和数据接入设备,所述算法引擎中集合多个审核算法,所述装置包括:
收发模块,用于接收所述数据接入设备的第一消息,基于所述第一消息包含的对待审核数据的审核请求,读取所述待审核数据对应的控制文件,所述控制文件包括所述多个审核算法各自的算法调用逻辑;
第一发送模块,用于基于所述控制文件,向所述算法引擎发送第二消息,所述第二消息用于请求调取与所述待审核数据匹配的目标算法;
接收模块,用于接收所述算法引擎基于所述第二消息返回的目标响应;
处理模块,用于基于所述目标响应,通过算法调用接口调用所述目标算法,以使得所述算法引擎利用所述目标算法对所述待审核数据进行审核,得到所述待审核数据的审核结果;
第二发送模块,用于将所述审核结果发送至所述数据接入设备。
7.一种数据处理装置,其特征在于,应用于内容审核系统中的算法引擎,所述内容审核系统还包括算法调度模块和数据接入设备,所述算法引擎中集合多个审核算法,所述装置包括:
接收模块,用于接收所述算法调度模块基于控制文件发送的第二消息,所述第二消息用于请求调取与待审核数据匹配的目标算法,所述控制文件包括所述多个审核算法各自的算法调用逻辑;
发送模块,用于基于所述第二消息,向所述算法调度模块发送目标响应,以便所述算法调度模块通过算法调用接口调用所述目标算法;
审核模块,用于响应于所述算法调度模块对所述目标算法的调用,利用所述目标算法对所述待审核数据进行审核,得到所述待审核数据的审核结果。
8.一种计算设备,其特征在于,其包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,其包括指令,当其在计算机上运行时,使得所述计算机执行如权利要求1至5任一项所述的方法。
10.一种包含指令的计算机程序产品,所述计算机程序产品包括程序指令,当所述程序指令在计算机或处理器上运行时,使得所述计算机或所述处理器执行如权利要求1至5任一项所述的方法。
CN202311120284.3A 2023-09-01 2023-09-01 数据处理方法、装置及存储介质 Pending CN116861198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311120284.3A CN116861198A (zh) 2023-09-01 2023-09-01 数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311120284.3A CN116861198A (zh) 2023-09-01 2023-09-01 数据处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116861198A true CN116861198A (zh) 2023-10-10

Family

ID=88232635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311120284.3A Pending CN116861198A (zh) 2023-09-01 2023-09-01 数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116861198A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576545A (zh) * 2024-01-16 2024-02-20 成都同步新创科技股份有限公司 一种多算法全匹配接入适配器接入方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190253744A1 (en) * 2018-02-13 2019-08-15 Ernest Huang Systems and methods for content management of live or streaming broadcasts and video publishing systems
WO2020010568A1 (zh) * 2018-07-12 2020-01-16 深圳齐心集团股份有限公司 一种大数据人工智能分析装置
CN110837615A (zh) * 2019-11-05 2020-02-25 福建省趋普物联科技有限公司 广告内容信息过滤人工智能审核系统
CN110971939A (zh) * 2018-09-30 2020-04-07 武汉斗鱼网络科技有限公司 一种违规图片的识别方法及相关装置
CN115309730A (zh) * 2022-08-11 2022-11-08 联仁健康医疗大数据科技股份有限公司 数据审核方法、装置、电子设备及存储介质
CN115840765A (zh) * 2022-11-22 2023-03-24 上海哔哩哔哩科技有限公司 基于规则引擎的数据处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190253744A1 (en) * 2018-02-13 2019-08-15 Ernest Huang Systems and methods for content management of live or streaming broadcasts and video publishing systems
WO2020010568A1 (zh) * 2018-07-12 2020-01-16 深圳齐心集团股份有限公司 一种大数据人工智能分析装置
CN110971939A (zh) * 2018-09-30 2020-04-07 武汉斗鱼网络科技有限公司 一种违规图片的识别方法及相关装置
CN110837615A (zh) * 2019-11-05 2020-02-25 福建省趋普物联科技有限公司 广告内容信息过滤人工智能审核系统
CN115309730A (zh) * 2022-08-11 2022-11-08 联仁健康医疗大数据科技股份有限公司 数据审核方法、装置、电子设备及存储介质
CN115840765A (zh) * 2022-11-22 2023-03-24 上海哔哩哔哩科技有限公司 基于规则引擎的数据处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576545A (zh) * 2024-01-16 2024-02-20 成都同步新创科技股份有限公司 一种多算法全匹配接入适配器接入方法
CN117576545B (zh) * 2024-01-16 2024-04-05 成都同步新创科技股份有限公司 一种多算法全匹配接入适配器接入方法

Similar Documents

Publication Publication Date Title
US20190122260A1 (en) Method and apparatus for generating targeted label, and storage medium
US10304461B2 (en) Remote electronic service requesting and processing method, server, and terminal
CN104917796B (zh) 信用账户创建装置、系统和方法
CN103763112B (zh) 一种用户身份保护方法和装置
CN111339572A (zh) 云数据完整性的验证方法、系统、终端设备及存储介质
CN111104425A (zh) 数据处理方法及装置
CN116861198A (zh) 数据处理方法、装置及存储介质
CN117093766A (zh) 问诊平台的信息推荐方法、相关装置及存储介质
CN108897846A (zh) 信息搜索方法、设备及计算机可读存储介质
CN110796552A (zh) 一种风险提示方法及装置
CN111709843B (zh) 一种客户画像的生成方法、装置及电子设备
CN115412726B (zh) 视频真伪检测方法、装置及存储介质
CN109451295A (zh) 一种获取虚拟信息的方法和系统
CN115546516B (zh) 人员聚档方法、装置、计算机设备及存储介质
CN115984643A (zh) 模型训练方法、相关设备及存储介质
CN110278124A (zh) 线上接口的监控方法、装置以及计算机可读存储介质
CN108900696A (zh) 一种数据处理方法、终端和计算机可读存储介质
CN111901740B (zh) 一种数据的处理方法、装置及设备
CN112667868A (zh) 一种数据检测方法以及装置
CN115565215B (zh) 一种人脸识别算法切换方法、装置及存储介质
CN111368211B (zh) 关系链确定方法、装置及存储介质
CN118250375A (zh) 一种数据处理方法、装置及电子设备
CN117787207A (zh) 标准单元库验证方法、装置、存储介质及电子设备
CN116227814A (zh) 信息处理方法、智能终端及存储介质
CN117473566A (zh) 保密数据校验装置、系统和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20231010