CN108256870B - 基于拓扑结构生成描述信息及更新、数据处理方法和装置 - Google Patents

基于拓扑结构生成描述信息及更新、数据处理方法和装置 Download PDF

Info

Publication number
CN108256870B
CN108256870B CN201611229449.0A CN201611229449A CN108256870B CN 108256870 B CN108256870 B CN 108256870B CN 201611229449 A CN201611229449 A CN 201611229449A CN 108256870 B CN108256870 B CN 108256870B
Authority
CN
China
Prior art keywords
information
module
data processing
topology
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611229449.0A
Other languages
English (en)
Other versions
CN108256870A (zh
Inventor
肖胜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201611229449.0A priority Critical patent/CN108256870B/zh
Publication of CN108256870A publication Critical patent/CN108256870A/zh
Application granted granted Critical
Publication of CN108256870B publication Critical patent/CN108256870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • G06Q30/0185Product, service or business identity fraud
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0609Buyer or seller confidence or verification

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了基于拓扑结构生成描述信息及更新、数据处理方法和装置,该拓扑结构的描述信息的生成方法包括:获取所述数据处理模块的模块代码信息及处理顺序信息;至少采用所述模块代码信息及所述处理顺序信息生成模块信息;至少采用所述模块信息生成拓扑结构的可解析的描述信息。用户无需严格按照编码语音的格式进行开发,也无需进行编译等开发工作,大大降低了开发新的拓扑结构的技术门槛,也减少了开发新的拓扑结构的时间,对于可执行的逻辑信息,计算系统可以立即执行,实现了计算系统的拓扑结构的热更新,避免了重启计算系统,及时进行诸如作弊手段的识别等处理,同时,保证在拓扑结构的更新期间,计算系统仍然可以进行处理。

Description

基于拓扑结构生成描述信息及更新、数据处理方法和装置
技术领域
本申请涉及计算机处理的技术领域,特别是涉及一种拓扑结构的描述信息的生成方法、一种拓扑结构的更新方法、一种基于拓扑结构的数据处理方法和一种拓扑结构的描述信息的生成装置、一种拓扑结构的更新装置、一种基于拓扑结构的数据处理装置。
背景技术
因为对不同的数据格式、处理的策略和逻辑不一样,所以在诸如反作弊平台等实时的计算系统中,一般会定义同类型处理逻辑的策略作为一个处理流,而为了兼容不同的数据和特征,一般会预先定义可预见的多个处理流。
这些处理流组成了一个计算系统的拓扑结构,接收到的数据根据该拓扑结构进行处理。
例如,目前一种串联的拓扑结构如图1A所示,对于源数据101,在计算系统100中经过策略1、策略2、策略3的处理,最终输出处理结果102。
又例如,目前一种并联的拓扑结构如图1B所示,对于源数据101,在计算系统100中分别由两条处理流进行处理,一条处理流经策略1、策略2、策略3进行处理,另一条处理流经策略4处理后,分别策略5和策略6,以及策略7这两条处理流进行处理,最终合并输出处理结果102。
由于计算系统的拓扑结构一般是固化的,因此,由于业务的需求或者出现新的作弊手段等情况,需要更新拓扑结构,通常先进行按照新的拓扑结构进行开发,然后重新部署计算系统,用新的拓扑结构替换旧的拓扑结构。
但是,这种更新方式,用户需要严格按照C++、Java等语音开发程序,并将该程序编译成模块,技术门槛高、耗时大,在更新时需要重启计算系统,对诸如作弊手段的识别等处理具有滞后性,并且,在重启计算系统的期间,计算系统无法进行处理。
发明内容
鉴于上述问题,提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种拓扑结构的描述信息的生成方法、一种拓扑结构的更新方法、一种基于拓扑结构的数据处理方法和相应的一种拓扑结构的描述信息的生成装置、一种拓扑结构的更新装置、一种基于拓扑结构的数据处理装置。
一方面,本申请实施例提供了一种拓扑结构的描述信息的生成方法,所述拓扑结构包括一个或多个数据处理模块,所述方法包括:
获取所述数据处理模块的模块代码信息及处理顺序信息;
至少采用所述模块代码信息及所述处理顺序信息生成模块信息;
至少采用所述模块信息生成拓扑结构的可解析的描述信息。
另一方面,本申请实施例提供了一种拓扑结构的更新方法,包括:
在计算系统中获取拓扑结构的可解析的描述信息;
将所述可解析的描述信息解析为可执行的逻辑信息;
根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
另一方面,本申请实施例提供了一种基于拓扑结构的数据处理方法,包括:
在计算系统中获取待处理的源数据;在所述计算系统中已更新拓扑结构的可执行的逻辑信息,所述拓扑结构包括一个或多个数据处理模块;
从所述可执行的逻辑信息中提取所述数据处理模块的模块信息;所述模块信息包括模块代码信息、处理顺序信息;
按照所述处理顺序信息执行所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理。
另一方面,本申请实施例提供了一种拓扑结构的描述信息的生成装置,所述拓扑结构包括一个或多个数据处理模块,所述装置包括:
模块信息配置模块,用于获取所述数据处理模块的模块代码信息及处理顺序信息;
模块信息生成模块,用于至少采用所述模块代码信息及所述处理顺序信息生成模块信息;
描述信息生成模块,用于至少采用所述模块信息生成拓扑结构的可解析的描述信息。
另一方面,本申请实施例提供了一种拓扑结构的更新装置,包括:
描述信息获取模块,用于在计算系统中获取拓扑结构的可解析的描述信息;
描述信息解析模块,用于将所述可解析的描述信息解析为可执行的逻辑信息;
逻辑信息更新模块,用于根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
另一方面,本申请实施例提供了一种基于拓扑结构的数据处理装置,包括:
源数据获取模块,用于在计算系统中获取待处理的源数据;在所述计算系统中已更新拓扑结构的可执行的逻辑信息,所述拓扑结构包括一个或多个数据处理模块;
模块信息提取模块,用于从所述可执行的逻辑信息中提取所述数据处理模块的模块信息;所述模块信息包括模块代码信息、处理顺序信息;
源数据处理模块,用于按照所述处理顺序信息执行所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理。
本申请实施例包括以下优点:
本申请实施例通过将拓扑结构抽象为可解析的描述信息,使得计算系统可以通过将可解析的描述信息解析为可执行的逻辑信息,用户在可视化的前端页面进行拓扑结构的配置,即可生成描述信息,用户无需严格按照编码语音的格式进行开发,也无需进行编译等开发工作,大大降低了开发新的拓扑结构的技术门槛,也减少了开发新的拓扑结构的时间,对于可执行的逻辑信息,计算系统可以立即执行,实现了计算系统的拓扑结构的热更新,避免了重启计算系统,及时进行诸如作弊手段的识别等处理,同时,保证在拓扑结构的更新期间,计算系统仍然可以进行处理。
附图说明
图1A是目前一种串联的拓扑结构的示例图;
图1B是目前一种并联的拓扑结构的示例图;
图2是本申请的一种拓扑结构的描述信息的生成方法实施例的步骤流程图;
图3是本申请的一种拓扑结构的更新方法实施例的步骤流程图;
图4是本申请的一种基于拓扑结构的数据处理方法实施例的步骤流程图;
图5A是本申请一个实施例的一个反作弊系统的原始的拓扑结构的示例图;
图5B是本申请一个实施例的一个反作弊系统更新拓扑结构的示例步骤图;
图5C是本申请一个实施例的一个反作弊系统的更新后的拓扑结构的示例图;
图6是本申请的一种拓扑结构的描述信息的生成装置实施例的结构框图;
图7是本申请的一种拓扑结构的更新装置实施例的结构框图;
图8是本申请的一种基于拓扑结构的数据处理装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图2,示出了本申请的一种拓扑结构的描述信息的生成方法实施例的步骤流程图,具体可以包括如下步骤:
步骤201,获取所述数据处理模块的模块代码信息及处理顺序信息。
在本申请实施例中,在新的业务需求的情况下,用户可以在策略管理平台中动态配置拓扑结构中。
在具体实现中,拓扑结构包括一个或多个数据处理模块,在动态配置拓扑结构时,可以配置该数据处理模块的模块代码信息及处理顺序信息。
需要说明的是,该数据处理模块的模块代码信息及处理顺序信息可以在本地实时配置,也可以在其他系统中预先配置,本申请实施例对此不加以限制。
其中,模块代码信息可以为以代码等形式表示的数据处理模块的处理逻辑。
处理顺序信息可以表示数据处理模块的处理顺序,这些数据处理模块可以根据实际情况进行设定,既可以为串联处理,也可以为并联处理,本申请实施例对此不加以限制。
在本申请的一个实施例中,模块代码信息包括具有字段名的代码内容信息和数据位置信息。
其中,代码内容信息可以为数据处理模块进行处理的策略。
在一个示例中,若计算系统为反作弊系统,则代码内容信息可以包括符合安全策略的操作代码,例如,反作弊的策略。
当然,该计算系统也可以为其他类型的系统、代码内容信息也可以为其他类型的策略,本申请实施例对此不加以限制。
在该代码内容信息中具有字段名,该字段名可以为该代码内容信息处理的目标数据,数据位置信息为key-value(键值对)的形式,key记载字段名,value记载该字段名对应的目标数据在输入该数据处理模块的数据的位置。
则在本申请实施例中,可以对数据处理模块配置具有字段名的代码内容信息,对字段名对应的目标数据配置数据位置信息。
以反作弊的策略为例,某个数据处理模块的逻辑为根据IP(Internet Protocol,网络之间互连的协议)地址对数据进行分类后,计算每分钟用户回答的数量。
则在此示例中,对该数据处理模块配置的代码内容信息可以为“select count(*)as submit_cnt from input group by ip”,其中,“ip”为字段名,则数据位置信息可以配置为{“ip”:2},即IP地址的具体数值位于输入该数据处理模块的数据的第二行。
在本申请的另一个实施例中,处理顺序信息包括前置模块信息(如in)和/或后置模块信息(如out)。
其中,前置模块信息可以为处理顺序位于当前数据处理模块之前的上一处理模块的信息,该前置模块信息可以为空,表示当前数据处理模块为拓扑结构中首个处理的数据处理模块,之前不存在其他数据处理模块。
当然,如果拓扑结构存在多条并列的处理流,可以配置并列多个首个处理的数据处理模块。
后置模块信息可以为处理顺序位于当前数据处理模块之后的下一处理模块的信息,该后置模块信息可以为空,表示当前数据处理模块为拓扑结构中最后处理的数据处理模块,之后不存在其他数据处理模块。
当然,如果拓扑结构存在多条并列的处理流,可以配置并列多个最后处理的数据处理模块。
一方面,若待处理的源数据输入当前数据处理模块,则将当前数据处理模块的前置模块信息设置为空(如null)。
若上一数据处理模块的数据处理结果输入当前数据处理模块,则将上一数据处理模块的信息(如名称(name))设置为当前数据处理模块的前置模块信息。
另一方面,若当前数据处理模块的数据处理结果作为拓扑结构的处理结果,则将当前数据处理模块的后置模块信息设置为空(如null)。
若当前数据处理模块的数据处理结果输入下一数据处理模块,则将下一数据处理模块的信息(如名称name)设置为当前数据处理模块的后置模块信息。
当然,上述模块代码信息及处理顺序信息的配置方式只是作为示例,在实施本申请实施例时,可以根据实际情况设置其他模块代码信息及处理顺序信息的配置方式,例如,按照顺序排列数据处理模块的信息(如名称(name)),作为处理顺序信息,等等,本申请实施例对此不加以限制。另外,除了上述模块代码信息及处理顺序信息的配置方式外,本领域技术人员还可以根据实际需要采用其它模块代码信息及处理顺序信息的配置方式,本申请实施例对此也不加以限制。
步骤202,至少采用所述模块代码信息及所述处理顺序信息生成模块信息。
在实际应用中,对于一个数据处理模块,可以配置一个模块信息,即与该数据处理模块相关的信息。
当然,除了模块代码信息及处理顺序信息之外,还可以对数据处理模块配置其他模块信息,例如,数据处理模块的名称(name),等等,本申请实施例对此不加以限制。
步骤203,至少采用所述模块信息生成拓扑结构的可解析的描述信息。
在具体实现中,可以用可解析的描述信息抽象地描述一个拓扑结构的集合,每个集合可以具有该拓扑结构包含的数据处理模块的模块信息。
其中,该可解析的描述信息可以为SQL(Structured Query Language,结构化查询语言)、XML(Extensible Markup Language,可扩展标记语言)、JSON((JavaScript ObjectNotation,一种轻量级的数据交换格式)等可编程语言或者解释型脚本,也可以为用户自定义的规则集合,等等,本申请实施例对此不加以限制。
在本申请的一个实施例中,对于编辑的拓扑结构的可解析的描述信息,用户可以在策略管理平台中通过生效操作决定其是否生效,从而对拓扑结构配置拓扑更新标识。
若该生效操表示决定生效,则可以对拓扑结构配置表示拓扑结构已更新的拓扑更新标识。
若该生效操表示禁止生效,则可以对拓扑结构配置表示拓扑结构未更新的拓扑更新标识。
因此,在生成拓扑结构的可解析的描述信息时,可以采用模块信息和拓扑更新标识生成拓扑结构的可解析的描述信息。
当然,除了模块信息、扑更新标识之外,还可以对拓扑结构配置其他可解析的描述信息,例如,拓扑结构的ID,等等,本申请实施例对此不加以限制。
在本申请的一个实施例中,还可以采用该可解析的描述进行更新拓扑结构。
在具体实现中,可以将所述可解析的描述信息解析为可执行的逻辑信息;根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
在本申请实施例中,由于更新拓扑结构的操作与拓扑结构的更新方法实施例的应用基本相似,所以描述的比较简单,相关之处参见拓扑结构的更新方法实施例的部分说明即可,本申请实施例在此不加以详述。
本申请实施例通过将拓扑结构抽象为可解析的描述信息,使得计算系统可以通过将可解析的描述信息解析为可执行的逻辑信息,大大减少了开发新的拓扑结构的时间,对于可执行的逻辑信息,计算系统可以立即执行,实现了计算系统的拓扑结构的热更新,避免了重启计算系统,及时进行诸如作弊手段的识别等处理,同时,保证在拓扑结构的更新期间,计算系统仍然可以进行处理。
参照图3,示出了本申请的一种拓扑结构的更新方法实施例的步骤流程图,具体可以包括如下步骤:
步骤301,在计算系统中获取拓扑结构的可解析的描述信息。
在具体实现中,用户在策略管理系统对拓扑结构的可解析的描述信息配置完成后,策略管理系统可以发送更新指令至计算系统,通知计算系统更新拓扑结构。
计算系统可以监听更新指令,若监听到更新指令后,获取拓扑结构的可解析的描述信息进行拓扑结构的更新。
在一个示例中,策略管理系统可以将拓扑结构的可解析的描述信息,写入一个共享的数据库中,并发送更新指令至计算系统。
在计算系统中接收拓扑结构的更新指令,则可以按照更新指令从指定的数据库中读取拓扑结构的可解析的描述信息。
当然,除了共享的数据库外,计算系统还可以采用其他方式获取拓扑结构的可解析的描述信息,例如,策略管理系统直接发送拓扑结构的可解析的描述信息至计算系统,等等,本申请实施例对此不加以限制。
步骤302,将所述可解析的描述信息解析为可执行的逻辑信息。
在具体实现中,计算系统可以按照约定好的规则,对获取的可解析的描述信息进行解析,生成自身可执行的逻辑信息。
以可解析脚本为例,在解析时,可以采用由解释器实时地将描述信息转换成二进制形式的逻辑信息进行运行。
步骤303,根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
在本申请实施例中,若将可解析的描述信息解析为计算系统可执行的逻辑信息,则可以采用可执行的逻辑信息更新计算系统的拓扑结构。
在更新计算系统的拓扑结构的过程中,可以将待处理的源数据(如用户行为数据)存储至缓存(如缓存队列)中。
停止将缓存中待处理的源数据输入计算系统中原始的拓扑结构,待输入计算系统中更新后的拓扑结构,使得计算系统更新拓扑结构成功后,可以立即进行处理。
将可执行的逻辑信息加载至内存中,作为计算系统中更新后的拓扑结构。
在可解析的描述信息中包括模块代码信息及处理顺序信息,因此,解析后的可执行的逻辑信息也包括模块代码信息及处理顺序信息,因此,将其加载至内存中,计算系统可以直接按照该模块代码信息及处理顺序信息对待处理的数据进行处理,而无需重启,实现热更新。
在本申请的一个实施例中,在执行步骤303之前,可以从逻辑信息中提取拓扑更新标识,进行。
当拓扑更新标识表示拓扑结构已更新时,允许更新计算系统的拓扑结构。
当拓扑更新标识表示拓扑结构未更新时,禁止更新计算系统的拓扑结构。
本申请实施例通过将拓扑结构抽象为可解析的描述信息,使得计算系统可以通过将可解析的描述信息解析为可执行的逻辑信息,大大减少了开发新的拓扑结构的时间,对于可执行的逻辑信息,计算系统可以立即执行,实现了计算系统的拓扑结构的热更新,避免了重启计算系统,及时进行诸如作弊手段的识别等处理,同时,保证在拓扑结构的更新期间,计算系统仍然可以进行处理。
参照图4,示出了本申请的一种基于拓扑结构的数据处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤401,在计算系统中获取待处理的源数据。
如果在更新计算系统的拓扑结构的过程中,将待处理的源数据(如用户行为数据)存储至缓存(如缓存队列)中,则可以从缓存中读取待处理的源数据。
步骤402,从所述可执行的逻辑信息中提取所述数据处理模块的模块信息。
在本申请实施例中,在计算系统中已更新拓扑结构的可执行的逻辑信息,如将可执行的逻辑信息加载至内存中。
在具体实现中,拓扑结构包括一个或多个数据处理模块,每个数据处理模块具有模块信息,该模块信息包括模块代码信息、处理顺序信息。
因此,在计算系统中可以从内存中读取拓扑结构包含的数据处理模块的模块信息。
步骤403,按照所述处理顺序信息执行所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理。
在实际应用中,由于拓扑结构包含一个或多个数据处理模块,对于整体拓扑结构而言,可以按照顺序(以处理顺序信息表示)执行数据处理模块,对于单个数据处理模块而言,可以执行其本身的逻辑(以模块代码信息表示)。
在本申请的一个实施例中,处理顺序信息可以包括前置模块信息,处理顺序位于当前数据处理模块之前的上一处理模块的信息(如名称(name))。
则在本申请实施例中,可以判断当前数据处理模块的前置模块信息是否为空(如null)。
若是,则表示当前数据处理模块为拓扑结构中首个处理的数据处理模块,可以对待处理的源数据执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果。
若否,则表示当前数据处理模块并非拓扑结构中首个处理的数据处理模块,可以对前置模块信息对应的上一数据处理模块的上一数据处理结果、执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果。
在本申请的另一个实施例中,处理顺序信息包括后置模块信息,即处理顺序位于当前数据处理模块之后的下一处理模块的信息(如名称(name))。
则在本申请实施例中,可以判断当前数据处理模块的后置模块信息是否为空(如null)。
若是,则表示当前数据处理模块为拓扑结构中最后处理的数据处理模块,可以将当前数据处理模块的数据处理结果作为拓扑结构的处理结果输出。
若否,则表示当前数据处理模块并非拓扑结构中最后处理的数据处理模块,可以将当前数据处理模块的数据处理结果输出至后置模块信息对应的下一数据处理模块。
在本申请的另一个实施例中,模块代码信息包括具有字段名的代码内容信息、数据位置信息。
其中,代码内容信息可以为数据处理模块进行处理的策略,在该代码内容信息中具有字段名,该字段名可以为该代码内容信息处理的目标数据,数据位置信息为key-value(键值对)的形式,key记载字段名,value记载该字段名对应的目标数据在输入该数据处理模块的数据的位置。
则在本申请实施例中,可以从输入数据处理模块的数据中,按照数据位置信息读取字段名对应的目标数据。
针对目标数据,执行代码内容信息进行处理,获得数据处理结果。
需要说明的是,若当前数据处理模块的前置模块信息为空(如null),则输入当前数据处理模块的数据为待处理的源数据。
若当前数据处理模块的前置模块信息不为空(如null),则输入当前数据处理模块的数据为前置模块信息(如名称(name))对应的上一数据处理模块的上一数据处理结果。
本申请实施例通过将拓扑结构抽象为可解析的描述信息,使得计算系统可以通过将可解析的描述信息解析为可执行的逻辑信息,大大减少了开发新的拓扑结构的时间,对于可执行的逻辑信息,计算系统可以立即执行,实现了计算系统的拓扑结构的热更新,避免了重启计算系统,及时进行诸如作弊手段的识别等处理,同时,保证在拓扑结构的更新期间,计算系统仍然可以进行处理。
为使本领域技术人员更好地理解本申请实施例,在本说明书中,将反作弊系统作为计算系统的一种示例进行说明。
如图5A所示,在反作弊系统510中,原始的拓扑结构包含一个数据处理模块,该数据处理模块的包含如下逻辑:
策略A,计算用户每道题的答题时间,判断答题的时间是否小于1秒,若是,则判定该用户为作弊用户,否则,判定该用户为正常用户。
因此,对于源数据501,通过反作弊系统510的策略A的反作弊处理,输出处理结果502。
在本示例中,如图5B所示,在步骤S521中,如果出现新的作弊手段,针对该新的作弊手段,新增反作弊需求。
具体而言,用户欲在反作弊系统510的拓扑结构中,增加两个数据处理模块,这两个数据处理模块包含如下逻辑:
策略B,提取用户的IP地址,判断用户的IP地址是否设置为“10.101”,若是,则判定该用户为作弊用户,否则,判定该用户为正常用户。
策略C,提取用户的IP地址,判断用户的IP地址是否为黑名单([10.5.124.124,10.5.124.123])中的IP地址,若是,则判定该用户为作弊用户,否则,判定该用户为正常用户。
其中,策略A与策略B串联作为一条处理流,策略C为单独一条处理流,三者组成并联的拓扑结构。
在步骤S522中,用户在策略管理系统520中,对新的拓扑结构生成可解析的描述信息,该描述信息的结构如下:
Figure BDA0001194255220000131
其中,id为拓扑结构的ID,一般一条处理流设置一个独立的ID。
modules为数据处理模块的模块信息(每个描述信息可以有一个或多个模块信息)。
changed为拓扑更新标识(整个描述信息具有一个拓扑更新标识),ture表示拓扑结构已更新,false表示拓扑结构未更新。
每个modules可以包括如下内容:
name为数据处理模块的名称,在本示例中,A表示策略A所属的数据处理模块、B表示策略B所属的数据处理模块、C表示策略C所属的数据处理模块。
sql为代码内容信息,在本示例中,简化策略A、策略B、策略C的代码表示。
data为数据位置信息。
in为前置模块信息。
out为后置模块信息。
生成可解析的描述信息完成时,反作弊系统510将该可解析的描述信息存储至共享的数据库中,并在步骤S523中,发送更新指令至反作弊系统510。
在反作弊系统510中,在步骤S511中,接收待处理的源数据,例如,用户行为数据,并在步骤S512中,将接收到的待处理的源数据存储至缓存队列。
在步骤S513中,监听来自策略管理系统520的更新指令,如果监听到,则可以停止将缓存队列中的待处理的源数据输出至图5A中的原始的拓扑结构,但是,仍然保持接收待处理的源数据存储至缓存队列。
在步骤S514中,反作弊系统510从共享的数据库中读取可解析的描述信息,将其解析为可执行的逻辑信息,加载至内存中,实现拓扑结构的热更新。
识别changed,如果changed为true,则允许更新拓扑结构,如果changed为false,则禁止更新拓扑结构。
在本示例中,由于changed为true,因此,对图5A所示的原始的拓扑结构进行更新。
更新后的拓扑结构如图5C所示,对于源数据501,可以通过反作弊系统510的策略A、策略B和策略C的反作弊处理,输出数据处理结果502。
具体而言,反作弊系统510的拓扑结构更新完成后,如图5B所示,在步骤S515中,将缓存队列中的待处理的源数据输出至图5C中更新后的拓扑结构中,按照更新后的拓扑结构对源数据进行处理。
在本示例中,反作弊系统510更新后的拓扑结构的反作弊处理的过程如下:
(1)、接收的源数据(格式为:user_id\t ip\t use_time\t data_id)如下:
Figure BDA0001194255220000151
(2)处理id为1的处理流:
由于策略A的前置模块信息(in)为空(null),说明策略A是该处理流的第一个策略,直接从源数据中获取目标数据。
根据策略A的数据位置信息data:{"user_id":1,"ip":2,"use_time":4},可以生成一个提供该策略A用的临时表,该临时表如表1所示:
表1
Figure BDA0001194255220000152
Figure BDA0001194255220000161
对于源数据中其他不用的字段,可以不记录在该临时表中。但是,如果其他策略用到了,可以生成相应的临时表,也就是反作弊系统510可以根据输入每个策略的数据格式生成相应的临时表。
针对数据位置信息(data)对应的目标数据,运行策略A的代码内容信息(sql),即计算用户每道题的答题时间,判断答题的时间是否小于1秒,若是,则判定该用户为作弊用户,否则,判定该用户为正常用户。
在本示例中,策略A的数据处理结果如表示所示:
表2
User_id ip Is_cheat
12345 10.4.11.124 True
12346 10.5.124.124 False
12347 10.4.11.101 False
12348 10.101.1.1 True
其中,数据处理结果中,Is_cheat为True表示该用户为作弊用户,Is_cheat为False表示该用户为正常用户。
由于策略B的前置模块信息(in)为A,则可以以表2所示的数据处理结果作为策略B输入,根据策略B的数据位置信息data:{"user_id":1,"ip":2}对应的目标数据,运行策略B的代码内容信息(sql),及提取用户的IP地址,判断用户的IP地址是否设置为“10.101”,若是,则判定该用户为作弊用户,否则,判定该用户为正常用户。
在本示例中,策略B数据处理结果如表3所示:
表3
User_id Is_cheat
12345 True
12346 False
12347 False
12348 False
(3)处理id为2的处理流:
由于策略C的in为null,说明策略C是该处理流的第一个策略,直接从源数据中获取目标数据。
根据策略C的数据位置信息data:{"user_id":1,"ip":2},可以生成一个提供该策略C用的临时表,该临时表如表4所示:
表4
Figure BDA0001194255220000171
Figure BDA0001194255220000181
针对数据位置信息(data)对应的目标数据,运行策略C的代码内容信息(sql),即提取用户的IP地址,判断用户的IP地址是否为黑名单([10.5.124.124,10.5.124.123])中的IP地址,若是,则判定该用户为作弊用户,否则,判定该用户为正常用户。
在本示例中,策略C的数据处理结果如表示所示:
表5
User_id Is_cheat
12345 False
12346 True
12347 False
12348 False
(4)由于策略B和策略C的后置模块信息(out)为空(null),说明策略B和策略C是拓扑结构的最后一个策略,可以合并(merge)策略B和策略C的数据处理结果,即合并表3和表5。
在合并过程中,用户(user)在至少一个数据处理结果中为作弊用户(True)即可设定为作弊用户(True),在所有数据处理结果中全部为正常用户(False)即可设置为正常用户(False)。
在本示例中,如图5C所示的更新后的拓扑结果,对源数据501进行反作弊处理的处理结果502如表6所示。
表6
Figure BDA0001194255220000182
Figure BDA0001194255220000191
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图6,示出了本申请的一种拓扑结构的描述信息的生成装置实施例的结构框图,所述拓扑结构包括一个或多个数据处理模块,所述装置具体可以包括如下模块:
模块信息配置模块601,用于获取所述数据处理模块的模块代码信息及处理顺序信息;
模块信息生成模块602,用于至少采用所述模块代码信息及所述处理顺序信息生成模块信息;
描述信息生成模块603,用于至少采用所述模块信息生成拓扑结构的可解析的描述信息。
在本申请的一个实施例中,该装置还包括:
拓扑更新标识配置模块,用于对拓扑结构配置拓扑更新标识;
所述描述信息生成模块603还用于:
采用所述模块信息和所述拓扑更新标识生成拓扑结构的可解析的描述信息。
在本申请的一个实施例中,所述模块代码信息包括具有字段名的代码内容信息和数据位置信息;
所述模块信息配置模块601包括:
代码内容信息配置模块,用于对所述数据处理模块配置具有字段名的代码内容信息;
数据位置信息配置模块,用于对所述字段名对应的目标数据配置数据位置信息。
在本申请的一个实施例中,所述处理顺序信息包括前置模块信息和/或后置模块信息;
所述模块信息配置模块601包括:
第一前置模块信息设置模块,用于若待处理的源数据输入当前数据处理模块,则将当前数据处理模块的前置模块信息设置为空;
第二前置模块信息设置模块,用于若上一数据处理模块的数据处理结果输入当前数据处理模块,则将上一数据处理模块的信息设置为当前数据处理模块的前置模块信息;
和/或,
第一后置模块信息设置模块,用于若当前数据处理模块的数据处理结果作为所述拓扑结构的处理结果,则将当前数据处理模块的后置模块信息设置为空;
第二后置模块信息设置模块,用于若当前数据处理模块的数据处理结果输入下一数据处理模块,则将下一数据处理模块的信息设置为当前数据处理模块的后置模块信息。
在本申请的一个实施例中,还包括:
描述信息解析模块,用于将所述可解析的描述信息解析为可执行的逻辑信息;
逻辑信息更新模块,用于根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
参照图7,示出了本申请的一种拓扑结构的更新装置实施例的结构框图,具体可以包括如下模块:
描述信息获取模块701,用于在计算系统中获取拓扑结构的可解析的描述信息;
描述信息解析模块702,用于将所述可解析的描述信息解析为可执行的逻辑信息;
逻辑信息更新模块703,用于根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
在本申请的一个实施例中,所述描述信息获取模块701包括:
更新指令接收子模块,用于在计算系统中接收拓扑结构的更新指令;
数据库读取子模块,用于按照所述更新指令从指定的数据库中读取拓扑结构的可解析的描述信息。
在本申请的一个实施例中,所述逻辑信息更新模块703包括:
源数据缓存子模块,用于将待处理的源数据存储至缓存中;
源数据停止输入子模块,用于停止将所述缓存中待处理的源数据输入所述计算系统中原始的拓扑结构,待输入所述计算系统中更新后的拓扑结构;
逻辑信息加载子模块,用于将所述可执行的逻辑信息加载至内存中,作为所述计算系统中更新后的拓扑结构。
在本申请的一个实施例中,该装置还包括:
拓扑更新标识提取模块,用于从所述可执行的逻辑信息中提取拓扑更新标识;
允许更新模块,用于在所述拓扑更新标识表示拓扑结构已更新时,允许更新所述计算系统的拓扑结构;
禁止更新模块,用于在所述拓扑更新标识表示拓扑结构未更新时,禁止更新所述计算系统的拓扑结构。
参照图8,示出了本申请的一种基于拓扑结构的数据处理装置实施例的结构框图,具体可以包括如下模块:
源数据获取模块801,用于在计算系统中获取待处理的源数据;在所述计算系统中已更新拓扑结构的可执行的逻辑信息,所述拓扑结构包括一个或多个数据处理模块;
模块信息提取模块802,用于从所述可执行的逻辑信息中提取所述数据处理模块的模块信息;所述模块信息包括模块代码信息、处理顺序信息;
源数据处理模块803,用于按照所述处理顺序信息执行所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理。
在本申请的一个实施例中,所述处理顺序信息包括前置模块信息;
所述源数据处理模块803包括:
前置模块信息判断子模块,用于判断当前数据处理模块的前置模块信息是否为空;若是,则调用第一执行子模块,若否,则调用第二执行子模块;
第一执行子模块,用于对所述待处理的源数据执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果;
第二执行子模块,用于对所述前置模块信息对应的上一数据处理模块的上一数据处理结果、执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果。
在本申请的另一个实施例中,所述处理顺序信息还包括后置模块信息;
所述源数据处理模块803还包括:
后置模块信息判断子模块,用于判断当前数据处理模块的后置模块信息是否为空;若是,则调用第一输出子模块,若否,则调用第二输出子模块;
第一输出子模块,用于将当前数据处理模块的数据处理结果作为所述拓扑结构的处理结果输出;
第二输出子模块,用于将当前数据处理模块的数据处理结果输出至所述后置模块信息对应的下一数据处理模块。
在本申请的另一个实施例中,所述模块代码信息包括具有字段名的代码内容信息、数据位置信息;
所述源数据处理模块803包括:
目标数据读取子模块,用于从输入所述数据处理模块的数据中,按照所述数据位置信息读取所述字段名对应的目标数据;
代码内容信息执行子模块,用于针对所述目标数据,执行所述代码内容信息进行处理,获得数据处理结果。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解析为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种拓扑结构的描述信息的生成方法、一种拓扑结构的更新方法、一种基于拓扑结构的数据处理方法和一种拓扑结构的描述信息的生成装置、一种拓扑结构的更新装置、一种基于拓扑结构的数据处理装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (24)

1.一种拓扑结构的描述信息的生成方法,其特征在于,所述拓扑结构包括一个或多个数据处理模块,所述方法包括:
获取所述数据处理模块的模块代码信息及处理顺序信息;
至少采用所述模块代码信息及所述处理顺序信息生成模块信息;
至少采用所述模块信息生成拓扑结构的可解析的描述信息,以采用所述可解析的描述信息更新所述拓扑结构。
2.根据权利要求1所述的方法,其特征在于,还包括:
对拓扑结构配置拓扑更新标识;
所述至少采用所述模块信息生成拓扑结构的可解析的描述信息的步骤包括:
采用所述模块信息和所述拓扑更新标识生成拓扑结构的可解析的描述信息。
3.根据权利要求1所述的方法,其特征在于,所述模块代码信息包括具有字段名的代码内容信息和数据位置信息;
所述获取所述数据处理模块的模块代码信息及处理顺序信息的步骤包括:
对所述数据处理模块配置具有字段名的代码内容信息;
对所述字段名对应的目标数据配置数据位置信息。
4.根据权利要求3所述的方法,其特征在于,所述代码内容信息包括符合安全策略的操作代码。
5.根据权利要求1所述的方法,其特征在于,所述处理顺序信息包括前置模块信息和/或后置模块信息;
所述获取所述数据处理模块的模块代码信息及处理顺序信息的步骤包括:
若待处理的源数据输入当前数据处理模块,则将当前数据处理模块的前置模块信息设置为空;
若上一数据处理模块的数据处理结果输入当前数据处理模块,则将上一数据处理模块的信息设置为当前数据处理模块的前置模块信息;
和/或,
若当前数据处理模块的数据处理结果作为所述拓扑结构的处理结果,则将当前数据处理模块的后置模块信息设置为空;
若当前数据处理模块的数据处理结果输入下一数据处理模块,则将下一数据处理模块的信息设置为当前数据处理模块的后置模块信息。
6.根据权利要求1或2或3或4或5所述的方法,其特征在于,还包括:
将所述可解析的描述信息解析为可执行的逻辑信息;
根据所述可执行的逻辑信息更新计算系统的拓扑结构。
7.一种拓扑结构的更新方法,其特征在于,包括:
在计算系统中获取拓扑结构的可解析的描述信息;
将所述可解析的描述信息解析为可执行的逻辑信息;
根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
8.根据权利要求7所述的方法,其特征在于,所述在计算系统中获取拓扑结构的可解析的描述信息的步骤包括:
在计算系统中接收拓扑结构的更新指令;
按照所述更新指令从指定的数据库中读取拓扑结构的可解析的描述信息。
9.根据权利要求7所述的方法,其特征在于,所述根据所述可执行的逻辑信息更新所述计算系统的拓扑结构的步骤包括:
将待处理的源数据存储至缓存中;
停止将所述缓存中待处理的源数据输入所述计算系统中原始的拓扑结构,待输入所述计算系统中更新后的拓扑结构;
将所述可执行的逻辑信息加载至内存中,作为所述计算系统中更新后的拓扑结构。
10.根据权利要求7或8或9所述的方法,其特征在于,在所述按照所述结构信息更新所述计算系统的拓扑结构的步骤之前,所述方法还包括:
从所述可执行的逻辑信息中提取拓扑更新标识;
当所述拓扑更新标识表示拓扑结构已更新时,允许更新所述计算系统的拓扑结构;
当所述拓扑更新标识表示拓扑结构未更新时,禁止更新所述计算系统的拓扑结构。
11.一种基于拓扑结构的数据处理方法,其特征在于,包括:
在计算系统中获取待处理的源数据;在所述计算系统中已更新拓扑结构的可执行的逻辑信息,所述拓扑结构包括一个或多个数据处理模块;
从所述可执行的逻辑信息中提取所述数据处理模块的模块信息;所述模块信息包括模块代码信息、处理顺序信息,其中,所述模块信息用于生成所述拓扑结构的可解析的描述信息,以采用所述可解析的描述信息更新所述拓扑结构;
按照所述处理顺序信息执行所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理。
12.根据权利要求11所述的方法,其特征在于,所述处理顺序信息包括前置模块信息;
所述按照所述处理顺序信息调用所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理的步骤包括:
判断当前数据处理模块的前置模块信息是否为空;
若是,则对所述待处理的源数据执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果;
若否,则对所述前置模块信息对应的上一数据处理模块的上一数据处理结果、执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果。
13.根据权利要求12所述的方法,其特征在于,所述处理顺序信息还包括后置模块信息;
所述按照所述处理顺序信息调用所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理的步骤还包括:
判断当前数据处理模块的后置模块信息是否为空;
若是,则将当前数据处理模块的数据处理结果作为所述拓扑结构的处理结果输出;
若否,则将当前数据处理模块的数据处理结果输出至所述后置模块信息对应的下一数据处理模块。
14.根据权利要求11或12或13所述的方法,其特征在于,所述模块代码信息包括具有字段名的代码内容信息、数据位置信息;
所述按照所述处理顺序信息调用所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理的步骤包括:
从输入所述数据处理模块的数据中,按照所述数据位置信息读取所述字段名对应的目标数据;
针对所述目标数据,执行所述代码内容信息进行处理,获得数据处理结果。
15.一种拓扑结构的描述信息的生成装置,其特征在于,所述拓扑结构包括一个或多个数据处理模块,所述装置包括:
模块信息配置模块,用于获取所述数据处理模块的模块代码信息及处理顺序信息;
模块信息生成模块,用于至少采用所述模块代码信息及所述处理顺序信息生成模块信息;
描述信息生成模块,用于至少采用所述模块信息生成拓扑结构的可解析的描述信息,以采用所述可解析的描述信息更新所述拓扑结构。
16.根据权利要求15所述的装置,其特征在于,所述模块代码信息包括具有字段名的代码内容信息和数据位置信息;
所述模块信息配置模块包括:
代码内容信息配置模块,用于对所述数据处理模块配置具有字段名的代码内容信息;
数据位置信息配置模块,用于对所述字段名对应的目标数据配置数据位置信息。
17.根据权利要求15所述的装置,其特征在于,所述处理顺序信息包括前置模块信息和/或后置模块信息;
所述模块信息配置模块包括:
第一前置模块信息设置模块,用于若待处理的源数据输入当前数据处理模块,则将当前数据处理模块的前置模块信息设置为空;
第二前置模块信息设置模块,用于若上一数据处理模块的数据处理结果输入当前数据处理模块,则将上一数据处理模块的信息设置为当前数据处理模块的前置模块信息;
和/或,
第一后置模块信息设置模块,用于若当前数据处理模块的数据处理结果作为所述拓扑结构的处理结果,则将当前数据处理模块的后置模块信息设置为空;
第二后置模块信息设置模块,用于若当前数据处理模块的数据处理结果输入下一数据处理模块,则将下一数据处理模块的信息设置为当前数据处理模块的后置模块信息。
18.根据权利要求15或16或17所述的装置,其特征在于,还包括:
描述信息解析模块,用于将所述可解析的描述信息解析为可执行的逻辑信息;
逻辑信息更新模块,用于根据所述可执行的逻辑信息更新计算系统的拓扑结构。
19.一种拓扑结构的更新装置,其特征在于,包括:
描述信息获取模块,用于在计算系统中获取拓扑结构的可解析的描述信息;
描述信息解析模块,用于将所述可解析的描述信息解析为可执行的逻辑信息;
逻辑信息更新模块,用于根据所述可执行的逻辑信息更新所述计算系统的拓扑结构。
20.根据权利要求19所述的装置,其特征在于,所述逻辑信息更新模块包括:
源数据缓存子模块,用于将待处理的源数据存储至缓存中;
源数据停止输入子模块,用于停止将所述缓存中待处理的源数据输入所述计算系统中原始的拓扑结构,待输入所述计算系统中更新后的拓扑结构;
逻辑信息加载子模块,用于将所述可执行的逻辑信息加载至内存中,作为所述计算系统中更新后的拓扑结构。
21.一种基于拓扑结构的数据处理装置,其特征在于,包括:
源数据获取模块,用于在计算系统中获取待处理的源数据;在所述计算系统中已更新拓扑结构的可执行的逻辑信息,所述拓扑结构包括一个或多个数据处理模块;
模块信息提取模块,用于从所述可执行的逻辑信息中提取所述数据处理模块的模块信息;所述模块信息包括模块代码信息、处理顺序信息,其中,所述模块信息用于生成所述拓扑结构的可解析的描述信息,以采用所述可解析的描述信息更新所述拓扑结构;
源数据处理模块,用于按照所述处理顺序信息执行所述数据处理模块的模块代码信息,以对所述待处理的源数据进行处理。
22.根据权利要求21所述的装置,其特征在于,所述处理顺序信息包括前置模块信息;
所述源数据处理模块包括:
前置模块信息判断子模块,用于判断当前数据处理模块的前置模块信息是否为空;若是,则调用第一执行子模块,若否,则调用第二执行子模块;
第一执行子模块,用于对所述待处理的源数据执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果;
第二执行子模块,用于对所述前置模块信息对应的上一数据处理模块的上一数据处理结果、执行当前数据处理模块的模块代码信息,获得当前数据处理模块的数据处理结果。
23.根据权利要求22所述的装置,其特征在于,所述处理顺序信息还包括后置模块信息;
所述源数据处理模块还包括:
后置模块信息判断子模块,用于判断当前数据处理模块的后置模块信息是否为空;若是,则调用第一输出子模块,若否,则调用第二输出子模块;
第一输出子模块,用于将当前数据处理模块的数据处理结果作为所述拓扑结构的处理结果输出;
第二输出子模块,用于将当前数据处理模块的数据处理结果输出至所述后置模块信息对应的下一数据处理模块。
24.根据权利要求21或22或23所述的装置,其特征在于,所述模块代码信息包括具有字段名的代码内容信息、数据位置信息;
所述源数据处理模块包括:
目标数据读取子模块,用于从输入所述数据处理模块的数据中,按照所述数据位置信息读取所述字段名对应的目标数据;
代码内容信息执行子模块,用于针对所述目标数据,执行所述代码内容信息进行处理,获得数据处理结果。
CN201611229449.0A 2016-12-27 2016-12-27 基于拓扑结构生成描述信息及更新、数据处理方法和装置 Active CN108256870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611229449.0A CN108256870B (zh) 2016-12-27 2016-12-27 基于拓扑结构生成描述信息及更新、数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611229449.0A CN108256870B (zh) 2016-12-27 2016-12-27 基于拓扑结构生成描述信息及更新、数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN108256870A CN108256870A (zh) 2018-07-06
CN108256870B true CN108256870B (zh) 2022-03-01

Family

ID=62718965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611229449.0A Active CN108256870B (zh) 2016-12-27 2016-12-27 基于拓扑结构生成描述信息及更新、数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN108256870B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442441B (zh) * 2019-08-07 2024-03-12 腾讯科技(深圳)有限公司 数据处理方法、装置、可读存储介质及终端设备
CN110795460A (zh) * 2019-11-01 2020-02-14 浪潮云信息技术有限公司 一种前端页面数据缓存方法及系统
CN112988739B (zh) * 2019-12-18 2024-04-19 阿里巴巴集团控股有限公司 数据管理和处理方法、装置、计算机系统及可读存储介质
CN111158873A (zh) * 2019-12-19 2020-05-15 贝壳技术有限公司 系统状态机实现方法、装置、存储介质及处理器
CN111221835B (zh) * 2019-12-30 2023-11-14 上海数设科技有限公司 数据处理方法和装置
CN111709601B (zh) * 2020-05-08 2023-09-12 苏州数设科技有限公司 数据处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995699A (zh) * 2014-05-13 2014-08-20 中国神华能源股份有限公司 基于mda的电力企业信息系统开发方法
CN104184621A (zh) * 2014-09-04 2014-12-03 武汉国电武仪电气股份有限公司 智能变电站网络拓扑图的生成方法及系统
CN104281491A (zh) * 2014-09-26 2015-01-14 百度在线网络技术(北京)有限公司 一种数据处理方法及装置
CN106202006A (zh) * 2016-06-27 2016-12-07 北京百度网讯科技有限公司 文件生成方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995699A (zh) * 2014-05-13 2014-08-20 中国神华能源股份有限公司 基于mda的电力企业信息系统开发方法
CN104184621A (zh) * 2014-09-04 2014-12-03 武汉国电武仪电气股份有限公司 智能变电站网络拓扑图的生成方法及系统
CN104281491A (zh) * 2014-09-26 2015-01-14 百度在线网络技术(北京)有限公司 一种数据处理方法及装置
CN106202006A (zh) * 2016-06-27 2016-12-07 北京百度网讯科技有限公司 文件生成方法和装置

Also Published As

Publication number Publication date
CN108256870A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108256870B (zh) 基于拓扑结构生成描述信息及更新、数据处理方法和装置
CN106202235B (zh) 一种数据处理方法及装置
CN108289034B (zh) 一种故障发现方法和装置
CN107633016B (zh) 数据处理方法及装置和电子设备
CN110908997A (zh) 数据血缘构建方法、装置、服务器及可读存储介质
US10904316B2 (en) Data processing method and apparatus in service-oriented architecture system, and the service-oriented architecture system
CN110912808B (zh) 消息订阅方法、装置、系统、设备终端和可读存储介质
CN110032568B (zh) 数据结构的读取及更新方法、装置、电子设备
CN110380985B (zh) 基于交易链路的流量控制方法、装置、设备及存储介质
CN111435367B (zh) 知识图谱的构建方法、系统、设备及存储介质
US20170083815A1 (en) Current behavior evaluation with multiple process models
US8719622B2 (en) Recording and preventing crash in an appliance
CN116523457A (zh) 基于业务流程的工作流处理方法、装置、设备及存储介质
CN112583944A (zh) 一种更新域名证书的处理方法和装置
CN112052157B (zh) 测试报文的构造方法、装置及系统
US10509659B1 (en) Input processing logic to produce outputs for downstream systems using configurations
CN114490651A (zh) 数据存储方法及装置
CN113342647A (zh) 一种测试数据的生成方法及装置
US20140149419A1 (en) Complex event processing apparatus for referring to table within external database as external reference object
CN111324778A (zh) 数据、业务处理方法、装置及电子设备
CN106951427B (zh) 一种业务对象的数据抽取方法及装置
CN117032844B (zh) 一种协程链路追踪装置、方法及智能车辆
CN117034210B (zh) 一种事件画像的生成方法、装置、存储介质及电子设备
CN114154944B (zh) 业务审核方法、设备及计算机可读存储介质
CN118138451A (zh) 业务报文的处理方法、装置、存储介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant