CN110502546B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN110502546B
CN110502546B CN201910780314.0A CN201910780314A CN110502546B CN 110502546 B CN110502546 B CN 110502546B CN 201910780314 A CN201910780314 A CN 201910780314A CN 110502546 B CN110502546 B CN 110502546B
Authority
CN
China
Prior art keywords
rule
data processing
data
processed
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910780314.0A
Other languages
English (en)
Other versions
CN110502546A (zh
Inventor
张志勇
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Apas Technology Co ltd
Original Assignee
Zhengzhou Apas Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Apas Technology Co ltd filed Critical Zhengzhou Apas Technology Co ltd
Priority to CN201910780314.0A priority Critical patent/CN110502546B/zh
Publication of CN110502546A publication Critical patent/CN110502546A/zh
Application granted granted Critical
Publication of CN110502546B publication Critical patent/CN110502546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据处理方法及装置，涉及数据处理技术领域，其中方法包括：接收业务处理请求，按照预设频率从规则库中获取业务信息对应的目标规则组；接收待处理数据，并与目标规则组包括的数据处理规则进行匹配；如失败，则将待处理数据发送给第二数据处理节点，以基于待处理数据定义新的数据处理规则，并将新的数据处理规则保存至规则库中相应的规则组中；以及，在获取到包括新的数据处理规则的规则组时，根据新的数据处理规则对第二数据处理节点发送的所述待处理数据进行处理。通过本申请实施例，实现了数据处理规则的及时更新，提升了数据处理效率。

Description

一种数据处理方法及装置
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。
背景技术
随着互联网技术的快速发展，人们对数据处理效率的要求越来越高。实时处理技术以其响应速率快、可扩展的等优势被广泛应用。当前的实时处理技术，通常是程序一旦启动，程序中定义的数据处理方式便是固定的，一成不变的。然而，当有新的数据类型的数据需要处理时，则需要关闭程序以对程序进行更改而引入新的数据处理方式，并在程序更改完成后重新启动程序，程序中的各数据处理方式才能生效。而多次的进行程序的关闭、更改以及启动操作，不仅操作繁琐，而且降低了数据处理效率。
发明内容
本申请实施例的目的是提供一种数据处理方法及装置，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
第一方面，本申请实施例提供了一种数据处理方法，应用于第一数据处理节点，包括：
接收业务处理请求，其中，所述业务处理请求包括业务信息；
按照预设频率从规则库中获取所述业务信息对应的目标规则组，其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括多个数据处理规则；
接收待处理数据，将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配；如失败，则将所述待处理数据发送给第二数据处理节点，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据处理规则保存至所述规则库中相应的规则组中；以及，
在获取到包括所述新的数据处理规则的规则组时，根据所述新的数据处理规则对所述第二数据处理节点发送的所述待处理数据进行处理。
第二方面，本申请实施例提供了一种数据处理方法，应用于第二数据处理节点，包括：
接收第一数据处理节点发送的待处理数据；
保存所述待处理数据，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据规则保存至规则库中相应的规则组中；其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括多个数据处理规则；
若检测到满足数据放行条件，则将保存的所述待处理数据发送给所述第一数据处理节点，以使所述第一数据处理节点根据所述新的数据处理规则对所述待处理数据进行处理。
第三方面，本申请实施例提供了一种数据处理装置，应用于第一数据处理节点，其特征在于，包括：
接收模块，用于接收业务处理请求，其中，所述业务处理请求包括业务信息；
获取模块，用于按照预设频率从规则库中获取所述业务信息对应的目标规则组，其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括多个数据处理规则；
匹配模块，用于接收待处理数据，将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配；
发送模块，用于如所述匹配模块匹配失败，则将所述待处理数据发送给第二数据处理节点，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据处理规则保存至所述规则库中相应的规则组中；
处理模块，用于在所述获取模块获取到包括所述新的数据处理规则的规则组时，根据所述新的数据处理规则对所述第二数据处理节点发送的所述待处理数据进行处理。
第四方面，本申请实施例提供了一种数据处理装置，应用于第二数据处理节点，包括：
接收模块，用于接收第一数据处理节点发送的待处理数据；
保存模块，用于保存所述待处理数据，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据规则保存至规则库中相应的规则组中；其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括多个数据处理规则；
检测模块，用于检测是否满足数据放行条件；
发送模块，用于若所述检测模块检测到满足数据放行条件，则将保存的所述待处理数据发送给所述第一数据处理节点，以使所述第一数据处理节点根据所述新的数据处理规则对所述待处理数据进行处理。
第五方面，本申请实施例提供了一种数据处理设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述应用于第一数据处理节点的数据处理方法的步骤，或者实现上述应用于第二数据处理节点的数据处理方法的步骤。
第六方面，本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述应用于第一数据处理节点的数据处理方法的步骤，或者实现上述应用于第二数据处理节点的数据处理方法的步骤。
本申请实施例所提供的数据处理方法及装置，过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
附图说明
为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的场景示意图；
图2为本申请实施例提供的一种数据处理方法的第一种流程示意图；
图3为本申请实施例提供的一种数据处理方法的第二种流程示意图；
图4为本申请实施例提供的一种数据处理方法的第三种流程示意图；
图5为本申请实施例提供的步骤S106中规则匹配的细化图；
图6为本申请实施例提供的一种数据处理方法的第四种流程示意图；
图7为本申请实施例提供的一种数据处理方法的第五种流程示意图；
图8为本申请实施例提供的一种数据处理装置的第一种模块组成示意图；
图9为本申请实施例提供的一种数据处理装置的第二种模块组成示意图；
图10为本申请实施例提供的一种数据处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请的保护范围。
本申请实施例提供了一种数据处理方法及装置，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至规则库中相应的规则组中，从而再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
图1为本申请实施例提供的一种数据处理方法的应用场景示意图，如图1所示，预先将各数据处理方式抽象为规则，并与业务对应以规则组的形式存储于规则库中，其中，不同的规则记为规则1、规则2…规则n，不同的规则组记为规则组1、规则组2…规则组N；当第一数据处理节点接收到业务处理请求时，按照预设频率从规则库中获取目标规则组，并在接收到待处理数据时，将待处理数据与目标规则组包括的数据处理规则进行匹配；并在匹配成功时，根据匹配成功的数据处理规则对待处理数据进行处理；在匹配失败时，将待处理数据发送给第二数据处理节点，以基于待处理数据定义新的数据处理规则，并将该新的数据处理规则保存至规则库中相应的规则组中；以及，在第一数据处理节点获取到包括该新的数据处理规则的规则组时，根据该新的数据处理规则对第二数据处理节点发送的待处理数据进行处理；其中，第二数据处理节点在检测到满足数据放行条件时，将待处理数据发送给第一数据处理节点。需要指出的是，待处理数据以数据流的形式由数据源传输至第一数据处理节点；第一数据处理节点和第二数据处理节点，可以为台式计算机、便携笔记本式计算机等终端设备，还可以为独立的服务器、由多个服务器组成的服务器集群等。可见，在无需关闭程序、更改程序以及启动更改后程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
基于上述应用场景架构，本申请实施例提供了一种数据处理方法，图2为本申请实施例提供的一种数据处理方法的流程示意图，图2中的方法能够由图1中的第一数据处理节点执行，如图2所示，该方法包括以下步骤：
步骤S102，接收业务处理请求，其中，业务处理请求包括业务信息；
步骤S104，按照预设频率从规则库中获取业务信息对应的目标规则组，其中，规则库中存有与业务对应的多个规则组，规则组中包括至少一个数据处理规则；
步骤S106，接收待处理数据，将待处理数据与目标规则组包括的数据处理规则进行匹配；如失败，则将待处理数据发送给第二数据处理节点，以基于待处理数据定义新的数据处理规则，并将新的数据处理规则保存至规则库中相应的规则组中；
步骤S108，在获取到包括新的数据处理规则的规则组时，根据新的数据处理规则对第二数据处理节点发送的待处理数据进行处理。
本申请实施例中，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
为了实现数据处理规则的及时更新和及时生效，本申请一个多个实施例中预先将各数据处理方式抽象为数据处理规则，如字段转化规则、多数据合成规则、数据过滤规则等；并采用预设格式表示各数据处理规则，如采用Json格式。进一步的，每个数据处理规则包括处理信息和结果信息，其中，处理信息包括输入数据信息、处理类型信息、处理结果索引标识等，根据其中的处理结果索引标识可以索引到对应的结果信息，该结果信息包括结果标识，结果名称信息、结果的数据类型信息、结果备注信息、结果分类信息等。同时，与业务对应将抽象的各数据规则划分为多个规则组，每个规则组中包括至少一个数据处理规则，各规则组以列表的形式存储于规则库中。为了对各数据处理规则以及各规则组进行有效的区分，本申请一个多个实施例中为每个规则分配规则标识，并为每个规则组分配组标识；作为示例，规则库中存储的某个对字段进行转换处理的数据处理规则的处理信息如下所示：
Figure BDA0002176370050000061
其中，rule_id表示规则标识，即该数据处理规则的规则标识为i_a_00018；rs_id表示规则所在规则组的组标识，即该数据处理规则所在规则组的组标识为r_a_0001；src_info表示该输入数据信息，tp表示数据类型，即该数据处理规则的输入数据为数据类型为string类型、名称为base_info_host_info_version_code的字段；tgt_field_ids表示处理结果索引标识，即该数据处理规则的处理结果索引标识为f_a_00025；rule_type表示处理类型信息，即该数据处理规则为对字段进行转化处理。根据其中的处理结果索引标识，可索引到如下结果信息：
f_id f_name f_type f_desc data_set
f_a_00025 version_code 3 版本号 host
其中，f_id表示结果标识，即上述对字段进行转换处理的数据处理规则的处理结果的结果标识为f_a_00025，其与处理结果索引标识的值相同；f_name表示处理结果的结果名称信息，即上述对字段进行转换处理的数据处理规则，会将名称为base_info_host_info_version_code的字段转换为名称为version_code的字段；f_type表示结果的数据类型信息，即上述对字段进行转换处理的数据处理规则对字段进行转换后，得到Int类型的数据；f_desc表示结果备注信息，即上述对字段进行转换处理的数据处理规则的处理结果表示版本号；data_set表示结果分类信息，即上述对字段进行转换处理的数据处理规则的处理结果的分类类别为host类别。
需要指出的是，数据处理规则的处理信息和结果信息所包括的内容，不限为上述示例的内容，其可在实际应用中根据需要自行设定；由于业务之间可能存在交集，因此同一个数据处理规则可以划分至多个规则组中。
基于上述包括多个规则组的规则库，为了使第一数据处理节点在接收到业务处理请求时，能够快速便捷的获取到对应的规则组，本申请一个或多个实施例中，还预先建立各业务的业务信息与规则组的组标识的关联记录信息，以使第一数据处理节点根据该关联记录信息，获取目标规则组；具体的，如图3所示，步骤S104中按照预设频率从规则库中获取业务信息对应的目标规则组，包括：
步骤S104-2，根据业务处理请求包括的业务信息，在业务信息与组标识的关联记录信息中获取对应的组标识，将获取的组标识作为目标组标识；
步骤S104-4，按照预设频率从规则库中获取包括目标组标识的规则组，将获取的规则组作为目标规则组。
其中，预设频率可以在实际应用中根据需要设定，当对实行性的需要较高时，可以将该预设频率提高，当对实行性的需要不高，可以将预设频率降低。由此，基于业务信息与组标识的关联记录信息，确保了目标规则组的快速准确获取。
为了便于将待处理数据与目标规则组中的数据处理规则进行匹配，本申请一个或多个实施例中，如图4所示，步骤S104中按照预设频率从规则库中获取业务信息对应的目标规则组之后，还包括：
步骤S105，根据目标规则组更新缓存存储区中存储的规则组，其中，缓存存储区中存储的规则组为前一次从规则库中所获取的目标规则组；
具体而言，为第一数据处理节点分配缓存存储区，当第一数据处理节点首次根据业务信息从规则库中获取到目标规则组时，将获取的目标规则组保存至分配的为空的缓存存储区中；并在非首次根据业务信息从规则库中获取到目标规则组时，根据当前获取的目标规则组更新缓存存储区中存储的规则组，以实现缓存存储区中存储的数据处理规则的及时更新。
与上述步骤S105对应的，如图4所示，步骤S106中将待处理数据与目标规则组包括的数据处理规则进行匹配，包括：
将待处理数据与缓存存储区中存储的目标规则组所包括的数据处理规则进行匹配。
以上根据按照预设频率所获取的目标规则组，更新缓存存储区中存储的规则组，并将待处理数据与缓存存储区中存储的目标规则组所包括的数据处理规则进行匹配，实现了缓存存储区中存储的数据处理规则的及时更新，特别是当获取的目标规则组相对于缓存存储区中存储的规则组新增了数据处理规则时，能够确保该新增的数据处理规则及时生效，而无需关闭程序、更改程序、以及再次启动更改后的程序等操作，提升了数据处理效率。
进一步的，为了便于将待处理数据与缓存存储区中存储的目标规则进行匹配，以及避免存储与规则匹配无关的信息而占用过多的存储空间，本说明书一个或多个实施例中，数据处理规则以键值对(Key-Value)的形式存储于缓存存储区中，对应的，步骤S105中根据目标规则组更新缓存存储区中存储的规则组，包括：
步骤A2，将目标规则组包括的每个数据处理规则转换为键值对形式的数据处理规则；
具体的，在获取的目标规则组所包括的每个数据处理规则中提取src_info和f_name的信息，并将src_info的信息作为键值对中的Key，将src_info和src_info的信息作为键值对中的Value；作为示例，将上述对字段进行转换处理的数据处理规则进行转换，得到的键值对形式的数据处理规则如下所示：
Figure BDA0002176370050000081
步骤A4，删除缓存存储区中存储的键值对形式的数据处理规则，并将转换的键值对形式的数据处理规则保存至缓存存储区中；或者，将转换的键值对形式的数据处理规则与缓存存储区中存储的键值对形式的数据处理规则进行匹配，并将缓存存储区中未存有的键值对形式的数据处理规则保存至缓存存储区中。
具体的，可以将缓存存储区中存储的键值对形式的数据处理规则全部删除，即清空缓存存储区后，将转换的键值对形式的数据处理规则保存至缓存存储区中；还可以将转换的键值对形式的数据处理规则与缓存存储区中存储的键值对形式的数据处理规则进行匹配，得到缓存存储区中未存有的键值对形式的数据处理规则，即新增的数据处理规则，并将该新增的数据处理规则保存至缓存存储区中。
通过将获取的目标规则组包括的每个数据处理规则转换为键值对形式的数据处理规则，并使用该键值对形式的数据处理规则更新缓存存储区中存有的数据处理规则，不仅能够将新增的数据处理规则保存至存储区中，实现数据处理规则的及时更新，而且基于键值对形式的数据处理规则，能够提升待处理数据与数据处理规则的匹配效率，避免存储与规则匹配无关的信息而占用过多存储空间的问题。
进一步的，为了确保待处理数据与数据处理规则的匹配准确率，以及提升匹配效率，本申请一个或多个实施例中，数据处理规则中还包括规则匹配信息，对应的，如图5所示，步骤S106中将待处理数据与目标规则组包括的数据处理规则进行匹配，包括：
步骤B2，解析待处理数据得到至少一个待处理字段；
其中，待处理数据的示例如下：
{"base_info__host_info__channel_id":"fb",
"base_info__host_info__client_id":"6865752f5c128116a3fwerfsxc0f38e",
"base_info__host_info__install_time":"1552621950815",
"base_info__host_info__is_system":"1",
"base_info__host_info__module":"3",
"base_info__host_info__ocid":"c83ef02071fc2ce6sdfew62d46732279",
"base_info__host_info__tags":"football",
"base_info__host_info__update_time":"1552621962492",
"base_info__host_info__version_code":"234",
"base_info__host_info__version_name":"1.9.3",
"event_name_s":"aaa"}
其中，每个逗号对应一个待处理字段。
步骤B4，确定待处理字段的规则匹配信息；
考虑到不同的业务所对应的待处理数据不同，为了对不同的待处理数据进行有效的规则匹配，本申请一个或多个实施例中，规则匹配信息设置有多个，其可以为规则标识，还可以为字段名称等；具体的，步骤B4包括：
确定待处理字段中是否含有规则标识；
若是，则将待处理字段中含有的规则标识作为待处理字段的规则匹配信息；
若否，且待处理字段中包括预设数据，则将预设数据转换为规则标识，将转换的规则标识作为待处理字段的规则匹配信息；以及，
若否，且待处理字段中不包括预设数据，则将待处理字段中含有的字段名称作为待处理字段的规则匹配信息。
例如，上述示例的待处理数据中的待处理字段"base_info__host_info__version_name":"1.9.3"中未含有规则标识，也未含有预设数据，则将字段名称base_info__host_info__version_name作为规则匹配信息。
需要指出的是，预设数据以及规则标识的转换方式本申请中不做具体限定，均可以在实际应用中根据需要自行设定。
步骤B6，将确定的规则匹配信息，与目标规则组所包括的数据处理规则中的规则匹配信息进行匹配。
例如，根据规则匹配信息base_info__host_info__version_name进行规则匹配，得到上述示例的对字段进行转换处理的数据处理规则“Key：{base_info_host_info_version_code&tp＝1}，value：{(base_info_host_info_version_code&tp＝1)＝>(version_code&f_type＝3)}”。
进一步的，当待处理数据与目标规则组所包括的数据处理规则匹配失败时，则第一数据处理节点将匹配失败的待处理数据发送给第二数据处理节点，以使第二数据处理节点保存该待处理数据，管理员可以根据第二数据处理节点存储的待处理数据，定义新的数据处理规则，并根据待处理数据所对应的业务类型，将定义的新的数据处理规则保存至规则库中相应的规则组中，从而在第一数据处理节点再次从规则库中获取目标规则组时，可以获取到包含该新的数据处理规则的目标规则组，并根据该目标规则组更新缓存存储区中存有的规则组，使得该新的数据处理规则及时生效，而无需管理员进行关闭程序、更改程序、以及启动更改后的程序等操作。
例如，当数据流中有数据类型错误，需要兼容的待处理数据时，即输入数据base_info__host_info__version_code的数据类型既有tp＝1的，也有tp＝2的，则在不更改程序的情况下，定义新的数据处理规则的输入数据信息为{“name”：“base_info_host_info_version_code”，“tp”：“2”}，根据包括该新的数据处理规则的目标规则组，得到的更新后的缓存存储区中的部分数据处理规则如下所示：
Figure BDA0002176370050000101
Figure BDA0002176370050000111
更进一步的，当管理员将定义的新的数据处理规则保存至规则库中相应的规则组中之后，管理员可以将数据处理标识的状态信息设置为预设信息，以使第二数据处理节点在检测到数据处理标识的状态信息为预设信息时，将保存的待处理数据发送给第一数据处理节点；或者，当第二数据节点统计其存储的待处理数据到达预设数量时，将其存储的待处理数据发送给第一数据处理节点。对应的，第一数据处理节点将待处理数据与缓存中存有的数据处理规则进行匹配时，能够得到匹配成功的该新的数据处理规则，并使用该匹配成功的新的数据处理规则对待处理数据进行处理。
在一个具体的实施例中，如图6所示，方法包括：
步骤S202，接收业务处理请求，其中，业务处理请求包括业务信息；
步骤S204，根据业务信息，在业务信息与组标识的关联记录信息中获取对应的组标识，将获取的组标识作为目标组标识；
步骤S206，按照预设频率从规则库中获取包括目标组标识的规则组，将获取的规则组作为目标规则组；其中，规则库中存有与业务对应的多个规则组，规则组中包括至少一个数据处理规则；
步骤S208，将目标规则组包括的每个数据处理规则转换为键值对形式的数据处理规则；
步骤S210，根据转换后的的数据处理规则更新缓存存储区中存储的数据处理规则，其中，缓存存储区中存储的数据处理规则为对前一次从规则库中所获取的目标规则组所包括的数据处理规则，进行转换而得的键值对形式的数据处理规则；
步骤S212，接收待处理数据；
步骤S214，将接收的待处理数据与缓存存储区中存储的数据处理规则进行匹配，若匹配成功，则执行步骤S216，若匹配失败，则执行步骤S218；
步骤S216，根据匹配成功的数据处理规则对待处理数据进行处理，得到处理结果；
步骤S218，将待处理数据发送给第二数据处理节点，以基于待处理数据定义新的数据处理规则，并将新的数据处理规则保存至规则库中相应的规则组中；
步骤S220，接收第二数据处理节点发送的待处理数据，返回步骤S214。
本申请实施例中，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
对应上述图2至图6描述的数据处理方法，基于相同的技术构思，本申请实施例还提供一种数据处理方法，图7为本申请实施例提供的一种数据处理方法的流程示意图，图7中的方法能够由图1中的第二数据处理节点执行，如图7所示，该方法包括以下步骤：
步骤S302，接收第一数据处理节点发送的待处理数据；
其中，待处理数据为第一数据处理节点进行数据处理规则匹配而得的、匹配失败的待处理数据。
步骤S304，保存待处理数据，以基于待处理数据定义新的数据处理规则，并将新的数据规则保存至规则库中相应的规则组中；其中，规则库中存有与业务对应的多个规则组，规则组中包括至少一个数据处理规则；
步骤S306，若检测到满足数据放行条件，则将保存的待处理数据发送给第一数据处理节点，以使第一数据处理节点根据新的数据处理规则对待处理数据进行处理。
其中，检测到满足数据放行条件，可以包括：
步骤C，统计保存的待处理数据的数量，若统计的数量到达预设数量，则确定满足数据放行条件；
具体的，启动计数器，当接收到第一数据处理节点发送的待处理数据时，更新计数器的计数值，当计数器的计数值到达预设数量时，确定满足数据放行条件；其中，预设数量可以在实际应用中根据需要自行设定。
在本申请的一个或多个实施例中，还可以设置数据处理标识，并由管理员控制该数据处理标识的状态信息；对应的，步骤S306中检测到满足数据放行条件，包括：
获取数据处理标识的状态信息，若状态信息为预设信息，则确定满足数据放行条件。
例如，用数字0和1表示数据处理标识的状态信息，其中0表示不放行数据，1表示放行数据，则当第二数据处理节点获取到数据处理标识的状态信息为1时，确定满足数据放行条件。
本申请实施例中，通过接收并保存第一数据处理节点发送的待处理数据，能够基于该待处理数据及时的定义新的数据处理规则并保存至规则库中相应的规则组中，使得第一数据处理节点再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
进一步的，对应上述图2至图6描述的数据处理方法，基于相同的技术构思，本申请实施例还提供一种数据处理装置，应用于第一数据处理节点。图8为本申请实施例提供的一种数据处理装置的模块组成示意图，该装置用于执行图2至图6描述的数据处理方法，如图8所示，该装置包括：
接收模块401，用于接收业务处理请求，其中，所述业务处理请求包括业务信息；
获取模块402，用于按照预设频率从规则库中获取所述业务信息对应的目标规则组，其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
匹配模块403，用于接收待处理数据，将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配；
发送模块404，用于如所述匹配模块403匹配失败，则将所述待处理数据发送给第二数据处理节点，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据处理规则保存至所述规则库中相应的规则组中；
处理模块405，用于在所述获取模块402获取到包括所述新的数据处理规则的规则组时，根据所述新的数据处理规则对所述第二数据处理节点发送的所述待处理数据进行处理。
本申请实施例中，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
可选地，所述获取模块402具体用于：
根据所述业务信息，在业务信息与组标识的关联记录信息中获取对应的组标识，将获取的所述组标识作为目标组标识；
按照预设频率从规则库中获取包括所述目标组标识的规则组，将获取的所述规则组作为目标规则组。
可选地，所述装置还包括：更新模块；
所述更新模块，用于在所述获取模块402所述从规则库中获取所述业务信息对应的目标规则组之后，根据所述目标规则组更新缓存存储区中存储的规则组，其中，所述缓存存储区中存储的规则组为前一次从所述规则库中所获取的目标规则组；
对应的，所述匹配模块403具体用于：
将所述待处理数据与所述缓存存储区中存储的目标规则组所包括的数据处理规则进行匹配。
可选地，所述数据处理规则以键值对的形式存储于所述缓存存储区中，所述更新模块具体用于：
将所述目标规则组包括的每个数据处理规则转换为所述键值对形式的数据处理规则；以及，
删除所述缓存存储区中存储的所述键值对形式的数据处理规则，并将转换的所述键值对形式的数据处理规则保存至所述缓存存储区中；或者，
将转换的所述键值对形式的数据处理规则与所述缓存存储区中存储的所述键值对形式的数据处理规则进行匹配，并将所述缓存存储区中未存有的所述键值对形式的数据处理规则保存至所述缓存存储区中。
可选地，所述数据处理规则中包括规则匹配信息，所述匹配模块403具体用于：
解析所述待处理数据得到至少一个待处理字段；
确定所述待处理字段的规则匹配信息；
将确定的所述规则匹配信息，与所述目标规则组所包括的数据处理规则中的规则匹配信息进行匹配。
可选地，所述匹配模块403，进一步具体用于：
确定所述待处理字段中是否含有规则标识；
若是，则将所述规则标识作为所述待处理字段的规则匹配信息；
若否，且所述待处理字段中包括预设数据，则将所述预设数据转换为规则标识，将转换的所述规则标识作为所述待处理字段的规则匹配信息；以及，
若否，且所述待处理字段中不包括预设数据，则将所述待处理字段中含有的字段名称作为所述待处理字段的规则匹配信息。
可选地，所述处理模块405，还用于如所述匹配模块403匹配成功，则根据匹配成功的数据处理规则对所述待处理数据进行处理。
本申请实施例所提供的数据处理装置，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
需要说明的是，本申请中关于数据处理装置的实施例与本申请中关于数据处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法的实施，重复之处不再赘述。
进一步的，对应上述图7描述的数据处理方法，基于相同的技术构思，本申请实施例还提供一种数据处理装置，应用于第二数据处理节点；图9为本申请实施例提供的一种数据处理装置的模块组成示意图，该装置用于执行图7描述的数据处理方法，如图9所示，该装置包括：
接收模块501，用于接收第一数据处理节点发送的待处理数据；
保存模块502，用于保存所述待处理数据，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据规则保存至规则库中相应的规则组中；其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
检测模块503，用于检测是否满足数据放行条件；
发送模块504，用于若所述检测模块检测到满足数据放行条件，则将保存的所述待处理数据发送给所述第一数据处理节点，以使所述第一数据处理节点根据所述新的数据处理规则对所述待处理数据进行处理。
可选地，所述检测模块503具体用于：
统计保存的待处理数据的数量，若统计的所述数量到达预设数量，则确定满足数据放行条件；或者，
获取数据处理标识的状态信息，若所述状态信息为预设信息，则确定满足数据放行条件。
本申请实施例所提供的数据处理装置，通过接收并保存第一数据处理节点发送的待处理数据，能够基于该待处理数据及时的定义新的数据处理规则并保存至规则库中相应的规则组中，使得第一数据处理节点再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
需要说明的是，本申请中关于数据处理装置的实施例与本申请中关于数据处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法的实施，重复之处不再赘述。
进一步的，对应上述数据处理方法，基于相同的技术构思，本申请实施例还提供一种数据处理设备，该设备用于执行上述的数据处理方法，图10为本申请实施例提供的数据处理设备的结构示意图。
如图10所示，数据处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器601和存储器602，存储器602中可以存储有一个或一个以上存储应用程序或数据。其中，存储器602可以是短暂存储或持久存储。存储在存储器602的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括数据处理设备中的一系列计算机可执行指令。更进一步地，处理器601可以设置为与存储器602通信，在数据处理设备上执行存储器602中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源603，一个或一个以上有线或无线网络接口604，一个或一个以上输入输出接口605，一个或一个以上键盘606等。
在一个具体的实施例中，数据处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
接收业务处理请求，其中，所述业务处理请求包括业务信息；
按照预设频率从规则库中获取所述业务信息对应的目标规则组，其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
接收待处理数据，将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配；如失败，则将所述待处理数据发送给第二数据处理节点，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据处理规则保存至所述规则库中相应的规则组中；以及，
在获取到包括所述新的数据处理规则的规则组时，根据所述新的数据处理规则对所述第二数据处理节点发送的所述待处理数据进行处理。
本申请实施例中，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
可选地，计算机可执行指令在被执行时，所述规则组中还包括组标识，所述按照预设频率从规则库中获取所述业务信息对应的目标规则组，包括：
根据所述业务信息，在业务信息与组标识的关联记录信息中获取对应的组标识，将获取的所述组标识作为目标组标识；
按照预设频率从规则库中获取包括所述目标组标识的规则组，将获取的所述规则组作为目标规则组。
可选地，计算机可执行指令在被执行时，所述从规则库中获取所述业务信息对应的目标规则组之后，还包括：
根据所述目标规则组更新缓存存储区中存储的规则组，其中，所述缓存存储区中存储的规则组为前一次从所述规则库中所获取的目标规则组；
所述将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配，包括：
将所述待处理数据与所述缓存存储区中存储的目标规则组所包括的数据处理规则进行匹配。
可选地，计算机可执行指令在被执行时，所述数据处理规则以键值对的形式存储于所述缓存存储区中，所述根据所述目标规则组更新缓存存储区中存储的规则组，包括：
将所述目标规则组包括的每个数据处理规则转换为所述键值对形式的数据处理规则；以及，
删除所述缓存存储区中存储的所述键值对形式的数据处理规则，并将转换的所述键值对形式的数据处理规则保存至所述缓存存储区中；或者，
将转换的所述键值对形式的数据处理规则与所述缓存存储区中存储的所述键值对形式的数据处理规则进行匹配，并将所述缓存存储区中未存有的所述键值对形式的数据处理规则保存至所述缓存存储区中。
可选地，计算机可执行指令在被执行时，所述数据处理规则中包括规则匹配信息，所述将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配，包括：
解析所述待处理数据得到至少一个待处理字段；
确定所述待处理字段的规则匹配信息；
将确定的所述规则匹配信息，与所述目标规则组所包括的数据处理规则中的规则匹配信息进行匹配。
可选地，计算机可执行指令在被执行时，所述确定所述待处理字段的规则匹配信息，包括：
确定所述待处理字段中是否含有规则标识；
若是，则将所述规则标识作为所述待处理字段的规则匹配信息；
若否，且所述待处理字段中包括预设数据，则将所述预设数据转换为规则标识，将转换的所述规则标识作为所述待处理字段的规则匹配信息；以及，
若否，且所述待处理字段中不包括预设数据，则将所述待处理字段中含有的字段名称作为所述待处理字段的规则匹配信息。
本申请实施例所提供的数据处理设备，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
在另一个具体的实施例中，数据处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
接收第一数据处理节点发送的待处理数据；
保存所述待处理数据，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据规则保存至规则库中相应的规则组中；其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
若检测到满足数据放行条件，则将保存的所述待处理数据发送给所述第一数据处理节点，以使所述第一数据处理节点根据所述新的数据处理规则对所述待处理数据进行处理。
可选地，计算机可执行指令在被执行时，所述检测到满足数据放行条件，包括：
统计保存的待处理数据的数量，若统计的所述数量到达预设数量，则确定满足数据放行条件；或者，
获取数据处理标识的状态信息，若所述状态信息为预设信息，则确定满足数据放行条件。
本申请实施例所提供的数据处理设备，通过接收并保存第一数据处理节点发送的待处理数据，能够基于该待处理数据及时的定义新的数据处理规则并保存至规则库中相应的规则组中，使得第一数据处理节点再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
需要说明的是，本申请中关于数据处理设备的实施例与本申请中关于数据处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法的实施，重复之处不再赘述。
进一步的，对应上述的数据处理方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
接收业务处理请求，其中，所述业务处理请求包括业务信息；
按照预设频率从规则库中获取所述业务信息对应的目标规则组，其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
接收待处理数据，将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配；如失败，则将所述待处理数据发送给第二数据处理节点，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据处理规则保存至所述规则库中相应的规则组中；以及，
在获取到包括所述新的数据处理规则的规则组时，根据所述新的数据处理规则对所述第二数据处理节点发送的所述待处理数据进行处理。
本申请实施例中，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述规则组中还包括组标识，所述按照预设频率从规则库中获取所述业务信息对应的目标规则组，包括：
根据所述业务信息，在业务信息与组标识的关联记录信息中获取对应的组标识，将获取的所述组标识作为目标组标识；
按照预设频率从规则库中获取包括所述目标组标识的规则组，将获取的所述规则组作为目标规则组。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述从规则库中获取所述业务信息对应的目标规则组之后，还包括：
根据所述目标规则组更新缓存存储区中存储的规则组，其中，所述缓存存储区中存储的规则组为前一次从所述规则库中所获取的目标规则组；
所述将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配，包括：
将所述待处理数据与所述缓存存储区中存储的目标规则组所包括的数据处理规则进行匹配。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述数据处理规则以键值对的形式存储于所述缓存存储区中，所述根据所述目标规则组更新缓存存储区中存储的规则组，包括：
将所述目标规则组包括的每个数据处理规则转换为所述键值对形式的数据处理规则；以及，
删除所述缓存存储区中存储的所述键值对形式的数据处理规则，并将转换的所述键值对形式的数据处理规则保存至所述缓存存储区中；或者，
将转换的所述键值对形式的数据处理规则与所述缓存存储区中存储的所述键值对形式的数据处理规则进行匹配，并将所述缓存存储区中未存有的所述键值对形式的数据处理规则保存至所述缓存存储区中。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述数据处理规则中包括规则匹配信息，所述将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配，包括：
解析所述待处理数据得到至少一个待处理字段；
确定所述待处理字段的规则匹配信息；
将确定的所述规则匹配信息，与所述目标规则组所包括的数据处理规则中的规则匹配信息进行匹配。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述确定所述待处理字段的规则匹配信息，包括：
确定所述待处理字段中是否含有规则标识；
若是，则将所述规则标识作为所述待处理字段的规则匹配信息；
若否，且所述待处理字段中包括预设数据，则将所述预设数据转换为规则标识，将转换的所述规则标识作为所述待处理字段的规则匹配信息；以及，
若否，且所述待处理字段中不包括预设数据，则将所述待处理字段中含有的字段名称作为所述待处理字段的规则匹配信息。
本申请实施例提供的存储介质所存储的计算机可执行指令在被处理器执行时，通过将各数据处理方式抽象为规则并以规则组的形式存储于规则库中，同时在接收到业务处理请求时，按照预设频率从规则库中获取对应的目标规则组，使得在业务处理请求所对应的待处理数据为新的数据类型的数据时，能够基于该新的数据类型的待处理数据及时的定义新的数据处理规则并保存至相应的规则组中，从而在再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
另一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
接收第一数据处理节点发送的待处理数据；
保存所述待处理数据，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据规则保存至规则库中相应的规则组中；其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
若检测到满足数据放行条件，则将保存的所述待处理数据发送给所述第一数据处理节点，以使所述第一数据处理节点根据所述新的数据处理规则对所述待处理数据进行处理。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述检测到满足数据放行条件，包括：
统计保存的待处理数据的数量，若统计的所述数量到达预设数量，则确定满足数据放行条件；或者，
获取数据处理标识的状态信息，若所述状态信息为预设信息，则确定满足数据放行条件。
本申请实施例提供的存储介质所存储的计算机可执行指令在被处理器执行时，通过接收并保存第一数据处理节点发送的待处理数据，能够基于该待处理数据及时的定义新的数据处理规则并保存至规则库中相应的规则组中，使得第一数据处理节点再次获取目标规则组时，该新的数据处理规则生效；因此，在无需关闭程序、更改程序以及启动更改后的程序的情况下，实现了数据处理规则的及时更新和及时生效，提升了数据处理效率。
其中，所述的计算机可读存储介质包括只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，本申请中关于存储介质的实施例与本申请中关于数据处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据处理方法的实施，重复之处不再赘述。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种数据处理方法，应用于第一数据处理节点，其特征在于，包括：
接收业务处理请求，其中，所述业务处理请求包括业务信息；
按照预设频率从规则库中获取所述业务信息对应的目标规则组，其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
根据所述目标规则组更新缓存存储区中存储的规则组，其中，所述缓存存储区中存储的规则组为前一次从所述规则库中所获取的目标规则组；
接收待处理数据，将所述待处理数据与所述缓存存储区中存储的所述目标规则组包括的数据处理规则进行匹配；如失败，则将所述待处理数据发送给第二数据处理节点，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据处理规则保存至所述规则库中相应的规则组中；以及，
在获取到包括所述新的数据处理规则的规则组时，根据所述新的数据处理规则对所述第二数据处理节点发送的所述待处理数据进行处理；
其中，所述根据所述目标规则组更新缓存存储区中存储的规则组，包括：当所述第一数据处理节点首次根据业务信息从规则库中获取到目标规则组时，将获取的目标规则组保存至分配的为空的缓存存储区中；并在非首次根据业务信息从规则库中获取到目标规则组时，根据当前获取的目标规则组更新缓存存储区中存储的规则组。
2.根据权利要求1所述的方法，其特征在于，所述规则组中还包括组标识，所述按照预设频率从规则库中获取所述业务信息对应的目标规则组，包括：
根据所述业务信息，在业务信息与组标识的关联记录信息中获取对应的组标识，将获取的所述组标识作为目标组标识；
按照预设频率从规则库中获取包括所述目标组标识的规则组，将获取的所述规则组作为目标规则组。
3.根据权利要求1所述的方法，其特征在于，所述数据处理规则以键值对的形式存储于所述缓存存储区中，所述根据所述目标规则组更新缓存存储区中存储的规则组，包括：
将所述目标规则组包括的每个数据处理规则转换为所述键值对形式的数据处理规则；以及，
删除所述缓存存储区中存储的所述键值对形式的数据处理规则，并将转换的所述键值对形式的数据处理规则保存至所述缓存存储区中；或者，
将转换的所述键值对形式的数据处理规则与所述缓存存储区中存储的所述键值对形式的数据处理规则进行匹配，并将所述缓存存储区中未存有的所述键值对形式的数据处理规则保存至所述缓存存储区中。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述数据处理规则中包括规则匹配信息，所述将所述待处理数据与所述目标规则组包括的数据处理规则进行匹配，包括：
解析所述待处理数据得到至少一个待处理字段；
确定所述待处理字段的规则匹配信息；
将确定的所述规则匹配信息，与所述目标规则组所包括的数据处理规则中的规则匹配信息进行匹配。
5.根据权利要求4所述的方法，其特征在于，所述确定所述待处理字段的规则匹配信息，包括：
确定所述待处理字段中是否含有规则标识；
若是，则将所述规则标识作为所述待处理字段的规则匹配信息；
若否，且所述待处理字段中包括预设数据，则将所述预设数据转换为规则标识，将转换的所述规则标识作为所述待处理字段的规则匹配信息；以及，
若否，且所述待处理字段中不包括预设数据，则将所述待处理字段中含有的字段名称作为所述待处理字段的规则匹配信息。
6.一种数据处理装置，应用于第一数据处理节点，其特征在于，包括：
接收模块，用于接收业务处理请求，其中，所述业务处理请求包括业务信息；
获取模块，用于按照预设频率从规则库中获取所述业务信息对应的目标规则组，其中，所述规则库中存有与业务对应的多个规则组，所述规则组中包括至少一个数据处理规则；
更新模块，用于根据所述目标规则组更新缓存存储区中存储的规则组，其中，所述缓存存储区中存储的规则组为前一次从所述规则库中所获取的目标规则组；
匹配模块，用于接收待处理数据，将所述待处理数据与所述缓存存储区中存储的所述目标规则组包括的数据处理规则进行匹配；
发送模块，用于如所述匹配模块匹配失败，则将所述待处理数据发送给第二数据处理节点，以基于所述待处理数据定义新的数据处理规则，并将所述新的数据处理规则保存至所述规则库中相应的规则组中；
处理模块，用于在所述获取模块获取到包括所述新的数据处理规则的规则组时，根据所述新的数据处理规则对所述第二数据处理节点发送的所述待处理数据进行处理；
其中，所述更新模块具体用于：当所述第一数据处理节点首次根据业务信息从规则库中获取到目标规则组时，将获取的目标规则组保存至分配的为空的缓存存储区中；并在非首次根据业务信息从规则库中获取到目标规则组时，根据当前获取的目标规则组更新缓存存储区中存储的规则组。
7.根据权利要求6所述的装置，其特征在于，所述数据处理规则以键值对的形式存储于所述缓存存储区中，所述更新模块具体用于：
将所述目标规则组包括的每个数据处理规则转换为所述键值对形式的数据处理规则；以及，
删除所述缓存存储区中存储的所述键值对形式的数据处理规则，并将转换的所述键值对形式的数据处理规则保存至所述缓存存储区中；或者，
将转换的所述键值对形式的数据处理规则与所述缓存存储区中存储的所述键值对形式的数据处理规则进行匹配，并将所述缓存存储区中未存有的所述键值对形式的数据处理规则保存至所述缓存存储区中。
CN201910780314.0A 2019-08-22 2019-08-22 一种数据处理方法及装置 Active CN110502546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780314.0A CN110502546B (zh) 2019-08-22 2019-08-22 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780314.0A CN110502546B (zh) 2019-08-22 2019-08-22 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110502546A CN110502546A (zh) 2019-11-26
CN110502546B true CN110502546B (zh) 2022-04-19

Family

ID=68588890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780314.0A Active CN110502546B (zh) 2019-08-22 2019-08-22 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110502546B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909061A (zh) * 2019-11-27 2020-03-24 恩亿科(北京)数据科技有限公司 数据源处理方法、装置、电子设备及存储介质
CN111061795B (zh) * 2019-12-19 2024-03-08 新奥数能科技有限公司 一种数据处理方法、装置、智能终端及存储介质
CN113127495A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 一种数据库的更新方法及装置
CN111343103B (zh) * 2020-02-27 2023-11-03 紫光云技术有限公司 一种安全组规则不能立即生效问题的解决方法
CN111428251B (zh) * 2020-03-18 2023-04-28 北京明略软件系统有限公司 数据处理方法和装置
CN111475489A (zh) * 2020-04-14 2020-07-31 北京思特奇信息技术股份有限公司 一种数据处理的方法和装置
CN112256737B (zh) * 2020-10-30 2024-05-28 深圳前海微众银行股份有限公司 一种hive规则匹配数据的方法、设备及存储介质
CN112309587A (zh) * 2020-11-26 2021-02-02 微医云(杭州)控股有限公司 线上问诊方法、系统、服务器及存储介质
CN112835645B (zh) * 2021-02-05 2022-09-30 杭州迪普科技股份有限公司 一种规则配置的方法及装置
CN114756913B (zh) * 2022-04-22 2024-01-19 苏州浪潮智能科技有限公司 一种部件安装位置确定方法、装置、设备及介质
CN115080653B (zh) * 2022-08-23 2022-11-11 北京华御数观科技有限公司 一种数据处理用通用方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104092A1 (en) * 2006-10-27 2008-05-01 Electronic Data Systems Corporation Integrating Business Rules into Automated Business Processes
US9361581B2 (en) * 2010-06-30 2016-06-07 Alcatel Lucent Method for loading a rule set in a rule engine
CN103186579A (zh) * 2011-12-29 2013-07-03 北京亿阳信通科技有限公司 一种基于数据库函数的规则实现及应用的方法及装置
CN104021226B (zh) * 2014-06-25 2018-01-02 华为技术有限公司 预取规则的更新方法及装置
CN105786950A (zh) * 2015-12-30 2016-07-20 北京锐安科技有限公司 一种处理数据的方法及装置
CN108280227A (zh) * 2018-01-26 2018-07-13 北京奇虎科技有限公司 基于缓存的数据信息处理方法及装置
CN108628947B (zh) * 2018-04-02 2022-07-15 创新先进技术有限公司 一种业务规则匹配处理方法、装置及处理设备
CN109033206B (zh) * 2018-06-29 2021-06-01 北京奇虎科技有限公司 一种规则匹配方法、云服务器及规则匹配系统
CN109376988B (zh) * 2018-09-11 2022-11-18 创新先进技术有限公司 一种业务数据的处理方法和装置
CN109358874B (zh) * 2018-09-26 2023-08-04 中国平安人寿保险股份有限公司 业务规则更新方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110502546A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110502546B (zh) 一种数据处理方法及装置
JP5635691B2 (ja) 複数のシステムを用いたデータ解析
CN107515878B (zh) 一种数据索引的管理方法及装置
CN112800095B (zh) 一种数据处理方法、装置、设备及存储介质
US20150234927A1 (en) Application search method, apparatus, and terminal
US9639444B2 (en) Architecture for end-to-end testing of long-running, multi-stage asynchronous data processing services
US9960983B2 (en) Monitoring item selection method and device, and storage medium
US20180189366A1 (en) Data processing method, device and system of query server
CN113111669B (zh) 基于增量的前端多语言国际化翻译方法及装置
CN112364051B (zh) 一种数据查询方法及装置
CN106156210B (zh) 一种确定应用标识匹配列表的方法和装置
CN107239399A (zh) 用于测试的索引生成方法、装置、系统及可读存储介质
CN111858617A (zh) 用户查找方法和装置、计算机可读存储介质、电子设备
CN110674383A (zh) 舆情查询方法、装置及设备
US10572486B2 (en) Data communication in a distributed data grid
CN111008220A (zh) 数据源的动态识别方法及装置、存储介质和电子装置
CN106649352B (zh) 数据处理方法及装置
CN111339170A (zh) 数据处理方法、装置、计算机设备及存储介质
CN113486025B (zh) 数据存储方法、数据查询方法及装置
CN113407541B (zh) 数据采集方法、设备、存储介质及装置
CN110781375A (zh) 一种用户状态标识确定方法及装置
CN111159311B (zh) 一种数据映射集成的方法、装置、设备及存储介质
CN111475505B (zh) 一种数据采集的方法及设备
CN113934767A (zh) 一种数据处理的方法及装置、计算机设备和存储介质
CN110503504B (zh) 网络产品的信息识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant