CN115826984A - 数据处理方法及装置 - Google Patents

Abstract

本发明提供一种数据处理方法及装置，涉及数据处理技术领域，其中方法包括：获取待处理数据；获取用户对所述待处理数据配置的数据处理规则；基于所述数据处理规则对所述待处理数据进行处理。本发明在获取到待处理数据时，获取用户对待处理数据配置的数据处理规则，基于数据处理规则对待处理数据进行处理。可知，本发明是用户基于待处理数据配置对应的数据处理规则，实现了数据的灵活处理。

Description

数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

在业务开发过程中，不同用户在相同或类似的业务场景中有不同的数据处理需求，例如，用户A需要将自己的上下文数据及所有业务数据通过kafka外发给自己，用户B需要将有告警的业务数据通过syslog外发等。

相关技术中，通常是根据用户的需求，首先为每个用户定制一套数据处理流程，然后通过预先定制的数据处理流程处理每个用户需要处理的数据。

但上述相关技术中，若用户的需求发生改变或者增多，就需要不断对数据处理流程进行重新定制，从而降低了数据的处理灵活性。

发明内容

针对现有技术中的问题，本发明提供一种数据处理方法及装置。

本发明提供一种数据处理方法，包括：

获取待处理数据；

获取用户对所述待处理数据配置的数据处理规则；

基于所述数据处理规则对所述待处理数据进行处理。

根据本发明提供的一种数据处理方法，所述数据处理规则包括以下至少之一：数据解析规则、数据存储规则和数据发送规则。

根据本发明提供的一种数据处理方法，所述数据解析规则用于指示所述待处理数据的格式标识和待解析数据的第一标识；

所述基于所述数据处理规则对所述待处理数据进行处理，包括：

在所述数据处理规则包括所述数据解析规则时，基于所述待处理数据的格式标识确定目标解析器；

通过所述目标解析器从所述待处理数据中解析与所述第一标识匹配的数据，得到解析数据。

根据本发明提供的一种数据处理方法，所述数据存储规则用于指示待存储数据的第二标识；

所述基于所述数据处理规则对所述待处理数据进行处理，包括：

在所述数据处理规则包括所述数据存储规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第二标识匹配的待存储数据；所述解析数据为从所述待处理数据中解析得到的数据；

在所述数据处理规则包括所述数据存储规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第二标识匹配的待存储数据；

将所述待存储数据进行存储。

根据本发明提供的一种数据处理方法，所述数据发送规则用于指示待发送数据的第三标识；

所述基于所述数据处理规则对所述待处理数据进行处理，包括：

在所述数据处理规则包括所述数据发送规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第三标识匹配的待发送数据；所述解析数据为从所述待处理数据中解析得到的数据；

在所述数据处理规则包括所述数据发送规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第三标识匹配的待发送数据；

将所述待发送数据进行发送。

根据本发明提供的一种数据处理方法，所述数据发送规则还用于指示发送通道标识；

所述将所述待发送数据进行发送，包括：

基于所述发送通道标识确定目标发送通道；

将所述待发送数据通过所述目标发送通道进行发送。

根据本发明提供的一种数据处理方法，所述数据发送规则还用于指示待发送数据的格式标识；

所述将所述待发送数据进行发送，包括：

基于所述待发送数据的格式标识将所述待发送数据进行格式转换，得到第一目标发送数据；

将所述第一目标发送数据进行发送。

根据本发明提供的一种数据处理方法，所述数据发送规则还用于指示待发送数据的重组信息；

所述将所述待发送数据进行发送，包括：

基于所述待发送数据的重组信息将所述待发送数据的内容进行重组，得到第二目标发送数据；

将所述第二目标发送数据进行发送。

本发明还提供一种数据处理装置，包括：

第一获取单元，用于获取待处理数据；

第二获取单元，用于获取用户对所述待处理数据配置的数据处理规则；

处理单元，用于基于所述数据处理规则对所述待处理数据进行处理。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据处理方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据处理方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法。

本发明提供的数据处理方法及装置，在获取到待处理数据时，获取用户对待处理数据配置的数据处理规则，基于数据处理规则对待处理数据进行处理。可知，本发明是用户基于待处理数据配置对应的数据处理规则，实现了数据的灵活处理。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据处理方法的流程示意图之一；

图2是本发明实施例提供的数据处理方法的流程示意图之二；

图3是本发明实施例提供的解析流程示意图；

图4是本发明实施例提供的数据处理方法的流程示意图之三；

图5是本发明实施例提供的数据处理方法的流程示意图之四；

图6是本发明实施例提供的数据处理流程示意图之一；

图7是本发明实施例提供的数据处理流程示意图之二；

图8是本发明实施例提供的数据处理装置的结构示意图；

图9是本发明提供的电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图7描述本发明的数据处理方法。

图1是本发明实施例提供的数据处理方法的流程示意图之一，如图1所示，该数据处理方法包括以下步骤：

步骤101、获取待处理数据。

其中，待处理数据可以为上下文数据，或者样本数据等非上下文数据。

示例地，用户可以通过预设接口提交待处理数据，例如，用户通过clinic系统接口提交待处理数据。

步骤102、获取用户对所述待处理数据配置的数据处理规则。

其中，所述数据处理规则包括以下至少之一：数据解析规则、数据存储规则和数据发送规则。

示例地，在获取到用户提交的待处理数据时，可以向用户显示注册准入许可的配置模块，用户可以基于自身需求在配置模块上对待处理数据的数据处理规则进行配置，例如，以待处理数据为用户上下文数据为例，用户上下文数据包括5个字段，分别为字段1、字段2、字段3、字段4和字段5，若用户只想对字段3进行解析和存储，则可以在配置模块上配置的需要解析的内容为字段3，需要存储的内容为字段3的具体信息，则用户配置的解析的内容为字段3，需要存储的内容为字段3的具体信息即为待处理数据的数据处理规则。

步骤103、基于所述数据处理规则对所述待处理数据进行处理。

示例地，在获取到用户对待处理数据配置的数据处理规则时，可以基于数据处理规则对待处理数据进行对应处理；例如，获取的数据处理规则为需要解析的内容为字段3，需要存储的内容为字段3的具体信息，则可以对待处理数据的字段3进行解析，解析得到字段3的具体信息，也就是字段3的具体值，然后将字段3的具体值进行存储，从而实现了对待处理数据的具体处理过程。

本发明提供的数据处理方法，在获取到待处理数据时，获取用户对待处理数据配置的数据处理规则，基于数据处理规则对待处理数据进行处理。可知，本发明是用户基于待处理数据配置对应的数据处理规则，实现了数据的灵活处理。

可选地，所述数据解析规则用于指示所述待处理数据的格式标识和待解析数据的第一标识；图2是本申请实施例提供的数据处理方法的流程示意图之二，如图2所示，上述步骤103具体可通过以下步骤实现：

步骤1031、在所述数据处理规则包括所述数据解析规则时，基于所述待处理数据的格式标识确定目标解析器。

示例地，由于用户提交的待处理数据的数据格式和内容可能都各不相同，为了兼容多种数据格式的待处理数据，可以预先将每种数据格式的解析器以组件方式添加至配置模块中，并建立解析器列表，在解析器列表中存储有格式标识与解析器的对应关系；在用户配置的数据处理规则中包括数据解析规则时，获取数据解析规则的具体内容，即获取到用于指示待处理数据的格式标识和待解析数据的第一标识，该格式标识包括但不限于json格式的标识、xml格式的标识、csv格式的标识等；以json格式的标识为例，则在获取到用于指示待处理数据的格式标识为json格式的标识时，从解析器列表中查找与json格式的标识对应的目标解析器。

步骤1032、通过所述目标解析器从所述待处理数据中解析与所述第一标识匹配的数据，得到解析数据。

示例地，在基于待处理数据的格式标识确定目标解析器时，目标解析器从待处理数据中查找待解析数据的第一标识，找到待解析的位置，进而在待解析的位置处解析对应的数据；例如，待解析数据的第一标识为字段3，则目标解析器在待处理数据中确定字段3的位置，然后将字段3的具体值进行解析，得到解析数据。

图3是本发明实施例提供的解析流程示意图，如图3所示，待处理数据为上下文数据，在配置模块中选择对应的目标解析器，并在用于配置格式标识的位置处配置待处理数据的格式标识，在配置待解析数据标识的位置处配置待解析数据的第一标识；在格式标识为json格式的标识时，基于json格式对应的解析器对上下文数据进行解析，得到解析数据；在格式标识为xml格式的标识时，基于xml格式对应的解析器对上下文数据进行解析，得到解析数据；在格式标识为csv格式的标识时，基于csv格式对应的解析器对上下文数据进行解析，得到解析数据；其中，解析数据中可以包括第一标识对应的具体解析内容和具体解析内容在上下文数据中的路径信息等。

本发明实施例提供的数据处理方法，在数据处理规则包括数据解析规则时，可以基于数据解析规则确定对应的目标解析器，进而基于目标解析器对待处理数据进行解析，实现了基于用户配置的数据解析规则对待处理数据中用户需求的数据进行解析，体现了解析过程的灵活配置和实现。

可选地，所述数据存储规则用于指示待存储数据的第二标识；图4是本发明实施例提供的数据处理方法的流程示意图之三，如图4所示，上述步骤103具体可通过以下步骤实现：

需要说明的是，基于待处理数据的不同，下述执行的步骤也不同；在待处理数据包括上下文数据时，则执行步骤1033和步骤1035；在待处理数据包括非上下文数据时，则执行步骤1034和步骤1035。

步骤1033、在所述数据处理规则包括所述数据存储规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第二标识匹配的待存储数据；所述解析数据为从所述待处理数据中解析得到的数据。

示例地，在数据处理规则包括数据存储规则、且待处理数据包括上下文数据时，获取数据存储规则的具体内容，即获取到用于指示待存储数据的第二标识，然后从解析数据中查找与第二标识对应的数据，将第二标识对应的数据作为待存储数据进行存储。例如，待处理数据包括上下文数据，解析数据为字段2的值和字段3的值，若用户配置的数据存储规则为将字段2的值进行存储，则从解析数据中获取字段2的值，然后将字段2的值存储在预设位置。

步骤1034、在所述数据处理规则包括所述数据存储规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第二标识匹配的待存储数据。

示例地，在数据处理规则包括数据存储规则、且待处理数据包括非上下文数据时，获取数据存储规则的具体内容，即获取到用于指示待存储数据的第二标识，然后从解析数据中查找与第二标识对应的数据，将第二标识对应的数据作为待存储数据进行存储。例如，待处理数据包括从第一网际互连协议(Internet Protocol，IP)地址获取的数据1和从第二IP地址获取的数据2，若用户配置的数据存储规则为将从第一IP地址获取的数据1进行存储，则从待处理数据中获取从第一IP地址获取的数据1，然后将从第一IP地址获取的数据1存储在预设位置。

步骤1035、将所述待存储数据进行存储。

示例地，在确定待存储数据时，将待存储数据存储在预设位置，用户可以自行配置具体预设位置，也可以由电子设备基于设备内存的使用情况来自动选取用于存储的预设位置，例如，待存储数据为告警数据，可以通过filing存档告警数据，本发明对此不作限定。

需要说明的是，由于上下文数据是与业务无关的数据，由用户进行提交，业务处理中不需要上下文数据，只是在存储时进行存储处理，所以业务处理中没有对上下文数据进行解析，所以在待处理数据为上下文数据时，需要对上下文数据进行解析；而非上下文数据是业务流程中生成的数据，在业务中已经完成了数据的解析处理，因此在待处理数据为非上下文数据时，由于非上下文数据是已经解析过的数据，所以无需解析。

本发明实施例提供的数据处理方法，在数据处理规则包括数据存储规则时，可以基于数据存储规则对待处理数据或者解析数据进行存储，实现了基于用户配置的数据存储规则对待处理数据中用户需求的数据进行存储，体现了存储过程的灵活配置和实现。

可选地，所述数据发送规则用于指示待发送数据的第三标识；图5是本发明实施例提供的数据处理方法的流程示意图之四，如图5所示，上述步骤103具体可通过以下步骤实现：

需要说明的是，基于待处理数据的不同，下述执行的步骤也不同；在待处理数据包括上下文数据时，则执行步骤1036和步骤1038；在待处理数据包括非上下文数据时，则执行步骤1037和步骤1038。

步骤1036、在所述数据处理规则包括所述数据发送规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第三标识匹配的待发送数据；所述解析数据为从所述待处理数据中解析得到的数据。

示例地，在数据处理规则包括数据发送规则、且待处理数据包括上下文数据时，获取数据发送规则的具体内容，即获取到用于指示待发送数据的第三标识，然后从解析数据中查找是否有与第三标识匹配的数据，在解析数据中查找到有与第三标识匹配的数据时，将第三标识对应的数据作为待发送数据进行发送。例如，待处理数据包括上下文数据，解析数据为字段2的值和字段3的值，若用户配置的数据发送规则为将字段3的值进行发送，则从解析数据中获取字段3的值，然后将字段3的值通过默认发送通道或者用户设定的发送通道进行发送。

步骤1037、在所述数据处理规则包括所述数据发送规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第三标识匹配的待发送数据。

示例地，在数据处理规则包括数据存储规则、且待处理数据包括非上下文数据时，获取数据发送规则的具体内容，即获取到用于指示待存储数据的第三标识，然后从解析数据中查找是否有与第三标识匹配的数据，在待处理数据中查找到有与第三标识匹配的数据时，将第三标识对应的数据作为待发送数据进行发送。例如，待处理数据包括从第一网际互连协议(Internet Protocol，IP)地址获取的数据1和从第二IP地址获取的数据2，若用户配置的数据发送规则为将从第二IP地址获取的数据2进行发送，则从待处理数据中获取从第二IP地址获取的数据2，然后将从第二IP地址获取的数据2通过默认发送通道或者用户设定的发送通道进行发送。

需要说明的是，在从解析数据中查找是否有与第三标识匹配的数据时，可以采用逻辑运算、算术运算、包含关系、或者正则表达式等运算方式进行匹配，其中，包含关系有包括(in)、不包括(not in)、参数字符串是否在原字符串的头部(startWith)、参数字符串是否在原字符串的尾部(endWith)等，本发明对此不作限定。

步骤1038、将所述待发送数据进行发送。

示例地，在确定待发送数据时，将待发送数据默认发送通道或者用户设定的发送通道进行发送，本发明对此不作限定。

本发明实施例提供的数据处理方法，在数据处理规则包括数据发送规则时，可以基于数据发送规则对待处理数据或者解析数据进行发送，实现了基于用户配置的数据发送规则对待处理数据中用户需求的数据的发送，体现了发送过程的灵活配置和实现。

可选地，所述数据发送规则还用于指示发送通道标识；上述步骤1038具体可通过以下方式实现：

基于所述发送通道标识确定目标发送通道；将所述待发送数据通过所述目标发送通道进行发送。

示例地，用户还可以基于自身的需求，在配置模块中配置发送数据时采用的发送通道的发送通道标识，其中，发送通道包括kafka、syslog和snmp等多种发送通道，且发送通道也可通过实现发送接口进行扩展。例如，用户配置的发送通道标识为kafka对应的发送通道标识，则在确定待发送数据时，则通过kafka发送通道将待发送数据进行发送。

图6是本发明实施例提供的数据处理流程示意图之一，如图6所示，以待处理数据为待存储数据为例，在配置模块中用于配置待存储数据的标识的位置处配置待存储数据的第二标识，以待处理数据为待发送数据为例，在配置模块中用于配置待发送数据的发送通道标识处配置待发送数据的发送通道标识，在完成数据处理规则的配置后，基于配置的数据处理规则对待发送数据进行相应处理；例如，在待存储数据的第二标识为filing存档时，将待存储数据存储在存储引擎中，例如将待存储数据存储在mongo数据库中；在待发送数据的发送通道标识为kafka对应的发送通道标识时，将待发送数据通过kafka发送通道进行发送；在待发送数据的发送通道标识为syslog对应的发送通道标识时，将待发送数据通过syslog发送通道进行发送。

本发明实施例提供的数据处理方法，用户可以自行配置发送通道标识，可基于用户配置的发送通道标识对待发送数据进行发送，实现了发送通道的灵活配置。

可选地，所述数据发送规则还用于指示待发送数据的格式标识；上述步骤1038具体可通过以下方式实现：

基于所述待发送数据的格式标识将所述待发送数据进行格式转换，得到第一目标发送数据；将所述第一目标发送数据进行发送。

示例地，用户还可以基于自身的需求，在配置模块中配置待发送数据的格式标识，在确定待发送数据时，确定待发送数据的当前数据格式是否为用户配置的格式标识对应的数据格式，在确定待发送数据的当前数据格式不为用户配置的格式标识对应的数据格式时，则基于用户配置的格式标识对应的数据格式对待发送数据进行格式转换，得到与用户配置的数据格式相同的待发送数据，即得到第一目标发送数据，再将第一目标发送数据进行发送。

本发明实施例提供的数据处理方法，用户可以自行配置待发送数据的格式标识，可基于用户配置的待发送数据的格式标识对待发送数据进行格式转换，实现了待发送数据的数据格式的灵活配置。

可选地，所述数据发送规则还用于指示待发送数据的重组信息；上述步骤1038具体可通过以下方式实现：

基于所述待发送数据的重组信息将所述待发送数据的内容进行重组，得到第二目标发送数据；将所述第二目标发送数据进行发送。

其中，重组信息包括定义新的数据结构或者定义新的字段名称等。

示例地，用户还可以基于自身的需求，在配置模块中配置待发送数据的重组信息，在确定待发送数据时，基于用户配置的待发送数据的重组信息对待发送数据进行重组，并将重组得到的第二目标发送数据进行发送。例如，用户配置的待发送数据的重组信息为将字段2的名称修改为abc，则在确定待发送数据时，从待发送数据中查找字段2，然后将字段2的名称修改为abc，实现了待发送数据的重组；再例如，用户配置的待发送数据的重组信息为将待发送数据的数据结构修改为数据结构1，则在确定待发送数据时，需要将待发送数据的当前数据结构按照数据结构1进行修改，实现了待发送数据的重组。

图7是本发明实施例提供的数据处理流程示意图之二，如图7所示，以待处理数据为待发送数据为例，在配置模块中用于配置待发送数据的重组信息的位置处配置待存储数据的重组信息，在用于配置待发送数据的格式标识处配置待发送数据的格式标识，在完成数据处理规则的配置后，基于配置的数据处理规则对待发送数据进行相应处理；例如，待发送数据的重组信息为更新字段名称，则将待发送数据进行字段名称的更新；在待发送数据的格式标识为json格式标识时，将待发送数据的数据格式转化为json格式；在待发送数据的格式标识为xml格式标识时，将待发送数据的数据格式转化为xml格式；在待发送数据的格式标识为默认的csv格式标识时，将待发送数据的数据格式转化为csv格式。

本发明实施例提供的数据处理方法，用户可以自行配置待发送数据的重组信息，可基于用户配置的待发送数据的重组信息对待发送数据进行重组，实现了待发送数据的数据结构或字段名称的灵活配置。

本发明实施例提供的数据处理方法，可以应用于不同生产线的数据处理场景，为不同生产线的数据处理提供一个业务中转平台，业务中转平台通过规则模板构建了一套数据处理规则，规范了不同生产线间数据的上传和调用，实现了不同生产线间数据的自动流转；任一生产线的数据都可以作为待处理数据，能够基于用户需求，可配置化进行待处理数据的对应处理，从而实现业务中转平台中每个模块的复用，并满足不同用户的需求；即在获取到待处理数据时，获取用户对待处理数据配置的数据处理规则，基于数据处理规则对待处理数据进行处理，实现了不同数据的灵活处理。

具体地，在数据处理规则包括数据解析规则时，可以基于数据解析规则确定对应的目标解析器，进而基于目标解析器对待处理数据进行解析，实现了基于用户配置的数据解析规则对待处理数据中用户需求的数据进行解析，体现了解析过程的灵活配置和实现。

在数据处理规则包括数据存储规则时，可以基于数据存储规则对待处理数据或者解析数据进行存储，实现了基于用户配置的数据存储规则对待处理数据中用户需求的数据进行存储，体现了存储过程的灵活配置和实现。

在数据处理规则包括数据发送规则时，可以基于数据发送规则对待处理数据或者解析数据进行发送，实现了基于用户配置的数据发送规则对待处理数据中用户需求的数据的发送，体现了发送过程的灵活配置和实现。

另外，用户可以自行配置发送通道标识，可基于用户配置的发送通道标识对待发送数据进行发送，实现了发送通道的灵活配置；用户还可以自行配置待发送数据的格式标识，可基于用户配置的待发送数据的格式标识对待发送数据进行格式转换，实现了待发送数据的数据格式的灵活配置；用户还可以自行配置待发送数据的重组信息，可基于用户配置的待发送数据的重组信息对待发送数据进行重组，实现了待发送数据的数据结构或字段名称的灵活配置。

下面对本发明提供的数据处理装置进行描述，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。

图8是本发明实施例提供的数据处理装置的结构示意图，如图8所示，该数据处理装置800包括第一获取单元801、第二获取单元802和处理单元803；其中：

第一获取单元801，用于获取待处理数据；

第二获取单元802，用于获取用户对所述待处理数据配置的数据处理规则；

处理单元803，用于基于所述数据处理规则对所述待处理数据进行处理。

本发明提供的数据处理装置，在获取到待处理数据时，获取用户对待处理数据配置的数据处理规则，基于数据处理规则对待处理数据进行处理。可知，本发明是用户基于待处理数据配置对应的数据处理规则，实现了数据的灵活处理。

基于上述任一实施例，所述数据处理规则包括以下至少之一：数据解析规则、数据存储规则和数据发送规则。

基于上述任一实施例，所述数据解析规则用于指示所述待处理数据的格式标识和待解析数据的第一标识；所述处理单元803具体用于：

在所述数据处理规则包括所述数据解析规则时，基于所述待处理数据的格式标识确定目标解析器；

通过所述目标解析器从所述待处理数据中解析与所述第一标识匹配的数据，得到解析数据。

基于上述任一实施例，所述数据存储规则用于指示待存储数据的第二标识；所述处理单元803还具体用于：

在所述数据处理规则包括所述数据存储规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第二标识匹配的待存储数据；所述解析数据为从所述待处理数据中解析得到的数据；

在所述数据处理规则包括所述数据存储规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第二标识匹配的待存储数据；

将所述待存储数据进行存储。

基于上述任一实施例，所述数据发送规则用于指示待发送数据的第三标识；所述处理单元803还具体用于：

在所述数据处理规则包括所述数据发送规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第三标识匹配的待发送数据；所述解析数据为从所述待处理数据中解析得到的数据；

在所述数据处理规则包括所述数据发送规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第三标识匹配的待发送数据；

将所述待发送数据进行发送。

基于上述任一实施例，所述数据发送规则还用于指示发送通道标识；所述处理单元803还具体用于：

基于所述发送通道标识确定目标发送通道；

将所述待发送数据通过所述目标发送通道进行发送。

基于上述任一实施例，所述数据发送规则还用于指示待发送数据的格式标识；所述处理单元803还具体用于：

基于所述待发送数据的格式标识将所述待发送数据进行格式转换，得到第一目标发送数据；

将所述第一目标发送数据进行发送。

基于上述任一实施例，所述数据发送规则还用于指示待发送数据的重组信息；所述处理单元803还具体用于：

基于所述待发送数据的重组信息将所述待发送数据的内容进行重组，得到第二目标发送数据；

将所述第二目标发送数据进行发送。

图9是本发明实施例提供的电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行数据处理方法，该方法包括：获取待处理数据；

获取用户对所述待处理数据配置的数据处理规则；

基于所述数据处理规则对所述待处理数据进行处理。

此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的数据处理方法，该方法包括：获取待处理数据；

获取用户对所述待处理数据配置的数据处理规则；

基于所述数据处理规则对所述待处理数据进行处理。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的数据处理方法，该方法包括：获取待处理数据；

获取用户对所述待处理数据配置的数据处理规则；

基于所述数据处理规则对所述待处理数据进行处理。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种数据处理方法，其特征在于，包括：

获取待处理数据；

获取用户对所述待处理数据配置的数据处理规则；

基于所述数据处理规则对所述待处理数据进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理规则包括以下至少之一：数据解析规则、数据存储规则和数据发送规则。

3.根据权利要求2所述的数据处理方法，其特征在于，所述数据解析规则用于指示所述待处理数据的格式标识和待解析数据的第一标识；

所述基于所述数据处理规则对所述待处理数据进行处理，包括：

在所述数据处理规则包括所述数据解析规则时，基于所述待处理数据的格式标识确定目标解析器；

通过所述目标解析器从所述待处理数据中解析与所述第一标识匹配的数据，得到解析数据。

4.根据权利要求2所述的数据处理方法，其特征在于，所述数据存储规则用于指示待存储数据的第二标识；

所述基于所述数据处理规则对所述待处理数据进行处理，包括：

在所述数据处理规则包括所述数据存储规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第二标识匹配的待存储数据；所述解析数据为从所述待处理数据中解析得到的数据；

在所述数据处理规则包括所述数据存储规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第二标识匹配的待存储数据；

将所述待存储数据进行存储。

5.根据权利要求2所述的数据处理方法，其特征在于，所述数据发送规则用于指示待发送数据的第三标识；

所述基于所述数据处理规则对所述待处理数据进行处理，包括：

在所述数据处理规则包括所述数据发送规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第三标识匹配的待发送数据；所述解析数据为从所述待处理数据中解析得到的数据；

在所述数据处理规则包括所述数据发送规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第三标识匹配的待发送数据；

将所述待发送数据进行发送。

6.根据权利要求5所述的数据处理方法，其特征在于，所述数据发送规则还用于指示发送通道标识；

所述将所述待发送数据进行发送，包括：

基于所述发送通道标识确定目标发送通道；

将所述待发送数据通过所述目标发送通道进行发送。

7.根据权利要求5所述的数据处理方法，其特征在于，所述数据发送规则还用于指示待发送数据的格式标识；

所述将所述待发送数据进行发送，包括：

基于所述待发送数据的格式标识将所述待发送数据进行格式转换，得到第一目标发送数据；

将所述第一目标发送数据进行发送。

8.根据权利要求5所述的数据处理方法，其特征在于，所述数据发送规则还用于指示待发送数据的重组信息；

所述将所述待发送数据进行发送，包括：

基于所述待发送数据的重组信息将所述待发送数据的内容进行重组，得到第二目标发送数据；

将所述第二目标发送数据进行发送。

9.一种数据处理装置，其特征在于，包括：

第一获取单元，用于获取待处理数据；

第二获取单元，用于获取用户对所述待处理数据配置的数据处理规则；

处理单元，用于基于所述数据处理规则对所述待处理数据进行处理。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述数据处理方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述数据处理方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述数据处理方法。

Images