CN112883088B - 一种数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、设备及存储介质，方法包括：接收源数据，并读取源数据的信息；基于预设方式对源数据的信息进行解析，获得与源数据的信息对应的映射为schema格式的解析信息，以及用于对解析信息进行结构化查询语言处理的配置信息；根据解析信息和配置信息进行计算；输出schema格式的计算结果，本发明中的方法将来源于不同的数据源的不同数据格式的源数据转换为统一的格式，并且只需要根据源数据的信息进行相应的配置，就能够获得最终的计算结果，不需要使用编程语言对每一种数据格式的源数据的信息进行进一步编程和处理，减少了编程人员的重复劳动，节约了人力和物力成本。

Description

一种数据处理方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

数据处理是指对数据(包括数值的和非数值的)进行采集、转换、存储、检索、分析、加工和传输等处理的过程。随着计算机的推广和普及，采用计算机进行数据处理已经成为数据处理的常用方式。然而，对于不同的数据计算过程，采用计算机进行数据处理时，通常需要针对每一种数据的处理过程编写大量的脚本以完成数据处理的工作。

具体地，比如数据来源于不同的系统，各个系统中的数据格式不同，为了对这些数据进行计算，需要对每一个系统的数据格式均对应编写一个脚本。再比如，获取到的数据需要进行计算、处理的种类不同，为了满足对这些数据进行处理的需求，需要对每一种处理方式编写一个对应的脚本。现有技术中的数据处理方法，编写人员在开发过程中需要进行大量的重复劳动，不仅导致数据处理的脚本开发效率低下，还浪费了大量的人力、物力资源。

发明内容

为了解决上述技术问题，本发明提供了一种数据处理方法、装置、设备及存储介质。

本发明提供了一种数据处理方法，方法包括：

接收源数据，并读取所述源数据的信息；

基于预设方式对所述源数据的信息进行解析，获得与所述源数据的信息对应的映射为schema格式的解析信息，以及用于对所述解析信息进行结构化查询语言处理的配置信息；

基于预存的计算规则，根据所述解析信息和所述配置信息进行计算；

输出schema格式的计算结果；

以与所述源数据的信息对应的映射为schema格式的解析信息中分隔的字段为依据定义所述源数据的信息的类型，将所述源数据的信息的类型与所述schema格式数据中的关键字结合，确定所述配置信息；

其中，所述配置信息包括所述解析信息的unit类型、string类型和/或dict类型。

上述数据处理方法还具有以下特点：所述接收源数据包括：

接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据。

上述数据处理方法还具有以下特点：所述接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据包括：

通过接入提供所述源数据的数据源的api接口，接收所述源数据。

本发明还提供了一种数据处理装置，包括：

接收模块，用于接收源数据，并读取所述源数据的源数据的信息；

解析模块，用于基于预设方式对所述源数据的信息进行解析，获得与所述源数据的信息对应的映射为schema格式的解析信息，以及用于对所述解析信息进行结构化查询语言处理的配置信息；

计算模块，用于基于预存的计算规则，根据所述解析信息和所述配置信息进行计算；

输出模块，用于输出schema格式的计算结果；

所述解析模块还用于以与所述源数据的信息对应的映射为schema格式的解析信息中分隔的字段为依据定义所述源数据的信息的类型，将所述源数据的信息的类型与所述schema格式数据中的关键字结合，确定所述配置信息；

其中，所述配置信息包括所述解析信息的unit类型、string类型和/或dict类型。

上述数据处理装置还具有以下特点：所述接收模块，还用于接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据。

上述数据处理装置还具有以下特点：所述接收模块，还用于通过接入所述数据源的api接口，读取不同协议类型和/或不同格式的所述源数据的源数据的信息。

本发明还提供了一种传输设备，所述传输设备包括：收发器、存储器、处理器；

所述收发器用于收发报文；

所述存储器用于存储指令和数据；

所述处理器用于读取所述存储器中存储的指令和数据，以执行如上所述的数据处理方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现如上所述的数据处理方法。

本发明中是数据处理方法和装置，能够将来源于不同的数据源的不同数据格式的源数据转换为统一的格式，并且只需要根据源数据的信息进行相应的配置，就能够获得最终的计算结果，不需要使用编程语言对每一种数据格式的源数据的信息进行进一步编程和处理，减少了编程人员的重复劳动，节约了人力和物力成本。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明示出的一个实施例中的数据处理方法的流程图；

图2是本发明示出的一个实施例中的数据处理装置的连接结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种数据处理方法，接收来自于不同数据源的不同格式、不同类型的源数据，基于预设方式对其进行解析，获得源数据的信息的解析信息和配置信息，并依据解析信息和配置信息进行计算，输出计算结果，实现了使用一种数据处理方法对多种不同格式、不同类型的源数据进行计算的效果，无需根据每一种源数据分别进行编程，提高了计算效率，节约了人力和物力资源。

如图1所示，本发明提供了一种数据处理方法，包括：

S1、接收源数据，并读取源数据的信息；

S2、基于预设方式对源数据的信息进行解析，获得与源数据的信息对应的映射为schema格式的解析信息，以及用于对解析信息进行结构化查询语言处理的配置信息；

S3、基于预存的计算规则，根据解析信息和配置信息进行计算；

S4、输出schema格式的计算结果。

本申请中的数据处理方法是基于yaml进行配置的，完全开源，无需编程人员自己进行开发，在开发过程中可以使用yarn和mesos作为资源管理器。使用本发明中的方法进行计算过程中，可以使用spark、mr、flink等完全开源的计算引擎，无需进行编程开发，只需要进行计算逻辑开发即可。

在步骤S1中，接收源数据具体为接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据。不同协议、不同格式的源数据可以理解为遵循不同规则或者使用不同计算机语言编写的数据。在接收源数据过程中，可以支持流式数据，比如消息队列、tcp/udp等。当然，可以理解的是，根据数据源的种类不同，在接收源数据时，可以根据数据源的种类进行扩展，对用于接收源数据的接口进行适应性调整，以满足不同客户的需求。通过接入数据源的api接口，读取不同协议类型和/或不同格式的源数据的源数据的信息，在读取过程中，可以根据数据源的种类不同，按照对方的接口类型进行适配，比如可以接收并读取kafka、tcp连接、db等多种数据源的输入。

在步骤S2中，基于预设方式对源数据的信息进行解析可以是指基于预设的解析语言对源数据的信息进行解析，解析语言可以为自主开发的语言，也可以为现有技术中被广泛应用的语言。优选采用自主研发的语言，比如可以将正则算法和grok相结合，吸取两者的优势开发新的解析方式，新的解析方式相比正则算法增加了字段信息，相比grok减少了字段类型的要求，基于这种结合正则算法和grok优势的解析方式对源数据的信息进行解析更加高效直观，解析完成后，所有接收到的源数据均具有了统一格式。其中，源数据的信息是包含源数据的字段，以及该字段参与计算处理过程的特征，特征比如可以是，字段计算处理的方法、字段的类型、字段的时间类型等。在具体实施例过程中，配置信息可以包括解析信息的unit类型、string类型和/或dict类型。比如，bsc_timestamp，unit类型，记录了数据被读取的时间；再比如，bsc_md5，string类型，记录了数据处理前的md5信息；再比如，other_info，dict类型，记录了罗占字段，用户自定义的kv信息；再比如，bsc_payload，dict类型，解析后的数据信息，kv样式。

在基于预设语言进行解析过程中，由于预设语言的特殊性，如上所述，自主研发的语言，比如可以将正则算法和grok相结合，吸取两者的优势开发新的解析方式，新的解析方式相比正则算法增加了字段信息，相比grok减少了字段类型的要求，在对源数据的信息进行解析后分为两部分，一部分是与进行解析的源数据的信息对应的映射为schema格式的解析信息，比如字段对应的映射为schema格式的信息。另一部分是，解析后续对被解析的字段进行计算处理过程中需要使用到的配置信息。即，以与源数据的信息对应的映射为schema格式的解析信息中分隔的字段为依据定义源数据的信息的类型，将源数据的信息的类型与schema格式数据中的关键字结合，确定配置信息。这部分解析过程与正则解析法则类似，但比正则解析法则更加简单、便捷。

比如，使用正则解析法则对“hello，world”进行解析时，首先需要写正则（\w+,\w+）匹配得到value，无法解析出key，但由于value字段类型无法确定，需要和给定的key组成kv dict，才能够再次使用。也就是说，如果采用正则算法进行解析，需要针对不同的数据类型编写不同的解析语言，。但使用本实施例中的解析方法，按照类型对字段进行解析（STRING，STRING），由于得到的字段的类型确定，用户使用成本低，并且可以直接和key结合组成dict，直接使用，即本实施例中的解析语言分为两部分，有组合kv的过程。由于本实施例中的解析语言只认string，少了很多数据类型的判断过程。因此，本实施例中的解析方法减少了对value字段类型进行确定的过程，解析更加高效。同时，本实施例中的解析语言比正则解析法则更加直观，更加简单。

通过对源数据的信息进行解析，将具有特定语言的源数据的信息转换为结构化查询语言进行描述，从而无论输入的源数据是使用哪种语言进行编写的，使用本实施例中的数据处理方法都能够对其进行计算处理，无需对每一种语言编写一套独特的数据处理方法，减轻了编程人员的工作量，提升了计算处理效率。在此，需要说明的是，经过解析后，不光是源数据中的字段使用预设语言进行表达，该字段的类型、各种在后续计算处理过程中使用到的信息、计算规则、以及计算和处理方式全部都使用预设语言进行表达。

当然，可以理解的是，由于现有技术中比较成熟的编程语言的数量是有限的，结构化查询语言的数量也是有限的，使用本发明中的数据处理方法进行计算处理过程中，需要对编程语言和结构化查询语言进行预存，并建立解析语言和解析语言value对应的key信息之间的映射关系，以保证当源数据输入后，能够快速对其进行识别和解析，转换为结构化语言，进而进行计算处理。

在步骤S3中，在接收到读取指令时，基于预设的计算规则，根据解析信息和配置信息执行计算。在步骤S4中，经过计算后输出计算结果，该步骤为通用行为，输出的计算结果的格式为schema格式。但是为了满足不同客户的需求，可以将计算结果转换为客户需要的格式，比如avro、parquet等，可以进行适配的输出介质可以是hafs、kafka等。

本发明还提供了一种数据处理装置，如图2所示，数据处理装置包括：

接收模块，用于接收源数据，并读取源数据的信息；

解析模块，用于基于预设方式对源数据的信息进行解析，获得与源数据的信息对应的映射为schema格式的解析信息，以及用于对解析信息进行结构化查询语言处理的配置信息；

计算模块，根据解析信息和配置信息进行计算；

输出模块，用于输出schema格式的计算结果。

其中，接收模块，还用于接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据，以及，通过接入提供源数据的数据源的api接口，接收源数据。

解析模块，还用于以与源数据的信息对应的映射为schema格式的解析信息中分隔的字段为依据定义源数据的信息的类型，将源数据的信息的类型与schema格式数据中的关键字结合，确定配置信息。配置信息包括解析信息的unit类型、string类型和/或dict类型。

另外，本发明还提供了一种传输设备，传输设备包括：收发器、存储器、处理器；收发器用于收发报文；存储器用于存储指令和数据；处理器用于读取存储器中存储的指令和数据，以执行上述的数据处理方法。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，程序被处理器执行时实现上述的数据处理方法。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种数据处理方法，其特征在于，

接收源数据，并读取所述源数据的信息；

基于预设方式对所述源数据的信息进行解析，获得与所述源数据的信息对应的映射为schema格式的解析信息，以及用于对所述解析信息进行结构化查询语言处理的配置信息；

根据所述解析信息和所述配置信息进行计算；

输出schema格式的计算结果；

以与所述源数据的信息对应的映射为schema格式的解析信息中分隔的字段为依据定义所述源数据的信息的类型，将所述源数据的信息的类型与所述schema格式数据中的关键字结合，确定所述配置信息；

其中，所述配置信息包括所述解析信息的unit类型、string类型和/或dict类型。

2.如权利要求1所述的数据处理方法，其特征在于，所述接收源数据包括：

接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据。

3.如权利要求2所述的数据处理方法，其特征在于，所述接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据包括：

通过接入提供所述源数据的数据源的api接口，接收所述源数据。

4.一种数据处理装置，其特征在于，包括：

接收模块，用于接收源数据，并读取所述源数据的信息；

解析模块，用于基于预设方式对所述源数据的信息进行解析，获得与所述源数据的信息对应的映射为schema格式的解析信息，以及用于对所述解析信息进行结构化查询语言处理的配置信息；

计算模块，根据所述解析信息和所述配置信息进行计算；

输出模块，用于输出schema格式的计算结果；

所述解析模块还用于以与所述源数据的信息对应的映射为schema格式的解析信息中分隔的字段为依据定义所述源数据的信息的类型，将所述源数据的信息的类型与所述schema格式数据中的关键字结合，确定所述配置信息；

其中，所述配置信息包括所述解析信息的unit类型、string类型和/或dict类型。

5.如权利要求4所述的数据处理装置，其特征在于，所述接收模块，还用于接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据。

6.如权利要求4所述的数据处理装置，其特征在于，所述接收模块，还用于通过接入提供所述源数据的数据源的api接口，接收所述源数据。

7.一种传输设备，其特征在于，所述传输设备包括：收发器、存储器、处理器；

所述收发器用于收发报文；

所述存储器用于存储指令和数据；

所述处理器用于读取所述存储器中存储的指令和数据，以执行权利要求1至3任一项所述的数据处理方法。

8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至3任一项所述的数据处理方法。

Images