CN114169311A - 一种数据解析方法及装置 - Google Patents

Abstract

本申请涉及数据处理技术领域，特别涉及一种JSON字符串解析方法及装置。该方法应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，所述方法包括：获取待解析数据，并确定所述待解析数据的目标数据源标识；基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件；基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

Description

一种数据解析方法及装置

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据解析方法及装置。

背景技术

JSON字符串解析当前已经有多加厂商都有自己的解决方案，但总的来说，当前各技术的方向均是在已经知道JSON字符结构的情况下将其转换为特定结构的实体或者通过Map解析出需要知道值的字符，无论基于现有的哪种方法，均针对的是编码时使用。而当存在这样一种场景，某个项目的输入JSON的格式以及字段名无法确认，仅知道JSON可能会包含哪些内容，需要对JSON中需要的内容进行筛选。

然而，现有的方案在JSON数据发生改变时，均需要修改解析工具中的解析代码才能解析JSON中改变的部分，添加项目运营的成本和负担。

发明内容

本申请提供了一种数据解析方法及装置，用以解决现有技术中存在的解析工具运维成本高的问题。

第一方面，本申请提供了一种数据解析方法，其特征在于，应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，所述方法包括：

获取待解析数据，并确定所述待解析数据的目标数据源标识；

基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件；

基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

可选地，一个数据源对应的数据解析配置文件包括：该数据源的数据结构，该数据源中需解析的数据内容，待解析数据中输入字段和解析后输出的输出字段之间的对应关系。

可选地，基于所述目标数据解析配置文件对所述待解析数据进行解析处理的步骤包括：

基于所述目标数据解析配置文件包括的数据源的数据结构和需解析的数据内容，确定所述待解析数据中需解析的目标数据内容；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理。

可选地，基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理的步骤包括：

获取所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，将所述数据内容中各输入字段的值作为所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系中该输入字段对应的输出字段的值。

可选地，所述方法还包括：

对所述处理后的数据进行数据格式封装处理。

第二方面，本申请提供了一种数据解析装置，应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，所述装置包括：

获取单元，用于获取待解析数据，并确定所述待解析数据的目标数据源标识；

确定单元，用于基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件；

解析单元，用于基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

可选地，一个数据源对应的数据解析配置文件包括：该数据源的数据结构，该数据源中需解析的数据内容，待解析数据中输入字段和解析后输出的输出字段之间的对应关系。

可选地，基于所述目标数据解析配置文件对所述待解析数据进行解析处理时，所述解析单元具体用于：

基于所述目标数据解析配置文件包括的数据源的数据结构和需解析的数据内容，确定所述待解析数据中需解析的目标数据内容；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理。

可选地，基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理时，所述解析单元具体用于：

获取所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，将所述数据内容中各输入字段的值作为所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系中该输入字段对应的输出字段的值。

可选地，所述装置还包括：

封装单元，用于对所述处理后的数据进行数据格式封装处理。

第三方面，本申请提供了一种数据解析装置，该装置应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，该装置包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如上述第一方面中任一项所述的方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如上述第一方面中任一项所述方法的步骤。

综上可知，本申请实施例提供的数据解析方法，应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，所述方法包括：获取待解析数据，并确定所述待解析数据的目标数据源标识；基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件；基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

采用本申请实施例提供的数据解析方法，预先在解析工具上配置个类数据结构和/结构内容的数据的解析策略，即告知解析工具传入的是哪种JSON数据结构以及需要解析的字段名和解析出的输出的字段名的对应关系，以及最终输出结果的JSON格式，当输入端数据结构改变时，只需更新解析策略即可，无需更改解析代码，可以通过配置的方式满足输入端数据结构经常发生改变的项目的数据解析。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1为本申请实施例提供的一种数据解析方法的详细流程图；

图2为本申请实施例提供的另一种数据解析方法的详细流程图；

图3为本申请实施例提供的一种数据解析装置的结构示意图；

图4为本申请实施例提供的一种解析服务器的结构示意图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

示例性的，参阅图1所示，为本申请实施例提供的一种数据解析方法的详细流程图，该方法应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，该方法包括以下步骤：

步骤100：获取待解析数据，并确定所述待解析数据的目标数据源标识。

本申请实施例中，解析服务器接收到数据源发送的待解析数据之后，解析待解析数据，并获取待解析数据携带的目标数据源标识信息。

也就是说，从各数据源获取到的待解析数据中携带有其所归属的数据源的标识信息。

实际应用中，不同数据源的数据结构和数据内容是不同的，那么，在采用一个数据解析工具对不同数据源的数据进行解析时，数据解析工具只能基于设定的解析规则对待解析数据进行解析，这样，就可能导致数据解析不了，或者解析出来的数据是错误的。

本申请实施例中，针对每一数据源的数据结构和数据内容，预先在解析服务器上配置该数据源对应的数据解析配置文件，即针对每一数据源的数据结构和数据内容，配置有对应的数据解析规则。

具体地，本申请实施例中，一个数据源对应的数据解析配置文件包括：该数据源的数据结构，该数据源中需解析的数据内容，待解析数据中输入字段和解析后输出的输出字段之间的对应关系。

例如，针对数据源1，在解析服务器上配置有数据源1对应的数据解析配置文件1，数据解析配置文件1包括数据源1的数据结构，数据源1的数据中需解析的数据内容(即需解析的数据结构)和需解析的数据结构中输入字段和输出字段之间的对应关系(如，输入字段1对应输出字段1，在解析输入字段1时，基于该输入字段1和输出字段1的对应关系，将输入字段1的值赋予输出字段1)。

步骤110：基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件。

本申请实施例中，在确定待解析数据归属的目标数据源标识之后，基于目标数据源标识从预先配置的各数据源对应的数据解析配置文件中，确定出目标数据源对应的目标数据解析配置文件。然后，根据目标数据解析配置文件对待解析数据进行解析处理。

步骤120：基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

本申请实施例中，基于所述目标数据解析配置文件对所述待解析数据进行解析处理时，一种较佳地实现方式为，基于所述目标数据解析配置文件包括的数据源的数据结构和需解析的数据内容，确定所述待解析数据中需解析的目标数据内容。

也就是说，首先，根据目标数据解析配置文件确定出待解析数据中哪些数据内容时需要解析的。

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理。

然后，根据目标数据解析配置文件对确定出的需接续的数据内容进行解析处理。

例如，一个数据源包对应的输入数据(如，JSON数据)中，部分字段数据内容为日志数据，以及不同开发人员对接口的封装，而实际应用中并不需要解析该部分数据，这样，实际需要解析的数据只能够占到输入数据的一部分。此时，首先，就需要确定出输入数据中哪些数据是需要解析的，然后，根据设置的解析规则对需要解析的部分数据进行解析即可。

进一步地，本申请实施例中，在基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理时，一种较佳的实现方式为，

获取所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；将所述数据内容中各输入字段的值作为所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系中该输入字段对应的输出字段的值。

进一步地，本申请实施例中，上述数据解析方法还可以包括以下步骤：

对解析处理后的数据进行数据格式封装处理。

即可以针对不同的应用场景指定对应的数据输出格式及数据内容。

下面结合具体应用场景对本申请实施例提供的数据解析方法进行详细说明，示例性的，参阅图2所述为本申请实施例提供的一种数据解析方法的详细流程图。

步骤1：输入待解析数据。

具体地，将从数据源获取到的待解析的数据输入解析服务器(解析工具)。

步骤2：根据数据源获取数据结构。

具体地，从预设的数据源对应的数据解析文件中获取数据结构信息。

步骤3：提取需解析的数据区域。

具体地，从预设的数据源对应的数据解析文件中获取需解析的数据区域(数据内容)。

步骤4：获取待解析数据和输出结构字段对应关系。

具体地，从预设的数据源对应的数据解析文件中获取待解析数据和输出结构字段对应关系。

步骤5：将数据源解析为输出数据的初始内容。

具体地，根据获取到的待解析数据和输出结构字段对应关系，对数据源数据进行解析处理，得到初始内容。

步骤6：获取输出数据结构。

具体地，获取当前应用场景下，对输出数据的数据结构/内容要求

步骤7：清洗数据。

具体地，根据获取到的输出数据的数据结构/内容要求，对上述初始内容进行数据格式封装处理。

步骤8：输出结果。

基于与上述方法实施例同样的发明构思，示例性的，参阅图3所示，为本申请实施例提供的一种数据解析装置的结构示意图，该装置应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，该装置包括：

获取单元30，用于获取待解析数据，并确定所述待解析数据的目标数据源标识；

确定单元31，用于基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件；

解析单元32，用于基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

可选地，一个数据源对应的数据解析配置文件包括：该数据源的数据结构，该数据源中需解析的数据内容，待解析数据中输入字段和解析后输出的输出字段之间的对应关系。

可选地，基于所述目标数据解析配置文件对所述待解析数据进行解析处理时，所述解析单元32具体用于：

基于所述目标数据解析配置文件包括的数据源的数据结构和需解析的数据内容，确定所述待解析数据中需解析的目标数据内容；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理。

可选地，基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理时，所述解析单元32具体用于：

获取所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；

将所述数据内容中各输入字段的值作为所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系中该输入字段对应的输出字段的值。

可选地，所述装置还包括：

封装单元，用于对所述处理后的数据进行数据格式封装处理。

以上这些单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个单元通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

进一步地，本申请实施例提供的解析服务器，从硬件层面而言，所述解析服务器的硬件架构示意图可以参见图4所示，所述解析服务器可以包括：存储器40和处理器41，

存储器40用于存储程序指令；处理器41调用存储器40中存储的程序指令，按照获得的程序指令执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种解析服务器，包括用于执行上述方法实施例的至少一个处理元件(或芯片)。

可选地，本申请还提供一种程序产品，例如计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使该计算机执行上述方法实施例。

这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种数据解析方法，其特征在于，应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，所述方法包括：

获取待解析数据，并确定所述待解析数据的目标数据源标识；

基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件；

基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

2.如权利要求1所述的方法，其特征在于，一个数据源对应的数据解析配置文件包括：该数据源的数据结构，该数据源中需解析的数据内容，待解析数据中输入字段和解析后输出的输出字段之间的对应关系。

3.如权利要求2所述的方法，其特征在于，基于所述目标数据解析配置文件对所述待解析数据进行解析处理的步骤包括：

基于所述目标数据解析配置文件包括的数据源的数据结构和需解析的数据内容，确定所述待解析数据中需解析的目标数据内容；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理。

4.如权利要求3所述的方法，其特征在于，基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理的步骤包括：

获取所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，将所述数据内容中各输入字段的值作为所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系中该输入字段对应的输出字段的值。

5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

对所述处理后的数据进行数据格式封装处理。

6.一种数据解析装置，其特征在于，应用于解析服务器，所述解析服务器上预先配置有各数据源对应的数据解析配置文件，所述装置包括：

获取单元，用于获取待解析数据，并确定所述待解析数据的目标数据源标识；

确定单元，用于基于所述目标数据源标识，从预先配置的各数据源对应的数据解析配置文件中确定所述目标数据源对应的目标数据解析配置文件；

解析单元，用于基于所述目标数据解析配置文件对所述待解析数据进行解析处理，得到处理后的数据。

7.如权利要求6所述的装置，其特征在于，一个数据源对应的数据解析配置文件包括：该数据源的数据结构，该数据源中需解析的数据内容，待解析数据中输入字段和解析后输出的输出字段之间的对应关系。

8.如权利要求7所述的装置，其特征在于，基于所述目标数据解析配置文件对所述待解析数据进行解析处理时，所述解析单元具体用于：

基于所述目标数据解析配置文件包括的数据源的数据结构和需解析的数据内容，确定所述待解析数据中需解析的目标数据内容；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理。

9.如权利要求8所述的装置，其特征在于，基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，对所述目标数据内容进行解析处理时，所述解析单元具体用于：

获取所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系；

基于所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系，将所述数据内容中各输入字段的值作为所述目标数据解析配置文件包括的待解析数据中输入字段和解析后输出的输出字段之间的对应关系中该输入字段对应的输出字段的值。

10.如权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：

封装单元，用于对所述处理后的数据进行数据格式封装处理。

Images