CN110765195A

CN110765195A - 一种数据解析方法、装置、存储介质及电子设备

Info

Publication number: CN110765195A
Application number: CN201911011729.8A
Authority: CN
Inventors: 迟银宝; 火一莽; 万月亮
Original assignee: Beijing Ruian Technology Co Ltd
Current assignee: Beijing Ruian Technology Co Ltd
Priority date: 2019-10-23
Filing date: 2019-10-23
Publication date: 2020-02-07

Abstract

本申请实施例公开了一种数据解析方法、装置、存储介质及电子设备。该方法包括：获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式；确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板；若存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据内容的位置是预先在解析模板中预先配置的。通过执行本申请所提供的技术方案，可以实现提高数据解析的效率以及数据解析质量的效果。

Description

一种数据解析方法、装置、存储介质及电子设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据解析方法、装置、存储介质及电子设备。

背景技术

由于软件系统的规模日趋扩大，各种各样的数据格式被使用。在实际工作过程中，经常出现需要大量处理非统一格式数据信息，由于数据的内部格式多种多样，传统的方式进采取将数据转换成Json格式的数据进行解析，而对规则性不好的输出处理能力差。然而当出现大批量的非统一格式数据时，则无法进行相应的处理。另外由于现有技术只针对一种格式的数据进行解析，则采用的提取数据格式和提取内容都是写死的，不能够随机更改。

发明内容

本申请实施例提供一种数据解析方法、装置、存储介质及电子设备，可以实现提高数据解析的效率以及数据解析质量的效果。

第一方面，本申请实施例提供了一种数据解析方法，所述方法包括：

获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式；

确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板；

若存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据的位置是预先在解析模板中预先配置的。

进一步的，在确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板之后，所述方法还包括：

若不存在，则将所述待解析数据进行异常保存处理。

进一步的，获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式，包括：

获取待解析数据的数据内容，若待解析数据的数据内容符合预设规则，则根据预设规则确定待解析数据的数据格式。

进一步的，所述预设规则包括存在以目标字符开头和目标字头结尾的字符串。

进一步的，在获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式之前，所述方法还包括：

若待处理数据的存储总量达到预设存储文件总量，则对原始数据进行解析处理。

第二方面，本申请实施例还提供了一种数据解析装置，包括：

数据格式确定模块，用于获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式；

解析模板确定模块，用于确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板；

数据解析模块，用于若所述解析模板确定模块确定为存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据的位置是预先在解析模板中预先配置的。

进一步的，所述装置还包括：

异常处理模块，用于若所述解析模板确定模块确定为不存在，则将所述待解析数据进行异常保存处理。

进一步的，所述数据格式确定模块，具体用于：

进一步的，所述装置还包括：

批量监控模块，用于若待处理数据的存储总量达到预设存储文件总量，则对原始数据进行解析处理。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的数据解析方法。

第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的数据解析方法。

本申请实施例所提供的技术方案，获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式；确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板；若存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据的位置是预先在解析模板中预先配置的。通过采用本申请所提供的技术方案，可以实现提高数据解析的效率以及数据解析质量的效果。

附图说明

图1是本申请实施例一提供的数据解析方法的流程图；

图2是本申请实施例三提供的数据解析装置的结构示意图；

图3是本申请实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本申请实施例一提供的数据解析方法的流程图，本实施例可适用于对数据进行批量解析的情况，该方法可以由本申请实施例所提供的数据解析装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于数据处理的智能终端或者服务器等电子设备中。

如图1所示，所述数据解析方法包括：

S110、获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式。

其中，待解析数据可以是Json格式数据，还可以是未知文本存储格式的数据，例如数据格式为txt或者其他格式。具体的，可以根据待解析数据的后缀来确定待解析数据的格式。如果是Json格式数据等标准的数据传输格式，可以直接按照固定的方式进行解析，如果是其他格式的数据，则可以获取待解析数据的数据内容，并根据所述数据内容确定待解析数据的数据格式。

其中，待解析数据的类型可以是各不相同的，也可以是多个子类对应于一个大类，而对同一个大类采用相同的解析方式。具体的，可以根据对大量待解析数据的解析方式进行统计，来根据实际采用的解析方式确定待解析数据的分类。

S120、确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板。

在本技术方案中，可以预先针对不同类型的样例数据来设置解析模板，样例数据可以是在处理过程中采集的一些比较典型的数据。其中，解析模板可以包括对待解析数据的解析方式。其中解析方式可以是从待解析数据中确定目标数据内容的具体方式，例如从待解析数据的某一个或者某几个数据字段中待解析数据。

S130、若存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据内容的位置是预先在解析模板中预先配置的。

其中，如果通过待解析数据的数据内容的获取，发现存在于待解析数据相匹配的解析模板，则可以直接采用该解析模板对待解析数据进行解析处理。例如，可以在解析模板中配置好，针对每一种类型的待解析数据的目标数据内容获取位置，例如从第四个字段到第六个字段。通过这样的数据解析方式，可以实现对不规则的数据进行自动解析，可以大大的减少工作人员的数据解析处理时间，提高数据解析效率。

在上述各技术方案的基础上，可选的，在确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板之后，所述方法还包括：若不存在，则将所述待解析数据进行异常保存处理。其中，在获取待解析数据的内容之后，可以确定待解析数据的类型，其中如果在预先设置的解析模板中，无法对应到当前待解析数据的类型，或者无法确定待解析数据的类型，则可以确定为无法通过解析模板对待解析数据进行解析处理。可以进行异常保存处理，供工作人员对异常数据进行人工介入来解决，以便提高数据解析质量，可以辅助工作人员丰富解析模板或者提高数据的信息处理速度。

在上述各技术方案的基础上，可选的，获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式，包括：获取待解析数据的数据内容，若待解析数据的数据内容符合预设规则，则根据预设规则确定待解析数据的数据格式。其中，预设规则，例如可以是采用相同的分隔符分割方式，或者采用相同的字符进行字符内容的分割，等等。预设规则可以是通过对大量的位置数据解析处理的结果进行统计得到的。本方案可以通过对规则的灵活设置和更改，使得将待处理数据进行解析的过程中可以灵活应对各种新出现的形式，以提高数据解析效率。

在上述各技术方案的基础上，可选的，所述预设规则包括存在以目标字符开头和目标字头结尾的字符串。其中，目标字符串可以是任意的预先规定的字符串。例如在所有的待解析数据中，存在一部分待解析数据是以“a”开头和以“a+”结尾的数据，则可以将这种数据格式确定为第一类型，如果存在以“c”开头和以“c+”结尾的数据，则可以将这种数据格式确定为第二类型。而对于第一类型的待解析数据的解析模板中，实际需要选择的目标数据内容是以“b”开头和“b+”结尾的数据内容，则“b”即为目标数据字符。而对于第二类型的待解析数据的解析模板中，实际需要选择的目标数据内容是以“d”开头和“d+”结尾的数据内容，则“d”即为目标数据字符。

在上述各技术方案的基础上，可选的，在获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式之前，所述方法还包括：若待处理数据的存储总量达到预设存储文件总量，则对原始数据进行解析处理。其中，可以是对连续送达的数据进行分批次的处理方式，例如每次发现存储总量达到100个待解析数据时，则对这100个待解析数据进行处理。在本技术方案中，还可以在满足其他提取条件下进行提取并处理，例如满足预先设计好的时间条件，或者其他条件，对数据进行提取并处理。这样设置的好处是可以在大量待解析数据需要解析处理时，对数据进行分批次的处理。由于已经预先设置好了解析模板，则分批次处理可以提高数据的处理效率。

实施例二

为了能够让本领域技术人员更加清楚的了解本方案，本申请还提供了一个优选的实施方式。

本发明针对大批量或定时处理复杂格式字符串处理技术，具体地说就是从大量复杂数据中，依照自定义的数据提取方式，从原始数据中获取符合使用要求的数据信息。

具体的，本发明的技术方案采用如下步骤来实现：

a)获取分析原始数据，指定需要获取的最终数据内容及格式；

b)获取原始数据，定时获取文件存储的文件总量；

c)针对最终需要的数据内容及格式，指定提取映射规则；

d)运行提取映射规则，从原始数据中清洗出目标数据；

e)针对提取过程中发现的不符提取映射规则的数据，更新原数据文本信息，另存备份用于问题分析；

f)对于一个类型提取规则涉及多个子类，采取原始数据与提取规则对比重合率，获取重合率最高的作为提取规则的原则；

g)数据单次多条处理，数据提取中涉及数据格式多层次存储的数据逐层拆分提取数据，获取最终符合要求数据；

h)已完成数据分析原数据，修改原文件名称统一存储，可删除、可另存；

i)数据提取过程对提取数据进行全量统计，获取总量、异常总量。

本发明解决的技术问题：

a)处理大批量非统一格式数据；

b)提取数据格式以及数据提取内容，均可自定义，可随时修改提取内容；

c)同种类型数据可设置多种规则，便于解决同种类型中不同子系统数据。

为了实现上述目的，本发明的解决方案是：

a)预加载以设定的提取数据模板信息，包含分类信息、数据提取内容，提高信息获取速度；

b)定时处理原始数据时，根据数据量，一次处理多条数据模式或单次单条信息处理；

c)提取数据根据数据格式归类处理；

d)提取数据量统计。

本发明优点和积极效果：

a)数据规则获取可自定义，包括提取类型以及提取内容方便、快捷；

b)提取数据根据定制规则分类处理，便于查询以及后期分析；

c)数据统计提取过程中各类数据百分比，用于判断数据可信度。

实施例三

图2是本申请实施例三提供的数据解析装置的结构示意图。如图2所示，所述数据解析装置，包括：

数据格式确定模块210，用于获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式；

解析模板确定模块220，用于确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板；

数据解析模块230，用于若所述解析模板确定模块220确定为存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据内容的位置是预先在解析模板中预先配置的。

进一步的，所述装置还包括：

进一步的，所述数据格式确定模块，具体用于：

进一步的，所述装置还包括：

上述产品可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例四

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据解析方法，该方法包括：

若存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据内容的位置是预先在解析模板中预先配置的。

存储介质——任何的各种类型的存储器电子设备或存储电子设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的数据解析操作，还可以执行本申请任意实施例所提供的数据解析方法中的相关操作。

实施例五

本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的数据解析装置。图3是本申请实施例五提供的一种电子设备的结构示意图。如图3所示，本实施例提供了一种电子设备300，其包括：一个或多个处理器320；存储装置310，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器320执行，使得所述一个或多个处理器320实现本申请实施例所提供的数据解析方法，该方法包括：

当然，本领域技术人员可以理解，处理器320还可以实现本申请任意实施例所提供的数据解析方法的技术方案。

图3显示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图3所示，该电子设备300包括处理器320、存储装置310、输入装置330和输出装置340；电子设备中处理器320的数量可以是一个或多个，图3中以一个处理器320为例；电子设备中的处理器320、存储装置310、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线350连接为例。

存储装置310作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的数据解析方法对应的程序指令。

存储装置310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置310可进一步包括相对于处理器320远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏、扬声器等电子设备。

本申请实施例提供的电子设备，可以实现提高数据解析的效率以及数据解析质量的效果。

上述实施例中提供的数据解析装置、存储介质及电子设备可执行本申请任意实施例所提供的数据解析方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的数据解析方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims

1.一种数据解析方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在确定预先设置的解析模板中是否存在与所述数据格式相对应的解析模板之后，所述方法还包括：

若不存在，则将所述待解析数据进行异常保存处理。

3.根据权利要求1所述的方法，其特征在于，获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式，包括：

4.根据权利要求3所述的方法，其特征在于，所述预设规则包括存在以目标字符开头和目标字头结尾的字符串。

5.根据权利要求1所述的方法，其特征在于，在获取待解析数据的数据内容，根据所述数据内容确定待解析数据的数据格式之前，所述方法还包括：

6.一种数据解析装置，其特征在于，包括：

数据解析模块，用于若所述解析模板确定模块确定为存在，则采用解析模板从待解析数据解析出目标数据内容；其中，目标数据内容的位置是预先在解析模板中预先配置的。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求6所述的装置，其特征在于，所述数据格式确定模块，具体用于：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的数据解析方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的数据解析方法。