CN105512102A - 一种数据解析方法及系统 - Google Patents

Abstract

本发明公开了一种数据解析方法及系统。该数据解析方法，包括：获取待解析数据；对所述待解析数据进行分析，获取所述待解析数据的数据结构；根据所述数据结构从配置文件存储库中读取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。本发明通过将用于解析处理的配置文件预存入配置文件库中，并通过数据结构来获取与待解析数据对应的配置文件，以达到通过工具解析待解析数据的目的，而无需将待解析数据发送给开发人员来进行人工解析，具有提高解析效率和精度、降低解析成本的优点。

Description

一种数据解析方法及系统

技术领域

本发明涉及数据分析技术领域，具体涉及一种数据解析方法及系统。

背景技术

随着通信技术的不断发展，“数据”作为信息的载体越来越凸显出它的重要性。由于行业要求、技术特点、性能需求、多方合作、接口定义等等各方面的因素，“数据”也被赋予了不同的结构特征以满足不同的需要。

当系统出现问题时，一般采用的是人工对问题产生期间的通信数据进行解析，以便分析问题产生的原因并提供解决问题的基本思路。由于数据的多样性和复杂性以及数据量的庞大，使得人工处理的成本在不断上升的同时，效率却不断下降。

目前对数据的解析没有一套通用简单的方法，当需要对数据进行解析时，主要通过落地保存的数据文件或者利用网络抓包工具抓取的网络格式的数据人工进行解析，这样的处理方法存在以下缺陷：

1、解析门槛高。

数据结构面向的是接口开发人员，而现场的工程人员大部分对于开发不了解，更不用说数据结构的定义了，基本上处理方式是把现场现象描述连同现场数据一同交由开发人员分析。

2、解析难度大。

在由现场的工程人员向开发人员转述现场情况的过程中，极有可能由于工作经验和表述能力的不同，对真实情况产生一定的误差，这也加重了开发人员分析问题的难度。

开发人员拿到待解析的数据时，需要根据数据接口结构的定义人工的逐一核对解析，此过程很有可能出现人工的错误可能，一旦出现这种情况，将增大解析的难度甚至误导问题分析。

3、解析成本高。

人工解析多种结构的数据，耗时、费力，对于特殊的行业，紧急情况发生时，解析数据，定位、解决问题的时间要求很苛刻，对于维护支持方的压力是巨大。

虽然有的开发方针对自己的数据特点开发了一些解析工具，但在信息化的时代，多方协作，做种数据结构并存，这些工具应用的局限性很大。而且根据实际需要数据结构的变更调整也是时常发生，对于这些解析工具的维护成本将是一笔不小的开支，而且工具的跟进需要开发人员修改代码以适应新的结构要求也必然导致工具跟进不及时，此时就只能回归到人工解析的方法了。

发明内容

针对现有技术中的缺陷，本发明提供了一种数据解析方法及系统，该方法能快速、有效的解析数据，从而轻松、高效的定位并解决问题。

本发明提出了一种数据解析方法，包括：

获取待解析数据；

对所述待解析数据进行分析，获取所述待解析数据的数据结构；

根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；

根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。

可选的，所述获取待解析数据包括：

获取可导入落地保存的数据文件作为待解析数据；

或者，

读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。

可选的，在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前，还包括：

根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；

对所述配置文件进行加密处理并存入所述配置文件库中；

其中，配置文件中存有用于解析数据的处理逻辑。

可选的，在获取数据解析结果之后，还包括：

展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。

可选的，还包括：

根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。

本发明还提出了一种数据解析系统，包括：

第一获取模块，用于获取待解析数据；

数据分析模块，用于对所述待解析数据进行分析，获取所述待解析数据的数据结构；

第二获取模块，用于根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；

数据解析模块，用于根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。

可选的，所述第一获取模块还用于：

获取可导入落地保存的数据文件作为待解析数据；

或者，

读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。

可选的，还包括：

数据配置模块，用于在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前，根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；

对所述配置文件进行加密处理并存入所述配置文件库中；

其中，配置文件中存有用于解析数据的处理逻辑。

可选的，还包括：

数据展示模块，用于在获取数据解析结果之后，展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。

可选的，还包括：

数据校验模块，用于根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。

由上述技术方案可知，本发明提出的一种数据解析方法通过将用于解析处理的配置文件预存入配置文件库中，并通过数据结构来获取与待解析数据对应的配置文件，以达到通过工具将待解析数据解析出来的目的，而无需将待解析数据发送给开发人员来进行人工解析，具有提高解析效率和精度、降低解析成本的优点。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明一实施例提出的一种数据解析方法的流程示意图；

图2示出了本发明另一实施例提出的一种数据解析方法的流程示意图；

图3示出了本发明一实施例提出的一种数据解析方法的工作原理图；

图4示出了本发明一实施例提出的一种数据解析系统的结构示意图；

图5示出了本发明另一实施例提出的一种数据解析系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提出的一种数据解析方法的流程示意图，参照图1，一种数据解析方法包括：

101、获取待解析数据；

可理解的是，获取的待解析数据的类型与行业有关，例如，报文等；获取的待解析数据的方式也有多种，例如，直接导入，从网络或者数据库中抓取。

102、对所述待解析数据进行分析，获取所述待解析数据的数据结构；

需要说明的是，对待解析数据的分析可以采用列表法、作图法等方法，以清除的表达出待解析数据中的各参数之间的变化关系；

103、根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；

可理解的是，本发明针对不同数据结构的待解析数据配置了不同的配置文件，并以数据结构作为识别数据与配置文件进行匹配，获取与待解析数据对应的配置文件。

104、根据所述配置文件对所述待解析数据进行解析，获取数据解析结果；

可理解的是，配置文件中存有处理逻辑，将待解析数据导入系统后，即可由配置文件中的处理逻辑对待解析数据进行处理，并获取解析结果；

举例来说，待解析数据可以为报文等形式，通过将报文中各基本数据单元对应的意思解析出来，以方便现场人员直接获取解析结果

本发明通过将用于解析处理的配置文件预存入配置文件库中，并通过数据结构来获取与待解析数据对应的配置文件，以达到通过工具将待解析数据解析出来的目的，而无需将待解析数据发送给开发人员来进行人工解析，具有提高解析效率和精度、降低解析成本的优点。

图2为本发明另一实施例提出的一种数据解析方法的流程示意图，下面参照图2，对数据解析方法进行详细说明：

201、获取待解析数据的方式有多种，包括：

获取可导入落地保存的数据文件，或者，读取网络抓取的数据以及日志中记录的文本数据。

可理解的是，在实际应用中，例如，出现问题的情况，系统将产生通信数据，并以日志的方式记录下来，而为了得到该系统出现的问题类型，需要将日志数据进行解析；此处的待解析数据即为问题日志；而在其他的行业或者其他接口定义等方面，也可将各种各样的通信数据或者非通信数据作为待解析数据。

202、对所述待解析数据进行分析，获取所述待解析数据的数据结构；

为了对数量庞大的待解析数据进行自动解析，本发明需要对不同的待解析数据进行分析，以获取其数据结构；

可理解的是，以报文为例，待解析数据其实际上是由一个一个的基本数据单元组成的集合，其与其他的报文是不相同的；

本发明优选以以下因素区分各报文的数据结构：描述，用于描述基本数据单元集合所代表的含义；长度，描述基本数据单元集合的单位长度；单位，描述基本数据单元的表示形式；范围，描述基本数据单元集合的取值范围；展示；描述展示出来的基本数据单元集合的表示形式。

203、根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；

其中，配置文件中存有用于解析数据的处理逻辑。

可理解的是，在获取到以上因素的数据结构后，有针对性的设计合理通用的配置文件结构；可理解的是，报文与配置文件一一对应。

需要说明的是，为了提供系统的灵活性，用户可以根据不同的数据结构和行业特征甚至用户自身习惯进行简单、灵活的配置。

而为了提高系统的安全性，本发明在设计好配置文件后，还需要对所述配置文件进行加密处理并存入所述配置文件库中；

需要说明的是，本发明对配置文件进行加密是为了避免人为错误更改；将配置文件存入配置文件库中，是为了方便根据数据结构获取配置文件，并能避免出现重复的配置文件，或者方便用户读取配置文件列表等。

204、根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；

可理解的是，本发明针对不同数据结构的待解析数据配置了不同的配置文件，并以数据结构作为识别数据与配置文件进行匹配，获取与待解析数据对应的配置文件。

205、根据所述配置文件对所述待解析数据进行解析，获取数据解析结果；

可理解的是，根据待解析数据的数据结构能获取待解析数据的配置文件，并根据该配置文件对待解析数据进行解析，其解析过程即为将待解析数据中各基本数据单元对应的意思翻译出来，形成现场人员能看懂的文件。

206、展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。

需要说明的是，为了进一步提高问题解决的效率，本发明在获取数据解析结果之后，还会把解析结果展示出来，以使用户能直观、清除的获取问题的类型，获取问题的步骤，这必然会对从现场人员定位问题到后方开放人员修改问题的沟通过程起到积极的作用。

207、根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。

需要说明的是，本发明为了提高数据解析的精确度以及数据解析的效率，本发明在获取到解析结果后，还对解析结果进行校验处理；

举例来说，根据选取的配置文件的处理逻辑，其最后的结果只有1或0，但实际解析出的结果却是2，那么在校验过程中，就将判断该解析结果不符合处理逻辑，并将解析错误以及解析错误的原因展示出来；用户在查看之后将作出相应的措施，以解析出正确的数据。

而为了进一步提高数据解析的效率，本发明在展示错误解析以及解析错误的原因是，采用醒目的提示方式，例如：在展示界面上显示红色字体或者是通过语音广播的方式发出提示。

由上述技术方案可知，本发明将数据结构的差异特征控制在外部的配置文件中，将相似的关键处理逻辑封装到代码内部，以把人从解析数据的工作中解放出来，以最简单、实用方式帮助用户快速、准确的解析说明，从而轻松、高效的定位解决问题。

图3为本发明一实施例提出的一种数据解析方法的工作原理图，下面参照图3度本发明数据解析方法的工作原理进行详细说明；

本发明中，配置解析功能的实现方案体现在如下三个方面：

1、待解析数据准备

①可导入落地保存的数据文件，即为图3中的数据文件。

②对于网络抓取的数据以及日志中记录的数据，可以以文本的形式进行读取，即为图3中的文本数据。

2、通过对数据结构的分析，设计合理通用的配置文件结构，通过程序加载配置文件进行数据解析，主要考虑以下因素：

①描述：描述基本数据单元集合所代表的含义。

eg.连续的4个字节数据表示报文长度，则[描述]为报文长度。

②长度：描述基本数据单元集合的单位长度。

eg.根据(1)中示例，[长度]为4。

③单位：描述基本数据单元的表示形式。

eg.根据(1)中示例，[单位]为字节。

④范围：描述基本数据单元集合的取值范围。

eg.根据(1)中示例，[范围]默认为0x01～0xFFFFFFFF，可自己设定。

⑤展示：描述展示出来的基本数据单元集合的表示形式。

eg.根据(1)中示例，应该以10进制数据进行展示。

2、界面展示

通过友好的用户界面清晰、直观的展现解析信息：

①配置文件中的详细配置信息

②待解析数据

③解析数据结果，对于解析错误的数据，已红色字体醒目的提示错误原因，以帮助用户分析、修改。

由上述技术方案可知，本发明具有以下两方面的效果：

1、快速有效定位问题，节约成本

按照现有的处理方法，现场人员记录问题备份数据，转述给不在现场的开发人员，开发人员根据转述和数据人工解析分析，再把结构交由现场人员核对验证，如果验证不通过，则有可能反复的这个过程。这必然是一个耗时费力高成本的过程。使用本发明，将使得作为第一相关问题人的现场人员，能够简单、轻松得在第一时间第一现场分析定位问题，省去开发人员这一重要环节，彻底解放开发人员，这必然会极大的节省人力，缩短问题处理时间，节约成本。

2、界面友好统一，增进沟通

友好统一的界面展示，使得不同的人员对问题分析的出发点统一，这必然会对从现场人员定位问题到后方开发人员修改问题的沟通过程起到积极的作用。

图4为本发明一实施例提出的一种数据解析系统的结构示意图，参照图4，该数据解析系统，包括：

第一获取模块41，用于获取待解析数据，并将待解析数据发送至数据分析模块42；

数据分析模块42，用于对所述待解析数据进行分析，获取所述待解析数据的数据结构，并将数据结构发送至数据分析模块42；

第二获取模块43，用于根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系，并将获取到的配置文件发送至数据解析模块44；

数据解析模块44，用于根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。

本发明提出的一种数据解析系统通过将用于解析处理的配置文件预存入配置文件库中，并通过数据结构来获取与待解析数据对应的配置文件，以达到通过工具将待解析数据解析出来的目的，而无需将待解析数据发送给开发人员来进行人工解析，具有提高解析效率和精度、降低解析成本的优点

图5为本发明另一实施例提出的一种数据解析系统的结构示意图，下面参照图5，对本发明进行详细说明：

该数据解析系统，包括：

第一获取模块51用于：获取可导入落地保存的数据文件；或者，

读取网络抓取的数据以及日志中记录的文本数据，作为待解析数据，并将待解析数据发送至数据分析模块52。

数据分析模块52，用于对接收到的待解析数据进行分析，获取所述待解析数据的数据结构；

数据配置模块53，用于在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前，根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；

对所述配置文件进行加密处理并存入所述配置文件库中；

其中，配置文件中存有用于解析数据的处理逻辑。

第二获取模块54，用于根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；

数据解析模块55，用于根据所述配置文件对所述待解析数据进行解析，获取数据解析结果；

数据展示模块56，用于在获取数据解析结果之后，展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。

数据校验模块57，用于根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。

本发明通过将用于解析处理的配置文件预存入配置文件库中，并通过数据结构来获取与待解析数据对应的配置文件，以达到通过工具将待解析数据解析出来的目的，而无需将待解析数据发送给开发人员来进行人工解析，具有提高解析效率和精度、降低解析成本的优点。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种数据解析方法，其特征在于，包括：

获取待解析数据；

对所述待解析数据进行分析，获取所述待解析数据的数据结构；

根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；

根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待解析数据包括：

获取可导入落地保存的数据文件作为待解析数据；

或者，

读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。

3.根据权利要求1所述的方法，其特征在于，在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前，还包括：

根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；

对所述配置文件进行加密处理并存入所述配置文件库中；

其中，配置文件中存有用于解析数据的处理逻辑。

4.根据权利要求3所述的方法，其特征在于，在获取数据解析结果之后，还包括：

展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。

5.根据权利要求3所述的方法，其特征在于，还包括：

根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。

6.一种数据解析系统，其特征在于，包括：

第一获取模块，用于获取待解析数据；

数据分析模块，用于对所述待解析数据进行分析，获取所述待解析数据的数据结构；

第二获取模块，用于根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；

数据解析模块，用于根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。

7.根据权利要求6所述的系统，其特征在于，所述第一获取模块还用于：

获取可导入落地保存的数据文件作为待解析数据；

或者，

读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。

8.根据权利要求6所述的系统，其特征在于，还包括：

数据配置模块，用于在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前，根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；

对所述配置文件进行加密处理并存入所述配置文件库中；

其中，配置文件中存有用于解析数据的处理逻辑。

9.根据权利要求8所述的系统，其特征在于，还包括：

数据展示模块，用于在获取数据解析结果之后，展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。

10.根据权利要求8所述的系统，其特征在于，还包括：

数据校验模块，用于根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。