CN101651679A

CN101651679A - 一种基于树形结构的数据帧解析和处理系统和方法

Info

Publication number: CN101651679A
Application number: CN200910092636A
Authority: CN
Inventors: 戴桂兰; 戴军; 魏纪东
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2009-09-16
Filing date: 2009-09-16
Publication date: 2010-02-17

Abstract

本发明公开了一种基于树形结构的数据帧解析和处理系统，所述系统包括：解析树，用于对接收到的数据进行解析，所述解析树由多个节点构成，每个节点都是一个解析器，父子节点是1对n的关系；内存管理单元，包括共享内存和临时内存，所述共享内存用于存放上次解析过程的数据，所述临时内存用于存放本次解析过程的数据。本发明还公开了一种基于树形结构的数据帧解析和处理方法。本发明将数据处理具体过程与框架代码的实现相分离，用稳定的代码来处理不稳定的数据处理过程，可以复用不同数据帧解析代码；并实现数据处理树形结构可配性。提高树形结构的数据帧解析和处理软件架构在二进制数据帧处理领域的普适性。

Description

一种基于树形结构的数据帧解析和处理系统和方法

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于树形结构的数据帧解析和处理系统和方法。

背景技术

在过程工业的数据处理领域中。由二进制数据组成的数据帧是较为常见的一种数据形式。对于数据处理应用领域来说，建立在数据帧基础上的操作要求通常是相同的。但在不同的具体工程项目中.数据帧的处理方法和格式却经常不同。

为了识别、分析、处理各种不同格式和结构的数据帧，在项目实施过程中，经常采用为每个项目设计、编写相应的识别、分析和处理数据帧的方案，而这些方案只解决该项目涉及到的数据帧处理。这样降低了项目间代码的复用性，增加了研发工作量。

发明内容

本发明实施例要解决的问题是提供一种基于树形结构的数据帧解析和处理系统和方法，以克服现有技术中项目间代码的复用性低、研发工作量大的缺陷。

为达到上述目的，本发明实施例的技术方案提供一种基于树形结构的数据帧解析和处理系统，所述系统包括：解析树，用于对接收到的数据进行解析，所述解析树由多个节点构成，每个节点都是一个解析器，父子节点是1对n的关系；内存管理单元，包括共享内存和临时内存，所述共享内存用于存放上次解析过程的数据，所述临时内存用于存放本次解析过程的数据。

其中，所述系统还包括插件管理单元，用于对所述解析树进行解析器的增加、删除或修改操作。

本发明实施例的技术方案还提供一种基于树形结构的数据帧解析和处理方法，所述方法包括以下步骤：A、接收待解析的数据；B、利用解析树对所述数据进行逐层解析，并将解析数据存入共享内存。

其中，所述步骤B具体包括：B1、从配置文件获取配置参数和解析参数；B2、根据解析参数从输入数据中按照位置信息解出对应的参数值；B3、根据所述参数值和配置参数，在子解析器列表中选择下行路径；B4、将输出数据作为子解析器的输入，发送到所选择的下行路径；B5、调用与所述下行路径对应的子解析器，重复以上步骤，直至解析完成。

其中，在步骤B5之前，还包括：将本次解析过程的数据存放到临时内存；在步骤B5之后，还包括：将共享内存中的数据存放到数据库，然后将临时内存中的数据存放到共享内存。

其中，在步骤A之前，还包括：C、共享内存初始化；D、解析树初始化。

其中，所述步骤D具体包括：D1、读取解析树配置文件，获得根节点入口；D2、解析器初始化；D3、判断是否存在子节点，是则将子节点加入到该解析器的子节点队列中，并对每个子节点进行第2步解析器初始化；否则返回该节点的父节点。

其中，所述步骤D2具体包括：D21、获得解析器配置参数，具体包括：读取解析器名称、读取解析器类、读取解析器前缀、读取解析器类型、循环读取解析器参数、和用户配置的值；D22、获得解析器解析参数，具体包括：D22、获得解析器解析参数，具体包括：D221、根据解析器类型获得解析器配置文件入口；D222、读取解析参数中的参数名称、偏移量、长度；D223、根据参数名称和节点前缀建立共享内存变量；D224、判断是否还有参数，如果有则重复步骤D222和D223，否则结束。

其中，所述方法还包括插件管理步骤，具体包括：对数据处理过程进行抽象，使得抽象出的对象能够覆盖大多数数据处理过程；将所述对象作为平台上所有数据帧解析的父类设计为扩展点，每个具体的解析器是对该扩展点的扩展。

其中，所述方法还包括解析器的增加、删除和修改。

与现有技术相比，本发明的技术方案具有如下优点：

本发明将数据处理具体过程与框架代码的实现相分离，用稳定的代码来处理不稳定的数据处理过程，可以复用不同数据帧解析代码；并实现数据处理树形结构可配性。提高树形结构的数据帧解析和处理软件架构在二进制数据帧处理领域的普适性。

附图说明

图1为本发明实施例的一种数据处理基类实现类图；

图2为本发明实施例的一种数据解析过程的时序图；

图3为本发明实施例的一种配置文件管理类图；

图4为本发明实施例的一种帧格式解析器类图；

图5为本发明实施例的一种数据解析流程图；

图6为本发明实施例的一种共享内存结构类图；

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明对数据处理过程进行了抽象，提出了一种基于树形结构的数据帧解析和处理软件架构方案。软件架构为具体的数据处理搭建了一个平台，这个平台的作用有两点：其一，平台规范数据处理操作，为数据处理的输入输出规范格式，但是平台对具体的处理细节并不进行控制，而将处理细节交给数据处理开发人员；其二，平台规范消息格式，以控制不同数据处理操作彼此之间的消息传递，但是平台并不规定具体的数据处理树形层次结构，而将数据处理层次结构的搭建交给数据处理结构设计人员。

这种软件架构设计方案将数据处理具体过程与框架代码的实现相分离，用稳定的代码来处理不稳定的数据处理过程，可以复用不同数据帧解析代码；并实现数据处理树形结构可配性。提高树形结构的数据帧解析和处理软件架构在二进制数据帧处理领域的普适性。

一、软件特色：

1.数据帧解析的灵活可配性：数据处理开发人员针对不同的处理需求，设计实现不同的处理过程，处理函数只要继承插件基类，将处理函数的输入、输出二进制数据封装在特殊格式的对象中，该处理过程即可在平台中使用。处理函数内部可以实现二进制数据的存文件、存数据库、转发、分割、条件转发等各种处理操作。而对于平台架构而言，只负责维护各种数据解析处理的输入输出等彼此间的消息传递，存文件、存数据库、转发、分割、条件转发等各种处理细节对平台是透明的。

2.数据帧解析的插件式管理：框架采用插件式管理各种不同的数据帧解析方法。使用Eclipse plug-in技术，首先对数据处理过程进行抽象，使得抽象出的对象能够覆盖大多数数据处理过程。将其作为平台上所有数据帧解析的父类设计为扩展点，每个具体的解析过程是对该扩展点的扩展。平台能够得到所有扩展了该扩展点的解析方法，即实现了对平台上所有数据帧解析方法的管理。与此同时，插件式管理的另外一个优势是方便新解析方法的加入，只要扩展该扩展点，等价于在平台上注册了新的解析方法，不需要修改原程序，加入的新解析方法就能够在平台上使用。

3.共享内存实现解析数据的管理

全部数据解析过程可分为各个子过程，每个子过程产生的信息中都包括某些有价值的信息，比如某个解析参数值，保存各个子过程的有价信息是必要的。本软件通过共享内存和临时内存来实现对这些信息的管理。由于完成一次解析过程需要一定的时间，在该时间段内，既要保存上一次完整的解析过程的有价信息；又要保存当前解析过程产生的信息。软件设置共享内存Sharedparam来保存一次完整解析过程产生的信息，而同时设有临时内存Tempparam保存本次解析过程中的Dirty Data，当本次解析过程全部完成后，将临时内存中的Dirty Data写到共享内存中，同时将共享内存中的数据备份到数据库中。这样，历史每次解析(数据库)、上次解析(共享内存)、本次解析的每个阶段(临时内存)的数据都得到了记录；软件通过这种方式解决了数据解析过程的信息同步问题。

4.数据帧解析的树形层次结构：通过对数据处理过程的抽象，可以发现，实际的过程工业数据处理都存在总输入和预期输出；全部解析过程可以分割成若干个子过程，而子过程之间有明确的传递条件和传递方向；若某个子过程的处理出现了问题，则以该子过程的输出作为输入的所有子过程及其后续处理过程将不能进行。鉴于数据处理的这些特点，软件框架设计为树形层次结构，解析树的每个节点是一种数据处理过程，输入数据从根节点开始，由根节点处理后得到根节点处理过程的输出(子节点的输入)，根据根节点的条件判断，数据继续传递给下级的某个节点，直至叶子节点，至此完成本次数据解析的全部过程。树形层次结构与过程工业数据处理过程存在相似性，适应实际数据处理过程中顺序处理的实际情况，且针对前后解析过程一对多条件判断选择的情况，提供了解决方案。

5.树形结构的可配性和可移植性：用户可以根据实际数据处理需求，用平台上已有的数据帧解析插件(数据处理方法)按照树形结构自由组合，搭建一个满足数据多阶段流水处理需求的解析树。搭建的解析树结构将以XML文件的方式存储在本地文件系统中。这样既有效的保存了解析树结构信息，又方便解析树结构的移植。新部署的系统只要从旧系统中拷贝解析树配置文件，无需重新配置解析树，即可实现原有的处理过程。

二、下面结合具体实施例对本发明进一步详细说明：

1.数据处理过程抽象

数据处理过程是输入经过处理得到信息并产生输出，数据处理过程主要包括两种对象：数据和处理。

数据是将二进制byte数组、解析结果信息frameHeaderInfo和下阶段解析类型type封装在一起的对象ParseResult。

处理则是一个抽象类AbstractFrameParser，在该抽象类中：

a)定义了一个关键的抽象方法parse()方法。

该方法为子类具体的解析实现。方法规定输入参数为<参数名，参数值>哈希表，用来存储解析过程中有价值的信息(参数名和参数值)；输出参数为List<AbstractFrameParser>，表示本阶段处理后下阶段的解析处理的List。

b)定义了两个关键的属性：本次处理的输入frameQueue和下阶段子解析处理列表childParser。

在这里frameQueue是封装输入数据对象ParseResult的队列，由于解析数据可能包含多组数据，因此输入frameQueue被设计为ConcurrentLinkedQueue<ParseReasult>，队列中的数据会按照parse()方法依次处理，且处理过的数据将从队列中移除，队列为空，则标志本阶段解析完成。本发明的一种数据处理基类实现类图如图1所示。

2.数据解析过程(帧格式解析器)的设计实现

解析器解析的目的是把原始数据剥离出信息，得到解析参数。具体的帧格式解析器要继承AbstractFrameParser抽象类，在实现的parse()方法中对frameQueue输入数据队列中的数据依次进行处理。

在一种帧格式解析器中存在两种参数：配置参数和解析参数。这两类参数都记录在配置文件中，系统在构建解析树时加载两类配置文件。配置参数是<参数名，参数值>哈希表，用来说明该解析器在当前环境下的配置情况，使得解析器可以根据不同的配置参数进行不同的处理；解析参数是<参数名，TeleParam>哈希表，用来说明输入数据中参数名称、位置、计算方法等信息，使得解析器能够根据参数配置文件找到参数位置，解出参数值。这种加载配置文件的方式拓宽了解析器的适用范围。

以上说明了解析过程中两类重要参数的设计思路，本发明实施例的一种数据解析过程的流程如图2所示，包括以下步骤：

a)从配置文件中获取配置参数和解析参数信息

b)对输入数据进行以下三步解析。

1)根据解析参数信息从输入数据中按照位置信息，解出对应的参数值。

2)根据第1步解出的参数值和配置信息，在子解析器List(childParser)中选择下行路径。

3)将输出数据作为子解析器的输入，传递给第2步选择的子解析器。

c)调用子解析器的解析过程，直至解析完成。

3.帧格式解析器解析参数可配性的设计实现

根据二进制数据解析过程的实际项目经验：存在整体二进制数据结构不变，而内部解析参数名称、位置改变的情况。本软件架构在设计之初，考虑此种情况，提出将解析参数的名称、位置、长度、计算方法、边界条件、异常情况、异常处理方法等信息配置在解析参数配置文件中。通过系统初始化配置文件，将相关参数信息读入系统，对二进制数据进行解析。具体每个解析器中的帧头信息参数格式、数据区位置等等信息，在解析参数配置文件中配置的。我们可以指定哪个bit到哪个bit放的是什么参数，这样就告诉解析器，在解析数据时，将这个位置的数据存放在固定名称的参数里；同时也能够告诉解析器，针对二进制原始值的工程值计算方法是什么。

系统要求平台上的每种帧格式解析器(每个解析器扩展)必须拥有解析参数配置文件。并使用XML格式对配置文件进行读取、写入等内容管理。

下面举例说明某种帧格式解析器的解析参数配置文件的格式：

<PARAM>

<PARAM_NAME>时间</PARAM_NAME>

<STATIC_PROPERTY>

<ENGINEERVALUE_EVALUATE_METHOD>Engi

neerValueEvaluateMethod_16</ENGINEERVALUE_

EVALUATE_METHOD>

<EXCEPTION_VALUE></EXCEPTION_VALUE>

<NORMAL_COLOR></NORMAL_COLOR>

<EXCEPTION_COLOR></EXCEPTION_COLOR>

<EXCEPTION_JUDGE_METHOD></EXCEPTION_JUDGE_METHOD>

</STATIC_PROPERTY>

</PARAM>

</CONFIG>

配置

---参数1

---参数名称

---参数偏移量

---参数长度

---参数静态属性

---最大值

---最小值

---工程值计算方法

---异常值

---正常颜色

---异常颜色

---最异常值判断方法

......

---参数2

......

本发明实施例的一种配置文件管理类图如图3所示，通过配置文件的方式，在二进制数据解析需求发生变化时，解析器之需要修改配置文件，即可适应新的解析需求。

4.软件对帧格式解析器的插件式管理

为了方便新解析方法的加入，软件架构使用plug-in技术对解析器进行管理。使用Eclipse插件开发的优势，使得加入一个新的解析器，不需要修改源代码，就像Eclipse集成插件一样，新解析器作为一个新插件项目，打包后放在原项目的制定位置就可以。本发明实施例的一种帧格式解析器类图如图4所示，在实际处理过程中，系统根据Eclipse底层机制获得扩展点信息，得到新解析器的全部重要信息，使得各种解析器能够灵活的增加和、删除和修改。

5.软件树形层次结构的设计实现

针对二进制数据过程处理的解析，软件提出了解析树的概念。

这一概念首先是将过程工业中数据处理过程抽象成树形结构。树形结构的特点是多层次，这点和处理过程的多阶段相对应；另一个特点是父子节点是1对n关系，这点与处理过程的前后处理条件选择相对应。

在设计过程中同样使用配置文件的策略，系统维护一个解析树配置文件，通过初试化解析树配置文件得到解析信息。

解析树初始化的目的是根据解析树配置文件和解析器配置文件在内存中建立共享内存变量和解析树结构。

解析树初始化将遍历每个节点，对节点进行初始化。节点的初始化过程分为三步：该节点配置参数的实例化、该节点解析参数的实例化和子节点的实例化。本发明实施例的一种数据解析流程如图5所示。

解析树初始化过程如下：

A.读取解析树配置文件parsertree.xml，获得根节点入口。

B.解析器初始化

配置参数和解析参数的结构可以由解析器设计人员自由设计，只需要解析器可以正确读取配置参数和解析参数等信息即可。

a)获得解析器配置参数

i.读取解析器名称name

ii.读取解析器类classname

iii.读取解析器前缀paramprefix

iv.读取解析器类型type

v.循环读取解析器参数paramvalues和用户配置的值

b)获得解析器解析参数

下面以目前设计的VCDU解析器为例子。

i.根据解析器类型type获得解析器配置文件入口；

ii.读取解析参数PARAM中的PARAM_NAME、OFFSET、LENGTH；

iii.根据参数名称PARAM_NAME和节点前缀paramprefix建立共享内存变量；

iv.判断是否还有PARAM，有则返回步骤ii，否则进行下一步。

C.深度优先策略。判断是否存在子节点，是则将子节点加入到该解析器的子节点队列中，并对每个子节点进行第2步解析器初始化；否则返回该节点的父节点。

D.最终生成完整的解析树结构。

6.树形层次结构阶段解析结果的同步问题的解决——共享内存和临时内存的设计实现

共享内存SharedParam是每个树形结构维持的一个静态变量，所有节点实例参见一个共享内存版本。这样节点在添加本节点解析出来的信息时就要加上节点特征。与此同时，具有相同特征的参数将会覆盖共享内存中的旧值。

共享内存在结构上是<参数标识，TeleParam>的哈希表，这里参数标识不仅仅是参数名称，还包括参数的前缀。前缀是用来区分参数来自解析树那个节点的标识，该标识在解析树中具备唯一性。TeleParam是软件自定义的一种格式，包括静态变量和动态变量。静态变量SharedParamStaticProperty保存参数名称、工程值计算方法、异常值判断方法等初始化信息。动态变量SharedParamDynamicProperty保存实际二进制数据解析过程中产生的参数二进制原始值、工程值、是否异常等动态信息。本发明实施例的一种共享内存结构类图如图6所示。

临时内存TempParam在结构上和共享内存是相同的，但是在功能上存在区别。解析树的临时内存，用来保存每个节点在解析过程中的阶段性结果。

这样就存在共享内存SharedParam和临时内存TempParam的同步性问题。在数据一致性问题上，系统模仿数据库对数据一致性问题的处理，选择定期将TempParam中的Dirty Data写到共享内存中，并将共享内存中的数据存储到Data file数据文件中。这里定期就是指整个解析树完成解析工作。

7.软件树形结构可配型的设计实现

为了增强软件的通用性和灵活性，第5点中提到了解析树配置文件的形式，这种形式的另外一种好处是方便增加、修改和删除解析节点。第四点中提到解析器的插件式管理，系统为用户提供了修改解析树的界面，首先获得所有平台上的解析器插件，提供给用户，使得用户可以将解析树上的节点修改为平台上已有的任何一种解析器。

这里，所有界面化操作的源泉是系统的解析树配置文件。实现树形结构可配型的关键也就是以配置文件的方式设计系统的解析结构初始化。

三、测试结果：

1.实验条件：

CPU：Intel Core 2 2.00GHz

内存：1GB内存

操作系统：Microsoft Windows XP

2.实验输入数据：

(1)用户的数据处理需求发生变化，某解析器的解析参数名称和位置发生变化。

(2)用户的数据处理需求发生变化，现有解析器不能满足数据处理需求，需要新增一种解析器。

(3)用户的数据处理需求发生变化，原始帧数据结构发生改变，需要改变解析树结构。

3.实验输出

本软件的特点是高度灵活性，所以测试的重点是：用户需求在可控范围内发生变化的情况下，软件的反映时间和更新复杂度。

(1)修改解析器配置文件，如果只是位置上的变化，平均4小时/100个参数。

(2)根据实际数据处理需求，自定义解析器，并以插件的方式实现系统的扩展。解析器开发时间与处理难度成正比，一般用3天可完成。

(3)根据实际数据处理需求，通过界面化操作，修改解析树结构或者新建解析树。建立解析树消耗时间与解析层次深浅成正比关系(即实际数据外面包裹帧头信息的复杂程度)。一般需要1个小时完成。

结论：

本软件以插件扩展点和配置文件的方式为二进制数据处理设计了高度灵活的架构。采用此设计方法开发了卫星遥测数据处理软件，卫星遥测数据在格式上有美国AOS规范，但是同一数据帧结构下的参数则由卫星设计人员自定义；与此同时，AOS规范下多种数据帧结构就像包装盒一样，某颗卫星的遥测实际数据可以包装多层信息。应用该架构设计开发的卫星遥测数据处理软件项目为满足遥测数据的多样性处理需求和处理流程可配性提供了良好的解决方案。架构对数据处理最大限度适应用户不同需求，最大限度项目复用有实际的用处；在灵活性设计方面具有非常重要的意义。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1、一种基于树形结构的数据帧解析和处理系统，其特征在于，所述系统包括：

解析树，用于对接收到的数据进行解析，所述解析树由多个节点构成，每个节点都是一个解析器，父子节点是1对n的关系；

内存管理单元，包括共享内存和临时内存，所述共享内存用于存放上次解析过程的数据，所述临时内存用于存放本次解析过程的数据。

2、如权利要求1所述的基于树形结构的数据帧解析和处理系统，其特征在于，所述系统还包括插件管理单元，用于对所述解析树进行解析器的增加、删除或修改操作。

3、一种基于树形结构的数据帧解析和处理方法，其特征在于，所述方法包括以下步骤：

A、接收待解析的数据；

B、利用解析树对所述数据进行逐层解析，并将解析数据存入共享内存。

4、如权利要求3所述的基于树形结构的数据帧解析和处理方法，其特征在于，所述步骤B具体包括：

B1、从配置文件获取配置参数和解析参数；

B2、根据解析参数从输入数据中按照位置信息解出对应的参数值；

B3、根据所述参数值和配置参数，在子解析器列表中选择下行路径；

B4、将输出数据作为子解析器的输入，发送到所选择的下行路径；

B5、调用与所述下行路径对应的子解析器，重复以上步骤，直至解析完成。

5、如权利要求4所述的基于树形结构的数据帧解析和处理方法，其特征在于，

在步骤B5之前，还包括：将本次解析过程的数据存放到临时内存；

在步骤B5之后，还包括：将共享内存中的数据存放到数据库，然后将临时内存中的数据存放到共享内存。

6、如权利要求3所述的基于树形结构的数据帧解析和处理方法，其特征在于，在步骤A之前，还包括：

C、共享内存初始化；

D、解析树初始化。

7、如权利要求6所述的基于树形结构的数据帧解析和处理方法，其特征在于，所述步骤D具体包括：

D1、读取解析树配置文件，获得根节点入口；

D2、解析器初始化；

D3、判断是否存在子节点，是则将子节点加入到该解析器的子节点队列中，并对每个子节点进行第2步解析器初始化；否则返回该节点的父节点。

8、如权利要求7所述的基于树形结构的数据帧解析和处理方法，其特征在于，所述步骤D2具体包括：

D21、获得解析器配置参数，具体包括：读取解析器名称、读取解析器类、读取解析器前缀、读取解析器类型、循环读取解析器参数、和用户配置的值；

D22、获得解析器解析参数，具体包括：

D221、根据解析器类型获得解析器配置文件入口；

D222、读取解析参数中的参数名称、偏移量、长度；

D223、根据参数名称和节点前缀建立共享内存变量；

D224、判断是否还有参数，如果有则重复步骤D222和D223，否则结束。

9、如权利要求3所述的基于树形结构的数据帧解析和处理方法，其特征在于，所述方法还包括插件管理步骤，具体包括：

对数据处理过程进行抽象，使得抽象出的对象能够覆盖大多数数据处理过程；

将所述对象作为平台上所有数据帧解析的父类设计为扩展点，每个具体的解析器是对该扩展点的扩展。

10、如权利要求9所述的基于树形结构的数据帧解析和处理方法，其特征在于，所述方法还包括解析器的增加、删除和修改。