CN109815242A - 一种数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种数据处理方法及系统，该方法包括：调用预设复用数据模型，在所述复用数据模型中配置数据对象及所述数据对象对应的属性字段，生成配置文件，其中，所述预设复用数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段；读取待处理的数据系统的底层数据；对所述配置文件进行解析，将所述底层数据依据解析结果转换为展示层数据。在本发明中由于该复用的数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段，解决了现有技术中多个数据表的资源浪费，实现了数据的灵活配置，便于数据管理。

Description

一种数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于复用数据模型的数据处理方法及系统。

背景技术

在信息系统中，通常在面向对象的项目开发中，一个对象会设计一张数据表与之对应，当对象数量过多时，设计的数据表也会越来越多，从而使得开发人员难以管理相关的数据表结构文档，且易造成数据库存储资源的浪费。

发明内容

针对于上述问题，本发明提供一种数据处理方法及系统，基于复用数据模型，实现了数据的灵活配置，便于数据管理和节省数据存储资源的目的。

为了实现上述目的，本发明提供了如下技术方案：

一种数据处理方法，该方法包括：

调用预设复用数据模型，在所述复用数据模型中配置数据对象及所述数据对象对应的属性字段，生成配置文件，其中，所述预设复用数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段；

读取待处理的数据系统的底层数据；

对所述配置文件进行解析，将所述底层数据依据解析结果转换为展示层数据。

可选地，还包括：

基于数据对象类型，创建复用数据模型。

可选地，所述基于数据对象类型，创建复用数据模型，包括：

创建目标数据表，所述目标数据表中包括表征数据对象的类型字段；

确定所述目标数据表中待存储的数据对象的属性数量；

依据所述属性数量，将待存储的数据对象添加至所述目标数据表中，并生成所述数据对应与所述目标数据表的对应关系，获得复用数据模型。

可选地，还包括：

获取数据对象属性与数据库字段的对应关系，基于所述对应关系实现数据库字段和数据对象属性的转换。

可选地，还包括：

依据业务需求，确定各个业务类；

基于所述各个业务类的相同属性，创建业务类数据的层级关系。

可选地，所述对所述配置文件进行解析处理，将所述底层数据依据解析结果转换为展示层数据，包括：

调用所述配置文件；

对所述配置文件进行解析，并进行语法规则验证，实现业务类数据与底层数据的映射；

依据所述映射将底层数据转换为业务层数据；

对所述业务层数据进行加工处理，获得展示层数据。

一种数据处理系统，该系统包括：

配置单元，用于调用预设复用数据模型，在所述复用数据模型中配置数据对象及所述数据对象对应的属性字段，生成配置文件，其中，所述预设复用数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段；

读取单元，用于读取待处理的数据系统的底层数据；

处理单元，用于对所述配置文件进行解析处理，将所述底层数据依据解析结果转换为展示层数据。

可选地，还包括：

创建单元，用于基于数据对象类型，创建复用数据模型。

可选地，所述创建单元包括：

创建子单元，用于创建目标数据表，所述目标数据表中包括表征数据对象的类型字段；

确定子单元，用于确定所述目标数据表中待存储的数据对象的属性数量；

生成子单元，用于依据所述属性数量，将待存储的数据对象添加至所述目标数据表中，并生成所述数据对应与所述目标数据表的对应关系，获得复用数据模型。

可选地，还包括：

获取子单元，用于获取数据对象属性与数据库字段的对应关系，基于所述对应关系实现数据库字段和数据对象属性的转换。

相较于现有技术，本发明提供了一种数据处理方法及系统，通过调用预设复用数据模型，并基于对该复用数据模型的相关数据对象的属性字段的配置，获得配置文件，基于该配置文件实现对底层数据的处理，实现了能够基于复用的数据模型进行数据处理，由于该复用的数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段，解决了现有技术中多个数据表的资源浪费，实现了数据的灵活配置，便于数据管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的一种数据表复用示意图；

图3为本发明实施例提供的一种数据处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供了一种数据处理方法，参见图1，该方法包括：

S101、调用预设复用数据模型，在所述复用数据模型中配置数据对象及所述数据对象对应的属性字段，生成配置文件；

其中，所述预设复用数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段。

在本发明进行数据处理或者管理时是基于可复用的数据模型进行的，即在本发明实施例的前提是需要基于数据对象类型，创建复用数据模型。对应的，该数据模型的创建过程包括：

创建目标数据表，所述目标数据表中包括表征数据对象的类型字段；

确定所述目标数据表中待存储的数据对象的属性数量；

依据所述属性数量，将待存储的数据对象添加至所述目标数据表中，并生成所述数据对应与所述目标数据表的对应关系，获得复用数据模型。

需要说明的是，在本发明实施例中创建数据模型时优选用XML技术，也可以使用文件或者Json等其他技术实现对照关系的保存和解析。其中，XML技术(eXtensible MarkupLanguage的缩写)意为可扩展的标记语言。XML是一套定义语义标记的规则，这些标记将文档分成许多部件并对这些部件加以标识。它也是元标记语言，即定义了用于定义其他与特定领域有关的、语义的、结构化的标记语言的句法语言。它在软件开发领域占据着不可或缺的重要地位。XML元素：在xml文件体内被控制标记包含的区域称为元素，最外层称为根元素，元素体须封闭，如：<元素1>…</元素>；XML属性：在元素标记体内出现的键值对，称为属性，属性值须用“”包含，如:<元素属性1＝”属性值”></元素>；XML schema：为自定义的xml文档声明结构，规定元素名称，包含的属性，以及嵌套关系等。它本身也是个xml文件。

具体的，数据表复用的前提是：

在数据表中定义一个类型字段，以便标识不同的对象；

要放入数据表的对象具有属性的数量不超过数据表的字段数量；

将具有相似属相的对象作为一组，以便确定唯一索引，加快数据表的操作速度；

通过解析XML，迅速得到某一对象与数据表的对照关系，快速完成对象的增删改查操作。

即该可复用的数据模型是一个大而全的数据表，不明确该数据表中各个字段的含义，如此就可以存储不同的对象。打破原有的一个对象一张表的方式，将不同对象存入一张表，一套交易即可实现对象的全部操作。

具体的，通过一个XML配置文件即可管理该数据表中存储的多个对象，XML是一种通用的可标记语言，可以被各种变成语言解析，且XML本身非常灵活，标签的含义不受约束可灵活定义，适合存储对象属性与数据表字段之间的对照关系。

对应的，在创建过程中还包括：

依据业务需求，确定各个业务类；

基于所述各个业务类的相同属性，创建业务类数据的层级关系。

即这些对象之间可以有一定的关联性。比如父类及多个子类对象，这些对象可以通过某些属性进行唯一的标识，那么这些对象可以存储在一个数据表中，不同子类之间相同的属性可以存储在统一字段上，以便存储及查询。

S102、读取待处理的数据系统的底层数据；

S103、对所述配置文件进行解析，将所述底层数据依据解析结果转换为展示层数据。

在对数据进行处理时，需要调用该配置文件，并进行解析，实现快速解析配置文件，充分利用反射原理，该反射原理表征通过类名得到该类的属性及方法列表。

通过业务需求分析，抽象出各个业务类，找出这些业务类的共性之处，创建一个父类，然后通过复用父类的特性，再结合各个子类的个性，设计一个大而全的底层数据类及对照的数据表，从而实现一张数据表，存储不同对象的目的。

在对数据进行处理时，首先定义了三个类，即表征不同的数据来源或者数据应用，一个是底层数据类ClctAcctInfVO，一个根据业务需求抽象出来的父类RecordsVO，一个业务类LocalTelVO。基于上述三个类，定义数据表XML配置文件。

对应的，类ClctAcctInfVO是一个大而全的底层数据类，它的每个属性和数据表CLCT_ACCT_INF的字段是一一对照的。类RecordsVO抽取了类ClctAcctInfVO固定的不变的几个属性，这几个属性对照的字段可以唯一标示数据表CLCT_ACCT_INF的记录。LocalTelVO是真正面向业务的类，它定义了充满业务含义的属性，同时它继承了父类RecordsVO的全部属性，从而可以适配类ClctAcctInfVO。

上述xml中，定义了目标对象ClctAcctInfVO，它使用<desClassName>标签标注，可以把ClctAcctInfVO当做最终入库的对象，源对象LocalTelVO用<srcClassName>标签标注，它是继承了父类RecordsVO的全部属性，同时拥有自己的属性phonecode和connect，它的type是A101，这个可以唯一标识对象LocalTelVO。

当需要保存LocalTelVO对象时，通过解析xml及反射技术，完成LocalTelVO到ClctAcctInfVO的映射，然后通过ClctAcctInfVO保存至数据表CLCT_ACCT_INF。

当需要查询LocalTelVO对象时，先查询数据表CLCT_ACCT_INF得到对象ClctAcctInfVO，通过xml解析技术及反射技术，得到对象LocalTelVO。

可以看出该xml充满了可拓展性，根据业务需求，可以灵活增加多个业务类，也可扩展业务类属性，只要底层的数据类不动，那么对业务类的操作就没有任何影响，这种模式可灵活响应业务及市场需求，快速完成业务逻辑的开发及上线工作。

在上述复用规则下，可以采取任意的XML技术框架来实现，例如：

与xml文档操作有关的方法，包括xml的读取、解析、遍历查找、修改、保存等，均使用业界成熟的xml技术框架实现。由于这些框架较多且均已很成熟，并且本方法与使用那种技术框架无关，因此有关xml的操作，在本方法中不做详细描述。

自定义XML标签规则：

根据自身业务规则，定制xml标签规则，确定底层数据类标签，业务类标签以及每种类可以包含哪些属性。

XML文件加载：

在系统启动时，一次性读取xml文件并存入内存，在系统运行过程中快速读取xml。

编写XML解析类：

xml技术框架，开发符合上述语法规则的xml文件解析类，可以做到对自定义xml文件的读、解析等操作。要求解析的时候进行语法规则验证。

业务类与底层数据类的映射：

读取xml后，根据类名生成类实例，继而根据反射技术，得到类的属性列表及方法列表，通过属性名匹配，完成业务类和底层数据类的属性设置。

以上就是一套通过定义解析xml文件实现数据表复用的方法，不限于java语言。

参见图2，为本发明实施例提供的一种数据表复用示意图，该图以传统的面向对象技术架构层级为示例，在数据层以数据表的形式存储对象，通过将数据层的数据表读取出来，在数据接入层转换成对象，在对象转换层通过解析xml配置文件，将底层ClctAcctInfVO转换成业务层LocalTelVO，业务逻辑层可以对业务LocalTelVO进行加工处理，并最终在展示层展示。一个展示层可以展示多个业务VO，只要在xml配置好对照关系即可。

本发明提出的基于xml元素灵活配置的方式数据表复用原则和技术实现方案，为开发者提供了可自定义的可扩展的灵活的实现机制，不受操作系统、编程语言等技术框架的约束。本发明实现的数据表复用技术，理解简单，使用方便且易于实现，在系统的开发中可广泛使用该技术，进而减少数据表设计周期及维护成本，特别是对后期系统升级及数据移植提供良好的可维护性和可拓展性。

对应的参见图3，在本发明实施例中还提供了一种数据处理系统，包括：

配置单元10，用于调用预设复用数据模型，在所述复用数据模型中配置数据对象及所述数据对象对应的属性字段，生成配置文件，其中，所述预设复用数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段；

读取单元20，用于读取待处理的数据系统的底层数据；

处理单元30，用于对所述配置文件进行解析处理，将所述底层数据依据解析结果转换为展示层数据。

本发明提供了一种数据处理方法，通过配置单元调用预设复用数据模型，并基于对该复用数据模型的相关数据对象的属性字段的配置，获得配置文件，在处理单元中基于该配置文件实现对底层数据的处理，实现了能够基于复用的数据模型进行数据处理，由于该复用的数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段，解决了现有技术中多个数据表的资源浪费，实现了数据的灵活配置，便于数据管理。

在上述实施例的基础上，该系统还包括：

创建单元，用于基于数据对象类型，创建复用数据模型。

在上述实施例的基础上，所述创建单元包括：

创建子单元，用于创建目标数据表，所述目标数据表中包括表征数据对象的类型字段；

确定子单元，用于确定所述目标数据表中待存储的数据对象的属性数量；

生成子单元，用于依据所述属性数量，将待存储的数据对象添加至所述目标数据表中，并生成所述数据对应与所述目标数据表的对应关系，获得复用数据模型。

在上述实施例的基础上，还包括：

获取子单元，用于获取数据对象属性与数据库字段的对应关系，基于所述对应关系实现数据库字段和数据对象属性的转换。

在上述实施例的基础上，该系统还包括：

业务类确定单元，用于依据业务需求，确定各个业务类；

关系创建单元，用于基于所述各个业务类的相同属性，创建业务类数据的层级关系。

在上述实施例的基础上，所处理单元包括：

文件调用子单元，用于调用所述配置文件；

解析子单元，用于对所述配置文件进行解析，并进行语法规则验证，实现业务类数据与底层数据的映射；

转换子单元，用于依据所述映射将底层数据转换为业务层数据；

数据处理子单元，用于对所述业务层数据进行加工处理，获得展示层数据。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，该方法包括：

调用预设复用数据模型，在所述复用数据模型中配置数据对象及所述数据对象对应的属性字段，生成配置文件，其中，所述预设复用数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段；

读取待处理的数据系统的底层数据；

对所述配置文件进行解析，将所述底层数据依据解析结果转换为展示层数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

基于数据对象类型，创建复用数据模型。

3.根据权利要求2所述的方法，其特征在于，所述基于数据对象类型，创建复用数据模型，包括：

创建目标数据表，所述目标数据表中包括表征数据对象的类型字段；

确定所述目标数据表中待存储的数据对象的属性数量；

依据所述属性数量，将待存储的数据对象添加至所述目标数据表中，并生成所述数据对应与所述目标数据表的对应关系，获得复用数据模型。

4.根据权利要求3所述的方法，其特征在于，还包括：

获取数据对象属性与数据库字段的对应关系，基于所述对应关系实现数据库字段和数据对象属性的转换。

5.根据权利要求4所述的方法，其特征在于，还包括：

依据业务需求，确定各个业务类；

基于所述各个业务类的相同属性，创建业务类数据的层级关系。

6.根据权利要求5所述的方法，其特征在于，所述对所述配置文件进行解析处理，将所述底层数据依据解析结果转换为展示层数据，包括：

调用所述配置文件；

对所述配置文件进行解析，并进行语法规则验证，实现业务类数据与底层数据的映射；

依据所述映射将底层数据转换为业务层数据；

对所述业务层数据进行加工处理，获得展示层数据。

7.一种数据处理系统，其特征在于，该系统包括：

配置单元，用于调用预设复用数据模型，在所述复用数据模型中配置数据对象及所述数据对象对应的属性字段，生成配置文件，其中，所述预设复用数据模型中包括多个数据对象和每个数据对象的数据属性对应的字段；

读取单元，用于读取待处理的数据系统的底层数据；

处理单元，用于对所述配置文件进行解析处理，将所述底层数据依据解析结果转换为展示层数据。

8.根据权利要求7所述的系统，其特征在于，还包括：

创建单元，用于基于数据对象类型，创建复用数据模型。

9.根据权利要求8所述的系统，其特征在于，所述创建单元包括：

创建子单元，用于创建目标数据表，所述目标数据表中包括表征数据对象的类型字段；

确定子单元，用于确定所述目标数据表中待存储的数据对象的属性数量；

生成子单元，用于依据所述属性数量，将待存储的数据对象添加至所述目标数据表中，并生成所述数据对应与所述目标数据表的对应关系，获得复用数据模型。

10.根据权利要求9所述的系统，其特征在于，还包括：

获取子单元，用于获取数据对象属性与数据库字段的对应关系，基于所述对应关系实现数据库字段和数据对象属性的转换。