CN108153919A - Dbf数据导出平台及其导出方法 - Google Patents

Abstract

本发明公开了一种DBF数据导出平台及其导出方法，其中上述平台包括：数据配置模块，用于将需要导出的DBF数据列表配置到元数据模板中，并将元数据模板保存到数据库中；数据写入模块，用于根据配置的元数据模板向ActiveMq消息队列服务器发送请求，并将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中；文件上传模块，用于将写入数据的DBF文件上传到文件服务器并返回文件地址到客户端。本发明的BDF导出平台及其导出方法采用元数据、消息队列和redis的结合，可直接在该平台的基础上进行二次开发，开发效率高，同时对应用户来说使用更加方便，能够有效提升工作效率。

Description

DBF数据导出平台及其导出方法

技术领域

本发明涉及数据导出技术领域，具体涉及一种DBF数据导出平台及其导出方法。

背景技术

根据江苏、山东等省的调研结果，对上报学信网的学籍注册数据和学历注册数据的DBF文件进行研究整理、对比，设计学籍注册、学历注册数据DBF文件直接从平台导出的业务。

学籍注册学信网功能解释：标注新生报到情况。

学历注册学信网功能解释：管理、维护学历电子注册信息。

学籍注册对比结果表明：各省涉总共19个字段，其中相同字段18个，或有或无字段1个：生源省市代码（平台内省份的代码用2位表示）。字段的排列顺序各省略有不同，所以需要字段顺序可调整、以及生源省市代码的是否显示。

学历注册对比结果表格字段顺序均一致，按照给出的字段和顺序导出即可

上报教委所需要的文件都是采用DBF的格式，目前很多院校都才用的是用DBF编辑工具将DBF所需要的数据手工录入，每个院校都是一大批学生会产生大量的文件，不同省份模板不一样，整理这些学生的文档非常耗时耗力，在当前的多租赁元数据架构中采用DBF匹配导入，灵活的一键解决了这大批的工作量，例如学籍上报，需要就是需要组织大量的学生信息，目前互联网上在多租赁系统中还没有DBF 的数据导出处理框架。

发明内容

本发明的目的在于提供一种DBF数据导出平台及其导出方法，解决DBF文件手动编辑和转换成本高、效率低的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种DBF数据导出平台，上述平台包括：

数据配置模块，用于将需要导出的DBF数据列表配置到元数据模板中，并将元数据模板保存到数据库中；

数据写入模块，用于根据配置的元数据模板向ActiveMq消息队列服务器发送请求，并将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中；

文件上传模块，用于将写入数据的DBF文件上传到文件服务器并返回文件地址到客户端。

作为优选，上述元数据模板中包括基础元数据标识和数据列元数据标识，上述基础元数据标识包括所属平台、编码、功能名称、所属菜单和页面类型，上述数据列元数据标识包括表格列显示的中文名称、表格列对应的数据库字段名称、数据显示类型、数据显示顺序。

作为优选，上述数据显示类型包括隐藏列、文本列、日期列和时间列。

一种DBF数据导出方法，包括以下步骤：

S1：数据配置模块将需要导出的DBF数据列表配置到元数据模板中，并将元数据模板保存到数据库中；

S2：数据写入模块根据配置的元数据模板向ActiveMq消息队列服务器发送请求，并将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中；

S3：文件上传模块将写入数据的DBF文件上传到文件服务器并返回文件地址到客户端。

作为优选，上述元数据模板中包括基础元数据标识和数据列元数据标识，上述基础元数据标识包括所属平台、编码、功能名称、所属菜单和页面类型，上述数据列元数据标识包括表格列显示的中文名称、表格列对应的数据库字段名称、数据显示类型、数据显示顺序。

作为优选，上述数据显示类型包括隐藏列、文本列、日期列和时间列。

作为优选，上述S2步骤中数据写入模块将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中的具体方法是：根据元数据模板中的基础元数据标识获取需要导出的数据，并根据数据列元数据标识中配置的表格列对应的数据库字段名称利用发射机制获取数据列对应的数据，并以流的方式写入DBF文件。

作为优选，上述S2步骤中利用发射机制获取数据列对应的数据的具体方法是：根据元数据模板中配置的数据显示类型创建一个泛型类，利用反射机制通过元数据模板中配置的表格列对应的数据库字段名称找到对应泛型类的属性，并对相应的属性进行赋值。

作为优选，上述S2步骤中将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件之前验证用户是否具有数据读取权限。

作为优选，上述S2步骤中将数据写入DBF文件之前还需根据元数据模板中配置的数据显示类型对数据进行格式化处理。

与现有技术相比，本发明的有益效果是：

本发明的BDF导出平台及其导出方法采用元数据、消息队列和redis的结合，可直接在该平台的基础上进行二次开发，开发效率高，同时对应用户来说使用更加方便，能够有效提升工作效率。

附图说明

图1为本发明DBF数据导出方法的流程图。

图2为本发明数据写入DBF的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对本发明的平台的一个实施例，一种DBF数据导出平台，上述平台包括：

数据配置模块，用于将需要导出的DBF数据列表配置到元数据模板中，并将元数据模板保存到数据库中；

数据写入模块，用于根据配置的元数据模板向ActiveMq消息队列服务器发送请求，并将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中；

文件上传模块，用于将写入数据的DBF文件上传到文件服务器并返回文件地址到客户端。

进一步地，在上述平台基础上，本发明平台的另一个实施例中，上述元数据模板中包括基础元数据标识和数据列元数据标识，上述基础元数据标识包括所属平台、编码、功能名称、所属菜单和页面类型，上述数据列元数据标识包括表格列显示的中文名称、表格列对应的数据库字段名称、数据显示类型、数据显示顺序。

利用元数据模板的方式将所需要导出的数据进行配置，配置可根据实际需要进行修改，能够适应于不同用户的需求，可移植性更高，开发更加便捷。

进一步地，在上述平台基础上，本发明平台的另一个实施例中，上述数据显示类型包括隐藏列、文本列、日期列和时间列。由于数据有文本、有日期、有时间；日期和时间具有特殊的格式，为了使各日期和时间等特殊格式的数据更加统一，因此在数据配置写入时需要进行格式调整。

在实际设计和开发过程中，首先将需要导出的DBF列表配置到元数据模板里面，配置方式如下：新建一个基础元数据标识包括所属平台、编码、功能名称、所属菜单、页面类型等信息配置到数据库，然后在此元数据下添加子项即配置数据列元数据标识，将页面按钮和请求接口、表格列显示的中文名、表格列对应的数据库字段名称、数据显示类型（隐藏列、文本列、日期列、时间列等）、显示顺序、单元格是否可编辑、单元格编辑后显示的控件类型等信息配置到数据库里面存储起来。

例如：要导出一个学生的学籍信息列表为一个DBF文件，首先创建一个元数据叫StudentFileDetails,所属管理平台，功能名称是学籍DBF导出，所属菜单是学籍管理，页面类型属于列表导出，在元数据里配置要导出的字段，配置方式：学生姓名、对应的数据库字段为StudentName、显示方式是文本列、显示顺序配置为1 也就是显示在第一列，后面的显示列配置方式基本相同这里不做重复描述了，然后配置发导出消息的后台请求地址，当执行学籍列表导出的时候根据配置的这个元数据StudentFileDetails就可以获取需要导出的列包括请求消息的地址，根据元数据里面配置的显示列转换为DBF的形式生成文件，上传到文件服务器，并且返回一个地址：http://file.manager.com/00001/file/studentfile/studentfiledetails.dbf,用户直接访问这个地址就可以下载所生成的DBF文件。

参见图1、2，针对本发明的方法的一个实施例，一种DBF数据导出方法，包括以下步骤：

S1：数据配置模块将需要导出的DBF数据列表配置到元数据模板中，并将元数据模板保存到数据库中；

S2：数据写入模块根据配置的元数据模板向ActiveMq消息队列服务器发送请求，并将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中；

S3：文件上传模块将写入数据的DBF文件上传到文件服务器并返回文件地址到客户端。

进一步地，在上述方法基础上，本发明方法的另一个实施例中，上述元数据模板中包括基础元数据标识和数据列元数据标识，上述基础元数据标识包括所属平台、编码、功能名称、所属菜单和页面类型，上述数据列元数据标识包括表格列显示的中文名称、表格列对应的数据库字段名称、数据显示类型、数据显示顺序。利用元数据模板的方式将所需要导出的数据进行配置，配置可根据实际需要进行修改，能够适应于不同用户的需求，可移植性更高，开发更加便捷。

进一步地，在上述方法基础上，本发明方法的另一个实施例中，上述数据显示类型包括隐藏列、文本列、日期列和时间列。由于数据有文本、有日期、有时间；日期和时间具有特殊的格式，为了使各日期和时间等特殊格式的数据更加统一，因此在数据配置写入时需要进行格式调整。

进一步地，在上述方法基础上，本发明方法的另一个实施例中，上述S2步骤中数据写入模块将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中的具体方法是：根据元数据模板中的基础元数据标识获取需要导出的数据，并根据数据列元数据标识中配置的表格列对应的数据库字段名称利用发射机制获取数据列对应的数据，并以流的方式写入DBF文件。

进一步地，在上述方法基础上，本发明方法的另一个实施例中，上述S2步骤中利用发射机制获取数据列对应的数据的具体方法是：根据元数据模板中配置的数据显示类型创建一个泛型类，利用反射机制通过元数据模板中配置的表格列对应的数据库字段名称找到对应泛型类的属性，并对相应的属性进行赋值。

采用泛型类将数据获取的泛型方法进行封装，方便移植和开发，同时数据调用时更加便捷。

进一步地，在上述方法基础上，本发明方法的另一个实施例中，上述S2步骤中将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件之前验证用户是否具有数据读取权限。

进一步地，在上述方法基础上，本发明方法的另一个实施例中，上述S2步骤中将数据写入DBF文件之前还需根据元数据模板中配置的数据显示类型对数据进行格式化处理。

更加具体地，当用户点击导出按钮时触发一个ActiveMq消息（传递了元数据编码参数和数据参数），服务器接收到消息后开始处理，首先验证是否有数据读取权限，如果有权限则根据传递过来的元数据标识获取DBF导出的每个列，然后根据根据数据参数获取需要导出的数据，根据元数据里配置的列名对应的字段名利用反射机制（根据元数据里配置的字段类型创建一个泛型类，利用反射通过元数据里配置的字段名称可以找到对应泛型类的属性，给属性赋值，这样就可以把数据放到这个泛型类上了），这里会根据元数据配置的数据格式进行判断日期格式或者时间格式做相应的处理（例如：2017/10/16 可以根据配置格式化为：2017年10月16），再以流的方式写入DBF文件，将生成的文件上传至NFS服务器并且返回文件的url地址存储到数据库里消息表里面，返回给用户。

工作原理：首先配置元数据模板，根据元数据模板组织对应要生成的列，导出可配置分院和函授站的名称或者函授站代码、入学日期和与毕业日期，导出字段的名称和排序可配置，例如生日需要显示为出生日期，班号需求改为显示班级名称等，通过ActiveMQ+redis分布式消息队列来组装数据写入dbf文件,支持导出部分数据和全部数据，通过配置的字段数量数据范围可自定义，在通过分布式消息中间件获取需要导出的数据后写入DBF文件，将文件上传至文件服务器，处理生成一个DBF文件地址返回给客户，期间元数据模板属于多租户可配置的方式，灵活应对不同租户间不同的自定义字段设置，动态匹配元数据中配置的字段导出，通过ActiveMQ+redis分布式消息的方式可以保证大数据量的前提下的性能，本身的系统不会受到影响。

在本说明书中所谈到的“一个实施例”、“另一个实施例”、 “实施例”、“优选实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变形和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种DBF数据导出平台，其特征在于：所述平台包括：

数据配置模块，用于将需要导出的DBF数据列表配置到元数据模板中，并将元数据模板保存到数据库中；

数据写入模块，用于根据配置的元数据模板向ActiveMq消息队列服务器发送请求，并将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中；

文件上传模块，用于将写入数据的DBF文件上传到文件服务器并返回文件地址到客户端。

2.根据权利要求1所述的DBF数据导出平台，其特征在于：所述元数据模板中包括基础元数据标识和数据列元数据标识，所述基础元数据标识包括所属平台、编码、功能名称、所属菜单和页面类型，所述数据列元数据标识包括表格列显示的中文名称、表格列对应的数据库字段名称、数据显示类型、数据显示顺序。

3.根据权利要求2所述的DBF数据导出平台，其特征在于：所述数据显示类型包括隐藏列、文本列、日期列和时间列。

4.一种DBF数据导出方法，其特征在于：包括以下步骤：

S1：数据配置模块将需要导出的DBF数据列表配置到元数据模板中，并将元数据模板保存到数据库中；

S2：数据写入模块根据配置的元数据模板向ActiveMq消息队列服务器发送请求，并将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中；

S3：文件上传模块将写入数据的DBF文件上传到文件服务器并返回文件地址到客户端。

5.根据权利要求4所述的DBF数据导出方法，其特征在于：所述元数据模板中包括基础元数据标识和数据列元数据标识，所述基础元数据标识包括所属平台、编码、功能名称、所属菜单和页面类型，所述数据列元数据标识包括表格列显示的中文名称、表格列对应的数据库字段名称、数据显示类型、数据显示顺序。

6.根据权利要求5所述的DBF数据导出方法，其特征在于：所述数据显示类型包括隐藏列、文本列、日期列和时间列。

7.根据权利要求5所述的DBF数据导出方法，其特征在于：所述S2步骤中数据写入模块将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件中的具体方法是：根据元数据模板中的基础元数据标识获取需要导出的数据，并根据数据列元数据标识中配置的表格列对应的数据库字段名称利用发射机制获取数据列对应的数据，并以流的方式写入DBF文件。

8.根据权利要求7所述的DBF数据导出方法，其特征在于：所述S2步骤中利用发射机制获取数据列对应的数据的具体方法是：根据元数据模板中配置的数据显示类型创建一个泛型类，利用反射机制通过元数据模板中配置的表格列对应的数据库字段名称找到对应泛型类的属性，并对相应的属性进行赋值。

9.根据权利要求7所述的DBF数据导出方法，其特征在于：所述S2步骤中将需要导出的DBF数据内容按照配置的元数据模板格式写入DBF文件之前验证用户是否具有数据读取权限。

10.根据权利要求7所述的DBF数据导出方法，其特征在于：所述S2步骤中将数据写入DBF文件之前根据元数据模板中配置的数据显示类型对数据进行格式化处理。