CN105608088A - 一种基于配置文件的数据库自动创建与数据动态记录方法 - Google Patents

Abstract

本发明属于数据管理和数据应用范畴，涉及一种对数据库创建、数据记录和显示过程的改进。本发明针对使用关系数据库记录和管理数据的应用场景，提出了一种基于配置文件的数据库自动创建与数据动态记录方法。该方法对配置文件的通用格式进行明确定义，根据实际的数据结构编写配置文件，能够自动创建数据库，并基于数据的配置信息生成数据表。在数据记录过程中，根据配置信息动态生成SQL语句将数据存入数据库。在数据分析过程中，能够根据配置信息从数据库中取出所需的数据，进行可视化显示。该方法能够有效适应数据结构变更和扩充，通过更新或编写新的配置文件，可以自动化生成新的数据库，以及对应的数据记录和显示功能。

Description

一种基于配置文件的数据库自动创建与数据动态记录方法

技术领域

本发明属于数据库管理和应用范畴，涉及一种对数据库创建和数据动态记录过程的改进。

背景技术

在一些对大量数据进行处理和分析的应用场景，例如业务数据处理、仿真数据记录、信息管理系统，这些应用场景都具有需要创建数据记录格式和将数据持久化的应用特点。为了能够满足这些应用特点，在实际实施过程中利用关系数据库存储和管理数据较为广泛。随着数据量和数据结构多样化的增加，采用人工创建数据库及数据表的方式，需要编写面向特定数据结构的数据记录和显示程序，与数据结构耦合度较大。当原始数据结构发生变更或需要添加新的数据结构时，需要人工在数据库中更改对应数据表的样式，更新数据记录和显示程序，可扩展性有限，后期维护成本较高。

发明内容

本发明的目的是：提供一种基于配置文件的数据库自动创建与数据动态记录方法，实现自动化创建数据库，自动生成数据记录功能和显示功能，降低数据库应用的开发和维护成本。

本发明的技术方案是：

一种基于配置文件的数据库自动创建与数据动态记录方法，包括：

步骤一：参考配置文件定义模板，根据实际的数据结构，编写XML格式的配置文件；配置文件中包含数据源网络配置信息和数据结构配置信息，数据源网络配置信息包含数据源的IP地址、端口号以及数据发送周期，数据源配置信息包含数据源的名称、描述、ID标识，以及各数据项的名称、类型、对应数据库中列项的属性，其中数据源配置的数据项顺序需要与实际数据结构中定义的数据项顺序保持一致；

步骤二：利用配置文件定义模板对编写完成的XML配置文件进行校验，如果校验不通过，修改不符合格式要求的部分，并重新校验；如果校验通过，进入步骤三；

步骤三：加载并解析配置文件，根据数据结构配置信息自动化创建数据库；配置文件中的一个数据源对应数据库中的一张数据表，将数据源名称作为数据表名称，数据源中的数据项对应数据表中的一列，数据项名称作为列名，数据项类型和属性作为列的类型和属性，列的属性包括是否需要存入数据库、是否可以为空值，是否作为数据表主键、列的默认值；

步骤四：根据数据源网络配置信息建立网络连接，用于监控、接收数据，通过查找对应数据源ID的配置信息，访问当前数据库对应该数据源ID的数据表，实时将接收到的数据动态转换成SQL语句，并存入缓冲区，当缓冲区内语句条目超过阈值，将缓冲区内的若干条SQL数据插入指令作为一个事务提交，完成数据库的写入工作；

步骤五：在数据分析过程中，加载配置文件及对应的数据库，选择需要显示的数据列，根据对应的数据域绘制坐标轴，读取数据值作为坐标点并绘制曲线图，生成数据的可视化视图。

具体的，步骤三还包括：

根据列的类型，读取数据项对应的附加配置信息，分为以下三种情况：

1)基本数据类型，如短整型、整型、长整型、浮点型、双精度浮点型；直接对应数据库中的基本数据类型，无需读取附加配置信息；

2)字符串类型，附加配置信息包括字符串长度，使用字符串类型和字符串长度联合定义数据库中字符串类型的数据列；

3)位定义类型，在定义原始数据结构时为了节省内存，经常使用一个基本数据的存储空间，按照若干比特位的划分表示多个具有实际意义的数据；附加配置信息包括子域标识、每个位定义类型的名称和比特位长度，在创建数据表时将每个位定义类型对应为单独的数据列，将数据列类型设置为整数型。

本发明的优点是：通过XML配置文件定义数据源网络配置信息和数据源的数据结构，动态生成数据库，创建网络连接、数据对象类，完成数据动态记录和显示功能。根据不同数据源的数据特点更改数据定义信息，支持大量不同格式、不同类型的数据访问和存取，具有高可扩展性。本发明根据XMLSchema标准设计了一套用于驱动数据库应用的配置文件定义模板，可用于指导XML配置文件的编写及验证XML配置文件的正确性。适用于主流的数据库管理软件，如Access、SQLServer、Oracle等，能够完成所需数据库的自动创建，无需人工维护数据源的网络接收、数据解析存储和数据的可视化功能。当数据结构发生变更或需要添加新的数据源时，更改已有的配置文件或编写新的配置文件，本方法能够自动根据新的配置信息创建更新后的数据库，通过加载新的数据库和配置文件完成数据的记录和显示功能。使用本方法能够有效降低基于关系数据库的应用系统的开发和维护成本。

附图说明

图1是数据库动态创建与解析功能模块框图。

具体实施方式

下面结合附图对本发明作进一步详细说明。参见图1。

如图1所示，基于配置文件的数据库自动创建与数据动态记录方法，由配置文件定义、配置文件解析、网络数据接收、数据解析、数据存储组成。配置文件定义包含配置文件的编写，并根据配置文件动态创建数据库，配置文件是按照配置文件定义模板以及实际的数据结构编写的驱动配置信息；配置文件解析用于解析配置文件中的网络配置信息及数据结构信息，分别驱动网络数据接收模块和数据解析模块；网络数据接收是根据网络配置信息建立网络连接，接收实时数据，并将接收到的数据包传送到数据解析模块；数据解析模块根据配置信息及接收到的数据包动态生成SQL语句，存入数据存储模块的缓存中；数据存储模块的功能是提供SQL插入语句的缓冲区，当缓冲区内语句条目超过阈值，将缓冲区内的若干条SQL数据插入指令作为一个事务提交，完成数据库的写入工作。

步骤一：根据配置文件定义模板，以及实际的数据结构，编写XML格式的配置文件。

配置文件定义模板中的数据源配置部分如下所示：

配置文件定义模板中的数据项配置部分如下所示：

配置文件示例中定义了一个数据源和数据源包含的五个数据项，数据源使用“<Source>”标签定义，其中“Name”属性表示数据源名称，“SourceID”属性表示数据源ID。示例中数据源名称为“仿真数据”，数据源ID为“001”，数据源描述为“定义仿真数据”。

配置文件示例如下：

数据源包含的数据项在“<Data>”标签下定义，每个“<Field>”标签定义一个数据项。示例配置文件中定义五个数据项，分别为“时间周期”、“数据项1”、“数据项2”、“数据项3”、“数据项4”。每个数据项包含若干条数据类型标签和数据属性标签，其中“<Name>”标签定义数据项名称，“<Type>”标签定义数据项类型，“<Description>”标签定义数据项描述，其余的属性标签用于在创建数据块阶段生成各个列的数据库属性。

示例中“时间周期”为长整形(long)，并且定义为数据表主键，“数据项1”定义为非主键且非空，其余三个数据项都定义为非主键且可以为空数据。数据项1定义为整形(int)，数据项2定义为布尔型(bool)。数据项3定义为字符串型(String)，字符串型的数据需要填写“<StringLength>”标签，示例中对应的字符串长度设置为10个字节。数据项4定义为复合比特型(Bit)，“<SubFieldSet>”标签下包含三个“<SubField>”，表示32位的比特分别分配给三个子数据项，“子数据项1”包含8比特位，“子数据项2”包含16比特位，“子数据项3”包含8比特位。定义完成数据源、以及数据源下包含的数据项后，下面可以进行配置文件的校验。

步骤二：利用配置文件定义模板对编写完成的XML配置文件进行校验，如果校验不通过，修改不符合格式要求的部分，并重新校验；如果校验通过，进入步骤三。本专利提供了完整的配置文件定义模板，符合XMLSchema标准，可以使用通用校验工具载入配置文件定义模板和配置文件，完成校验工作。一些第三方XML操作库函数提供基于XMLSchema标准的XML文件校验功能，如MSXML。

步骤三：加载并解析XML配置文件，根据数据结构配置信息自动化创建数据库；配置文件中的数据源“仿真数据”对应数据库中的一张数据表，将数据源名称作为数据表名称，数据源中的五个数据项分别对应数据表中的三个数据列，数据项名称作为列名，数据项类型作为列的类型属性属性作为列的类型和属性，其中“<Recorded>”标签标识是否需要存入数据库，“<IsNull>”标签标识是否可以为空值，“<IsKey>”标签标识是否作为数据表主键。通过加载示例配置文件生成的SQL数据表创建语句，如下所示：

步骤四：根据数据源网络配置信息建立网络连接，用于监控、接收数据，通过查找对应数据源ID的配置信息，访问当前数据库“仿真数据”数据表，实时将接收到的数据动态转换成SQLInsert语句，将SQL语句数据存储模块的存入缓冲区中。当缓冲区内语句条目超过阈值时，将缓冲区内的若干条SQL数据插入指令作为一个事务提交，完成数据库的写入工作；对于缓冲区触发事务提交的条件可以根据具体应用进行设置。下面示例了一条数据插入语句：

INSERTINTO仿真数据

(时间周期,信息1,信息2，信息3，信息_子数据项1，

信息_子数据项2，信息_子数据项3)

VALUES(1,20，TRUE，‘TestData’,5，0，8)

步骤五：加载配置文件及对应的数据库，选择需要显示的数据列，根据对应的数据域绘制坐标轴，读取数据值作为坐标点并绘制曲线图，生成数据的可视化视图。

Claims (2)

1.一种基于配置文件的数据库自动创建与数据动态记录方法，其特征在于，包括：

步骤一：参考配置文件定义模板，根据实际的数据结构，编写XML格式的配置文件；配置文件中包含数据源网络配置信息和数据结构配置信息，数据源网络配置信息包含数据源的IP地址、端口号以及数据发送周期，数据源配置信息包含数据源的名称、描述、ID标识，以及各数据项的名称、类型、对应数据库中列项的属性，其中数据源配置的数据项顺序需要与实际数据结构中定义的数据项顺序保持一致；

步骤二：利用配置文件定义模板对编写完成的XML配置文件进行校验，如果校验不通过，修改不符合格式要求的部分，并重新校验；如果校验通过，进入步骤三；

步骤三：加载并解析配置文件，根据数据结构配置信息自动化创建数据库；配置文件中的一个数据源对应数据库中的一张数据表，将数据源名称作为数据表名称，数据源中的数据项对应数据表中的一列，数据项名称作为列名，数据项类型和属性作为列的类型和属性，列的属性包括是否需要存入数据库、是否可以为空值，是否作为数据表主键、列的默认值；

步骤四：根据数据源网络配置信息建立网络连接，用于监控、接收数据，通过查找对应数据源ID的配置信息，访问当前数据库对应该数据源ID的数据表，实时将接收到的数据动态转换成SQL语句，并存入缓冲区，当缓冲区内语句条目超过阈值，将缓冲区内的若干条SQL数据插入指令作为一个事务提交，完成数据库的写入工作；

步骤五：在数据分析过程中，加载配置文件及对应的数据库，选择需要显示的数据列，根据对应的数据域绘制坐标轴，读取数据值作为坐标点并绘制曲线图，生成数据的可视化视图。

2.如权利要求1所述的一种基于配置文件的数据库自动创建与数据动态记录方法，其特征在于，步骤三还包括：

根据列的类型，读取数据项对应的附加配置信息，分为以下三种情况：

1)基本数据类型，如短整型、整型、长整型、浮点型、双精度浮点型；直接对应数据库中的基本数据类型，无需读取附加配置信息；

2)字符串类型，附加配置信息包括字符串长度，使用字符串类型和字符串长度联合定义数据库中字符串类型的数据列；

3)位定义类型，在定义原始数据结构时为了节省内存，经常使用一个基本数据的存储空间，按照若干比特位的划分表示多个具有实际意义的数据；附加配置信息包括子域标识、每个位定义类型的名称和比特位长度，在创建数据表时将每个位定义类型对应为单独的数据列，将数据列类型设置为整数型。