CN105786998B - 数据库中间件系统及利用其处理数据的方法 - Google Patents

Abstract

本发明涉及一种数据库以及数据的标准化管理平台，尤其涉及一种数据库中间件管理系统，包括数据处理模块和连接在数据处理模块上的数据输入接口、数据输出接口，数据输入接口连接外部原始数据文件并将原始数据文件传输进入数据处理模块，该原始数据文件为工程试验数据，是非结构化二进制数据文件，数据处理模块包括ICD定义文件、数据表建立单元、数据解析单元和数据存储单元，数据输出接口用于连接下游用户，并能够接收下游用户下发的请求信息，根据下游用户的的请求从相应的数据存储表格中提取数据并传输给下游用户，本发明系统为一种数据库统一化标准管理的平台，降低各个系统之间的耦合性，提高各个系统的运行效率以及可靠性。

Description

数据库中间件系统及利用其处理数据的方法

技术领域

本发明属于数据库以及数据的标准化处理技术，尤其涉及一种数据库中间件系统及数据处理方法。

背景技术

在企业应用中往往存在多个系统，而且这些系统需要彼此之间相互配合才能更好更快的进行数据处理，所以对系统之间的数据进行标准化，统一化管理是解决彼此之间相互配合的有力方法。

在现有技术中，由于由于不同的系统都有自己特有的业务处理功能，如果将大量数据的处理与其他业务全部交给一个系统去完成，将大大降低系统的运行效率，甚至使整个系统崩溃的风险。

发明内容

本发明的目的在于克服现有技术中的不足，而提供一种数据库中间件系统及利用其处理数据的方法，从而实现对数据库及数据进行统一化标准化管理，降低各个系统之间的耦合性，提高各个系统的运行效率以及可靠性。

本发明所采用的技术方案：一种数据库中间件系统，与外部数据库连接，包括状态监视模块，能够监视应用服务器到应用试验数据库之间的链接状态；

接口管理模块，其通过Webservice对下游用户接口提供管理和数据库连接，采用axis2技术，符合标准WSDL协议规则；

系统管理模块，包括用户管理、角色管理、用户权限管理、系统日志、字典数据管理；其中用户管理负责整个中间件系统的用户基本信息、登录密码配置；用户权限管理是指系统中的各个功能模块、按钮、显示数据的权限配置；系统日志是指用户在中间件从登陆系统开始所记录的所有操作行为信息；字典数据是指中间件中的枚举型数据集；

数据库管理模块，能够在数据库管理中根据实验业务创建实验对应的数据库实例，包含数据库的用户名、密码、表存储空间的实例化，通过批量的TSQL脚本实现；

备份与恢复模块，能够对数据库中数据进行按库备份、按表备份、即时备份和定时备份；

Oracle数据库，由至少一个表空间和数据库模式对象组成，模式是对象的集合，而模式对象是直接引用数据库数据的逻辑结构，模式对象包括表、视图、序列、存储过程、同义词、索引、簇和数据库链，逻辑存储结构包括表空间、段和范围，用于描述怎样使用数据库的物理空间；

工程管理模块，包括ICD文件解析单元、实验与分系统管理单元以及Dat二进制文件解析单元；ICD文件解析单元是指根据ICD文件定义模板规则，为XML，来说明将要解析的DAT原始数据文件的二进制字节、位数据的处理方式和标准，通过I/O读取数据流，java的Bytes对象进行流数据处理；实验与分系统管理单元为该工程下的实验数据表，实验数据表是以分系统的类别进行创建，实验数据则是各个分系统的实验具体数据；

上游应用程序处理组件，其包含根据ICD定义文件对原始DAT数据文件的处理功能的组件；

下游应用程序处理组件，其为包含WebService一组对下游提供数据业务服务的接口程序组件。

上述ICD定义文件中包含：数据表中的数据类型、表字段名、别名、注释、字段类型、字段长度、对应的dat二进制文件。

一种利用上述的数据库中间件系统处理数据的方法，包括：

步骤1、工程创建

步骤11、进入系统，选择创建工程，数据库为工程实例化新的工程数据库，成功创建工程；

步骤12、选择ICD定义文件，自动完成ICD定义文件中定义的数据库表结构，完成新的数据库表的创建；

步骤13、选择指定工程，并选择创建实验，填写实验的相关信息，完成实验的创建，至此完成工程的创建；

步骤2、数据解析导入

步骤21、根据需要选择已创建的工程，并在已创建的工程中选择已创建的实验；

步骤22、从已创建的实验中选出所需Dat二进制原始文件，系统自动匹配ICD定义文件，并在匹配的ICD定义文件的指导下对选择的Dat二进制原始文件进行解析，将不可阅读的二进制数据类型转换成可直接阅读的关系型数据；

步骤23、在Dat定义文件的指导下，数据流被分割成多份，每份开启一个线程进行多线程并行解析入库，将解析后的关系型数据按照数据类型存储到相应的数据表中，完成入库；

步骤3、下游数据服务

步骤31、将下游实验分析软件、设备通过IP地址，采用WebService访问接口与数据库进行连接；

步骤32、在接收到下游平台的用户登录时发送WebService请求，中间件对登录的用户信息进行校验，若验证失败，直接返回错误信息；若验证成功，除返回成功信息，同时生成一个独立无重复的密钥，并记录用户动作时间；

步骤33、根据WebService请求中的参数信息，系统提供请求所需的参数结果，提供生成的伪SQL语句；

步骤34、系统根据独立无重复的密钥识别用户，将伪sql语句根据数据库映射表转化为真实的sql语句，然后判断用户是否具有执行此sql语句的权限，如果有，系统将这些伪sql语句转换为真实的sql语句，完成对数据的查询，修改操作；

步骤35、下游用户完成对数据库的操作后，修改密钥的活动时间为当前时间，密钥被系统清除，若用户二十分钟无有效操作，则密钥过期。

所述步骤2中，解析后的数据在入库前，先关闭日志记录以及索引，入库后重新开启日志以及重新创建索引的方式进行优化，减少了入库过程中数据库本身日志记录的时间。

本发明的有益效果：

1、本发明系统支持多用户并发，在对100万条数据操作的前提下，并发数达到30个。

2、本发明系统支持多容量数据存储，单表记录数不少于1000万条。

3、本发明系统在1000万条数据中对100万条数据进行查询，响应时间低于40秒。

附图说明

图1是本发明系统结构框图。

图2是本发明系统中工程创建过程示意图。

图3是本发明系统中原始数据解析、数据存储流程图。

图4是本发明系统中下游数据服务WebService提供流程图。

具体实施方式

如图1所示，一种数据库中间件系统，与外部数据库连接，包括状态监视模块，能够监视应用服务器到应用试验数据库之间的链接状态；

接口管理模块，其 通过Webservice对下游用户接口提供管理和数据库连接，采用axis2技术，符合标准WSDL协议规则；

系统管理模块，包括用户管理、角色管理、用户权限管理、系统日志、字典数据管理；其中用户管理负责整个中间件系统的用户基本信息、登录密码配置；用户权限管理是指系统中的各个功能模块、按钮、显示数据的权限配置；系统日志是指用户在中间件从登陆系统开始所记录的所有操作行为信息；字典数据是指中间件中的枚举型数据集；

数据库管理模块，能够在数据库管理中根据实验业务创建实验对应的数据库实例，包含数据库的用户名、密码、表存储空间的实例化，通过批量的TSQL脚本实现；

备份与恢复模块，能够对数据库中数据进行按库备份、按表备份、即时备份和定时备份；

Oracle数据库，由至少一个表空间和数据库模式对象组成，模式是对象的集合，而模式对象是直接引用数据库数据的逻辑结构，模式对象包括表、视图、序列、存储过程、同义词、索引、簇和数据库链。逻辑存储结构包括表空间、段和范围，用于描述怎样使用数据库的物理空间；

工程管理模块，包括ICD文件解析单元、实验与分系统管理单元以及Dat二进制文件解析单元；ICD文件解析单元是指根据ICD文件定义模板规则，为XML，来说明将要解析的DAT原始数据文件的二进制字节、位数据的处理方式和标准，通过I/O读取数据流，java的Bytes对象进行流数据处理；实验与分系统管理单元为该工程下的实验数据表，实验数据表是以分系统的类别进行创建，实验数据则是各个分系统的实验具体数据；

上游应用程序处理组件，其包含根据ICD定义文件对原始DAT数据文件的处理功能的组件；

下游应用程序处理组件，其为包含WebService一组对下游提供数据业务服务的接口程序组件。

上述ICD定义文件中包含了：数据表中的数据类型、表字段名、别名、注释、字段类型、字段长度、对应的dat二进制文件。

一种利用上述数据库中间件系统处理数据的方法，包括：

步骤1、工程创建

步骤11、进入系统，选择创建工程，数据库为工程实例化新的工程数据库，成功创建工程；

步骤12、选择ICD定义文件，自动完成ICD定义文件中定义的数据库表结构，完成新的数据库表的创建；

步骤13、选择指定工程，并选择创建实验，填写实验的相关信息，完成实验的创建，至此完成工程的创建；

步骤2、数据解析导入

步骤21、根据需要选择已创建的工程，并在已创建的工程中选择已创建的实验；

步骤22、从已创建的实验中选出所需Dat二进制原始文件，系统自动匹配ICD定义文件，并在匹配的ICD定义文件的指导下对选择的Dat二进制原始文件进行解析，将不可阅读的二进制数据类型转换成可直接阅读的关系型数据；

步骤23、在Dat定义文件的指导下，数据流被分割成多份，每份开启一个线程进行多线程并行解析入库，将解析后的关系型数据按照数据类型存储到相应的数据表中，完成入库；

步骤3、下游数据服务

步骤31、将下游实验分析软件、设备通过IP地址，采用WebService访问接口与数据库进行连接；

步骤32、在接收到下游平台的用户登录时发送WebService请求，中间件对登录的用户信息进行校验，若验证失败，直接返回错误信息；若验证成功，除返回成功信息，同时生成一个独立无重复的密钥，并记录用户动作时间；

步骤33、根据WebService请求中的参数信息，系统提供请求所需的参数结果，提供生成的伪SQL语句；

步骤34、系统根据独立无重复的密钥识别用户，将伪sql语句根据数据库映射表转化为真实的sql语句，然后判断用户是否具有执行此sql语句的权限，如果有，系统将这些伪sql语句转换为真实的sql语句，完成对数据的查询，修改操作；

步骤35、下游用户完成对数据库的操作后，修改密钥的活动时间为当前时间，密钥被系统清除，若用户二十分钟无有效操作，则密钥过期。

所述步骤2中，解析后的数据在入库前，先关闭日志记录以及索引，入库后重新开启日志以及重新创建索引的方式进行优化，减少了入库过程中数据库本身日志记录的时间。

本发明系统对数据进行处理的过程：

1、工程创建

如图2所示，通过本系统进行数据库实例的统一化创建（本系统称此为工程，每个数据库实例都是以工程为单位）。

需要一份各个系统间统一约定的基于xml的数据库标准化建表文件（ICD文件），定义文件中包含了，数据表中的数据类型，表字段名、别名、注释、字段类型、字段长度、对应的dat二进制文件等。

在特定工程下选择特定的icd标准化文件进行数据库表的提前浏览，并支持编辑后保存创建数据库表。此数据表采用无索引，自动按“天”为单位增长的表分区结构。从而支持大数据量的存储于快速查询。

至此工程下标准化的数据库表创建已经完成。接下来通过本平台创建特定工程下的数据分类（本系统称此为试验）。

2、数据解析导入

如图3所示，数据解析导入分为二类，一类为人工手动导入，面向的是少量数据的入库操作；另一类是通过本系统自动导入，面向是大数据量解析入库操作。

上游系统产生的大量数据是以dat格式的二进制文件进行保存的。通过本系统的数据解析功能，可以将不可阅读的二进制数据类型转换成可直接阅读的关系型数据保存到特性的数据表中。解析过程如下：

进入解析页面依次选择工程—>试验—>特定dat文件。开始解析。

根据选择的内容确定读取的icd文件，通过icd定义文件生成优化的标准SQL语句。

dat文件数据流分割成特定分数（由dat文件大小决定），每份开启一个线程进行多线程并行解析入库，提高存储速率。

使用事务手动提交方式，每300条数据为单位，进行事务统一提交，在确保了内存使用率的情况下，减少了每次与数据库创建连接的时间，从而再次提高了存储速率。

Sql采用入库前先关闭日志记录以及索引，入库后重新开启日志以及重新创建索引的方式进行优化，减少了入库过程中数据库本身日志记录的时间。从而再次提高了存储效率。

至此，数据的解析功能完毕。

此系统作为中间件，除了支持对上游系统的数据解析存储外，还要为下游平台提供数据库相关信息的查询，数据的操作，文件的上传下载等服务。中间件通过两种方式实现上述功能：WebService和开发包。

如图4所示，WebService用于返回数据库表相关信息及用户对数据的操作权限等。提供的接口包括用户的登录验证；响应用户的工程权限；返回用户权限下的数据库及表、列别名；上传和下载相关文件等。下游平台的用户登录时发送WebService请求，中间件对登录的用户信息进行校验，若验证失败，直接返回错误信息；若验证成功，除返回成功信息，同时生成一个独立无重复的密钥，并记录用户动作时间。下游用户在进行其他的WebService请求或者使用开发包操作数据时需携带此密钥方可完成，操作完成后将操作时间更新为当前时间。若用户在二十分钟之内未进行有效操作，密钥失效，需重新登录。用户还可以通过WebService获取在中间件中建立的工程信息、数据库表的操作权限、数据库中的表别名和列别名。下游获取到这些数据表的操作权限及库表的别名、列的别名后组织操作数据的伪sql语句，而后通过提供给下游的开发包将这些伪sql语句转换为真实的sql语句，完成对数据的查询，修改等操作。另外，下游用户在退出系统时，会调用WebService提供的清除密钥接口，清除密钥。这样，中间件完成了对下游设备从登录，至权限分配，再到数据读写，乃至退出整个过程的管控。

开发包主要为下游平台提供数据操作服务。开发包中封装了多个方法，可以执行对中间件存储的数据进行查询，删除，单个导入和批量导入，修改等操作。下游在调用这些方法时需要传入密钥及根据数据库表别名，列别名生成的伪sql语句这两个必要参数。方法内根据独立无重复的密钥识别用户，将伪sql语句根据数据库映射表转化为真实的sql语句，然后判断用户是否具有执行此sql语句的权限。下游用户完成对数据库的操作后，修改密钥的活动时间为当前时间。若用户二十分钟无有效操作，则密钥过期。

Claims (4)

1.一种数据库中间件系统，与外部数据库连接，包括状态监视模块，能够监视应用服务器到应用试验数据库之间的链接状态

接口管理模块，其 通过Webservice对下游用户接口提供管理和数据库连接，采用axis2技术，符合标准WSDL协议规则；

系统管理模块，包括用户管理、角色管理、用户权限管理、系统日志、字典数据管理；其中用户管理负责整个中间件系统的用户基本信息、登录密码配置；用户权限管理是指系统中的各个功能模块、按钮、显示数据的权限配置；系统日志是指用户在中间件从登陆系统开始所记录的所有操作行为信息；字典数据是指中间件中的枚举型数据集；

数据库管理模块，能够在数据库管理中根据实验业务创建实验对应的数据库实例，包含数据库的用户名、密码、表存储空间的实例化，通过批量的TSQL脚本实现；

备份与恢复模块，能够对数据库中数据进行按库备份、按表备份、即时备份和定时备份；

Oracle数据库，由至少一个表空间和数据库模式对象组成，模式是对象的集合，而模式对象是直接引用数据库数据的逻辑结构，模式对象包括表、视图、序列、存储过程、同义词、索引、簇和数据库链，逻辑存储结构包括表空间、段和范围，用于描述怎样使用数据库的物理空间；

工程管理模块，包括ICD文件解析单元、实验与分系统管理单元以及Dat二进制文件解析单元；ICD文件解析单元是指根据ICD文件定义模板规则，为XML，来说明将要解析的DAT原始数据文件的二进制字节、位数据的处理方式和标准，通过I/O读取数据流，java的Bytes对象进行流数据处理；实验与分系统管理单元为该工程下的实验数据表，实验数据表是以分系统的类别进行创建，实验数据则是各个分系统的实验具体数据；

上游应用程序处理组件，其包含根据ICD定义文件对原始DAT数据文件的处理功能的组件；

下游应用程序处理组件，其为包含WebService一组对下游提供数据业务服务的接口程序组件。

2.根据权利要求1所述的数据库中间件系统，其特征在于：所述ICD定义文件中包含：数据表中的数据类型、表字段名、别名、注释、字段类型、字段长度、对应的dat二进制文件。

3.一种利用权利要求1或2所述的数据库中间件系统处理数据的方法，其特征在于：包括：

步骤1、工程创建

步骤11、进入系统，选择创建工程，数据库为工程实例化新的工程数据库，成功创建工程；

步骤12、选择ICD定义文件，自动完成ICD定义文件中定义的数据库表结构，完成新的数据库表的创建；

步骤13、选择指定工程，并选择创建实验，填写实验的相关信息，完成实验的创建，至此完成工程的创建；

步骤2、数据解析导入

步骤21、根据需要选择已创建的工程，并在已创建的工程中选择已创建的实验；

步骤22、从已创建的实验中选出所需Dat二进制原始文件，系统自动匹配ICD定义文件，并在匹配的ICD定义文件的指导下对选择的Dat二进制原始文件进行解析，将不可阅读的二进制数据类型转换成可直接阅读的关系型数据；

步骤23、在Dat定义文件的指导下，数据流被分割成多份，每份开启一个线程进行多线程并行解析入库，将解析后的关系型数据按照数据类型存储到相应的数据表中，完成入库；

步骤3、下游数据服务

步骤31、将下游实验分析软件、设备通过IP地址，采用WebService访问接口与数据库进行连接；

步骤32、在接收到下游平台的用户登录时发送WebService请求，中间件对登录的用户信息进行校验，若验证失败，直接返回错误信息；若验证成功，除返回成功信息，同时生成一个独立无重复的密钥，并记录用户动作时间；

步骤33、根据WebService请求中的参数信息，系统提供请求所需的参数结果，提供生成的伪SQL语句；

步骤34、系统根据独立无重复的密钥识别用户，将伪sql语句根据数据库映射表转化为真实的sql语句，然后判断用户是否具有执行此sql语句的权限，如果有，系统将这些伪sql语句转换为真实的sql语句，完成对数据的查询，修改操作；

步骤35、下游用户完成对数据库的操作后，修改密钥的活动时间为当前时间，密钥被系统清除，若用户二十分钟无有效操作，则密钥过期。

4.根据权利要求3所述的处理数据的方法，其特征在于：所述步骤2中，解析后的数据在入库前，先关闭日志记录以及索引，入库后重新开启日志以及重新创建索引的方式进行优化，减少了入库过程中数据库本身日志记录的时间。