CN102289460B - 一种向测试环境进行报表元数据同步的方法及系统 - Google Patents

Abstract

本发明提供了一种向测试环境进行报表元数据同步的方法及系统，该系统包括：报表元数据读入单元，根据元数据信息和元数据流向关系信息生成当前版本号报表元数据制作清单；版本基线维护单元，用增量结构信息更新版本基线库中对应的历史元数据；测试环境验证单元，判断测试环境元数据结构信息是否与版本基线相一致，如果是，则根据当前版本号报表元数据制作清单生成当前版本号元数据的同步版本；同步版本发送单元，将同步版本发送到对应的测试环境中。以解决报表数据库中元数据的同步问题，实现报表元数据在单元测试、集成测试、系统测试、适应性测试或者生产系统等多个测试环境之间的一致性。

Description

一种向测试环境进行报表元数据同步的方法及系统

技术领域

本发明关于数据同步处理技术领域，具体地讲是一种向测试环境进行报表元数据同步的方法及系统。

背景技术

随着信息技术的不断发展，企业生产经营对信息系统的依赖程度越来越高，反映企业经营的各种报表也越来越多，如经营分析类报表的应用越来越广。目前对于报表类数据库元数据的版本维护工作主要是使用第三方工具完成的，这些通用的版本维护工具，虽能可以对版本进行一定的管理，维护各个版本的基线，但也存在以下不足之处：

（1）报表类数据库元数据之间具有较强的依赖性，但第三方工具缺乏元数据间的流向分析，无法验证元数据版本的正确性。

（2）报表类数据库元数据前后版本之间存在较强的依赖性，但第三方工具缺乏对于报表元数据的基线存储，不利于元数据增量版本的制作和部署。

（3）单元测试、集成测试、系统测试、适应性测试或者生产系统等多个测试环境之间存在环境差异性，但第三方工具缺少对于环境基线的比对，无法保证各环境之间元数据的同步。

针对如上难题，人们一直在研究如何解决报表数据库中元数据的同步问题，从而保证报表元数据在单元测试、集成测试、系统测试、适应性测试或者生产系统等多个测试环境之间的一致性。

发明内容

本发明提供了一种向测试环境进行报表元数据同步的方法及系统，以解决报表数据库中元数据的同步问题，实现报表元数据在单元测试、集成测试、系统测试、适应性测试或者生产系统等多个测试环境之间的一致性。

本发明的目的之一是，提供一种向测试环境进行报表元数据同步的方法，该方法包括：在开发环境中读入用户提交的报表清单，并根据报表清单的报表编号从开发环境数据库获取对应的报表元数据；根据报表元数据生成元数据信息和元数据流向关系信息，将元数据信息和元数据流向关系信息以当前版本号为单位存储到元数据库中，并根据元数据信息和元数据流向关系信息生成当前版本号报表元数据制作清单；根据当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据，将当前版本号报表元数据制作清单中的报表元数据结构信息与历史元数据的结构信息进行对比，生成增量结构信息，并用增量结构信息更新所述版本基线库中对应的历史元数据；根据当前版本号报表元数据制作清单从测试环境中获取对应的元数据，生成测试环境元数据结构信息，并从版本基线库中获取当前版本号报表元数据的版本基线，判断测试环境元数据结构信息是否与版本基线相一致，如果是，则根据当前版本号报表元数据制作清单生成当前版本号元数据的同步版本；根据当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据时，如果版本基线库中不存在对应的历史元数据，则将当前版本号报表元数据制作清单中的报表元数据结构信息作为版本基线存储到版本基线库中；将同步版本传送到对应的测试环境中。

本发明的目的之一是，提供一种向测试环境进行报表元数据同步的系统，该系统包括：报表元数据读入单元，用于在开发环境中读入用户提交的报表清单，并根据报表清单的报表编号从开发环境数据库获取对应的报表元数据；制作清单生成单元，用于根据报表元数据生成元数据信息和元数据流向关系信息，将元数据信息和元数据流向关系信息以当前版本号为单位存储到元数据库中，并根据元数据信息和元数据流向关系信息生成当前版本号报表元数据制作清单；版本基线维护单元，用于根据当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据，将当前版本号报表元数据制作清单中的报表元数据结构信息与历史元数据的结构信息进行对比，生成增量结构信息，并用增量结构信息更新版本基线库中对应的历史元数据，版本基线维护单元根据当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据时，如果版本基线库中不存在对应的历史元数据，则将当前版本号报表元数据制作清单中的报表元数据结构信息作为版本基线存储到版本基线库中；测试环境验证单元，用于根据当前版本号报表元数据制作清单从测试环境中获取对应的元数据，生成测试环境元数据结构信息，并从版本基线库中获取当前版本号报表元数据的版本基线，判断测试环境元数据结构信息是否与版本基线相一致，如果是，则根据当前版本号报表元数据制作清单生成当前版本号元数据的同步版本；同步版本发送单元，将同步版本发送到对应的测试环境中。

本发明的有益效果在于：直接从开发环境中获取并提炼开发元数据，建立元数据信息库，从而保证了元数据的时效性和准确性。记录元数据变更的轨迹，对存在于生命周期内的元数据进行变更轨迹分析，维护版本基线，并支持恢复出各个时期元数据的数据结构以及变更的数据结构。通过对元数据程序语法进行分析，获得元数据间的流向关系，快速准确地生成元数据有向网模型，确保以报表为单位的版本制作的准确性。通过对各个测试环境的安装验，即对版本安装的环境进行基线比对，减少版本错装、漏装的可能性，确保各测试环境间的版本同步。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的向测试环境进行报表元数据同步的方法流程图；

图2为本发明实施例的向测试环境进行报表元数据同步的系统结构框图；

图3为本发明实施例的向测试环境进行报表元数据同步的系统示意图；

图4为本发明实施例的元数据解析流程图；

图5为本发明实施例的版本基线维护流程图；

图6为本发明实施例的测试环境安装验证流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例的向测试环境进行报表元数据同步的方法包括：在开发环境中读入用户提交的报表清单，并根据报表清单的报表编号从开发环境数据库获取对应的报表元数据（步骤S101）；根据报表元数据生成元数据信息和元数据流向关系信息，将元数据信息和元数据流向关系信息以当前版本号为单位存储到元数据库中，并根据元数据信息和元数据流向关系信息生成当前版本号报表元数据制作清单（步骤S102）；根据当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据，将当前版本号报表元数据制作清单中的报表元数据结构信息与历史元数据的结构信息进行对比，生成增量结构信息，并用增量结构信息更新所述版本基线库中对应的历史元数据（步骤S103）；根据当前版本号报表元数据制作清单从测试环境中获取对应的元数据，生成测试环境元数据结构信息，并从版本基线库中获取当前版本号报表元数据的版本基线，判断测试环境元数据结构信息是否与版本基线相一致，如果是，则根据当前版本号报表元数据制作清单生成当前版本号元数据的同步版本（步骤S104）；将同步版本传送到对应的测试环境中（步骤S105）。

如图2所示，本实施例的向测试环境进行报表元数据同步的系统包括：报表元数据同步服务器100，开发环境数据库201，元数据库202，版本基线库203,以及测试环境中的各个元数据库，如：单元测试环境元数据库301，集成测试环境元数据库302，系统测试环境元数据库303，适应测试环境元数据库304，生产环境元数据库305。

报表元数据同步服务器100包括：报表元数据读入单元101，用于在开发环境中读入用户提交的报表清单，并根据报表清单的报表编号从开发环境数据库201获取对应的报表元数据；制作清单生成单元102，用于根据报表元数据生成元数据信息和元数据流向关系信息，将元数据信息和元数据流向关系信息以当前版本号为单位存储到元数据库202中，并根据元数据信息和元数据流向关系信息生成当前版本号报表元数据制作清单；版本基线维护单元103，用于根据当前版本号报表元数据制作清单从版本基线库203中获取对应的历史元数据，将当前版本号报表元数据制作清单中的报表元数据结构信息与历史元数据的结构信息进行对比，生成增量结构信息，并用增量结构信息更新版本基线库203中对应的历史元数据；测试环境验证单元104，用于根据当前版本号报表元数据制作清单从测试环境中（如：元数据库301～305）获取对应的元数据，生成测试环境元数据结构信息，并从版本基线库中获取当前版本号报表元数据的版本基线，判断测试环境元数据结构信息是否与版本基线相一致，如果是，则根据当前版本号报表元数据制作清单生成当前版本号元数据的同步版本；同步版本发送单元105，将同步版本发送到对应的测试环境中。

如图3所示，本实施例的向测试环境进行报表元数据同步的系统包括：报表元数据同步服务器100′，元数据库服务器202′，版本基线库服务器203′,以及测试环境中的各个元数据库，如：单元测试环境元数据库服务器301′，集成测试环境元数据库服务器302′，系统测试环境元数据库服务器303′，适应测试环境元数据库服务器304′，生产环境元数据库服务器305′。

报表元数据同步服务器100′分别与所述的元数据库服务器202′、版本基线库服务器203′、单元测试环境元数据库服务器301′、集成测试环境元数据库服务器302′、系统测试环境元数据库服务器303′、适应测试环境元数据库服务器304′、生产环境元数据库服务器305′相连接。

报表元数据同步服务器100′通过报表元数据读入单元、版本基线维护单元实现了对于报表元数据以及版本基线的有效维护。通过版本制作装置、环境安装验证装置提供版本的制作以及环境的检验功能。其中：

报表元数据是指：存储在报表数据库中的各种报表的表结构、索引、存储过程等报表结构与程序数据，它们是报表处理的基础，报表处理引擎通过读取并处理报表元数据，实现报表的加工处理并生产出报表。

报表有向网络是指：同一张报表中的两个报表元数据之间存在较强的依赖关系，比如：表间的数据流向关系，存储过程间的调用关系，将两个报表元数据之间的关系记为一条有向的关系链路，并由这些关系链路构成该报表的报表元数据的有向网络。

版本基线是指：由于报表元数据是处在一个不断的更新过程中，版本基线就是一次报表元数据进行变更前的基础数据，它一般是上一次发布变更版本并完成对报表元数据数据库更新后的状态，即此时的报表元数据数据库中全量的报表元数据，版本基线以版本号作为标识。

环境差异性是指：由于报表开发及测试具有一定的时间延续性，一般在不同的测试环境中存在多个版本基线，如：上一个版本正处在适应性测试阶段，而这个版本已经进入到集成测试阶段。

同步版本是指：按照最新的版本基线制作版本，并依次向单元测试、集成测试、系统测试、适应性测试或者生产环境进行元数据版本同步。

在图2中，报表元数据同步服务器100由报表元数据读入单元101、制作清单生成单元102、版本基线维护单元103、测试环境验证单元104以及同步版本发送单元105组成。

报表元数据读入单元101，读入用户提交的报表清单，从测试环境的元数据库201中提取报表元数据，并提交给制作清单生成单元102和版本基线维护单元103。

制作清单生成单元102负责对报表元数据读入单元101提供的报表元数据进行代码解析、关系梳理，生成报表元数据制作清单，将梳理结果以当前版本号为单位保存入元数据库202中。

版本基线维护单元103对前后版本基线中的元数据进行变更轨迹分析，维护版本基线，将结果以当前版本号为单位保存入版本基线库203中。并负责接收从制作清单生成单元102传入的报表元数据制作清单，并根据清单依次对元数据结构信息、流向信息进行解析生成同步版本。

测试环境验证单元104，负责从单元测试301、集成测试302、系统测试303、适应性测试304或者生产环境305等环境收集环境数据，比对环境是否满足安装条件（即判断环境中的报表元数据是否已更新至当前版本号的上一个版本基线），对于满足安装验证条件的环境，同步版本发送单元105将同步版本发送到对应的测试环境中进行安装。

报表元数据同步服务器100具体包括：负责元数据结构信息的提取和规范化，接收以报表编号为单位提供的报表结构体。从开发环境数据库系统视图中获得程序的源代码，并将得到的程序源代码进行规范化处理。包括：去除注释，替换引用，提取公共调用模块等。从开发环境数据库系统视图中提取元数据的定义信息。包括：对象名，字段名，字段类型，表空间名，分区名等。将报表配置信息以及元数据基本信息保存入元数据库中。

规范化的元数据关系梳理的功能为：对规范化后的存储过程进行代码拆分。对SQL语句进行解析，获得语句中存在的报表元数据信息。包括：表名、存储过程名、视图名等。根据SQL语句的操作类型，确定两个元数据之间的流向关系，形成一条元数据有向关系链路。将元数据流向关系保存入元数据库中。提交元数据版本制作清单（包括：元数据编号，元数据定义信息，元数据流向关系）。将获得的元数据以及流向信息通过以表1至表3的结构保存在元数据库中。（表1）报表配置信息

（表2）元数据基本信息

（表3）元数据流向关系

报表元数据同步服务器100还负责元数据结构体的生成以及元数据前后两个版本间的变动情况分析，主要功能是：根据元数据版本制作清单中的元数据定义信息并进行格式化，生成元数据结构体。从版本基线库中获取版本基线元数据结构体，对该版本进行版本发布影响分析，确定存在影响的版本号。对前后版本间的元数据结构体进行比对，缩小元数据版本制作范围（即只对前后版本间发生变动的元数据进行版本制作，如：新增，修改，删除），对存在变动的元数据生成增量结构信息。

报表元数据同步服务器100还负责报表元数据的版本基线维护，主要功能是：分配最新的版本号，将元数据变更轨迹分析得到的最新版本号作为版本基础，生成版本基本信息表。根据元数据版本制作清单中的元数据流向关系，识别出版本中元数据安装脚本间的调用顺序，生成版本制作对象信息表。获得元数据变更轨迹分析生成的结构体，生成版本制作对象结构表。将最终的元数据版本制作清单进行重新封装（包括：元数据编号，元数据调用顺序，元数据增量结构体）。由元数据版本信息通过以下表4至表6的结构保存在版本基线库中。

（表4）版本基本信息表

（表5）版本制作对象信息表

（表6）版本制作对象结构表

报表元数据同步服务器100的报表元数据进行同步的工作流程包括：在开发系统中启动元数据版本生成处理，读入用户提交的报表清单，根据报表编号读取报表元数据。将报表元数据发送给版本基线维护。版本基线维护负责对报表元数据进行解析处理。版本基线维护负责对报表元数据库进行版本基线维护处理，并将报表元数据制作清单提交。检查单元测试、集成测试、系统测试、适应性测试或者生产系统等环境中的元数据版本基线与开发环境中元数据版本数据的基线是否一致。生成报表元数据制作清单，清单包括元数据编号，元数据调用顺序，元数据增量结构信息。生成与开发环境版本基线相比被更新的元数据版本。将元数据版本数据传输到单元测试、集成测试、系统测试、适应性测试或者生产系统等环境中。将接收的元数据版本数据更新到单元测试、集成测试、系统测试、适应性测试或者生产系统等环境中的元数据库中。

如图4所示，元数据解析流程包括：

步骤S1001，接收以报表编号为单位提供的报表结构体，启动元数据解析处理。

步骤S1002，从结构体中解析出联机程序名，访问开发环境数据库系统视图获得程序源代码信息。

步骤S1003，对保存在数据库系统视图中的包结构的源代码进行整合，返回完整的包结构。并对程序源代码进行规范化处理。包括去除注释，替换引用，提取公共调用模块等。

步骤S1004，将每个包结构以存储过程为单位进行拆分，返回完整的存储过程结构。

步骤S1005，对每个存储过程进行语句级拆分，返回每一句的SQL语句。

步骤S1006，从SQL语句中通过正则表达式解析出语句中被调用的存储过程名称，记录程序间的调用关系。如：B在A中被调用，则记录一条A（来源元数据）至B（目标元数据）的流向关系，关系类型为程序调用关系。

步骤S1007，对SQL语句的关键字（INSERT,UPDATE,DELETE,MERGE）进行判断，确定语句的类型，并根据语句的格式，通过正则表达式解析出语句中的元数据名。如：INSERT A SELECT FROM B，则匹配INSERT关键字后的第一个出现的单词字符为表名。

步骤S1008，确定语句中元数据间的数据流向关系。如：INSERT A SELECTFROM B，则记录一条B（来源元数据）至A（目标元数据）的流向关系，关系类型为表间数据流向关系。

步骤S1009，判断当前存储过程中的所有SQL语句是否已解析完成，如果是则转到步骤S1010，如果不是则重复执行步骤S1005至步骤S1008。

步骤S1010，判断当前存储过程中是否有调用的存储过程名，如果有则重复执行步骤S1002至步骤S1008继续解析被调用的存储过程。如果没有则转到步骤S1011。

步骤S1011，将找到的元数据信息和元数据流向关系信息依次保存入元数据库的元数据基本信息以及元数据流向关系表中。

步骤S1012，根据报表元数据流向关系，生成所有版本制作的报表元数据有向网络，去除重复元数据后，反馈版本制作所涉及的所有元数据清单。

如图5所示，版本基线维护处理流程包括：

步骤S2001，根据版本元数据版本制作清单，自动触发版本基线维护处理，依次对清单中的元数据进行解析。

步骤S2002，启用结构体生成引擎，对元数据定义信息进行结构化，生成元数据结构体。如：表名(字段名1,字段名2,…)|表空间名(分区名1,分区名2,…)|索引名(索引字段名1,索引字段名2,…)|索引表空间名(分区名1,分区名2,…)|约束名(约束字段名1,约束字段名2,…)

步骤S2003，判断元数据在历史基线中是否存在，如果存在则转至步骤S2004。

步骤S2004，从版本基线库中获得历史版本中该元数据涉及的最新版本号，并获得该版本号下的元数据结构体。

步骤S2005，将步骤S2004得到的元数据结构体与步骤S2002生成的结构体进行比对。

步骤S2006，判断步骤S2005得到的版本基线比较的结果是否一致，如果不一致则转至步骤S2007。

步骤S2007，对于存在变化的元数据生成增量结构信息，记录版本制作类型为修改。对于在历史基线中不存在的元数据，记录当前版本的结构信息，记录版本制作类型为新增。

步骤S2008，从元数据版本制作清单中提取元数据流向信息，并根据流向信息，记录版本中元数据在版本安装时的调用次序。

步骤S2009，启动版本基线生成器，记录版本号，版本基础，版本发布人员等版本发布信息，并将版本基本信息，版本制作对象信息，版本制作对象结构信息保存入版本基线库中。

步骤S2010，对元数据版本制作清单进行重新封装，将元数据编号，元数据调用顺序，元数据增量结构体提交至生成同步版本的相关单元。

如图6所示，环境安装验证流程包括：

步骤S3001，根据元数据版本制作清单，启动环境检验引擎。

步骤S3002，从版本基线库中获得清单中元数据基础版本的数据结构及代码。

步骤S3003，从测试环境中数据库系统视图中获取元数据定义信息以及程序源代码，经元数据变更轨迹分析进行格式化，生成元数据结构体后，与元数据基础版本的数据结构进行比对。

步骤S3004，如果比对结果一致，则将该环境的版本状态更新为验证通过。则用户可以在该环境安装此次发布的同步版本。

步骤S3005，如果比对结果不一致，则将该环境的版本状态更新为验证未通过。则用户无法在该环境安装此次发布的同步版本。

本发明实施例将报表元数据和版本基线进行有效的管理，并比对各测试环境版本基线，其优点在于：直接从开发环境中获取并提炼开发元数据，建立元数据信息库，从而保证了元数据的时效性和准确性。记录元数据变更的轨迹，对存在于生命周期内的元数据进行变更轨迹分析，维护版本基线，并支持恢复出各个时期元数据的数据结构以及变更的数据结构。通过元数据梳理装置对程序语法进行分析，获得元数据间的流向关系，快速准确地生成元数据有向网模型，确保以报表为单位的版本制作的准确性。通过环境安装验证装置对版本安装的环境进行基线比对，减少版本错装，漏装的可能性，确保各环境间的版本同步。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种向测试环境进行报表元数据同步的方法，其特征是，所述的方法包括：

在开发环境中读入用户提交的报表清单，并根据所述报表清单的报表编号从开发环境数据库获取对应的报表元数据；

根据所述的报表元数据生成元数据信息和元数据流向关系信息，将所述的元数据信息和元数据流向关系信息以当前版本号为单位存储到元数据库中，并根据所述的元数据信息和元数据流向关系信息生成当前版本号报表元数据制作清单；

根据所述的当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据，将当前版本号报表元数据制作清单中的报表元数据结构信息与所述历史元数据的结构信息进行对比，生成增量结构信息，并用所述的增量结构信息更新所述版本基线库中对应的历史元数据；

根据所述的当前版本号报表元数据制作清单从所述的测试环境中获取对应的元数据，生成测试环境元数据结构信息，并从所述的版本基线库中获取当前版本号报表元数据的版本基线，判断所述的测试环境元数据结构信息是否与所述的版本基线相一致，如果是，则根据所述的当前版本号报表元数据制作清单生成当前版本号元数据的同步版本；

根据所述的当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据时，如果所述的版本基线库中不存在对应的历史元数据，则将当前版本号报表元数据制作清单中的报表元数据结构信息作为版本基线存储到所述的版本基线库中；

将所述的同步版本传送到对应的测试环境中。

2.根据权利要求1所述的向测试环境进行报表元数据同步的方法，其特征是，所述的测试环境包括：单元测试环境、集成测试环境、系统测试环境、适应性测试环境或生产系统环境。

3.一种向测试环境进行报表元数据同步的系统，其特征是，所述的系统包括：

报表元数据读入单元，用于在开发环境中读入用户提交的报表清单，并根据所述报表清单的报表编号从开发环境数据库获取对应的报表元数据；

制作清单生成单元，用于根据所述的报表元数据生成元数据信息和元数据流向关系信息，将所述的元数据信息和元数据流向关系信息以当前版本号为单位存储到元数据库中，并根据所述的元数据信息和元数据流向关系信息生成当前版本号报表元数据制作清单；

版本基线维护单元，用于根据所述的当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据，将当前版本号报表元数据制作清单中的报表元数据结构信息与所述历史元数据的结构信息进行对比，生成增量结构信息，并用所述的增量结构信息更新所述版本基线库中对应的历史元数据，所述的版本基线维护单元根据所述的当前版本号报表元数据制作清单从版本基线库中获取对应的历史元数据时，如果所述的版本基线库中不存在对应的历史元数据，则将当前版本号报表元数据制作清单中的报表元数据结构信息作为版本基线存储到所述的版本基线库中；

测试环境验证单元，用于根据所述的当前版本号报表元数据制作清单从所述的测试环境中获取对应的元数据，生成测试环境元数据结构信息，并从所述的版本基线库中获取当前版本号报表元数据的版本基线，判断所述的测试环境元数据结构信息是否与所述的版本基线相一致，如果是，则根据所述的当前版本号报表元数据制作清单生成当前版本号元数据的同步版本；

同步版本发送单元，将所述的同步版本发送到对应的测试环境中。

4.根据权利要求3所述的向测试环境进行报表元数据同步的系统，其特征是，所述的测试环境包括：单元测试环境、集成测试环境、系统测试环境、适应性测试环境或生产系统环境。

Images