CN104504094B - 一种用于油气田的多种数据源集成管理方法及数据管理系统 - Google Patents

Abstract

本发明涉及一种用于油气田的多种数据源集成管理方法，包括步骤1，根据参考模型结合多种数据源建立统一数据模型；步骤2，根据统一数据模型进行投影部署建立中心数据库；步骤3，利用统一的数据模型和中心数据库集成多协议数据接口搭建数据管理系统。本发明解决了油气田数字化建设和改造进程中多元数据管理、多种数据源的集成管理等方面缺乏成熟或通用技术的难题，满足了数字化油田统一标准管理、规范化管理、多种数据无缝融合和协同办公的需求，具有重要的社会效益和经济效益。

Description

一种用于油气田的多种数据源集成管理方法及数据管理系统

技术领域

本发明涉及多源数据处理领域，尤其涉及一种用于油气田的多种数据源集成管理方法及数据管理系统。

背景技术

油气田行业多种数据源集成的实现是以普通的异构数据源集成的实现为前提的。普通的异构数据源集成的实现主要有多数据库语言系统集成和模式集成两种方法，前者只提供了统一的多信息源操作语言和公共接口以访问成员数据库，各成员数据库高度自治，但没有解决语义异构和实现存取定位透明，用户必须指明所要访问的数据源(库)，各数据源(库)之间的约束和依赖关系也必须由用户和应用程序负责定义和维护。该方法比较适合于集成少量信息源(库)。

目前通常采用联邦式、数据仓库和基于中间件模型等方法来构造数据集成系统，这些技术在不同的着重点和应用上解决数据共享问题。

1.数据联邦模式

数据联邦(Federation)是目前比较成熟的企业数据集成方法之一。

联邦数据库系统(FDBS)由半自治数据库系统构成，相互之间分享数据，联盟各数据源之间相互提供访问接口，同时联盟数据库系统可以是集中数据库系统或分布式数据库系统及其他联邦式系统。联邦数据库技术是在维持局部成员数据库自治的前提下，在数据集成层次对异构的成员数据库进行部分集成，提供对异构成员数据库的共享和透明访问。联邦技术能够统一地访问以任何模式(结构化和非结构化)存储的任何数字信息，具有透明性、异构性、底层联邦数据源的自治、可扩展性、开放性等主要特征。采用EtaMatrix，Wrapper或Aqualogics这样的数据联合器，就不再需要构建集中式数据仓库。数据方位指令进而转换为数据源所支持的SQL，通过数据源的客户端提交执行，然后将结果返回给信息集成服务器处理。联邦数据服务器带有一个标准的数据库系统，用于管理全局数据字典。这种模式的代表产品如IBM Web-Sphere Federation Server。

2.数据仓库模式

这种模式首先从一个或多个数据源中抽取数据，并对数据进行必要的处理(分析、转换和装载)，将数据存储到目标数据仓库中。最终操作将针对目标数据仓库的数据进行。这种模式通常包含ETL和数据仓库技术。另外一种变体就是数据复制，它的基本要求是源数据库和目标数据库要有完全相同的数据结构。ETL工具从多个数据源中抽取数据,然后进行数据转换和加载,最终得到统一的、完备的数据仓库。原来分散的应用系统仍然独立运作,原来存在的异构数据源仍然为各自的应用系统提供数据服务，不会破坏企业原有的应用架构,比较适合于大量数据的迁移，同时，可以提供复杂的数据转换功能，可以集成多种数据源和复杂的商业规则,能容忍数据在时间上的延迟。这种模式的代表产品如IBM webSphereDWE,DataStage及Replication Server。该模式支持复杂的数据转换，适合频繁查询的“热数据”，性能可预测性较高，但实时性依赖于数据更新周期，数据更新周期越短实时性越高。

3.中间件模式

中间件模式是目前比较流行的数据集成方法，它通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节，使得用户可以把集成数据源看为一个统一的整体。

在中间层上存在一个虚拟的数据服务层，该层通过JDBC，FILE适配器、应用适配器等与数据层的各种数据源实现连接，将数据源中的各种数据实体映射成中间件的虚拟数据层的表，虚拟数据层中的表都只有元数据，而不存储实际的生产数据。用户可以在虚拟数据层上采用可视化图形界面定义数据映射关系，进行数据加工整合，这些数据加工逻辑一般会以文件或者数据库方式存储。定义好的数据可以通过web service，JDBC,数据对象等多种方式发布出去。当用户通过中间件访问虚拟数据层的数据时，虚拟数据层会根据系统定义的逻辑首先将需要加工的细节数据从各个数据源抽取到虚拟数据层，然后中间件根据设计时的数据加工逻辑对其进行加工，最后中间件将加工好的数据以调用接口要求的格式返回。

数据联邦模式由于没有本地数据存储，缺乏统一的中心数据库实体，故其每次处理用户请求都需要实时从数据源获取数据，这样保证与数据源的数据同步，从而能容易的支持数据更改，但集成时需要在相关数据源之间建立链接，当集成数据源数量众多时，加入新的数据源就需要建立大量的链接，数据传输量大，其可用性不仅依赖联邦服务器，还依赖数据源及网络的可用性。再者，数据联邦的松耦合模式不提供统一的接口，无法处理某些数据转换和清洗，但可以通过统一的语言访问数据源，其中核心的是必须解决所有数据源语义上的问题。

数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的和不可修改的数据集合。其中，数据被归类为广义的、功能上独立的、没有重叠的主题。这几种方法在一定程度上解决了应用之间的数据共享和互通的问题，但数据仓库的ETL过程本身存在与数据源同步的问题，难以支持数据更改。

中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间件位于异构数据源系统(数据层)和应用程序(应用层)之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。数据库操作比较集中，对数据服务中间件的可靠性要求就非常高，一旦中间件出现问题，所有数据连接都将断掉，从而导致系统瘫痪，这种方式不适合于高性能应用处理。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种用于油气田的多种数据源集成管理方法及数据管理系统。

本发明解决上述技术问题的技术方案如下：一种用于油气田的多种数据源集成管理方法，包括如下步骤：

步骤1，根据参考模型结合多种数据源建立统一数据模型；

步骤2，根据统一数据模型进行投影部署建立中心数据库；

步骤3，利用统一的数据模型和中心数据库集成多协议数据接口搭建数据管理系统。

本发明解决上述技术问题搭建的数据管理系统，包括数据资源管理模块、数据模型管理模块、数据采集管理模块、数据质量控制模块、数据同步管理模块、中心数据库和数据服务管理模块。

所述数据资源管理模块，其用于对多种数据源的数据现状、数据完整性和数据存储目录进行动态管理；

所述数据模型管理模块，其用于对统一的数据模型及其对应的实际物理数据库进行管理；

所述数据采集管理模块，其用于实现采集任务的管理和源头数据的采集；

所述数据质量控制模块，其用于实现监控规则、监控任务和监控结果的管理，以及质量考核报告的生成与发布；

所述数据同步管理模块，其用于实现数据迁移任务的定制与维护，以及迁移任务的启动与监控；

所述中心数据库，其用于实现数据存储；

所述数据服务管理模块，其用于实现服务方式管理和服务内容管理。

本发明的有益效果是：本发明解决了油气田数字化建设和改造进程中多元数据管理、多种数据源的集成管理方面缺乏成熟或通用技术的难题，满足了数字化油田统一标准管理、规范化管理、多种数据无缝融合和协同办公的需求，具有重要的社会效益和经济效益。

附图说明

图1为本发明一种用于油气田的多种数据源集成管理方法流程图；

图2为本发明所述统一的数据模型示意图；

图3为本发明所述数据模型投影示意图；

图4为本发明所述数据管理系统框架示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

油气田行业多种数据源集成管理是数字化油田多元数据一体化应用研究的经典问题，并随着网络技术的迅猛发展，再次成为了该领域研究的一个热点。单从集成角度来看，油气田企业的多种数据源集成，与普通的异构数据源集成具有同样的共性问题。然而，从构建油气田企业应用的支撑系统角度来看，必须考虑油气田企业多种数据源集成的特殊性。整体而言，在构建企业异构数据源集成系统时，主要会面对并且要解决以下几个方面的问题：

异构性

异构性是油气田企业多种数据源集成面临的首要问题，主要表现在两个方面：

系统异构，即油气田企业数据源所依赖的应用系统、数据库管理系统乃至操作系统之间的不同构成了整个油气田数字化系统的数据源异构环境。

模式异构，即数据源在存储模式上的不同。一般的存储模式包括关系模式、对象模式、对象关系模式和文档嵌套模式等几种，其中关系模式为主流的存储模式。需要注意的是，即便是同一类存储模式，它们的模式结构可能也存在着差异。例如oracle所采用的数据类型SQL Server所采用的数据类型在表达形式、存储结构上并不是完全一致的。

分布性

网络时代的企业应用对传统数据集成方法提出了新的挑战，提出了更高的标准。一般说来，油气田企业多种数据源集成系统必须满足：轻量快速部署，即系统可以快速适应数据源改变和低投入的特性，同时还要尽量保护企业己有投资。

语义冲突

油气田企业的各数据源之间存在着语义上的区别。这些语义上的不同可能引起各种矛盾，从简单的名字语义冲突(不同的名字代表相同的概念)，到复杂的结构语义冲突(不同的模型表达同样的信息)。语义冲突会带来数据源集成结果的冗余，干扰数据的处理、发布和交换。所以要尽量减少语义冲突，这也是普通的异构数据源集成的一个研究热点。

权限瓶颈

由于数据库资源可能归属于不同的油气田应用、不同的油气田单位，所以如何在访问各数据源的过程中保证原有数据库中的数据不受侵害就变得颇为重要，实现对原有数据源访问权限的隔离和控制，就成为连接多数据源数据库必须要解决的问题。

附加约束

集成两个或多个数据源的时候，各数据源中的数据之间可能存在着某种联系，例如开发生产数据库中的产量数据和外供销售数据之间就存在必然联系。这种必然联系附加到数据源集成的过程中就称之为附加约束。

集成嵌入限定

为了保证外界系统对数据源中的数据进行实时访问，传统的异构数据源集成系统需要对数据源中每时每刻的变换进行监控(一般采用数据库中的触发器机制)，但这是以集成系统嵌入到数据库中为实现前提的。但在油气田应用中，为了保证数据库的安全，一般禁止将其他系统嵌入到数据库的做法，这就是集成嵌入限定问题。

在油气田行业的实际应用中，不同的数据库对同一访问语句的支持程度和处理能力(即数据源的基本操作能力)是不同的，需要因地制宜给予解决，这在早期的异构数据源集成系统中没有进行有效处理。此外，传统的异构数据源集成仍停留在编程实现的层次上，没有能够用完善的数学模型进行分析、归纳。由于对异构数据源集成的大量研究还停留在普通的异构数据源集成层次上，对数据源访问的权限瓶颈、附加约束、集成内容限定、集成嵌入限定没有经过谨慎考虑，这样造成在普通的异构数据源集成系统具体实施到油气田企业应用的过程中，访问数据易受到外界损坏、执行效率低下、并发能力差等情况，严重地影响了油气田企业应用正常运行，因此需要在新的多种数据源集成管理方法中予以解决。

本发明技术方案结合全球多个油气田行业的数字化集成理念和观点，通过“多种数据源与EPDM、APDM、POSC模型相结合建立起统一的数据模型；以数据模型为基础，建设数字油气田数据管理系统；应用多协议数据接口技术实现多源数据到中心数据库的迁移集中存储管理，中心数据库为各专业应用系统提供实时数据同步服务”这种用于油气田的多种数据源集成管理方法的研究和试验，形成了一套适合油气田行业多元数据集成管理的综合技术。该发明专利综合技术以统一数据模型、中心数据库、数据管理系统建设作为数据集成管理的核心，通过多协议数据接口技术将SCADA系统、F&G系统、CCTV系统等多种数据源的数据迁移到中心数据库，按照统一数据模型分类存储和备份管理，并为油气田勘探、开发、生产、设备、HSE、行政、经营、后勤保障等一体化管理应用提供支撑。该专利综合技术的应用解决了油气田数字化建设和改造进程中多元数据管理、多种数据源的集成管理等方面缺乏成熟或通用技术的难题，基本满足了数字化油田统一标准管理、规范化管理、多种数据无缝融合和协同办公的需求，具有重要的社会效益和经济效益。

如图1所示，一种用于油气田的多种数据源集成管理方法，包括如下步骤：

步骤1，根据参考模型结合多种数据源建立统一数据模型；

步骤2，根据统一数据模型进行投影部署建立中心数据库；

步骤3，利用统一的数据模型和中心数据库集成多协议数据接口搭建数据管理系统。

步骤1中根据参考模型结合多种数据源建立统一数据模型的具体操作为：

步骤1.1，采用面向对象的技术从油气田业务模型中抽象出实体对象，所述实体对象包括业务对象和业务活动；

步骤1.2，基于业务活动的格式化数据描述，分析每个实体对象的实体属性；

步骤1.3，根据实体对象的属性建立实体对象之间的关系；

步骤1.4，将实体对象和实体属性的名称及代码进行规范化和标准化，形成统一的数据元素字典，建立统一的“对象-活动-属性”数据模型。

统一数据模型

统一数据模型能够将油气勘探开发、油气储运、油气生产、后勤保障等不同业务数据信息集中分类存储。

统一数据模型可以在统一抽取设计规则下，根据业务需求扩展或者修改完善。

统一数据模型应该支持跨专业的数据共享。统一数据模型定义不同类型数据的格式、内容、来源、目标、接口等，可以最小化数据管理以及满足数字化油田的需求。

统一数据模型应该遵守ENERGISTICS、WITSML、PRODML和RESQML等石油数据标准。

统一数据模型应该从地质、工艺、油藏和生产等方面定义油气田的核心对象，并建立对象之间的关系。

统一数据模型应该覆盖这些专业，勘探、油气藏、钻井、地球物理测井、录井、完井、试油、采油/气工程、分析化验、井下作业、油气储运、地面工程、油气生产、生产测试以及非结构化数据。

如图2所示，本发明采用面向对象的技术从油气田业务模型中抽象设计出实体对象，包括业务对象和业务活动，然后基于业务活动的格式化数据描述，分析每个实体对象的属性，根据属性建立实体对象之间的关系，最后把实体对象和实体属性的名称及代码进行规范化、标准化，形成统一的数据元素字典，保证数据模型的规范一致、标准统一，建立统一的“对象-活动-属性”模型。

统一数据模型具有以下优点：

1)、面向对象的数据模型设计通过实体对象的继承关系和关联关系表达了油气田勘探开发业务本质：通过实体对象的继承关系从抽象到具体的设计过程，一方面囊括了油气田勘探开发业务过程中所有事物，保证业务活动和业务对象不遗漏，另一方面描述了事物之间的内在联系；通过实体对象的关联关系详细分析设计过程，完整描述了油气勘探开发业务的外在关系。

2)、能够实现对地质对象(如盆地、构造单元、圈闭、油气藏等)、生产管理对象(如油气田、开发单元、井等)、材料设施对象(如岩心、管道、站库等)、图形对象(点、线、面、图符等)的科学管理，实现对生产数据和GIS系统的无缝融合。

3)、如图3所示，通过建立不同的投影规则，灵活实现统一数据模型的逻辑结构到多种数据类型的数据库底层物理结构的投影。

4)、具有高度的稳定性和扩展性，新增业务内容时，只需要通过增加实体对象或属性的数据实例，数据模型的结构不会发生变化。比如生产井日数据中增加“产气量”时，关系型的数据表需要增加表头(增加列)“产气量”，表的物理结构发生变化，需要重新建表，并把历史数据重新迁移到新表中；而面向对象的数据库只需要在产量类型标准值实体中增加(增加行)“产气”即可，实体表结构没有发生任何变化。

实体

实体是指数据模型中经过业务过程的抽象表达定义的概念和联系，主要包括活动实体、对象实体、属性实体、参考标准实体、关系实体。本发明专利技术参照国内外石油天然气行业的主流模型的实体设计思想，采用面向对象的设计方法从多种数据源业务中抽象出各种实体，并对油气勘探开发业务中的活动实体和对象实体进行规范化和标准化，建立活动、对象模型。

实体属性

分析活动、对象模型中每个实体的属性，对于业务活动，梳理出该活动产生的属性；对于业务对象，梳理出该对象的静态属性和动态属性。经过活动、对象实体属性分析归纳设计属性实体，并对这些属性实体进行规范化和标准化，建立属性模型。

实体之间关系

分析活动、对象、属性模型中各实体之间的业务关系，确立数据模型中实体间的继承关系、关联关系，一种方式是两个实体通过属性引用直接建立关系，另一种方式是两个实体通过中间关系实体的属性引用间接建立关系，通过实体关系的表达保证了数据模型中实体的有机统一和业务联系。

数据元素

数据元素是用来构成数据模型的最基本的概念名称，包括所有实体、属性、关系的名称及定义，就像一本汉语词典一样，把汉语语言的基本词汇都收集其中，这样就便于对整个模型体系的语义进行翻译，可以实现对多语言、多量纲、标准的支持，通过这个数据元素字典，建立了数据层面的标准语言，使沟通具有了统一的规范，可以让整个业务模型、数据模型能快速、全局一致地适应石油行业标准所规范的命名原则、编码、计量单位、业务分类、数据组织、换算关系，也能很好地与其它业务模型、数据模型集成。

数据元素的设计首先要对属性数据进行数据元素的抽取与定义，然后对数据元素的名称、代码、语义描述进行标准化，形成标准的数据元素字典。

步骤2中根据统一数据模型进行投影部署建立中心数据库的具体操作为：

步骤2.1，在统一数据模型的基础上，依据数字油气田多种数据源的业务特点和业务规则，制定相关投影规则；

步骤2.2，依据相关投影规则，通过DBMS系统工具进行中心数据库物理模型的设计，确定数据存储方案；

步骤2.3，根据确定的数据存储方案编写相关SQL脚本，建立中心数据库实例，实现中心数据库的建立。

中心数据库建设思路

在统一数据模型基础上，依据数字油气田多种数据源的业务特点和业务规则，制定合理的投影规则，通过DBMS系统工具进行中心数据库物理模型的设计，确定数据存储方案，编写相关SQL脚本，建立中心数据库实例。

数据正常化

中心数据库是油气田数据资源管理的核心。完善中心数据库的模型和结构将会带动专业库和项目库的建设，同时也会给历史数据迁移提供解决思路。

通过数据正常化进程安排，在实现新数据正常化的基础上进行其他资源建设，能够很好的约束数据项和表结构，能够减少工作量。另外，数据正常化工作本身对中心数据库或者专业数据库模型进行扩充与完善，也能够为资源建设工作打好基础，便于边建设边入库，效果好，见效快。

步骤3中利用统一的数据模型和中心数据库集成多协议数据接口搭建数据管理系统的具体操作为：以统一的数据模型驱动，以中心数据库为基础，开发所需的功能模块，嵌入多协议数据接口，实现数据管理系统的搭建。

如图4所示，步骤3中所述数据管理系统，包括数据资源管理模块、数据模型管理模块、数据采集管理模块、数据质量控制模块、数据同步管理模块、中心数据库和数据服务管理模块。所述数据资源管理模块，其用于对各类数据资源的数据现状、数据完整性和数据存储目录进行动态管理；所述数据模型管理模块，其用于对数据模型及其对应的实际物理数据库进行管理；所述数据采集管理模块，其用于实现采集任务的管理和源头数据的采集；所述数据质量控制模块，其用于实现监控规则、监控任务和监控结果的管理，以及质量考核报告的生成与发布；所述数据同步管理模块，其用于实现数据迁移任务的定制与维护，以及迁移任务的启动与监控；所述中心数据库，其用于实现数据存储；所述数据服务管理模块，其用于实现服务方式管理和服务内容管理。

所述数据资源管理模块包括数据资源编目管理单元、数据资源注册登记单元和数据资源应用单元；所述数据资源编目管理单元，其用于按照预定方式管理和组织数据资源编目；所述数据资源注册登记单元，其用于建立数据资源编目与多种数据源的对应关系，将所述数据源登记注册；所述数据资源应用单元，其用于实现对已注册的数据资源的应用授权，统计分析和查询下载。

所述数据模型管理模块包括模型管理单元、部署管理单元和结构检查单元；所述模型管理单元，其用于管理多个专业多套数据模型；所述部署管理单元，其用于根据数据模型创建相应的实际物理数据库，并对每个数据模型部署的相关实际物理数据库进行跟踪记录；所述结构检查单元，其用于对数据模型和与其相对应的实际物理数据库进行结构对比检查，并对检查结果分类汇总进行分析。

所述数据采集管理模块包括采集任务管理单元和源头数据采集单元；所述采集任务管理单元，其用于实现采集任务的管理和采集任务的下发；所述源头数据采集单元，其用于实现源头数据的采集。

所述数据质量控制模块包括监控规则管理单元、监控任务管理单元、监控结果管理单元、质检考核发布单元；所述监控规则管理单元，其用于实现质量监控规则的分类与维护；所述监控任务管理单元，其用于实现监控任务的设置和监控执行日志；所述监控结果管理单元，其用于实现监控结果的查询，监控结果的发布和质检纠错的跟踪；所述质检考核发布单元，其用于生成质检考核报告并发布。

所述数据同步管理模块包括迁移任务定制与维护单元、迁移任务启动与监控单元；所述迁移任务定制与维护单元，其用于新建迁移内容，验证迁移内容的有效性，以及修订和删除已有的迁移内容；所述迁移任务启动与监控单元，其用于实现迁移任务的启动与监控。

所述数据服务管理模块包括服务方式管理单元和服务内容管理单元；所述服务方式管理单元，其用于针对生产应用的综合信息查询、数据接口服务、专题应用推送、以及研究成果的回存；所述服务内容管理单元，其用于实现服务对象的注册，服务内容的组织，服务内容权限分配，以及服务计量管理。

所述数据管理系统中还嵌入有多协议数据接口，用于提供系统与外界进行数据交互的通道。

数据管理系统就是将数据作为企业的一种重要资产，以统一数据模型和中心数据库建设为基础，对企业数据资产进行全生命周期管理而搭建起来的数据服务软件系统。该系统基于元数据实现数据资产的源头登记、采集过程管理、质量管控、存储管理、应用服务、与其它数据库系统的迁移同步等数据服务，从而实现对油气勘探开发生产各类数据资源的统一掌控和管理，为生产管理科研人员能够随时掌握企业目前的数据资源情况，快速定位并获取所需数据服务。

数据管理系统紧紧围绕多种数据源的集成管理方法搭建开发，以模型为依托进行数据资源管理，通过模型管理，完成数据采集、质量控制、迁移同步，并通过数据服务为各级专业应用提供数据支持。系统主要功能模块分为数据资源管理、数据模型管理、数据采集管理、数据质量控制、数据同步管理、数据服务管理六部分。

数据资源管理

数据资源管理是从企业整体层面将数据资源当做一种重要的资产来进行管理，对各类数据资源的数据现状、数据完整性和数据存储目录等进行动态管理。通过将各类数据资源与企业的业务活动、管理目标业务对象等建立联系，从而实现对数据资源的多维度、全生命周期的管理，达到全面掌握企业勘探开发生产数据资源状态的目的。

为保障数据资源管理模块达到应有的应用效果，数据资源管理模块应具备“数据资源编目管理、数据资源注册登记、数据资源应用”三项主要子功能。

1.数据资源编目管理

实现数据资源编目维护管理，在业务调研、业务分析和统一数据模型设计的基础上，建立起符合企业业务特色的数据资源编目，并进行有效的管理和维护；数据资源编目主要实现记录对象、活动、数据之间的关系以及数据齐全性、及时性的管理规范。

系统按照业务对象、业务活动等多种方式管理和组织数据资源编目。

(1)数据资源编目创建功能

(2)数据资源编目维护功能

(3)数据资源规划管理功能

(4)数据资源映射管理功能

2.数据资源注册登记

建立数据资源编目与数据中心中心数据库、各应用库等企业多种数据源的对应关系，将存放在中心数据库、各应用库或其他管理方式的数据源登记注册，使数据资源得到有效的注册登记管理。

(1)数据源扫描登记功能

①自动扫描登记

②新资源自动登记

③手动登记

(2)数据源登记管理功能。

①数据源登记管理内容

②数据源详细内容登记管理

(3)数据源质量评估功能

3.数据资源应用

基于数据资源管理元数据库，实现数据资源的授权发布台，对已注册数据资源的应用授权、统计分析和查询下载功能。

(1)数据资源应用授权功能

(2)数据资源统计分析功能

①按照资源编目统计每一类资料的数据资源齐备率；

②按照业务对象统计该对象资料的数据资源齐备率；

③按照月份跟踪每月资料齐备率变化情况。

数据模型管理

以数据结构为核心的数据模型是数据资源管理的最重要元数据之一，详细记录中心数据库和各个专业应用数据模型中每个数据表及关系和数据项的类型、长度、功能描述、关联关系、用户权限等若干描述性和操控性元数据，还包括附录代码管理。

模型管理主要实现中心数据库、各专业应用系统数据库的物理模型管理和维护，实现中心数据库的部署管理，实现各物理模型与部署数据库的逻辑结构对比检查分析。

数据模型管理模块主要功能包括“模型管理、部署管理、结构检查”三部分。

1.模型管理

可以管理多个专业多套数据模型，提供对专业、模型、模型版本、数据表、数据项、附录代码类别、附录代码以及模型之间关系的查询、维护和管理。提供对模型的规范性检查以验证模型数据的合理性和规范性，并提供模型之间的对比分析。在对模型进行修改时记录变更原因、变更时间、变更人等信息建立变更日志。同时提供模型数据的导入和导出功能。数据表分类、数据表/视图及关系、数据项等的管理和维护。

2.部署管理

对每个版本的模型部署了哪些实际物理数据库进行跟踪记录，同时也可以根据模型创建实际的物理库。

3.结构检查

对模型与其物理部署的数据库进行结构对比检查，也可以对模型与其他物理库进行结构对比检查，并对检查结果分类汇总进行分析。

数据采集管理

基于数据资源管理中的数据资源编目和数据资源登记信息，实现包括结构化数据、文档成果数据等各类源头数据的通用采集和管理，同时还包括对各在线应用系统采集同步数据，并通过数据同步管理将各现有应用库中的数据和未开展采集工作的源头数据采集到中心数据库中。

数据采集管理模块包括采集任务管理和源头数据采集两部分。

1.采集任务管理

(1)采集任务管理

(2)采集任务下发

2.源头数据采集

源头数据采集支持完成现有各专业采集软件没有覆盖到的数据内容的正常化采集任务，功能设计如下：

支持以下类型数据的采集：

(1)无原始电子格式的基础数据，采用手工录入方式。

(2)电子文档的数据(电子表格、有格式文本、其它数据库文件)，通过软件定制导入。

(3)文档、报告类文件，如研究报告、文件、传真，通过导入软件模块上传到数据库中保存。

(4)结构化通用数据采集

通用结构化数据采集软件完成结构化数据的定制采集，通过定制能够实现任意结构化数据表的采集，并且支持已知格式电子文档(电子表格、有格式文本、其它数据库文件)的自动导入功能。

软件模块主要由数据录入、数据加载组成。数据采集流程为数据录入客户端自动根据定制信息生成数据录入界面，用户录入完数据后，再通过传输模块传到服务器，由服务器端的数据加载模块完成数据的加载。

数据录入界面可以完成数据的录入、查询、修改操作，提供数据的复用修改、关联表、主从表录入、弹出菜单录入、公式计算、大块文档数据录入、质量检测和错误处理等功能。

数据加载主要完成客户端数据到服务器的提交并加载到数据库，对数据采集端上传的数据根据定义的审核规则进行质量检查，采用定时或手动触发的方式提交并加载到数据库。

(5)格式化电子文档自动导入

能够通过对格式化电子文档，包括已有数据库文件和格式文本的结构解读，实现将数据自动导入录入界面的方式实现该类电子文档数据的自动导入，不需要人工录入。

数据质量控制

基于统一数据模型和数据资源编目，建立数据质量自动检查与控制体系，监控每个数据从产生、应用到废弃整个生命周期各阶段的质量状况，包括数据的“齐、全、准”、数据更新、版本信息和应用反馈等，并提供完善手段和流程，逐步提高中心数据库数据的可信度和可用性，更好的满足生产应用。

数据质量控制模块主要实现监控规则管理、监控任务管理、监控结果管理、质检考核发布四项主要功能。

1.监控规则管理

(1)规则分类维护功能

(2)质量监控规则维护功能

①“齐全性检查规则”的维护

②规范性检查规则维护功能

③准确性检查规则维护功能

(3)监控规则发布功能

(4)监控规则交流功能

2.监控任务管理

(1)监控任务设置功能

(2)监控执行日志

3.监控结果管理

(1)监控结果查询

(2)监控结果发布

(3)质检纠错跟踪

4.质检考核发布

(1)质检考核报告生成

(2)考核报告发布

数据同步管理

基于数据资源编目定义的数据资源映射关系和模型管理的映射关系，采用元数据驱动，实现不同数据源之间的数据迁移和同步，提供有人值守的手动触发数据迁移和无人值守的自动触发数据迁移两种模式，自动触发数据迁移包括主动触发推送同步和按需被动读取两种同步模式，满足不同数据迁移同步需求。如生产运行等系统到中心数据库可以采用主动触发推送同步模式，生产运行等系统产生新数据时同步推送到中心数据库，保证中心数据库中的数据的实效性和全面性；中心数据库到专业应用系统的数据同步可以采用按需被动读取模式，专业应用系统根据需要发出数据同步请求，数据迁移和同步模块到中心数据库读取数据同步到专业应用系统中，保证迁移数据的准确性和及时获取最新版本的数据；手动出发的数据迁移主要用于对历史数据的补迁。

主要功能包括数据迁移任务的定制和维护、迁移任务启动与监控：

1.迁移任务定制和维护

(1)新建迁移内容

(2)验证迁移内容的有效性

(3)修订、删除已有的迁移内容

2.迁移任务启动与监控

数据服务管理

数据服务管理主要包括两方面内容：一是服务方式的管理，包括针对生产应用的综合信息查询、数据接口服务、专题应用推送、以及研究成果的回存；二是服务内容的管理，包括服务对象(系统、专业软件等)的注册、服务内容的组织、服务内容权限分配、以及服务计量管理。

1.综合信息查询

基于数据资源提供专业的数据查询下载，方便业务人员对某类对象(井、油气藏……)进行资源分类查询；对具体对象进行数据资源查询、数据资料目录查询、数据资料内容查询和下载。提供如下查询方式：

(1)按照资源编目查询

(2)按照具体业务对象查询

同时为用户提供自定义条件查询，方便用户快速准确的查询到所需数据内容。

主要功能包括业务对象管理、用户常用查询收藏夹、信息查询引擎、查询结果打包下载等功能。

2.数据访问接口服务

开发可扩展的数据接口驱动引擎，实现对WebService、数据库视图、API等多种接口的注册管理，包括数据服务定制、接口注册与管理、数据接口发布。

(1)数据服务定制

(2)接口注册与管理

(3)数据接口发布

3.大型专业软件数据服务

大型专业软件数据服务是通过开发服务接口实现数据管理系统与专业软件的数据交互。

4.系统服务

(1)身份认证

(2)安全权限

(3)安全

①系统安全

②应用安全

③数据安全

④离线安全

多协议数据接口技术集成

多协议数据接口是通过定制数据库实现的多元数据集成转换功能。结合油气田的统一数据模型，使用具体数据库管理系统(Database Management System)，简称“DBMS”进行物理模型设计，确定数据存储方案，编写相关SQL脚本，建立油气田中心数据库。根据数据库设计规范进行数据的编辑和入库，保证入库数据的规范性。

多元数据集成的方式包括数据格式转换模式、数据互操作模式和直接数据访问模式三种。这三种模式各有所长，但在实际操作中，综合客观要求、项目成本、现有资源等多方面原因，并不单一的使用某一种模式来实现多元数据的集成，而是将多种模式结合使用，实现多元数据的统一管理。

以下几个系统都与数字油气田中心数据库有数据协议接口(配置对应的接口服务器)，并通过对应的协议传输数据。

SCADA系统：主要通过OPC、MODBUS等协议传输数据；

F&G系统：主要通过BACET、MODBUS、OPC和ODBC等协议传输数据；

CCTV系统：采用RTSP等协议，可以通过协议转换器生成标准数据格式；

调度电话系统：主要通过BACET、MODBUS、OPC、TCP/IP和ODBC等协议传输。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种用于油气田的多种数据源集成管理方法，其特征在于，包括如下步骤：

步骤1，根据参考模型结合多种数据源建立统一数据模型；

步骤2，根据统一数据模型进行投影部署建立中心数据库；

步骤3，利用统一的数据模型和中心数据库集成多协议数据接口搭建数据管理系统；

步骤3中利用统一的数据模型和中心数据库集成多协议数据接口搭建数据管理系统的具体操作为：以统一的数据模型驱动，以中心数据库为基础，开发所需的功能模块，嵌入多协议数据接口，实现数据管理系统的搭建；

所述数据管理系统包括数据资源管理模块、数据模型管理模块、数据采集管理模块、数据质量控制模块、数据同步管理模块、中心数据库和数据服务管理模块；

所述数据资源管理模块，其用于对多种数据源的数据现状、数据完整性和数据存储目录进行动态管理；

所述数据模型管理模块，其用于对统一的数据模型及其对应的实际物理数据库进行管理；

所述数据采集管理模块，其用于实现采集任务的管理和源头数据的采集；

所述数据质量控制模块，其用于实现监控规则、监控任务和监控结果的管理，以及质量考核报告的生成与发布；

所述数据同步管理模块，其用于实现数据迁移任务的定制与维护，以及迁移任务的启动与监控；

所述中心数据库，其用于实现数据存储；

所述数据服务管理模块，其用于实现服务方式管理和服务内容管理。

2.根据权利要求1所述一种用于油气田的多种数据源集成管理方法，其特征在于，步骤1中根据参考模型结合多种数据源建立统一数据模型的具体操作为：

步骤1.1，采用面向对象的技术从油气田业务模型中抽象出实体对象，所述实体对象包括业务对象和业务活动；

步骤1.2，基于业务活动的格式化数据描述，分析每个实体对象的实体属性；

步骤1.3，根据实体对象的属性建立实体对象之间的关系；

步骤1.4，将实体对象和实体属性的名称及代码进行规范化和标准化，形成统一的数据元素字典，建立统一的“对象-活动-属性”数据模型。

3.根据权利要求2所述一种用于油气田的多种数据源集成管理方法，其特征在于，所述步骤1.3中建立实体对象之间的关系，采用两个实体对象通过属性引用直接建立关系，或者采用两个实体对象通过中间关系实体的属性引用间接建立关系。

4.根据权利要求1所述一种用于油气田的多种数据源集成管理方法，其特征在于，步骤2中根据统一的数据模型进行投影部署建立中心数据库的具体操作为：

步骤2.1，在统一数据模型的基础上，依据数字油气田多种数据源的业务特点和业务规则，制定相关投影规则；

步骤2.2，依据相关投影规则，通过DBMS系统工具进行中心数据库物理模型的设计，确定数据存储方案；

步骤2.3，根据确定的数据存储方案编写相关SQL脚本，建立中心数据库实例，实现中心数据库的建立。

5.一种利用权利要求1所述一种用于油气田的多种数据源集成管理方法构建的数据管理系统，其特征在于，所述数据管理系统包括数据资源管理模块、数据模型管理模块、数据采集管理模块、数据质量控制模块、数据同步管理模块、中心数据库和数据服务管理模块；

所述数据资源管理模块，其用于对多种数据源的数据现状、数据完整性和数据存储目录进行动态管理；

所述数据模型管理模块，其用于对统一的数据模型及其对应的实际物理数据库进行管理；

所述数据采集管理模块，其用于实现采集任务的管理和源头数据的采集；

所述数据质量控制模块，其用于实现监控规则、监控任务和监控结果的管理，以及质量考核报告的生成与发布；

所述数据同步管理模块，其用于实现数据迁移任务的定制与维护，以及迁移任务的启动与监控；

所述中心数据库，其用于实现数据存储；

所述数据服务管理模块，其用于实现服务方式管理和服务内容管理。

6.根据权利要求5所述的系统，其特征在于，所述数据资源管理模块包括数据资源编目管理单元、数据资源注册登记单元和数据资源应用单元；

所述数据资源编目管理单元，其用于按照预定方式管理和组织数据资源编目；

所述数据资源注册登记单元，其用于建立数据资源编目与多种数据源的对应关系，将所述数据源登记注册；

所述数据资源应用单元，其用于实现对已注册的数据资源的应用授权，统计分析和查询下载。

7.根据权利要求5所述的系统，其特征在于，所述数据模型管理模块包括模型管理单元、部署管理单元和结构检查单元；

所述模型管理单元，其用于管理多个专业多套数据模型；

所述部署管理单元，其用于根据数据模型创建相应的实际物理数据库，并对每个数据模型部署的相关实际物理数据库进行跟踪记录；

所述结构检查单元，其用于对数据模型和与其相对应的实际物理数据库进行结构对比检查，并对检查结果分类汇总进行分析。

8.根据权利要求5所述的系统，其特征在于，所述数据采集管理模块包括采集任务管理单元和源头数据采集单元；

所述采集任务管理单元，其用于实现采集任务的管理和采集任务的下发；

所述源头数据采集单元，其用于实现源头数据的采集。

9.根据权利要求5所述的系统，其特征在于，所述数据质量控制模块包括监控规则管理单元、监控任务管理单元、监控结果管理单元、质检考核发布单元；

所述监控规则管理单元，其用于实现质量监控规则的分类与维护；

所述监控任务管理单元，其用于实现监控任务的设置和监控执行日志；

所述监控结果管理单元，其用于实现监控结果的查询，监控结果的发布和质检纠错的跟踪；

所述质检考核发布单元，其用于生成质检考核报告并发布。

10.根据权利要求5所述的系统，其特征在于，所述数据同步管理模块包括迁移任务定制与维护单元、迁移任务启动与监控单元；

所述迁移任务定制与维护单元，其用于新建迁移内容，验证迁移内容的有效性，以及修订和删除已有的迁移内容；

所述迁移任务启动与监控单元，其用于实现迁移任务的启动与监控。

11.根据权利要求5所述的系统，其特征在于，所述数据服务管理模块包括服务方式管理单元和服务内容管理单元；

所述服务方式管理单元，其用于针对生产应用的综合信息查询、数据接口服务、专题应用推送、以及研究成果的回存；

所述服务内容管理单元，其用于实现服务对象的注册，服务内容的组织，服务内容权限分配，以及服务计量管理。

12.根据权利要求5所述的系统，其特征在于，所述数据管理系统中还嵌入有多协议数据接口，用于提供系统与外界进行数据交互的通道。