CN104008161A - 基于数据配置的油气资源数据集成方法及集成平台 - Google Patents

Abstract

本发明公开一种基于数据配置的油气资源数据集成方法与集成平台，通过利用配置文件将多源异构数据库及其相关的空间数据库有效地组织在一起，为用户提供多种查询、定位以及编辑功能，在此基础上进行数据产品的生产和展示，对油气资源数据实现动态灵活而全面的管理，满足各种用户的不同需求；并克服信息孤岛带来的弊端，成为容纳多种文件格式及不同数据类型的专题型数据库，为油气资源信息的整合加工处理和数据挖掘提供支撑，并且能够快速准确地提供决策所需要的数据、信息、背景材料和政策材料，及时整理油气资源战略调查成果，开展油气资源成果应用服务。

Description

基于数据配置的油气资源数据集成方法及集成平台

技术领域

本发明属于数据集成和计算机软件技术领域，特别涉及一种基于数据配置的油气资源数据集成方法及集成平台。

背景技术

油气资源是重要的能源矿产和战略性资源，制定油气资源发展战略、规划和计划是一项复杂的系统性工程，需要有翔实的第一手资料做基础，只有全面掌握油气资源储存状况、油气资源的开发利用现状、油气资源潜力和发展趋势、油气市场价格变化、石油储备动态、石油化工企业的生产保证能力等各方面信息，才能保证国家油气资源战略、规划和计划制定的科学性、前瞻性和可操作性，才能为国家制定能源法规政策提供科学依据。

随着全国油气资源建设的逐步深入，油气资源信息化需求也愈发紧迫，我国油气资源数据的现状较为分散，没有形成统一的整体，在这些方面上与发达国家存在着较大的差距，目前,已建成的国家级油气资源数据库功能还不完善,对专题数据的统筹管理不够全面,还存在着信息孤岛带来的弊端,对于夸区域、跨多级机构、多专题的多源异构油气资源数据库的综合管理效率比较低，未能快速准确的提供决策所需要的数据、信息等，在用户方面，对于数据的查询、属性和空间数据的查询、产品定制和组织管理不够灵活，在定制应用方面还存在不足。

发明内容

为解决现有技术对油气资源数据综合管理、定制应用与数据统筹效率低下的问题，本发明提供了一种基于数据配置的油气资源数据集成方法及集成平台，该集成方法是针对多专题、多源异构油气资源数据库，通过数据配置，利用对象关系映射与反射技术和XML技术，实现油气资源数据的综合管理和定制应用，集成平台具备数据导航、数据查看、空间和属性数据查询、产品定制与组织管理等功能，具有灵活扩展、通用、可配置等特点，可为不同范围的煤层气资源、油气勘探开发成果、油气潜力专题数据提供数据集成建库方法，为油气资源信息的整合加工处理和数据挖掘以及信息的综合分析和信息产品制作提供技术方案；集成平台能够快速准确地提供决策所需要的数据、信息、背景材料和政策材料，可应用于整理油气资源战略调查成果，开展油气资源成果应用服务。

本发明采用的技术方案如下：

基于数据配置的油气资源数据集成方法，该数据集成方法基于油气资源的原始数据库，通过数据配置形成专业数据库，基于专业数据库通过数据操作和产品生产形成产品数据库，从而实现对油气资源数据的集成，用于对油气资源数据的管理、查询、分析与输出展示，包括以下步骤：

S1，对多专题与多源异构的油气资源数据进行数据整理，形成包括多个子库的原始数据库，包括关系型数据库和相关的空间数据库；

S2，通过数据配置，对原始数据库中的数据进行映射和配置，提取出的数据形成映射库，作为专业数据库；数据配置的过程包括配置触发、配置决策、配置实施和生成结果，具体为：

S21，配置触发是由系统管理员进行触发，实时收集状态信息，获得预测或即时产生的条件，作为配置条件；

S22，配置决策是根据配置条件来决定数据配置的内容，并生成符合条件的SQL语句；

S23，配置实施是执行S22生成的SQL语句，对原始数据库进行数据访问，加载相应数据对象进行集成装配，生成对应的对象实例；

S24，将执行SQL语句返回的配置结果保存到XML文件，得到数据配置结果XML文件；

S3，对专业数据库进行数据操作，得到的结果作为产品数据；还可对产品数据进行展示设计生产，生成的结果也作为产品数据；上述两类产品数据形成产品数据库，作为专业数据库的扩展。

上述数据集成方法在步骤S1中，原始数据库包括的关系型数据库子库包括“盆地”、“省区”、“管线\炼化”、“矿业权”、“年检”、“督查”、“物探”、“钻探”、“储备\贸易”、“企业”、“全国煤层气资源”、“油气勘探开发成果”和“全球油气潜力”；步骤S1还对原始数据库通过字段匹配和GIS软件进行处理，得到相应的空间数据，在本发明一实施例中，空间数据包括全国油气资源分布图和全国油气管线图。

步骤S2中，数据配置是本技术方案的核心，利用数据动态提取技术将原始数据库中的数据进行映射提取，形成的映射库作为专业数据库；数据配置具体包括数据库配置、数据源配置、专题配置、实体配置以及功能与菜单配置；步骤S23中，执行SQL语句是通过ADO.NET技术执行的；其中，数据库配置是以原始数据库为数据基础，通过SQL语句将一些逻辑上相关的数据组织在一起，形成一个新的数据集合，利用数据的映射关系存储到映射库(专业数据库)中，以实现用户对数据的快捷查询；数据源配置是通过SQL查询语句从原始数据库中的某个子库提取满足条件的数据表和字段，得到查询结果信息，将结果信息保存，形成专业数据库；专题配置是将原始数据库中相关的子库按专题的形式进行组织和配置，生成专题导航树；实体配置是在专题配置的基础上，选择相应的专题，根据实际需要将专业数据库中数据抽象形成各种实体，包括全球、产油国、地质省、大区和评价单元等，将实体中每一个逻辑相关的数据表组织在一起，利用实体将数据源“串联”起来，生成实体导航树，并将实体与空间数据库中相应的空间图层相关联，用于实现属性数据与空间数据的互查询；功能与菜单配置是根据原始数据库和专业数据库信息来对数据操作进行功能设置，依据生成的实体导航树或专题导航树将每一个菜单绑定一个功能，功能通过配置实现某种业务上的操作，例如可配置的菜单有油气资源量和油气储量等，对应相应的菜单实现相应的资源量和储量的浏览、查询等功能；上述数据库配置、数据源配置、专题配置、实体配置和功能与菜单配置形成配置结果信息和配置结果数据，将配置结果信息保存为XML文件，配置结果数据保存生成专业数据库。

步骤S3中的数据操作分为数据查询和数据维护，数据操作得到的结果作为产品数据库的内容，其方法是读取数据配置结果XML文件，通过设计普通用户操作界面将数据配置结果信息呈现给用户，用户通过界面操作将数据打散并重新组织和设置查询条件等，利用数据配置信息与专业数据库信息的映射关系对专业数据库进行数据操作，操作结果作为数据产品生产的基础，在此基础上进行统计图表的设计、报表的设计、专题图的设计等完成数据产品的生产，形成新的结果数据，也作为产品数据库的内容；数据产品生产与管理设计了相关的管理模块和输出模块，实现图片管理与输出、描述文档管理与输出、专题图生产与输出、报表生产与输出和统计图表生产与输出。

基于本发明的集成方法构建基于数据配置的油气资源数据集成平台，平台针对跨区域、跨多级机构、多专题的多源异构油气资源数据，实现对数据的综合管理和定制应用，包括数据导航、数据查看、空间和属性数据查询、产品定制与组织管理等功能，具有灵活扩展、通用、可配置、易于使用等特点。基于数据配置的油气资源数据集成平台包括用户管理模块、数据配置模块、数据操作模块、产品输出模块，其中：

用户管理模块用户管理用户信息，根据用户信息采用相关的配置，进行权限管理，包括添加用户、删除用户、用户权限管理等功能；

数据配置模块主要针对管理员，用来进行系统操作的配置，提高管理员用户对配置文件的编辑效率，该模块主要包括数据库配置、数据源配置、专题配置、实体配置、功能与菜单配置等功能；

数据操作模块，是本平台的基本，利用配置好的数据源与其它相关信息进行数据的检索与查询等操作，该模块主要包括数据查询、数据维护等功能，其中，数据查询包括属性数据查询、空间数据查询、属性与空间数据互查询，数据维护包括对某一条或几条数据进行录入、删除、更新等操作；

产品输出模块，主要用来实现数据产品的管理与输出，包括图片管理与输出、描述文档管理与输出、专题图生成与输出、报表生产与输出、统计图表生产与输出。

本发明的有益效果为：

本发明提供的基于数据配置的油气资源数据集成方法与集成平台，通过利用配置文件将多源异构数据库及其相关的空间数据库有效地组织在一起，为用户提供多种查询、定位以及编辑功能，在此基础上进行数据产品的生产和展示，对油气资源数据实现动态灵活而全面的管理，满足各种用户的不同需求；并克服信息孤岛带来的弊端，成为容纳多种文件格式及不同数据类型的专题型数据库，为油气资源信息的整合加工处理和数据挖掘提供支撑，并且能够快速准确地提供决策所需要的数据、信息、背景材料和政策材料，及时整理油气资源战略调查成果，开展油气资源成果应用服务。

附图说明

图1 是本发明实施例的实现流程图。

图2 是本发明实施例的数据组织图。

图3 是本发明实施例进行数据配置的流程图。

图4 是本发明实施例通过数据配置的集成平台界面截图。

图5 是本发明实施例集成平台结构框图。

具体实施方式

下面结合附图和具体实施例，对本发明进一步详细描述，但不以任何方式限制本发明的范围。

本发明的实施例采用C/S架构，在.NET2010的开发环境下，以ArcGIS Engine10.0为GIS平台、WPF为制图系统，开发基于数据配置的油气资源数据集成平台。通过利用配置文件将多源异构数据库以及其相关的空间数据库有效地组织在一起，为用户提供多种查询、定位以及编辑功能，并在此基础上进行数据产品的生产和展示，对数据实现动态的灵活的管理，满足各种用户的不同需求，实现了全国油气资源专题数据的全面统筹管理。

图1为基于数据配置的油气资源数据集成方法实现流程图，基于数据配置的油气资源数据集成方法步骤如下：

S1，对多专题与多源异构的油气资源数据进行数据整理，形成油气资源的原始数据库，包括关系型数据库和相关的空间数据库；

S2，由系统管理员进行触发，根据原始数据库提供的有效信息，决定进行怎样的数据配置，数据配置过程是对原始数据库通过数据访问(即利用SQL语句)，加载对象将数据集成装配成其对应的对象实例，利用ADO.NET技术执行SQL语句，更新数据并返回相应的执行结果，并将配置结果保存到XML文件，数据配置具体包括数据库配置、数据源配置、专题配置、实体配置和功能与菜单配置，利用数据配置从原始数据库中提取数据，通过映射关系形成映射库(即专业数据库)。

S3，通过基于配置的动态信息管理方法，该方法是读取数据配置结果XML文件，将结果信息呈现给用户，用户可以将数据打散并重新组织，设置查询条件等，利用配置信息与专业数据库信息的映射关系对专业数据库进行数据操作，将操作结果作为数据产品生产的基础，在此基础上进行统计图表的设计、报表的设计、专题图的设计等完成数据产品的生产形成产品数据库并进行管理，作为专业数据库的扩展。

其中，S2中数据配置是本发明的核心，图3是本发明实施例数据配置的流程图，具体实施步骤为：

S21，首先准备好进行数据配置的数据，以S1中形成的原始数据库为数据基础，具体涉及到的数据有关系数据库和空间数据库，其中关系数据库包括全国油气数据库、全国动态信息数据库、油气潜力数据库等，空间数据库包括专业软件处理后的地图，如全国油气资源分布图、全国油气管线图等。

S22，在数据的基础上，系统管理员依据业务需求，按照预测或即时产生的规则实施具体操作，根据原始数据库信息决定进行怎样的数据配置，利用SQL语句对原始数据库进行数据访问，将一些逻辑上相关的数据组织在一起，形成一个新的数据集合，通过数据对应关系，加载对象将数据集成装配成其对应的对象实例，利用ADO.NET技术执行SQL语句，更新数据并返回相应的执行结果，并将配置结果保存到XML文件。

S23，对上述的返回执行结果再进行更详细的操作，系统管理员通过更复杂的SQL语句对返回的执行结果进行分类，提取数据表和字段，根据数据的属性信息和空间信息，生成专题导航树和实体导航树，并将这个结果信息保存到XML文件中。

S24，对配置结果信息进行最大优化，作为平台操作功能的基础。

图2为本发明实施例的数据组织图，本实施例的油气资源数据包括原始数据库、专业数据库和数据产品库，其中原始数据库包括多专题、多源异构的关系型数据库以及相关的空间数据库，这是本集成平台的数据基础和来源。专业数据库是在原始数据库的基础上，经过一系列相关的配置，对原始数据库的映射和连接，实现与原始数据库的互操作，经过了专业化的配置，专业数据库对数据的管理更加灵活，可以满足各种用户的不同需求，可以对数据查询进行专业性的优化，专业数据库是本平台进行数据操作和产品生产的基础，通过对专业数据库的操作，可以方便的进行数据产品生产和输出展示。数据产品库的数据是本集成平台的数据产品生产功能生产的数据产品，包括图片、文档、统计图表、报表、专题图等，数据产品库的产品可与专业数据库中的数据进行关联，使产品库成为专业数据库的扩展，极大地提高了数据的丰富程度，为数据的展示提供极大地便利。

本实施例中，用户要实现对“石油基础信息”属性表进行属性查询和编辑的操作，针对“渤海湾盆地”关联的空间数据的空间操作以及相关的非结构化数据的查看与导出等。通过上述基于数据配置的油气资源数据集成方法，管理员通过一系列的配置操作后，将搭建出符合特定用户需要的全国油气资源数据集成平台，平台提供用户对数据库属性数据、非结构化数据查询、添加、修改、删除和空间数据查询的功能，以及地图、图片、文档、报表等特定格式文件的输出功能。后台管理员是通过数据配置将这些数据、操作以及界面导航结果集成到平台，具体包括：第一，最重要的是数据的准备，根据要求需要查询的是石油基础信息，那么需要新建一个数据库并命名为石油基础库，该库的数据表信息通过进行数据源配置，即对原始数据库中各子库的属性数据源通过SQL语句(“查询字段”用select语句、“查询条件”用where语句、“分组字段”用group by语句，“排序字段”用order by语句等)提取所需要的信息，执行SQL语句得到结果信息，通过数据的映射关系查询到属性数据相关联的空间数据，将执行的结果信息和空间数据保存到新建的石油基础库，并将配置过程的信息保存到XML文件。

第二，后台管理员在数据库配置和数据源配置的基础上进行专题配置和实体配置，这些配置以石油基础库为数据基础，配置盆地专题和图册专题，即分别新建专题并命名为“盆地专题”和“图册专题”，通过SQL语句在“石油基础库”中提取盆地相关的基础信息，将执行结果导入新表命名为“盆地基础信息”，在“盆地专题”下配置子节点命名为“储量”、“资源量”，也通过同样的方法，利用SQL语句提取相关联信息导入新表命名为“盆地石油储量信息”、“盆地天然气储量信息”、“盆地品味资源量信息”、“盆地层系资源量信息”等，图层专题也是通过同样的方法，得到图册“盆地图册图例”、“渤海湾盆地勘查开采区块登记状况图”等，完成专题配置后，配置信息的形式如

实体配置的原理方法与专题配置相同，配置的过程中提取相关属性数据的同时还需要通过映射关联提取得到相应的空间数据，映射关系是通过盆地信息许可证号字段来关联的。通过专题导航和实体导航来展示数据并对数据进行展示导航，其中，属性数据的定位通过专题导航实现，空间数据的定位通过实体导航实现，在本实施例中，通过专题导航实现查看各盆地的储量、资源量的信息以及相关盆地图册、文档等，通过实体导航，即“数据类型---大区名称---盆地名称”方式实现查看“渤海湾盆地”等关联的空间数据以及描述文档和图片。

第三，设计集成平台界面，通过调用数据库配置、数据源配置、专题配置以及实体配置等XML文件信息进行最优化处理，依据XML处理后信息读取到石油基础库里对应的表信息，将盆地属性信息、空间信息、图册、描述文档信息集成到集成平台中，通过专题配置和实体配置XML文件生成专题导航树和实体导航树，再通过导航树导航到相应的数据表属性信息和空间信息展示给特定用户，图4是通过数据配置得到集成平台界面的截图。

本实施例集成平台界面主要包括数据配置界面、数据查询界面、数据维护界面、用户管理界面、产品管理界面和系统主界面，图5为本发明实施例集成平台结构图，其中：

数据配置界面用于管理员进行数据库配置、数据源配置、专题配置、实体配置、功能与菜单配置的界面操作，实现数据的定制应用和组织管理，其中数据库配置界面用于将一些逻辑上相关的数据组织在一起，形成一个数据集合，实现数据的组织和用户的快捷查询；数据源配置界面用于将整个数据库系统作为数据基础，对原始数据库提取成系统识别解析的数据源；专题配置界面用于将数据源和非结构化数据进行组织和配置，形成一个数据逻辑树把数据有效的组织起来，实现用户进行快速检索和查询；实体配置界面用于根据实际需要将数据库中数据抽象形成各种实体，将每一个数据项有效地组织在一起，利用实体将数据源“串联”起来，同时将相应的实体与相关的空间图层相关联，从而实现属性数据与空间数据的互查询操作；功能与菜单配置界面用于将每一个菜单绑定一个功能，功能通过配置实现某种业务上的操作，最后实现功能与菜单配置提供查看、添加、修改和删除等操作。

数据查询界面用于利用配置好的数据源与其它相关信息，进行属性数据查询、空间数据查询、属性和空间数据互查询等操作，通过这些操作在地图界面上快速定位到查询数据，其中属性查询可利用专题配置生成的专题导航树和实体配置生成的实体导航树进行查询，定位到想查看的数据。

数据维护界面用于在数据管理模块对数据进行修改，包括对某一条或几条数据进行录入、删除、更新等操作。

用户管理界面用于管理员对本平台所有用户信息的统一管理，包括添加用户、删除用户、用户权限管理，其中管理员对用户的权限进行管理，可以为用户赋予相应的权限，保证数据的安全性，同时降低普通用户的操作复杂性。

产品管理界面用于进行非结构化产品文件的组织管理与查看，包括图片管理与输出、描述文档管理与输出、专题图生产与输出、报表生产与输出、统计图表生产与输出等功能。

系统主界面用于进行油气资源数据的导航操作、数据展示以及产品的生产与管理。

通过上述系统可实现用户登录、系统配置以及全国油气资源数据集成管理，进行数据产品的生产和展示，在本发明的一个具体实施例中，通过本系统由管理员对全国油气资源数据集成平台进行配置，具体步骤如下：

第一步：管理员通过用户登录界面登录系统，选择对系统进行配置，进入系统配置界面对全国油气资源数据集成平台进行配置，以达到符合用户的功能需求。

第二步：在配置界面，点击“工具”菜单，将配置文件下载到本地或将本地的配置文件上传。

第三步：单击数据库下拉菜单，选择所有操作的数据库或“数据库配置…”，在此界面选择“全球油气数据库”。

第四步：在系统设置界面中点选数据源标签，在数据源标签界面用户可以查看现有数据源元数据信息及详细内容、删除、修改数据源，在此我们新建“全国天然气资源量”查询语句并执行，完成数据源配置。

第五步：打开数据库配置界面，选中“全国油气数据库”后，切换到专题页面，进入专题配置模块，添加“油气资源量专题”信息。

第六步：打开数据库配置界面，在选中“全国油气数据库”后，切换到实体页面，进入实体配置模块，选中“油气资源量专题”，添加“全球、产油国、地质省等”实体信息。

第七步：打开数据库配置界面，在选中“全国油气数据库”后，切换到菜单页面，进入菜单配置模块，新建菜单栏“文件”，在菜单列表里添加菜单项“丹麦油气资源量”、“伊拉原油管道”、“原油产量大于5000的地质省”等，添加菜单结构信息。

第八步：在系统界面中选中非结构化数据标签页，在此配置非结构化数据包括图片、描述文档、图表、报表、专题图等。

第九步：系统自动将以上配置信息保存到XML文件中，将配置结果数据保存到专业数据库中，管理员退出配置界面，返回登录主界面，登录全国油气资源数据集成平台，系统自动读取配置信息XML文件，进入集成平台界面，界面风格和数据结构按配置结果展示，在此用户可以浏览到全国油气数据库下油气资源量专题信息、全球、产油国、地质省实体信息，这些信息都可以图片、描述文档、图表、报表、专题图等展示。

通过利用配置文件将多源异构数据库以及其相关的空间数据库有效地组织在一起，为用户提供多种查询、定位以及编辑功能，并在此基础上进行数据产品的生产和展示，对数据实现动态的灵活的管理，满足各种用户的不同需求，实现了全国油气资源专题数据的全面统筹管理。

Claims (5)

1.基于数据配置的油气资源数据集成方法，其特征是，所述方法基于油气资源的原始数据库，通过数据配置形成专业数据库，基于专业数据库通过数据操作和产品生产形成产品数据库，从而实现对油气资源数据的集成，用于对油气资源数据的管理、查询、分析与输出展示，包括以下步骤：

S1，对多专题与多源异构的油气资源数据进行数据整理，形成包括多个子库的原始数据库，包括关系型数据库和相关的空间数据库；

S2，通过数据配置，对原始数据库中的数据进行映射和配置，提取出的数据形成映射库，作为专业数据库；数据配置的过程包括配置触发、配置决策、配置实施和生成结果，具体为：

S21，配置触发是由系统管理员进行触发，实时收集状态信息，获得预测或即时产生的条件，作为配置条件；

S22，配置决策是根据配置条件来决定数据配置的内容，并生成符合条件的SQL语句；

S23，配置实施是执行S22生成的SQL语句，对原始数据库进行数据访问，加载相应数据对象进行集成装配，生成对应的对象实例；

S24，将执行SQL语句返回的配置结果保存到XML文件，得到数据配置结果XML文件；

S3，对专业数据库进行数据操作，得到的结果作为产品数据；对产品数据进行展示设计生产，生成的结果也作为产品数据；上述两类产品数据形成产品数据库，作为专业数据库的扩展。

2.如权利要求1所述油气资源数据集成方法，其特征是，步骤S1所述原始数据库包括的关系型数据库子库包括“盆地”、“省区”、“炼化管线”、“矿业权”、“年检”、“督查”、“物探”、“钻探”、“贸易储备”、“企业”、“全国煤层气资源”、“油气勘探开发成果”和“全球油气潜力”。

3.如权利要求1所述油气资源数据集成方法，其特征是，步骤S1所述空间数据库是对原始数据库通过字段匹配和GIS软件进行处理，得到相应的空间数据而形成的。

4.如权利要求1所述油气资源数据集成方法，其特征是，步骤S2所述数据配置具体包括数据库配置、数据源配置、专题配置、实体配置和功能与菜单配置；所述专题配置生成专题导航树；所述实体配置生成实体导航树。

5.如权利要求1所述油气资源数据集成方法，其特征是，步骤S3所述产品数据的形式包括图表、报表和专题图。