CN103049482B - 一种分布式异构系统中数据融合存储的实现方法 - Google Patents

Abstract

本发明提供一种分布式异构系统中数据融合存储的实现方法，包括以下步骤：建立分布异构存储模型、分布式异构数据模型及异构数据安全模型；利用分布、分片的规则及机制进行数据处理；根据数据关联关系和信息应用需求确定数据访问方式。本发明提供一种分布式异构系统中数据融合存储的实现方法，通过使用融合技术，可以提高企业对最新数据动态的反应速度，增强决策能力，获取各地用户的需求，提高服务质量。

Description

一种分布式异构系统中数据融合存储的实现方法

技术领域

本发明属于计算机技术领域，具体涉及一种分布式异构系统中数据融合存储的实现方法。

背景技术

随着计算机和网络技术迅速发展，以计算机集中监测网络为基础的工业企业网络存储正在形成。由于它有利于提高运行效率、减小运行成本，所以建立企业网络存储是企业未来的发展方向。但是对于一些大型企业，存储设备系统位置比较分散，有的既有本地系统，也存在远程系统或监测控制管理节点，同时由于多方面的原因，企业内不同存储设备运用了不同的控制系统，这样就造成了位置分散的多种设备、多种监控系统并存的分布式异构环境，而这其中又多存在一些软件封闭、互操作性差的异构系统，因此对设备运行数据的融合与存储管理提出了更高的要求，这用单一存储系统态软件是难以实现的。针对这种情况，急需一种基于各种策略和或者方式来实现分布式异构系统数据融合与存储的方法，通过这些方法来弥补了现有存储设备本身系统软件的不足，有针对性地解决了设备位置分散、系统异构带来的数据融合与存储难题。

发明内容

为了克服上述现有技术的不足，本发明提供一种分布式异构系统中数据融合存储的实现方法，通过使用融合技术，可以提高企业对最新数据动态的反应速度，增强决策能力，获取各地用户的需求，提高服务质量。

为了实现上述发明目的，本发明采取如下技术方案：

提供一种分布式异构系统中数据融合存储的实现方法，所述方法包括以下步骤：

步骤1：建立分布异构存储模型、分布式异构数据模型及异构数据安全模型；

步骤2：利用分布、分片的规则及机制进行数据处理；

步骤3：根据数据关联关系和信息应用需求确定数据访问方式。

所述步骤1包括以下步骤：

步骤1-1：根据分布式异构环境中数据对应用的不同需求以及访问的要求，确定分布异构存储模型；

步骤1-2：根据分布式异构信息中的资源融合以及事务一致性处理确定分布式异构数据模型；

步骤1-3：根据分布式异构数据的安全机制以及基于LDAP的用户访问控制确定异构数据安全模型。

所述分布异构存储模型中存储的属性数据包括资源基本信息和资源服务信息；所述资源基本信息描述资源固有属性的信息，进行读取访问操作；所述资源服务信息描述资源动态信息，进行读、写和修改访问操作。

所述属性数据的存储方式包括直接连接存储、网络附加存储、光纤连接存储和以太网连接存储。

所述步骤2包括以下步骤：

步骤2-1：根据数据存储的地域特点分别按照省级进行一级水平分区，并进一步根据地市开展二级水平分区；

步骤2-2：根据信息规范化分类，动态、静态数据和数据模式进行分类存储，并同时采用混合型分布方式；

步骤2-3：依据企业业务关键和重要性对存储的数据进行分类，分为实时处理、业务交易、人财物管理、综合管理和信息保障5类，实时处理、业务交易和人财物管理三类数据至少复制2个以上区域地三种以上多个版本进行存放，综合管理和信息保障两类数据采用两个区域和两个以下版本少量复制或者不复制存放。

所述步骤3中，根据企业信息资源应用的需求，需要访问资源的异构数据、访问资源关系型数据及其全部异构数据，在分布异构存储模型中，完成资源各个异构数据存储的基础上，生成资源ID，进行存储；同时存储资源和相关的异构数据的关系框架的数据，存储资源ID的同时，存储描述资源的异构数据的唯一标识数据，通过存储该数据及其关系，实现对资源异构数据的关联关系的存储。

所述数据访问方式包括基于数据块、基于文件、基于WEB服务和基于编程语言接口四种数据访问方式，实现将不同厂商、不同协议、不同系列的存储在不改变原有数据结构的情况下进行分布异构融合处理。

与现有技术相比，本发明的有益效果在于：

1.基于目前分布式异构数据技术的发展现状，结合目前存在的一系列问题提出了分布式异构信息融合模型，着重研究模型中分布式异构信息的存储、分布式异构信息的关联、异构信息的访问控制这三项关键技术。从企业信息共享和交换存在的问题出发，从信息本身的特性出发．参考了信息使用各方的意见后，参照其它元数据标准制定过程和标准，制定了企业信息资源数据规范，元数据的研究为以后信息资源交换和共享做了基础性的铺垫。结合前面提出的分布式异构信息融合模型，定制了适合企业的分布式异构数据解决方案，使信息的共享访问有了有效的解决方案。

2.分布式异构数据技术对企业信息化也有着非常重要的意义，尤其大型企业级数据信息具有分布广、数据量大、数据表现形式多样化的特点，通过使用该融合技术，可以提高企业对最新动态的反应速度，增强决策能力，获取各地用户的需求，提高服务质量。

附图说明

图1是分布式异构系统中数据融合存储的实现方法中模型示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1，提供一种分布式异构系统中数据融合存储的实现方法，所述方法包括以下步骤：

步骤1：建立分布异构存储模型、分布式异构数据模型及异构数据安全模型；

步骤2：利用分布、分片的规则及机制进行数据处理；

步骤3：根据数据关联关系和信息应用需求确定数据访问方式。

所述步骤1包括以下步骤：

步骤1-1：根据分布式异构环境中数据对应用的不同需求以及访问的要求，确定分布异构存储模型；

步骤1-2：根据分布式异构信息中的资源融合以及事务一致性处理确定分布式异构数据模型；

步骤1-3：根据分布式异构数据的安全机制以及基于轻量目录访问协议LDAP（LightweightDirectoryAccessProtocol）的用户访问控制确定异构数据安全模型。

所述分布异构存储模型中存储的属性数据包括资源基本信息和资源服务信息；资源基本信息是描述资源固有属性的信息，一经采集，维护工作少，从访问的角度而言，主要是读的工作，访问量大，因此对于检索和并发访问要求高。资源服务信息是描述的是资源动态信息，信息采集和维护的频度高，同时存在读、写和修改等访问操作，信息的并发访问中互斥问题的解决重要。基于上述两点分析，在一般属性数据存储的时候，基本信息和服务信息分开存储。基本要求做到基本信息、服务信息分表存储，同时必要的时候，如服务数据交换压力过大，可以考虑单独建立数据库来存储资源服务信息。基于资源基本信息的存储和访问特点，为基本数据做完备的索引，用一定的数据冗余来换取基本数据访问时候的快速检索。基本数据由于维护量少，索引的更新可以制定为一个一个周，甚至是一个月一次。

所述属性数据的存储方式包括直接连接存储、网络附加存储、光纤连接存储和以太网连接存储。

所述步骤2包括以下步骤：

步骤2-1：根据数据存储的地域特点分别按照省级进行一级水平分区，并进一步根据地市开展二级水平分区；

步骤2-2：根据信息规范化分类，动态、静态数据和数据模式进行分类存储，并同时采用混合型分布方式；

步骤2-3：依据企业业务关键和重要性对存储的数据进行分类，分为实时处理、业务交易、人财物管理、综合管理和信息保障5类，实时处理、业务交易和人财物管理三类数据至少复制2个以上区域地三种以上多个版本进行存放，综合管理和信息保障两类数据采用两个区域和两个以下版本少量复制或者不复制存放。

所述步骤3中，根据企业信息资源应用的需求，需要访问资源的异构数据、访问资源关系型数据及其全部异构数据，在分布异构存储模型中，完成资源各个异构数据存储的基础上，生成资源ID，进行存储；同时存储资源和相关的异构数据的关系框架的数据，存储资源ID的同时，存储描述资源的异构数据的唯一标识数据，通过存储该数据及其关系，实现对资源异构数据的关联关系的存储。

所述数据访问方式包括基于数据块、基于文件、基于WEB服务和基于编程语言接口四种数据访问方式，实现将不同厂商、不同协议、不同系列的存储在不改变原有数据结构的情况下进行分布异构融合处理。

本发明提出了基于元数据的信息规范化模型，应用分布式异构信息融合模型设计了一个信息的分布式存储模型，设计了基于组件技术的信息的分布式异构数据集成模型，以及对规范化信息的动态可配置访问控制模型。

明确了处理分布式异构数据的融合模型，从存储、关联规则、安全和集成技术四个方面进行考虑，提出了分布式异构数据的分步和分片的规则的整体数据融合渐进解决方案。

定义了根据企业信息资源的特点，根据模型提出详细的信息资源的访问共享框架。同时根据原有信息系统建设的经验，结合企业信息内容专家知识，从访问资源的异构数据、访问资源关系型数据，通过存储该数据及其关系，实现对资源异构数据的关联关系的存储，以数据库存储的一般属性数据和资源动态信息区别访问方法和策略的技术方案。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种分布式异构系统中数据融合存储的实现方法，其特征在于：所述方法包括以下步骤：

步骤1：建立分布异构存储模型、分布式异构数据模型及异构数据安全模型；

步骤2：利用分布、分片的规则及机制进行数据处理；

步骤3：根据数据关联关系和信息应用需求确定数据访问方式；

所述步骤1包括以下步骤：

步骤1‐1：根据分布式异构环境中数据对应用的不同需求以及访问的要求，确定分布异构存储模型；

步骤1‐2：根据分布式异构信息中的资源融合以及事务一致性处理确定分布式异构数据模型；

步骤1‐3：根据分布式异构数据的安全机制以及基于LDAP的用户访问控制确定异构数据安全模型；

所述分布异构存储模型中存储的属性数据包括资源基本信息和资源服务信息；所述资源基本信息描述资源固有属性的信息，进行读取访问操作；所述资源服务信息描述资源动态信息，进行读、写和修改访问操作；

所述属性数据的存储方式包括直接连接存储、网络附加存储、光纤连接存储和以太网连接存储；

所述步骤2包括以下步骤：

步骤2‐1：根据数据存储的地域特点分别按照省级进行一级水平分区，并进一步根据地市开展二级水平分区；

步骤2‐2：根据信息规范化分类，动态、静态数据和数据模式进行分类存储，并同时采用混合型分布方式；

步骤2‐3：依据企业业务关键和重要性对存储的数据进行分类，分为实时处理、业务交易、人财物管理、综合管理和信息保障5类，实时处理、业务交易和人财物管理三类数据至少复制2个以上区域地三种以上多个版本进行存放，综合管理和信息保障两类数据采用两个区域和两个以下版本少量复制或者不复制存放；

所述步骤3中，根据企业信息资源应用的需求，需要访问资源的异构数据、访问资源关系型数据及其全部异构数据，在分布异构存储模型中，完成资源各个异构数据存储的基础上，生成资源ID，进行存储；同时存储资源和相关的异构数据的关系框架的数据，存储资源ID的同时，存储描述资源的异构数据的唯一标识数据，通过存储该数据及其关系，实现对资源异构数据的关联关系的存储；

所述数据访问方式包括基于数据块、基于文件、基于WEB服务和基于编程语言接口四种数据访问方式，实现将不同厂商、不同协议、不同系列的存储在不改变原有数据结构的情况下进行分布异构融合处理。