CN103294807A - 一种基于多层级关系的分布式数据管理方法 - Google Patents
一种基于多层级关系的分布式数据管理方法 Download PDFInfo
- Publication number
- CN103294807A CN103294807A CN2013102131277A CN201310213127A CN103294807A CN 103294807 A CN103294807 A CN 103294807A CN 2013102131277 A CN2013102131277 A CN 2013102131277A CN 201310213127 A CN201310213127 A CN 201310213127A CN 103294807 A CN103294807 A CN 103294807A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- source
- database
- multilayer level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多层级关系的分布式数据管理方法，属于计算机数据信息存储技术领域。该方法包括以下步骤：建立中介层，中介层分别与源数据库和客服端连接；将分布式的各源数据库的访问接口统一规范，封装成统一的规范封装接口包，在中介层中创建数据访问模块，将规范封装接口包植入数据访问模块中；根据源数据库信息实现中介层的全局信息同步，在中介层中建立数据集成模块；在中介层中建立逻辑分层模块，所述逻辑分层模块为联系实际系统对象的物理分层及实际系统对象的功能逻辑分层；在中介层中形成标准对外接口，规范其应用标准。本方法降低了数据冗余，提高了访问效率，建立起一种具有通用性，且可扩展的管理体系架构。
Description
技术领域
本发明属于计算机数据信息存储技术领域，涉及一种基于多层级关系的分布式数据管理方法。
背景技术
在信息系统中，面向的实体对象往往结构复杂，数据庞大，呈现多层级，多节点关系的特点，而系统复杂性通常也使得系统采用多种、多数量、不同类型的数据库分布式结构，这些特点使得数据管理上出现访问数据残缺，更新数据实时性差，数据权限管理漏洞多，数据使用效率低下等问题。
为了提高复杂信息系统的使用效率，通常采用融合分布式数据库的办法，使多类型、多数量的数据库形成统一标准规范下的整体数据库，这样就解决了数据库在数据冗余与数据更新方面的问题，使得数据库形成一个整体，并达到任意读取的目的。
但是数据融合后，系统不能体现分布式数据系统的特点，使系统的使用效率提升不大，为了使网络效率更高，需要使系统数据呈现出明显的结构特征。
因此，目前需要一种既能够保持分布式数据库系统的融合性，又能够提升系统使用效率的分布式数据管理方法。
发明内容
有鉴于此，本发明的目的在于提供一种基于多层级关系的分布式数据管理方法，该方法采用数据库融合技术和层次聚类算法对分布式数据库进行处理，从而使复杂系统的数据使用效率更高，消除了冗余数据，达到了更新数据准确，层级权限管理更加清晰的目的。
为达到上述目的，本发明提供如下技术方案：
一种基于多层级关系的分布式数据管理方法，包括以下步骤：步骤一：建立中介层，中介层分别与源数据库和客服端连接；步骤二：将分布式的各源数据库的访问接口统一规范，封装成统一的规范封装接口包，在中介层中创建数据访问模块，将规范封装接口包植入数据访问模块中；步骤三：根据源数据库信息实现中介层的全局信息同步，在中介层中建立数据集成模块，所述数据集成模块将分布式数据库中的源数据形成一体化的信息集成数据平台，形成无间隙无冗余的融合数据体；步骤四：在中介层中建立逻辑分层模块，所述逻辑分层模块为联系实际系统对象的物理分层及实际系统对象的功能逻辑分层；步骤五：在中介层中形成标准对外接口，规范其应用标准。
进一步，步骤二中植入数据访问模块的规范封装接口用于完成数据源的添加，删除，各分布式数据源信息的查询，对分布式数据系统的SQL语句查询。
进一步，经SQL语句串对底层各数据源进行查询，把结果集进行类型转换，合并，建立集成规则，形成读取数据融合协议，并把融合数据返回给用户，数据访问模块通过读取数据融合协议访问分布式数据库。
进一步，步骤三中采用以下方式实现中介层的全局信息规范同步：在每个节点的节点注册信息中登记数据库待同步的源节点和目标节点；依据所述节点注册信息完成源节点的数据库与目标节点的数据库之间的数据同步。
进一步，依据所述节点注册信息完成源节点的数据库与目标节点的数据库之间的数据同步的具体步骤包括：通过查找源节点的节点注册信息来确定与源节点同步的目标节点；完成所述源节点的数据库向目标节点的数据库的数据同步。
进一步，所述数据集成模块用于维持融合数据空间和各局部异构数据源之间的映射关系，并记录各数据源的物理位置，以保证对分布的各数据源的正确访问。
进一步，数据集成模块对各异构数据表的集成规则如下：系统只按照表的名字对表进行集成分类，如果两个数据源中具有同名表，那么就认为在融合数据系统中这是一个表，即用户在融合数据库系统中对这个表进行的操作将在底层被映射成对这两个不同数据源同名表的操作。
进一步，步骤四中逻辑分层模块的建立具体包括：建立信息系统的拓扑结构图；建立拓扑结构图中节点；建立节点间有向关系边；建立关系边的权值。
进一步，建立拓扑图时采用多层级聚类算法：定义子图之间的相似度；图中每个节点初始为一个子图，然后计算每个子图之间的相似度，将相似度最高的子图合并成一个子图；新的子图作为图的第二层级结构；计算所有子图的相似度，合并相似度更高的子图，形成更高级的层级，不断重复此过程，直到到达分层结束条件，由此获得整个图的多层级结构。
进一步，加入动态聚类的多层级算法，降低图的层级间的耦合度，提高多层级结构的适应性。
本发明的有益效果在于：本发明提供的数据管理方法简化了分布式数据的管理，降低了数据冗余，提高了访问效率，建立起一种具有通用性，且可扩展的管理体系架构。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为多层级关系的分布式数据管理系统结构图；
图2为本发明所述方法的设计流程图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为多层级关系的分布式数据管理系统结构图，图2为本发明所述方法的设计流程图。
本发明的基于多层级关系的分布式数据管理方法包括以下具体步骤：步骤一：建立中介层，中介层分别与源数据库和客服端连接；步骤二：将分布式的各源数据库的访问接口统一规范，封装成统一的规范封装接口包，在中介层中创建数据访问模块，将规范封装接口包植入数据访问模块中。步骤三：根据源数据库信息实现中介层的全局信息同步，在中介层中建立数据集成模块，所述数据集成模块将分布式数据库中的源数据形成一体化的信息集成数据平台，形成无间隙无冗余的融合数据体。步骤四：在中介层中建立逻辑分层模块，所述逻辑分层模块为联系实际系统对象的物理分层及实际系统对象的功能逻辑分层；步骤五：在中介层中形成标准对外接口，规范其应用标准。
其中，步骤二中植入数据访问模块的规范封装接口用于完成数据源的添加，删除，各分布式数据源信息的查询，对分布式数据系统的SQL语句查询。经SQL语句串对底层各数据源进行查询，把结果集进行类型转换，合并，建立集成规则，形成读取数据融合协议，并把融合数据返回给用户，数据访问模块通过读取数据融合协议访问分布式数据库。
步骤三中采用以下方式实现中介层的全局信息规范同步：在每个节点的节点注册信息中登记数据库待同步的源节点和目标节点；依据所述节点注册信息完成源节点的数据库与目标节点的数据库之间的数据同步。依据所述节点注册信息完成源节点的数据库与目标节点的数据库之间的数据同步的具体步骤包括：通过查找源节点的节点注册信息来确定与源节点同步的目标节点；完成所述源节点的数据库向目标节点的数据库的数据同步。
所述数据集成模块用于维持融合数据空间和各局部异构数据源之间的映射关系，并记录各数据源的物理位置，以保证对分布的各数据源的正确访问。
数据集成模块对各异构数据表的集成规则如下：系统只按照表的名字对表进行集成分类，如果两个数据源中具有同名表，那么就认为在融合数据系统中这是一个表，即用户在融合数据库系统中对这个表进行的操作将在底层被映射成对这两个不同数据源同名表的操作。
步骤四中逻辑分层模块的建立具体包括：建立信息系统的拓扑结构图；建立拓扑结构图中节点；建立节点间有向关系边；建立关系边的权值。
建立拓扑图时采用多层级聚类算法：定义子图之间的相似度；图中每个节点初始为一个子图，然后计算每个子图之间的相似度，将相似度最高的子图合并成一个子图；新的子图作为图的第二层级结构；计算所有子图的相似度，合并相似度更高的子图，形成更高级的层级，不断重复此过程，直到到达分层结束条件，由此获得整个图的多层级结构。
同时，在本方法中加入动态聚类的多层级算法，降低图的层级间的耦合度，提高多层级结构的适应性。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (10)
1.一种基于多层级关系的分布式数据管理方法，其特征在于：包括以下步骤：
步骤一：建立中介层，中介层分别与源数据库和客服端连接；
步骤二：将分布式的各源数据库的访问接口统一规范，封装成统一的规范封装接口包，在中介层中创建数据访问模块，将规范封装接口包植入数据访问模块中；
步骤三：根据源数据库信息实现中介层的全局信息同步，在中介层中建立数据集成模块，所述数据集成模块将分布式数据库中的源数据形成一体化的信息集成数据平台，形成无间隙无冗余的融合数据体；
步骤四：在中介层中建立逻辑分层模块，所述逻辑分层模块为联系实际系统对象的物理分层及实际系统对象的功能逻辑分层；
步骤五：在中介层中形成标准对外接口，规范其应用标准。
2.根据权利要求1所述的基于多层级关系的分布式数据管理方法，其特征在于：步骤二中植入数据访问模块的规范封装接口用于完成数据源的添加，删除，各分布式数据源信息的查询，对分布式数据系统的SQL语句查询。
3.根据权利要求2所述的基于多层级关系的分布式数据管理方法，其特征在于：经SQL语句串对底层各数据源进行查询，把结果集进行类型转换，合并，建立集成规则，形成读取数据融合协议，并把融合数据返回给用户，数据访问模块通过读取数据融合协议访问分布式数据库。
4.根据权利要求1所述的基于多层级关系的分布式数据管理方法，其特征在于：步骤三中采用以下方式实现中介层的全局信息规范同步：在每个节点的节点注册信息中登记数据库待同步的源节点和目标节点；依据所述节点注册信息完成源节点的数据库与目标节点的数据库之间的数据同步。
5.根据权利要求4所述的基于多层级关系的分布式数据管理方法，其特征在于：依据所述节点注册信息完成源节点的数据库与目标节点的数据库之间的数据同步的具体步骤包括：通过查找源节点的节点注册信息来确定与源节点同步的目标节点；完成所述源节点的数据库向目标节点的数据库的数据同步。
6.根据权利要求4所述的基于多层级关系的分布式数据管理方法，其特征在于：所述数据集成模块用于维持融合数据空间和各局部异构数据源之间的映射关系，并记录各数据源的物理位置，以保证对分布的各数据源的正确访问。
7.根据权利要求6所述的基于多层级关系的分布式数据管理方法，其特征在于：数据集成模块对各异构数据表的集成规则如下：系统只按照表的名字对表进行集成分类，如果两个数据源中具有同名表，那么就认为在融合数据系统中这是一个表，即用户在融合数据库系统中对这个表进行的操作将在底层被映射成对这两个不同数据源同名表的操作。
8.根据权利要求1所述的基于多层级关系的分布式数据管理方法，其特征在于：步骤四中逻辑分层模块的建立具体包括：建立信息系统的拓扑结构图；建立拓扑结构图中节点；建立节点间有向关系边；建立关系边的权值。
9.根据权利要求8所述的基于多层级关系的分布式数据管理方法，其特征在于：建立拓扑图时采用多层级聚类算法：定义子图之间的相似度；图中每个节点初始为一个子图，然后计算每个子图之间的相似度，将相似度最高的子图合并成一个子图；新的子图作为图的第二层级结构；计算所有子图的相似度，合并相似度更高的子图，形成更高级的层级，不断重复此过程，直到到达分层结束条件，由此获得整个图的多层级结构。
10.根据权利要求9所述的基于多层级关系的分布式数据管理方法，其特征在于：加入动态聚类的多层级算法，降低图的层级间的耦合度，提高多层级结构的适应性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310213127.7A CN103294807B (zh) | 2013-05-31 | 2013-05-31 | 一种基于多层级关系的分布式数据管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310213127.7A CN103294807B (zh) | 2013-05-31 | 2013-05-31 | 一种基于多层级关系的分布式数据管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103294807A true CN103294807A (zh) | 2013-09-11 |
| CN103294807B CN103294807B (zh) | 2017-03-01 |
Family
ID=49095669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310213127.7A Expired - Fee Related CN103294807B (zh) | 2013-05-31 | 2013-05-31 | 一种基于多层级关系的分布式数据管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103294807B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108132838A (zh) * | 2016-11-30 | 2018-06-08 | 华为技术有限公司 | 一种图数据处理的方法、装置及系统 |
| WO2018218504A1 (zh) * | 2017-05-31 | 2018-12-06 | 华为技术有限公司 | 数据查询的方法和装置 |
| CN112445851A (zh) * | 2019-09-02 | 2021-03-05 | 北京神州泰岳软件股份有限公司 | 一种插拔式orm框架实现方法、装置、电子设备和存储介质 |
| CN114844961A (zh) * | 2022-04-22 | 2022-08-02 | 苏州浪潮智能科技有限公司 | 一种分布式系统协议互通方法、装置、设备及存储介质 |
| CN116630034A (zh) * | 2023-07-21 | 2023-08-22 | 杭银消费金融股份有限公司 | 一种风控数据处理系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101150752A (zh) * | 2007-11-13 | 2008-03-26 | 中国移动通信集团福建有限公司 | 企业移动信息化自助服务装置 |
| CN101183377A (zh) * | 2007-12-10 | 2008-05-21 | 华中科技大学 | 一种基于消息中间件的高可用性数据库集群 |
| CN102065122A (zh) * | 2010-11-11 | 2011-05-18 | 上海海事大学 | 一种基于射频识别及云计算的船联网构建方法 |
| CN102546741A (zh) * | 2011-08-31 | 2012-07-04 | 苏州华谷电子科技有限公司 | 云计算系统 |
-
2013
- 2013-05-31 CN CN201310213127.7A patent/CN103294807B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101150752A (zh) * | 2007-11-13 | 2008-03-26 | 中国移动通信集团福建有限公司 | 企业移动信息化自助服务装置 |
| CN101183377A (zh) * | 2007-12-10 | 2008-05-21 | 华中科技大学 | 一种基于消息中间件的高可用性数据库集群 |
| CN102065122A (zh) * | 2010-11-11 | 2011-05-18 | 上海海事大学 | 一种基于射频识别及云计算的船联网构建方法 |
| CN102546741A (zh) * | 2011-08-31 | 2012-07-04 | 苏州华谷电子科技有限公司 | 云计算系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108132838A (zh) * | 2016-11-30 | 2018-06-08 | 华为技术有限公司 | 一种图数据处理的方法、装置及系统 |
| CN108132838B (zh) * | 2016-11-30 | 2021-12-14 | 华为技术有限公司 | 一种图数据处理的方法、装置及系统 |
| US11256749B2 (en) | 2016-11-30 | 2022-02-22 | Huawei Technologies Co., Ltd. | Graph data processing method and apparatus, and system |
| WO2018218504A1 (zh) * | 2017-05-31 | 2018-12-06 | 华为技术有限公司 | 数据查询的方法和装置 |
| CN112445851A (zh) * | 2019-09-02 | 2021-03-05 | 北京神州泰岳软件股份有限公司 | 一种插拔式orm框架实现方法、装置、电子设备和存储介质 |
| CN114844961A (zh) * | 2022-04-22 | 2022-08-02 | 苏州浪潮智能科技有限公司 | 一种分布式系统协议互通方法、装置、设备及存储介质 |
| CN114844961B (zh) * | 2022-04-22 | 2023-08-11 | 苏州浪潮智能科技有限公司 | 一种分布式系统协议互通方法、装置、设备及存储介质 |
| CN116630034A (zh) * | 2023-07-21 | 2023-08-22 | 杭银消费金融股份有限公司 | 一种风控数据处理系统及方法 |
| CN116630034B (zh) * | 2023-07-21 | 2023-11-07 | 杭银消费金融股份有限公司 | 一种风控数据处理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103294807B (zh) | 2017-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103530354B (zh) | 地理信息数据融合系统 | |
| CN102752322B (zh) | 一种物联网中分布式数据存储和查询的方法 | |
| CN108199897A (zh) | 一种支持缓存管理的opc ua多服务器聚合方法 | |
| CN102262563B (zh) | 调度子系统数据交互及建模的方法 | |
| CN106326331A (zh) | 一种基于云计算的智能用电数据服务系统 | |
| CN103294807A (zh) | 一种基于多层级关系的分布式数据管理方法 | |
| CN103049482B (zh) | 一种分布式异构系统中数据融合存储的实现方法 | |
| CN105574643A (zh) | 一种电网实时数据中心与大数据平台融合方法 | |
| CN103136738A (zh) | 一种复杂场景下固定摄像机监控视频与三维模型配准方法 | |
| CN106095698A (zh) | 面向对象的缓存写入、读取方法及装置 | |
| CN107832392A (zh) | 一种元数据管理系统 | |
| CN102438278A (zh) | 移动通信网络的负载分配方法及负载分配装置 | |
| CN103823660A (zh) | 一种it运维配置管理系统和方法 | |
| CN107656951A (zh) | 一种同步异构数据库系统中实时数据的方法 | |
| CN105743870A (zh) | 一种智能变电站一体化业务平台服务接口的设计方法 | |
| CN103905254A (zh) | 一种基于通信设备端口连接信息的关系图智能生成方法 | |
| CN102412985A (zh) | 一种基于操作分离的网管系统对象管理方法 | |
| CN107426020A (zh) | 一种机床装备云端接入插件系统及其工作方法 | |
| CN112035466B (zh) | 一种区块链查询外置索引开发框架 | |
| CN109039767A (zh) | 一种分布式资源管理与部署平台 | |
| CN115658742B (zh) | 一种现场级主动标识载体的标识解析方法及系统 | |
| CN103164225B (zh) | 一种基于超图的网构软件体系结构在线演化方法 | |
| CN100512303C (zh) | 一种跨域业务域内域间映射关系的确定方法 | |
| CN103294878A (zh) | 一种基于 dms 的多维电网模型统一建模方法 | |
| CN102063305A (zh) | 基于soa的业务数据的服务封装方法及集成系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170301 |