CN104333578A - 一种分布式数据交换系统及方法 - Google Patents

一种分布式数据交换系统及方法 Download PDF

Info

Publication number
CN104333578A
CN104333578A CN201410570926.4A CN201410570926A CN104333578A CN 104333578 A CN104333578 A CN 104333578A CN 201410570926 A CN201410570926 A CN 201410570926A CN 104333578 A CN104333578 A CN 104333578A
Authority
CN
China
Prior art keywords
data
server
database
client
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410570926.4A
Other languages
English (en)
Inventor
秦科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410570926.4A priority Critical patent/CN104333578A/zh
Publication of CN104333578A publication Critical patent/CN104333578A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种分布式数据交换系统，包括：数据访问模块：用于实现客户端向服务器发出信息操作指令，还用于建立和管理服务器的数据库连接、封装服务器的数据库操作接口、获取服务器的数据库查询结果和处理服务器的数据库异常；数据传输模块：用于接受并执行所述数据访问模块发出的信息操作指令，实现客户端和服务器之间的数据传输，还用于统计服务器之间的数据传输，以及上下级服务器之间的数据传输；数据同步模块：用于将服务器上的数据库的相关数据同步到与数据库相连接的若干个客户端或者上下级服务器的数据库中。系统采用了模块化的结构，增加了模块内部的内聚度，数据库的同级和上下级同步处理，提高了数据库的利用效率和时效性。

Description

一种分布式数据交换系统及方法
技术领域
本发明涉及数据交换技术，特别是一种分布式数据交换系统及方法。
背景技术
在计算机技术以及网络技术迅猛发展的今天，用户对信息传递和信息共享的要求越来越高，不同的实体之间的信息传递和信息共享要求越来越多，信息量越来越大，传统的信息系统由于其在存储和数据获取方式上的局限性，已经很难满足实际需求。
发明内容
本发明提供一种分布式数据交换系统，以提高信息传递和信息资源共享的效率。
为了解决上述技术问题，本发明提供一种分布式数据交换系统，包括：
数据访问模块：用于实现客户端向服务器发出信息操作指令，还用于建立和管理服务器的数据库连接、封装服务器的数据库操作接口、获取服务器的数据库查询结果和处理服务器的数据库异常；
数据传输模块：用于接受并执行所述数据访问模块发出的信息操作指令，实现客户端和服务器之间的数据传输，还用于统计服务器之间的数据传输，以及上下级服务器之间的数据传输；
数据同步模块：用于将服务器上的数据库的相关数据同步到与所述数据库相连接的若干个客户端或者上下级服务器的数据库中。
本发明的有益效果是：系统采用了模块化的结构，减少了各个模块之间的耦合度，增加了模块内部的内聚度，数据库的同级和上下级同步处理，提高了数据库的利用效率和时效性。
本发明还提供一种分布式数据交换方法，包括以下步骤：
数据访问管理步骤：客户端向服务器发出信息操作指令，建立与服务器的数据库的连接；
数据传输步骤：服务器接受并执行所述信息操作指令，实现客户端和服务器之间的数据传输，并统计服务器之间的数据传输，以及上下级服务器之间的数据传输；
数据同步处理步骤：客户端完成服务器上的数据库操作后，将服务器上的数据库的相关数据同步到与所述数据库相连接的若干个客户端或者上下级服务器的数据库中。
本发明的有益效果是：数据库访问管理提供了各个上层应用服务的统一接口，使上层业务能以统一执行方式操作、获得操作结果；数据库的同级和上下级同步处理，提高了数据库的利用效率和时效性；识别不同的业务数据和数据流转形式，自动检索相应的信息数据。
进一步，所述数据访问管理具体步骤包括：
根据业务应用调用数据库访问接口执行数据库相关操作；
数据库访问接口向数据库连接池接口申请一个数据库连接；
数据库访问接口使用数据库连接执行数据库相应操作，得到数据库操作结果；
数据库访问接口向数据库连接池接口归还申请的数据库连接；
数据库访问接口将数据库操作结果还回给业务应用。
采用上述进一步方案的有益效果是：提供了数据库连接建立和管理，数据库操作接口封装简化、数据库查询结果获取、数据库异常处理等功能，实现了业务构件和数据访问操作之间的解耦。
进一步，所述数据同步处理步骤具体包括：
用户端通过客户端操作界面调用客户端API进行数据同步，在服务器生成相应的数据并传送到目的服务器；
目的服务器解析并更新数据库完成数据同步。
进一步，所述数据传输步骤具体包括：
用户在客户端通过异步数据发送接口触发异步数据发送；
对数据进行封装，调用数据传输模块将其发送到目的服务器端；
目的服务器传输模块接收到数据后，自动将回执发送回客户端。
采用上述进一步方案的有益效果是：实现客户端与服务器之间的数据传输，同级服务器之间的数据传输和上下级服务器之间的数据传输。
进一步，所述数据同步包括上级管理节点触发下级管理节点进行数据同步，包括以下步骤：
步骤1：上级管理节点客户端触发数据同步：
客户端调用同步命令处理类；
同步命令处理类进行数据同步识别并生成同步命令；
同步命令处理类将数据同步命令投递给同步命令发送类；
同步命令发送类将数据同步命令发送到下级节点服务器数据同步模块；
步骤2：下级节点服务器响应：
下级节点服务器接收到上级节点客户端的数据同步命令；
下级节点服务器进行相应的处理，生成XML等相关文件；
下级节点服务器将XML等文件发送给上级管理节点服务器。
采用上述进一步方案的有益效果是：同步方根据同步方式、同步内容将数据库记录导出为XML文件，然后提交数据传输模块传输并记录；被同步方收到数据同步的数据文件后，一边执行冲突检测预处理以便导入，并根据导入结果发送成功或失败回执；同步方收到回执后，根据回执结果检查发送记录，并处理发送记录，成功完成同步，失败则回到未同步状态。
附图说明
图1是本发明分布式数据交换系统的逻辑包结构图，
图2是本发明分布式数据交换方法数据库访问时序图，
图3是本发明分布式数据交换方法客户端触发数据同步时序图，
图4是本发明分布式数据交换方法上级服务器数据同步响应时序图，
图5是本发明分布式数据交换方法下级服务器数据同步响应时序图，
图6是本发明分布式数据交换方法异步数据传输时序图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
图1是本发明分布式数据交换系统的逻辑包结构图。包括：
数据访问模块：用于实现客户端向服务器发出信息操作指令，还用于建立和管理服务器的数据库连接、封装服务器的数据库操作接口、获取服务器的数据库查询结果和处理服务器的数据库异常；
数据传输模块：用于接受并执行所述数据访问模块发出的信息操作指令，实现客户端和服务器之间的数据传输，还用于统计服务器之间的数据传输，以及上下级服务器之间的数据传输；
数据同步模块：用于将服务器上的数据库的相关数据同步到与所述数据库相连接的若干个客户端或者上下级服务器的数据库中。
本发明的有益效果是：系统采用了模块化的结构，减少了各个模块之间的耦合度，增加了模块内部的内聚度，数据库的同级和上下级同步处理，提高了数据库的利用效率和时效性。
本发明还提供一种分布式数据交换方法，包括以下步骤：
数据访问管理步骤：客户端向服务器发出信息操作指令，建立与服务器的数据库的连接；
数据传输步骤：服务器接受并执行所述信息操作指令，实现客户端和服务器之间的数据传输，并统计服务器之间的数据传输，以及上下级服务器之间的数据传输；
数据同步处理步骤：客户端完成服务器上的数据库操作后，将服务器上的数据库的相关数据同步到与所述数据库相连接的若干个客户端或者上下级服务器的数据库中。
本发明的分布式数据交换方法有益效果是：数据库访问管理提供了各个上层应用服务的统一接口，使上层业务能以统一执行方式操作、获得操作结果；数据库的同级和上下级同步处理，提高了数据库的利用效率和时效性；识别不同的业务数据和数据流转形式，自动检索相应的信息数据。
数据同步处理步骤具体包括：
用户端通过客户端操作界面调用客户端API进行数据同步，在服务器生成相应的数据并传送到目的服务器；
目的服务器解析并更新数据库完成数据同步。
数据传输步骤具体包括：
用户在客户端通过异步数据发送接口触发异步数据发送；
对数据进行封装，调用数据传输模块将其发送到目的服务器端；
目的服务器传输模块接收到数据后，自动将回执发送回客户端。
图2是本发明分布式数据交换方法数据库访问时序图。数据访问流程为：
根据业务应用调用数据库访问接口执行数据库相关操作；
数据库访问接口向数据库连接池接口申请一个数据库连接；
数据库访问接口使用数据库连接执行数据库相应操作，得到数据库操作结果；
数据库访问接口向数据库连接池接口归还申请的数据库连接；
数据库访问接口将将数据库操作结果还回给业务应用。
提供了数据库连接建立和管理，数据库操作接口封装简化、数据库查询结果获取、数据库异常处理等功能，实现了业务构件和数据访问操作之间的解耦。
图3是本发明分布式数据交换方法客户端触发数据同步时序图，数据同步处理流程为：
客户端调用同步命令处理类；
同步命令处理类进行数据同步识别并生成同步命令；
同步命令处理类将数据同步命令投递给同步命令发送类；
同步命令发送类将数据同步命令发送到下级节点服务器数据同步模块。
图4是本发明分布式数据交换方法上级服务器数据同步响应时序图，数据同步处理流程为：
上级节点服务器收到下级节点服务器的数据同步文件数据；
上级节点服务器解析文件；
上级节点服务器更新上级节点数据库。
图5是本发明分布式数据交换方法下级服务器数据同步响应时序图，数据同步处理流程为：
下级节点服务器接收到上级节点客户端的数据同步命令；
下级节点服务器进行相应的处理，生成XML等相关文件；
下级节点服务器将XML等文件发送给上级管理节点服务器。
同步方根据同步方式、同步内容将数据库记录导出为XML文件，然后提交数据传输模块传输并记录；被同步方收到数据同步的数据文件后，一边执行冲突检测预处理以便导入，并根据导入结果发送成功或失败回执；同步方收到回执后，根据回执结果检查发送记录，并处理发送记录，成功完成同步，失败则回到未同步状态。
图6是本发明分布式数据交换方法异步数据传输时序图，数据传输流程为：
用户在客户端通过异步数据发送接口触发异步数据发送；
对数据进行封装，调用数据传输模块将其发送到目的服务器端；
目的服务器传输模块接收到数据后，自动将回执发送回客户端。
实现客户端与服务器之间的数据传输，同级服务器之间的数据传输和上下级服务器之间的数据传输。
以上对本发明分布式数据交换系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种分布式数据交换系统，其特征在于，包括：
数据访问模块：用于实现客户端向服务器发出信息操作指令，还用于建立和管理服务器的数据库连接、封装服务器的数据库操作接口、获取服务器的数据库查询结果和处理服务器的数据库异常；
数据传输模块：用于接受并执行所述数据访问模块发出的信息操作指令，实现客户端和服务器之间的数据传输，还用于统计服务器之间的数据传输以及上下级服务器之间的数据传输；
数据同步模块：用于将服务器上的数据库的相关数据同步到与所述数据库相连接的若干个客户端或者上下级服务器的数据库中。
2.一种分布式数据交换方法，其特征在于，包括以下步骤：
数据访问管理步骤：客户端向服务器发出信息操作指令，建立与服务器的数据库的连接；
数据传输步骤：服务器接受并执行所述信息操作指令，实现客户端和服务器之间的数据传输，并统计服务器之间的数据传输以及上下级服务器之间的数据传输；
数据同步处理步骤：客户端完成服务器上的数据库操作后，将服务器上的数据库的相关数据同步到与所述数据库相连接的若干个客户端或者上下级服务器的数据库中。
3.根据权利要求2所述的分布式数据交换方法，其特征在于，所述数据访问管理具体步骤包括：
根据业务应用调用数据库访问接口执行数据库相关操作；
数据库访问接口向数据库连接池接口申请一个数据库连接；
数据库访问接口使用数据库连接执行数据库相应操作，得到数据库操作结果；
数据库访问接口向数据库连接池接口归还申请的数据库连接；
数据库访问接口将数据库操作结果还回给业务应用。
4.根据权利要求2所述的分布式数据交换方法，其特征在于，所述数据同步处理步骤具体包括：
用户端通过客户端操作界面调用客户端API进行数据同步，在服务器生成相应的数据并传送到目的服务器；
目的服务器解析并更新数据库完成数据同步。
5.根据权利要求2所述的分布式数据交换方法，其特征在于，所述数据传输步骤具体包括：
用户在客户端通过异步数据发送接口触发异步数据发送；
对数据进行封装，调用数据传输模块将其发送到目的服务器；
目的服务器传输模块接收到数据后，自动将回执发送回客户端。
6.根据权利要求2所述的分布式数据交换方法，其特征在于，所述数据同步包括上级管理节点触发下级管理节点进行数据同步，包括以下步骤：
步骤1：上级管理节点客户端触发数据同步：
客户端调用同步命令处理类；
同步命令处理类进行数据同步识别并生成同步命令；
同步命令处理类将数据同步命令投递给同步命令发送类；
同步命令发送类将数据同步命令发送到下级节点服务器数据同步模块；
步骤2：下级节点服务器响应：
下级节点服务器接收到上级节点客户端的数据同步命令；
下级节点服务器进行相应的处理，生成XML等相关文件；
下级节点服务器将XML等文件发送给上级管理节点服务器。
CN201410570926.4A 2014-10-23 2014-10-23 一种分布式数据交换系统及方法 Pending CN104333578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410570926.4A CN104333578A (zh) 2014-10-23 2014-10-23 一种分布式数据交换系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410570926.4A CN104333578A (zh) 2014-10-23 2014-10-23 一种分布式数据交换系统及方法

Publications (1)

Publication Number Publication Date
CN104333578A true CN104333578A (zh) 2015-02-04

Family

ID=52408227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410570926.4A Pending CN104333578A (zh) 2014-10-23 2014-10-23 一种分布式数据交换系统及方法

Country Status (1)

Country Link
CN (1) CN104333578A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123045A (zh) * 2017-04-14 2017-09-01 北京金融资产交易所有限公司 基于债券交易的数据同步系统及其数据同步方法
CN108804711A (zh) * 2018-06-27 2018-11-13 郑州云海信息技术有限公司 一种数据处理的方法、装置和计算机可读存储介质
CN108804457A (zh) * 2017-04-28 2018-11-13 北京京东尚科信息技术有限公司 数据同步和处理方法及装置、电子设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2222104A2 (en) * 2009-02-03 2010-08-25 Yao, Chih-Ang Information exchange apparatus, method and managing system applied thereto
CN103002049A (zh) * 2012-12-20 2013-03-27 北京思特奇信息技术股份有限公司 一种大数据量数据的网络传输系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2222104A2 (en) * 2009-02-03 2010-08-25 Yao, Chih-Ang Information exchange apparatus, method and managing system applied thereto
CN103002049A (zh) * 2012-12-20 2013-03-27 北京思特奇信息技术股份有限公司 一种大数据量数据的网络传输系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王烁: "《多级分布式信息系统数据交换总线的设计与实现》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123045A (zh) * 2017-04-14 2017-09-01 北京金融资产交易所有限公司 基于债券交易的数据同步系统及其数据同步方法
CN108804457A (zh) * 2017-04-28 2018-11-13 北京京东尚科信息技术有限公司 数据同步和处理方法及装置、电子设备和计算机可读介质
CN108804457B (zh) * 2017-04-28 2021-10-08 北京京东尚科信息技术有限公司 数据同步和处理方法及装置、电子设备和计算机可读介质
CN108804711A (zh) * 2018-06-27 2018-11-13 郑州云海信息技术有限公司 一种数据处理的方法、装置和计算机可读存储介质
CN108804711B (zh) * 2018-06-27 2022-12-06 郑州云海信息技术有限公司 一种数据处理的方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106850788B (zh) 面向多源异构地理信息资源的集成框架及集成方法
CN103390041B (zh) 一种基于中间件提供数据服务的方法和系统
CN104484470B (zh) 一种数据库集群元数据管理方法
CN112100265A (zh) 面向大数据架构与区块链的多源数据处理方法及装置
CN103984745A (zh) 分布式视频垂直搜索方法及系统
CN104699541A (zh) 同步数据的方法、装置、数据传输组件及系统
CN104092767A (zh) 一种增加消息队列模型的发布/订阅系统及其工作方法
CN103617255B (zh) 一种用于电力信息系统的业务数据交换同步系统及方法
CN103312791A (zh) 物联网异构数据存储方法及系统
CN104794190B (zh) 一种大数据有效存储的方法和装置
CN104348913B (zh) 一种紧耦合可扩展的大数据交互方法
CN105930417B (zh) 一种基于云计算的大数据etl交互式处理平台
CN104750855B (zh) 一种大数据存储优化方法和装置
CN105405070A (zh) 一种分布式内存电网系统构建方法
CN105847378A (zh) 一种实现大数据同步的方法和系统
CN103078920A (zh) 一种基于iec61968企业服务总线的消息在线校验系统
CN110096545A (zh) 一种基于大数据平台数据处理域构架方法
CN106095977A (zh) 一种数据库的分布式处理方法及系统
CN104333578A (zh) 一种分布式数据交换系统及方法
CN104468299A (zh) 基于用户规则的企业服务总线系统
CN111708659B (zh) 一种基于kubernetes构建云原生容灾架构的方法
CN103235813A (zh) 用友财务核心系统与作业成本系统间的数据同步方法
CN103761388A (zh) 一种基于hla通用化的异构仿真系统互联方法
CN104392123A (zh) 一种cda引擎系统及实现方法
CN103685485A (zh) 移动终端VoIP通讯音频管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150204

RJ01 Rejection of invention patent application after publication