CN104301421A - 一种云计算实时数据同步方法 - Google Patents

一种云计算实时数据同步方法 Download PDF

Info

Publication number
CN104301421A
CN104301421A CN201410574473.2A CN201410574473A CN104301421A CN 104301421 A CN104301421 A CN 104301421A CN 201410574473 A CN201410574473 A CN 201410574473A CN 104301421 A CN104301421 A CN 104301421A
Authority
CN
China
Prior art keywords
monitor
data
real
time
cloud computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410574473.2A
Other languages
English (en)
Inventor
郑亮
于治楼
梁华勇
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Group Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201410574473.2A priority Critical patent/CN104301421A/zh
Publication of CN104301421A publication Critical patent/CN104301421A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种云计算实时数据同步方法，属于云计算数据管理领域，具体步骤如下：①根据需要部署云平台服务系统对应的服务分发系统、监听器和消息队列平台；②监听器在web.xml中添加，监听器通过监听端口实时监控需要实时同步的数据；③定义一个类，实现保存及抽取数据的功能，使用sql语句，系统自动添加业务功能；④将该类添加到监听器中，自动的根据消息队列中的数据，调用具体的数据保存功能，将同步的数据保存到数据库中；⑤监听器会根据执行策略和有效期来执行数据同步操作；本发明保证了数据同步的效率；有利于系统选择性同步保护数据，确保实时同步数据到生产环境中。

Description

一种云计算实时数据同步方法
技术领域
本发明涉及一种数据同步方法，属于云计算数据管理领域，具体地说是一种云计算实时数据同步方法。
背景技术
云是网络、互联网的一种比喻说法。云计算是通过网络提供可伸缩的廉价的分布式计算能力。云计算为物联网所产生的海量数据提供了很好的存储空间，并使得实时在线处理成为可能。云计算是实现物联网的核心，运用云计算模式使得物联网中各类物品的实时动态管理和智能分析变得可能。云计算服务器是云计算服务的重要组成部分，是面向各类互联网用户提供综合业务能力的服务平台，使数据能够集中管理，让所有终端用户共用一台主机。
随着云计算业务服务器端不断整合服务，各种系统都整合在云计算服务器中，各个系统的数据都是孤立的；通常采用的方式是数据库物化视图、goldengate等数据库技术实现数据同步，而采用这种方法有几种弊端，一是系统内部各个模块之间数据同步还可以，如果是系统间数据同步，一般就没法实现了。二是同步的数据不够准确，可能会有部分垃圾数据。三是各个数据库关联性太强，如果系统需要更新或者业务变化，都影响数据同步工作。四是数据之间同步有延迟，无法实时同步到生产环境中。我们采用消息队列、监听器、监听端口和数据库锁的方式来实现云计算环境下并发实时同步数据的调用工作，一是保证了数据同步的效率；二是系统需要什么样的数据我们就同步什么样的数据，三是保证实时同步到生产环境中。
发明内容
本发明针对现有技术存在的不足和问题，提供一种云计算实时数据同步方法，提出的具体方案是：
一种云计算实时数据同步方法，是对云计算服务器端，实时的实现各个系统间或者模块间数据同步的方法，具体步骤如下：
①根据需要部署云平台服务系统对应的服务分发系统、监听器和消息队列平台；
②监听器在web.xml中添加，监听器通过监听端口实时监控需要实时同步的数据；
③定义一个类，实现保存及抽取数据的功能，使用sql语句，系统自动添加业务功能；
④将该类添加到监听器中，根据页面向导完成添加，系统会自动将监听添加到计划中，监听器会根据系统设置，自动的根据消息队列中的数据，调用具体的数据保存功能，将同步的数据保存到数据库中；
⑤采用数据库锁同步监听器，监听器会根据执行策略和有效期来执行数据同步操作。 
所述的步骤②中通过Listen标签添加监听器。
所述的步骤④中在添加监听器的页面向导中，需添加监听器、类名称、监听器参数、执行策略和有效期。
所述的服务业务系统接口采用webservice或者EJB。
本发明的有益之处是：我们采用消息中间件、监听器、监听端口和数据库锁的方式来实现云计算环境下并发实时同步数据的调用工作，一是保证了数据同步的效率；二是系统需要什么样的数据我们就同步什么样的数据，三是保证实时同步到生产环境中，实现云计算环境下并发控制任务的调用工作，以及简化配置实时同步数据工作，实用性强，适用范围广泛，可以应用到银行、税务、股市、商检、邮电、政务等行业，实现数据实时同步有效地共享。
附图说明
图1一种云计算实时数据同步方法流程示意图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种云计算实时数据同步方法作以下详细地说明。
实施例1
本发明一种云计算实时数据同步方法，是对云计算服务器端，实时的实现各个系统间或者模块间数据同步的方法，具体步骤如下：
①根据需要部署云平台服务系统对应的服务分发系统、监听器和消息队列平台，采用webservice；
②监听器在web.xml中添加，通过Listen标签添加监听器，监听器通过监听端口实时监控需要实时同步的数据；
③定义一个类，实现保存及抽取数据的功能，使用sql语句，系统自动添加业务功能；
④将该类添加到监听器中，根据页面向导完成添加，系统会自动将监听添加到计划中，监听器会根据系统设置，自动的根据消息队列中的数据，调用具体的数据保存功能，将同步的数据保存到数据库中；
⑤采用数据库锁同步监听器，监听器会根据执行策略和有效期来执行数据同步操作。 
在添加监听器的页面向导中，需添加监听器、类名称、监听器参数、执行策略和有效期。
包括如下：新增监听器
监听器名称：发票代码推送代码WP0021。 监听器操作：监听。
监听器状态：监听中。                添加时间：2014年9月24日。
有效时间起：2014年9月24日        有效时间止：2014年10月24日。
实施例2
本发明一种云计算实时数据同步方法，是对云计算服务器端，实时的实现各个系统间或者模块间数据同步的方法，具体步骤如下：
①根据需要部署云平台服务系统对应的服务分发系统、监听器和消息队列平台，采用EJB；
②监听器在web.xml中添加，通过Listen标签添加监听器，监听器通过监听端口实时监控需要实时同步的数据；
③定义一个类，实现保存及抽取数据的功能，使用sql语句，系统自动添加业务功能；
④将该类添加到监听器中，根据页面向导完成添加，系统会自动将监听添加到计划中，监听器会根据系统设置，自动的根据消息队列中的数据，调用具体的数据保存功能，将同步的数据保存到数据库中；
⑤采用数据库锁同步监听器，监听器会根据执行策略和有效期来执行数据同步操作。 
在添加监听器的页面向导中，需添加监听器、类名称、监听器参数、执行策略和有效期。
包括如下：新增监听器
监听器名称：发票开具状态代码WP0061。 监听器操作：监听。
监听器状态：暂停。                添加时间：2014年7月20日。
有效时间起：2014年7月20日        有效时间止：2014年8月20日。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明一种云计算实时数据同步方法的技术方案且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (4)

1.一种云计算实时数据同步方法，是对云计算服务器端，实时的实现各个系统间或者模块间数据同步的方法，其特征是具体步骤如下：
①根据需要部署云平台服务系统对应的服务分发系统、监听器和消息队列平台；
②监听器在web.xml中添加，监听器通过监听端口实时监控需要实时同步的数据；
③定义一个类，实现保存及抽取数据的功能，使用sql语句，系统自动添加业务功能；
④将该类添加到监听器中，根据页面向导完成添加，系统会自动将监听添加到计划中，监听器会根据系统设置，自动的根据消息队列中的数据，调用具体的数据保存功能，将同步的数据保存到数据库中；
⑤采用数据库锁同步监听器，监听器会根据执行策略和有效期来执行数据同步操作。
2.根据权利要求1所述的一种云计算实时数据同步方法，其特征是所述的步骤②中通过Listen标签添加监听器。
3.根据权利要求1所述的一种云计算实时数据同步方法，其特征是所述的步骤④中在添加监听器的页面向导中，需添加监听器、类名称、监听器参数、执行策略和有效期。
4.根据权利要求1所述的一种云计算实时数据同步方法，其特征是所述的服务业务系统接口采用webservice或者EJB。
CN201410574473.2A 2014-10-24 2014-10-24 一种云计算实时数据同步方法 Pending CN104301421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410574473.2A CN104301421A (zh) 2014-10-24 2014-10-24 一种云计算实时数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410574473.2A CN104301421A (zh) 2014-10-24 2014-10-24 一种云计算实时数据同步方法

Publications (1)

Publication Number Publication Date
CN104301421A true CN104301421A (zh) 2015-01-21

Family

ID=52320984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410574473.2A Pending CN104301421A (zh) 2014-10-24 2014-10-24 一种云计算实时数据同步方法

Country Status (1)

Country Link
CN (1) CN104301421A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117441A (zh) * 2015-08-11 2015-12-02 北京思特奇信息技术股份有限公司 一种数据工单处理方法及系统
CN106503149A (zh) * 2016-10-21 2017-03-15 广东亿迅科技有限公司 一种数据同步方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404406A (zh) * 2011-12-02 2012-04-04 上海海洋大学 基于私有云存储的海洋实时数据同步系统
CN103810281A (zh) * 2014-02-20 2014-05-21 浪潮集团有限公司 一种基于云计算的定时任务实现数据同步的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404406A (zh) * 2011-12-02 2012-04-04 上海海洋大学 基于私有云存储的海洋实时数据同步系统
CN103810281A (zh) * 2014-02-20 2014-05-21 浪潮集团有限公司 一种基于云计算的定时任务实现数据同步的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117441A (zh) * 2015-08-11 2015-12-02 北京思特奇信息技术股份有限公司 一种数据工单处理方法及系统
CN106503149A (zh) * 2016-10-21 2017-03-15 广东亿迅科技有限公司 一种数据同步方法及其系统
CN106503149B (zh) * 2016-10-21 2020-01-24 广东亿迅科技有限公司 一种数据同步方法及其系统

Similar Documents

Publication Publication Date Title
US20180365254A1 (en) Method and apparatus for processing information flow data
US9800691B2 (en) Stream processing using a client-server architecture
CN107515878B (zh) 一种数据索引的管理方法及装置
CN108076098A (zh) 一种业务处理方法及系统
CN107908680A (zh) 微信公众号的管理方法、电子装置及计算机可读存储介质
CN103927338A (zh) 日志信息入库处理方法和装置
CN106155812A (zh) 一种对虚拟主机的资源管理的方法、装置、系统及电子设备
CN109726004B (zh) 一种数据处理方法及装置
CN102521712A (zh) 一种流程实例数据处理方法和装置
CN102915344B (zh) 一种sql语句处理方法及装置
US9712477B2 (en) Email notifications
CN106971254A (zh) 一种业务监控系统及方法
CN104182846A (zh) 一种客户管理系统
CN106209495A (zh) 一种云监控系统的报表生成方法及装置
CN103577251A (zh) 基于事件的互联网计算处理系统及方法
CN103577431A (zh) 一种利用多种数据库进行系统设计的方法、装置以及系统
CN103544060B (zh) 一种基于webservice的服务调度系统及方法
CN113254445A (zh) 实时数据存储方法、装置、计算机设备及存储介质
CN108881651A (zh) 呼叫平台的数据处理方法、装置、设备及存储介质
CN103812679A (zh) 一种海量日志统计分析系统和方法
CN105988886A (zh) 一种运维过程中的故障处理方法及装置
CN104301421A (zh) 一种云计算实时数据同步方法
CN108595480B (zh) 一种基于云计算的大数据etl工具系统及应用方法
US8510426B2 (en) Communication and coordination between web services in a cloud-based computing environment
CN104599092A (zh) 用于监控订单业务的方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150121