CN110532275A - 一种跨域数据和文件更新同步的实现方法 - Google Patents

一种跨域数据和文件更新同步的实现方法 Download PDF

Info

Publication number
CN110532275A
CN110532275A CN201910732578.9A CN201910732578A CN110532275A CN 110532275 A CN110532275 A CN 110532275A CN 201910732578 A CN201910732578 A CN 201910732578A CN 110532275 A CN110532275 A CN 110532275A
Authority
CN
China
Prior art keywords
file
data
sql statement
source
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910732578.9A
Other languages
English (en)
Inventor
陈德淼
李勇波
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201910732578.9A priority Critical patent/CN110532275A/zh
Publication of CN110532275A publication Critical patent/CN110532275A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机应用技术领域，具体涉及一种跨域数据和文件更新同步的实现方法。本发明所述的数据同步是在源数据库端对数据进行更新时，相应保存SQL语句操作日志，镜像SQL语句操作日志到目标数据库；目标数据库执行SQL语句操作日志进行数据同步；所述的文件更新是配置文件同步服务器，设置源文件库及目标文件库、需要进行同步的源文件目录及目标文件目录，当源文件库的文件系统发生改变时，定时更新源文件库发生改变的文件到目标文件库。本发明解决了不同网络环境的数据、文件更新同步问题；可以用于跨域的数据和文件更新同步。

Description

一种跨域数据和文件更新同步的实现方法
技术领域
本发明涉及计算机应用技术领域，具体涉及一种跨域数据和文件更新同步的实现方法。
背景技术
随着我国信息化行业的讯速发展，越来越多的业务都是通过信息管理系统完成的。这些系统之间存在一定的关联关系，部份数据文件在多个系统中都需要被使用。这些系统可能存储在不同的网络环境中，当一个业务系统对其数据库中的某些信息进行更新时，将导致该系统与其他多个系统内数据的不一致性。如何解决这种不同网络环境中的数据文件同步问题，如何准确的获取源系统的数据文件，如何将数据文件安全、及时、无误的发送给目标系统，如何对同步的数据和过程进行监控和管理，实现跨域的数据文件更新同步就显得优为重要。
发明内容
本发明解决的技术问题是提供一种跨域数据和文件更新同步的实现方法，解决不同网络环境的数据、文件更新同步等问题。
本发明解决前述技术问题的技术方案是：
所述的数据同步是在源数据库端对数据进行更新时，相应保存SQL语句操作日志，镜像SQL语句操作日志到目标数据库；目标数据库执行SQL语句操作日志进行数据同步；所述的文件更新是配置文件同步服务器，设置源文件库及目标文件库、需要进行同步的源文件目录及目标文件目录，当源文件库的文件系统发生改变时，定时更新源文件库发生改变的文件到目标文件库。
所述的数据同步时，通过设置前置机的方式镜像SQL语句表到目标数据库；目标数据库创建定时任务，定时运行前置机读取过来的SQL语句进行数据更新。
所述的源数据库端配置监听器，用来保存更新的SQL语句，保存更新内容包含对源数据库表的新增、修改和删除操作。
当源数据端新增一条数据时，监听器保存一条新增SQL语句；语句格式为“INSERTINTO table_name(列1,列2,...)VALUES(值1,值2,....)”；
当源数据库系统中对某条数据进行了修改时，监听器保存一条修改SQL语句；语句格式为“UPDATE表名称SET列名称＝新值WHERE列名称＝某值”；
当源数据库系统中对某条数据进行删除时，监听器保存一条删除SQL语句；语句格式为“DELETE FROM表名称WHERE列名称＝某值”。
当源数据库和目标数据库处于不同的域时部署前置机；源数据库对前置机有修改权限，目标数据库对前置机只有读取权限；当源数据库在对数据表进行更新时，将保存的SQL语句实时保存到前置机；目标数据库定时将前置机所产生的数据读取过来。
所述的目标数据库端创建Spring定时任务，定时执行前置机同步过来的SQL语句，并给己经成功执行过的SQL语句打上标签；下次再运行时将不执行这些打过标签的SQL语句，每执行某一条SQL语句后将保存成功或失败操作记录。
所述的数据同步的步骤是：
1)、源数据库系统配置监听器，保存更新SQL语句；
2)、部署前置机，开放源数据库以及目标数据库的访问权限；
3)、同步保存SQL语句至前置机；
4)、目标数据库定时读取前置机所产生数据；
5)、目标数据库端建立定时任务，定时执行同步的前置机SQL语句；
6)、设置任务触发时间参数，即间隔运行的时间；
7)、启动Spring定时任务。
所述的文件同步在文件更新时，配置的文件同步服务器更新目标文件库的文件目录。
所述的文件同步步骤是：
1)、部署文件同步服务器，开放源文件库以及目标文件库的访问权限；
2)、设置源文件库及目标文件库；
3)、设置源文件目录及目标文件目录；
4)、创建文件同步程序定时任务；
5)、设置任务触发时间参数，即每隔多久运行一次；
6)、启动同步服务器的文件同步程序任务。
本发明的方法可准确的获取源系统的数据文件，实现数据文件安全、及时、无误的发送给目标系统；实现对同步数据文件和过程进行监控和管理；实现跨域之间的数据文件同步；实现对数据文件更新的可溯源性；可以查看数据文件更新的整个历史过程。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明的系统架构示意图；
图2是本发明数据同步流程示意图；
图3是本发明文件同步流程示意图。
具体实施方式
如图1、2、3所示，本发明跨域的数据、文件更新同步的实现方法：是在源数据库端对数据进行更新时，相应保存SQL语句操作日志，镜像SQL语句操作日志到目标数据库；目标数据库再通过执行SQL语句操作日志的方式进行数据同步。配置文件同步服务器，设置源文件库及目标文件库，设置要进行同步的源文件目录及目标文件目录，当源文件库的文件系统发生改变时，定时更新源文件库发生改变的文件到目标文件库。
本发明的方法中，数据同步时通过前置机的方式镜像SQL语句表(操作日志)到目标数据库；目标数据库创建定时任务，定时运行前置机读取过来的SQL语句进行数据更新。文件更新通过配置文件同步服务器，定时同步源文件库文件到目标文件库。
更为具体的是，在源数据库系统中配置一个监听器，用来保存更新的SQL语句，保存更新内容包含对源数据库表的新增、修改和删除操作。当源数据库系统中新增了一条数据时，监听器保存一条新增SQL语句，语句格式为“INSERT INTO table_name(列1,列2,...)VALUES(值1,值2,....)”。当源数据库系统中对某条数据进行了修改时，监听器保存一条修改SQL语句，语句格式为“UPDATE表名称SET列名称＝新值WHERE列名称＝某值”。当源数据库系统中对某条数据进行删除时，监听器保存一条删除SQL语句，语句格式为“DELETE FROM表名称WHERE列名称＝某值”。
部署前置机，开放数据库端口访问权限；用来同步源数据库中保存的SQL语句。部署前置机的前提条件是源数据库和目标数据库处于不同的域，他们之间是不能互相进行访问，或者只能单向访问。源数据库对前置机有修改权限，目标数据库对前置机有读取权限。当源数据库在对数据表进行更新时，将保存的SQL语句实时保存到前置机；目标数据库定时将前置机所产生的数据读取过来。
目标数据库端创建Spring定时任务，定时执行前置机同步过来的SQL语句，并给己经成功执行过的SQL语句打上标签；下次再运行时将不执行这些打过标签的SQL语句，每执行某一条SQL语句后将保存成功或失败操作记录。
在文件同步时，配置文件同步服务器，设置源文件库和目标文件库，设置源文件目录及目标文件目录，运行文件同步程序更新文件目录。
本发明以上的方法中，
数据同步的实现方法主要步骤是：
1)、源数据库系统配置监听器，保存更新SQL语句；
2)、部署前置机，开放源数据库以及目标数据库的访问权限；
3)、同步保存SQL语句至前置机；
4)、目标数据库定时将前置机所产生的数据读取过来；
5)、目标数据库端建立定时任务，定时执行前置机同步过来的SQL语句；
6)、设置任务触发时间参数，即每隔多久运行一次；
7)、启动Spring定时任务。
文件同步的实现方法主要步骤是：
1)、部署文件同步服务器，开放源文件库以及目标文件库的访问权限；
2)、设置源文件库及目标文件库；
3)、设置源文件目录及目标文件目录；
4)、创建文件同步程序定时任务；
5)、设置任务触发时间参数，即每隔多久运行一次；
6)、启动文件同步程序任务。

Claims (10)

1.一种跨域数据和文件更新同步的实现方法，其特征在于：所述的数据同步是在源数据库端对数据进行更新时，相应保存SQL语句操作日志，镜像SQL语句操作日志到目标数据库；目标数据库执行SQL语句操作日志进行数据同步；所述的文件更新是配置文件同步服务器，设置源文件库及目标文件库、需要进行同步的源文件目录及目标文件目录，当源文件库的文件系统发生改变时，定时更新源文件库发生改变的文件到目标文件库。
2.根据权利要求1所述的方法，其特征在于：所述的数据同步时，通过设置前置机的方式镜像SQL语句表到目标数据库；目标数据库创建定时任务，定时运行前置机读取过来的SQL语句进行数据更新。
3.根据权利要求1所述的方法，其特征在于：所述的源数据库端配置监听器，用来保存更新的SQL语句，保存更新内容包含对源数据库表的新增、修改和删除操作。
4.根据权利要求2所述的方法，其特征在于：所述的源数据库端配置监听器，用来保存更新的SQL语句，保存更新内容包含对源数据库表的新增、修改和删除操作。
5.根据权利要求3或4所述的方法，其特征在于：当源数据端新增一条数据时，监听器保存一条新增SQL语句；语句格式为“INSERT INTO table_name(列1,列2,...)VALUES(值1,值2,....)”；
当源数据库系统中对某条数据进行了修改时，监听器保存一条修改SQL语句；语句格式为“UPDATE表名称SET列名称＝新值WHERE列名称＝某值”；
当源数据库系统中对某条数据进行删除时，监听器保存一条删除SQL语句；语句格式为“DELETE FROM表名称WHERE列名称＝某值”。
6.根据权利要求2或4所述的方法，其特征在于：当源数据库和目标数据库处于不同的域时部署前置机；源数据库对前置机有修改权限，目标数据库对前置机只有读取权限；当源数据库在对数据表进行更新时，将保存的SQL语句实时保存到前置机；目标数据库定时将前置机所产生的数据读取过来。
7.根据权利要求6所述的方法，其特征在于：所述的目标数据库端创建Spring定时任务，定时执行前置机同步过来的SQL语句，并给己经成功执行过的SQL语句打上标签；下次再运行时将不执行这些打过标签的SQL语句，每执行某一条SQL语句后将保存成功或失败操作记录。
8.根据权利要求7所述的方法，其特征在于：所述的数据同步的步骤是：
1)、源数据库系统配置监听器，保存更新SQL语句；
2)、部署前置机，开放源数据库以及目标数据库的访问权限；
3)、同步保存SQL语句至前置机；
4)、目标数据库定时读取前置机所产生数据；
5)、目标数据库端建立定时任务，定时执行同步的前置机SQL语句；
6)、设置任务触发时间参数，即间隔运行的时间；
7)、启动Spring定时任务。
9.根据权利要求1所述的方法，其特征在于：所述的文件同步在文件更新时，配置的文件同步服务器更新目标文件库的文件目录。
10.根据权利要求9所述的方法，其特征在于：所述的文件同步步骤是：
1)、部署文件同步服务器，开放源文件库以及目标文件库的访问权限；
2)、设置源文件库及目标文件库；
3)、设置源文件目录及目标文件目录；
4)、创建文件同步程序定时任务；
5)、设置任务触发时间参数，即每隔多久运行一次；
6)、启动同步服务器的文件同步程序任务。
CN201910732578.9A 2019-08-09 2019-08-09 一种跨域数据和文件更新同步的实现方法 Withdrawn CN110532275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910732578.9A CN110532275A (zh) 2019-08-09 2019-08-09 一种跨域数据和文件更新同步的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910732578.9A CN110532275A (zh) 2019-08-09 2019-08-09 一种跨域数据和文件更新同步的实现方法

Publications (1)

Publication Number Publication Date
CN110532275A true CN110532275A (zh) 2019-12-03

Family

ID=68662141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910732578.9A Withdrawn CN110532275A (zh) 2019-08-09 2019-08-09 一种跨域数据和文件更新同步的实现方法

Country Status (1)

Country Link
CN (1) CN110532275A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444278A (zh) * 2020-04-01 2020-07-24 Oppo（重庆）智能科技有限公司 数据同步方法、装置及中转服务器
CN112015812A (zh) * 2020-08-10 2020-12-01 仁励家网络科技(杭州)有限公司 数据同步方法和数据同步装置
CN112632183A (zh) * 2020-12-11 2021-04-09 广东电力通信科技有限公司 一种基于电网网络分区数据表准实时同步方法及系统
CN113254535A (zh) * 2021-06-08 2021-08-13 成都新潮传媒集团有限公司 一种mongodb到mysql的数据同步方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617176A (zh) * 2013-11-04 2014-03-05 广东电子工业研究院有限公司 一种实现多源异构数据资源自动同步的方法
CN106227822A (zh) * 2016-07-22 2016-12-14 深圳市中润四方信息技术有限公司 一种数据分发方法及数据同步系统
CN109933630A (zh) * 2019-03-19 2019-06-25 武汉达梦数据库有限公司 数据库数据实时同步方法及设备
CN109960710A (zh) * 2019-01-16 2019-07-02 平安科技（深圳）有限公司 数据库之间的数据同步方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617176A (zh) * 2013-11-04 2014-03-05 广东电子工业研究院有限公司 一种实现多源异构数据资源自动同步的方法
CN106227822A (zh) * 2016-07-22 2016-12-14 深圳市中润四方信息技术有限公司 一种数据分发方法及数据同步系统
CN109960710A (zh) * 2019-01-16 2019-07-02 平安科技（深圳）有限公司 数据库之间的数据同步方法和系统
CN109933630A (zh) * 2019-03-19 2019-06-25 武汉达梦数据库有限公司 数据库数据实时同步方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟祥萍等: "HBase在智能电网异构数据同步中的应用", 《电力系统保护与控制》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444278A (zh) * 2020-04-01 2020-07-24 Oppo（重庆）智能科技有限公司 数据同步方法、装置及中转服务器
CN111444278B (zh) * 2020-04-01 2023-08-29 Oppo（重庆）智能科技有限公司 数据同步方法、装置及中转服务器
CN112015812A (zh) * 2020-08-10 2020-12-01 仁励家网络科技(杭州)有限公司 数据同步方法和数据同步装置
CN112015812B (zh) * 2020-08-10 2021-04-27 仁励家网络科技(杭州)有限公司 数据同步方法和数据同步装置
CN112632183A (zh) * 2020-12-11 2021-04-09 广东电力通信科技有限公司 一种基于电网网络分区数据表准实时同步方法及系统
CN112632183B (zh) * 2020-12-11 2023-07-11 广东电力通信科技有限公司 一种基于电网网络分区数据表准实时同步方法及系统
CN113254535A (zh) * 2021-06-08 2021-08-13 成都新潮传媒集团有限公司 一种mongodb到mysql的数据同步方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110532275A (zh) 一种跨域数据和文件更新同步的实现方法
JP7158482B2 (ja) クライアント同期における違反の解決のための方法、コンピュータ可読媒体、及びシステム
US9396245B2 (en) Race condition handling in a system which incrementally updates clients with events that occurred in a cloud-based collaboration platform
CN107391758B (zh) 数据库切换方法、装置及设备
US20140195485A1 (en) File system monitoring in a system which incrementally updates clients with events that occurred in a cloud-based collaboration platform
CN109960710A (zh) 数据库之间的数据同步方法和系统
EP2727014B1 (en) Automatic synchronization of most recently used document lists
CN112286905A (zh) 数据迁移方法及装置、存储介质、电子设备
US20140222758A1 (en) Coherent File State Maintained Among Confederated Repositories By Distributed Workspace Apparatuses Backed Up By a File State Ledgerdemain Store
US7739680B1 (en) Application server production software upgrading with high availability staging software
Chyrun et al. Web Resource Changes Monitoring System Development.
US20170255528A1 (en) Smart data replication recoverer
US20090070391A1 (en) Systems, methods and software programs for data synchronization
CN113111129A (zh) 数据同步方法、装置、设备及存储介质
CN105868343A (zh) 数据库迁移方法及系统
CN105959390A (zh) 微服务的统一管理系统及方法
CN104765840A (zh) 一种大数据分布式存储的方法和装置
WO2016082594A1 (zh) 数据更新处理方法及装置
US20230252046A1 (en) Partial table and multisource synchronization for databases
US9037539B2 (en) Data synchronization
CN102982171A (zh) 一种数据库同步方法
US11210212B2 (en) Conflict resolution and garbage collection in distributed databases
CN110489092A (zh) 一种数据库读写分离架构下读取数据延迟问题的解决方法
CN112035418A (zh) 多机房同步方法、计算设备及计算机存储介质
CN106649756A (zh) 日志同步方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191203