CN111782618A - 一种数据同步系统 - Google Patents

一种数据同步系统 Download PDF

Info

Publication number
CN111782618A
CN111782618A CN202010587342.3A CN202010587342A CN111782618A CN 111782618 A CN111782618 A CN 111782618A CN 202010587342 A CN202010587342 A CN 202010587342A CN 111782618 A CN111782618 A CN 111782618A
Authority
CN
China
Prior art keywords
ftp
synchronization
data
task
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010587342.3A
Other languages
English (en)
Other versions
CN111782618B (zh
Inventor
王鹏达
李鹏
董义明
戴永恒
李成帮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cetc Kehuayun Information Technology Co ltd
Diankeyun Beijing Technology Co ltd
Electronic Science Research Institute of CTEC
Original Assignee
Cetc Kehuayun Information Technology Co ltd
Diankeyun Beijing Technology Co ltd
Electronic Science Research Institute of CTEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cetc Kehuayun Information Technology Co ltd, Diankeyun Beijing Technology Co ltd, Electronic Science Research Institute of CTEC filed Critical Cetc Kehuayun Information Technology Co ltd
Priority to CN202010587342.3A priority Critical patent/CN111782618B/zh
Publication of CN111782618A publication Critical patent/CN111782618A/zh
Application granted granted Critical
Publication of CN111782618B publication Critical patent/CN111782618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

一种数据同步系统，该数据同步系统用于FTP非结构化数据同步，具体包括，数据源管理模块，用于FTP数据源的创建、连接测试、查询和删除；同步任务管理模块，用于同步任务的创建、列表、查询、详情、调度、启停、日志查看和结果统计的可视化；同步任务执行模块，用于对于配置读取、计算增量文件、目录结构同步、中文文件名的处理、同步过程日志记录、同步错误记录和同步结果的统计记录。还包括异构FTP模块和业务数据存储模块。

Description

一种数据同步系统
技术领域
本发明属于云数据技术领域，特别涉及一种数据同步系统，即一种基于FTP的非结构化数据增量同步交换系统。
背景技术
随着国家对互联网技术和智慧城市的支持和不断投入，政府政务系统也不断深入智慧政务云的建设。智慧政务云由于历史原因，目前政务系统中各单位和机构存在多种非结构化的数据，而且这些数据分别位于不同物理位置，形成了很多数据孤岛。
随着智慧政务云的不断建设，这些数据需要进行统一的管理。针对跨网跨设备的场景，为了实现分布式异构系统之间的数据互联互通，完成数据的抽取建立中心数据库，现有的ETL工具比如kettle之类的工具无法实现文件的增量同步，并且不支持数据源管理、目录递归同步、同步失败文件定位、中文文件、同步结果数统计、任务调度和超时中断执行等功能。
发明内容
针对现有技术存在的这些问题，发明实施例提供一种数据同步系统，基于目前流行的spring cloud微服务技术、Apache Commons net技术以及Docker等技术，旨在为用户提供支持增量、支持多语言、目录递归、失败快速定位、结果统计等功能的FTP同步交换系统。
本发明实施例之一，一种数据同步系统，该数据同步系统用于FTP非结构化数据同步，具体包括：
数据源管理模块，用于FTP数据源的创建、连接测试、查询和删除；
同步任务管理模块，用于同步任务的创建、列表、查询、详情、调度、启停、日志查看和结果统计的可视化；
同步任务执行模块，用于对于配置读取、计算增量文件、目录结构同步、中文文件名的处理、同步过程日志记录、同步错误记录和同步结果的统计记录。
还包括异构FTP模块和业务数据存储模块。
本发明实施例实现了FTP数据源管理，增量同步FTP文件，能够递归同步目录结构以及目录下的文件，解决文件名中文乱码问题，支持通过日志快速定位同步失败的文件，支持同步结果数量统计，支持同步任务调度策略，超时中断执行，支持微服务服务发现和服务间的远程调用。有益效果包括：实现了FTP异构数据源统一管理、同步任务可视化管理和分布式异构系统之间的数据互联互通。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1是本发明实施例之一的的系统架构图。
图2是本发明实施例之一的系统流程图。
图3是本发明实施例之一的系统部署架构图。
具体实施方式
根据一个或者多个实施例，如图1所示，一种基于FTP的非结构化数据增量同步交换系统。具体包括，数据源管理模块、同步任务管理模块和同步任务执行模块。
数据源管理模块，用于FTP数据源的创建、连接测试、查询和删除；同步任务管理模块，用于同步任务的创建、列表、查询、详情、调度、启停、日志查看和结果统计的可视化；同步任务执行模块，用于对于配置读取、计算增量文件、目录结构同步、中文文件名的处理、同步过程日志记录、同步错误记录和同步结果的统计记录。还包括异构FTP模块和业务数据存储模块。
根据一个或者多个实施例，如图2所示，数据源管理模块执行步骤包括：创建FTP数据源；进行连通性测试，如果不成功，则返回创建FTP数据源；如果成功，则完成可视化管理。同步任务管理模块执行步骤包括：读取FTP数据源配置；选择FTP同步源和目标；选择配置调度策略和超时时间；创建同步任务；完成同步任务可视化管理。同步任务执行模块执行步骤包括：读取同步任务配置；计算增量文件；同步目录结构；处理中文乱码和同步文件；记录同步过程日志；记录同步统计信息。
根据一个或者多个实施例，FTP数据源管理模块，用于对分布式异构环境中的FTP数据源进行统一管理，在系统中可以对所有的FTP进行统一管理，同时这些FTP数据源也作为FTP数据同步的输入。
FTP非结构化数据同步任务创建模块，用于对FTP数据源管理中的FTP数据源进行配置，选择FTP同步源和同步目标FTP，并创建FTP非结构化数据同步任务，设置调度策略和超时时间等。
FTP非结构化数据同步任务管理模块，管理上述创建的FTP非结构化数据同步任务，包括查询所有同步任务或根据条件进行查询等，可查看同步任务的运行状态、运行次数、成功失败次数，同步的文件数量，删除任务，查看任务详情，任务日志，包括同步失败的文件日志等操作。
FTP非结构化数据同步任务调度模块，支持多种对同步任务的调度策略，包括常见的Cron表达式、立即执行、立即停止和超时中断等。
FTP非结构化数据同步任务核心模块，执行过程中先读取任务配置，包括FTP源和FTP目标配置，读取需要增量同步的文件，开始同步FTP文件，在目标FTP中创建和源FTP相同的目录结构，同步文件，记录同步过程中日志(包括同步失败的文件信息)，记录同步结果数统计信息等。
根据一个或者多个实施例，FTP的非结构化数据同步系统，通过图3的系统部署架构图可知，系统是采用微服务架构和前后端分离的架构进行开发的，部署环境依赖于docker容器。本系统组成架构包括：docker容器、nginx、MySQL数据库，被管理的异构FTP服务器。
首先整个前端WEB页面部署到nginx中，通过nginx进行负载均衡访问后端的业务系统，后端的业务系统，即FTP数据同步系统通过微服务方式部署到docker容器中，FTP数据同步系统根据任务的调度策略调度FTP数据同步任务执行器，任务执行器同样作为微服务运行在docker容器中，任务执行器被调度后，会通过feign client远程调用FTP数据同步微服务中的接口获取配置信息，然后连接FTP服务器，计算增量同步文件，在目标FTP中创建和源FTP相同的目录结构，进行数据同步，同步完成后记录同步日志和同步统计结果。
整个同步任务执行完成后，FTP数据同步系统中可通过可视化的方式看到任务执行器的执行过程和执行结果，也可在FTP数据同步系统中控制任务执行器的执行过程和修改调度策略等。
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (8)

1.一种数据同步系统，其特征在于，该数据同步系统用于FTP非结构化数据同步，具体包括，
数据源管理模块，用于FTP数据源的创建、连接测试、查询和删除；
同步任务管理模块，用于同步任务的创建、列表、查询、详情、调度、启停、日志查看和结果统计的可视化；
同步任务执行模块，用于对于配置读取、计算增量文件、目录结构同步、中文文件名的处理、同步过程日志记录、同步错误记录和同步结果的统计记录。
2.根据权利要求1所述的数据同步系统，其特征在于，还包括异构FTP模块和业务数据存储模块。
3.根据权利要求1所述的数据同步系统，其特征在于，数据源管理模块执行步骤包括：
创建FTP数据源；
进行连通性测试，如果不成功，则返回创建FTP数据源；
如果成功，则完成可视化管理。
4.根据权利要求1所述的数据同步系统，其特征在于，同步任务管理模块执行步骤包括：
读取FTP数据源配置；
选择FTP同步源和目标；
选择配置调度策略和超时时间；
创建同步任务；
完成同步任务可视化管理。
5.根据权利要求1所述的数据同步系统，其特征在于，同步任务执行模块执行步骤包括：
读取同步任务配置；
计算增量文件；
同步目录结构；
处理中文乱码和同步文件；
记录同步过程日志；
记录同步统计信息。
6.一种数据同步方法，其特征在于，包括步骤：
对FTP数据源管理，对分布式异构环境中的FTP数据源进行统一管理，同时所述FTP数据源也作为FTP数据同步的输入；
创建FTP非结构化数据同步任务，对FTP数据源管理中的FTP数据源进行配置，选择FTP同步源和同步目标FTP，并创建FTP非结构化数据同步任务，设置调度策略和超时时间；
管理FTP非结构化数据同步任务，包括查询所有同步任务或根据条件进行查询，查看同步任务的运行状态、运行次数、成功失败次数、同步的文件数量、删除任务、查看任务详情、任务日志和同步失败的文件日志操作；
调度FTP非结构化数据同步任务，统支持多种对同步任务的调度策略，包括常见的Cron表达式、立即执行、立即停止和超时中断；
运行FTP非结构化数据同步任务，执行过程中先读取任务配置，包括FTP源和FTP目标配置，读取需要增量同步的文件，开始同步FTP文件，在目标FTP中创建和源FTP相同的目录结构，同步文件、记录同步过程中日志、记录同步结果数统计信息。
7.一种系统部署架构，用于部署如权利要求1所述的数据同步系统，其特征在于，该部署架构包括：
客户端；
UI前端，包括前端WEB页面和nginx；
后端业务系统：
基于docker容器的数据同步微服务；
基于docker容器的任务执行器微服务；以及
MySQL数据库，
异构FTP服务器，
个前端WEB页面部署到nginx中，通过nginx进行负载均衡访问后端的业务系统，
后端的业务系统，即FTP数据同步系统通过微服务方式部署到docker容器中，FTP数据同步系统根据任务的调度策略调度FTP数据同步任务执行器，FTP数据同任务执行器同样作为微服务运行在docker容器中，
任务执行器被调度后，通过feign client远程调用FTP数据同步微服务中的接口获取配置信息，然后连接FTP服务器，计算增量同步文件，在目标FTP中创建和源FTP相同的目录结构，进行数据同步，同步完成后记录同步日志和同步统计结果。
8.一种系统部署架构，其特征在于，同步任务执行完成后，FTP数据同步系统中可通过可视化的方式看到任务执行器的执行过程和执行结果，也可在FTP数据同步系统中控制任务执行器的执行过程和修改调度策略等。
CN202010587342.3A 2020-06-24 2020-06-24 一种数据同步系统 Active CN111782618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010587342.3A CN111782618B (zh) 2020-06-24 2020-06-24 一种数据同步系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010587342.3A CN111782618B (zh) 2020-06-24 2020-06-24 一种数据同步系统

Publications (2)

Publication Number Publication Date
CN111782618A true CN111782618A (zh) 2020-10-16
CN111782618B CN111782618B (zh) 2023-01-31

Family

ID=72759799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010587342.3A Active CN111782618B (zh) 2020-06-24 2020-06-24 一种数据同步系统

Country Status (1)

Country Link
CN (1) CN111782618B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032355A (zh) * 2021-04-06 2021-06-25 上海英方软件股份有限公司 一种Web应用批量收集日志的方法及装置
CN115422206A (zh) * 2022-10-31 2022-12-02 四川互慧软件有限公司 一种数据库数据同步方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
US20180081956A1 (en) * 2013-11-04 2018-03-22 Guangdong Electronics Industry Institute Ltd. Method for automatically synchronizing multi-source heterogeneous data resources
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
US20180081956A1 (en) * 2013-11-04 2018-03-22 Guangdong Electronics Industry Institute Ltd. Method for automatically synchronizing multi-source heterogeneous data resources
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032355A (zh) * 2021-04-06 2021-06-25 上海英方软件股份有限公司 一种Web应用批量收集日志的方法及装置
CN115422206A (zh) * 2022-10-31 2022-12-02 四川互慧软件有限公司 一种数据库数据同步方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111782618B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN111723160B (zh) 一种多源异构增量数据同步方法及系统
CN106713487B (zh) 数据的同步方法和装置
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
CN108694195B (zh) 一种分布式数据仓库的管理方法及系统
CN107566165B (zh) 一种发现及部署电力云数据中心可用资源的方法及系统
CN105359147A (zh) 在线数据库迁移
CN105005618A (zh) 一种异构数据库之间的数据同步方法及系统
CN113111129B (zh) 数据同步方法、装置、设备及存储介质
CN107688611B (zh) 一种基于saltstack的Redis键值管理系统及方法
CN108280080A (zh) 一种数据同步方法、装置以及电子设备
CN111782618B (zh) 一种数据同步系统
CN111400326A (zh) 一种智慧城市数据管理系统及其方法
CN112256656B (zh) 事务回滚方法及装置、数据库、系统、计算机存储介质
CN100433650C (zh) 网络优化系统中的网管数据同步方法及网管数据同步系统
CN107704550A (zh) 文件迁移方法、装置以及计算机可读存储介质
CN102647308A (zh) 一种分布式文件系统的自动测试方法
CN113360558B (zh) 数据处理方法、数据处理装置、电子设备及存储介质
CN115587141A (zh) 一种数据库同步方法和装置
CN113055490B (zh) 数据的存储方法及装置
CN115878721A (zh) 一种数据同步方法、装置、终端和计算机可读存储介质
CN108664503A (zh) 一种数据归档方法及装置
CN109684158A (zh) 分布式协调系统的状态监控方法、装置、设备及存储介质
CN111143280B (zh) 一种数据调度方法、系统、装置及存储介质
CN115348185B (zh) 一种分布式查询引擎的控制方法及其控制装置
CN114116672B (zh) 数据同步方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant