CN111782618B - 一种数据同步系统 - Google Patents

一种数据同步系统 Download PDF

Info

Publication number
CN111782618B
CN111782618B CN202010587342.3A CN202010587342A CN111782618B CN 111782618 B CN111782618 B CN 111782618B CN 202010587342 A CN202010587342 A CN 202010587342A CN 111782618 B CN111782618 B CN 111782618B
Authority
CN
China
Prior art keywords
ftp
synchronization
data
task
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010587342.3A
Other languages
English (en)
Other versions
CN111782618A (zh
Inventor
王鹏达
李鹏
董义明
戴永恒
李成帮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cetc Kehuayun Information Technology Co ltd
Diankeyun Beijing Technology Co ltd
China Academy of Electronic and Information Technology of CETC
Original Assignee
Cetc Kehuayun Information Technology Co ltd
Diankeyun Beijing Technology Co ltd
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cetc Kehuayun Information Technology Co ltd, Diankeyun Beijing Technology Co ltd, China Academy of Electronic and Information Technology of CETC filed Critical Cetc Kehuayun Information Technology Co ltd
Priority to CN202010587342.3A priority Critical patent/CN111782618B/zh
Publication of CN111782618A publication Critical patent/CN111782618A/zh
Application granted granted Critical
Publication of CN111782618B publication Critical patent/CN111782618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据同步系统，该数据同步系统用于FTP非结构化数据同步，具体包括，数据源管理模块，用于FTP数据源的创建、连接测试、查询和删除；同步任务管理模块，用于同步任务的创建、列表、查询、详情、调度、启停、日志查看和结果统计的可视化；同步任务执行模块，用于对于配置读取、计算增量文件、目录结构同步、中文文件名的处理、同步过程日志记录、同步错误记录和同步结果的统计记录。还包括异构FTP模块和业务数据存储模块。

Description

一种数据同步系统
技术领域
本发明属于云数据技术领域，特别涉及一种数据同步系统，即一种基于FTP的非结构化数据增量同步交换系统。
背景技术
随着国家对互联网技术和智慧城市的支持和不断投入，政府政务系统也不断深入智慧政务云的建设。智慧政务云由于历史原因，目前政务系统中各单位和机构存在多种非结构化的数据，而且这些数据分别位于不同物理位置，形成了很多数据孤岛。
随着智慧政务云的不断建设，这些数据需要进行统一的管理。针对跨网跨设备的场景，为了实现分布式异构系统之间的数据互联互通，完成数据的抽取建立中心数据库，现有的ETL工具比如kettle之类的工具无法实现文件的增量同步，并且不支持数据源管理、目录递归同步、同步失败文件定位、中文文件、同步结果数统计、任务调度和超时中断执行等功能。
发明内容
针对现有技术存在的这些问题，发明实施例提供一种数据同步系统，基于目前流行的spring cloud微服务技术、Apache Commons net技术以及Docker等技术，旨在为用户提供支持增量、支持多语言、目录递归、失败快速定位、结果统计等功能的FTP同步交换系统。
本发明实施例之一，一种数据同步系统，该数据同步系统用于FTP非结构化数据同步，具体包括：
数据源管理模块，用于FTP数据源的创建、连接测试、查询和删除；
同步任务管理模块，用于同步任务的创建、列表、查询、详情、调度、启停、日志查看和结果统计的可视化；
同步任务执行模块，用于对于配置读取、计算增量文件、目录结构同步、中文文件名的处理、同步过程日志记录、同步错误记录和同步结果的统计记录。
还包括异构FTP模块和业务数据存储模块。
本发明实施例实现了FTP数据源管理，增量同步FTP文件，能够递归同步目录结构以及目录下的文件，解决文件名中文乱码问题，支持通过日志快速定位同步失败的文件，支持同步结果数量统计，支持同步任务调度策略，超时中断执行，支持微服务服务发现和服务间的远程调用。有益效果包括：实现了FTP异构数据源统一管理、同步任务可视化管理和分布式异构系统之间的数据互联互通。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1是本发明实施例之一的的系统架构图。
图2是本发明实施例之一的系统流程图。
图3是本发明实施例之一的系统部署架构图。
具体实施方式
根据一个或者多个实施例，如图1所示，一种基于FTP的非结构化数据增量同步交换系统。具体包括，数据源管理模块、同步任务管理模块和同步任务执行模块。
数据源管理模块，用于FTP数据源的创建、连接测试、查询和删除；同步任务管理模块，用于同步任务的创建、列表、查询、详情、调度、启停、日志查看和结果统计的可视化；同步任务执行模块，用于对于配置读取、计算增量文件、目录结构同步、中文文件名的处理、同步过程日志记录、同步错误记录和同步结果的统计记录。还包括异构FTP模块和业务数据存储模块。
根据一个或者多个实施例，如图2所示，数据源管理模块执行步骤包括：创建FTP数据源；进行连通性测试，如果不成功，则返回创建FTP数据源；如果成功，则完成可视化管理。同步任务管理模块执行步骤包括：读取FTP数据源配置；选择FTP同步源和目标；选择配置调度策略和超时时间；创建同步任务；完成同步任务可视化管理。同步任务执行模块执行步骤包括：读取同步任务配置；计算增量文件；同步目录结构；处理中文乱码和同步文件；记录同步过程日志；记录同步统计信息。
根据一个或者多个实施例，FTP数据源管理模块，用于对分布式异构环境中的FTP数据源进行统一管理，在系统中可以对所有的FTP进行统一管理，同时这些FTP数据源也作为FTP数据同步的输入。
FTP非结构化数据同步任务创建模块，用于对FTP数据源管理中的FTP数据源进行配置，选择FTP同步源和同步目标FTP，并创建FTP非结构化数据同步任务，设置调度策略和超时时间等。
FTP非结构化数据同步任务管理模块，管理上述创建的FTP非结构化数据同步任务，包括查询所有同步任务或根据条件进行查询等，可查看同步任务的运行状态、运行次数、成功失败次数，同步的文件数量，删除任务，查看任务详情，任务日志，包括同步失败的文件日志等操作。
FTP非结构化数据同步任务调度模块，支持多种对同步任务的调度策略，包括常见的Cron表达式、立即执行、立即停止和超时中断等。
FTP非结构化数据同步任务核心模块，执行过程中先读取任务配置，包括FTP源和FTP目标配置，读取需要增量同步的文件，开始同步FTP文件，在目标FTP中创建和源FTP相同的目录结构，同步文件，记录同步过程中日志(包括同步失败的文件信息)，记录同步结果数统计信息等。
根据一个或者多个实施例，FTP的非结构化数据同步系统，通过图3的系统部署架构图可知，系统是采用微服务架构和前后端分离的架构进行开发的，部署环境依赖于docker容器。本系统组成架构包括：docker容器、nginx、MySQL数据库，被管理的异构FTP服务器。
首先整个前端WEB页面部署到nginx中，通过nginx进行负载均衡访问后端的业务系统，后端的业务系统，即FTP数据同步系统通过微服务方式部署到docker容器中，FTP数据同步系统根据任务的调度策略调度FTP数据同步任务执行器，任务执行器同样作为微服务运行在docker容器中，任务执行器被调度后，会通过feign client远程调用FTP数据同步微服务中的接口获取配置信息，然后连接FTP服务器，计算增量同步文件，在目标FTP中创建和源FTP相同的目录结构，进行数据同步，同步完成后记录同步日志和同步统计结果。
整个同步任务执行完成后，FTP数据同步系统中可通过可视化的方式看到任务执行器的执行过程和执行结果，也可在FTP数据同步系统中控制任务执行器的执行过程和修改调度策略等。
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (1)

1.一种数据同步系统，其特征在于，该系统的数据同步包括步骤：
对FTP数据源管理，对分布式异构环境中的FTP数据源进行统一管理，同时所述FTP数据源也作为FTP数据同步的输入；
创建FTP非结构化数据同步任务，对FTP数据源管理中的FTP数据源进行配置，选择FTP同步源和同步目标FTP，并创建FTP非结构化数据同步任务，设置调度策略和超时时间；
管理FTP非结构化数据同步任务，包括查询所有同步任务或根据条件进行查询，查看同步任务的运行状态、运行次数、成功失败次数、同步的文件数量、删除任务、查看任务详情、任务日志和同步失败的文件日志操作；
调度FTP非结构化数据同步任务，统支持多种对同步任务的调度策略，包括常见的Cron表达式、立即执行、立即停止和超时中断；
运行FTP非结构化数据同步任务，执行过程中先读取任务配置，包括FTP源和FTP目标配置，读取需要增量同步的文件，开始同步FTP文件，在目标FTP中创建和源FTP相同的目录结构，同步文件、记录同步过程中日志、记录同步结果数统计信息。
CN202010587342.3A 2020-06-24 2020-06-24 一种数据同步系统 Active CN111782618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010587342.3A CN111782618B (zh) 2020-06-24 2020-06-24 一种数据同步系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010587342.3A CN111782618B (zh) 2020-06-24 2020-06-24 一种数据同步系统

Publications (2)

Publication Number Publication Date
CN111782618A CN111782618A (zh) 2020-10-16
CN111782618B true CN111782618B (zh) 2023-01-31

Family

ID=72759799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010587342.3A Active CN111782618B (zh) 2020-06-24 2020-06-24 一种数据同步系统

Country Status (1)

Country Link
CN (1) CN111782618B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032355B (zh) * 2021-04-06 2023-06-09 上海英方软件股份有限公司 一种Web应用批量收集日志的方法及装置
CN115422206A (zh) * 2022-10-31 2022-12-02 四川互慧软件有限公司 一种数据库数据同步方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617176B (zh) * 2013-11-04 2017-03-15 广东电子工业研究院有限公司 一种实现多源异构数据资源自动同步的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法

Also Published As

Publication number Publication date
CN111782618A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111723160B (zh) 一种多源异构增量数据同步方法及系统
CN108052681B (zh) 一种关系型数据库间结构化数据的同步方法及系统
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
CN106713487B (zh) 数据的同步方法和装置
CN107797767B (zh) 一种基于容器技术部署分布式存储系统及其存储方法
CN108694195B (zh) 一种分布式数据仓库的管理方法及系统
CN113111129B (zh) 数据同步方法、装置、设备及存储介质
CN105005618A (zh) 一种异构数据库之间的数据同步方法及系统
CN105359147A (zh) 在线数据库迁移
CN111782618B (zh) 一种数据同步系统
CN107688611B (zh) 一种基于saltstack的Redis键值管理系统及方法
CN110442651A (zh) 一种基于kettle实现excel数据自动上传并触发调度的方法
CN112256656A (zh) 事务回滚方法及装置、数据库、系统、计算机存储介质
CN112988702A (zh) 异构数据源实时数据传输方法及系统、存储介质及终端
CN112765272A (zh) 多源数据同步方法、系统及其应用的模型中枢
CN112363809A (zh) 一种基于kubernetes实现微服务链路收集的系统及其方法
CN102647308A (zh) 一种分布式文件系统的自动测试方法
CN117149909A (zh) 数据同步方法、装置、存储介质及处理器
CN113360558B (zh) 数据处理方法、数据处理装置、电子设备及存储介质
CN113055490B (zh) 数据的存储方法及装置
CN115587141A (zh) 一种数据库同步方法和装置
CN112817808B (zh) 一种计算机集群维护任务管理方法及系统
CN101594435B (zh) 一种彩铃业务数据的管理方法和系统
CN108664503A (zh) 一种数据归档方法及装置
CN111506646A (zh) 数据同步方法、装置、系统、存储介质及处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant