CN116737678A - 一种数据同步方法、装置、设备及存储介质 - Google Patents
一种数据同步方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116737678A CN116737678A CN202311014589.6A CN202311014589A CN116737678A CN 116737678 A CN116737678 A CN 116737678A CN 202311014589 A CN202311014589 A CN 202311014589A CN 116737678 A CN116737678 A CN 116737678A
- Authority
- CN
- China
- Prior art keywords
- target
- data synchronization
- file
- data
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000001360 synchronised effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据同步方法、装置、设备及存储介质,涉及数据传输领域,包括:接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定目标数据同步配置信息,并将目标数据同步配置信息发送至客户端;基于客户端基于目标数据同步配置信息发送的文件下载请求及预设文件查取规则对当前预设数据同步系统进行查找,以确定与文件下载请求对应的包含相应目标业务数据的目标SQLite文件;将目标SQLite文件发送至客户端,以便客户端基目标SQLite文件中的目标业务数据执行数据入库操作,以完成自身当前的数据同步操作。本申请以SQLite文件的形式传输目标业务数据,有效提高了数据同步的效率。
Description
技术领域
本发明涉及数据传输领域,特别涉及一种数据同步方法、装置、设备及存储介质。
背景技术
目前,越来越多的数据服务型企业基于自身在某一方面的数据积累有优势,对外提供数据销售服务,客户群体可能囊括私人企业、事业单位等,面对众多不同类型的客户,如何高效、安全、灵活、快速的将客户采购的数据同步到客户本地成了企业发展的重要课题。但是,当前的主要技术实现手段往往存在数据传输困难、数据写入速度慢等问题,进而导致了客户体验感较差。
发明内容
有鉴于此,本发明的目的在于提供一种数据同步方法、装置、设备及存储介质,能够有效提高数据同步的效率,并能够有效避免由于数据传输困难导致的用户体验感较差的情况。其具体方案如下:
第一方面,本申请提供了一种数据同步方法,应用于服务端,包括:
接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;
基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
可选的,所述接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求之前,还包括:
基于所述客户端发送的公钥获取请求,确定相应的目标公钥信息;
将所述目标公钥信息发送至所述客户端,以便所述客户端基于所述目标公钥信息进行登录,并在登录成功后发送所述数据同步配置信息获取请求。
可选的,所述数据同步方法,还包括:
获取所述客户端发送的包含加密后信息的登录请求;所述加密后信息为所述客户端利用所述目标公钥信息对自身登录密码进行加密后得到的信息;
对所述加密后信息进行解密,以利用解密后得到的所述登录密码完成对所述登录请求的响应。
可选的,所述基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,包括:
对所述文件下载请求进行解析,得到相应的解析结果;
当所述解析结果表明所述文件下载请求为针对当前预设数据同步系统中待同步的第一业务数据的请求时,直接对所述当前预设数据同步系统中已存储的基于所述第一业务数据生成的各SQLite文件进行查找,以得到与所述文件下载请求对应的目标SQLite文件;
当所述解析结果表明所述文件下载请求为针对所述当前预设数据同步系统中待同步的第二业务数据的请求时,对所述当前预设数据同步系统中保存的所述第二业务数据进行查找,并基于查找到的所述第二业务数据生成与所述文件下载请求对应的所述目标SQLite文件。
可选的,所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,包括:
所述客户端将通过对所述目标SQLite文件进行解析得到的所述目标业务数据保存至与自身对应的数据库中,以完成相应的数据入库操作。
可选的,数据同步方法,还包括:
对各所述客户端的所述数据同步操作进行监听,并在监听的过程中接收各所述客户端发送的文件下载结果以及数据入库结果。
第二方面,本申请提供了一种数据同步方法,应用于客户端,包括:
基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息;
基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
第三方面,本申请提供了一种数据同步装置,应用于服务端,包括:
信息请求接收模块,用于接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;
目标文件确定模块,用于基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
目标文件发送模块,用于将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
第四方面,本申请提供了一种数据同步装置,应用于客户端,包括:
配置信息请求模块,用于基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息;
下载请求发送模块,用于基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
数据同步模块,用于接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
第五方面,本申请提供了一种电子设备,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现前述的数据同步方法的步骤。
第六方面,本申请提供了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述的数据同步方法的步骤。
可见,本申请中,服务端首先接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;然后基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;然后将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。本申请中服务端在接收到客户端基于目标数据配置信息发送的文件下载请求后,通过查找当前预设数据同步系统确定包含相应目标业务数据目标SQLite文件,并将所述目标SQLite文件发送至所述客户端,这样一来,通过SQLite文件传输目标业务数据,能够有效提高数据同步的效率,并能够有效避免由于数据传输困难导致的用户体验感较差的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种数据同步方法流程图;
图2为本申请提供的一种客户端数据同步流程示意图;
图3为本申请提供的一种预设数据同步系统的系统架构示意图;
图4为本申请提供的一种具体的数据同步方法流程图;
图5为本申请提供的一种数据同步装置结构示意图;
图6为本申请提供的一种数据同步装置结构示意图;
图7为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,越来越多的数据服务型企业基于自身在某一方面的数据积累有优势,对外提供数据销售服务,客户群体可能囊括私人企业、事业单位等,面对众多不同类型的客户,如何高效、安全、灵活、快速的将客户采购的数据同步到客户本地成了企业发展的重要课题。但是,当前的主要技术实现手段往往存在数据传输困难、数据写入速度慢等问题,进而导致了客户体验感较差。为此,本申请提供了一种数据同步方案,能够有效提高数据同步的效率。
参见图1所示,本发明实施例公开了一种数据同步方法,应用于服务端,包括:
步骤S11、接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端。
具体的,结合图2所示,本实施例中,所述接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求之前,具体还可以包括:基于所述客户端发送的公钥获取请求,确定相应的目标公钥信息;将所述目标公钥信息发送至所述客户端,以便所述客户端基于所述目标公钥信息进行登录,并在登录成功后发送所述数据同步配置信息获取请求。相应的,具体还可以包括:获取所述客户端发送的包含加密后信息的登录请求;所述加密后信息为所述客户端利用所述目标公钥信息对自身登录密码进行加密后得到的信息;对所述加密后信息进行解密,以利用解密后得到的所述登录密码完成对所述登录请求的响应。可以理解的是,最终的响应结果可能为登录成功,也可能为登录失败,本实施例中仅在登录成功后开始数据同步流程。需要理解的是,所述客户端具体向所述服务端的预设公钥获取接口发送所述公钥获取请求,获取到所述目标公钥信息后,将所述加密后信息以及自身的用户名信息、客户端mac地址(Media Access Control Address,媒体访问控制地址)信息一起发送至所述服务端的预设登录接口,以进行登录。
与此同时,针对所述图2中的步骤①至⑥的具体过程分别进行阐述。其中,步骤①也即所述客户端通过发送所述公钥获取请求获取所述目标公钥信息的操作;步骤②也即所述客户端通过利用所述目标公钥信息对自身登录密码进行加密得到的所述加密后信息将所述登录请求发送至所述服务端的预设登录接口,以进行登录的操作;步骤③也即所述客户端通过基于自身的所述预设数据同步任务定时查询数据同步配置信息,来获取当前所述目标数据同步配置信息的操作;步骤④也即所述客户端基于所述目标数据同步配置信息发送的文件下载请求进行文件下载的操作;步骤⑤也即所述客户端在文件下载完成后向所述服务器反馈相应的文件下载结果的操作;步骤⑥也即所述客户端在对下载好的文件进行入库操作后向所述服务器反馈相应的入库结果的操作。
进一步需要理解的是,结合图3所示(图中各箭头代表数据流向),每个所述客户端均存在相应的所述预设数据同步任务,各所述客户端基于自身的所述预设数据同步任务定时查询数据同步配置信息。其中,所述预设数据同步任务均由当前预设数据同步系统中的配置平台进行统一的管理与维护,所述当前预设数据同步系统包括所述配置平台、PG、HDFS、预设文件生成服务,所述HDFS,即为Hadoop Distributed File System(分布式文件存储系统),所述服务端以及所述预设文件生成服务均位于Docker(应用容器引擎)上。并且由于所包含的客户端在内的组件都是集群化部署,因此系统稳定性强。与此同时,所述图3中的PG,即为PostgreSQL(一种以加州大学计算机系开发的POSTGRES4.2版本为基础的关系型数据库)用于存储业务数据,此外业务数据还可以来源于Mysql(一个由瑞典MySQL AB 公司开发的关系型数据库)、KAFKA(Apache Kafka,一种高吞吐量的分布式发布订阅消息系统)等。也就是说,所述当前预设数据同步系统支持多种数据源,此外还支持数据的分批读取以及批量写入,并支持各个数据源的更新或插入语法,同时针对全量数据推送场景、采用了多线程区间分段写入,极大的提高了数据写入速度。
可以理解的是,所述当前预设数据同步系统中保存的业务数据基于业务划分为两类,也即舆情数据以及企业库、诚信库数据,其中,所述舆情数据实时性要求高,同步延迟分钟级别,所述企业库、诚信库数据普遍较大(千万或亿级),实时性要求低,可能一天需要同步一次。
步骤S12、基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件。
本实施例中,结合图3所示,由于所述当前预设数据同步系统中存在两种业务数据,因此在接收到文件下载请求后,需要先判断具体是针对哪一种业务数据的请求。也就是说,所述基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,具体可以包括:对所述文件下载请求进行解析,得到相应的解析结果;当所述解析结果表明所述文件下载请求为针对当前预设数据同步系统中待同步的第一业务数据的请求时,直接对所述当前预设数据同步系统中已存储的基于所述第一业务数据生成的各SQLite文件进行查找,以得到与所述文件下载请求对应的目标SQLite文件;当所述解析结果表明所述文件下载请求为针对所述当前预设数据同步系统中待同步的第二业务数据的请求时,对所述当前预设数据同步系统中保存的所述第二业务数据进行查找,并基于查找到的所述第二业务数据生成与所述文件下载请求对应的所述目标SQLite文件。其中,需要理解的是,所述第一业务数据即为所述企业库、诚信库数据,所述企业库、诚信库数据由于数据量较大需要由所述当前预设数据同步服务提前定时生成相应的SQLite文件并保存至所述HDFS中,以便所述服务端在接收到请求时通过直接从所述HDFS中查找确定目标SQLite文件。相应的,所述第二业务数据即为所述舆情数据,所述舆情数据无需提前生成相应的SQLite文件,而是在所述服务端在接收到请求时对所述PG中的所述舆情数据进行查找,并基于查找到的所述舆情数据实时生成相应的目标SQLite文件。
需要理解的是,本实施例以SQLite(一款轻型的数据库)文件作为数据传输载体,SQLite文件作为一个遵守SQL(Structured Query Language,结构化查询语言)标准的关系型数据库,文件的写入和读取都符合标准SQL语法、因此无需像目前主要的技术方案中的文本文件那样配套特定的数据格式并进行相应的数据写入和读取工作,只需采用SQLite官方提供的JDBC(Java Database Connectivity,Java数据库连接)驱动采用SQL语言进行数据的写入和读取即可,同时也可采用驱动提供的API(Application Programming Interface,应用程序编程接口)来对数据进行加密、提高安全性。此外,在需对文件的数据进行检索时,直接使用SQL语言查询即可,有效解决的目前技术方案中由于文本文件内容难以检索导致的问题排查困难的问题。
步骤S13、将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
具体的,在一种具体实施方式中,基于接收到的各所述客户端发送的所述文件下载请求后将确定出的相应的所述目标SQLite文件分别发送给各所述客户端。
本实施例中,所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,具体可以包括:所述客户端将通过对所述目标SQLite文件进行解析得到的所述目标业务数据保存至与自身对应的数据库中,以完成相应的数据入库操作。
需要理解的是,本实施例中,所述服务器还对各所述客户端的所述数据同步操作进行监听,并在监听的过程中接收各所述客户端发送的文件下载结果以及数据入库结果。这样一来,当发现异常时能够及时进行处理。此外,所述服务端还将对各所述客户端的客户端连接情况进行监控,因为所述客户端分为主从节点,当主节点宕机时,所述客户端将从其余节点中产生新的主节点并接管自身的所述预设数据同步任务。
由此可见,本申请实施例中,服务端首先接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;然后基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;然后将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。本申请中服务端在接收到客户端基于目标数据配置信息发送的文件下载请求后,通过查找当前预设数据同步系统确定包含相应目标业务数据目标SQLite文件,并将所述目标SQLite文件发送至所述客户端,这样一来,通过SQLite文件传输目标业务数据,能够有效提高数据同步的效率,并能够有效避免由于数据传输困难导致的用户体验感较差的情况。
参见图4所示,本发明实施例公开了一种数据同步方法,应用于客户端,包括:
步骤S21、基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息。
结合图2所示,本实施例中,客户端在自身启动之后,开始向服务端发送公钥获取请求,并在得到相应的目标公钥信息之后进行登录,并在登录成功后向所述服务端发送数据同步配置信息获取请求。
步骤S22、基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件。
步骤S23、接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
结合图3所示,当接收到的所述目标SQLite文件中的所述目标业务数为舆情信息时将所述目标业务数据发送至预设舆情本地化系统进行保存。
其中,关于上述步骤S21至步骤S23的具体过程可以结合前述实施例公开的相应内容,在此不再进行赘述。
由此可见,本申请实施例中,客户端服务端首先基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息;然后基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;然后接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。本申请中客户端基于接收到的目标数据配置信息向服务端发送文件下载请求后,以接收所述服务端确定的包含相应目标业务数据的目标SQLite文件,这样一来,通过SQLite文件传输目标业务数据,能够有效提高数据同步的效率,并能够有效避免由于数据传输困难导致的用户体验感较差的情况。
参见图5所示,本申请实施例还相应公开了一种数据同步装置,应用于服务端,包括:
信息请求接收模块11,用于接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;
目标文件确定模块12,用于基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
目标文件发送模块13,用于将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
其中,关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
由此可见,本申请中服务端首先接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;然后基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;然后将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。本申请中服务端在接收到客户端基于目标数据配置信息发送的文件下载请求后,通过查找当前预设数据同步系统确定包含相应目标业务数据目标SQLite文件,并将所述目标SQLite文件发送至所述客户端,这样一来,通过SQLite文件传输目标业务数据,能够有效提高数据同步的效率,并能够有效避免由于数据传输困难导致的用户体验感较差的情况。
在一些具体实施例中,所述数据同步装置,具体还可以包括:
公钥信息确定单元,用于基于所述客户端发送的公钥获取请求,确定相应的目标公钥信息;
公钥信息发送单元,用于将所述目标公钥信息发送至所述客户端,以便所述客户端基于所述目标公钥信息进行登录,并在登录成功后发送所述数据同步配置信息获取请求。
在一些具体实施例中,所述数据同步装置,具体还可以包括:
登录请求获取单元,用于获取所述客户端发送的包含加密后信息的登录请求;所述加密后信息为所述客户端利用所述目标公钥信息对自身登录密码进行加密后得到的信息;
信息解密单元,用于对所述加密后信息进行解密,以利用解密后得到的所述登录密码完成对所述登录请求的响应。
在一些具体实施例中,所述目标文件确定模块12,具体可以包括:
下载请求解析单元,用于对所述文件下载请求进行解析,得到相应的解析结果;
第一目标文件确定单元,用于当所述解析结果表明所述文件下载请求为针对当前预设数据同步系统中待同步的第一业务数据的请求时,直接对所述当前预设数据同步系统中已存储的基于所述第一业务数据生成的各SQLite文件进行查找,以得到与所述文件下载请求对应的目标SQLite文件;
第二目标文件确定单元,用于当所述解析结果表明所述文件下载请求为针对所述当前预设数据同步系统中待同步的第二业务数据的请求时,对所述当前预设数据同步系统中保存的所述第二业务数据进行查找,并基于查找到的所述第二业务数据生成与所述文件下载请求对应的所述目标SQLite文件。
在一些具体实施例中,所述目标文件发送模块13,具体可以包括:
数据入库模块,用于所述客户端将通过对所述目标SQLite文件进行解析得到的所述目标业务数据保存至与自身对应的数据库中,以完成相应的数据入库操作。
在一些具体实施例中,所述数据同步装置,具体还可以包括:
操作监听模块,用于对各所述客户端的所述数据同步操作进行监听,并在监听的过程中接收各所述客户端发送的文件下载结果以及数据入库结果。
参见图6所示,本申请实施例还相应公开了一种数据同步装置,应用于客户端,包括:
配置信息请求模块21,用于基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息;
下载请求发送模块22,用于基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
数据同步模块23,用于接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
其中,关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
由此可见,本申请中客户端服务端首先基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息;然后基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;然后接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。本申请中客户端基于接收到的目标数据配置信息向服务端发送文件下载请求后,以接收所述服务端确定的包含相应目标业务数据的目标SQLite文件,这样一来,通过SQLite文件传输目标业务数据,能够有效提高数据同步的效率,并能够有效避免由于数据传输困难导致的用户体验感较差的情况。
进一步的,本申请实施例还公开了一种电子设备,图7是根据一示例性实施例示出的电子设备30结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种电子设备30的结构示意图。该电子设备 30,具体可以包括:至少一个处理器31、至少一个存储器32、电源33、通信接口34、输入输出接口35和通信总线36。其中,所述存储器32用于存储计算机程序,所述计算机程序由所述处理器31加载并执行,以实现前述实施例公开的数据同步方法中的相关步骤。另外,本实施例中的电子设备30具体可以为电子计算机。
本实施例中,电源33用于为电子设备30上的各硬件设备提供工作电压;通信接口34能够为电子设备30创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口35,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器32作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统321、计算机程序322等,存储方式可以是短暂存储或者永久存储。
其中,操作系统321用于管理与控制电子设备30上的各硬件设备以及计算机程序3222,其可以是Windows Server、Netware、Unix、Linux等。计算机程序322除了包括能够用于完成前述实施例公开的由电子设备30执行的数据同步方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的数据同步方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种数据同步方法,其特征在于,应用于服务端,包括:
接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;
基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
2.根据权利要求1所述的数据同步方法,其特征在于,所述接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求之前,还包括:
基于所述客户端发送的公钥获取请求,确定相应的目标公钥信息;
将所述目标公钥信息发送至所述客户端,以便所述客户端基于所述目标公钥信息进行登录,并在登录成功后发送所述数据同步配置信息获取请求。
3.根据权利要求2所述的数据同步方法,其特征在于,还包括:
获取所述客户端发送的包含加密后信息的登录请求;所述加密后信息为所述客户端利用所述目标公钥信息对自身登录密码进行加密后得到的信息;
对所述加密后信息进行解密,以利用解密后得到的所述登录密码完成对所述登录请求的响应。
4.根据权利要求1所述的数据同步方法,其特征在于,所述基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,包括:
对所述文件下载请求进行解析,得到相应的解析结果;
当所述解析结果表明所述文件下载请求为针对当前预设数据同步系统中待同步的第一业务数据的请求时,直接对所述当前预设数据同步系统中已存储的基于所述第一业务数据生成的各SQLite文件进行查找,以得到与所述文件下载请求对应的目标SQLite文件;
当所述解析结果表明所述文件下载请求为针对所述当前预设数据同步系统中待同步的第二业务数据的请求时,对所述当前预设数据同步系统中保存的所述第二业务数据进行查找,并基于查找到的所述第二业务数据生成与所述文件下载请求对应的所述目标SQLite文件。
5.根据权利要求1所述的数据同步方法,其特征在于,所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,包括:
所述客户端将通过对所述目标SQLite文件进行解析得到的所述目标业务数据保存至与自身对应的数据库中,以完成相应的数据入库操作。
6.根据权利要求1至5任一项所述的数据同步方法,其特征在于,还包括:
对各所述客户端的所述数据同步操作进行监听,并在监听的过程中接收各所述客户端发送的文件下载结果以及数据入库结果。
7.一种数据同步方法,其特征在于,应用于客户端,包括:
基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息;
基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
8.一种数据同步装置,其特征在于,应用于服务端,包括:
信息请求接收模块,用于接收客户端基于与自身对应的预设数据同步任务发送的数据同步配置信息获取请求,确定相应的目标数据同步配置信息,并将所述目标数据同步配置信息发送至所述客户端;
目标文件确定模块,用于基于所述客户端基于所述目标数据同步配置信息发送的文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,以确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
目标文件发送模块,用于将所述目标SQLite文件发送至所述客户端,以便所述客户端基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
9.一种数据同步装置,其特征在于,应用于客户端,包括:
配置信息请求模块,用于基于与自身对应的预设数据同步任务向服务端发送数据同步配置信息获取请求,并接收所述服务端发送的相应的目标数据同步配置信息;
下载请求发送模块,用于基于所述目标数据同步配置信息向所述服务端发送文件下载请求,以便所述服务端基于所述文件下载请求以及预设文件查取规则对当前预设数据同步系统进行查找,确定与所述文件下载请求对应的包含相应目标业务数据的目标SQLite文件;
数据同步模块,用于接收所述预设服务端发送的所述目标SQLite文件,并基于所述目标SQLite文件中的所述目标业务数据执行相应的数据入库操作,以完成自身当前的数据同步操作。
10.一种电子设备,其特征在于,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至7任一项所述的数据同步方法。
11.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311014589.6A CN116737678B (zh) | 2023-08-14 | 2023-08-14 | 一种数据同步方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311014589.6A CN116737678B (zh) | 2023-08-14 | 2023-08-14 | 一种数据同步方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116737678A true CN116737678A (zh) | 2023-09-12 |
CN116737678B CN116737678B (zh) | 2024-04-19 |
Family
ID=87909999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311014589.6A Active CN116737678B (zh) | 2023-08-14 | 2023-08-14 | 一种数据同步方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116737678B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103916482A (zh) * | 2014-04-21 | 2014-07-09 | 合肥盈云信息科技有限公司 | 一种基于sqlite的数据同步传输方法 |
CN108628881A (zh) * | 2017-03-20 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 数据同步方法和装置 |
US20190132389A1 (en) * | 2017-11-01 | 2019-05-02 | General Electric Company | Sync gateway |
CN111666745A (zh) * | 2020-06-03 | 2020-09-15 | 中国建设银行股份有限公司 | 一种文件下载方法、装置、服务器及介质 |
CN113836234A (zh) * | 2021-09-28 | 2021-12-24 | 山东浪潮通软信息科技有限公司 | 一种离线作业数据同步的方法、系统、设备和存储介质 |
CN114579664A (zh) * | 2022-01-29 | 2022-06-03 | 中通服咨询设计研究院有限公司 | 一种SQLite数据库远程实时增量同步方法及系统 |
CN115640349A (zh) * | 2022-11-03 | 2023-01-24 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
CN116016561A (zh) * | 2022-12-26 | 2023-04-25 | 中国建设银行股份有限公司 | 数据的同步方法和装置 |
WO2023111765A1 (en) * | 2021-12-17 | 2023-06-22 | Arati Mahendra Chavan | System and method for handling data consolidation from an edge device to a target database |
-
2023
- 2023-08-14 CN CN202311014589.6A patent/CN116737678B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103916482A (zh) * | 2014-04-21 | 2014-07-09 | 合肥盈云信息科技有限公司 | 一种基于sqlite的数据同步传输方法 |
CN108628881A (zh) * | 2017-03-20 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 数据同步方法和装置 |
US20190132389A1 (en) * | 2017-11-01 | 2019-05-02 | General Electric Company | Sync gateway |
CN111666745A (zh) * | 2020-06-03 | 2020-09-15 | 中国建设银行股份有限公司 | 一种文件下载方法、装置、服务器及介质 |
CN113836234A (zh) * | 2021-09-28 | 2021-12-24 | 山东浪潮通软信息科技有限公司 | 一种离线作业数据同步的方法、系统、设备和存储介质 |
WO2023111765A1 (en) * | 2021-12-17 | 2023-06-22 | Arati Mahendra Chavan | System and method for handling data consolidation from an edge device to a target database |
CN114579664A (zh) * | 2022-01-29 | 2022-06-03 | 中通服咨询设计研究院有限公司 | 一种SQLite数据库远程实时增量同步方法及系统 |
CN115640349A (zh) * | 2022-11-03 | 2023-01-24 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
CN116016561A (zh) * | 2022-12-26 | 2023-04-25 | 中国建设银行股份有限公司 | 数据的同步方法和装置 |
Non-Patent Citations (2)
Title |
---|
NOPRIANTO ET AL.: "Server for SQLite Database: Multithreaded HTTP Server with Synchronized Database Access and JSON Data-Interchange", IEEE, 31 December 2017 (2017-12-31), pages 786 - 790 * |
刘伍丰;乔卫民;敬岚;徐杨;李桂花;郭玉辉;王永平;苟世哲;: "CSRe与RIBLLⅡ实时数据交互系统", 核电子学与探测技术, no. 04, 20 July 2008 (2008-07-20), pages 695 - 698 * |
Also Published As
Publication number | Publication date |
---|---|
CN116737678B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107231402B (zh) | Http请求处理方法、装置及系统 | |
US20150237113A1 (en) | Method and system for file transmission | |
US10341509B2 (en) | Client device state collection and network-based processing solution | |
CN109474456B (zh) | 配置数据处理方法、装置、计算机设备和存储介质 | |
CN111258602B (zh) | 信息更新方法和装置 | |
CN112714192B (zh) | 数据同步方法、装置、计算机可读介质及电子设备 | |
CN110166577B (zh) | 分布式应用群组会话处理系统及方法 | |
CN103034735A (zh) | 一种大数据分布式文件导出方法 | |
US20160241441A1 (en) | Method and apparatus for changing configurations | |
US20140359066A1 (en) | System, method and device for offline downloading resource and computer storage medium | |
CN107566477B (zh) | 一种在分布式文件系统集群中获取文件的方法和装置 | |
CN110851468A (zh) | 对客户端的测试请求做出模拟响应的方法和装置 | |
CN112733001B (zh) | 获取订阅信息的方法、装置和电子设备 | |
US8843915B2 (en) | Signature-based update management | |
CN107844488B (zh) | 数据查询方法和装置 | |
CN105335186B (zh) | 数据下载管理方法及系统 | |
US9781230B2 (en) | Broadcast-based update management | |
CN114579664A (zh) | 一种SQLite数据库远程实时增量同步方法及系统 | |
CN116737678B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
Munonye et al. | Performance analysis of the microsoft. Net-and java-based implementation of REST web services | |
CN112612802A (zh) | 一种实时数据中台的处理方法、装置及平台 | |
CN111240904A (zh) | 数据库备份方法、装置、电子设备及存储介质 | |
CN106899550B (zh) | 一种云平台资源监控方法及装置 | |
CN115189931A (zh) | 一种分布式密钥管理方法、装置、设备、存储介质 | |
US10715484B1 (en) | Domain management and synchronization system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |