CN113407498A - 一种数据同步方法、装置、云平台、系统及存储介质 - Google Patents

一种数据同步方法、装置、云平台、系统及存储介质 Download PDF

Info

Publication number
CN113407498A
CN113407498A CN202110675830.4A CN202110675830A CN113407498A CN 113407498 A CN113407498 A CN 113407498A CN 202110675830 A CN202110675830 A CN 202110675830A CN 113407498 A CN113407498 A CN 113407498A
Authority
CN
China
Prior art keywords
file
data synchronization
synchronized
data
synchronization request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110675830.4A
Other languages
English (en)
Inventor
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110675830.4A priority Critical patent/CN113407498A/zh
Publication of CN113407498A publication Critical patent/CN113407498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种数据同步方法、装置、云平台、系统及存储介质。该方法包括:接收终端发送的数据同步请求,数据同步请求携带待同步文件的文件名称;将数据同步请求转发至数据存储端;接收数据存储端返回的文件名称对应的待同步文件,并对待同步文件执行存储操作。通过上述技术方案,达到了无需用户干预将非本地数据拉取到本地再上传云平台进行对象存储,并且,云平台共用一套拉取上传逻辑,即数据同步逻辑,当场景相同时,不需要对相同场景的中每个用户的数据同步逻辑进行维护,大大降低用户的网络开销和人力成本。

Description

一种数据同步方法、装置、云平台、系统及存储介质
技术领域
本公开涉及数据同步技术领域,尤其涉及一种数据同步方法、装置、云平台、系统及存储介质。
背景技术
终端通常需要与服务端保持数据同步。例如,终端存储的联系人列表需要与服务器存储的最新版本的联系列表保持同步;终端本地存储的文件需要与服务器存储的最新版本的文件保持同步。
现有技术中,终端上数据的同步方式是通过通用的基本上传类接口,上传到云端进行数据同步。这类接口可以很好的支持在终端本地存储的数据的同步过程。当数据存储在第三方的数据存储端时,需要用户先将非本地数据拉取到本地,再将拉取到本地的数据上传至的云端存储实现数据同步。
然而,对于将非本地数据进行数据同步的业务场景,将非本地存储的数据拉取到本地存储的过程会额外增加用户的网络开销,业务逻辑上需要维护非本地数据的拉取逻辑和数据再上传逻辑,当业务场景相同时,对不同的客户都要维护上述逻辑的话,会浪费大量人力。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种数据同步方法、装置、云平台、系统及存储介质,以大大降低用户的网络开销和人力成本。
本公开提供了一种数据同步方法,应用于云平台,该方法包括:
接收终端发送的数据同步请求,所述数据同步请求携带待同步文件的文件名称;
将所述数据同步请求转发至数据存储端;
接收所述数据存储端返回的所述文件名称对应的待同步文件,并对所述待同步文件执行存储操作。
本公开提供了一种数据同步装置,配置于云平台,该装置包括:
数据同步请求接收模块,用于接收终端发送的数据同步请求,所述数据同步请求携带待同步文件的文件名称;
数据同步请求转发模块,用于将所述数据同步请求转发至数据存储端;
待同步文件拉取模块,用于接收所述数据存储端返回的所述文件名称对应的待同步文件;
待同步文件存储模块,用于对所述待同步文件执行存储操作。
本发明实施例还提供了一种云平台,该云平台包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的数据同步方法。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明任意实施例所提供数据同步方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
云平台接收到终端发送的数据同步请求后,将同步请求转发至数据存储端,以从数据存储端查找该文件名称对应的待同步文件,并将接收到的待同步文件上传至存储桶内,以将存储在数据存储端的待同步文件上传至云平台进行存储。达到了无需用户干预将非本地数据拉取到本地再上传云平台进行对象存储,并且,云平台共用一套拉取上传逻辑,即数据同步逻辑,当场景相同时,不需要对相同场景的中每个用户的数据同步逻辑进行维护,大大降低用户的网络开销和人力成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本开实施例提供的数据同步方法的逻辑示意图;
图2为本公开实施例提供的一种数据同步方法的流程示意图;
图3为本公开实施例提供的数据同步的另一逻辑示意图;
图4为本公开实施例提供的另一种数据同步方法的流程示意图;
图5为本公开实施例提供的一种数据同步装置的结构示意图;
图6为本发明实施例提供的一种云平台的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
目前的数据同步方式是,终端上数据的同步方式是通过通用的基本上传类接口,上传到云端进行数据同步。这类接口对终端本地存储的数据支持良好,不能跨平台的将存储在第三方的数据存储端进行数据同步。例如,当数据存储在第三方服务器或其他机房等平台时,用户需要手动将数据存储端中存储的数据拉取到终端本地,再通过通用的基本上传类接口将终端本地的数据上传到云平台进行对象存储。其中,对象存储是一种面向互联网的分布式存储,也叫面向对象的存储。支持通过http协议在任何时间、地点对文件进行读写与管理,支持标准的Rest API(Representational State TransferApplicationProgramming Interface,表现层状态转移应用程序接口),通过扁平的存储架构为用户提供无限的存储空间,对象存储是一种高可靠、高可用、低成本、无线扩展的存储方式,适用海量的非结构化数据存储,资源可支持弹性扩容。
对象存储呈现出来的是“桶”,“桶”用于又可以称为存储桶,用于存放数据。通过上述方式实现将存储在第三方的数据存储端的数据同步到云平台进行对象存储。
然而,上述数据同步方法的缺点是,对于将非本地数据进行数据同步的业务场景,需要在用户的干预下将非本地数据拉取到本地再上传云平台,增加用户的网络开销;并且,后台需要对上述场景的中每个用户的数据同步逻辑进行维护,如果用户量大,需要浪费大量人力资源去维护上述数据同步逻辑。
为了解决上述问题,本公开实施例提供了一种能够降低网络开销和人力成本的数据同步方法、装置、云平台、系统及存储介质。本公开实施例所提供的数据同步方法可以参照图1所示的数据同步方法的逻辑示意图。参见图1,首先,终端200接收外部输入的数据同步请求,通过fetch(提供跨域请求)接口将数据同步请求转发至云平台400,fetch接口可以提供获取资源的接口(包括跨域请求),数据同步请求携带待同步文件的文件名称;接着,云平台400通知数据拉取服务,通过数据拉取服务将数据同步请求转发至数据存储端600,用于向数据存储端600发起数据下载请求,数据存储端600可以是第三方服务器或者用于存储数据的其他平台;数据存储端600根据接收到的数据同步请求,将该文件名称与预先存储的各文件的文件名称匹配,筛选出文件名称对应的待同步文件,向云平台400返回待同步文件;进一步的,云平台400接收到待同步文件后,通过数据拉取服务将待同步文件转存至云平台400,将待同步文件存储至预先定义的存储桶内,完成数据同步过程。其中,终端200可以通过网络协议如超文本传输安全协议(HyperTextTransferProtocoloverSecureSocketLayer,HTTPS)与云平台建立通信连接并进行信息交互;云平台400可以通过网络协议如HTTPS与数据存储端建立连接并进行信息交互。终端200与云平台400之间进行有序通信和信息交互,以及云平台400与数据存储端200之间进行有序通信和信息交互,可以保证拉取服务有序执行,并保证数据拉取服务的执行效率。
通过上述方式,对于存储在数据存储端的数据执行数据同步操作时,无需用户干预将非本地数据拉取到本地再上传云平台进行对象存储,并且,云平台共用一套拉取上传逻辑,即数据同步逻辑,当场景相同时,不需要对相同场景的中每个用户的数据同步逻辑进行维护,大大降低用户的网络开销和人力成本。
下面,对本公开实施例提供的一种数据同步方法进行具体的解释,该方法应用于云平台。
如图2所示为数据同步方法的流程示意图。参见图2,该方法包括:
S110、接收终端发送的数据同步请求,数据同步请求携带待同步文件的文件名称。
在本公开实施例中,终端可以包括台式电脑、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴设备、一体机、智能家居设备等具有通信功能的设备或服务器等。
在本公开实施例中,云平台可以通过fetch接口接收终端发送的数据同步请求,从数据同步请求中提取出文件名称。需要说明的是,待同步文件可以存储在终端、云平台或者存储在数据存储端。对于存储在终端中的待同步文件,云平台可以将待同步文件直接存储到云平台中,无需从数据存储端拉取数据;对于存储在云平台中的待同步文件,云平台可以不执行对该待同步文件的存储操作,即云平台不执行实际意义上的数据同步操作。对于存储在数据存储端中的待同步文件,云平台需要从数据存储端拉取待同步文件,将拉取的待同步文件上传至存储桶内进行存储。
S120、将数据同步请求转发至数据存储端。
在本公开实施例中,云平台可以预先定义执行数据同步请求的相关参数。例如,定义fetch接口的接口参数和存储桶的相关参数。fetch接口的接口参数可以包括数据存储端的第三方地址、数据加密参数和强制覆盖参数。其中,第三方地址可以是URL(UniformResource Locator,统一资源定位器)地址,并对第三方地址进行URL编码;数据加密参数可以是MD5(Message-Digest Algorithm,消息摘要算法)参数,是基于MD5算法对各文件进行加密,生成文件名称对应的校验码,该校验码可以包括文件名称对应的文件的128位校验数据,用于进行数据完整性校验,目的在于检查文件名称对应的文件在传输过程中是否保持完整,以及确认传输到达,数据加密参数的数据类型可以是字符串类型,默认是空。强制覆盖参数是用于判断是否将从数据存储端拉取的数据对云平台上存储的数据进行强制覆盖,强制覆盖参数的数据类型可以是字符串类型,默认值是否,有效值可以是真/假。存储桶的相关参数可以包括存储桶的名称。此外,云平台还可以预先定义存储服务的域名等参数。
在一个可选的实施例中,将数据同步请求转发至数据存储端,包括:当预先定义的存储桶内不包括待同步文件的文件名称时,则将数据同步请求转发至数据存储端。
具体的,参见图3,在数据同步请求仅携带该文件名称的情况下,说明该数据同步请求未携带其他信息,当存储桶内不包括该文件名称时,说明该文件名称及其对应的待同步文件未存储在云平台,需要从数据存储端拉取该文件名称对应的待同步文件,执行将上述数据同步请求转发至数据存储端的操作,以从数据存储端拉取该文件名称对应的待同步文件。
在另一个可选的实施例中,将数据同步请求转发至数据存储端,包括:当预先定义的存储桶内包括所述待同步文件的文件名称,且包括所述待同步文件的文件名称对应的预设强制参数时,基于所述预设强制参数的值,将所述数据同步请求转发至数据存储端。
具体的,参见图3,在数据同步请求仅携带该文件名称的情况下,当数据同步请求仅携带该文件名称时,说明该数据同步请求未携带其他信息,当存储桶内包括该文件名称当,说明该文件名称存储在云平台,或者,该文件名称及其对应的数据存储在云平台;进一步的,当预先定义的存储桶内还包括待同步文件的文件名称对应的预设强制参数,且预设强制参数的值为真时,说明需要从数据存储端拉取该文件名称对应的待同步文件,将从数据存储端拉取的待同步文件覆盖云平台中的该文件名称及其对应的数据,执行将数据同步请求转发至数据存储端的步骤,以从数据存储端拉取该文件名称对应的数据,作为待同步文件。
S130、接收数据存储端返回的文件名称对应的待同步文件,并对待同步文件执行存储操作。
在本公开实施例中,云平台将数据同步请求转发至数据存储端后,数据存储端将数据同步请求携带的文件名称与预先存储的各文件的文件名称匹配,筛选出文件名称对应的待同步文件,将待同步文件通过URL地址返回至云平台,云平台将接收到的待同步文件存储至存储桶内,完成对待同步文件执行存储操作。
具体的,参见图3,在数据同步请求仅携带该文件名称的情况下,当预先定义的存储桶内不包括所述文件名称时,或者,当预先定义的存储桶内包括所述文件名称,且包括所述文件名称对应的预设强制参数时,云平台通过URL地址接收数据存储端返回的该文件名称对应的待同步文件,并将待同步文件直接存储至存储桶内,完成将存储在数据存储端的数据进行数据同步的过程。
进一步的,对待同步文件执行存储操作之后,该方法还包括:确定对待同步文件执行存储操作的执行结果和执行结果对应的反馈信息;将执行结果对应的反馈信息反馈至终端。
本公开实施例中,云平台可以预先定义不同情况下执行结果对应的状态码,当对待同步文件执行完存储操作后,生成执行结果对应的反馈信息,反馈信息可以包括状态码和操作状态值,将反馈信息反馈给终端,使终端用户根据反馈信息确定数据同步的结果。
参见图3,在一个可选的实施例中,在数据同步请求仅携带该文件名称的情况下,当预先定义的存储桶内不包括文件名称时,从数据存储端拉取待同步文件并对待同步文件执行存储操作之后,生成的反馈信息中的状态码为200,操作状态为0,用于提醒用户该文件名称对应的待同步文件拉取和存储成功,并提示待同步文件的文件大小信息。
参见图3,在另一个可选的实施例中,在数据同步请求仅携带该文件名称的情况下,当预先定义的存储桶内包括待同步文件的文件名称,且包括待同步文件的文件名称对应的预设强制参数时,如果预设强制参数的值为真,将从数据存储端拉取待同步文件对云平台已存储的数据进行覆盖存储,生成的反馈信息中的状态码为200,操作状态为0,用于提醒用户该文件名称对应的待同步文件拉取和存储成功,并提示待同步文件的文件大小信息;当预先定义的存储桶内包括待同步文件的文件名称,且不包括待同步文件的文件名称对应的预设强制参数时,不执行从数据存储端拉取待同步文件并对待同步文件执行存储操作,生成的反馈信息中的状态码为403,操作状态为4,用于提醒用户数据同步不成功,没有进行实际意义上的数据同步。
本公开实施例提供的技术方案,云平台接收到终端发送的数据同步请求后,数据同步请求后携带待同步文件的文件名称,将同步请求转发至数据存储端,以从数据存储端查找该文件名称对应的待同步文件,并将接收到的待同步文件上传至存储桶内,以将存储在数据存储端的待同步文件上传至云平台进行存储。达到了无需用户干预将非本地数据拉取到本地再上传云平台进行存储,并且,云平台共用一套拉取上传逻辑,即数据同步逻辑,当场景相同时,不需要对相同场景的中每个用户的数据同步逻辑进行维护,大大降低用户的网络开销和人力成本。
如图4所示为另一种数据同步方法的流程示意图。参见图4,该方法包括:
S210、接收终端发送的数据同步请求,数据同步请求携带待同步文件的文件名称和文件名称对应的校验码。
S220、将数据同步请求转发至数据存储端。
在一个可选的实施例中,将数据同步请求转发至数据存储端,包括:
确定存储桶内是否包括该文件名称;
当存储桶内不包括该文件名称时,则将数据同步请求转发至数据存储端,以从数据存储端拉取该文件名称对应的待同步文件。
具体的,参见图3,在数据同步请求还携带该文件名称对应的校验码的情况下,当存储桶内不包括该文件名称时,说明该文件名称及其对应的待同步文件未存储在云平台,需要从数据存储端拉取该文件名称对应的待同步文件,执行将上述数据同步请求转发至数据存储端的操作,以从数据存储端拉取该文件名称对应的待同步文件。
在另一个可选的实施例中,将数据同步请求转发至数据存储端,包括:当预先定义的存储桶内包括所述待同步文件的文件名称,且所述数据同步请求携带的校验码和存储桶内预先存储的校验码不一致时,将所述数据同步请求转发至数据存储端。
具体的,参见图3,在数据同步请求还携带该文件名称对应的校验码的情况下,当预先定义的存储桶内包括该文件名称,且数据同步请求中的校验码与存储桶内预先定义的校验码不一致时,说明该文件名称存储在云平台,但该文件名称对应的待同步文件未存储在云平台,需要从数据存储端拉取该文件名称对应的待同步文件,执行将上述数据同步请求转发至数据存储端的操作,以从数据存储端拉取该文件名称对应的待同步文件。
通过上述方式,云平台可以基于数据同步请求携带的校验码进行校验,以根据校验结果从数据存储端拉取待同步数据,可以提高数据同步的准确性。
S230、接收数据存储端返回的文件名称对应的待同步文件,并对待同步文件执行存储操作。
在一个可选的实施例中,对待同步文件执行存储操作,包括:当所述数据同步请求携带的校验码和待同步文件携带的校验码一致时,对所述待同步文件执行存储操作。
具体的,参见图3,在数据同步请求还携带该文件名称对应的校验码的情况下,当预先定义的存储桶内不包括该文件名称时,则从数据存储端拉取该文件名称对应的待同步文件,当待同步文件携带的校验码和存储桶内预先存储的校验码一致时,则待同步文件通过校验,将待同步文件存储至预先定义的存储桶内,完成对待同步文件执行存储操作。
在另一个可选的实施例中,对待同步文件执行存储操作,包括:
确定数据同步请求携带的校验码和数据存储端返回的所述待同步文件携带的校验码是否一致;
当所述数据同步请求携带的校验码和数据存储端返回的所述待同步文件携带的校验码一致时,对所述待同步文件执行存储操作。
具体的,参见图3,在数据同步请求还携带该文件名称对应的校验码的情况下,当预先定义的存储桶内包括该文件名称,且数据同步请求携带的校验码和待同步文件携带的校验码不一致时,说明待同步文件未存储在云平台,则从数据存储端拉取该文件名称对应的待同步文件,当待同步文件携带的校验码和存储桶内预先存储的校验码一致时,则待同步文件通过校验,将待同步文件存储至预先定义的存储桶内,完成对待同步文件执行存储操作。
通过上述方式,云平台可以基于待同步文件携带的校验码和存储桶内预先存储的校验码进行校验,将通过校验的待同步文件进行存储,提高数据同步结果的准确性。
如前述描述,对待同步文件执行存储操作之后,该方法还包括:确定对待同步文件执行存储操作的执行结果和执行结果对应的反馈信息;将执行结果对应的反馈信息反馈至终端。
参见图3,在一个可选的实施例中,在数据同步请求还携带该文件名称对应的校验码的情况下,当预先定义的存储桶内不包括待同步文件的文件名称时,从数据存储端拉取待同步文件并对待同步文件执行存储操作之后,确定数据同步请求携带的校验码和存储桶内预先存储的校验码一致,则生成的反馈信息中的状态码为200,操作状态为0,用于提醒用户该文件名称对应的待同步文件拉取和存储成功,并提示待同步文件的文件大小信息;当预先定义的存储桶内不包括待同步文件的文件名称时,从数据存储端拉取待同步文件,并确定数据同步请求携带的校验码和存储桶内预先存储的校验码不一致,则生成的反馈信息中的状态码为200,操作状态为3,用于提醒用户该文件名称对应的待同步文件未通过校验,并重复执行从数据存储端拉取待同步文件的操作,并基于数据同步请求携带的校验码和存储桶内预先存储的校验码重新执行校验操作,直至校验码一致,将待同步文件存储至预先定义的存储桶内,生成反馈信息,反馈信息中的状态码为200,操作状态为0,用于提醒用户该文件名称对应的待同步文件拉取和存储成功,并提示待同步文件的文件大小信息。
参见图3,在另一个可选的实施例中,在数据同步请求还携带该文件名称对应的校验码的情况下,当预先定义的存储桶内包括待同步文件的文件名称时,确定数据同步请求携带的校验码和存储桶内预先存储的校验码一致,当一致时,则生成的反馈信息中的状态码为200,操作状态为4,用于提醒用户成功但未进行实际意义上的数据同步;当预先定义的桶内包括待同步文件的文件名称,且数据同步请求携带的校验码和存储桶内预先存储的校验码不一致时,从数据存储端拉取待同步文件之后,当确定数据同步请求携带的校验码和存储桶内预先存储的校验码不一致时,则生成的反馈信息中的状态码为200,操作状态为3,用于提醒用户该文件名称对应的待同步文件未通过校验,并重复执行从数据存储端拉取待同步文件的操作,并基于数据同步请求携带的校验码和存储桶内预先存储的校验码重新执行校验操作,直至校验码一致,将待同步文件存储至预先定义的存储桶内,生成反馈信息,反馈信息中的状态码为200,操作状态为0,用于提醒用户该文件名称对应的待同步文件拉取和存储成功,并提示待同步文件的文件大小信息。
通过上述方式,云平台针对不同情况执行数据同步操作,保证数据同步操作过程有序执行,避免出现执行异常,且用户无需关注业务实现过程,降低用户的网络开销;并且,通过生成反馈信息并将反馈信息反馈至终端,可以使用户及时得知数据同步结果,提升用户体验。
在本公开实施例中,云平台还可以实时检测终端、云平台和所述数据存储端之间的网络状态、数据存储端的地址以及数据存储端的源站,当终端、云平台和数据存储端之间的网络状态出现异常、数据存储端的地址错误,和/或,数据存储端的源站异常时,生成对应的异常反馈信息,并将异常反馈信息反馈至终端。
在一个可选的实施例中,当终端、云平台和数据存储端之间的网络状态出现异常或者同步程序异常,导致数据同步过程失败时,生成异常反馈信息,异常反馈信息的状态码为500,操作状态为2,用于提醒用户数据同步过程失败,请稍后重试。
在另一个可选的实施例中,当数据存储端的地址错误和/或数据存储端的源站异常时,导致数据同步过程失败,生成异常反馈信息,异常反馈信息的状态码为424,操作状态为1,用于提醒用户数据存储端的地址错误和/或数据存储端的源站异常,检查数据存储端的地址是否错误和/或检查数据存储端的源站是否异常。
在本公开实施例中,将所述数据同步请求转发至数据存储端,包括:确定是否正在执行与数据同步请求相同的请求;当未执行与数据同步请求相同的请求时,将数据同步请求转发至数据存储端。
可选的,当正在执行与数据同步请求相同的请求时,生成等待执行的反馈信息,等待执行的反馈信息的状态码为403,操作状态为5,用于提醒用户正在执行该文件名称对应的数据同步操作。
通过上述方式,在数据同步过程失败时,用户可以及时获取到异常原因,及时采取措施回复数据同步过程,保证数据同步过程有序执行。
以下是本发明实施例提供的数据同步装置的实施例,该装置与上述各实施例的数据同步方法属于同一个发明构思,在数据同步装置的实施例中未详尽描述的细节内容,可以参考上述数据同步方法的实施例。
如图5所示,数据同步装置包括:数据同步请求接收模块301、数据同步请求转发模块302、待同步文件拉取模块303和待同步文件存储模块304。
其中,数据同步请求接收模块301用于接收终端发送的数据同步请求,所述数据同步请求携带待同步文件的文件名称;
数据同步请求转发模块302,用于将所述数据同步请求转发至数据存储端;
待同步文件拉取模块303,用于接收所述数据存储端返回的所述文件名称对应的待同步文件;
待同步文件存储模块304,用于对所述待同步文件执行存储操作。
本公开实施例提供的技术方案,云平台接收到终端发送的数据同步请求后,将同步请求转发至数据存储端,以从数据存储端查找该文件名称对应的待同步文件,并将接收到的待同步文件上传至存储桶内,以将存储在数据存储端的待同步文件上传至云平台进行存储。达到了无需用户干预将非本地数据拉取到本地再上传云平台进行对象存储,并且,云平台共用一套拉取上传逻辑,即数据同步逻辑,当场景相同时,不需要对相同场景的中每个用户的数据同步逻辑进行维护,大大降低用户的网络开销和人力成本。
可选的,数据同步请求转发模块302还用于,当预先定义的存储桶内不包括所述待同步文件的文件名称时,则将所述数据同步请求转发至数据存储端。
可选的,数据同步请求转发模块302还用于,当预先定义的存储桶内包括所述待同步文件的文件名称,且包括所述待同步文件的文件名称对应的预设强制参数时,基于所述预设强制参数的值,将所述数据同步请求转发至数据存储端。
可选的,所述数据同步请求还携带所述文件名称对应的校验码;
相应的,数据同步请求转发模块302还用于,当预先定义的存储桶内包括所述待同步文件的文件名称,且所述数据同步请求携带的校验码和存储桶内预先存储的校验码不一致时,将所述数据同步请求转发至数据存储端。
可选的,所述数据同步请求还携带所述文件名称对应的校验码;
相应的,待同步文件存储模块304还用于,当所述数据同步请求携带的校验码和待同步文件携带的校验码一致时,对所述待同步文件执行存储操作。
可选的,待同步文件存储模块304还用于,确定数据同步请求携带的校验码和数据存储端返回的所述待同步文件携带的校验码是否一致;
当所述数据同步请求携带的校验码和数据存储端返回的所述待同步文件携带的校验码一致时,对所述待同步文件执行存储操作。
可选的,该装置还包括:第一反馈信息生成模块;其中,第一反馈信息生成模块,用于确定对所述待同步文件执行存储操作的执行结果和所述执行结果对应的反馈信息;
将所述执行结果对应的反馈信息反馈至所述终端。
可选的,该装置还包括:第二反馈信息生成模块;其中,第二反馈信息生成模块,用于当所述终端、云平台和所述数据存储端之间的网络状态出现异常、所述数据存储端的地址错误,和/或,数据存储端的源站异常时,生成对应的异常反馈信息,并将所述异常反馈信息反馈至所述终端。
可选的,数据同步请求转发模块302还用于,确定是否正在执行与所述数据同步请求相同的请求;
当未执行与所述数据同步请求相同的请求时,将所述数据同步请求转发至数据存储端。
通过本公开实施例提供的一种数据同步装置,实现了大大降低用户的网络开销和人力成本的效果。
本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法,具备执行方法相应的功能模块和有益效果。
以下是本发明实施例提供的云平台的实施例,该云平台与上述各实施例的数据同步方法属于同一个发明构思,在云平台的实施例中未详尽描述的细节内容,可以参考上述数据同步方法的实施例。
参见图6,本实施例提供了一种云平台400,其包括:一个或多个处理器420;存储装置410,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器420执行,使得一个或多个处理器420实现本发明实施例所提供的数据同步方法,包括:
接收终端发送的数据同步请求,所述数据同步请求携带待同步文件的文件名称;
将所述数据同步请求转发至数据存储端;
接收所述数据存储端返回的所述文件名称对应的待同步文件,并对所述待同步文件执行存储操作。
当然,本领域技术人员可以理解,处理器420还可以实现本发明任意实施例所提供的数据同步方法的技术方案。
图6显示的云平台400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,该云平台400包括处理器420、存储装置410、输入装置430和输出装置440;云平台中处理器420的数量可以是一个或多个,图6中以一个处理器420为例;云平台中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储装置410作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据同步方法对应的程序指令/模块(例如,数据同步装置中的数据同步请求接收模块、数据同步请求转发模块、待同步文件拉取模块和待同步文件存储模块)。
存储装置410可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置410可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置410可进一步包括相对于处理器420远程设置的存储器,这些远程存储器可以通过网络连接至云平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与云平台的用户设置以及功能控制有关的键信号输入,例如可以包括鼠标、键盘和触摸屏中的至少一个。输出装置440可包括显示屏等显示云平台。
以下是本发明实施例提供的数据同步系统的实施例,该数据同步系统与上述各实施例的数据同步方法属于同一个发明构思,在数据同步系统的实施例中未详尽描述的细节内容,可以参考上述数据同步方法的实施例。
参见图1,该系统包括:终端200、云平台400和数据存储端600。
其中,终端200,接收外部输入的数据同步请求,将数据同步请求转发至云平台400,数据同步请求携带待同步文件的文件名称;
云平台400,接收终端发送的数据同步请求;
将数据同步请求转发至数据存储端;
接收数据存储端返回的文件名称对应的待同步文件,并对待同步文件执行存储操作;
数据存储端600,接收云平台400发送的数据同步请求;
将数据同步请求携带的待同步文件的文件名称与预先存储的各文件的文件名称匹配,筛选出文件名称对应的待同步文件;
将待同步文件发送至云平台400。
以下是本发明实施例提供的计算机可读存储介质的实施例,该计算机可读存储介质与上述各实施例的数据同步方法属于同一个发明构思,在计算机可读存储介质的实施例中未详尽描述的细节内容,可以参考上述数据同步方法的实施例。
本实施例提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种数据同步方法,应用于云平台,该方法包括:
接收终端发送的数据同步请求,所述数据同步请求携带待同步文件的文件名称;
将所述数据同步请求转发至数据存储端;
接收所述数据存储端返回的所述文件名称对应的待同步文件,并对所述待同步文件执行存储操作。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据同步方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机云平台(可以是个人计算机,服务器,或者网络云平台等)执行本发明各个实施例所提供的数据同步方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种数据同步方法,其特征在于,应用于云平台,包括:
接收终端发送的数据同步请求,所述数据同步请求携带待同步文件的文件名称;
将所述数据同步请求转发至数据存储端;
接收所述数据存储端返回的所述文件名称对应的待同步文件,并对所述待同步文件执行存储操作。
2.根据权利要求1所述的方法,其特征在于,所述将所述数据同步请求转发至数据存储端,包括:
当预先定义的存储桶内不包括所述待同步文件的文件名称时,则将所述数据同步请求转发至数据存储端。
3.根据权利要求1所述的方法,其特征在于,所述将所述数据同步请求转发至数据存储端,包括:
当预先定义的存储桶内包括所述待同步文件的文件名称,且包括所述待同步文件的文件名称对应的预设强制参数时,基于所述预设强制参数的值,将所述数据同步请求转发至数据存储端。
4.根据权利要求1所述的方法,其特征在于,所述数据同步请求还携带所述文件名称对应的校验码;
其中,所述将所述数据同步请求转发至数据存储端,包括:
当预先定义的存储桶内包括所述待同步文件的文件名称,且所述数据同步请求携带的校验码和存储桶内预先存储的校验码不一致时,将所述数据同步请求转发至数据存储端。
5.根据权利要求2所述的方法,其特征在于,所述数据同步请求还携带所述文件名称对应的校验码;
其中,所述对所述待同步文件执行存储操作,包括:
当所述数据同步请求携带的校验码和待同步文件携带的校验码一致时,对所述待同步文件执行存储操作。
6.根据权利要求4所述的方法,其特征在于,所述对所述待同步文件执行存储操作,包括:
确定数据同步请求携带的校验码和数据存储端返回的所述待同步文件携带的校验码是否一致;
当所述数据同步请求携带的校验码和数据存储端返回的所述待同步文件携带的校验码一致时,对所述待同步文件执行存储操作。
7.根据权利要求1所述的方法,其特征在于,还包括:
确定对所述待同步文件执行存储操作的执行结果和所述执行结果对应的反馈信息;
将所述执行结果对应的反馈信息反馈至所述终端。
8.根据权利要求1所述的方法,其特征在于,还包括:
当所述终端、云平台和所述数据存储端之间的网络状态出现异常、所述数据存储端的地址错误,和/或,数据存储端的源站异常时,生成对应的异常反馈信息,并将所述异常反馈信息反馈至所述终端。
9.根据权利要求1所述的方法,其特征在于,所述将所述数据同步请求转发至数据存储端,包括:
确定是否正在执行与所述数据同步请求相同的请求;
当未执行与所述数据同步请求相同的请求时,将所述数据同步请求转发至数据存储端。
10.一种数据同步装置,其特征在于,配置于云平台,所述装置包括:
数据同步请求接收模块,用于接收终端发送的数据同步请求,所述数据同步请求携带待同步文件的文件名称;
数据同步请求转发模块,用于将所述数据同步请求转发至数据存储端;
待同步文件拉取模块,用于接收所述数据存储端返回的所述文件名称对应的待同步文件;
待同步文件存储模块,用于对所述待同步文件执行存储操作。
11.一种云平台,其特征在于,所述云平台包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的数据同步方法。
12.一种数据同步系统,其特征在于,包括:
终端、云平台和数据存储端;
所述终端,接收外部输入的数据同步请求,将所述数据同步请求转发至所述云平台,所述数据同步请求携带待同步文件的文件名称;
所述云平台,接收终端发送的数据同步请求;
将所述数据同步请求转发至数据存储端;
接收所述数据存储端返回的所述文件名称对应的待同步文件,并对所述待同步文件执行存储操作;
所述数据存储端,接收所述云平台发送的数据同步请求;
将所述数据同步请求携带的待同步文件的文件名称与预先存储的各文件的文件名称匹配,筛选出所述文件名称对应的待同步文件;
将所述待同步文件发送至所述云平台。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9中任一所述的数据同步方法。
CN202110675830.4A 2021-06-18 2021-06-18 一种数据同步方法、装置、云平台、系统及存储介质 Pending CN113407498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110675830.4A CN113407498A (zh) 2021-06-18 2021-06-18 一种数据同步方法、装置、云平台、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110675830.4A CN113407498A (zh) 2021-06-18 2021-06-18 一种数据同步方法、装置、云平台、系统及存储介质

Publications (1)

Publication Number Publication Date
CN113407498A true CN113407498A (zh) 2021-09-17

Family

ID=77685106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110675830.4A Pending CN113407498A (zh) 2021-06-18 2021-06-18 一种数据同步方法、装置、云平台、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113407498A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982109A (zh) * 2023-03-20 2023-04-18 北京飞轮数据科技有限公司 数据同步方法、装置、电子设备和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136288A (zh) * 2011-12-05 2013-06-05 上海博路信息技术有限公司 一种移动终端的多维信息系统
US20150304417A1 (en) * 2012-12-31 2015-10-22 Huawei Technologies Co., Ltd. Data synchronization method, and device
CN106453572A (zh) * 2016-10-19 2017-02-22 广东欧珀移动通信有限公司 基于云服务器同步图像的方法及系统
WO2018076868A1 (zh) * 2016-10-25 2018-05-03 广东欧珀移动通信有限公司 一种数据同步方法、装置、系统、存储介质和服务器
CN108134789A (zh) * 2017-12-21 2018-06-08 北京深思数盾科技股份有限公司 通过云进行设备间数据同步的方法和云服务器
CN111309747A (zh) * 2020-02-18 2020-06-19 京东数字科技控股有限公司 数据同步方法、系统和装置
CN111984731A (zh) * 2020-08-27 2020-11-24 平安国际智慧城市科技股份有限公司 大数据平台数仓之间数据同步方法、装置及存储介质
CN112463882A (zh) * 2020-11-20 2021-03-09 广东省安心加科技有限公司 数据同步方法及云平台、边缘端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136288A (zh) * 2011-12-05 2013-06-05 上海博路信息技术有限公司 一种移动终端的多维信息系统
US20150304417A1 (en) * 2012-12-31 2015-10-22 Huawei Technologies Co., Ltd. Data synchronization method, and device
CN106453572A (zh) * 2016-10-19 2017-02-22 广东欧珀移动通信有限公司 基于云服务器同步图像的方法及系统
WO2018076868A1 (zh) * 2016-10-25 2018-05-03 广东欧珀移动通信有限公司 一种数据同步方法、装置、系统、存储介质和服务器
CN108134789A (zh) * 2017-12-21 2018-06-08 北京深思数盾科技股份有限公司 通过云进行设备间数据同步的方法和云服务器
CN111309747A (zh) * 2020-02-18 2020-06-19 京东数字科技控股有限公司 数据同步方法、系统和装置
CN111984731A (zh) * 2020-08-27 2020-11-24 平安国际智慧城市科技股份有限公司 大数据平台数仓之间数据同步方法、装置及存储介质
CN112463882A (zh) * 2020-11-20 2021-03-09 广东省安心加科技有限公司 数据同步方法及云平台、边缘端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FTRANS飞驰联云: "正式介绍一下,这就是Ftrans云同步解决方案", 《网络资源》, 28 May 2019 (2019-05-28), pages 1 - 8 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982109A (zh) * 2023-03-20 2023-04-18 北京飞轮数据科技有限公司 数据同步方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN107819828B (zh) 数据传输方法、装置、计算机设备和存储介质
CN107465767B (zh) 一种数据同步的方法和系统
CN109788032B (zh) 镜像文件的获取方法、装置、计算机设备和存储介质
US9154940B2 (en) Method and apparatus of providing messaging service and callback feature to mobile stations
CN111866149B (zh) 集群部署方法、装置、计算机设备及存储介质
CN1988535A (zh) 文件存储同步方法、系统及客户端
CN109391673A (zh) 一种管理更新文件的方法、系统及终端设备
CN109495874B (zh) Profile下载的方法和装置
CN103227836A (zh) 离线下载方法和离线下载服务器
CN106331152B (zh) 一种实现模块间信息同步的方法及装置
US9021114B2 (en) Automatic connection of computing devices
WO2019095388A1 (zh) 一种远程协助处理方法及设备
CN115168031A (zh) 一种雾计算系统、方法、电子设备及存储介质
CN113407498A (zh) 一种数据同步方法、装置、云平台、系统及存储介质
CN109936609B (zh) 终端链式升级方法、装置及升级管理服务器
CN111147585B (zh) 设备升级方法、装置、存储介质及系统
CN111327680B (zh) 认证数据同步方法、装置、系统、计算机设备和存储介质
CN111064785B (zh) 资源包下载方法、装置和系统
CN107786607B (zh) 一种消息重传方法、消息重传服务器及用户设备
CN108881320B (zh) 一种用户登陆的认证处理方法、服务器及客户端
CN115297105A (zh) 文件传输方法、装置、计算机设备及存储介质
CN102137058B (zh) 一种基于tab页的页面访问方法和装置
CN114157435A (zh) 一种基于区块链技术的文档处理方法、装置和客户端
CN107704557B (zh) 操作互斥数据的处理方法、装置、计算机设备和存储介质
CN113064658A (zh) 配置数据的拷贝方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination