CN109656902A - 一种数据加载方法及系统 - Google Patents
一种数据加载方法及系统 Download PDFInfo
- Publication number
- CN109656902A CN109656902A CN201811260914.6A CN201811260914A CN109656902A CN 109656902 A CN109656902 A CN 109656902A CN 201811260914 A CN201811260914 A CN 201811260914A CN 109656902 A CN109656902 A CN 109656902A
- Authority
- CN
- China
- Prior art keywords
- data
- service side
- cloud storage
- storage service
- version information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 24
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 241001269238 Data Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
公开了一种数据加载方法及系统。一种数据加载方法，该方法包括：数据使用方向数据提供方注册基本信息；数据提供方记录基本信息，根据基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
Description
技术领域
本说明书实施例涉及数据存储技术领域，尤其涉及一种数据加载方法及系统。
背景技术
对于分布式系统，通常由多个系统组成，并且各个系统之间通过网络互相访问，例如分布式系统由系统A、系统B、系统C等组成。在分布式系统中，尤其是在大型分布式系统中，经常存在一些被各个系统使用的公共数据，这些公共数据会定期发生更新，并且频繁地被各个系统查询并使用，为此在分布式系统中存在一个系统专门负责管理和维护这些公共数据。为了便于描述，后续将使用公共数据的系统称之为数据使用方，将负责管理和维护这些公共数据的系统称之为数据提供方。
为了能够使各个数据使用方方便快捷的使用这些公共数据，目前普遍采用的方式是：基于近端缓存的公共数据管理方式，将公共数据加载到各个数据使用方的本地，即数据使用方向数据提供方发送数据获取指令，数据提供方基于该数据获取指令从本地数据库读取对应的公共数据返回给数据使用方，数据使用方将该公共数据加载到本地，后续数据使用方即可从本地直接查询并使用公共数据。
目前的这种数据加载方法，随着公共数据的数据量级不断增大，对于数据提供方而言，从本地数据库读取公共数据的时间成本会逐步增加，以及向数据使用方传输公共数据的时间成本同样会逐步增加。
发明内容
针对上述技术问题，本说明书实施例提供一种数据加载方法及系统，技术方案如下：
一种数据加载方法，应用于公共数据加载系统，所述系统包括数据使用方、数据提供方以及云存储服务方，所述数据提供方本地的公共数据同步至所述云存储服务方，该方法包括：
数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；
数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
一种数据加载方法，应用于数据提供方，该方法包括：
记录数据使用方注册的基本信息；
根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址；
根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，以使数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
一种数据加载方法，应用于数据使用方，该方法包括：
向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识，以使数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
一种数据加载系统，所述系统包括：包括数据使用方、数据提供方以及云存储服务方，所述数据提供方本地的公共数据同步至所述云存储服务方；
数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；
数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
一种数据加载装置，应用于数据提供方，该装置包括：
信息记录模块，用于记录数据使用方注册的基本信息；
查找模块，用于根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址；
推送模块，用于根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，以使数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
一种数据加载装置，应用于数据使用方，该装置包括：
信息注册模块，用于向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识，以使数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
接收模块，用于接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
数据加载模块，用于基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
本说明书实施例所提供的技术方案，数据提供方根据基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，数据使用方基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。如此一来，对于数据提供方而言，无需在本地数据库读取公共数据，以及无需向数据使用方传输公共数据，转而由云存储服务方向数据使用方传输公共数据，由于云存储服务方性能强大，读取及传输公共数据的时间成本会减小。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。
此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本说明书实施例的现有技术中将公共数据加载到各个数据使用方的本地的连接示意图；
图2是本说明书实施例的数据加载方法的交互流程示意图；
图3是本说明书实施例的应用于数据提供方的加载装置的结构示意图；
图4是本说明书实施例的应用于数据使用方的加载装置的结构示意图；
图5是用于配置本说明书实施例装置的一种设备的结构示意图。
具体实施方式
在分布式系统中，经常存在一些被各个数据使用方使用的公共数据，这些公共数据会定期发生更新，并且频繁地被各个数据使用方查询并使用，为了能够使各个数据使用方方便快捷的使用这些公共数据，目前普遍采用的方式是：基于近端缓存的公共数据管理方式，将公共数据加载到各个数据使用方的本地，如图1所示，后续数据使用方即可从本地直接查询并使用公共数据。
目前的这种数据加载方法，随着公共数据的数据量级的不断增大，对于数据提供方而言，会导致从本地数据库读取公共数据的时间成本会逐步增加，以及向数据使用方传输公共数据的时间成本同样会逐步增加。
针对上述技术问题，本说明书提供一种技术方案，数据提供方根据基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，数据使用方基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。如此一来，对于数据提供方而言，无需在本地数据库读取公共数据，以及无需向数据使用方传输公共数据，转而由云存储服务方向数据使用方传输公共数据，由于云存储服务方性能强大，读取及传输公共数据的时间成本会减小。
具体的，本说明书提供的技术方案如下：
数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
其中，在本说明书中，数据提供方本地的公共数据同步至云存储服务方，即数据提供方本地的公共数据与云存储服务方存储的公共数据保持一致。云存储服务方可以是OSS(Object Storage Service，对象存储服务)，OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务，另外还是可以腾讯云、百度云等，本说明书对此不作限定。
为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。
如图2所示，为本说明书提供的一种数据加载方法的交互流程示意图，该方法具体可以包括以下步骤：
S201，数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；
在本说明书中，在数据使用方启动加载公共数据阶段，数据使用方为使用公共数据的系统，在使用公共数据的系统启动成功之后，自动向数据提供方注册基本信息，即身份注册，所注册的基本信息中包括自身标识以及自身所需公共数据对应的标识，除此之外还可以包括数据使用方本地所需公共数据的版本信息。
数据使用方标识，可以为数据使用方所在终端的IP地址，可以为数据使用方所在终端的MAC地址，可以为数据使用方的名称(编号)等，也可以为上述任一标识的组合，本说明书对此不作限定。
对数据提供方本地的公共数据进行分类，例如分为A类公共数据、B类公共数据、C类公共数据……，每类公共数据存放至对应的数据表中，例如A类公共数据在数据表A中，B类公共数据在数据表B中。数据使用方所需公共数据对应的标识，例如可以是上述公共数据对应的类别A、B、C……。
S202，数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
在本说明书中，数据提供方记录基本信息，该基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识，根据基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，具体可以通过以下方式将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方：
S1，根据所需公共数据对应的标识，查找所需公共数据当前对应的目标版本信息，如下表1所示：
表1
例如，根据所需公共数据对应的标识A，查找A类公共数据当前对应的目标版本信息即查找数据表Table A当前对应的目标版本信息15。
S2，根据所需公共数据对应的标识，查找所需公共数据当前对应的云存储服务方存储地址。
S3，根据数据使用方标识，将查询到的当前目标版本信息以及云存储服务方存储地址推送给数据使用方，例如根据数据使用方所在终端的IP地址127.1.1.1，将查询到的当前目标版本信息15以及云存储服务方存储地址推送给数据使用方。
S203，数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
针对S202中数据提供方推送的当前目标版本信息以及云存储服务方存储地址，数据使用方接收到数据提供方推送的目标版本信息云存储服务方存储地址之后，判断数据提供方推送的当前目标版本信息与所需公共数据本地目标版本信息是否一致。一般地，在数据使用方启动成功之后，所需公共数据本地目标版本信息为0，意味着要获取全量的所需公共数据，因此数据提供方推送的当前目标版本信息与所需公共数据本地目标版本信息会不一致，在数据提供方推送的目标版本信息与所需公共数据本地目标版本信息不一致的情况下，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
例如数据提供方推送的当前目标版本信息为15，与所需公共数据本地目标版本信息不一致，基于OSS存储地址，在OSS查询当前目标版本信息的所需公共数据，并加载至本地。
其中可以加载至本地缓存中，或者可以加载至本地内存中，或者可以加载至本地磁盘中，本说明书在此不作限定。
另外，在将当前目标版本信息的所需公共数据加载至本地之后，数据使用方变更所需公共数据的版本信息。例如，所需公共数据本地版本信息为0，将本地版本信息变更为目标版本信息15。
后续当数据使用方需要查询公共数据以及使用公共数据时，直接在本地查询并使用。
在上述方案的基础之上，本说明书提供的技术方案可以进一步包括以下步骤：
S204，当监测到用户对数据提供方本地的公共数据的编辑操作触发时，数据提供方对本地的公共数据进行相应的编辑处理，并且将经过编辑处理的公共数据更新到云存储服务方，接收云存储服务方返回的经过编辑处理的公共数据所对应的最新云存储服务方存储地址，更新公共数据的目标版本信息；
在本说明书中，在数据变更加载阶段，当人工后台对数据提供方本地的公共数据进行编辑操作时，该编辑操作可以是删除、修改、替换等，数据提供方对本地的公共数据执行相应的编辑处理，并且将经过编辑处理的公共数据更新到云存储服务方(例如OSS)，云存储服务方会向数据提供方返回该经过编辑处理的公共数据所对应的最新云存储服务方存储地址，数据提供方接收该最新云存储服务方存储地址，记录云存储服务方存储地址的变更记录，更新公共数据的目标版本信息。
S205，数据提供方根据所记录的基本信息中包括的数据使用方标识，将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方；
在对数据提供方本地的公共数据进行编辑处理的过程中，可能涉及到全部公共数据或者部分公共数据，根据所记录的基本信息中包括的数据使用方所需公共数据对应的标识，查找经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址，根据所记录的基本信息中包括的数据使用方标识，将其推送至数据使用方。
另外，在将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方之前，数据提供方按照预设的周期查询数据使用方本地所需公共数据对应的版本信息，将数据使用方本地所需公共数据对应的版本信息与数据提供方本地公共数据的最新目标版本信息进行比较，由于数据提供方本地公共数据的目标版本信息进行过变更，导致数据使用方本地所需公共数据对应的版本信息与数据提供方本地公共数据的最新目标版本信息不一致，在这种情况下，数据提供方根据所记录的基本信息中包括的数据使用方标识，将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方。
S206，数据使用方基于最新云存储服务方存储地址，在云存储服务方查询最新目标版本信息的所需公共数据，加载至本地，随后更新数据使用方本地的公共数据版本信息为最新版本信息，从而可以实现数据变更同步至数据使用方。
通过上述对本说明书提供的技术方案的描述，数据提供方根据基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，数据使用方基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。如此一来，对于数据提供方而言，无需在本地数据库读取公共数据，以及无需向数据使用方传输公共数据，转而由云存储服务方向数据使用方传输公共数据，由于云存储服务方性能强大，读取及传输公共数据的时间成本会减小。
为了更清楚地说明本说明书实施例的技术方案，下面分别从单侧的角度，对执行的方法进行说明：
对于数据使用方，需要执行的任务主要如下：
A，数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；
B，数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
对于数据提供方，需要执行的任务主要如下：
数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方。
关于数据使用方、数据提供方的单侧执行方法细节，可以参见前面实施例的描述，这里不再赘述。
相应于上述方法实施例，本说明实施例还提供一种数据加载装置，应用于数据提供方，参见图3所示，可以包括：信息记录模块310、查找模块320、推送模块330。
信息记录模块310，用于记录数据使用方注册的基本信息；
查找模块320，用于根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址；
推送模块330，用于根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，以使数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
本说明书实施例还提供一种数据加载装置，应用于数据使用方，参见图4所示，可以包括：信息注册模块410、接收模块420、数据加载模块430。
信息注册模块410，用于向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识，以使数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
接收模块420，用于接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
数据加载模块430，用于基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
本说明书实施例还提供一种数据加载系统，该系统包括：数据使用方、数据提供方以及云存储服务方，所述数据提供方本地的公共数据同步至所述云存储服务方；
数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；
数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
通过上述对本说明书提供的技术方案的描述，数据提供方根据基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，数据使用方基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。如此一来，对于数据提供方而言，无需在本地数据库读取公共数据，以及无需向数据使用方传输公共数据，转而由云存储服务方向数据使用方传输公共数据，由于云存储服务方性能强大，读取及传输公共数据的时间成本会减小。
本说明书实施例还提供一种计算机设备，如图5所示，该设备可以包括：处理器510、存储器520、输入/输出接口530、通信接口540和总线550。其中处理器510、存储器520、输入/输出接口530和通信接口540通过总线550实现彼此之间在设备内部的通信连接。
处理器510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器520可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器520中，并由处理器510来调用执行。
输入/输出接口530用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口540用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线550包括一通路，在设备的各个组件(例如处理器510、存储器520、输入/输出接口530和通信接口540)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器510、存储器520、输入/输出接口530、通信接口540以及总线550，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的数据加载方法。该方法至少包括：
一种数据加载方法，应用于数据提供方，该方法包括：
记录数据使用方注册的基本信息；
根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址；
根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，以使数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的数据加载方法。该方法至少包括：
一种数据加载方法，应用于数据使用方，该方法包括：
向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识，以使数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (16)
1.一种数据加载方法，应用于公共数据加载系统，所述系统包括数据使用方、数据提供方以及云存储服务方，所述数据提供方本地的公共数据同步至所述云存储服务方，该方法包括：
数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；
数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
2.根据权利要求1所述的方法，所述数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地，包括：
数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
比较数据提供方推送的目标版本信息与所需公共数据本地目标版本信息是否一致；
若不一致，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
3.根据权利要求1至2任一项所述的方法，所述方法还包括：
在将当前目标版本信息的所需公共数据加载至本地之后，数据使用方变更所需公共数据的版本信息。
4.根据权利要求1至3任一项所述的方法，所述方法还包括：
当监测到用户对数据提供方本地的公共数据的编辑操作触发时，数据提供方对本地的公共数据进行相应的编辑处理，并且将经过编辑处理的公共数据更新到云存储服务方，接收云存储服务方返回的经过编辑处理的公共数据所对应的最新云存储服务方存储地址，更新公共数据的目标版本信息；
数据提供方根据所记录的基本信息中包括的数据使用方标识，将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方；
数据使用方基于最新云存储服务方存储地址，在云存储服务方查询最新目标版本信息的所需公共数据，并加载至本地。
5.根据权利要求4所述的方法，所述数据提供方根据所记录的基本信息中包括的数据使用方标识，将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方，包括：
数据提供方按照预设的周期查询数据使用方本地所需公共数据对应的版本信息；
比较数据使用方本地所需公共数据对应的目标版本信息是否与本地所需公共数据对应的最新目标版本信息一致；
若不一致，数据提供方根据所记录的基本信息中包括的数据使用方标识，将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方。
6.一种数据加载方法，应用于数据提供方，该方法包括：
记录数据使用方注册的基本信息；
根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址；
根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，以使数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
7.一种数据加载方法，应用于数据使用方，该方法包括：
向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识，以使数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
8.一种数据加载系统，所述系统包括：包括数据使用方、数据提供方以及云存储服务方，所述数据提供方本地的公共数据同步至所述云存储服务方；
数据使用方向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识；
数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
9.根据权利要求8所述的系统，所述数据使用方具体通过以下方式将公告数据加载至本地：
数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
比较数据提供方推送的目标版本信息与所需公共数据本地目标版本信息是否一致；
若不一致，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
10.根据权利要求8至9任一项所述的系统，所述系统还包括：
在将当前目标版本信息的所需公共数据加载至本地之后，数据使用方变更所需公共数据的版本信息。
11.根据权利要求8至10任一项所述的系统，所述系统还包括：
当监测到用户对数据提供方本地的公共数据的编辑操作触发时，数据提供方对本地的公共数据进行相应的编辑处理，并且将经过编辑处理的公共数据更新到云存储服务方，接收云存储服务方返回的经过编辑处理的公共数据所对应的最新云存储服务方存储地址，更新公共数据的目标版本信息；
数据提供方根据所记录的基本信息中包括的数据使用方标识，将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方；
数据使用方基于最新云存储服务方存储地址，在云存储服务方查询最新目标版本信息的所需公共数据，并加载至本地。
12.根据权利要求11所述的系统，所述数据提供方具体通过以下方式将最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方：
数据提供方按照预设的周期查询数据使用方本地所需公共数据对应的版本信息；
比较数据使用方本地所需公共数据对应的目标版本信息是否与本地所需公共数据对应的最新目标版本信息一致；
若不一致，数据提供方根据所记录的基本信息中包括的数据使用方标识，将经过编辑处理的数据使用方所需公共数据对应的最新目标版本信息以及最新云存储服务方存储地址推送至数据使用方。
13.一种数据加载装置，应用于数据提供方，该装置包括：
信息记录模块，用于记录数据使用方注册的基本信息；
查找模块，用于根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址；
推送模块，用于根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方，以使数据使用方接收数据提供方推送的目标版本信息以及云存储服务方存储地址，基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
14.一种数据加载装置，应用于数据使用方，该装置包括：
信息注册模块，用于向数据提供方注册基本信息，所述基本信息中包括数据使用方标识以及数据使用方所需公共数据对应的标识，以使数据提供方记录所述基本信息，根据所述基本信息中包括的所需公共数据对应的标识查询所需公共数据当前对应的目标版本信息以及云存储服务方存储地址，根据所述基本信息中包括的数据使用方标识将查询到的目标版本信息以及云存储服务方存储地址推送给数据使用方；
接收模块，用于接收数据提供方推送的目标版本信息以及云存储服务方存储地址；
数据加载模块，用于基于所述云存储服务方存储地址，在云存储服务方查询当前目标版本信息的所需公共数据，并加载至本地。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求6所述的方法。
16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811260914.6A CN109656902A (zh) | 2018-10-26 | 2018-10-26 | 一种数据加载方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811260914.6A CN109656902A (zh) | 2018-10-26 | 2018-10-26 | 一种数据加载方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109656902A true CN109656902A (zh) | 2019-04-19 |
Family
ID=66110450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811260914.6A Pending CN109656902A (zh) | 2018-10-26 | 2018-10-26 | 一种数据加载方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109656902A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688085A (zh) * | 2019-09-30 | 2020-01-14 | 东莞市李群自动化技术有限公司 | 一种分组数据提取方法、操作方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103780636A (zh) * | 2012-10-17 | 2014-05-07 | 阿里巴巴集团控股有限公司 | 一种缓存数据处理方法和系统 |
| CN107256223A (zh) * | 2017-04-28 | 2017-10-17 | 努比亚技术有限公司 | 一种更新内存数据的方法、装置及终端 |
| CN108134764A (zh) * | 2016-12-01 | 2018-06-08 | 中国电子科技集团公司第十五研究所 | 一种分布式数据共享交换方法及系统 |
| CN108282529A (zh) * | 2018-01-23 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 发布和订阅数据的系统、方法和装置 |
-
2018
- 2018-10-26 CN CN201811260914.6A patent/CN109656902A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103780636A (zh) * | 2012-10-17 | 2014-05-07 | 阿里巴巴集团控股有限公司 | 一种缓存数据处理方法和系统 |
| CN108134764A (zh) * | 2016-12-01 | 2018-06-08 | 中国电子科技集团公司第十五研究所 | 一种分布式数据共享交换方法及系统 |
| CN107256223A (zh) * | 2017-04-28 | 2017-10-17 | 努比亚技术有限公司 | 一种更新内存数据的方法、装置及终端 |
| CN108282529A (zh) * | 2018-01-23 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 发布和订阅数据的系统、方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688085A (zh) * | 2019-09-30 | 2020-01-14 | 东莞市李群自动化技术有限公司 | 一种分组数据提取方法、操作方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104850301B (zh) | 一种在系统桌面上将应用程序图标分类的方法和系统 | |
| US20150304265A1 (en) | Broadcast notification system | |
| KR20080039387A (ko) | 부분적인 아이템 변경 추적 및 동기화 | |
| CN105740048A (zh) | 一种镜像管理方法、装置及系统 | |
| CN107103011B (zh) | 终端数据搜索的实现方法和装置 | |
| CN105095313A (zh) | 一种数据访问方法和设备 | |
| US11010701B2 (en) | System and method for managing sales meetings | |
| CN111131079B (zh) | 一种策略查询方法及装置 | |
| US11249854B2 (en) | Method and device for failover in HBase system, and non-transitory computer-readable storage medium | |
| US11226982B2 (en) | Synchronization of offline instances | |
| CN105991720A (zh) | 配置变更方法及设备 | |
| US20120030166A1 (en) | System integration architecture | |
| EP2618278A2 (en) | Synchronizing endpoint data stores having disparate schemas | |
| CN111698326B (zh) | 用于确定云服务资源的成本归属的方法和装置 | |
| US20180260466A1 (en) | Identifier based data replication | |
| CN109656902A (zh) | 一种数据加载方法及系统 | |
| CN109359117A (zh) | 一种卡片数据的更新方法和装置 | |
| CN101145991A (zh) | 电信管理网中一种多厂商告警管理系统及其告警方法 | |
| US10510085B2 (en) | Time and location aware customer relationship management | |
| CN105095283A (zh) | 网络社交系统中准好友的推荐方法和系统 | |
| CN104216919A (zh) | 用于完善电子地图数据的方法及系统 | |
| CN109947578B (zh) | 一种系统对接方法及装置 | |
| CN110290202A (zh) | 一种业务网关的信息附带方法、装置及相关设备 | |
| US8533281B2 (en) | Centralized management of mobile assets—push based management of corporate assets | |
| CN109656805A (zh) | 用于业务分析的代码链路的生成方法、装置及业务服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190419 |