CN113032491A - 实现静态数据同步的方法、装置、电子设备及介质 - Google Patents

实现静态数据同步的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113032491A
CN113032491A CN202110374783.XA CN202110374783A CN113032491A CN 113032491 A CN113032491 A CN 113032491A CN 202110374783 A CN202110374783 A CN 202110374783A CN 113032491 A CN113032491 A CN 113032491A
Authority
CN
China
Prior art keywords
static data
message
accessed
file system
distributed file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110374783.XA
Other languages
English (en)
Other versions
CN113032491B (zh
Inventor
周通
张曙晟
姜岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
ICBC Technology Co Ltd
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
ICBC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC, ICBC Technology Co Ltd filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110374783.XA priority Critical patent/CN113032491B/zh
Publication of CN113032491A publication Critical patent/CN113032491A/zh
Application granted granted Critical
Publication of CN113032491B publication Critical patent/CN113032491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种实现静态数据同步的方法、装置、电子设备及计算机可读存储介质，可用于金融领域、计算机领域或其他领域。实现静态数据同步的方法包括：将静态化消息发送至静态化任务队列中，监听并消费静态化消息；判断是否有消息；若有，从分布式文件系统中获取被访问静态数据的存储信息，将同步消息和存储信息发送至同步任务队列中；响应于同步消息，根据存储信息从分布式文件系统中获取被访问静态数据，并将被访问静态数据同步分发至WEB服务器。

Description

实现静态数据同步的方法、装置、电子设备及介质
技术领域
本公开涉及数据同步技术领域，尤指一种实现静态数据同步的方法、装置、电子设备及介质。
背景技术
针对内容管理系统静态化数据同步展示，现有技术中通常采用两种方式实现，其一是使用分布式缓存存储静态资源，但是这种方式在使用场景上有限，无法针对图片、附件等文件数据的静态访问，同时分布式缓存是依附在前端应用服务下的，通过WEB服务器进行访问也会对后端应用造成一定的压力，而且反应速度较慢。另一种方式则是使用web服务存储静态资源，但是该方式依赖于文件同步，然而文件同步一直是动态页面静态化的难点，一般通过外采第三方软件来实现，这会增加技术成本，而且外采的第三方软件在适用性、安全性、效率要求上也很难满足需求。
发明内容
有鉴于此，本公开的一方面提供了一种实现静态数据同步的方法、装置、电子设备和介质。
本公开的一方面提供了一种实现静态数据同步的方法，所述方法包括：将静态化消息发送至静态化任务队列中，监听并消费所述静态化消息；判断是否有消息；若有，从分布式文件系统中获取被访问静态数据的存储信息，将同步消息和所述存储信息发送至同步任务队列中；响应于所述同步消息，根据所述存储信息从所述分布式文件系统中获取所述被访问静态数据，将所述被访问静态数据同步分发至WEB服务器。
根据本公开的实施例，所述从分布式文件系统中获取被访问静态数据的存储信息包括：预先将所述被访问静态数据存储至所述分布式文件系统中，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息；
根据本公开的实施例，所述从分布式文件系统中获取被访问静态数据的存储信息包括：从所述静态化消息中获取所述被访问静态数据，或者，触发所述静态化消息中存储的指令，获取所述被访问静态数据；将所述被访问静态数据存储至所述分布式文件系统，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息。
根据本公开的实施例，在将所述同步消息发送至所述同步任务队列之前，所述方法还包括：判断所述WEB服务器是否存储有访问资源；其中，在所述WEB服务器未存储访问资源的情况下，将所述被访问静态数据存储至分布式缓存中，用户从所述分布式缓存中获取所述被访问静态数据。
根据本公开的实施例，所述方法还包括：在判断没有消息的情况下，设定一预设时间，并在所述预设时间内继续监听并消费所述静态化消息，直至获取所述消息。
根据本公开的实施例，所述将所述被访问静态数据同步分发至WEB服务器包括：使用SFTP、FTP、SCP中的一种方式将所述被访问静态数据同步分发至所述WEB服务器。
根据本公开的实施例，所述分布式文件系统为FastDFS、GFS、HDFS、Lustre、TFS、GridFS、mogileFS、Ceph中的一种。
根据本公开的实施例，采用Redis、RabbitMQ、ActiveMQ、RocketMQ、Kafka中的一种作为消息队列。
本公开的另一方面提供了一种实现静态数据同步的装置，所述装置包括：监听模块，用于将静态化消息发送至静态化任务队列中，监听并消费所述静态化消息；控制模块，用于判断是否有消息，若有，从分布式文件系统中获取被访问静态数据的存储信息，将同步消息和所述存储信息发送至同步任务队列中；获取模块，用于响应于所述同步消息，根据所述存储信息从所述分布式文件系统中获取所述被访问静态数据，将所述被访问静态数据同步分发至WEB服务器。
根据本公开的实施例，所述控制模块还用于预先将所述被访问静态数据存储至所述分布式文件系统中，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息；或者，从所述静态化消息中获取所述被访问静态数据，或者，触发所述静态化消息中存储的指令，获取所述被访问静态数据；
将所述被访问静态数据存储至所述分布式文件系统，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息。
根据本公开的实施例，所述装置还包括：判断模块，用于在所述控制模块将所述同步消息发送至所述同步任务队列之前，判断所述WEB服务器是否存储有访问资源；其中，在所述WEB服务器未存储访问资源的情况下，将所述被访问静态数据存储至分布式缓存中，用户从所述分布式缓存中获取所述被访问静态数据。
根据本公开的实施例，所述控制模块还用于在判断没有消息的情况下，设定一预设时间，并控制所述监听模块在所述预设时间内继续监听并消费所述静态化消息，直至获取所述消息。
根据本公开的实施例，所述获取模块还用于使用SFTP、FTP、SCP中的一种方式将所述被访问静态数据同步分发至所述WEB服务器。
本公开的另一方面提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令在被所述处理器执行时实现如上所述的方法。
本公开的又一方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令在被所述处理器执行时实现如上所述的方法。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的可以应用于实现静态数据同步的方法的应用场景。
图2示意性示出了根据本公开实施例的实现静态数据同步的方法的流程图；
图3示意性示出了根据本公开实施例的实现静态数据同步的方法的流程图；
图4示意性示出了根据本公开实施例的系统实现静态数据同步的操作流程图；
图5示意性示出了根据本公开实施例的系统实现静态数据同步的操作流程图；
图6示意性示出了根据本公开实施例的系统实现静态数据同步的操作流程图；
图7示意性示出了根据本公开实施例的用于实现静态数据同步的装置的框图；
图8示意性示出了根据本公开另一实施例的用于实现静态数据同步的装置的框图；
图9示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种实现静态数据同步的方法和装置。通过将WEB服务存储和分布式文件系统结合使用，可以实现针对图片、附件等不同类型文件数据的静态访问，此外，还结合分布式缓存使用，在WEB服务没有访问资源的情况下，通过访问分布式缓存数据，最大可能减少后端及数据库访问压力。另外，本公开将静态化任务、静态化消息队列、文件同步任务、文件同步任务队列逻辑性地结合起来，提供了一种简单、高效、安全且实施成本低的文件同步方法，克服了现有技术中存在的问题。
图1示意性示出了根据本公开实施例的可以应用于实现静态数据同步的方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括用户101、Nginx102、WEB服务器103、分布式缓存系统104、内容管理系统105、分布式文件系统106、第一Redis服务器107、静态化服务器108、第二Redis服务器109、文件同步服务器110。
内容管理系统105是一种用于内容维护的后端办公系统，可以将内容以个性化的方式提供给用户。其中，内容管理系统105提供的内容可以包括网页资源例如文章、图片、附件等等文件资源，在此不做限定。
WEB服务器103主要指搭建Nginx 102的WEB服务器，用于存储静态资源，用户101可以通过路由请求进行静态数据访问。
分布式文件系统是指文件的存储不在同一台服务器，而是分散存储在多台服务器上，多个分散的小文件系统组合在一起，形成一个完整的分布式文件系统。根据本公开实施例，分布式文件系统106可以为FastDFS、GFS、HDFS、Lustre、TFS、GridFS、mogileFS、Ceph中的一种，分布式文件系统用于存储上述文件资源和静态数据。
如图1所示，通过内容管理系统105进行内容维护(内容例如可以是网页资源、图片、附件等等，在此不做限定)，生产静态化消息，发送静态化消息到Redis静态化任务队列中，静态化服务器108监听并消费静态化消息，在静态化服务器监听到消息后，从分布式文件系统中获取被访问静态数据的存储信息，并将同步消息发送至Redis同步任务队列中，文件同步服务器110监听并消费同步消息，从分布式文件系统中获取被访问静态数据例如图片、附件等文件资源，然后通过SFTP等方式将被访问静态数据同步分发至WEB服务器103，用户101可以通过WEB服务器103实现静态数据的访问，从而解决了文件资源的静态访问问题。
需要注意的是，上述列举出的系统架构100仅是示例性的，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例中用于实现静态数据同步的方法的系统架构仅限于此。例如，在本公开实施例中，Redis服务器还可以采用RabbitMQ、ActiveMQ、RocketMQ、Kafka替代，用于实现消息队列。例如，可以使用FTP、SCP等替代SFTP，将被访问静态数据同步分发至WEB服务器，在此不做限定。
图2示意性示出了根据本公开实施例的实现静态数据同步的方法的流程图。该方法可以由上述系统100实现。
在操作S210，将静态化消息发送至静态化任务队列中。
在操作S220，监听并消费静态化消息。
在操作S230，判断是否有消息。
在操作S240，若有消息，从分布式文件系统中获取被访问静态数据的存储信息。
在操作S250，将同步消息和存储信息发送至同步任务队列中。
在操作S260，响应于同步消息，根据存储信息从分布式文件系统中获取被访问静态数据。
在操作S270，将被访问静态数据同步分发至WEB服务器。
本公开实施例提出的一种实现静态数据同步的方法，可以将用户访问请求的静态数据预先存储到分布式文件系统中，随后将静态化任务、静态化消息队列、文件同步任务、文件同步任务队列逻辑性地结合起来，保证高安全、高性能、高可用、低成本的前提下实现动态资源静态化同步展示。
根据本公开实施例，在操作S240中，从分布式文件系统中获取被访问静态数据的存储信息包括：预先将被访问静态数据存储至分布式文件系统中，当判断有消息后，从分布式文件系统中获取被访问静态数据的存储信息。
在本公开一些实施例中，在操作S240中，还可以通过以下方式从分布式文件系统中获取被访问静态数据的存储信息。例如，从静态化消息中获取被访问静态数据，或者通过触发静态化消息中存储的指令，获取被访问静态数据。随后将被访问静态数据存储至分布式文件系统，当判断有消息后，从分布式文件系统中获取被访问静态数据的存储信息。
根据本公开实施例，在操作S230中，在判断没有消息的情况下，设定一预设时间，并在预设时间内继续监听并消费静态化消息，直至获取消息。其中，预设时间可以根据需求设定，例如10s或者8s，在此不做限定。通过设置预设时间监听并消费静态化消息，可以实现自动监听。
图3示意性示出了根据本公开实施例的实现静态数据同步的方法的流程图。该方法可以由上述系统100实现。
在操作S310，将静态化消息发送至静态化任务队列中。
在操作S320，监听并消费静态化消息。
在操作S330，在预设时间内判断是否有消息。
在操作S340，若有消息，从分布式文件系统中获取被访问静态数据的存储信息。
在操作S350，判断WEB服务器是否存储有访问资源。如果WEB服务器存储有访问资源，则执行操作S360～S380，否则执行操作S390。
在操作S360，将同步消息和存储信息发送至同步任务队列中。
在操作S370，响应于同步消息，根据存储信息从分布式文件系统中获取被访问静态数据。
在操作S380，将被访问静态数据同步分发至WEB服务器。
在操作S390，将被访问静态数据存储至分布式缓存中。
根据本公开实施例提出的一种实现静态数据同步的方法，可以在WEB服务没有访问资源(例如在对应的路径下找不到对应的文件)时，可以从分布式缓存中访问分布式缓存数据，这样可以最大可能减少后端及数据库访问压力，且提高了访问静态数据的速度。
下面将结合图4～6，参考图1～3来描述本公开实施例的系统实现静态数据同步的操作流程。其中，图4和图5示出的实施例是基于使用WEB服务器存储的基础上实现静态数据同步，图6示出的实施例是基于WEB服务器存储和分布式缓存结合的方式实现静态数据同步。
图4示意性示出了根据本公开实施例的系统实现静态数据同步的操作流程图。
如图4所示，在本公开实施例中，预先使用API接口将内容管理系统中图片、附件的上传至分布式文件系统中，在图片、附件等文件资源上传的同时，发送静态化消息到Redis静态化任务队列中，静态化服务器监听并消费静态化消息，从分布式文件系统中获取图片、附件等文件资源的存储信息，并将同步消息发送至Redis同步任务队列中，文件同步服务器监听并消费同步消息，从分布式文件系统中下载图片、附件等文件资源，然后通过SFTP等方式同步分发至WEB服务器，从而解决了文件资源的静态访问问题。
图5示意性示出了根据本公开实施例的系统实现静态数据同步的操作流程图。
如图5所示，在内容管理系统中维护网页资源(例如文章发布)，生产静态化消息，发送静态化消息到Redis静态化任务队列中，静态化服务器监听并消费消息。不同网页资源的维护所产生的静态化消息类型不同，例如，有的消息存储触发调用前端应用服务接口的指令，有的则直接存储静态数据。此外，不同的网页资源维护所产生的静态化消息推送到的静态化队列也不同，但同一队列中的消息是有序的，从而在保证执行效率的同时保证并发的安全。在本实施例中，以调用前端应用服务接口的指令获取静态数据为例进行说明。具体地，静态化服务器通过调用前端应用服务接口获取被访问静态数据，随后通过API接口将被访问静态数据上传至分布式文件系统，同时将被访问静态数据的存储信息发送至Redis同步任务队列中，文件同步服务器监听并消费消息，从分布式文件系统中下载被访问静态数据，然后通过SFTP等方式同步分发至WEB服务器，进而实现静态化同步展示。
图6示意性示出了根据本公开实施例的系统实现静态数据同步的操作流程图。
如图6所示，在本公开实施例中，在内容管理系统中维护网页资源(例如文章维护)，生产静态化消息，发送静态化消息到Redis静态化任务队列中，静态化服务器监听并消费消息。如果用户请求访问静态数据中的某一文件资源，例如分页查询文章列表中前3页，如果静态化服务器可以通过调用查询列表接口从WEB服务器获取被访问静态数据，则按照操作S360～S380执行，以实现静态数据同步展示。如果静态化服务器通过调用查询列表接口无法从WEB服务器中获取访问资源，此时，可以将静态数据存储到分布式缓存中，用户可以从分布式缓存中访问分布式缓存数据，这样可以最大可能减少后端及数据库访问压力，且提高了访问静态数据的速度。
根据本公开实施例，本公开提供的一种实现静态数据同步的方法，可以将用户访问请求的静态数据预先存储到分布式文件系统中，随后将静态化任务、静态化消息队列、文件同步任务、文件同步任务队列逻辑性地结合起来，保证高安全、高性能、高可用、低成本的前提下实现动态资源静态化同步展示。此外，在WEB服务器没有访问资源的情况下，还可以利用分布式缓存存储静态数据，这样可以最大可能减少后端及数据库访问压力，且提高了访问静态数据的速度。
图7示意性示出了根据本公开实施例的用于实现静态数据同步的装置的框图。
如图7所示，本公开实施例中用于实现静态数据同步的装置700包括：监听模块710、控制模块720和获取模块730，其中：
监听模块710，用于将静态化消息发送至静态化任务队列中，监听并消费静态化消息。
控制模块720，用于判断是否有消息，若有，从分布式文件系统中获取被访问静态数据的存储信息，将同步消息和存储信息发送至同步任务队列中。
获取模块730，用于响应于同步消息，根据存储信息从分布式文件系统中获取被访问静态数据，将被访问静态数据同步分发至WEB服务器。
在本公开的一些实施例中，控制模块720还用于预先将被访问静态数据存储至分布式文件系统中，当判断有消息后，从分布式文件系统中获取被访问静态数据的存储信息。
在本公开的一些实施例中，控制模块720还用于从静态化消息中获取被访问静态数据，或者通过触发静态化消息中存储的指令，获取被访问静态数据，并将被访问静态数据存储至分布式文件系统，当判断有消息后，从分布式文件系统中获取被访问静态数据的存储信息。
在本公开一些实施例中，控制模块720还用于在判断没有消息的情况下，设定一预设时间，并控制监听模块710在预设时间内继续监听并消费静态化消息，直至获取消息。
在本公开一些实施例中，获取模块730还用于使用SFTP、FTP、SCP中的一种方式将被访问静态数据同步分发至WEB服务器。
图8示意性示出了根据本公开另一实施例的用于实现静态数据同步的装置的框图。
如图8所示，本公开实施例中用于实现静态数据同步的装置800还包括监听模块810、控制模块820、获取模块830和判断模块840。其中，监听模块810、控制模块820、获取模块830分别具有与监听模块710、控制模块720和获取模块730对应相同的功能，重复的部分不再赘述。
在本公开实施例中，判断模块840，用于在控制模块将同步消息发送至同步任务队列之前，判断WEB服务器是否存储有访问资源。其中，在WEB服务器未存储访问资源的情况下，将被访问静态数据存储至分布式缓存中，用户从分布式缓存中获取被访问静态数据。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，监听模块810、控制模块820、获取模块830和判断模块840中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，监听模块810、控制模块820、获取模块830和判断模块840中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，监听模块810、控制模块820、获取模块830和判断模块840中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图9示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900包括处理器910、计算机可读存储介质920。该电子设备900可以执行根据本公开实施例的方法。
具体地，处理器910例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器910还可以包括用于缓存用途的板载存储器。处理器910可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质920，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。
计算机可读存储介质920可以包括计算机程序921，该计算机程序921可以包括代码/计算机可执行指令，其在由处理器910执行时使得处理器910执行根据本公开实施例的方法或其任何变形。
计算机程序921可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序921中的代码可以包括一个或多个程序模块，例如包括模块921A、模块921B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器910执行时，使得处理器910可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例，监听模块810、控制模块820、获取模块830和判断模块840中的至少一个可以实现为参考图9描述的计算机程序模块，其在被处理器910执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。电要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (15)

1.一种实现静态数据同步的方法，所述方法包括：
将静态化消息发送至静态化任务队列中，监听并消费所述静态化消息；
判断是否有消息；
若有，从分布式文件系统中获取被访问静态数据的存储信息，将同步消息和所述存储信息发送至同步任务队列中；
响应于所述同步消息，根据所述存储信息从所述分布式文件系统中获取所述被访问静态数据，将所述被访问静态数据同步分发至WEB服务器。
2.根据权利要求1所述的方法，所述从分布式文件系统中获取被访问静态数据的存储信息包括：
预先将所述被访问静态数据存储至所述分布式文件系统中，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息。
3.根据权利要求1所述的方法，所述从分布式文件系统中获取被访问静态数据的存储信息包括：
从所述静态化消息中获取所述被访问静态数据，或者，触发所述静态化消息中存储的指令，获取所述被访问静态数据；
将所述被访问静态数据存储至所述分布式文件系统，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息。
4.根据权利要求1所述的方法，在将所述同步消息发送至所述同步任务队列之前，所述方法还包括：
判断所述WEB服务器是否存储有访问资源；
其中，在所述WEB服务器未存储访问资源的情况下，将所述被访问静态数据存储至分布式缓存中，用户从所述分布式缓存中获取所述被访问静态数据。
5.根据权利要求1所述的方法，所述方法还包括：在判断没有消息的情况下，设定一预设时间，并在所述预设时间内继续监听并消费所述静态化消息，直至获取所述消息。
6.根据权利要求1所述的方法，所述将所述被访问静态数据同步分发至WEB服务器包括：
使用SFTP、FTP、SCP中的一种方式将所述被访问静态数据同步分发至所述WEB服务器。
7.根据权利要求1所述的方法，所述分布式文件系统为FastDFS、GFS、HDFS、Lustre、TFS、GridFS、mogileFS、Ceph中的一种。
8.根据权利要求1所述的方法，采用Redis、RabbitMQ、ActiveMQ、RocketMQ、Kafka中的一种作为消息队列。
9.一种实现静态数据同步的装置，包括：
监听模块，用于将静态化消息发送至静态化任务队列中，监听并消费所述静态化消息；
控制模块，用于判断是否有消息，若有，从分布式文件系统中获取被访问静态数据的存储信息，将同步消息和所述存储信息发送至同步任务队列中；
获取模块，用于响应于所述同步消息，根据所述存储信息从所述分布式文件系统中获取所述被防问静态数据，将所述被访问静态数据同步分发至WEB服务器。
10.根据权利要求9所述的装置，所述控制模块还用于预先将所述被访问静态数据存储至所述分布式文件系统中，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息；
或者，
从所述静态化消息中获取所述被访问静态数据，或者，触发所述静态化消息中存储的指令，获取所述被访问静态数据；
将所述被访问静态数据存储至所述分布式文件系统，当判断有消息后，从所述分布式文件系统中获取所述被访问静态数据的所述存储信息。
11.根据权利要求9所述的装置，所述装置还包括：
判断模块，用于在所述控制模块将所述同步消息发送至所述同步任务队列之前，判断所述WEB服务器是否存储有访问资源；
其中，在所述WEB服务器未存储访问资源的情况下，将所述被访问静态数据存储至分布式缓存中，用户从所述分布式缓存中获取所述被访问静态数据。
12.根据权利要求9所述的装置，所述控制模块还用于在判断没有消息的情况下，设定一预设时间，并控制所述监听模块在所述预设时间内继续监听并消费所述静态化消息，直至获取所述消息。
13.根据权利要求9所述的装置，所述获取模块还用于使用SFTP、FTP、SCP中的一种方式将所述被访问静态数据同步分发至所述WEB服务器。
14.一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1-8中任一项所述的方法所执行的操作。
15.一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1-8中任一项所述的方法所执行的操作。
CN202110374783.XA 2021-04-07 2021-04-07 实现静态数据同步的方法、装置、电子设备及介质 Active CN113032491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110374783.XA CN113032491B (zh) 2021-04-07 2021-04-07 实现静态数据同步的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110374783.XA CN113032491B (zh) 2021-04-07 2021-04-07 实现静态数据同步的方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113032491A true CN113032491A (zh) 2021-06-25
CN113032491B CN113032491B (zh) 2023-01-06

Family

ID=76454036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110374783.XA Active CN113032491B (zh) 2021-04-07 2021-04-07 实现静态数据同步的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113032491B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116860639A (zh) * 2023-07-11 2023-10-10 深圳依时货拉拉科技有限公司 内存泄漏的检测方法、检测装置、计算机设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944709A (zh) * 2014-03-26 2014-07-23 小米科技有限责任公司 一种数据同步方法及装置
CN105190590A (zh) * 2013-02-28 2015-12-23 埃尔瓦有限公司 用于管理数据的方法和系统和/或用于设备的服务
CN106557592A (zh) * 2016-12-02 2017-04-05 中铁程科技有限责任公司 数据同步方法、装置及服务器集群
CN106997378A (zh) * 2017-03-13 2017-08-01 摩贝（上海）生物科技有限公司 基于Redis的数据库数据聚合同步的方法
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
WO2017206101A1 (en) * 2016-06-01 2017-12-07 Beijing Yi Zhang Yun Feng Technology Co., Ltd. Synchronization of messages based on queues
CN108829713A (zh) * 2018-05-04 2018-11-16 华为技术有限公司 分布式缓存系统、缓存同步方法和装置
CN108920504A (zh) * 2018-05-28 2018-11-30 北京达佳互联信息技术有限公司 一种缓存数据的同步方法及装置
CN108989362A (zh) * 2017-05-31 2018-12-11 北京京东尚科信息技术有限公司 一种静态资源的处理方法和装置
CN109815028A (zh) * 2018-12-27 2019-05-28 北京摩拜科技有限公司 数据同步的系统、方法、装置和计算机存储介质
CN109905457A (zh) * 2019-01-09 2019-06-18 广州视源电子科技股份有限公司 主从服务器数据同步方法、装置、计算机设备和存储介质
CN110609865A (zh) * 2018-05-29 2019-12-24 优信拍（北京）信息科技有限公司 一种信息同步方法，装置及系统
US20200084270A1 (en) * 2018-09-10 2020-03-12 Oracle International Corporation Data synchronization in a cloud computing environment
CN111459954A (zh) * 2020-03-04 2020-07-28 深圳壹账通智能科技有限公司 分布式数据同步方法、装置、设备及介质
CN112527899A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 数据同步的方法、装置、设备以及存储介质
CN112585986A (zh) * 2018-08-21 2021-03-30 脸谱科技有限责任公司 数字内容消费的同步
CN112615907A (zh) * 2020-12-04 2021-04-06 北京齐尔布莱特科技有限公司 一种数据同步系统及方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105190590A (zh) * 2013-02-28 2015-12-23 埃尔瓦有限公司 用于管理数据的方法和系统和/或用于设备的服务
CN103944709A (zh) * 2014-03-26 2014-07-23 小米科技有限责任公司 一种数据同步方法及装置
WO2017206101A1 (en) * 2016-06-01 2017-12-07 Beijing Yi Zhang Yun Feng Technology Co., Ltd. Synchronization of messages based on queues
CN106557592A (zh) * 2016-12-02 2017-04-05 中铁程科技有限责任公司 数据同步方法、装置及服务器集群
CN106997378A (zh) * 2017-03-13 2017-08-01 摩贝（上海）生物科技有限公司 基于Redis的数据库数据聚合同步的方法
CN108989362A (zh) * 2017-05-31 2018-12-11 北京京东尚科信息技术有限公司 一种静态资源的处理方法和装置
CN107180116A (zh) * 2017-06-28 2017-09-19 努比亚技术有限公司 一种数据同步处理方法、移动终端以及计算机可读存储介质
CN108829713A (zh) * 2018-05-04 2018-11-16 华为技术有限公司 分布式缓存系统、缓存同步方法和装置
CN108920504A (zh) * 2018-05-28 2018-11-30 北京达佳互联信息技术有限公司 一种缓存数据的同步方法及装置
CN110609865A (zh) * 2018-05-29 2019-12-24 优信拍（北京）信息科技有限公司 一种信息同步方法，装置及系统
CN112585986A (zh) * 2018-08-21 2021-03-30 脸谱科技有限责任公司 数字内容消费的同步
US20200084270A1 (en) * 2018-09-10 2020-03-12 Oracle International Corporation Data synchronization in a cloud computing environment
CN109815028A (zh) * 2018-12-27 2019-05-28 北京摩拜科技有限公司 数据同步的系统、方法、装置和计算机存储介质
CN109905457A (zh) * 2019-01-09 2019-06-18 广州视源电子科技股份有限公司 主从服务器数据同步方法、装置、计算机设备和存储介质
CN111459954A (zh) * 2020-03-04 2020-07-28 深圳壹账通智能科技有限公司 分布式数据同步方法、装置、设备及介质
CN112527899A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 数据同步的方法、装置、设备以及存储介质
CN112615907A (zh) * 2020-12-04 2021-04-06 北京齐尔布莱特科技有限公司 一种数据同步系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方安平，周扬，方正: "数据监测模块的实时性分析与设计", 《单片机与嵌入式系统应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116860639A (zh) * 2023-07-11 2023-10-10 深圳依时货拉拉科技有限公司 内存泄漏的检测方法、检测装置、计算机设备及存储介质
CN116860639B (zh) * 2023-07-11 2024-03-29 深圳依时货拉拉科技有限公司 内存泄漏的检测方法、检测装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113032491B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US10649796B2 (en) Rolling resource credits for scheduling of virtual computer resources
US20160124769A1 (en) Maintaining virtual machines for cloud-based operators in a streaming application in a ready state
US8375200B2 (en) Embedded device and file change notification method of the embedded device
CN113132489A (zh) 下载文件的方法、装置、计算设备和介质
CN111913738B (zh) 访问请求的处理方法、装置、计算设备和介质
US10592296B2 (en) Maintaining state information in a multi-component, event-driven state machine
CN105183585B (zh) 一种数据备份方法及装置
US9766995B2 (en) Self-spawning probe in a distributed computing environment
CN113032491B (zh) 实现静态数据同步的方法、装置、电子设备及介质
CN111222862A (zh) 数据处理方法及系统、介质和计算机系统
US20170171276A1 (en) Method, Electronic Device and System for Slicing Streaming Media Files
CN114265713A (zh) Rdma事件管理方法、装置、计算机设备及存储介质
US10135751B2 (en) Automated split of work in a cloud environment
CN114528104A (zh) 任务处理方法及装置
CN105574008A (zh) 应用于分布式文件系统的任务调度方法和设备
CN117724852A (zh) 一种云电脑计算资源分配方法及装置
CN115617540A (zh) 一种云剪贴板的实现方法、设备、系统及存储介质
US20150373071A1 (en) On-demand helper operator for a streaming application
US12050807B2 (en) Memory management system and method
US10389830B2 (en) Device delegation of push notification distribution
CN113127158B (zh) 用于执行数据处理任务的方法及装置
CN110912720B (zh) 信息生成方法和装置
CN112688980A (zh) 资源分发方法、装置、计算机设备
JP6147299B2 (ja) リレーサーバシステム及びリレーサーバを用いた通信方法
CN113609150B (zh) 基于硬件的原子写方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant