CN111405020B - 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统 - Google Patents

基于消息队列和fastDFS微服务架构的异步文件导出方法及系统 Download PDF

Info

Publication number
CN111405020B
CN111405020B CN202010161073.4A CN202010161073A CN111405020B CN 111405020 B CN111405020 B CN 111405020B CN 202010161073 A CN202010161073 A CN 202010161073A CN 111405020 B CN111405020 B CN 111405020B
Authority
CN
China
Prior art keywords
message
file
module
asynchronous
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010161073.4A
Other languages
English (en)
Other versions
CN111405020A (zh
Inventor
徐士强
魏金雷
杨继伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Huimao Electronic Port Co Ltd
Original Assignee
Shandong Huimao Electronic Port Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Huimao Electronic Port Co Ltd filed Critical Shandong Huimao Electronic Port Co Ltd
Priority to CN202010161073.4A priority Critical patent/CN111405020B/zh
Publication of CN111405020A publication Critical patent/CN111405020A/zh
Application granted granted Critical
Publication of CN111405020B publication Critical patent/CN111405020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0815—Network architectures or network communication protocols for network security for authentication of entities providing single-sign-on or federations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于消息队列和fastDFS微服务架构的异步文件导出方法及系统，属于文件管理技术领域，本发明要解决的技术问题为如何满足异步处理高并发情况下大数据量的文件导出，又不占用业务侧太多IO，提升系统稳定性，采用的技术方案为：该方法是通过认证授权模块、消息组装及推送模块、消息消费处理模块、文件异步生成及上传模块和异步下载模块完成对文件的异步生成及下载，通过消息队列完成分布式部署，进而实现各模块之间松耦合；具体如下：S1、用户在浏览器登录，向认证授权模块的授权认证服务请求认证授权；S2、认证授权通过后，用户选择需要导出的数据进行导出操作，消息组装及推送模块将消息自动根据业务进行区分处理，并组装消息。

Description

基于消息队列和fastDFS微服务架构的异步文件导出方法及 系统
技术领域
本发明涉及文件管理技术领域，具体地说是一种基于消息队列和fastDFS微服务架构的异步文件导出方法及系统。
背景技术
传统的同步导出下载虽然可以满足80％的文件导出需求，但是对于数据量大，业务拼接复杂的系统来说，等待时间较长甚至超时、用户体验较差、对系统服务实时压力较大等都是不可避免的。常用的java导出方式有poi和流式两种导出方式，通过poi方式导出，会实时占用大量内存，一旦有其他多线程并发就会出现内存溢出的场景，导致系统崩溃，而流式导出的方式虽然一定程度上可以满足当前需求的需要，但也是在实时占用系统的IO，很容易导致后续操作等待等问题。而异步文件生成及下载是基于微服务思想独立于业务模块之外单独运行，不对业务组件造成影响，通过业务类型、文件类型等将不同的业务场景进行逻辑分离处理，能让业务线程、文件异步生成线程在后台运行，没有等待时间，处理完成后通知前台进行展示下载即可，这种方式不仅大大降低了对业务组件的压力，而且提高了用户体验。其实这种场景在现实生活中也很常见，比如医院里面拍CT，做体检时的体检报告，都是延后去拿结果的。
微服务架构是最近几年新提出的一个概念，相较于传统的单体架构，微服务架构将单一架构的功能拆分成多个小型的具有完整业务功能的服务，服务之间通过API或者消息进行串联起来，同时各个微服务之间的开发、测试与部署都是独立进行，大大降低了系统之间的耦合程度，提高了系统的可扩展性。
消息队列则是被应用于众多系统中的常用技术，消息队列的异步化和松耦合机制，可以提升系统资源的利用率和系统的可扩展性，同时消息队列自带分布式和容灾特性，从而提升系统性能和容错能力。
现有的文件异步导出机制，是对微服务架构下的优化并不充分，故如何满足异步处理高并发情况下大数据量的文件导出，实现微服务架构下文件的生产、存储及异步下载，又不占用业务侧太多IO，减少对系统的实时压力，提升系统稳定性是目前亟待解决的技术问题。
专利号为CN107526635A的专利文献公开了一种数据异步导出方法，包括步骤1：在导出页面设置导出数据的筛选条件；步骤2、服务器根据步骤1提供的筛选条件查询并判断数据库里数据量大小，根据配置文件所设置的大数据阈值DOWNLOAD_SIZE决定是实时导出，还是邮件通知下载导出；步骤3：若数据库里数据为少量数据，则此少量数据采用实时导出方式；步骤4：若数据库里数据为大量数据，则将此大量数据生成导出文件，并存储在指定服务器中，发送下载链接至指定的邮件地址。但是该技术方案不能满足异步处理高并发情况下大数据量的文件导出需求。
专利号为CN103810238A的专利文献公开了一种基于异步处理的大数据量Excel文件导出方法，包括以下步骤：Excel辅助应用模块将Excel数据分成若干数据组；当应用系统向Excel辅助应用模块发送Excel数据导出请求时，Excel辅助应用模块向多个处理器提出Excel数据导出请求；每个处理器处理Excel数据导出请求时，都在指定存储路径新建一个Excel文件；多个Excel文件叠加构成的完整的Excel文件，用户在存储路径下查看并下载生成的Excel文件。但是该技术方案不能满足异步处理高并发情况下大数据量的文件导出需求。
发明内容
本发明的技术任务是提供一种基于消息队列和fastDFS微服务架构的异步文件导出方法及系统，来解决如何满足异步处理高并发情况下大数据量的文件导出，实现微服务架构下文件的生产、存储及异步下载，又不占用业务侧太多IO，减少对系统的实时压力，提升系统稳定性的问题。
本发明的技术任务是按以下方式实现的，一种基于消息队列和fastDFS微服务架构的异步文件导出方法，该方法是通过认证授权模块、消息组装及推送模块、消息消费处理模块、文件异步生成及上传模块和异步下载模块完成对文件的异步生成及下载，通过消息队列完成分布式部署，进而实现各模块之间松耦合；具体如下：
S1、用户在浏览器(web client)登录，向认证授权模块的授权认证服务(Authorition Server)请求认证授权；
S2、认证授权通过后，用户选择需要导出的数据进行导出操作，由于业务不同导出内容不同，消息组装及推送模块将消息自动根据业务进行区分处理，并组装消息；
S3、消息消费处理模块接收到组装消息后，进行逻辑处理，并异步获取到需要导出的数据集；
S4、文件异步生成及上传模块根据数据集生成临时文件，并上传到fastDFS文件系统中进行临时存储，存储完成后更新库中文件状态；
S5、文件生成处理完成后，页面展示下载的文件，用户通过异步下载模块直接将数据导出。
作为优选，所述步骤S1中的认证授权模块用于对登录用户进行授权认证，认证通过才能够对文件进行导出操作。
作为优选，所述步骤S2中认证授权通过后，消息组装及推送模块生成一条状态为生成中的记录，组装消息体发送到消息消费处理模块(MQ消息消费端)。
更优地，所述步骤S2中组装消息的格式根据导出类型决定，导出类型包括直接执行sql查询数据的方式导出和通过调用接口的方式获取数据后导出。
更优地，所述步骤S3中消息消费处理模块的工作过程具体如下：
S301、消息消费处理模块接收到消息后，根据获取到的报文进行解析处理；
S302、根据消息内容获取到要导出的数据集；
S303、调用文件异步生成及上传模块。
作为优选，所述步骤S5中用户通过异步下载模块直接将数据导出具体是：用户根据单独下载界面中提供的链接，直接到fastDFS文件系统中进行文件的下载。
一种基于消息队列和fastDFS微服务架构的异步文件导出系统，该系统包括，
认证授权模块，用于对登录用户进行授权认证，先进行认证，只有认证通过才能够对文件进行导出操作；
消息组装及推送模块，用于在认证通过后，生成一条状态为生成中的记录，再组装消息体发送到消息消费处理模块(MQ消息消费端)；
消息消费处理模块，用于在接收到消息后，根据获取到的报文进行解析处理，再根据消息内容获取到要导出的数据集，并调用文件异步生成及上传模块；
文件异步生成及上传模块，用于在MQ消息消费端接收获取到数据集后，临时生成文件，并上传到fastDFS文件系统中进行临时存储，存储完成后并更新库中文件状态；
异步下载模块，用于在文件生成处理完成后，直接将数据完成导出。
作为优选，所述组装消息的格式根据导出类型决定，导出类型包括直接执行sql查询数据的方式导出和通过调用接口的方式获取数据后导出。
更优地，所述异步下载模块的工作过程具体如下：
用户根据单独下载界面中提供的链接，直接到fastDFS文件系统中进行文件的下载。
本发明的基于消息队列和fastDFS微服务架构的异步文件导出方法及系统具有以下优点：
(一)本发明通过引入消息队列和fastDFS实现对文件的异步生成、上传及下载，可以涵盖多个应用场景，根据不同的业务类型及文件类型进行不同的逻辑处理(灵活化设计、公共化引用)，通过认证授权模块、消息组装及推送模块、消息消费处理模块、文件异步生成及上传模块、异步下载模块将完成对文件的异步生成及下载，与现有技术相比，本发明大大降低了服务端的实时压力、减少了对数据库的存储依赖，提高了文件的下载稳定性；
(二)本发明通过引入认证授权和异步导出上传、消息组装及推送，加强了微服务架构下文件的生成稳定性及不同业务场景的扩展，满足多种业务场景，一次开发，多场景公用；
(三)本发明采用了异步文件生成及下载模式，通过mq将不同的组件进行松耦合衔接，按照微服务架构思想，满足了大批量数据文件导出的需要，同时降低了对业务服务器的压力，大大提升了文件导出处理效率；
(四)本发明将各业务场景涵盖一起进行设计开发，支持多源异构的数据导出，通过两种方式(proxy/direct)将不同的数据获取方式通过公共的处理模式进行集中处理，分布式多节点的部署模式，更是能够提高支持并发数；
(五)本发明引入了微服务架构理念，通过消息队列实现了各个模块间的松耦合，可以进行分布式部署，通过引入fastDFS可以实现文件的分布式存储，将不同的业务场景都纳入其中，实现各个场景的文件异步导出统一处理，同时支持多种文件类型，并不局限于xls一种格式的文件等；本发明将文件异步导出基于微服务架构进行了创新，实现了各个环节的多节点优化等。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于消息队列和fastDFS微服务架构的异步文件导出方法的流程框图；
附图2为基于消息队列和fastDFS微服务架构的异步文件导出系统的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于消息队列和fastDFS微服务架构的异步文件导出方法及系统作以下详细地说明。
实施例1：
如附图1所示，本发明的基于消息队列和fastDFS微服务架构的异步文件导出方法,该方法是通过认证授权模块、消息组装及推送模块、消息消费处理模块、文件异步生成及上传模块和异步下载模块完成对文件的异步生成及下载，通过消息队列完成分布式部署，进而实现各模块之间松耦合；具体如下：
S1、用户在浏览器(web client)登录，向认证授权模块的授权认证服务(Authorition Server)请求认证授权；
S2、认证授权通过后，用户选择需要导出的数据进行导出操作，由于业务不同导出内容不同，消息组装及推送模块将消息自动根据业务进行区分处理，并组装消息；
S3、消息消费处理模块接收到组装消息后，进行逻辑处理，并异步获取到需要导出的数据集；
S4、文件异步生成及上传模块根据数据集生成临时文件，并上传到fastDFS文件系统中进行临时存储，存储完成后更新库中文件状态；
S5、文件生成处理完成后，页面展示下载的文件，用户通过异步下载模块直接将数据导出。
优选的，步骤S1中的认证授权模块用于对登录用户进行授权认证，认证通过才能够对文件进行导出操作。
优选的，步骤S2中认证授权通过后，消息组装及推送模块生成一条状态为生成中的记录，组装消息体发送到消息消费处理模块(MQ消息消费端)。
优选的，步骤S2中组装消息的格式根据导出类型决定，导出类型包括直接执行sql查询数据的方式导出和通过调用接口的方式获取数据后导出。
优选的，步骤S3中消息消费处理模块的工作过程具体如下：
S301、消息消费处理模块接收到消息后，根据获取到的报文进行解析处理；
S302、根据消息内容获取到要导出的数据集；
S303、调用文件异步生成及上传模块。
优选的，步骤S5中用户通过异步下载模块直接将数据导出具体是：用户根据单独下载界面中提供的链接，直接到fastDFS文件系统中进行文件的下载。
实施例2：
如附图2所示，本发明的基于消息队列和fastDFS微服务架构的异步文件导出系统，该系统包括，
认证授权模块，用于对登录用户进行授权认证，先进行认证，只有认证通过才能够对文件进行导出操作；
消息组装及推送模块，用于在认证通过后，生成一条状态为生成中的记录，再组装消息体发送到消息消费处理模块(MQ消息消费端)；其中，组装消息的格式根据导出类型决定，导出类型包括直接执行sql查询数据的方式导出和通过调用接口的方式获取数据后导出。
消息消费处理模块，用于在接收到消息后，根据获取到的报文进行解析处理，再根据消息内容获取到要导出的数据集，并调用文件异步生成及上传模块；
文件异步生成及上传模块，用于在MQ消息消费端接收获取到数据集后，临时生成文件，并上传到fastDFS文件系统中进行临时存储，存储完成后并更新库中文件状态；
异步下载模块，用于在文件生成处理完成后，直接将数据完成导出。异步下载模块的工作过程具体如下：
用户根据单独下载界面中提供的链接，直接到fastDFS文件系统中进行文件的下载。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于消息队列和fastDFS微服务架构的异步文件导出方法，其特征在于，该方法是通过认证授权模块、消息组装及推送模块、消息消费处理模块、文件异步生成及上传模块和异步下载模块完成对文件的异步生成及下载，通过消息队列完成分布式部署，进而实现各模块之间松耦合；具体如下：
S1、用户在浏览器登录，向认证授权模块的授权认证服务请求认证授权；其中，认证授权模块用于对登录用户进行授权认证，认证通过才能够对文件进行导出操作；
S2、认证授权通过后，用户选择需要导出的数据进行导出操作，消息组装及推送模块将消息自动根据业务进行区分处理，并组装消息；其中，认证授权通过后，消息组装及推送模块生成一条状态为生成中的记录，组装消息体发送到消息消费处理模块；组装消息的格式根据导出类型决定，导出类型包括直接执行sql查询数据的方式导出和通过调用接口的方式获取数据后导出；
S3、消息消费处理模块接收到组装消息后，进行逻辑处理，并异步获取到需要导出的数据集；其中，消息消费处理模块的工作过程具体如下：
S301、消息消费处理模块接收到消息后，根据获取到的报文进行解析处理；
S302、根据消息内容获取到要导出的数据集；
S303、调用文件异步生成及上传模块；
S4、文件异步生成及上传模块根据数据集生成临时文件，并上传到fastDFS文件系统中进行临时存储，存储完成后更新库中文件状态；
S5、文件生成处理完成后，页面展示下载的文件，用户通过异步下载模块直接将数据导出。
2.根据权利要求1所述的基于消息队列和fastDFS微服务架构的异步文件导出方法，其特征在于，所述步骤S5中用户通过异步下载模块直接将数据导出具体是：用户根据单独下载界面中提供的链接，直接到fastDFS文件系统中进行文件的下载。
3.一种基于消息队列和fastDFS微服务架构的异步文件导出系统，其特征在于，该系统包括，
认证授权模块，用于对登录用户进行授权认证，先进行认证，只有认证通过才能够对文件进行导出操作；其中，认证授权模块用于对登录用户进行授权认证，认证通过才能够对文件进行导出操作；
消息组装及推送模块，用于在认证通过后，生成一条状态为生成中的记录，再组装消息体发送到消息消费处理模块；其中，认证授权通过后，消息组装及推送模块生成一条状态为生成中的记录，组装消息体发送到消息消费处理模块；组装消息的格式根据导出类型决定，导出类型包括直接执行sql查询数据的方式导出和通过调用接口的方式获取数据后导出；
消息消费处理模块，用于在接收到消息后，根据获取到的报文进行解析处理，再根据消息内容获取到要导出的数据集，并调用文件异步生成及上传模块；其中，消息消费处理模块的工作过程具体如下：
S301、消息消费处理模块接收到消息后，根据获取到的报文进行解析处理；
S302、根据消息内容获取到要导出的数据集；
S303、调用文件异步生成及上传模块；
文件异步生成及上传模块，用于在MQ消息消费端接收获取到数据集后，临时生成文件，并上传到fastDFS文件系统中进行临时存储，存储完成后并更新库中文件状态；
异步下载模块，用于在文件生成处理完成后，直接将数据完成导出。
4.根据权利要求3所述的基于消息队列和fastDFS微服务架构的异步文件导出系统，其特征在于，所述异步下载模块的工作过程具体如下：
用户根据单独下载界面中提供的链接，直接到fastDFS文件系统中进行文件的下载。
CN202010161073.4A 2020-03-10 2020-03-10 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统 Active CN111405020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010161073.4A CN111405020B (zh) 2020-03-10 2020-03-10 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010161073.4A CN111405020B (zh) 2020-03-10 2020-03-10 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统

Publications (2)

Publication Number Publication Date
CN111405020A CN111405020A (zh) 2020-07-10
CN111405020B true CN111405020B (zh) 2023-03-31

Family

ID=71430766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161073.4A Active CN111405020B (zh) 2020-03-10 2020-03-10 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统

Country Status (1)

Country Link
CN (1) CN111405020B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256642A (zh) * 2020-10-13 2021-01-22 北京神州数字科技有限公司 微服务体系下文件分布式写入、读取、处理机制及系统
CN113111129B (zh) * 2021-04-16 2023-05-23 挂号网（杭州）科技有限公司 数据同步方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN108984614A (zh) * 2018-06-12 2018-12-11 成都三零凯天通信实业有限公司 一种基于大数据环境下的视图像快速识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102355426B (zh) * 2011-06-30 2015-01-14 北京神州泰岳软件股份有限公司 实现离线文件传输的方法和系统
US9838377B1 (en) * 2016-05-11 2017-12-05 Oracle International Corporation Task segregation in a multi-tenant identity and data security management cloud service
CN109558082B (zh) * 2018-11-26 2021-12-07 深圳天源迪科信息技术股份有限公司 分布式文件系统
CN109615962A (zh) * 2019-02-18 2019-04-12 心神信息技术有限公司 一种智能互联教学系统
CN109889454A (zh) * 2019-02-26 2019-06-14 浪潮软件集团有限公司 一种微服务架构的消息推送装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391930A (zh) * 2014-11-21 2015-03-04 用友软件股份有限公司 分布式文件存储装置和方法
CN108984614A (zh) * 2018-06-12 2018-12-11 成都三零凯天通信实业有限公司 一种基于大数据环境下的视图像快速识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SOA技术架构的多并发异构业务系统中台技术设计;沈进波;《电子技术与软件工程》;20190428(第08期);全文 *

Also Published As

Publication number Publication date
CN111405020A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN109327509B (zh) 一种主/从架构的低耦合的分布式流式计算系统
CN111277639B (zh) 一种保持数据一致性的方法和装置
CN111405020B (zh) 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统
CN107766509B (zh) 一种网页静态备份的方法和装置
CN111221793B (zh) 数据挖掘方法、平台、计算机设备及存储介质
CN110309231B (zh) 一种跨机房的数据同步方法及系统
WO2023273544A1 (zh) 日志文件的存储方法、装置、设备和存储介质
WO2020258666A1 (zh) 一种分布式系统及数据处理方法
US10489179B1 (en) Virtual machine instance data aggregation based on work definition metadata
CN110609782A (zh) 基于大数据的微服务优化系统及方法
CN116627333A (zh) 日志缓存方法、装置、电子设备及计算机可读存储介质
CN111611479B (zh) 用于网络资源推荐的数据处理方法及相关装置
CN111309442B (zh) 微服务容器数量的调整方法、装置、系统、介质及设备
CN111752916B (zh) 数据采集方法及装置、计算机可读存储介质、电子设备
CN112417050A (zh) 数据同步方法和装置、系统、存储介质及电子装置
US8566279B1 (en) Enhanced data collection techniques
CN110019045B (zh) 日志落地方法及装置
CN113515306B (zh) 一种系统移植的方法及装置
CN111125161B (zh) 数据的实时处理方法、装置、设备及存储介质
CN112417015A (zh) 数据分发方法和装置、存储介质及电子装置
CN112667393A (zh) 分布式任务计算调度框架搭建的方法、装置及计算机设备
CN113360558A (zh) 数据处理方法、数据处理装置、电子设备及存储介质
CN110764931B (zh) Ota网站上传凭证的处理方法、系统、设备和存储介质
CN113872814A (zh) 内容分发网络的信息处理方法、装置和系统
CN107330089B (zh) 跨网络结构化数据收集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant