CN112579567A - 一种基于MinIO工业质检文件分布式存储系统及方法 - Google Patents

一种基于MinIO工业质检文件分布式存储系统及方法 Download PDF

Info

Publication number
CN112579567A
CN112579567A CN202011471657.8A CN202011471657A CN112579567A CN 112579567 A CN112579567 A CN 112579567A CN 202011471657 A CN202011471657 A CN 202011471657A CN 112579567 A CN112579567 A CN 112579567A
Authority
CN
China
Prior art keywords
minio
data
file
distributed storage
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011471657.8A
Other languages
English (en)
Other versions
CN112579567B (zh
Inventor
王星宇
韩锦
潘正颐
侯大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weiyizhi Technology Co Ltd filed Critical Changzhou Weiyizhi Technology Co Ltd
Priority to CN202011471657.8A priority Critical patent/CN112579567B/zh
Publication of CN112579567A publication Critical patent/CN112579567A/zh
Application granted granted Critical
Publication of CN112579567B publication Critical patent/CN112579567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于MinIO工业质检文件分布式存储系统及方法，存储系统包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块；方法包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段。该基于MinIO工业质检文件分布式存储系统及方法，解决了海量质检图片大量存储导致的系统扩展差、资源利用率低的问题，MinIO本身较为轻量，能进一步降低运维维护成本。

Description

一种基于MinIO工业质检文件分布式存储系统及方法
技术领域
本发明涉及存储方法的技术领域，尤其是一种基于MinIO工业质检文件分布式存储系统及方法。
背景技术
基于工业质检现场产生的海量质检图片，在实际工业生产中，传统方式单点存储，且实际扩展性差，资源可利用率低，运维维护成本往往较高。
中国发明专利文献CN110491478A(申请号：201910777317.9，申请日：2019年08月22日，申请人：中电健康云科技有限公司)公开了一种基于ceph的影像文件分布式储存系统及其实现方法，包括ceph分布式文件系统、接收缓存模块、作业调度模块和元数据存储模块，方法流程为：1、部署ceph分布式存储集群，在服务器中配置用于临时存放接收到的影像文件的临时文件目录，并使作业调度模块能读取接收缓存模块中的数据；2、接收缓存模块接收并存储客户端发送的影像文件；3、启动文件读取处理任务和文件清除任务，文件读取处理任务用于周期性读取并处理临时文件目录中的影像文件，文件清除任务用于周期性删除已处理过的影像文件。然而，该方法基于CEPH运维部署，成本较高。
发明内容
本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于MinIO工业质检文件分布式存储系统及方法，解决了海量质检图片大量存储导致的系统扩展差、资源利用率低的问题，MinIO本身较为轻量，能进一步降低运维维护成本。
本发明解决其技术问题所采用的技术方案是：一种基于MinIO工业质检文件分布式存储系统，包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块；
数据预处理模块用于扫描配置信息并存储临时文件到磁盘；
数据同步模块用于实时监听并将发起请求将临时文件上传；
数据存储模块用于将临时文件存储到MinIO集群并添加文件记录；
数据清洗模块用于定时清理临时文件节约系统资源。
一种基于MinIO工业质检文件分布式存储系统的方法，包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段。
进一步具体地说，上述技术方案中，一种基于MinIO工业质检文件分布式存储系统的方法，具体步骤如下：
第一步骤、数据预处理阶段加载系统配置，扫描并加载系统配置信息；
第二步骤、数据预处理阶段接收客户端发起的请求并将文件作为临时文件保存到本地服务器；
第三步骤、数据预处理阶段临时文件上传本地服务器后进行事件发布；
第四步骤、数据同步阶段进行事件监听，实时收集到上传到本地服务器的临时文件信息；
第五步骤、数据同步阶段发起请求将本地临时文件同步上传到MinIO集群；
第六步骤、数据存储阶段根据请求将本地临时文件存储到MinIO集群；
第七步骤、数据存储阶段根据存储结果同步文件存储记录到Mysql；
第八步骤、数据清洗阶段根据定时任务定时发起请求查询文件落库记录，具体定时时间可自主配置；
第九步骤、数据清洗阶段根据查询结果清理本地服务器临时文件完成数据清洗。
进一步具体地说，上述技术方案中，在第一步骤中，系统配置信息包括基础服务器配置信息、MinIO配置Endpoint、MinIO配置Access Key以及MinIO配置Secret Key。
进一步具体地说，上述技术方案中，在第二步骤中，接收客户端发起的请求，可以从请求中依次获取文件对象，并将其作为临时文件保存到本地服务器。
进一步具体地说，上述技术方案中，在第三步骤中，根据第二步骤的结果利用Spring内置ApplicationEventPublisher进行事件发布，从而将业务解耦。
进一步具体地说，上述技术方案中，在第四步骤中，依据Spring内置ApplicationListener进行事件监听，实时收集到上传到本地服务器的临时文件信息。
进一步具体地说，上述技术方案中，在第五步骤中，根据第四步骤的监听结果，发起请求将文件依次上传到MinIO集群。
进一步具体地说，上述技术方案中，在第九步骤中，根据查询结果，如果文件已经存储成功且Mysql中存在相应记录，则清理本地服务器临时文件完成数据清洗。
本发明的有益效果是：本发明提供的一种基于MinIO工业质检文件分布式存储系统及方法，具有以下优点：
一、基于MinIO的分布式文件系统灵活，扩展性更好；
二、基于MinIO搭建分布式文件系统更加轻量，降低了运维成本；
三、利用事件发布将业务解耦，便于业务扩展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的流程图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
见图1，一种基于MinIO工业质检文件分布式存储系统，包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块。
数据预处理模块用于扫描配置信息并存储临时文件到磁盘；
数据同步模块用于实时监听并将发起请求将临时文件上传；
数据存储模块用于将临时文件存储到MinIO集群并添加文件记录；
数据清洗模块用于定时清理临时文件节约系统资源。
数据预处理模块生成临时文件并进行事件发布，数据同步模块监听数据预处理模块发布的事件并发起请求上传临时文件，数据存储模块将数据同步模块上传的临时文件进行存储并落表记录，数据清洗模块查询数据存储模块的记录进行临时文件定期清理完成磁盘空间整理。
数据预处理模块采用的是Spring，Apache Common-FileUpload，SpringApplicationEventPublisher。
数据同步模块采用的是Spring，SpringApplicationListener。
数据存储模块采用的是Spring，Minio，Mysql。
数据清洗模块采用的是Spring。
见图1，一种基于MinIO工业质检文件分布式存储系统的方法，包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段。具体步骤如下：
第一步骤、数据预处理阶段加载系统配置，扫描并加载系统配置信息；
第二步骤、数据预处理阶段接收客户端发起的请求并将文件作为临时文件保存到本地服务器；
第三步骤、数据预处理阶段临时文件上传本地服务器后基于Spring内置ApplicationEventPublisher进行事件发布；事件发布的内容包括文件名称、文件MD5、文件磁盘路径、操作时间、操作人以及操作IP等；
第四步骤、数据同步阶段基于Spring内置ApplicationListener进行事件监听，实时收集到上传到本地服务器的临时文件信息；事件监听的内容包括文件名称、文件MD5、文件磁盘路径、操作时间、操作人以及操作IP等；
第五步骤、数据同步阶段发起请求将本地临时文件同步上传到MinIO集群；MinIO集群是多个minio节点组成的分布式对象存储服务，由于分布在不同节点上，分布式集群可以避免单点故障。
第六步骤、数据存储阶段根据请求将本地临时文件存储到MinIO集群；
第七步骤、数据存储阶段根据存储结果同步文件存储记录到Mysql；其中Mysql是可以使用的一种，也可以是其它，如：PostgreSql、Sql Server、MongoDB、Redis等。
第八步骤、数据清洗阶段根据定时任务定时发起请求查询文件落库记录，具体定时时间可自主配置；
第九步骤、数据清洗阶段根据查询结果清理本地服务器临时文件完成数据清洗。
在第一步骤中，系统配置信息包括基础服务器配置信息、MinIO配置Endpoint(对象存储服务的URL)、MinIO配置Access Key(唯一标识账户)以及MinIO配置Secret Key(账户秘钥)。其中，基础服务器配置信息包括Mysql服务器IP、Mysql用户名以及Mysql用户密码等。
在第二步骤中，接收客户端发起的请求，可以从请求中依次获取文件对象，并将其作为临时文件保存到本地服务器。其中，依次可以理解为循环遍历操作，每次处理一个遍历项，直到所有遍历项都处理完成。
在第三步骤中，根据第二步骤的结果利用Spring内置ApplicationEventPublisher进行事件发布，从而将业务解耦。本专利主要以Spring相关技术栈为例，不限制具体其它技术栈的实现，可以是Doubbo等其它。另外，ApplicationEventPublisher是基于Spring的内置事件发布。还可以借助其它第三方消息中间件，包括不限于Kafka、RabbitMQ以及Active MQ等。
在第四步骤中，依据Spring内置ApplicationListener进行事件监听，实时收集到上传到本地服务器的临时文件信息。
在第五步骤中，根据第四步骤的监听结果，发起请求将文件依次上传到MinIO集群。其中，依次可以理解为循环遍历操作，每次处理一个遍历项，直到所有遍历项都处理完成。
在第九步骤中，根据查询结果，如果文件已经存储成功且Mysql中存在相应记录，则清理本地服务器临时文件完成数据清洗，达到有效利用本地磁盘资源的目的。
需要解释说明的是：
MinIO是一款高性能、分布式的对象存储系统，它是一款软件产品，可以100％的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。
Mysql是一个关系型数据库管理系统，由瑞典MysqlAB公司开发，属于Oracle旗下产品，Mysql是最流行的关系型数据库管理系统之一，在WEB应用方面，Mysql是最好的RDBMS(Relational Database Management System，关系数据库管理系统)应用软件之一。另外，Mysql是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。同时，Mysql所使用的SQL语言是用于访问数据库的最常用标准化语言。Mysql软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择Mysql作为网站数据库。
Spring框架是由于软件开发的复杂性而创建的，Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。Spring的目的是解决企业应用开发的复杂性；Spring的功能是使用基本的JavaBean代替EJB，并提供了更多的企业应用功能；Spring的运用范围是任何Java应用。Spring是一个轻量级控制反转(IoC)和面向切面(AOP)的容器框架。
ApplicationContext事件机制是观察者设计模式的实现，通过ApplicationEvent类和ApplicationListener接口，可以实现ApplicationContext事件处理。如果容器中有一个ApplicationListener Bean，每当ApplicationContext发布ApplicationEvent时，ApplicationListener Bean将自动被触发，这种事件机制都必须需要程序显示的触发。其中spring有一些内置的事件，当完成某种操作时会发出某些事件动作。比如监听ContextRefreshedEvent事件，当所有的bean都初始化完成并被成功装载后会触发该事件，实现ApplicationListener<ContextRefreshedEvent>接口可以收到监听动作，然后可以写自己的逻辑。同样事件可以自定义、监听也可以自定义，完全根据自己的业务逻辑来处理。
该基于MinIO工业质检文件分布式存储系统及方法的优点是：基于MinIO的分布式文件系统灵活，扩展性更好；基于MinIO搭建分布式文件系统更加轻量，降低了运维成本；利用事件发布将业务解耦，便于业务扩展。
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于MinIO工业质检文件分布式存储系统，其特征在于：包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块；
数据预处理模块用于扫描配置信息并存储临时文件到磁盘；
数据同步模块用于实时监听并将发起请求将临时文件上传；
数据存储模块用于将临时文件存储到MinIO集群并添加文件记录；
数据清洗模块用于定时清理临时文件节约系统资源。
2.一种如权利要求1所述的基于MinIO工业质检文件分布式存储系统的方法，其特征在于：包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段。
3.根据权利要求2所述的基于MinIO工业质检文件分布式存储系统的方法，其特征在于，具体步骤如下：
第一步骤、数据预处理阶段加载系统配置，扫描并加载系统配置信息；
第二步骤、数据预处理阶段接收客户端发起的请求并将文件作为临时文件保存到本地服务器；
第三步骤、数据预处理阶段临时文件上传本地服务器后进行事件发布；
第四步骤、数据同步阶段进行事件监听，实时收集到上传到本地服务器的临时文件信息；
第五步骤、数据同步阶段发起请求将本地临时文件同步上传到MinIO集群；
第六步骤、数据存储阶段根据请求将本地临时文件存储到MinIO集群；
第七步骤、数据存储阶段根据存储结果同步文件存储记录到Mysql；
第八步骤、数据清洗阶段根据定时任务定时发起请求查询文件落库记录；
第九步骤、数据清洗阶段根据查询结果清理本地服务器临时文件完成数据清洗。
4.根据权利要求3所述的基于MinIO工业质检文件分布式存储系统的方法，其特征在于：在第一步骤中，系统配置信息包括基础服务器配置信息、MinIO配置Endpoint、MinIO配置Access Key以及MinIO配置Secret Key。
5.根据权利要求3所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第二步骤中，接收客户端发起的请求，可以从请求中依次获取文件对象，并将其作为临时文件保存到本地服务器。
6.根据权利要求3所述的基于MinIO工业质检文件分布式存储系统的方法，其特征在于：在第三步骤中，根据第二步骤的结果利用Spring内置ApplicationEventPublisher进行事件发布，从而将业务解耦。
7.根据权利要求3所述的基于MinIO工业质检文件分布式存储系统的方法，其特征在于：在第四步骤中，依据Spring内置ApplicationListener进行事件监听，实时收集到上传到本地服务器的临时文件信息。
8.根据权利要求3所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第五步骤中，根据第四步骤的监听结果，发起请求将文件依次上传到MinIO集群。
9.根据权利要求3所述的一种基于MinIO工业质检文件分布式存储方法，其特征在于：在第九步骤中，根据查询结果，如果文件已经存储成功且Mysql中存在相应记录，则清理本地服务器临时文件完成数据清洗。
CN202011471657.8A 2020-12-14 2020-12-14 一种基于MinIO工业质检文件分布式存储方法 Active CN112579567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011471657.8A CN112579567B (zh) 2020-12-14 2020-12-14 一种基于MinIO工业质检文件分布式存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011471657.8A CN112579567B (zh) 2020-12-14 2020-12-14 一种基于MinIO工业质检文件分布式存储方法

Publications (2)

Publication Number Publication Date
CN112579567A true CN112579567A (zh) 2021-03-30
CN112579567B CN112579567B (zh) 2022-02-08

Family

ID=75136210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011471657.8A Active CN112579567B (zh) 2020-12-14 2020-12-14 一种基于MinIO工业质检文件分布式存储方法

Country Status (1)

Country Link
CN (1) CN112579567B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986850A (zh) * 2021-10-27 2022-01-28 北京天宇威视科技股份有限公司 电子卷宗的存储方法、装置、设备和计算机可读存储介质
CN115496749A (zh) * 2022-11-14 2022-12-20 江苏智云天工科技有限公司 基于目标检测训练预处理的产品缺陷检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130100623A (ko) * 2012-03-02 2013-09-11 오민수 고객 관리 프로그램의 구현
CN105978949A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 离线数据上传方法及装置
CN106445403A (zh) * 2015-08-11 2017-02-22 张凡 针对海量数据成对存储的分布式存储方法和系统
CN107547653A (zh) * 2017-09-11 2018-01-05 华北水利水电大学 一种分布式文件存储系统
CN108377363A (zh) * 2018-02-07 2018-08-07 特斯联（北京）科技有限公司 一种基于事件触发的监控视频获取方法
US20190188314A1 (en) * 2017-12-20 2019-06-20 Roku, Inc Mass insertion into single-threaded databases
CN110491478A (zh) * 2019-08-22 2019-11-22 中电健康云科技有限公司 一种基于ceph的影像文件分布式储存系统及其实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130100623A (ko) * 2012-03-02 2013-09-11 오민수 고객 관리 프로그램의 구현
CN106445403A (zh) * 2015-08-11 2017-02-22 张凡 针对海量数据成对存储的分布式存储方法和系统
CN105978949A (zh) * 2016-04-27 2016-09-28 乐视控股（北京）有限公司 离线数据上传方法及装置
CN107547653A (zh) * 2017-09-11 2018-01-05 华北水利水电大学 一种分布式文件存储系统
US20190188314A1 (en) * 2017-12-20 2019-06-20 Roku, Inc Mass insertion into single-threaded databases
CN108377363A (zh) * 2018-02-07 2018-08-07 特斯联（北京）科技有限公司 一种基于事件触发的监控视频获取方法
CN110491478A (zh) * 2019-08-22 2019-11-22 中电健康云科技有限公司 一种基于ceph的影像文件分布式储存系统及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BGBIAO: "开源分布式对象存储-MinIO", 《知乎（HTTPS://ZHUANLAN.ZHIHU.COM/P/103803549)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986850A (zh) * 2021-10-27 2022-01-28 北京天宇威视科技股份有限公司 电子卷宗的存储方法、装置、设备和计算机可读存储介质
CN115496749A (zh) * 2022-11-14 2022-12-20 江苏智云天工科技有限公司 基于目标检测训练预处理的产品缺陷检测方法及系统
CN115496749B (zh) * 2022-11-14 2023-01-31 江苏智云天工科技有限公司 基于目标检测训练预处理的产品缺陷检测方法及系统

Also Published As

Publication number Publication date
CN112579567B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US11941017B2 (en) Event driven extract, transform, load (ETL) processing
Jensen et al. Time series management systems: A survey
JP6412632B2 (ja) バックアップシステムからのデータベースのストリーミング復元
EP3602341B1 (en) Data replication system
US10684990B2 (en) Reconstructing distributed cached data for retrieval
US11507594B2 (en) Bulk data distribution system
CN111400326B (zh) 一种智慧城市数据管理系统及其方法
US8555018B1 (en) Techniques for storing data
US7930143B2 (en) Systems and methods for sensor-based computing
US8190562B2 (en) Linking framework for information technology management
CN109690524A (zh) 分布式事件处理系统中的数据序列化
CN110300963A (zh) 大规模数据储存库中的数据管理系统
CN107835983A (zh) 使用一致的数据库快照在分布式数据库中进行备份和还原
CN106104526A (zh) 半结构化数据模式的透明发现
EP2780834A1 (en) Data processing service
CN112579567B (zh) 一种基于MinIO工业质检文件分布式存储方法
CN109308329A (zh) 一种基于云平台的日志收集方法和装置
CN104899274B (zh) 一种内存数据库高效远程访问方法
US20140229435A1 (en) In-memory real-time synchronized database system and method
CN117149873A (zh) 一种基于流批一体化的数据湖服务平台构建方法
US11256713B2 (en) Virtual transaction queues for database replication
CN114443599A (zh) 数据同步方法、装置、电子设备及存储介质
US20130007040A1 (en) Distributed requests on remote data
Wang Activating Big Data at Scale
US11562027B1 (en) Self-service data provisioning system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant