CN110704192A - 一种多元化数据云存储方法及系统 - Google Patents

一种多元化数据云存储方法及系统 Download PDF

Info

Publication number
CN110704192A
CN110704192A CN201910940650.7A CN201910940650A CN110704192A CN 110704192 A CN110704192 A CN 110704192A CN 201910940650 A CN201910940650 A CN 201910940650A CN 110704192 A CN110704192 A CN 110704192A
Authority
CN
China
Prior art keywords
module
data
command
service
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910940650.7A
Other languages
English (en)
Inventor
张福强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tibet ningsuan Technology Group Co.,Ltd.
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201910940650.7A priority Critical patent/CN110704192A/zh
Publication of CN110704192A publication Critical patent/CN110704192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种多元化数据云存储方法及系统，包括以下步骤，用户通过应用模块下发命令至负载均衡信息模块；所述负载均衡信息模块根据负载均衡策略选择一台安装了数据处理模块的服务器，并将下发命令至所述服务器；所述数据处理模块接收并处理下发的命令，将命令转换能够数据存储模块能够识别的指令并发送给所述数据存储模块；所述数据存储模块接收指令并根据指令要求对数据进行操作。本发明的有益效果：用户只需要掌握本专利发明对外暴露的命令格式，无需开发者运维，服务提供商将此能力集成到服务器上进行，减少开发工作量。

Description

一种多元化数据云存储方法及系统
技术领域
本发明涉及云存储的技术领域，尤其涉及一种多元化数据云存储方法及系统。
背景技术
云存储是一种网上在线存储的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。现有的云存储技术，是通过将数据库架设在云端，向用户提供数据或图片文件的存储服务。例如在云端搭建一个文件系统服务，提供给用户存储文件。
传统的云存储技术只能实现一些单一数据类型的数据存储能力，比如只存储结构化数据、只存储音视频文件。用户若想要使用检索功能，就需要再购买一台具备检索能力的服务器，需要自己做额外搭建服务实现存储数据库和检索数据库的数据同步等问题。此外传统的云存储技术开发上复杂，学习成本高，需要用户单独学习多种存储数据库，增加了用户的工作量。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提供一种多元化数据云存储方法，能够满足用户多数据类型的存储需求，同时只暴露一种格式的命令，使用户无需花费过多时间学习，减少工作量。
为解决上述技术问题，本发明提供如下技术方案：一种多元化数据云存储方法，包括以下步骤，用户通过应用模块下发命令至负载均衡信息模块；所述负载均衡信息模块根据负载均衡策略选择一台安装了数据处理模块的服务器，并将下发命令至所述服务器；所述数据处理模块接收并处理下发的命令，将命令转换能够数据存储模块能够识别的指令并发送给所述数据存储模块；所述数据存储模块接收指令并根据指令要求对数据进行操作。
作为本发明所述的多元化数据云存储方法的一种优选方案，其中：还包括以下步骤，服务监控模块对数据处理模块和数据存储模块进行监视，所述服务监控模块能够定时给数据处理模块和数据存储模块发送心跳，检查服务的健康情况。
作为本发明所述的多元化数据云存储方法的一种优选方案，其中：所述负载均衡信息模块利用zookeeper服务框架实现，包括以下步骤，在服务器上搭建搭建zookeeper服务；zookeeper服务上创建节点，用于存储数据处理模块的服务信息。
作为本发明所述的多元化数据云存储方法的一种优选方案，其中：所述应用模块为软件开发工具包，用户能够通过应用模块下发存储数据、更新数据、删除数据、查询数据的命令；应用模块与负载均衡信息模块相连接，且能够监听负载均衡信息模块从而实时获取可用的数据处理模块的连接信息和各服务器上数据处理模块的使用情况。
作为本发明所述的多元化数据云存储方法的一种优选方案，其中：所述数据处理模块接收并处理下发的命令还包括以下步骤，命令接收模块接收下发的命令，并传输给命令解析模块；命令解析模块根据命令模板对命令进行解析，识别用户的意图，并根据意图将命令转换成数据存储模块能够识别的指令；命令解析模块将指令传输给分发执行模块，并由分发执行模块分发给数据存储模块。
作为本发明所述的多元化数据云存储方法的一种优选方案，其中：所述数据存储模块的构建包括以下步骤，基于Mongodb搭建数据存储服务；基于Minio搭建对象存储服务；基于ElasticSearch搭建检索服务。
作为本发明所述的多元化数据云存储方法的一种优选方案，其中：所述服务监控模块对数据处理模块的监视采用远程过程调用协议进行，数据处理模块提供功能函数用于返回其状态信息。
作为本发明所述的多元化数据云存储方法的一种优选方案，其中：所述服务监控模块对数据存储模块的监视包括以下步骤，检查数据存储服务的健康状态，连接Mongodb并定时Ping此Mongodb；检查对象存储服务的健康状态，连接Minio并定时查看Buckets服务是否可用；检查检索服务的健康状态，连接ElasticSearch并定时进行es.Info查看es的信息。
本发明解决另一个的技术问题是：提供一种多元化数据云存储系统，实现多数据类型的存储，同时无需开发者运维，减少开发的工作量。
为解决上述技术问题，本发明提供如下技术方案：一种多元化数据云存储系统，包括，应用模块，所述应用模块为软件开发工具包，能够实现数据的存储、更新、删除和查询数据功能；负载均衡信息模块，所述负载均衡信息模块能够接收所述应用模块下发的命令并进行分发；数据处理模块，所述数据处理模块包括命令接收模块、命令解析模块和分发执行模块，能够解析所述应用模块的命令，识别其意图，并转换成数据存储模块能够识别的指令、下发给数据存储模块；服务器，所述数据处理模块安装于所述服务器内；数据存储模块，所述数据存储模块能够接收所述数据处理模块下发的指令，并根据指令要求对数据做更新、插入、删除、修改操作。
作为本发明所述的多元化数据云存储系统的一种优选方案，其中：服务监控模块，所述服务监控模块能够监视数据处理模块和数据存储模块的状态，定时给这两个模块发送心跳，并检查服务的健康情况。
本发明的有益效果：能够满足用户多数据类型的存储，用户可以同时存储结构化数据、音视频文件，此外，还能同时满足用户的全文检索的能力、图关系查找能力。对用户只暴露一种格式的命令，因此用户无需花费过多时间学习，只需要掌握本发明服务提供的命令即可。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述多元化数据云存储方法的整体流程结构示意图；
图2为本发明第一种实施例所述多元化数据云存储方法的服务架构图；
图3为本发明第一种实施例所述多元化数据云存储方法的远程过程调用流程；
图4为本发明第二种实施例所述多元化数据云存储系统的整体结构示意图；
图5为本发明第二种实施例所述多元化数据云存储系统的服务部署架构图；
图6为传统的开发架构示意图；
图7为采用本发明方法的开发架构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1的示意，为本实施例提供的一种多元化数据云存储方法，相对于现有的云存储技术面临的只能实现单一数据类型的数据存储能力，需要自己做额外搭建服务实现存储数据库和检索数据库，开发上复杂，学习成本高，需要单独学习多种存储数据库等问题，本实施例中提供的多元化数据云存储方法则能够满足用户多数据类型的存储、全文检索的能力和图关系查找能力，并且只暴露一种格式的命令，因此用户无需花费过多时间学习。具体的，该方法包括以下步骤，
用户通过应用模块100下发命令至负载均衡信息模块200；
负载均衡信息模块200根据负载均衡策略选择一台安装了数据处理模块300的服务器400，并将下发命令至服务器400；
数据处理模块300接收并处理下发的命令，将命令转换能够数据存储模块500能够识别的指令并发送给数据存储模块500；
数据存储模块500接收指令并根据指令要求对数据进行操作；
服务监控模块600对数据处理模块300和数据存储模块500进行监视，服务监控模块600能够定时给数据处理模块300和数据存储模块500发送心跳，检查服务的健康情况。
其中，负载均衡信息模块200利用zookeeper服务框架实现，包括以下步骤，
在服务器400上搭建zookeeper服务。具体的，下载zookeeper安装包并上传至服务器400上，解压安装包，并将conf目录下zoo_sample.cfg配置文件修改为zoo.conf，执行./zkServer.sh start即可启动zookeeper服务，完成zookeeper服务在服务器400上的搭建。
zookeeper服务上创建节点，用于存储数据处理模块300的服务信息。具体的，在zookeeper上创建一个节点，命名为node_100，node_100节点存储数据处理模块300的服务信息，包括数据处理模块300所在服务器400的连接信息以及数据处理模块300所在服务器的使用情况，即数据处理模块300所在的服务器在历史上总共被访问了多少次。
应用模块100为软件开发工具包，用户将此软件开发工具包集成到自己的系统中，从而实现下发存储数据、更新数据、删除数据、查询数据的命令；应用模块100与负载均衡信息模块200相连接，且能够监听负载均衡信息模块200从而实时获取可用的数据处理模块300的连接信息和各服务器上数据处理模块300的使用情况。
具体的，应用模块100与负载均衡信息模块200相连接，本实施例中的连接采用golang语言，通过监听负载均衡信息模块200上节点的node_100，从而动态实时的获取到数据处理模块300的服务信息，其监听包括以下步骤，
应用模块100连接zookeeper：
Figure BDA0002222809420000061
监听node_100节点：
Option:＝zk.WithEventCallback(callbackFunction)
其中，callbackFunction是一个自定义Function函数，用于接收节点信息变更并对变更做出处理的功能函数。
通过监听，应用模块100获取到的数据处理模块300的服务信息包括但不限于服务器ip、端口port、历史访问次数和功能，获取信息的示例如下：
服务器ip 端口port 历史访问次数 功能
192.168.0.1 9090 20 readName；updateName；
应用模块100下发命令至负载均衡信息模块200，负载均衡信息模块200根据负载均衡策略选择一台安装了数据处理模块300的服务器400，并将下发命令至服务器400。具体的，包括以下步骤，
应用模块100监听负载均衡信息模块200，从而获取到可用的数据处理模块300的所在服务器400连接信息，采用负载均衡策略，如轮询的策略，计算出被访问最少的部署数据处理模块300的服务器400信息。
应用模块100根据计算出的被访问最少的部署数据处理模块300的服务器400信息，将命令传输给该服务器400进行处理。其中，传输协议可采用RPC协议，RPC协议是一个远程过程调用协议，可以采用socket的通信方式从客户端调用服务器运行服务器上的一个功能函数并返回结果给客户端。应用模块100和数据处理模块300，两者之间通信可以采用gRPC框架，这两个模块都得集成gRPC框架的代码，实现模块之间的通信；gRPC是一个高性能、开源和通用的RPC框架，面向移动和HTTP/2设计。由于应用模块100与负载均衡信息模块200采用golang语言连接，因此此处使用golang版本的框架grpc-go。
数据处理模块300接收到应用模块100下发的命令后，对其进行处理，数据处理模块300包括命令接收模块301、命令解析模块302和分发执行模块303，具体还包括以下步骤，
命令接收模块301接收下发的命令，并传输给命令解析模块302；命令接收模块301包含实现对应的接收功能函数，命名为Receive函数，Receive函数的功能是接收下发的命令，并将命令传输给命令解析模块302，传输方式采用golang的通道(channel)，通道是golang中用于协程之间通信的一种方式，命令接收模块301是golang中的一个协程，协程是golang开发语言中类似线程的并发模型。
命令解析模块302根据命令模板对命令进行解析，识别用户的意图，并根据意图将命令转换成数据存储模块500能够识别的指令；命令解析模块302接收到命令后，根据命令模板对命令进行解析从而识别用户的意图，并根据用户的意图将命令组装成一个或者多个数据存储模块500能够识别的命令，并传输给分发执行模块303，其中，命令模板需要自己预先设定。
命令解析模块302将指令传输给分发执行模块303，并由分发执行模块303分发给数据存储模块500；分发执行模块303接收到指令之后，对指令进行分发，例如结构化数据的指令分发给数据存储模块500中的Mongodb，文件获取的指令分发给数据存储模块500中的Minio。
命令解析模块302将指令分发给数据存储模块500后，数据存储模块500能够接收指令并根据指令要求对数据进行操作。数据存储模块500的构建包括搭建数据存储服务、对象存储服务和检索服务，具体的，
基于Mongodb搭建数据存储服务；包括以下步骤，
下载Mongodb安装包并上传至服务器400上；
解压安装包，定义配置文件config.conf，设定配置文件中的参数：
bind_ip＝0.0.0.0
port＝21000
fork＝true
执行启动命令mongod-f./conf/config.conf，完成数据存储服务的搭建。
基于Minio搭建对象存储服务；包括以下步骤，
下载Minio安装包并上传至服务器400上，解压安装包；
更改文件权限，赋予可执行权限chmod+x minio；
启动服务./minio server/data，完成对象存储服务的搭建。
基于ElasticSearch搭建检索服务；包括以下步骤，
下载ElasticSearch安装包并上传至服务器400上，解压安装包；
启动服务，运行bin/elasticsearch；
查看启动状态curl-X GET http://localhost:9200/，返回如下的信息即为启动成功：
Figure BDA0002222809420000081
数据存储模块500接收指令后，根据指令要求对数据进行操作，数据存储模块500执行完成命令之后，返回执行结果给数据处理模块300。
服务监控模块600能够对数据处理模块300和数据存储模块500进行监视，检查其健康情况。其中，
服务监控模块600对数据处理模块300的监视采用远程过程调用协议进行，数据处理模块300提供功能函数用于返回其状态信息。具体的，服务监控模块600可以采用RPC协议检查数据处理模块300的状态，数据处理模块300提供的功能函数命名为Status()，负责返回数据处理模块300的状态信息，其返回结果定义为result:＝struct{Ok int}{}。
由于数据存储模块500包括数据存储服务、对象存储服务和检索服务，因此服务监控模块600对数据存储模块500的监视分别包括对以上三个服务的健康状态检查，具体的，包括以下步骤，
检查数据存储服务的健康状态，连接Mongodb并定时Ping此Mongodb，示例如下：
Figure BDA0002222809420000091
检查对象存储服务的健康状态，连接Minio并定时查看Buckets服务是否可用，示例如下：
Figure BDA0002222809420000092
检查检索服务的健康状态，连接ElasticSearch并定时进行es.Info查看es的信息，示例如下：
Figure BDA0002222809420000093
场景一：
参照图6～7的对比，若用户开需要发一个具备存储数据、存储音视频文件的服务，并提供检索能力，则使用传统方法需要分别使用Mongodb、Minio、ElasticSearch的客户端集成到自己的开发服务中，传统的云存储方法将数据库架设在云端，只能实现一些单一数据类型的数据存储能力，若想要实现多种功能，需要自己额外搭建服务实现，还需要解决数据同步等问题，传统方法在开发上复杂，学习成本高，需要单独学习多种存储数据库；而参照本发明提供的多元化数据存储方法，能够满足用户多数据类型的存储，用户可以同时存储结构化数据、音视频文件，此外，还能同时满足用户的全文检索的能力、图关系查找能力。对我只暴露一种格式的命令，用户无需花费过多时间学习，只需要掌握本发明服务提供的命令即可。
具体的，参加以下表1的内容，当用户需要开发具备存储数据、存储音视频文件的服务，并提供检索能力的云存储服务时，使用传统方法和使用本发明提供的方法的对比，
表1：传统云存储方法与本专利方法在不同方面的对比
Figure BDA0002222809420000101
根据表1的对比可以看出，本发明提供的多元化数据云存储方法相对于传统的云存储方法，大大降低了用户的学习成本，减少了运维的压力，同时增加了开发效率，对于用户更加友好。
实施例2
参照图2的示意，示意为本实施例提出的一种多元化数据云存储系统，上述多元化数据云存储方法能够依托于该系统实现，该多元化数据云存储系统包括，应用模块100、负载均衡信息模块200、数据处理模块300、服务器400、数据存储模块500和服务监控模块600。
具体的，应用模块100为软件开发工具包，能够实现数据的存储、更新、删除和查询数据的功能，用户通过应用模块100下发命令。负载均衡信息模块200利用zookeeper服务框架实现，能够接收应用模块100下发的命令并进行分发。数据处理模块300包括命令接收模块301、命令解析模块302和分发执行模块303，分别能够解析应用模块100下发的命令、识别其意图并转换成数据存储模块500能够识别的指令、以及下发给数据存储模块500。服务器400是提供计算服务的设备，数据处理模块300安装于服务器400内。数据存储模块500能够接收数据处理模块300的分发执行模块303下发的指令，并根据指令要求对数据做更新、插入、删除、修改操作，数据存储模块500安装于服务器400内。服务监控模块600能够监视数据处理模块300和数据存储模块500的状态，定时给这两个模块发送心跳，并检查服务的健康情况。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种多元化数据云存储方法，其特征在于：包括以下步骤，
用户通过应用模块(100)下发命令至负载均衡信息模块(200)；
所述负载均衡信息模块(200)根据负载均衡策略选择一台安装了数据处理模块(300)的服务器(400)，并将下发命令至所述服务器(400)；
所述数据处理模块(300)接收并处理下发的命令，将命令转换能够数据存储模块(500)能够识别的指令并发送给所述数据存储模块(500)；
所述数据存储模块(500)接收指令并根据指令要求对数据进行操作。
2.如权利要求1所述的多元化数据云存储方法，其特征在于：还包括以下步骤，
服务监控模块(600)对数据处理模块(300)和数据存储模块(500)进行监视，所述服务监控模块(600)能够定时给数据处理模块(300)和数据存储模块(500)发送心跳，检查服务的健康情况。
3.如权利要求1或2所述的多元化数据云存储方法，其特征在于：所述负载均衡信息模块(200)利用zookeeper服务框架实现，包括以下步骤，
在服务器上搭建搭建zookeeper服务；
zookeeper服务上创建节点，用于存储数据处理模块(300)的服务信息。
4.如权利要求3所述的多元化数据云存储方法，其特征在于：所述应用模块(100)为软件开发工具包，用户能够通过应用模块(100)下发存储数据、更新数据、删除数据、查询数据的命令；
应用模块(100)与负载均衡信息模块(200)相连接，且能够监听负载均衡信息模块(200)从而实时获取可用的数据处理模块(300)的连接信息和各服务器上数据处理模块(300)的使用情况。
5.如权利要求1、2或4任一所述的多元化数据云存储方法，其特征在于：所述数据处理模块(300)接收并处理下发的命令还包括以下步骤，
命令接收模块(301)接收下发的命令，并传输给命令解析模块(302)；
命令解析模块(302)根据命令模板对命令进行解析，识别用户的意图，并根据意图将命令转换成数据存储模块(500)能够识别的指令；
命令解析模块(302)将指令传输给分发执行模块(303)，并由分发执行模块(303)分发给数据存储模块(500)。
6.如权利要求5所述的多元化数据云存储方法，其特征在于：所述数据存储模块(500)的构建包括以下步骤，
基于Mongodb搭建数据存储服务；
基于Minio搭建对象存储服务；
基于ElasticSearch搭建检索服务。
7.如权利要求6所述的多元化数据云存储方法，其特征在于：所述服务监控模块(600)对数据处理模块(300)的监视采用远程过程调用协议进行，数据处理模块(300)提供功能函数用于返回其状态信息。
8.如权利要求6或7所述的多元化数据云存储方法，其特征在于：所述服务监控模块(600)对数据存储模块(500)的监视包括以下步骤，
检查数据存储服务的健康状态，连接Mongodb并定时Ping此Mongodb；
检查对象存储服务的健康状态，连接Minio并定时查看Buckets服务是否可用；
检查检索服务的健康状态，连接ElasticSearch并定时进行es.Info查看es的信息。
9.一种多元化数据云存储系统，其特征在于：包括，
应用模块(100)，所述应用模块(100)为软件开发工具包，能够实现数据的存储、更新、删除和查询数据功能；
负载均衡信息模块(200)，所述负载均衡信息模块(200)能够接收所述应用模块(100)下发的命令并进行分发；
数据处理模块(300)，所述数据处理模块(300)包括命令接收模块(301)、命令解析模块(302)和分发执行模块(303)，能够解析所述应用模块(100)的命令，识别其意图，并转换成数据存储模块(500)能够识别的指令、下发给数据存储模块(500)；
服务器(400)，所述数据处理模块(300)安装于所述服务器(400)内；
数据存储模块(500)，所述数据存储模块(500)能够接收所述数据处理模块(300)下发的指令，并根据指令要求对数据做更新、插入、删除、修改操作。
10.如权利要求9所述的多元化数据云存储系统，其特征在于：服务监控模块(600)，所述服务监控模块(600)能够监视数据处理模块(300)和数据存储模块(500)的状态，定时给这两个模块发送心跳，并检查服务的健康情况。
CN201910940650.7A 2019-09-30 2019-09-30 一种多元化数据云存储方法及系统 Pending CN110704192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910940650.7A CN110704192A (zh) 2019-09-30 2019-09-30 一种多元化数据云存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910940650.7A CN110704192A (zh) 2019-09-30 2019-09-30 一种多元化数据云存储方法及系统

Publications (1)

Publication Number Publication Date
CN110704192A true CN110704192A (zh) 2020-01-17

Family

ID=69196808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910940650.7A Pending CN110704192A (zh) 2019-09-30 2019-09-30 一种多元化数据云存储方法及系统

Country Status (1)

Country Link
CN (1) CN110704192A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104726A (zh) * 2020-09-09 2020-12-18 上海微亿智造科技有限公司 一种工业物联网对象存储实时监测系统
CN112558880A (zh) * 2020-12-17 2021-03-26 湖南工程学院 一种适用于云平台大数据的辅助决策方法及系统
CN113986850A (zh) * 2021-10-27 2022-01-28 北京天宇威视科技股份有限公司 电子卷宗的存储方法、装置、设备和计算机可读存储介质
CN114265903A (zh) * 2021-12-28 2022-04-01 政和科技股份有限公司 一种数据收集和分发系统及工作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237046A (zh) * 2013-02-25 2013-08-07 中国科学院深圳先进技术研究院 支持混合云存储应用的分布式文件系统及实现方法
CN103312791A (zh) * 2013-05-24 2013-09-18 上海和伍新材料科技有限公司 物联网异构数据存储方法及系统
CN103559247A (zh) * 2013-10-29 2014-02-05 北京华胜天成科技股份有限公司 一种数据业务处理方法及装置
CN105930506A (zh) * 2016-05-10 2016-09-07 乐视控股（北京）有限公司 对象检索方法和对象存储系统
CN106599111A (zh) * 2016-11-30 2017-04-26 上海斐讯数据通信技术有限公司 一种数据管理方法及存储系统
WO2019085780A1 (zh) * 2017-10-31 2019-05-09 阿里巴巴集团控股有限公司 一种云存储系统及用于云存储系统中实现自定义数据处理的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237046A (zh) * 2013-02-25 2013-08-07 中国科学院深圳先进技术研究院 支持混合云存储应用的分布式文件系统及实现方法
CN103312791A (zh) * 2013-05-24 2013-09-18 上海和伍新材料科技有限公司 物联网异构数据存储方法及系统
CN103559247A (zh) * 2013-10-29 2014-02-05 北京华胜天成科技股份有限公司 一种数据业务处理方法及装置
CN105930506A (zh) * 2016-05-10 2016-09-07 乐视控股（北京）有限公司 对象检索方法和对象存储系统
CN106599111A (zh) * 2016-11-30 2017-04-26 上海斐讯数据通信技术有限公司 一种数据管理方法及存储系统
WO2019085780A1 (zh) * 2017-10-31 2019-05-09 阿里巴巴集团控股有限公司 一种云存储系统及用于云存储系统中实现自定义数据处理的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104726A (zh) * 2020-09-09 2020-12-18 上海微亿智造科技有限公司 一种工业物联网对象存储实时监测系统
CN112558880A (zh) * 2020-12-17 2021-03-26 湖南工程学院 一种适用于云平台大数据的辅助决策方法及系统
CN113986850A (zh) * 2021-10-27 2022-01-28 北京天宇威视科技股份有限公司 电子卷宗的存储方法、装置、设备和计算机可读存储介质
CN114265903A (zh) * 2021-12-28 2022-04-01 政和科技股份有限公司 一种数据收集和分发系统及工作方法
CN114265903B (zh) * 2021-12-28 2024-04-30 政和科技股份有限公司 一种数据收集和分发系统及工作方法

Similar Documents

Publication Publication Date Title
CN110704192A (zh) 一种多元化数据云存储方法及系统
US7076543B1 (en) Method and apparatus for collecting, aggregating and monitoring network management information
US9491079B2 (en) Remote monitoring and controlling of network utilization
WO2019056913A1 (zh) 一种容器登录方法、装置及存储介质
US20120323941A1 (en) Processing Queries for Event Data in a Foreign Representation
CN109547524B (zh) 基于物联网的用户行为存储方法、装置、设备及存储介质
KR102328938B1 (ko) 전자 시스템들에서의 로그 데이터의 관리
US20100235493A1 (en) Extendable distributed network management system and method
CN110297862B (zh) 数据库访问方法及数据库访问中间件
CN110858192A (zh) 一种日志查询方法和系统、日志排查系统和查询终端
CN112732663A (zh) 一种日志信息处理方法及装置
CN112817539A (zh) 一种工业数据存储方法、系统、电子设备及存储介质
CN114185734B (zh) 一种监控集群的方法、装置及电子设备
CN115543538A (zh) 一种面向物联网的机器学习容器镜像下载系统及其方法
CN115102960A (zh) 一种基于伸缩部署的企业物联管理系统
CN113127526A (zh) 一种基于Kubernetes的分布式数据存储和检索系统
CN113472637A (zh) 一种lora网关
CN101572624B (zh) 一种跨平台跨方法的snmp扩展mib实现方法
CN111953567A (zh) 一种配置多集群管理软件参数的方法、系统、设备及介质
CN114969199A (zh) 遥感数据的处理方法、装置、系统以及存储介质
CN113312174A (zh) 一种信息查询方法、装置、电子设备及容器管理系统
KR101235199B1 (ko) 웹기술을 이용하여 저성능 원격지 장치를 제어하기 위한 인터페이스 구축 시스템 및 그 방법
CN111858260A (zh) 信息显示方法、装置、设备及介质
CN111813621A (zh) 基于Flume数据中台的数据处理方法、装置、设备及介质
US20150372892A1 (en) Embedded Performance Monitoring of a DBMS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210207

Address after: 11 / F, Liuwu building, Liuwu New District, Lhasa City, Tibet Autonomous Region, 850000

Applicant after: Tibet ningsuan Technology Group Co.,Ltd.

Address before: Building C4, No.55 Liyuan South Road, moling street, Nanjing, Jiangsu Province

Applicant before: DILU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication