CN113760840A - 一种数据处理方法、系统、设备及计算机存储介质 - Google Patents

一种数据处理方法、系统、设备及计算机存储介质 Download PDF

Info

Publication number
CN113760840A
CN113760840A CN202010486788.7A CN202010486788A CN113760840A CN 113760840 A CN113760840 A CN 113760840A CN 202010486788 A CN202010486788 A CN 202010486788A CN 113760840 A CN113760840 A CN 113760840A
Authority
CN
China
Prior art keywords
node
data
data request
object data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010486788.7A
Other languages
English (en)
Other versions
CN113760840B (zh
Inventor
余礼杨
张绍文
吕舒华
刘鸿
李可飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010486788.7A priority Critical patent/CN113760840B/zh
Publication of CN113760840A publication Critical patent/CN113760840A/zh
Application granted granted Critical
Publication of CN113760840B publication Critical patent/CN113760840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本申请公开了一种数据处理方法，该方法包括：检测到第一数据请求时，获取第一数值；其中，第一数值，用于表示为第一节点设置的数据处理速度；第一节点，用于表示与第一数据请求对应的用于实现对象数据存储的节点；当检测到对象数据开始传输时，控制第二节点基于第一数值，对第一节点的对象数据的处理速度进行管理；第二节点，用于表示对对象数据的处理速度进行管理的节点。本申请还公开了一种数据处理系统、设备和计算机可读存储介质。本申请所提供的数据处理方法，解决了相关技术中Ceph系统的对象网关(Rados Gateway，RGW)无法管理对象数据处理速度的问题，缓解了Ceph系统中用户的对象数据请求可能被阻塞的情况。

Description

一种数据处理方法、系统、设备及计算机存储介质
技术领域
本申请涉及电子信息技术领域，尤其涉及一种数据处理方法、系统、设备以及计算机可读存储介质。
背景技术
分布式文件存储系统Ceph，是一种被广泛采用的、可自动重均衡、可自动恢复的分布式文件存储系统，其能够提供块设备存储、文件系统存储和对象存储功能，其中，Ceph可以通过其对象网关(Rados Gateway，RGW)提供的对象存储接口，针对以对象形式存储的能够通过GET、PUT、DEL和其他扩展指令的对象数据，为用户提供方便快捷的对象数据操作。
在Ceph系统提供的以上几种存储功能中，块设备存储具有优异的存储性能但不具有共享性；而文件系统存储虽然具有共享性，但其存储性能较快存储设备差；对象存储的数据组织相对简单，在Ceph系统中，所有的对象数据均存储在桶(Bucket)中，对客户端而言，只有Bucket和对象数据两个层次，并且，对象存储均衡了块存储良好的存储性能和文件系统的良好的共享性，对象数据的操作也比较简单，因而得到了广泛的应用。
然而，由于Ceph系统中的RGW并不具备对象数据处理的速度管理功能，当某个或某些用户发起大量的对象数据请求操作时，这些请求对应的对象数据处理可能会占用Ceph的大部分甚至全部带宽，从而导致其他用户再发起对象数据处理请求时，Ceph系统无法为这些用户的对象数据处理请求分配足够的对象数据处理带宽，进而导致这些用户的对象数据处理请求被阻塞。
发明内容
本申请提供了一种数据处理方法，可以解决相关技术中Ceph系统的RGW无法管理对象数据处理速度的问题，进而降低了Ceph系统中用户的对象数据请求可能被阻塞的风险。
本申请所提供的技术方案是这样的：
一种数据处理方法，所述方法包括：
检测到第一数据请求时，获取第一数值；其中，所述第一数值，用于表示为第一节点设置的数据处理速度；所述第一节点，用于表示与所述第一数据请求对应的用于实现对象数据存储的节点；
当检测到所述对象数据开始传输时，控制第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理；其中，所述第二节点，用于表示对所述对象数据的处理速度进行管理的节点。
可选的，所述检测到第一数据请求时，获取第一数值，包括：
当检测到所述第一数据请求时，控制第三节点检测所述第一节点的第一属性，得到所述第一数值；其中，所述第一属性，用于表示所述第一节点对所述对象数据的处理速度进行管理的属性；所述第三节点，用于表示对所述第一节点的所述对象数据处理的网关节点。
可选的，所述方法还包括：
基于所述第一数值和所述第一数据请求，得到第二数据请求；其中，所述第二数据请求，用于表示与所述第一数据请求对应的、携带有对对象数据的处理速度进行管理的数据请求。
可选的，所述基于所述第一数值和所述第一数据请求，得到第二数据请求，包括：
基于所述第一数值和所述第一数据请求、以及所述第一数值与预设数值的关系，得到所述第二数据请求；其中，所述预设数值，用于表示预先设定的对象数据处理速度。
可选的，所述基于所述第一数值和所述第一数据请求，得到第二数据请求，包括：
加密所述第一数值；
基于所述第一数据请求和加密之后的所述第一数值，得到所述第二数据请求。
可选的，所述方法还包括：
控制第三节点将所述第二数据请求发送至所述第二节点；其中，所述第三节点，用于表示对所述第一节点的所述对象数据处理的网关节点。
可选的，所述方法还包括：
当检测到所述第二数据请求到达所述第二节点后，控制所述第二节点基于所述第二数据请求，执行解密操作，获取所述第一数值。
可选的，所述控制所述第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理，包括：
控制所述第二节点将第二属性设置为所述第一数值；其中，所述第二属性，用于表示所述第二节点对所述对象数据的处理速度进行管理的属性。
控制所述第二节点基于第二属性，对所述第一节点的所述对象数据的处理速度进行管理。
一种数据处理系统，所述系统包括：处理器、存储器和通信总线；其中，所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中的数据处理方法的程序，以实现以下步骤：
检测到第一数据请求时，获取第一数值；其中，所述第一数值，用于表示为第一节点设置的第一数据传输速度；所述第一节点，用于表示与所述数据请求对应的用于实现对象数据存储的节点；
当检测到所述对象数据开始传输时，控制第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理；其中，所述第二节点，用于表示对所述对象数据的处理速度进行管理的节点。
一种数据处理设备，所述设备包括：获取模块和控制模块；其中，
所述获取模块，用于检测到第一数据请求时，获取第一数值；其中，所述第一数值，用于表示为第一节点设置的第一数据传输速度；所述第一节点，用于表示与所述数据请求对应的用于实现对象数据存储的节点；
所述控制模块，用于当检测到所述对象数据开始传输时，控制第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理；其中，所述第二节点，用于表示对所述对象数据的处理速度进行管理的节点。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如前所述的任一数据处理方法的步骤。
本申请所提供的数据处理方法，当检测到第一数据请求时，才获取第一数据请求对应的用于实现对象数据存储的节点即第一节点的数据处理速度，由此，本申请提供的数据处理方法中，对对象数据的处理速度的管理，与实时检测到的第一数据请求相对应；并且，获取到的第一数值，用于在检测到对象数据开始传输时，控制第二节点对第一节点的对象数据的处理速度进行管理，由此实现了与第一数据请求对应的对象数据开始传输时，就能够同步对对象数据的处理速度进行管理，从而实现了Ceph系统中对象数据处理速度的实时监控和管理，进而降低了Ceph系统中新的对象数据请求可能被阻塞的风险。
与此同时，在本申请提供的数据处理方法中，在检测到第一数据请求时，控制表示对第一节点的对象数据处理的网关节点即第三节点，检测第一节点的第一属性，得到为第一节点设置的数据处理速度的第一数值。由此，本申请提供的数据处理方法中，对第一数值的获取操作，是在检测到第一数据请求时才执行的，并且，第一数值，是与第一数据请求对应的用于实现对象存储节点的数据处理速度，从而使得后续第二节点对对象数据的处理速度的管理，更加精准。
在本申请提供的数据处理方法中，在获取到第一数值之后，可以基于第一数值以及第一数据请求，得到与第一数据请求对应的、携带有对对象数据处理速度进行管理的数据请求的第二数据请求，由此，本申请提供的数据处理方法得到的第二数据请求中，携带有对应的对象数据处理速度管理的信息，从而为后续对象数据的处理速度管理奠定了基础。
在本申请提供的数据处理方法中，第二数据请求，可以是基于第一数值、第一数据请求，以及第一数值与表示预先设定的对象数据处理速度的预设数值得到的，也就是说，本申请提供的数据处理方法中，第二数据请求的得到过程，可以基于能够调整的预设数值进行，从而使得后续对第二数据请求对应的对象数据处理速度的管理，灵活性更好。
在本申请提供的数据处理方法中，第二数据请求中携带的表示为第一节点设置的数据处理速度信息，是经过加密的第一数值，由此，本申请提供的数据处理方法的第二数据请求中，携带的数据处理速度信息，安全性更强，从而使得后续对对象数据的处理速度的管理更加安全稳定。
在本申请提供的数据处理方法中，在得到第二数据请求之后，还能够通过对对象数据处理的网关节点即第三节点，将第二数据请求发送至对象数据的处理速度进行管理的节点即第二节点，由此，本申请实施例提供的数据处理方法中，对对象数据的处理速度进行管理的节点，与对数据请求进行路由的节点之间，是相互独立的，因而，降低了对网关节点的压力，也使得对对象数据的处理速度的管控，更加灵活。
附图说明
图1为相关技术中Ceph系统对象数据处理的架构示意图；
图2为本申请提供的第一种数据处理方法的流程示意图；
图3为本申请提供的第二种数据处理方法的流程示意图；
图4为本申请提供的数据处理方法具体实现的流程示意图；
图5为本申请提供的一种数据处理系统的结构示意图；
图6为本申请提供的一种数据处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请提供的数据处理方法，涉及电子信息技术领域，尤其涉及一种数据处理方法、系统、设备以及计算机可读存储介质。
图1为Ceph系统的对象存储的架构图。在图1所示的Ceph系统的对象存储服务架构中，包括由存储型机器组成的对象存储进程集群(Object Storage Daemon，OSD)、由3-5台管理型机器组成的监控进程集群(Monitor Daemon，Mon)、RGW集群。
在图1中，RGW集群中的每一RGW，用于向客户端的应用程序提供访问界面、向用户提供各种架构约束条件和原则的应用程序接口(Representational State TransferApplication Programming Interface，RESTful API)，比如S3接口和Swift接口，此外，Ceph系统还能够进行高可用和负载均衡处理，从而保证Ceph系统中对象数据处理的稳定性和高效性。
在图1中，Mon集群负责监控整个Ceph系统，并且维护Ceph系统中各个集群的健康状态。
在图1中，OSD集群，主要用于存储数据，还用于处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD守护进程的心跳来向Mon集群提供监控信息。
在图1中，Ceph系统的负载均衡，可以通过keepalived来实现，其中，keepalived是集群管理中保证集群高可用的一个服务软件，用来处理单点故障。
在图1中，Ceph系统的高可用，可以通过负载均衡的Linux虚拟服务器(LinuxVirtual Server，LVS)来实现，其中，LVS是一个虚拟的服务器集群系统，专门用作负载均衡。
在相关技术中，Ceph系统的RGW不具备对象数据传输速度的管理功能，也就是说，RGW无法对用户对象数据请求对应的对象数据处理的速度进行管理，因而，容易出现用户请求抢占Ceph系统资源比如系统带宽的现象。比如，当某个用户在短时间内发起大量的对象数据的处理请求，RGW就会为这些请求分配OSD集群中硬件设备支持的稳定数据处理速率同等的带宽，在RGW将Ceph的带宽资源分配殆尽的情况下，当其他用户再发起对象数据请求时，Ceph系统无法为这些新的对象数据请求分配带宽资源，因而会出现卡顿、等待时间过久甚至Ceph系统彻底无法响应的问题。
在此基础上，由于RGW不具备对象数据处理的速度管理功能，也就无法区分使用Ceph系统的付费用户和普通用户的服务质量，比如对于付费客户，无法为其提供较宽的带宽，从而保证客户的下载速率，而对普通用户而言，也无法为其分配较窄的带宽，从而导致用户体验较差。
更进一步地，在Ceph系统中，对象数据存储在Bucket中，对于一个付费用户而言，Ceph系统可以为其创建至少一个Bucket。比如，对一个付费用户A而言，Ceph系统为其创建了Bucket1，Bucket2，Bucket3，由于在一个Bucket中存储的是相同类型的对象数据，因此，付费用户A可能会希望其对不同的Bucket上存储的不同类型的对象数据，可以拥有不同的处理速度，比如Bucket1的对象数据的处理速度可以是S1，Bucket2的对象数据的处理速度可以是S2，而Bucket3的对象数据的处理速度可以是S3，并且S1、S2、S3可以是各不相同的、大于0的数据。而在相关技术中，Ceph系统无法实现以上Bucket级别的对象数据处理速度的管理。
为了解决Ceph系统的上述问题，本申请实施例提供了一种数据处理方法，该数据处理方法可以通过数据处理设备的处理器来实现。如图2所示，本申请实施例提供的数据处理方法，可以通过如下步骤来实现：
步骤101、检测到第一数据请求时，获取第一数值。
其中，第一数值，用于表示为第一节点设置的数据处理速度；第一节点，用于表示与第一数据请求对应的用于实现对象数据存储的节点。
在步骤101中，第一数据请求，可以是Ceph系统中检测到的数据请求。
在一种实施方式中，第一数据请求，可以是Ceph系统中检测到的针对对象数据的数据请求。
在一种实施方式中，第一数据请求，可以是Ceph系统中检测到的针对对象数据的、对对象数据执行读/写操作的数据请求。
在一种实施方式中，第一数据请求，可以是Ceph系统中检测到的针对对象数据的对象数据的查询、复制、删除等数据请求。
在步骤101中，第一节点，可以是Ceph系统中某一集群的节点。
在一种实施方式中，第一节点，可以是Ceph系统中存储数据的集群中的节点。
相应地，第一数值，可以是为Ceph系统中存储数据的集群中的节点设置的数据处理速度。
在一种实施方式中，第一节点，可以是Ceph系统的存储对象数据的集群中的节点。
相应地，第一数值，可以是为Ceph系统的存储对象数据的集群中节点设置的数据处理速度。
在一种实施方式中，第一节点，可以是Ceph系统中存储对象数据的集群中的至少一个节点。
相应地，在第一节点的个数为多个的情况下，第一数值，可以是为Ceph系统中存储对象数据的集群中的节点设置的多个数据处理速度，其中，上述多个数据处理速度中的每一数据处理速度，可以各不相同。
在一种实施方式中，第一节点，可以是Ceph系统中存储对象数据的至少一个Bucket设备节点。
相应地，第一数值，可以是为Ceph系统中存储对象数据的集群中的至少一个Bucket设备节点设置的至少一个数据处理速度，并且，当第一节点的个数为多个时，与多个第一节点对应的多个数据处理速度可以互不相同，也可以部分相同，其余部分不同，本申请实施例对此不作限定。
需要说明的是，在相关技术中，Ceph系统的Bucket中并不具备速度相关的属性，在本申请实施例中，对Ceph系统中的Bucket增加了用于限定速度的属性，以实现本申请实施例所提供的数据处理方法的方案。
在步骤101中，当检测到第一数据请求时，获取的第一数值，可以是为第一节点设置的数据处理速度；其中，第一节点，可以用于表示存储有与第一数据请求对应的对象数据存储的节点。
在一种实施方式中，当检测到多个第一数据请求时，可以获取多个第一数值，其中，多个第一数值，可以是为多个第一节点设置的多个数据处理速度，并且，多个数据处理速度，可以不同，也可以部分相同，其他部分不同。
步骤102、当检测到对象数据开始传输时，控制第二节点基于第一数值，对第一节点的对象数据的处理速度进行管理。
其中，第二节点，用于表示对对象数据的处理速度进行管理的节点。
在步骤102中，第二节点，可以是Ceph系统之外的、并且可以实现对对象的处理速度进行管理的设备节点。
在一种实施方式中，第二节点，可以是OpenResty。
其中，OpenResty，是基于Ngnix和Lua的高性能web平台，内部集成精良的Lua库、第三方模块以及各种依赖项。OpenResty用于搭建能够处理高并发、扩展性极高的动态web应用、web服务、动态网关，OpenResty可以使用Lua脚本调用Ngnix支持的C以及Lua模块，快速构建10K～1000K单机并发连接的高性能web应用系统。
相应地，步骤102，可以是当数据处理设备检测到对象数据开始传输时，控制OpenResty基于第一数值，对第一节点的对象数据的处理速度进行管理。
需要说明的是，上述处理器可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogic Device，PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。
因而，本申请实施例所提供的数据处理方法，当检测到第一数据请求时，才获取第一数据请求对应的用于实现对象数据存储的节点即第一节点的数据处理速度，并且，第一数值，用于在检测到对象数据开始传输时，控制第二节点对第一节点的对象数据的处理速度进行管理。由此，本申请实施例中对对象数据的处理速度的管理，与实时检测到的第一数据请求相对应，并且，当与第一数据请求对应的对象数据开始传输时，就对对象数据的处理速度进行管理，从而实现了Ceph系统中对象数据处理速度的实时监控和管理，进而降低了Ceph系统中新的对象数据请求可能被阻塞的风险。
基于前述实施例，本申请实施例提供了一种数据处理的方法，如图3所示，该方法包括以下步骤：
步骤201、当检测到第一数据请求时，控制第三节点检测第一节点的第一属性，得到第一数值。
其中，第一属性，用于表示第一节点对对象数据的处理速度进行管理的属性；第三节点，用于表示对第一节点的对象数据处理的网关节点。
在步骤201中，第三节点，可以是Ceph系统的某一集群中的节点。
在一种实施方式中，第三节点，可以是Ceph系统的RGW集群中的节点。
在一种实施方式中，第三节点，可以是Ceph系统的RGW集群中的一个或多个RGW。
在步骤201中，第一属性，可以是为第一节点设置的、用于表征第一节点的对象数据处理速度的属性。
在一种实施方式中，第一属性，可以是基于用户的类别、为第一节点设置的对象数据处理速度的属性，比如，RGW_ATTR_limit_rate属性。
可选的，用户的类别与第一节点的对象数据的处理速度之间具备关联关系，其中，用户的类别与第一节点的对象数据处理速度之间具有一对一、或者一对多的对应关系，即同一类别的用户对不同的第一节点可以设定相同或不同的对象数据处理速度，还可以为不同的第一节点设定相同或不同的对象数据处理速度。
示例性的，当第一节点为Ceph系统中的Bucket节点时，一个用户B所请求的对象数据可以存储在至少一个Bucket中。用户B可以与为N个Bucket设置的N个对象处理的速度对应，其中，N为大于或等于2的整数。
示例性的，Ceph系统可以在为用户B创建Bucket时，为Bucket的第一属性设置对应的对象数据的处理速度；还可以在用户B的类别满足一定类别要求的情况下，再为Bucket的第一属性设置对应的对象数据的处理速度，此时，Bucket创建时第一属性的初始值可以为0，或者，某一预设值。
示例性的，当数据处理设备控制第三节点检测第一节点的第一属性，得到的第一数值为预设数值时，可以用于表示数据处理设备对当前的第一数据处理请求对应的对象数据的处理速度不需要管理，针对该第一数据处理请求对应的对象数据的处理，可以按照相关技术中的Ceph系统的对象数据处理过程执行。
示例性的，步骤201之后，还可以执行步骤B1
步骤B1、基于第一数值和第一数据请求，得到第二数据请求。
其中，第二数据请求，用于表示与第一数据请求对应的、携带有对对象数据的处理速度进行管理的数据请求。
在步骤B1中，第二数据请求，可以是携带有第一数值的、与第一数据请求对应的，并且用于对第一数据请求对应的对象数据的处理速度进行管理的数据请求。
在一种实施方式中，第二数据请求，可以是携带有第一数值和第一属性检测结果，并且与第一数据请求对应的对象数据的处理速度进行管理的数据请求。
示例性的，步骤B1可以通过步骤C1来实现：
步骤C1、基于第一数值和第一数据请求、以及第一数值与预设数值的关系，得到第二数据请求。
其中，预设数值，用于表示Ceph系统预先设定的对象数据处理速度。
在步骤C1中，预设数值，可以是一个较小的数值，用于表示一个较低的对象数据处理速度。
示例性的，当数据处理设备控制第三节点检测第一节点的第一属性的得到的第一数值与预设数值不同时，表明数据处理设备对当前的第一数据处理请求对应的对象数据的处理速度需要进行管理。
可选的，第三节点基于第一数值与预设数值的不相等状态，还可以生成第一属性检测结果。
示例性的，当第一数值与预设数值相同时，表明数据处理设备对当前的第一数据处理请求对应的对象数据的处理速度不需要进行管理。
可选的，当第一数值与预设数值不同时，数据处理设备可以对当前的第一数据处理请求对应的对象数据的处理速度进行管理。
示例性的，当第一数值与预设数值不同时，数据处理设备对第一数据请求对应的对象数据的处理速度进行管理，包括：当第一数值小于预设数值时，可以将第一数据处理请求对应的对象数据的处理速度限制在一个较小的范围内，比如小于或者等于100K；而当第一数值大于预设数值时，可以将第一数据处理请求对应的对象数据的处理速度限制在一个较大的范围内。
示例性的，步骤B1中基于第一数值和第一数据请求，得到第二数据请求，可以通过步骤D1-步骤D2来实现：
步骤D1、加密第一数值。
在步骤D1中，加密第一数值，可以是使用加密算法对第一数值进行加密。
在一种实施方式中，可以是使用高级加密标准(Advanced EncryptionStandard，AES)对第一数值进行加密。
在一种实施方式中，可以是数据处理设备控制第三节点使用AES对第一数值进行加密。
在一种实施方式中，可以是数据处理设备将加密秘钥分配给第三节点，以供第三节点对第一数值进行加密。
在一种实施方式中，可以是数据处理设备随机生成加密秘钥，并将该加密秘钥发送至第三节点，以供第三节点对第一数值进行加密。
在一种实施方式中，可以是Ceph系统为第三节点中增加秘钥生成功能，以供第三节点根据第一数据处理请求，生成加密秘钥，并使用该加密秘钥对第一数据进行加密。
步骤D2、基于第一数据请求和加密之后的第一数值，得到第二数据请求。
在步骤D2执行之前，可以预先设定第一数据请求与加密之后的第一数值的组合算法。然后基于该组合算法，将第一数据请求和加密之后的第一数值进行组合，得到第二数据请求。
在一种实施方式中，数据处理设备根据第一数值加密之后的数据长度，在第一数据请求中预留一定的字节长度，并将加密之后的第一数值填充至第一数据请求中。
由此，第二数据请求中携带的第一数值相关的信息的安全性可以得到保障。也就是说，当第二数据请求被截获时，在未拥有解密秘钥的情况下，第二数据请求中携带的第一数值无法被篡改，从而增强了数据处理设备的对第一数据请求对应的对象数据的处理速度的管理的安全性。
在一种实施方式中，数据处理设备根据对第一数值的加密结果、第一属性检测结果以及第一数据请求，得到第二数据请求。
在一种实施方式中，数据处理设备，还可以控制第三节点对第一属性检测结果进行加密，并基于加密后的第一数值、加密后的第一属性检测结果以及第一数据请求，得到第二数据请求。其中，对第一属性检测结果的加密方法可以与第一数值的加密方法不同。
示例性的，步骤B1、步骤C1或步骤D2中生成第二数据请求之后，还可以执行步骤E1：
步骤E1、控制第三节点将第二数据请求发送至第二节点。
其中，第三节点，用于表示对第一节点的对象数据处理的网关节点。
示例性地，可以是数据处理设备控制第三节点将第二数据请求发送至第二节点。
在一种实施方式中，可以是Ceph系统控制第三节点将第二数据请求发送至第二节点。
在一种实施方式中，可以是Ceph系统控制RGW将第二数据请求发送至OpenResty。
示例性的，在步骤E1之后，还可以执行步骤F1：
步骤F1、当检测到第二数据请求到达第二节点后，控制第二节点基于第二数据请求，执行解密操作，获取第一数值。
示例性的，当数据处理设备检测到第二数据请求到达第二节点后，控制第二节点基于第二数据请求，执行解密操作，获取第一数值。
在一种实施方式中，第二节点基于第二数据请求，执行解密操作，获取第一数值之前，首先需要获取与第三节点对第一数值进行加密的加密秘钥对应的解密秘钥。示例性的，可以是数据处理设备将生成的解密秘钥发送至第二节点。
在一种实施方式中，第三节点在对第一数值进行加密之前，根据第一数据请求随机生成加密秘钥和解密秘钥，使用加密秘钥对第一数值进行加密，同时将解密秘钥发送至第二节点，以供第二节点在执行解密操作时使用。
在一种实施方式中，若第二数据请求中仅携带有加密之后的第一数值，则对加密之后的第一数值进行解密，获得第一数值。
在一种实施方式中，若第二数据请求中携带有加密后的第一属性检测结果时，还可以基于以上相同的方法，使得第二节点获取到对加密之后的第一属性检测结果的解密秘钥。
示例性的，当第二节点接收到第二数据请求时，分别对加密之后的第一属性检测结果和加密之后的第一数值进行解密，进而得到第一属性检测结果和第一数值。
在一种实施方式中，当OpenResty接收到第二数据请求时，分别对加密之后的第一属性检测结果和加密之后的第一数值进行解密，从而可以得到第一属性检测结果和第一数值。
步骤202、控制第二节点将第二属性设置为第一数值。其中，第二属性，用于表示第二节点对对象数据的处理速度进行管理的属性。
示例性的，当第二节点获取到第一数值之后，将其自身的第二属性设置为第一数值。
在一种实施方式中，当OpenResty获取到第一数值之后，将其自身的第二属性设置为第一数值。
在一种实施方式中，当OpenResty获取到第一数值之后，将其自身的第二属性即ngx.var.limit_rate设置为第一数值。
步骤203、控制第二节点基于第二属性，对第一节点的对象数据的处理速度进行管理。
示例性地，若第二数据请求中未携带加密之后的第一属性检测结果，第二节点基于其自身的第二属性赋值的第一数值，对第一节点的对象数据的处理速度进行管理。
示例性地，若第二数据请求中携带有加密之后的第一属性检测结果，第二节点首先检测第一属性检测结果与预设结果之间的匹配关系，当第一属性检测结果与预设结果匹配时，再基于第一数值对第一节点的对象数据的处理速度进行管理；若第一属性检测结果与预设结果不匹配，则说明当前数据处理设备系统异常，向客户端发送提示信息，提示用户再次尝试对象数据的请求操作。
示例性的，控制第二节点对第一节点的对象数据的处理速度进行管理，包括以下几种形式：
控制第二节点对第一节点的对象数据的处理速度限定在第一数值的水平，即将Ceph系统中的带宽与第一数值对应的第一带宽分配给第一数据请求对应的对象数据的处理过程；
或者，
控制第二节点对第一节点的对象数据的处理速度限定在以第一数值为中心的范围内。
示例性地，图4中示出了本申请实施例所提供的数据处理方法具体流程图。在图4中，Keepalived+LVS实现了数据处理设备的高可用和负载均衡，第一入口，为任一第一数据请求的请求对象数据的统一入口，RGW为Ceph系统的对象网关，第二入口，用于执行高可用和负载均衡处理，OpenResty用于实现对Bucket的对象数据处理的速度管理，Bucket中包括有存储对象数据的OSD，以及监控集群Mon。
当第一数据请求到达第一入口时，首先经过Keepalived+LVS的高可用和负载均衡处理到达RGW，当RGW收到第一数据请求之后，对第一数据请求进行解析，获取与第一数据请求对应的对象数据存储的Bucket，当确定Bucket之后，RGW获取Bucket的第一属性对应的值，即第一数值。
若第一数值与预设数值相同，则表明当前的第一数据请求对应的对象数据的处理不需要执行处理速度的管理操作，此时对Bucket中的OSD中存储的对象数据基于相关技术中的处理过程执行即可。
若第一数值与预设数值不同，则表明当前的第一数据请求对应的对象数据的处理需要进行处理速度的管理，此时，RGW会生成一个对应的第一属性检测结果，并加密第一数值，可选的，还可以加密第一属性检测结果，然后，基于加密之后的第一数值以及第一数据请求，生成第二数据请求，或者，将第一属性检测结果加密，基于加密之后的第一数值、加密之后的第一数据请求以及第一数据请求，生成第二数据请求。之后将第二数据请求重定向至第二入口。
当第二数据请求发送至第二入口时，可选的，可以执行一次高可用和负载均衡操作。当数据处理设备检测到第二数据请求发送至OpenResty时，控制OpenResty对第二数据请求进行解析，若第二数据请求中仅携带有加密之后的第一数值，则执行解密操作，得到第一数值，并将自身的第二属性值设置为第一数值；若第二数据请求中还携带有加密之后的第一属性检测结果，则执行解密操作，得到第一属性检测结果，并对第一属性检测结果进行判断，若第一属性检测结果与预设结果匹配，则将其自身的第二属性值设置为第一数值，反之，向客户端发送提示信息，提示用户当前状态异常，以便用户再次尝试发送第一数据请求。
当OpenResty将第二属性值设置为第一数值后，RGW可以基于Bucket中的OSD执行对象数据的处理操作，当数据处理设备检测到上述对象数据处理操作开始时，OpenResty基于自身的第二属性值，对对象数据的处理速度进行管理。
本申请实施例提供的数据处理方法，当检测到第一数据请求时，控制第三节点检测第一节点的第一属性，得到第一数值；其中，第一属性，用于表示第一节点对对象数据的处理速度进行管理的属性；第三节点，用于表示对第一节点的对象数据处理的网关节点。控制第二节点将第二属性设置为第一数值；其中，第二属性，用于表示第二节点对对象数据的处理速度进行管理的属性。控制第二节点基于第二属性，对第一节点的对象数据的处理速度进行管理。
由此，本申请实施例所提供的数据处理方法中，当检测到第一数据请求时，数据处理设备通过控制第三节点检测第一节点的第一属性，得到第一数值，从而使得得到的第一数值与第一数据请求、以及与存储第一数据请求对应的对象数据第一节点密切相关；然后控制第二节点将其第二属性设置为第一数值，因此，第二节点的第二属性对应的数值与第一数据请求相对应；最后再控制第二节点基于其第二属性对对象数据的处理速度进行管理，从而实现了对对象数据的处理速度的管理，仅仅与对象数据本身存储的第一节点和第一数据请求本身相关，因而使得在本申请实施例提供的数据处理方法中，对对象数据的处理速度的管理更精准和客观。由此，本申请实施例所提供的数据处理方法，缓解了相关技术中，Ceph系统的RGW无法管理对象数据处理速度的问题，进而降低了Ceph系统中用户的对象数据请求可能被阻塞的风险。
基于前述实施例，本申请实施例提供了一种数据处理系统3，如图5所示，该数据处理系统3包括：处理器31、存储器32和通信总线。其中，
通信总线用于实现处理器31和存储器32之间的通信连接；
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
检测到第一数据请求时，获取第一数值；其中，第一数值，用于表示为第一节点设置的第一数据传输速度；第一节点，用于表示与数据请求对应的用于实现对象数据存储的节点；
当检测到对象数据开始传输时，控制第二节点基于第一数值，对第一节点的对象数据的处理速度进行管理。
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
检测到第一数据请求时，获取第一数值，包括：
当检测到第一数据请求时，控制第三节点检测第一节点的第一属性，得到第一数值；其中，第一属性，用于表示第一节点对对象数据的处理速度进行管理的属性；第三节点，用于表示对第一节点的对象数据处理的网关节点。
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
基于第一数值和第一数据请求，得到第二数据请求；其中，第二数据请求，用于表示与第一数据请求对应的、携带有对对象数据的处理速度进行管理的数据请求。
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
基于第一数值和第一数据请求，得到第二数据请求，包括：
基于第一数值和第一数据请求、以及第一数值与预设数值的关系，得到第二数据请求；其中，预设数值，用于表示预先设定的对象数据处理速度。
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
基于第一数值和第一数据请求，得到第二数据请求，包括：
加密第一数值；
基于第一数据请求和加密之后的第一数值，得到第二数据请求。
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
控制第三节点将第二数据请求发送至第二节点；其中，第三节点，用于表示对述第一节点的对象数据处理的网关节点。
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
当检测到第二数据请求到达第二节点后，控制第二节点基于第二数据请求，执行解密操作，获取第一数值。
处理器31用于执行存储器32中的数据处理方法的程序，以实现以下步骤：
控制第二节点基于第一数值，对第一节点的对象数据的处理速度进行管理，包括：
控制第二节点将第二属性设置为第一数值；其中，第二属性，用于表示第二节点对对象数据的处理速度进行管理的属性。
控制第二节点基于第二属性，对第一节点的对象数据的处理速度进行管理。
其中，上述处理器可以为特定用途集成电路ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，用于实现上述处理器功能的电子器件还可以为其它，本发明实施例不作具体限定。
上述存储器，可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
本申请实施例所提供的数据处理系统，当检测到第一数据请求时，才获取第一数据请求对应的用于实现对象数据存储的节点即第一节点的数据处理速度，并且，获取到的第一数值，用于在检测到对象数据开始传输时，控制第二节点对第一节点的对象数据的处理速度进行管理。由此，本申请实施例中对对象数据的处理速度的管理，与实时检测到的第一数据请求对应，并且，当与第一数据请求对应的对象数据开始传输时，就对对象数据的处理速度进行管理，从而实现了Ceph系统中对象数据处理速度的实时监控和管理，进而降低了Ceph系统中新的对象数据请求可能被阻塞的风险。
基于前述实施例，本申请实施例提供了一种数据处理设备4，如图6所示，该数据处理设备4包括：获取模块41和控制模块42，其中，
获取模块41，用于检测到第一数据请求时，获取第一数值；其中，第一数值，用于表示为第一节点设置的第一数据传输速度；第一节点，用于表示与数据请求对应的用于实现对象数据存储的节点；
控制模块42，用于当检测到对象数据开始传输时，控制第二节点基于第一数值，对第一节点的对象数据的处理速度进行管理。
在数据处理系统3中，获取模块41和控制模块42，可以通过数据处理系统3的处理器来实现，具体的，上述处理器可以为特定用途集成电路ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，用于实现上述处理器功能的电子器件还可以为其它，本发明实施例不作具体限定。
本申请实施例所提供的数据处理设备，当检测到第一数据请求时，才获取第一数据请求对应的用于实现对象数据存储的节点即第一节点的数据处理速度，并且，获取到的第一数值，用于在检测到对象数据开始传输时，控制第二节点对第一节点的对象数据的处理速度进行管理。由此，本申请实施例中对对象数据的处理速度的管理，与实时检测到的第一数据请求对应，并且，当与第一数据请求对应的对象数据开始传输时，就对对象数据的处理速度进行管理，从而实现了Ceph系统中对象数据处理速度的实时监控和管理，进而降低了Ceph系统中新的对象数据请求可能被阻塞的风险。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一实施例所述的数据处理方法的步骤。
在一些实施例中，本发明实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所描述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种数据处理方法，其特征在于，所述方法包括：
检测到第一数据请求时，获取第一数值；其中，所述第一数值，用于表示为第一节点设置的数据处理速度；所述第一节点，用于表示与所述第一数据请求对应的用于实现对象数据存储的节点；
当检测到所述对象数据开始传输时，控制第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理；其中，所述第二节点，用于表示对所述对象数据的处理速度进行管理的节点。
2.根据权利要求1所述的方法，其特征在于，所述检测到第一数据请求时，获取第一数值，包括：
当检测到所述第一数据请求时，控制第三节点检测所述第一节点的第一属性，得到所述第一数值；其中，所述第一属性，用于表示所述第一节点对所述对象数据的处理速度进行管理的属性；所述第三节点，用于表示对所述第一节点的所述对象数据处理的网关节点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述第一数值和所述第一数据请求，得到第二数据请求；其中，所述第二数据请求，用于表示与所述第一数据请求对应的、携带有对对象数据的处理速度进行管理的数据请求。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一数值和所述第一数据请求，得到第二数据请求，包括：
基于所述第一数值和所述第一数据请求、以及所述第一数值与预设数值的关系，得到所述第二数据请求；其中，所述预设数值，用于表示预先设定的对象数据处理速度。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一数值和所述第一数据请求，得到第二数据请求，包括：
加密所述第一数值；
基于所述第一数据请求和加密之后的所述第一数值，得到所述第二数据请求。
6.根据权利要求3-5任一所述的方法，其特征在于，所述方法还包括：
控制第三节点将所述第二数据请求发送至所述第二节点；其中，所述第三节点，用于表示对所述第一节点的所述对象数据处理的网关节点。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当检测到所述第二数据请求到达所述第二节点后，控制所述第二节点基于所述第二数据请求，执行解密操作，获取所述第一数值。
8.根据权利要求1所述的方法，其特征在于，所述控制所述第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理，包括：
控制所述第二节点将第二属性设置为所述第一数值；其中，所述第二属性，用于表示所述第二节点对所述对象数据的处理速度进行管理的属性；
控制所述第二节点基于所述第二属性，对所述第一节点的所述对象数据的处理速度进行管理。
9.一种数据处理系统，其特征在于，所述系统包括：处理器、存储器和通信总线；其中，所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中的数据处理方法的程序，以实现以下步骤：
检测到第一数据请求时，获取第一数值；其中，所述第一数值，用于表示为第一节点设置的第一数据传输速度；所述第一节点，用于表示与所述数据请求对应的用于实现对象数据存储的节点；
当检测到所述对象数据开始传输时，控制第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理；其中，所述第二节点，用于表示对所述对象数据的处理速度进行管理的节点。
10.一种数据处理设备，其特征在于，所述设备包括：获取模块和控制模块；其中，
所述获取模块，用于检测到第一数据请求时，获取第一数值；其中，所述第一数值，用于表示为第一节点设置的第一数据传输速度；所述第一节点，用于表示与所述数据请求对应的用于实现对象数据存储的节点；
所述控制模块，用于当检测到所述对象数据开始传输时，控制第二节点基于所述第一数值，对所述第一节点的所述对象数据的处理速度进行管理；其中，所述第二节点，用于表示对所述对象数据的处理速度进行管理的节点。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的数据处理方法的步骤。
CN202010486788.7A 2020-06-01 2020-06-01 一种数据处理方法、系统、设备及计算机存储介质 Active CN113760840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486788.7A CN113760840B (zh) 2020-06-01 2020-06-01 一种数据处理方法、系统、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486788.7A CN113760840B (zh) 2020-06-01 2020-06-01 一种数据处理方法、系统、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113760840A true CN113760840A (zh) 2021-12-07
CN113760840B CN113760840B (zh) 2024-05-07

Family

ID=78782804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486788.7A Active CN113760840B (zh) 2020-06-01 2020-06-01 一种数据处理方法、系统、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113760840B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160330281A1 (en) * 2015-05-07 2016-11-10 Dell Products L.P. Systems and methods to improve read/write performance in object storage applications
US20160357450A1 (en) * 2015-06-05 2016-12-08 Formation Data Systems, Inc. Data Storage Space Recovery
CN107590278A (zh) * 2017-09-28 2018-01-16 郑州云海信息技术有限公司 一种基于ceph的文件预读方法及相关装置
CN109343801A (zh) * 2018-10-23 2019-02-15 深圳前海微众银行股份有限公司 数据存储方法、设备及计算机可读存储介质
CN110175070A (zh) * 2019-05-21 2019-08-27 网易（杭州）网络有限公司 分布式数据库的管理方法、装置、系统、介质及电子设备
CN110856222A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 一种流量控制的方法及装置
CN110955644A (zh) * 2019-11-24 2020-04-03 浪潮电子信息产业股份有限公司 一种存储系统的io控制方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160330281A1 (en) * 2015-05-07 2016-11-10 Dell Products L.P. Systems and methods to improve read/write performance in object storage applications
US20160357450A1 (en) * 2015-06-05 2016-12-08 Formation Data Systems, Inc. Data Storage Space Recovery
CN107590278A (zh) * 2017-09-28 2018-01-16 郑州云海信息技术有限公司 一种基于ceph的文件预读方法及相关装置
CN110856222A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 一种流量控制的方法及装置
CN109343801A (zh) * 2018-10-23 2019-02-15 深圳前海微众银行股份有限公司 数据存储方法、设备及计算机可读存储介质
CN110175070A (zh) * 2019-05-21 2019-08-27 网易（杭州）网络有限公司 分布式数据库的管理方法、装置、系统、介质及电子设备
CN110955644A (zh) * 2019-11-24 2020-04-03 浪潮电子信息产业股份有限公司 一种存储系统的io控制方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘辉勇;王勇;俸皓;: "Ceph云存储中基于混合文件系统的读写性能优化方法", 微电子学与计算机, no. 05, pages 33 - 40 *
陈阳;王丹;: "Ceph RadosGW对象存储集群的部署与优化", 现代计算机, no. 14, pages 14 - 17 *

Also Published As

Publication number Publication date
CN113760840B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
WO2018177106A1 (zh) 文件共享方法及装置、存储介质
US9836308B2 (en) Hardware security module access management in a cloud computing environment
US10893032B2 (en) Encryption key management system for cloud services
WO2019037775A1 (zh) 下发业务配置文件
US10180806B2 (en) Information processing apparatus, information processing method, and recording medium
US11799644B2 (en) Default password removal
US11632247B2 (en) User security token invalidation
US10318747B1 (en) Block chain based authentication
US20120300940A1 (en) Dynamic key management
US10255089B2 (en) Self-deleting virtual machines
CN109347839B (zh) 集中式密码管理方法、装置、电子设备及计算机存储介质
KR20180005542A (ko) 데이터 무결성 검증을 위한 장치 및 방법
CN112311830B (zh) 基于云存储的Hadoop集群的多租户认证系统及方法
CN110138765B (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN112286911B (zh) 数据库管理方法及装置、设备、存储介质
CN113760840B (zh) 一种数据处理方法、系统、设备及计算机存储介质
WO2014153982A1 (en) Methods and systems for broadcasting pictures
JP6257296B2 (ja) リソース配分装置、リソース配分システム、リソース配分方法及びプログラム
KR101495562B1 (ko) 데이터 분석 서비스를 제공하기 위한 장치 및 그 방법
CN112165381B (zh) 密钥管理系统和方法
CN114157470A (zh) 一种令牌管理方法和装置
CN112685778A (zh) 一种数据存储方法及装置
CN108075931B (zh) 一种测试系统、测试方法、控制服务器和执行服务器
KR101665670B1 (ko) 대량 유출방지를 위한 어플리케이션 id 식별 및 접근권한 동적 할당을 이용한 데이터 보안 시스템
US10831896B2 (en) Running local virtual disks containing applications with limited licenses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant