CN109542622A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN109542622A CN109542622A CN201811391804.3A CN201811391804A CN109542622A CN 109542622 A CN109542622 A CN 109542622A CN 201811391804 A CN201811391804 A CN 201811391804A CN 109542622 A CN109542622 A CN 109542622A
- Authority
- CN
- China
- Prior art keywords
- osd
- priority
- server
- target
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例提供了一种数据处理方法及装置，涉及通信技术领域，用以解决由于用于读写重要业务数据的OSD没有足够的内存资源，导致重要业务的业务质量差的问题。本申请实施例的方案包括：接收终端发送的写请求报文，写请求报文携带业务优先级和待写入数据，将待写入数据映射至与业务优先级匹配的目标PG，将目标PG映射至与目标PG的优先级匹配的目标OSD，使用目标OSD对应的内存资源，将待写入数据写入目标OSD，其中，OSD的优先级与OSD对应的内存资源量成正比。
Description
技术领域
本申请涉及通信技术领域，特别是涉及一种数据处理方法及装置。
背景技术
Ceph是一种软件定义存储技术，为块存储、对象存储和文件存储提供软件定义的、统一的存储解决方案。当客户端需要向Ceph集群写入数据时，数据将以对象的形式被写入Ceph集群的对象存储设备(Object Storage Device，OSD)中，相应的，后续客户端还可从Ceph集群的OSD中读取数据。
OSD在进行读写操作时需要使用内存资源，然而Ceph集群中的每个服务器中都有多个OSD。随着服务器中的OSD存储的数据量增大，服务器中的读写业务也会变得越来越繁忙，当服务器可分配给各OSD的内存资源不足时，会使得OSD之间出现竞争内存资源的现象，若用于读写重要业务数据的OSD没有足够的内存资源，就会导致这些重要业务的业务质量较差。
发明内容
本申请实施例的目的在于提供一种数据处理方法及装置，以解决由于用于读写重要业务数据的OSD没有足够的内存资源，导致的重要业务的业务质量差的问题。具体技术方案如下：
第一方面，本申请实施例提供一种数据处理方法，所述方法应用于服务器，所述方法包括：
接收终端发送的写请求报文，所述写请求报文携带业务优先级和待写入数据；
将所述待写入数据映射至与所述业务优先级匹配的目标归置组PG；
将所述目标PG映射至与所述目标PG的优先级匹配的目标对象存储设备OSD；
使用所述目标OSD对应的内存资源，将所述待写入数据写入所述目标OSD，其中，OSD的优先级与OSD对应的内存资源量成正比。
在一种可能的实现方式中，所述将所述待写入数据映射至与所述业务优先级匹配的目标归置组PG，包括：
根据PG的优先级标识和所述业务优先级，将所述待写入数据映射至与所述业务优先级匹配的目标PG；
所述将所述目标PG映射至与所述目标PG的优先级匹配的目标对象存储设备OSD，包括：
根据OSD的优先级标识和PG的优先级标识，将所述目标PG映射至所述目标OSD，所述目标PG的优先级标识与所述目标OSD的优先级标识匹配。
在一种可能的实现方式中，所述方法还包括：
分别为所述服务器中的每个OSD设置优先级标识；
根据所述服务器的可用内存总量和OSD的优先级标识，分别为所述服务器中的每个OSD分配内存资源，其中，OSD的优先级越高，被分配的内存资源越多。
在一种可能的实现方式中，所述分别为所述服务器中的每个OSD设置优先级标识，包括：
设置所述服务器所属集群中每种优先级的OSD的数量占所述集群中OSD总数量的比例；
根据所述所述服务器中的OSD总数量，和所述服务器所属集群中每种优先级的OSD的数量占所述OSD总数量的比例，确定所述服务器中每种优先级的OSD的数量；
按照所述服务器中每种优先级的OSD的数量，分别为所述服务器中的每个OSD设置优先级标识。
在一种可能的实现方式中，在所述分别为所述服务器中的每个OSD设置优先级标识之后，所述方法还包括：
配置存储池中的PG总数量；
根据所述PG总数量和所述存储池中每种优先级的PG数量占所述PG总数量的比例，确定所述存储池中每种优先级的PG的数量；其中，所述存储池中每种优先级的PG数量占所述PG总数量的比例，与所述服务器中每种优先级的OSD数量占所述服务器中的OSD数量的比例相同；
按照所述存储池中每种优先级的PG的数量，分别为所述存储池中的每个PG设置优先级标识。
在一种可能的实现方式中，在所述分别为所述存储池中的每个PG设置优先级标识之后，所述方法还包括：
建立所述存储池中的每个PG与所述服务器中的OSD之间的映射关系，具有映射关系的PG与OSD的优先级标识匹配。
第二方面，本申请实施例提供一种数据处理装置，所述装置应用于服务器，所述装置包括：
接收模块，用于接收终端发送的写请求报文，所述写请求报文携带业务优先级和待写入数据；
映射模块，用于将所述待写入数据映射至与所述业务优先级匹配的目标归置组PG；将所述目标PG映射至与所述目标PG的优先级匹配的目标对象存储设备OSD；
写入模块，用于使用所述目标OSD对应的内存资源，将所述待写入数据写入所述目标OSD，其中，OSD的优先级与OSD对应的内存资源量成正比。
在一种可能的实现方式中，所述映射模块，具体用于：
根据PG的优先级标识和所述业务优先级，将所述待写入数据映射至与所述业务优先级匹配的目标PG；
根据OSD的优先级标识和PG的优先级标识，将所述目标PG映射至所述目标OSD，所述目标PG的优先级标识与所述目标OSD的优先级标识匹配。
在一种可能的实现方式中，所述装置还包括：设置模块和分配模块；
所述设置模块，用于分别为所述服务器中的每个OSD设置优先级标识；
所述分配模块，用于根据所述服务器的可用内存总量和所述设置模块设置的OSD的优先级标识，分别为所述服务器中的每个OSD分配内存资源，其中，OSD的优先级越高，被分配的内存资源越多。
在一种可能的实现方式中，所述设置模块，具体用于设置所述服务器所属集群中每种优先级的OSD的数量占所述集群中OSD总数量的比例；根据所述所述服务器中的OSD总数量，和所述服务器所属集群中每种优先级的OSD的数量占所述OSD总数量的比例，确定所述服务器中每种优先级的OSD的数量；按照所述服务器中每种优先级的OSD的数量，分别为所述服务器中的每个OSD设置优先级标识。
在一种可能的实现方式中，所述设置模块，具体用于配置存储池中的PG总数量；根据所述PG总数量和所述存储池中每种优先级的PG数量占所述PG总数量的比例，确定所述存储池中每种优先级的PG的数量；其中，所述存储池中每种优先级的PG数量占所述PG总数量的比例，与所述服务器中每种优先级的OSD数量占所述服务器中的OSD数量的比例相同；按照所述存储池中每种优先级的PG的数量，分别为所述存储池中的每个PG设置优先级标识。
在一种可能的实现方式中，所述装置还包括：建立模块；
所述建立模块，用于建立所述存储池中的每个PG与所述服务器中的OSD之间的映射关系，具有映射关系的PG与OSD的优先级标识匹配。
第三方面，本申请实施例提供一种服务器，该服务器包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现第一方面中所述的数据处理方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的数据处理方法。
第五方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中所述的数据处理方法。
采用本申请实施例提供的数据处理方法，服务器接收到的写请求报文中携带业务优先级和待写入数据，服务器可将待写入数据映射至与业务优先级匹配的目标PG，再将目标PG映射至与目标PG的优先级匹配的目标OSD，从而使用目标OSD对应的内存资源，将待写入数据写入目标OSD，由于重要业务的业务优先级一般较高，通过本申请实施例的方法，业务优先级较高的业务的数据可被映射至优先级较高的OSD，而OSD的优先级越高，被分配的内存资源越多，从而保证了高优先级业务数据的读写性能，避免了由于内存资源不足而导致的高优先级业务的业务质量差的问题。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的流程图；
图2为本申请实施例提供的另一种数据处理方法的流程图；
图3为本申请实施例提供的一种PG与OSD之间的映射关系的示例性示意图；
图4为本申请实施例提供的一种数据处理装置的结构示意图；
图5为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中，在服务器中读写业务繁忙时，由于用于读写重要业务数据的OSD没有足够的内存资源，导致的重要业务的业务质量差的问题，本申请实施例中服务器可以接收终端发送的携带业务优先级的写请求报文，写请求报文携带待写入数据，然后将待写入数据映射至与所述业务优先级匹配的目标归置组(Placement Group，PG)，将目标PG映射至与目标PG的优先级匹配的目标OSD，并使用目标OSD对应的内存资源，将待写入数据写入目标OSD中。通过这种方法，可以实现将业务优先级高的数据写入优先级高的OSD中，而OSD的优先级越高，所能使用的内存资源越多，进而可以保证处理高优先级业务的OSD具有足够的内存资源，保证了高优先级业务的业务质量。
以下结合附图对本申请实施例提供的数据处理方法进行详细说明。
本申请实施例提供一种数据处理方法，该方法由Ceph中的服务器执行，如图1所示，该方法包括：
S101、接收终端发送的写请求报文，写请求报文携带业务优先级和待写入数据。
其中，写请求报文用于请求写入待写入数据。写请求报文可使用自身的优先级字段表示业务优先级，例如可通过互联网协议(Internet Protocol,IP)优先级、差分服务代码点(Differentiated Services Code Point,DSCP)优先级或802.1p优先级来表示业务优先级。
示例性地，可将业务优先级从高到低设定为A、B、C、D四个等级，服务器接收到写请求报文后，可根据写请求报文中的优先级字段确定业务优先级属于哪个等级。本申请实施例中的业务优先级不限于上述例举的四个等级，业务优先级可根据实际需求设置，本申请对此不作限制。
S102、将待写入数据映射至与业务优先级匹配的目标PG。
其中，当终端需要将数据存入Ceph集群时，服务器可将待写入数据分割为多个相同大小的对象(object)，并为每个对象设置一个对象ID。示例性地，每个对象的大小是可以设置的，示例性地，每个对象的大小可以为4M。
可选地，若待写入数据的大小小于一个对象的大小时，则将该待写入数据作为一个对象。
然后将待写入数据包含的各对象映射至与业务优先级匹配的目标PG。
具体地，可根据PG的优先级标识和业务优先级，将待写入数据映射至与业务优先级匹配的目标PG。
对象到PG的映射可通过哈希(hash)算法实现，采用一般的哈希算法，对象的映射范围为存储池(pool)中的所有PG，而本申请实施例中，可在对象映射到PG的过程中引入用于表示PG优先级的PG标识位，将哈希算法的输入条件设置为将对象映射至与业务优先级匹配的PG，使得对象的映射范围为存储池中与业务优先级匹配的的PG。
PG的优先级可用优先级标识表示，例如从优先级从低到高的顺序可分别表示为0、1、2、3。
示例性地，若业务优先级为A，则待写入数据中的对象被映射到优先级标识为3的PG。若业务优先级为B，则待写入数据中的对象被映射到优先级标识为2的PG。
S103、将目标PG映射至与目标PG的优先级匹配的目标OSD。
具体地，可以根据OSD的优先级标识和PG的优先级标识，将目标PG映射至目标OSD，目标PG的优先级标识与目标OSD的优先级标识匹配。
OSD的优先级也可用优先级标识表示，例如从优先级从低到高的顺序可分别表示为0、1、2、3。
可通过可扩展的伪随机数据分布算法(Controlled replication underscalable hashing，crush)算法确定PG和OSD之间的映射关系，在本申请实施例中，PG映射至与自身的优先级标识匹配的OSD，例如，优先级标识为3的PG可以映射至优先级标识为3的OSD，优先级标识为2的PG可以映射至优先级标识为2的OSD。
S104、使用目标OSD对应的内存资源，将待写入数据写入目标OSD。其中，OSD的优先级与OSD对应的内存资源量成正比。
示例性地，若写请求报文携带的业务优先级为A，则待写入数据包含的对象可映射至优先级标识为3的PG，优先级标识为3的PG可映射至优先级标识为3的OSD。假设根据第一映射关系和第二映射关系，确定待写入数据可被例如，若根据哈希算法确定优先级标识为3的PG映射至优先级标识为3的写入OSD1、OSD2和OSD3，则OSD1、OSD2和OSD3可分别使用自身被分配的内存资源写入待写入数据中的对象。
其中，OSD的优先级与OSD对应的内存资源量成正比，即优先级标识为3的OSD被分配的内存资源量大于优先级标识为2的OSD被分配的内存资源量，优先级标识为2的OSD被分配的内存资源量大于优先级标识为1的OSD被分配的内存资源量，优先级标识为1的OSD被分配的内存资源量大于优先级标识为0的OSD被分配的内存资源量。
例如，优先级标识为3的每个OSD被分配的内存资源为2M，优先级标识为2的每个OSD被分配的内存资源为1.5M，优先级标识为1的每个OSD被分配的内存资源为1M，优先级为0的每个OSD被分配的内存资源为0.5M。
采用本申请实施例提供的数据处理方法，服务器接收到的写请求报文中携带业务优先级和待写入数据，服务器可将待写入数据映射至与业务优先级匹配的目标PG，再将目标PG映射至与目标PG的优先级匹配的目标OSD，从而使用目标OSD对应的内存资源，将待写入数据写入目标OSD，由于重要业务的业务优先级一般较高，通过本申请实施例的方法，业务优先级较高的业务的数据可被映射至优先级较高的OSD，而OSD的优先级越高，被分配的内存资源越多，从而保证了高优先级业务数据的读写性能，避免了由于内存资源不足而导致的高优先级业务的业务质量差的问题。
图1为写入数据的流程，当终端读取Ceph集群中的数据时，服务器可确定存储待读取数据的OSD，进而从OSD中读取数据，通过图1的实施例，业务优先级高的数据被存储在OSD优先级高的OSD中，使得读取高优先级业务的数据时，也能保证存储高优先级业务的OSD具有足够的内存资源，保证了对高优先级业务数据的读性能。
可以理解的是，在进行数据读写之前，可预先配置PG和OSD的优先级标识，如图2所示，该方法包括：
S201、分别为服务器中的每个OSD设置优先级标识。
设置OSD的优先级标识的方法为：设置服务器所属集群中每种优先级的OSD的数量占集群中OSD总数量的比例，然后根据服务器中的OSD总数量，和服务器所属集群中每种优先级的OSD的数量占集群中OSD总数量的比例，确定服务器中每种优先级的OSD的数量，按照服务器中每种优先级的OSD的数量，分别为服务器中的每个OSD设置优先级标识。其中，服务器所属集群为Ceph集群。
本申请实施例中可在Ceph集群的部署过程中，根据实际需求设置OSD的优先级级别和每种优先级的OSD的数量占Ceph集群中OSD总数量的比例。
示例性地，可为OSD设置四种优先级，按照优先级从低到高的顺序依次为0、1、2、3。可设置这四种优先级的OSD占Ceph集群中OSD总数量的比例分别为：a％、b％、c％、d％，若Ceph集群中的服务器A中OSD数量为m,则服务器A中每种优先级的OSD的数量分别为：m*a％、m*b％、m*c％、m*d％。进而将服务器A中m*a％个OSD的优先级标识设置为0，将m*b％个OSD的优先级标识设置为1，将m*c％个OSD的优先级标识设置为2，将m*d％个OSD的优先级标识设置为3；若Ceph集群中的服务器B中的OSD数量为n,则服务器B中每种优先级的OSD数量分别为：n*a％、n*b％、n*c％、n*d％。进而将服务器A中n*a％个OSD的优先级标识设置为0，将n*b％个OSD的优先级标识设置为1，将n*c％个OSD的优先级标识设置为2，将n*d％个OSD的优先级标识设置为3。
例如，一个Ceph集群中有5个服务器，分别为服务器A、B、C、D、E，优先级为0、1、2、3的OSD占Ceph集群中OSD数量的比例分别为：10％、20％、30％、40％。假设服务器A中有20个OSD，则将服务器A中的2个OSD的优先级标识设置为0，4个OSD的优先级标识设置为1，6个OSD的优先级标识设置为2，8个OSD的优先级标识设置为3。假设服务器B中有10个OSD，则将服务器B中的1个OSD的优先级标识设置为0,2个OSD的优先级标识设置为1,3个OSD的优先级标识设置为2,4个OSD的优先级标识设置为3。同理，服务器C、D、E也按照相同的方法设置OSD的优先级标识。
S202、根据服务器的可用内存总量和OSD的优先级标识，分别为服务器中的每个OSD分配内存资源。
其中，本申请实施例可以在部署Ceph集群的过程中，预先为每个OSD分配内存资源，OSD的优先级越高，被分配的内存资源越多。
S203、配置存储池中的PG总数量。
S204、根据PG总数量和存储池中每种优先级的PG数量占PG总数量的比例，确定存储池中每种优先级的PG的数量。
其中，存储池中每种优先级的PG数量占PG总数量的比例，与服务器中每种优先级的OSD数量占服务器中的OSD数量的比例相同。
PG的优先级和OSD的优先级设置方法相同，若S201中为OSD设置了四种优先级，则为PG也设置四种优先级，按照优先级从高到低的顺序依次为0、1、2、3。按照S201中的描述，四种优先级的OSD占Ceph集群中OSD总数量的比例分别为：a％、b％、c％、d％，则本步骤中四种优先级的PG占存储池中PG总数量的比例为别为：a％、b％、c％、d％,进而可确定存储池中每种优先级的PG的数量分别为：p*a％、p*b％、p*c％、p*d％。
S205、按照存储池中每种优先级的PG的数量，分别为存储池中的每个PG设置优先级标识。
例如，将存储池中p*a％个PG的优先级标识设置为0，将p*b％个PG的优先级标识设置为1，将p*c％个PG的优先级标识设置为2，将p*d％个PG的优先级标识设置为3。
S206、建立存储池中的每个PG与服务器中的OSD之间的映射关系。
其中，具有映射关系的PG与OSD的优先级标识匹配。
示例性地，PG与OSD之间的映射关系如图3所示，可以将PG映射至与PG的优先级标识匹配的OSD上。
本申请实施例提供的数据处理方法，可在部署Ceph集群过程中，设置OSD和PG的优先级，并建立优先级相匹配的OSD与PG之间的映射关系，为每个OSD分配内存资源，OSD的优先级越高，被分配的内存资源越多，进而使得后续可以将高优先级的业务分配给高优先级的PG，进而映射至高优先级的OSD，使得高优先级业务可由高优先级的OSD处理，保证了高优先级业务数据的读写性能。
对应于上述方法实施例，本申请实施例还提供一种数据处理装置，该装置应用于服务器，如图4所示，该装置包括：接收模块401、映射模块402、写入模块403。
接收模块401，用于接收终端发送的写请求报文，写请求报文携带业务优先级和待写入数据。
映射模块402，用于将待写入数据映射至与业务优先级匹配的目标PG；将目标PG映射至与目标PG的优先级匹配的目标OSD。
写入模块403，用于使用目标OSD对应的内存资源，将待写入数据写入目标OSD，其中，OSD的优先级与OSD对应的内存资源量成正比。
可选地，映射模块402，具体用于：根据PG的优先级标识和业务优先级，将待写入数据映射至与业务优先级匹配的目标PG；根据OSD的优先级标识和PG的优先级标识，将目标PG映射至目标OSD，目标PG的优先级标识与目标OSD的优先级标识匹配。
可选的，该装置还包括：设置模块404和分配模块405。
设置模块404，用于分别为服务器中的每个OSD设置优先级标识。
分配模块405，用于根据服务器的可用内存总量和设置模块404设置的OSD的优先级标识，分别为服务器中的每个OSD分配内存资源，其中，OSD的优先级越高，被分配的内存资源越多。
可选地，设置模块404，具体用于设置服务器所属集群中每种优先级的OSD的数量占集群中OSD总数量的比例；根据服务器中的OSD总数量，和服务器所属集群中每种优先级的OSD的数量占OSD总数量的比例，确定服务器中每种优先级的OSD的数量；按照服务器中每种优先级的OSD的数量，分别为服务器中的每个OSD设置优先级标识。
可选地，设置模块404，具体用于配置存储池中的PG总数量；根据PG总数量和存储池中每种优先级的PG数量占PG总数量的比例，确定存储池中每种优先级的PG的数量；其中，存储池中每种优先级的PG数量占PG总数量的比例，与服务器中每种优先级的OSD数量占服务器中的OSD数量的比例相同；按照存储池中每种优先级的PG的数量，分别为存储池中的每个PG设置优先级标识。
可选地，该装置还包括：建立模块406。
建立模块406，用于建立存储池中的每个PG与服务器中的OSD之间的映射关系，具有映射关系的PG与OSD的优先级标识匹配。
本申请实施例还提供了一种服务器，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述方法实施例中由服务器执行的步骤。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据处理方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (14)
1.一种数据处理方法，其特征在于，所述方法应用于服务器，所述方法包括：
接收终端发送的写请求报文，所述写请求报文携带业务优先级和待写入数据；
将所述待写入数据映射至与所述业务优先级匹配的目标归置组PG；
将所述目标PG映射至与所述目标PG的优先级匹配的目标对象存储设备OSD；
使用所述目标OSD对应的内存资源，将所述待写入数据写入所述目标OSD，其中，OSD的优先级与OSD对应的内存资源量成正比。
2.根据权利要求1所述的方法，其特征在于，所述将所述待写入数据映射至与所述业务优先级匹配的目标归置组PG，包括：
根据PG的优先级标识和所述业务优先级，将所述待写入数据映射至与所述业务优先级匹配的目标PG；
所述将所述目标PG映射至与所述目标PG的优先级匹配的目标对象存储设备OSD，包括：
根据OSD的优先级标识和PG的优先级标识，将所述目标PG映射至所述目标OSD，所述目标PG的优先级标识与所述目标OSD的优先级标识匹配。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
分别为所述服务器中的每个OSD设置优先级标识；
根据所述服务器的可用内存总量和OSD的优先级标识，分别为所述服务器中的每个OSD分配内存资源，其中，OSD的优先级越高，被分配的内存资源越多。
4.根据权利要求3所述的方法，其特征在于，所述分别为所述服务器中的每个OSD设置优先级标识，包括：
设置所述服务器所属集群中每种优先级的OSD的数量占所述集群中OSD总数量的比例；
根据所述服务器中的OSD总数量，和所述服务器所属集群中每种优先级的OSD的数量占所述OSD总数量的比例，确定所述服务器中每种优先级的OSD的数量；
按照所述服务器中每种优先级的OSD的数量，分别为所述服务器中的每个OSD设置优先级标识。
5.根据权利要求4所述的方法，其特征在于，在所述分别为所述服务器中的每个OSD设置优先级标识之后，所述方法还包括：
配置存储池中的PG总数量；
根据所述PG总数量和所述存储池中每种优先级的PG数量占所述PG总数量的比例，确定所述存储池中每种优先级的PG的数量；其中，所述存储池中每种优先级的PG数量占所述PG总数量的比例，与所述服务器中每种优先级的OSD数量占所述服务器中的OSD数量的比例相同；
按照所述存储池中每种优先级的PG的数量，分别为所述存储池中的每个PG设置优先级标识。
6.根据权利要求5所述的方法，其特征在于，在所述分别为所述存储池中的每个PG设置优先级标识之后，所述方法还包括：
建立所述存储池中的每个PG与所述服务器中的OSD之间的映射关系，具有映射关系的PG与OSD的优先级标识匹配。
7.一种数据处理装置，其特征在于，所述装置应用于服务器，所述装置包括：
接收模块，用于接收终端发送的写请求报文，所述写请求报文携带业务优先级和待写入数据；
映射模块，用于将所述待写入数据映射至与所述业务优先级匹配的目标归置组PG；将所述目标PG映射至与所述目标PG的优先级匹配的目标对象存储设备OSD；
写入模块，用于使用所述目标OSD对应的内存资源，将所述待写入数据写入所述目标OSD，其中，OSD的优先级与OSD对应的内存资源量成正比。
8.根据权利要求7所述的装置，其特征在于，所述映射模块，具体用于：
根据PG的优先级标识和所述业务优先级，将所述待写入数据映射至与所述业务优先级匹配的目标PG；
根据OSD的优先级标识和PG的优先级标识，将所述目标PG映射至所述目标OSD，所述目标PG的优先级标识与所述目标OSD的优先级标识匹配。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：设置模块和分配模块；
所述设置模块，用于分别为所述服务器中的每个OSD设置优先级标识；
所述分配模块，用于根据所述服务器的可用内存总量和所述设置模块设置的OSD的优先级标识，分别为所述服务器中的每个OSD分配内存资源，其中，OSD的优先级越高，被分配的内存资源越多。
10.根据权利要求9所述的装置，其特征在于，
所述设置模块，具体用于设置所述服务器所属集群中每种优先级的OSD的数量占所述集群中OSD总数量的比例；根据所述所述服务器中的OSD总数量，和所述服务器所属集群中每种优先级的OSD的数量占所述OSD总数量的比例，确定所述服务器中每种优先级的OSD的数量；按照所述服务器中每种优先级的OSD的数量，分别为所述服务器中的每个OSD设置优先级标识。
11.根据权利要求10所述的装置，其特征在于，
所述设置模块，具体用于配置存储池中的PG总数量；根据所述PG总数量和所述存储池中每种优先级的PG数量占所述PG总数量的比例，确定所述存储池中每种优先级的PG的数量；其中，所述存储池中每种优先级的PG数量占所述PG总数量的比例，与所述服务器中每种优先级的OSD数量占所述服务器中的OSD数量的比例相同；按照所述存储池中每种优先级的PG的数量，分别为所述存储池中的每个PG设置优先级标识。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：建立模块；
所述建立模块，用于建立所述存储池中的每个PG与所述服务器中的OSD之间的映射关系，具有映射关系的PG与OSD的优先级标识匹配。
13.一种服务器，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-6任一所述的方法步骤。
14.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811391804.3A CN109542622A (zh) | 2018-11-21 | 2018-11-21 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811391804.3A CN109542622A (zh) | 2018-11-21 | 2018-11-21 | 一种数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109542622A true CN109542622A (zh) | 2019-03-29 |
Family
ID=65849039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811391804.3A Pending CN109542622A (zh) | 2018-11-21 | 2018-11-21 | 一种数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109542622A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110515724A (zh) * | 2019-08-13 | 2019-11-29 | 新华三大数据技术有限公司 | 资源配置方法、装置、监视器及机器可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150178133A1 (en) * | 2013-12-19 | 2015-06-25 | Bluedata Software, Inc. | Prioritizing data requests based on quality of service |
| CN105094983A (zh) * | 2014-04-30 | 2015-11-25 | 华为技术有限公司 | 计算机，控制设备和数据处理方法 |
| CN105187502A (zh) * | 2015-08-07 | 2015-12-23 | 北京思特奇信息技术股份有限公司 | 一种基于分布式弹性块存储的方法和系统 |
| CN106302717A (zh) * | 2016-08-12 | 2017-01-04 | 浪潮(北京)电子信息产业有限公司 | 一种ceph系统的资源优化方法及装置 |
| CN108052655A (zh) * | 2017-12-28 | 2018-05-18 | 新华三技术有限公司 | 数据写入及读取方法 |
| CN108196788A (zh) * | 2017-12-28 | 2018-06-22 | 新华三技术有限公司 | QoS指标监测方法、装置、存储介质 |
-
2018
- 2018-11-21 CN CN201811391804.3A patent/CN109542622A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150178133A1 (en) * | 2013-12-19 | 2015-06-25 | Bluedata Software, Inc. | Prioritizing data requests based on quality of service |
| CN105094983A (zh) * | 2014-04-30 | 2015-11-25 | 华为技术有限公司 | 计算机，控制设备和数据处理方法 |
| CN105187502A (zh) * | 2015-08-07 | 2015-12-23 | 北京思特奇信息技术股份有限公司 | 一种基于分布式弹性块存储的方法和系统 |
| CN106302717A (zh) * | 2016-08-12 | 2017-01-04 | 浪潮(北京)电子信息产业有限公司 | 一种ceph系统的资源优化方法及装置 |
| CN108052655A (zh) * | 2017-12-28 | 2018-05-18 | 新华三技术有限公司 | 数据写入及读取方法 |
| CN108196788A (zh) * | 2017-12-28 | 2018-06-22 | 新华三技术有限公司 | QoS指标监测方法、装置、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110515724A (zh) * | 2019-08-13 | 2019-11-29 | 新华三大数据技术有限公司 | 资源配置方法、装置、监视器及机器可读存储介质 |
| CN110515724B (zh) * | 2019-08-13 | 2022-05-10 | 新华三大数据技术有限公司 | 资源配置方法、装置、监视器及机器可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI743458B (zh) | 一種並行化執行區塊鏈交易的方法、裝置及系統 | |
| CN109145025B (zh) | 一种多数据源集成的数据查询方法、装置及业务服务器 | |
| CN113641457B (zh) | 容器创建方法、装置、设备、介质及程序产品 | |
| CN108845877B (zh) | 管理内存的方法、装置和系统 | |
| WO2017107414A1 (zh) | 文件操作方法和装置 | |
| US9998531B2 (en) | Computer-based, balanced provisioning and optimization of data transfer resources for products and services | |
| WO2020233020A1 (zh) | 预分配容器ip的方法、装置、计算机设备及存储介质 | |
| CN108462760A (zh) | 电子装置、集群访问域名自动生成方法及存储介质 | |
| US9848064B2 (en) | Generation and distribution of named, definable, serialized tokens | |
| CN103685608A (zh) | 一种自动配置安全虚拟机ip地址的方法及装置 | |
| WO2023160033A1 (zh) | 虚拟网卡资源的配置方法、装置、计算机设备及介质 | |
| TW202008763A (zh) | 資料處理方法和裝置、用戶端 | |
| CN109639598A (zh) | 基于微服务的请求处理方法、服务器、存储介质及装置 | |
| CN110362384A (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
| CN113687795A (zh) | 一种实现有状态应用的存储卷隔离性分配的方法和系统 | |
| CN106502760B (zh) | 一种虚拟机亲和性策略可视化的方法及装置 | |
| CN107343023A (zh) | 一种Mesos管理集群中的资源分配方法、装置及电子设备 | |
| CN109343962A (zh) | 数据处理方法、装置及分布式服务系统 | |
| US20150134861A1 (en) | Personal cloud storage chain service system and method | |
| CN107395708A (zh) | 一种处理下载请求的方法和装置 | |
| CN108234551A (zh) | 一种数据处理方法及装置 | |
| CN106155910B (zh) | 一种实现内存访问的方法、装置和系统 | |
| CN110636149B (zh) | 远程访问方法、装置、路由器及存储介质 | |
| CN109542622A (zh) | 一种数据处理方法及装置 | |
| CN110365783B (zh) | 文件部署方法及装置、网络节点及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |