CN103513932A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种数据处理方法及装置，涉及数据存储技术，在提高磁盘并发度的同时降低数据访问的延时。一种数据处理方法，包括：根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程；获取所述至少一进程中的各个线程对应的独立内存和独立存储单元；从所述至少一进程中选择用于处理所述当前操作对象的至少一线程；根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作。本发明实施例主要用于磁盘管理系统中。

Description

一种数据处理方法及装置

技术领域

本发明涉及数据存储技术，尤其涉及一种数据处理方法及装置。

背景技术

现有技术中采用一个写进程和多个读线程来提高磁盘的并发度。但是，考虑到采用多线程对磁盘进行写操作时的安全性问题，为保证写数据的安全，现有技术的方案中只创建了一个写进程来完成所有的写磁盘操作，即同一时刻有且仅有一个写进程对磁盘进行写操作。因此，在执行写操作时，所有的读线程需要等待写进程完成后才可执行读磁盘操作，从而造成了数据访问的延时。

发明内容

本发明实施例提供一种数据处理方法及装置，在提高磁盘并发度的同时降低数据访问的延时。

本发明实施例采用如下技术方案：

一种数据处理方法，包括：

根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程；

获取所述至少一进程中的各个线程对应的独立内存和独立存储单元；

从所述至少一进程中选择用于处理所述当前操作对象的至少一线程；

根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作。

一种数据处理装置，包括：

第一选择单元，用于根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程；

获取单元，用于获取所述至少一进程中的各个线程对应的独立内存和独立存储单元；

第二选择单元，用于从所述至少一进程中选择用于处理所述当前操作对象的至少一线程；

数据处理单元，用于根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作。

本发明实施例提供的数据处理方法和系统，选择的至少一进程中的各个线程都对应有独立内存和独立存储单元，因此，可利用至少一进程的至少一线程，对至少一线程对应的独立内存和独立存储单元中的数据进行操作。由以上可以看出，每个线程都可独立的操作独立内存和独立存储单元，因而，每个进程也都有独立的独立内存和存储单元。由于各个进程或者各个线程之间都具有独立内存和独立存储单元，因此，多个进程可并发的进行操作且各个进程或线程之间在处理独立内存和独立存储单元中的数据时不会出现竞争。因此，利用本发明实施例的方法及系统能够在提高磁盘并发度的同时降低数据访问的延时。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的数据处理方法的流程图；

图2为本发明实施例二中服务器的进程组织方式示意图；

图3为本发明实施例三的数据处理装置的示意图；

图4为本发明实施例三的数据处理装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为在提高磁盘并发度的同时降低数据访问的延时，如图1所示，本发明实施例一的数据处理方法包括：

步骤11、根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程。

其中，所述当前操作对象可以比如是照片，联系人的联系方式等；所述对象标识(key)用以唯一标识当前操作对象，例如可以是当前操作对象的名称等。

在实际应用中，根据当前操作对象的数量，可只有一个进程或者有两个以上的进程来执行对当前操作对象的操作。而且，每个进程都可根据预先设置创建有多个线程。

具体的，在此步骤中，将所述对象标识通过特定的数学运算(例如取模运算)映射为通用磁盘缓存系统对象标识空间中的映射对象标识。然后再根据所述映射对象标识，选择用于处理所述当前操作对象的至少一进程。

步骤12、获取所述至少一进程中的各个线程对应的独立内存和独立存储单元。

在本发明实施例中，可预先存储有配置文件，其中，该配置文件为根据业务的平均数据块大小及服务器硬件情况如内存大小，磁盘大小为参考进行配置获得的。在该配置文件中，可记载有每个进程可配置有多少个线程，每个进程的每个线程对应的独立内存和独立存储单元，以及独立内存和独立存储单元的大小等。因此，在此实施一中还可首先根据预先存储的配置文件获取各个进程中的各个线程对应的独立内存和独立存储单元的步骤。因而，在此步骤中，即可直接获取所述至少一进程中的各个线程对应的独立内存和独立存储单元。

此外，根据该配置文件，所述至少一进程中各个线程对应的独立内存的大小可相同，所述至少一进程中各个线程对应的独立存储单元的大小可相同。当然，根据实际应用的要求，各个线程对应的独立内存的大小或者各个线程对应的独立存储单元的大小也可不同。

步骤13、从所述至少一进程中选择用于处理所述当前操作对象的至少一线程。

在此，可根据所述映射对象标识从所述至少一进程中选择用于处理所述当前操作对象的至少一线程。具体的，将所述映射对象标识进行运算(例如取模运算)，并根据对映射对象标识进行运算的结果，从所述至少一进程中选择用于处理所述当前操作对象的至少一线程。

步骤14、根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作。

其中对当前操作对象的操作类型包括读操作，写操作，删除操作等等。

以写操作为例，当对所述当前操作对象的操作类型为写操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元，并向所述映射对象标识对应的独立存储单元写入数据。

以读操作为例，当对所述当前操作对象的操作类型为读操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元，并从所述映射对象标识对应的独立存储单元读取数据。

其他操作类型的原理相同，在此不再一一描述。

由以上可以看出，在此实施例中，选择的至少一进程中的各个线程都对应有独立内存和独立存储单元，因此，可利用至少一进程的至少一线程，对至少一线程对应的独立内存和独立存储单元中的数据进行操作。由以上可以看出，每个线程都可独立的操作独立内存和独立存储单元，因而，每个进程也都有独立的独立内存和独立存储单元。由于各个进程或者各个线程之间都具有独立的独立内存和存储单元，因此，多个进程可并发的进行操作且各个进程或线程之间在处理独立内存和独立存储单元中的数据时不会出现竞争。因此，利用本发明实施例一的方法能够在提高磁盘并发度的同时降低数据访问的延时。

其中，图1所示的实施例可以应用在多种类型的磁盘缓存系统中，如基于TDC系统(Tencent Di sk Cache，TDC)的磁盘缓存系统。

如图2所示，为本发明实施例二中服务器的进程组织方式示意图。如前所述，服务器中预先会存储有配置文件，且该配置文件为根据业务的平均数据块大小及服务器硬件情况如内存大小，磁盘大小为参考进行配置获得的。在该配置文件中，可记载有每个进程可配置有多少个线程，每个进程的线程对应的独立内存和独立存储单元，以及独立内存和独立存储单元的大小等。

在图2中，显示的是当前有多个操作对象，他们的对象标识分别为key0，key1，key2，key3......。响应于多个操作对象，可以有多个进程(图示为进程0-进程9)来响应对这些操作对象的处理请求。

在具体应用中，首先将磁盘初始化，也即将各个磁盘格式化并挂载到各个磁盘相应的目录。每个进程对应一个磁盘。以对象标识为key0的操作对象作为当前操作对象并将其进行写操作为例，按照实施例一中描述的方法，假设选择进程0用于处理对象标识为key0的操作对象。在每个进程中，根据配置文件的信息，又可创建有多个线程(以进程0为例，图示为线程0-线程9)。其中，各个线程用于完成对操作对象的读，写，删除，修改，设置等处理请求。

然后，初始化进程0的每个线程。对于每个线程，在启动时，都会为其分配一个固定大小的独立内存，并初始化该独立内存(即图中所示的元数据管理器)，即初始化Bucket(哈希桶)数组、Node(节点)数组、Chunk(数据块)头部等。同时，在该线程的父进程(以进程0为例，它是线程0-9的父进程)所操作的磁盘上为其分配一块或多块固定大小的文件作为其存储数据的容器，也即图中所示的存储单元。其中，各个线程之间的存储单元是相互独立的(以下称为独立存储单元)。

其中，各个线程对应的独立内存的大小或者独立存储单元的大小可相同，也可不同，二者的大小均由上述配置文件指定。在元数据管理器即独立内存中存储有磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系。该对应关系，还可进行更新。例如，当元数据中的节点或是磁盘文件的使用率超过一定比例时，可将最近一段时间内使用较少的数据的信息(对象内容信息)与映射对象标识的对应关系删除。独立存储单元用于存储对象内容。其中，对象内容信息可以包括存储位置，数据大小，类型等等。

对于对象标识为key0的操作对象，按照实施例一描述的方式选择进程0中的工作线程0执行对其的写操作，并且key0对应的映射对象标识为key0’。根据所述独立内存中存储的磁盘缓存系统对象标识空间中的对象标识与对象内容信息的对应关系，利用所述映射对象标识key0’查找该对应关系获取所述映射对象标识对应的独立存储单元0，然后向所述独立存储单元0中写入数据。

由上可以看出，服务器的内存被分成了若干个独立内存，每一个磁盘也被分成了若干个独立存储单元。因此，每个线程都独立的操纵对应的独立内存和独立存储单元，从而，各个独立内存之间无需共享，互不干扰。由于启动了多个进程，每个进程都独立的操作一个磁盘，因此各个进程间不需要进行同步操作，无需同步锁且没有磁盘竞争；又由于每一个工作线程都操纵着独立的元数据管理器和存储单元，无论是对独立内存还是对独立存储单元的操作，各线程间都不会发生冲突和干扰，线程间无竞争也不需要使用锁，从而省去了线程间加锁的开销。因而，大大地简化了系统的复杂度。

同时，多个进程可以并发地操作对应的磁盘，提高了磁盘的并发度，进而提升了磁盘的I O性能。此外，由于不同的进程操作不同的磁盘，当某一个磁盘出现故障时，只会影响其对应线程的运行，并不会影响其他的进程及其他进程对对应磁盘的操作，从而可将磁盘的故障隔离开来，降低了风险，也提高了系统的健壮性和可靠性。

而且，多个工作线程发起读或写指令时，此时多个指令可以合并成一个大的指令，从而达到一次尽可能多的从磁盘中读数据或往磁盘写数据的目的，提高了磁盘并发度，同时也使得磁盘尽可能的处于忙碌状态而无空闲。

如图3所示，本发明实施三的数据处理装置包括：

第一选择模块31，用于根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程；获取模块32，用于获取所述至少一进程中的各个线程对应的独立内存和独立存储单元；第二选择模块33，用于从所述至少一进程中选择用于处理所述当前操作对象的至少一线程；数据处理模块34，用于根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作。

其中，所述第一选择模块31包括：映射子模块，将所述对象标识映射为磁盘缓存系统对象标识空间中的映射对象标识；第一选择子模块，用于根据所述映射对象标识，选择用于处理所述当前操作对象的至少一进程。

所述第二选择模块33包括：运算子模块，用于将所述映射对象标识进行运算；第二选择子模块，用于根据对映射对象标识进行运算的结果，从所述至少一进程中选择用于处理所述当前操作对象的至少一线程。

根据对所述当前操作对象的操作类型的不同，所述数据处理模块34可有不同的结构。例如，所述数据处理模块34可包括：第一查找子模块，用于当对所述当前操作对象的操作类型为写操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元；第一数据处理子模块，用于向所述映射对象标识对应的独立存储单元写入数据。或者，所述数据处理模块34可包括：第二查找子模块，用于当对所述当前操作对象的操作类型为读操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元；第二数据处理子模块，用于从所述映射对象标识对应的独立存储单元读取数据。

此外，如图4所示，所述装置还可包括：配置模块45，用于根据预先存储的配置文件获取各个进程中的各个线程对应的独立内存和独立存储单元，从而方便获取模块直接由配置模块获取所述至少一进程中的各个线程对应的独立内存和独立存储单元。此外，所述装置还可包括更新模块46，用于更新所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系。

其中，所述装置的工作原理可参照前述方法实施例的描述。

由以上可以看出，选择的至少一进程中的各个线程都对应有独立内存和独立存储单元，因此，可利用至少一进程的至少一线程，对至少一线程对应的独立内存和独立存储单元中的数据进行操作。由以上可以看出，每个线程都可独立的操作独立内存和独立存储单元，因而，每个进程也都有独立的独立内存和独立存储单元。由于各个进程或者各个线程之间都具有独立的独立内存和存储单元，因此，多个进程可并发的进行操作且各个进程或线程之间在处理独立内存和独立存储单元中的数据时不会出现竞争。因此，利用本发明实施例三的装置能够在提高磁盘并发度的同时降低数据访问的延时。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Acces s Memory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法包括：

根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程；

获取所述至少一进程中的各个线程对应的独立内存和独立存储单元；

从所述至少一进程中选择用于处理所述当前操作对象的至少一线程；

根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作。

2.根据权利要求1所述的方法，其特征在于，所述根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程包括：

将所述对象标识映射为磁盘缓存系统对象标识空间中的映射对象标识；

根据所述映射对象标识，选择用于处理所述当前操作对象的至少一进程。

3.根据权利要求2所述的方法，其特征在于，所述从所述至少一进程中选择用于处理所述当前操作对象的至少一线程包括：

将所述映射对象标识进行运算；

根据对映射对象标识进行运算的结果，从所述至少一进程中选择用于处理所述当前操作对象的至少一线程。

4.根据权利要求2所述的方法，其特征在于，所述根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作包括：

当对所述当前操作对象的操作类型为写操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元，并向所述映射对象标识对应的独立存储单元写入数据；

当对所述当前操作对象的操作类型为读操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元，并从所述映射对象标识对应的独立存储单元读取数据。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

根据预先存储的配置文件获取各个进程中的各个线程对应的独立内存和独立存储单元。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

更新所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系。

7.一种数据处理装置，其特征在于，包括：

第一选择模块，用于根据当前操作对象的对象标识，选择用于处理所述当前操作对象的至少一进程；

获取模块，用于获取所述至少一进程中的各个线程对应的独立内存和独立存储单元；

第二选择模块，用于从所述至少一进程中选择用于处理所述当前操作对象的至少一线程；

数据处理模块，用于根据对所述当前操作对象的操作类型，利用所述至少一线程对所述至少一线程对应的独立内存和独立存储单元中的数据进行操作。

8.根据权利要求7所述的装置，其特征在于，所述第一选择模块包括：

映射子模块，用于将所述对象标识映射为磁盘缓存系统对象标识空间中的映射对象标识；

第一选择子模块，用于根据所述映射对象标识，选择用于处理所述当前操作对象的至少一进程。

9.根据权利要求8所述的装置，其特征在于，所述第二选择模块包括：

运算子模块，用于将所述映射对象标识进行运算；

第二选择子模块，用于根据对映射对象标识进行运算的结果，从所述至少一进程中选择用于处理所述当前操作对象的至少一线程。

10.根据权利要求8所述的装置，其特征在于，所述数据处理模块包括：

第一查找子模块，用于当对所述当前操作对象的操作类型为写操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元；

第一数据处理子模块，用于向所述映射对象标识对应的独立存储单元写入数据。

11.根据权利要求8所述的装置，其特征在于，所述数据处理模块包括：

第二查找子模块，用于当对所述当前操作对象的操作类型为读操作时，根据所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系，利用所述映射对象标识查找所述对应关系获取所述映射对象标识对应的独立存储单元；

第二数据处理子模块，用于从所述映射对象标识对应的独立存储单元读取数据。

12.根据权利要求7-11任一所述的装置，其特征在于，所述装置还包括：

配置模块，用于根据预先存储的配置文件获取各个进程中的各个线程对应的独立内存和独立存储单元。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

更新模块，用于更新所述独立内存中存储的磁盘缓存系统对象标识空间中的映射对象标识与对象内容信息的对应关系。

Images