CN1182465C

CN1182465C - 动态迁移数据的方法及其装置

Info

Publication number: CN1182465C
Application number: CNB021543925A
Authority: CN
Inventors: 刚朱; 朱刚; 刘旸; 于辰涛
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2002-12-04
Filing date: 2002-12-04
Publication date: 2004-12-29
Anticipated expiration: 2022-12-04
Also published as: CN1480850A

Abstract

本发明提供一种动态迁移数据的方法，包括步骤：根据数据对象的访问概率将数据对象分别存储在第一存储区和第二存储区；当外部设备请求访问数据对象时，首先在第一存储区中查找数据对象；如果所请求的数据对象不在第一存储区中，则在第二存储区中查找所请求的数据对象；记录数据对象的访问结果，计算数据对象的访问概率；如果数据对象的访问概率大于或等于预定的阈值，则将数据对象保留在第一存储区，或从第二存储区迁移到第一存储区；和如果数据对象的访问概率小于预定的阈值，则将数据对象保留在第二存储区，或从第一存储区迁移到第二存储区。此外，本发明还提供动态迁移数据的装置。

Description

动态迁移数据的方法及其装置

技术领域

本发明涉及一种动态迁移数据的方法和装置，具体地说，涉及一种按照数据对象被访问频率的变化，动态地迁移数据，按数据对象的访问概率将数据对象分区存储以加快数据访问速度的方法和装置。

背景技术

数据存储备份技术和存储管理源于70年代的终端/主机计算模式，当时由于数据集中在主机上，因此，易管理的海量存储设备，磁带库是当时必备的设备。80年代以后，由于PC的发展，尤其是九十年代应用最广的客户机/服务器模式的普及以及网络的发展，此时网络上文件服务器和数据库服务器往往是要害数据集中的地方，而客户机上也积累了一定量的数据，数据的分布造成数据存储管理的复杂化。

因特网的发展正在使存储技术发生着革命性的变化，其中最突出的变化就是数据量的急剧增加，如何存储、存取和管理每天都在急剧增加的大量数据，关系到能否让我们的网络数字世界保持正常运行。

现在数据海量存储多借助于以下的存储解决方案：

一种是网络附加存储设备(Network Attached Storage，NAS)，这是一种专业的网络文件存储及文件备份设备，或称为网络直联存储设备、网络磁盘阵列。NAS是基于局域网LAN的，按照TCP/IP协议进行通信，面向消息传递，以文件的I/O方式进行数据传输。

另一种是存储域网络(Storage Area Network，SAN)的支撑技术是Fibre Channel(FC)技术，这是ANSI为网络和通道I/O接口建立的一个标准集成。AN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不是在直接访问SAN的网络。

数据对象与外界交互主要有两种，一种是数据的添加和更新，另一种是数据的访问。研究发现，上述的两种解决方案对所有的数据对象都同样存储和管理，而实际中数据对象的操作经常是集中在一小部分数据对象的。也就是说，在一段时间内，对各个数据对象发生操作的概率是不同，即各个数据的访问次数不同。实际受到关心的只是整个数据对象集合中的一个很小的子集。现有技术中没有考虑到上述的因素，所以在整个存储空间有效时间内，要对整个数据对象集合进行维护。对于那些数据操作概率极低的数据对象同样要加以维护，这样造成了浪费大量的系统资源。使得数据对象的各种操作的效率降低。

现有的大型数据库技术使数据存储和管理方面有了极大的提高。通过各种索引和查询算法的应用，极大的提高了数据存储和访问的效率。但是，数据库为了加速数据访问效率而建立的各种复杂的索引结构是通过以往的经验或者是统计数据在数据存储时就指定的。而研究发现数据对象的访问概率随着时间会发生变化，甚至变化的很快。现有的数据库并不能反映数据对象访问的这种变化，数据对象一旦已经存储就很少发生变动，而且数据库对数据对象的管理和维护也是基于整个数据库存储的对所有数据对象集合进行的。因此，有大量的系统资源浪费在对那些访问概率低的数据的管理和维护上。

鉴于上述问题，需要一种可以反映数据的实际使用概率，并根据数据的实际使用情况对数据进行存储管理的技术，以节省用于数据存储、管理和维护等方面的系统资源。

发明内容

本发明的目的是提供一种根据数据被访问的概率动态迁移数据以便分区存储数据的方法，本发明的方法能够按照数据对象被访问的概率或次数，对数据对象的存储区域进行动态调整，以提高数据访问速度，节省系统管理资源，并降低存储成本。

本发明的另一个目的是提供一种根据数据被访问的概率动态迁移数据以便对数据进行分区存储的系统，本发明的装置能够按照数据对象被访问的概率或次数，对数据对象的存储区域进行动态调整，以提高数据访问速度，节省系统管理资源，并降低存储成本。

根据本发明的第一方面，提供一种动态迁移数据的方法，包括步骤：根据数据对象的访问概率将数据对象分别存储在第一存储区和第二存储区；当外部设备请求访问数据对象时，首先在第一存储区中查找数据对象；如果所请求的数据对象不在第一存储区中，则在第二存储区中查找所请求的数据对象；记录数据对象的访问结果，计算数据对象的访问概率；如果数据对象的访问概率大于或等于预定的阈值，则将所述数据对象保留在所述第一存储区，或从第二存储区迁移到第一存储区；和如果数据对象的访问概率小于预定的阈值，则将所述数据对象保留在所述第二存储区，或从第一存储区迁移到第二存储区。

此外，定期检测所述数据对象的访问概率；如果数据对象的访问概率大于或等于预定的阈值，则将所述数据对象保留在所述第一存储区，或从第二存储区迁移到第一存储区；和如果数据对象的访问概率小于预定的阈值，则将所述数据对象保留在所述第二存储区，或从第一存储区迁移到第二存储区。

根据本发明的第二方面，提供一种动态迁移数据的系统，包括：第一存储装置，用于存储概率大于和等于预定阈值的数据对象；第二存储装置，用于存储概率小于预定阈值的数据对象；数据存储控制装置，用于控制所述第一存储装置和第二存储装置的数据存取操作，并记录外部设备对所述数据对象的访问结果，计算所述数据对象的访问概率；其中所述数据存储控制装置在外部设备请求访问数据对象时，首先在所述第一存储装置中查找数据对象，如果所请求的所述数据对象不在所述第一存储装置，则在所述第二存储装置中查找所请求的数据对象，并在所述数据对象的访问概率大于或等于所述预定阈值时，将所述数据对象保留在所述第一存储装置，或从所述第二存储装置迁移到所述第一存储装置；和当所述数据对象的访问概率小于所述预定阈值，将所述数据对象保留在所述第二存储装置，或从所述第一存储装置迁移到所述第二存储装置。

附图说明

通过下面结合附图对本发明的详细描述，将使本发明的目的、特征和优点更加清楚。

图1是根据本发明实施例的动态迁移数据对象的存储系统的结构图；

图2是根据本发明实施例的动态迁移数据对象的流程图；和

图3是根据本发明实施例的动态迁移数据对象的存储区的处理流程图。

具体实施方式

下面结合附图对本发明的实施例进行描述。

随着高速互连网的普及，高速因特网接入的出现，普遍深入的多媒体和信息极大地丰富，存储容量以每年成倍的速度增长。NAS设备完全以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而有效释放带宽，大大提高了网络整体性能，也可有效降低总拥有成本。目前的数据存储软件越来越成熟。

本发明考虑到根据数据对象被访问的概率将被访问的数据对象分成热点数据和冷门数据。其中热点数据对象是在考察的时间段中，经常发生数据操作的数据对象；冷门数据对象是在考察的时间段中，几乎不发生数据操作或很少发生数据操作的数据对象。可以根据多种因素确定某个数据对象属于热点数据还是冷门数据，例如，在某个考察时间段对数据对象操作的次数或操作时间等。

本发明针对热点数据和冷门数据将数据存储装置分成数据访问装置和数据备份装置或数据访问区和数据备份区。其中数据访问装置存储当前时间段内的热点数据，数据备份装置存储当前时间段内的冷门数据。

图1示出根据本发明实施例的调整数据对象的存储系统的结构。作为例子，该存储系统可以是媒体服务存储系统，其中存放各种原始多媒体文件、音频数据和视频数据等内容。媒体服务器接到用户的播放请求，即可对相应的数据对象进行操作。如图1所示，根据本发明实施例的动态迁移数据的存储系统，其中包括控制数据对象的数据存储控制器1，对原始数据进行数据加工的数据加工装置2，存储热点数据的数据访问装置3，和存储冷门数据的数据备份装置4。其中数据访问装置3可以作为第一存储装置，数据备份装置4可以作为第二存储装置。存储控制器1通过总线分别与数据加工装置2、数据访问装置3和数据备份装置4连接。数据加工装置2、数据访问装置3和数据备份装置4可以在数据存储控制器1的控制下通过总线传递数据对象。数据存储控制器1收集外界对数据对象的访问情况。在外部设备访问数据访问装置3中的有关数据对象时，将对该数据对象的访问情况及被访问的数据对象的操作情况记录在数据存储控制器1中，并计算数据对象的访问概率。

数据存储控制器1中安装有用于进行各种处理的控制程序和执行这些处理所需的各种数据。在数据存储控制器1检测到某个数据对象被访问后，调用其中相应的程序分析该数据对象的操作结果。并根据分析结果判断该数据对象是否已变成冷门数据。在热点数据对象已变成冷门数据对象时，将其迁移出数据访问装置3，备份到数据备份装置4。在本发明中，数据访问装置3采用存取速度较快的存储设备，以便于用户对这些数据对象的频繁访问，提供高速存取。数据备份装置4可采用存取速度相对较低，成本较低的存储设备，例如磁盘机等，以节省系统的成本和资源。

外部采集的各种节目的原始材料和与采集来的数据相关的原始多媒体节目同时进入数据加工装置2。数据加工装置2对接收的数据和多媒体文件进行加工，及节目的剪辑，整理，生成数据对象。由于新生成的数据对象在近期内都有较高的访问概率，因此将新生成的数据对象默认为热点数据对象，存入数据访问装置3。数据存储控制器1监控数据对象的操作情况。一段时间后，用户点播的需求减少，当减少到一定程度，数据存储控制器1把此节目备份到文件备份的数据存储节点，即数据备份装置4中。

数据存储控制器1可根据不同的因素判断数据对象的操作情况。例如，可根据存入数据访问装置3中的数据对象在近期内被访问的概率来确定数据对象是热点数据还是冷门数据。数据访问区存放近期内访问概率较高的数据对象。这些数据访问对象所组成的数据对象集合是外部设备访问的数据集合。当接收到外界数据请求时，数据存储控制器1首先在数据访问装置3中进行查找，查找成功则将被访问的数据对象提供给外部设备，并记录该数据对象被访问的情况。待数据对象操作结束后，将该数据对象的操作结果存储在数据存储控制器1中。如果查找不成功则由数据访问装置3向数据备份装置4发送数据请求，也可通过数据存储控制器1从数据备份装置4调用被请求的数据对象。在请求成功的情况下，将数据备份装置4中的数据提供给外部设备的同时，更新数据存储控制器1中相关数据对象的访问情况数据。在数据对象操作结束后，将该数据对象的操作结果存储在数据存储控制器1中。数据存储控制器1定期检验数据对象的操作情况。如果在预定时间段内某个数据对象的访问概率高于预定的阈值，则该数据对象保留在数据访问装置3中，或从数据备份装置4转移到数据访问装置3中。如果在预定时间段内某个数据对象的访问概率低于预定的阈值，则确定该数据对象已成为冷门数据，继续将其保留在数据备份装置4，或从数据访问装置3自动迁移到数据备份装置，完成数据的备份功能。

确定数据对象的访问概率的参数可以是在预定时间内数据对象被访问的次数，或数据对象的操作时间来确定，因为某些数据对象的数据量很大。因此，虽然这些数据对象被访问的的次数可能相对较少，但由于其操作时间较长，为了加快其存取速度仍应存储在存取速度快的存储装置中。

下面参考图2说明根据本发明实施例的动态迁移数据对象的流程图。首先在步骤S201，判断数据对象访问的概率是否大于或等于预定阈值。可以基于多种因素判断数据对象访问情况。例如，在某个考察时间段数据对象操作的次数，或操作时间等。如果数据对象访问的概率大于或等于阈值，则在步骤S202将访问概率大于或等于预定阈值的数据对象存储在第一存储区。如果数据对象访问的概率小于阈值，则在步骤S203将访问概率小于预定阈值的数据对象存储在第二存储区。数据存储控制器1可定期检测数据对象的访问概率，在第一和第二存储区之间动态数据对象。其中第一存储区的存取速度比第二存储区的存储速度快。

下面参考图3描述根据本发明的动态调整数据存储区的处理的流程图。如图3所示，在步骤S301，对采集的原始数据和与原始数据相关的备份数据进行数据加工和整理，使其成为数据对象。新生成的数据对象默认为热点数据对象(新生成的数据对象在近期内都有较高的访问概率)，存入可进行快速存取的数据访问装置3。数据访问装置3存放近期内访问概率较高的数据对象。在步骤S302，判断是否接收到外界的数据请求。在步骤S303，数据存储控制器1查找所访问的数据是否在数据访问装置3中。如果要访问的数据对象在数据访问装置3中，则在步骤S304将被访问的数据对象提供给外部设备。并在步骤S307记录该数据对象被访问的情况，待数据对象操作结束后，将该数据对象的操作结果存储在数据存储控制器1中，修改数据访问概率。如果在步骤S303未在数据访问装置3找到要访问的数据对象，该过程则转到步骤S305，由数据访问装置3向数据备份装置4发送数据请求。从数据备份装置4调用被请求的数据对象。在请求成功的情况下，在步骤S306将数据备份装置4中的数据对象提供给外部设备。此后，流程转到步骤S307，记录该数据对象被访问的情况，待数据对象操作结束后，将该数据对象的操作结果存储在数据存储控制器1中，修改数据访问概率。在步骤S308，数据存储控制器1定期检验数据对象的操作情况，判断数据对象的访问概率是否大于或等于预定的阈值。如果步骤S307的判断结果为肯定，则在步骤309将该数据对象继续保留在数据访问装置3中，或从数据备份装置4转移到数据访问装置3中。如果步骤S308的判断结果为否定，则确定该数据对象已成为冷门数据，继续将其保留在数据备份装置4，或从数据访问装置3自动迁移到数据备份装置4，完成数据的备份功能。在上面的描述中，数据访问装置3可作为第一存储区，数据备份装置4可作为第二存储区。

通过将数据对象按照访问概率分区存储，并定期的根据数据对象的访问概率不断地进行数据对象存储调整，提高数据访问速度。

采用本发明的方法的优点在于：由于实施中采用了数据存储的动态调整技术，用户点播响应速度得到了极大的提高。同时由于在数据加工区域和存储备份区域对于存储的速度要求降低，可以采用大量价格低廉的数据存储媒体进行存储。使得此系统性价比得到了大幅度提高。至此已结合本发明的优选实施例对本发明进行了详细说明，本领域技术人员在不脱离所附权利要求的范围和精神实质的情况下可以做出各种改进和变化。

Claims

1.一种动态迁移数据的方法，包括步骤：

根据数据对象的访问概率将数据对象分别存储在第一存储区和第二存储区；

当外部设备请求访问数据对象时，首先在第一存储区中查找数据对象；

如果所请求的数据对象不在第一存储区中，则在第二存储区中查找所请求的数据对象；

记录数据对象的访问结果，计算数据对象的访问概率；

如果数据对象的访问概率大于或等于预定的阈值，则将所述数据对象保留在所述第一存储区，或从第二存储区迁移到第一存储区；和

如果数据对象的访问概率小于预定的阈值，则将所述数据对象保留在所述第二存储区，或从第一存储区迁移到第二存储区。

2.根据权利要求1所述的动态迁移数据的方法，其特征在于所述第一存储区的存取速度比所述第二存储区的存取速度快。

3.根据权利要求1或2所述的动态迁移数据的方法，其特征在于进一步包括步骤：

定期检测所述数据对象的访问概率；

4.根据权利要求1或2所述的动态迁移数据的方法，其特征在于计算所述数据对象的访问概率包括所述确定数据对象在预定时间内被访问的次数和/或操作时间。

5.根据权利要求3所述的动态迁移数据的方法，其特征在于检测所述数据对象的访问概率包括确定所述数据对象在预定时间内被访问的次数和/或操作时间。

6.根据权利要求1或2所述的动态迁移数据的方法，其特征在于如果所述第一存储区中没有要访问的所述数据对象，则由所述第一存储区直接向所述第二存储区发送数据请求，从所述第二存储区调用被请求的所述数据对象。

7.根据权利要求1或2所述的动态迁移数据的方法，其特征在于在增加和更新数据时首先对所述新数据进行剪辑，处理并存储在第一存储区中。

8.一种动态迁移数据的装置，包括：

第一存储装置，用于存储概率大于和等于预定阈值的数据对象；

第二存储装置，用于存储概率小于预定阈值的数据对象；

数据存储控制装置，用于控制所述第一存储装置和第二存储装置的数据存取操作，并记录外部设备对所述数据对象的访问结果，计算所述数据对象的访问概率；

其中所述数据存储控制装置在外部设备请求访问数据对象时，首先在所述第一存储装置中查找数据对象，如果所请求的所述数据对象不在所述第一存储装置，则在所述第二存储装置中查找所请求的数据对象，并在所述数据对象的访问概率大于或等于所述预定阈值时，将所述数据对象保留在所述第一存储装置，或从所述第二存储装置迁移到所述第一存储装置；和当所述数据对象的访问概率小于所述预定阈值，将所述数据对象保留在所述第二存储装置，或从所述第一存储装置迁移到所述第二存储装置。

9.根据权利要求8所述的动态迁移数据的装置，其中所述第一存储装置的存取速度比所述第二存储装置的存取速度快。

10.根据权利要求8所述的动态迁移数据的装置，其中还包括对原始数据进行数据加工的数据加工装置并将加工后的数据对象存储在第一存储装置中。