CN105590157A - 基于数据生命周期管理模板的数据管理 - Google Patents

Abstract

<b>本发明涉及数据管理技术，特别涉及一种创建用于数据管理的数据生命周期管理模板的方法、一种实现数据生命周期自动管理的方法和一种数据生命周期自动管理系统。按照本发明一个实施例的数据生命周期自动管理系统包括：数据分类器，其被配置为根据数据的生命周期特征，对数据进行分类，其还被配置为确定被管理数据的数据类型；模板管理器，其被配置为为每种数据类型创建相应的数据生命周期管理模板，每个数据生命周期管理模板包含与特定数据类型相关联的管理策略；策略管理器，其配置为根据被管理数据的数据类型，调用相应的数据生命周期管理模板对被管理的数据进行数据生命周期的自动管理。</b>

Description

基于数据生命周期管理模板的数据管理

发明领域

本发明涉及数据管理技术，特别涉及一种创建用于数据管理的数据生命周期管理模板的方法、一种实现数据生命周期自动管理的方法和一种数据生命周期自动管理系统。

背景技术

信息在它存在的生命周期中的不同阶段，具有不同的商业价值，需要与之匹配的管理手段和方法。这意谓着企业需要创建相关的流程来允许信息根据需要自由地流动。信息在流动的过程中，价值并不总是越来越小，而企业制度才是决定一项业务数据信息流向的主要因素，企业需要建立起一种更加高效的数据移植能力,使得需要相关信息的人员可以更快地获取它们。

数据生命周期管理(DLM)是一种基于策略的数据管理的方法,其对各类数据进行贯穿其整个数据生命周期的管理，即根据数据的生命周期,将各类数据存放在适合的存储设备上，并且利用适当技术手段对这些数据进行处理、分析、管理。

随着信息化的普遍应用，企业各方面的信息都开始进入电子化。由于企业信息，特别是财务信息等重要信息，国家都有法规要求。一些国家的重点行业，如金融，电信和政府部门等，对信息的安全和可靠性更是有专门的规定。据统计，全球每年的数据增长量超过50％，而且这种增长的速度还在加快。快速增长、法规和审计对数据存储要求的日益严格以及控制存储成本的压力使得数据生命周期管理己经成为一种必需的管理方式。

发明内容

本发明的一个目的是提供一种创建用于数据管理的数据生命周期管理模板的方法，其具有高效、扩展性强和低成本等优点。

按照本发明一个实施例的创建用于数据管理的数据生命周期管理模板的方法包括下列步骤：

根据数据的生命周期特征，对数据进行分类；

为每种数据类型创建相应的数据生命周期管理模板，每个数据生命周期管理模板包含与特定数据类型相关联的管理策略，

其中按照下列方式为每种数据类型创建相应的数据生命周期管理模板：

将数据生命周期划分为一个或多个阶段；

为每个阶段定义相应的属性；

设置每个阶段的属性的赋值，其中每个阶段的属性的赋值与特定数据类型在该阶段的管理策略相关联；

生成包含每个阶段的属性的赋值的集合作为与特定数据类型对应的数据生命周期管理模板。

优选地，在上述方法中，所述数据生命周期按时间顺序被划分为下列阶段：数据生成阶段、数据在线访问阶段、数据近线本地文件系统保存阶段、数据转移异机在线访问阶段、虚拟带库归档阶段、物理带库加密归档阶段和数据销毁或回收阶段。

优选地，在上述方法中，为每个阶段定义的属性包括：用于定义数据用途的用途项、用于定义数据存放位置的存储位置项、用于定义数据存储设备的存储设备项、用于定义数据存放时间的存储时间项目、用于定义数据存放所需容量大小的存储容量项目、用于定义数据访问频度、访问对象的访问特性项、用于定义数据转移至下一阶段的条件的生命阶段转移条件项以及用于定义生命阶段转移方式的生命阶段转移方式项。

本发明的还有一个目的是提供一种实现数据生命周期自动管理的方法，其具有高效、扩展性强和低成本等优点。

按照本发明一个实施例的实现数据生命周期自动管理的方法包括下列步骤：

确定被管理数据所属的数据类型；

根据所确定的数据类型选择预先创建的、与所确定的数据类型相对应的数据生命周期管理模板，其中所述数据生命周期管理模板包含与所确定的数据类型相关联的管理策略；

根据所选择的数据生命周期管理模板对被管理的数据进行数据生命周期的自动管理。

本发明的还有一个目的是提供一种数据生命周期自动管理系统，其具有高效、扩展性强和低成本等优点。

按照本发明一个实施例的数据生命周期自动管理系统包括：

数据分类器，其被配置为根据数据的生命周期特征，对数据进行分类，其还被配置为确定被管理数据的数据类型；

模板管理器，其被配置为为每种数据类型创建相应的数据生命周期管理模板，每个数据生命周期管理模板包含与特定数据类型相关联的管理策略；

策略管理器，其配置为根据被管理数据的数据类型，调用相应的数据生命周期管理模板对被管理的数据进行数据生命周期的自动管理。

本发明通过定义数据的全生命周期阶段及属性并根据同类同管原则抽象出数据生命周期模板，随后通过应用模版至具体的业务数据管理引擎来实现对数据的全生命周期的管理，同时解决了商用数据管理软件通用性不高、无法实现全生命周期管理的弊端。基于模版驱动的管理技术具有统一规范、可靠高效的优势。本发明加强了数据管理的统一规范性，提高了数据存储资源的合理利用率，节省数据管理投资成本，在安全高效的同时降低了数据丢失降低风险。此外，本发明的方法与平台和硬件设备关联性不大，尤其适合金融行业数据管理，完全可以替代现有的商业数据生命周期管理软件，有较高的投入收益率。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其它目的及优点更加完全清楚。

图1示出了按照本发明一个实施例的创建用于数据管理的数据生命周期管理模板的方法的流程图。

图2示出了按照本发明一个实施例的模板创建子例程的流程图。

图3示出了按照本发明一个实施例的数据生命周期管理策略的示例。

图4示出了按照本发明一个实施例的数据生命周期管理模板的示例。

图5示出了按照本发明一个实施例的实现数据生命周期自动管理的方法的流程图。

图6示出了按照本发明一个实施例的数据生命周期自动管理系统的框图。

具体实施方式

下面参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的上述各实施例旨在使本文的披露全面完整，从而使对本发明保护范围的理解更为全面和准确。

诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。

现有的商业数据生命周期管理软件一般针对数据生命周期的若干阶段定义数据保留时间、存储设各、访问特性和迁移方式等规范，没有从数据产生到消亡的整个生命周期的全流程进行数据生命周期管理。常见的商业数据管理软件只能对数据的单一生命阶段进行管理，比如存储管理软件无法对上层业务数据进行管理，数据库管理软件无法对数据库之外数据进行管理，备份软件不对在线数据库数据进行管理。因缺乏对数据全生命周期的管理，商业数据生命周期软件无法构建更加合理的分层的存储硬件环境，存储资源的利用率较低，并且无法满足业务数据在某些生命周期阶段的存储要求。

此外，现有的商业数据生命周期管理软件大部分是基于策略的单一生命阶段的数据生命周期管理，即根据应用系统和数据类型自定义或者预定义一个生命阶段的管理策略，无法实现对具有全生命周期阶段一致、各生命阶段属性一致的同类型数据进行统一的生命周期模板管理。对于在应用系统和数据类型较多的情况下，需要花费大量时间和精力定义和维护大量的数据生命周期策略。如基于策略和基于保留规则的数据生命周期管理软件，需要用户为每一个数据设置一个预定义的过期日期，无法实现数据生命周期的自动管理。

按照本发明的一个方面，通过将具有相同或相似的管理策略的数据归属为同种类型而实现数据的分类，然后为每种数据类型生成相应的数据生命周期管理模板，由此当被管理数据属于其中一种数据类型时，可以直接调用对应于该类型的数据生命周期管理模板，并且根据调用的模板自动生成相应的生命周期管理策略，从而实现数据生命周期的自动管理。这里的数据生命周期管理模板可以视为对该种类型数据通用的管理策略的组合或子集。

图1示出了按照本发明一个实施例的创建用于数据管理的数据生命周期管理模板的方法的流程图。

如图1所示，在步骤S110，根据数据的生命周期特征，对数据进行分类。以金融数据的存储和处理为例，可以根据数据的生命周期特征划分为下列类型：联机交易类数据、业务参数类数据、业务管理类数据、业务流水文件、交易通讯报文、应用日志、数据库级数据、图片影像和其它数据。

随后进入步骤S120，执行模板创建子例程，以依次为每种数据类型创建相应的数据生命周期管理模板，其中，每个数据生命周期管理模板包含与特定数据类型相关联的管理策略。有关数据生命周期管理模板的具体创建方式将在下面作进一步的详细描述。

接着进入步骤S130，存储在步骤S120中所创建的数据生命周期管理模板。

接着在步骤S140中，判断是否还有未创建数据生命周期管理模板的数据类型，如果判断结果为是，则返回步骤S120，否则，则结束图1所示的流程。

图2示出了按照本发明一个实施例的模板创建子例程的流程图。

如图2所示，在步骤S210中，将数据生命周期划分为一个或多个阶段。示例性地，可以将一个数据生命周期依时间顺序划分为数据生成阶段、数据在线访问阶段、数据近线本地文件系统保存阶段、数据转移异机在线访问阶段、虚拟带库归档阶段、物理带库加密归档阶段和数据销毁或回收阶段。需要指出的是，对于不同的数据类型，其可以采用相同或不同的数据生命周期划分方式。

随后进入步骤S220，为每个阶段定义相应的属性。每个阶段的属性例如包括用于定义数据用途的用途项、用于定义数据存放位置的存储位置项、用于定义数据存储设备的存储设备项、用于定义数据存放时间的存储时间项目、用于定义数据存放所需容量大小的存储容量项目、用于定义数据访问频度、访问对象的访问特性项、用于定义数据转移至下一阶段的条件的生命阶段转移条件项以及用于定义生命阶段转移方式的生命阶段转移方式项。

表1示例性地示出了其中一个数据生命周期阶段的属性列表。

表1

接着执行步骤S230，对于每个阶段的属性，都根据该阶段的管理策略设定相应的赋值。图3示出了按照本发明一个实施例的数据生命周期管理策略的示例。如图3所示，数据生命周期被划分为数据生成阶段、数据在线访问阶段、数据近线本地文件系统保存阶段、数据转移异机在线访问阶段、虚拟带库归档阶段、物理带库加密归档阶段和数据销毁或回收阶段，出于不同阶段服务性能最优化以及整个生命周期内数据拥有成本最低化的考虑，当数据处于数据在线访问阶段时，存储位置项被设定为高速存储设备以满足高访问频度的需要，在后续阶段，随着访问频度的降低，数据被逐步转移到低端存储设备、虚拟带库和物理带库内，在转移的过程中，以牺牲数据访问速度为代价，数据保存的成本也逐步降低。

随后进入步骤S240，生成包含每个阶段的属性的赋值的集合(相当于由多条管理策略构成的集合)作为与特定数据类型对应的数据生命周期管理模板。

图4示出了按照本发明一个实施例的数据生命周期管理模板的示例，该对应的数据类型为联机交易数据类。如图4所示，联机交易数据类被划分为下列若干生命周期阶段：数据在线访问阶段、数据近线存放阶段、数据近线备份阶段、数据近线归档阶段和数据离线归档阶段。对于每个生命周期阶段，均包含下列属性项：用途项、存储位置项、存储设备项、存储时间项目、存储容量项目、访问特性项、生命阶段转移条件项、转移窗口项、上一阶段项和下一阶段项。参见图4，还根据不同生命周期阶段的管理策略，对各个属性项设定了相应的赋值。

图5示出了按照本发明一个实施例的实现数据生命周期自动管理的方法的流程图。为便于理解，以下的描述以金融数据存储和处理作为具体的应用背景。

如图5所示，在步骤S510，输入需要管理的数据(例如新生成的业务数据)。

随后进入步骤S520，确定被管理数据所属的数据类型。

接着在步骤S530中，根据所确定的数据类型选择预先创建的、与所确定的数据类型相对应的数据生命周期管理模板，其中，每个数据生命周期管理模板包含与特定数据类型相关联的管理策略。有关数据生命周期管理模板的具体创建方式已经在上面结合图1-4作了详尽的描述，因此此处不再赘述。

随后进入步骤S540，根据所选择的数据生命周期管理模板生成各个阶段的数据生命周期管理策略，并且执行基于这些管理策略的脚本和任务，从而完成数据在整个生命周期的自动管理直到数据消亡。

图6示出了按照本发明一个实施例的数据生命周期自动管理系统的框图。

图6所示的数据生命周期自动管理系统600包括数据分类器610、模板管理器620、存储器630和策略管理器640。

数据分类器610与模板管理器620和策略管理器640耦合，被配置为根据数据的生命周期特征对数据进行分类，其还被配置为确定被管理数据的数据类型。模板管理器620被配置为例如按照上面结合图1-4描述的方式为每种数据类型创建相应的数据生命周期管理模板。存储器630与模板管理器620和策略管理器640耦合，其被配置为保存由模板管理器620创建的数据生命周期管理模板并供策略管理器640调用。策略管理器640与数据分类器610和模板管理器620耦合，其配置为根据与被管理数据的数据类型对应的数据生命周期模板实现数据在全生命周期的自动管理。

以下描述图6所示数据生命周期自动管理系统600的工作原理。

系统600可工作于两种模式，即，训练模式和策略管理模式，以下分别作进一步的描述。

在训练模式下，数据分类器610根据数据的生命周期特征(例如数据的用途、数据量、数据访问频度、数据访问对象等)对历史数据进行分类。模板管理器620为数据分类器610划分的数据类型的每一种都创建相应的数据生命周期管理模板，其方式例如如上面结合图1-4所述的方式。由模板管理器620创建的模板被输出至存储器630内以供调用。可选地，模板管理器620还具有修改和删除存储器630中的数据生命周期模板的功能。

在策略管理模式下，数据分类器610判断新生成的被管理数据所属的数据类型，并且将判断结果输出至策略管理器640。随后，策略管理器640访问存储器630，根据被管理数据的类型调用相应的数据生命周期管理模板并且据此生成数据生命周期各阶段的管理策略。由此，策略管理器640执行基于管理策略的数据管理脚本，从而实现数据在整个生命周期的自动管理。

本发明具有下列优点：

1.数据全生命周期管理。包括数据从产生到消亡的全过程各个阶段,针对数据生命周期各阶段,提出保存时间、存储设备、访问特性等方面管理规范,构建合理的分层的存储硬件环境,提高现有存储资源的利用率,满足不同类型的业务数据在不同生命周期阶段的存储要求。

2.基于业务类型的生命周期策略模板化管理。对具有相同的生命阶段和每个阶段的特性一致的数据,可适用于同一个数据生命周期管理模板。把可用于多个数据的生命周期做成一个通用的模版进行管理和应用,用户在进行数据生命周期管理时引用相应模板,即可实现数据生命周期的自动管理。这样就不需要为每一个数据定义一个生命周期管理策略,减少了维护工作的复杂度。

3.基于数据生命周期管理模板的数据生命阶段自动转化。对于引用了数据生命周期管理模板的数据进行管理的平台,会根据模板自动生成相应的生命周期策略对数据进行管理,根据模板定义的各阶段的管理规范,自动生成的管理策略也会生成具体的数据保存时间、存储介质、访问属性以及各阶段之间数据流转的方法,完成了数据生命周期从前级阶段到后级阶段的自动转化。

由于可以在不背离本发明基本精神的情况下，以各种形式实施本发明，因此上面描述的具体实施方式仅是说明性的而不是限制性的。本发明的范围由所附权利要求定义，对上面描述方式所作的各种变化或变动都属于所附权利要求的保护范围。

Claims (11)

1.一种创建用于数据管理的数据生命周期管理模板的方法，其特征在于，包括下列步骤：

根据数据的生命周期特征，对数据进行分类；

为每种数据类型创建相应的数据生命周期管理模板，每个数据生命周期管理模板包含与特定数据类型相关联的管理策略，

其中按照下列方式为每种数据类型创建相应的数据生命周期管理模板：

将数据生命周期划分为一个或多个阶段；

为每个阶段定义相应的属性；

设置每个阶段的属性的赋值，其中每个阶段的属性的赋值与特定数据类型在该阶段的管理策略相关联；

生成包含每个阶段的属性的赋值的集合作为与特定数据类型对应的数据生命周期管理模板。

2.如权利要求1所述的方法，其中，所述数据生命周期按时间顺序被划分为下列阶段：数据生成阶段、数据在线访问阶段、数据近线本地文件系统保存阶段、数据转移异机在线访问阶段、虚拟带库归档阶段、物理带库加密归档阶段和数据销毁或回收阶段。

3.如权利要求1所述的方法，其中，为每个阶段定义的属性包括：用于定义数据用途的用途项、用于定义数据存放位置的存储位置项、用于定义数据存储设备的存储设备项、用于定义数据存放时间的存储时间项目、用于定义数据存放所需容量大小的存储容量项目、用于定义数据访问频度、访问对象的访问特性项、用于定义数据转移至下一阶段的条件的生命阶段转移条件项以及用于定义生命阶段转移方式的生命阶段转移方式项。

4.一种实现数据生命周期自动管理的方法，其特征在于，包括下列步骤：

确定被管理数据所属的数据类型；

根据所确定的数据类型选择预先创建的、与所确定的数据类型相对应的数据生命周期管理模板，其中所述数据生命周期管理模板包含与所确定的数据类型相关联的管理策略；

根据所选择的数据生命周期管理模板对被管理的数据进行数据生命周期的自动管理。

5.如权利要求4所述的方法，其中，对于每种数据类型，按照下列方式创建对应的数据生命周期管理模板：

将数据生命周期划分为一个或多个阶段；

为每个阶段定义相应的属性；

设置每个阶段的属性的赋值，其中每个阶段的属性的赋值与特定数据类型在该阶段的管理策略相关联；

生成包含每个阶段的属性的赋值的集合作为与特定数据类型对应的数据生命周期管理模板。

6.如权利要求5所述的方法，其中，所述数据生命周期按时间顺序被划分为下列阶段：数据生成阶段、数据在线访问阶段、数据近线本地文件系统保存阶段、数据转移异机在线访问阶段、虚拟带库归档阶段、物理带库加密归档阶段和数据销毁或回收阶段。

7.如权利要求5所述的方法，其中，为每个阶段定义的属性包括：用于定义数据用途的用途项、用于定义数据存放位置的存储位置项、用于定义数据存储设备的存储设备项、用于定义数据存放时间的存储时间项目、用于定义数据存放所需容量大小的存储容量项目、用于定义数据访问频度、访问对象的访问特性项、用于定义数据转移至下一阶段的条件的生命阶段转移条件项以及用于定义生命阶段转移方式的生命阶段转移方式项。

8.一种数据生命周期自动管理系统，其特征在于，包括：

数据分类器，其被配置为根据数据的生命周期特征，对数据进行分类，其还被配置为确定被管理数据的数据类型；

模板管理器，其被配置为为每种数据类型创建相应的数据生命周期管理模板，每个数据生命周期管理模板包含与特定数据类型相关联的管理策略；

策略管理器，其配置为根据被管理数据的数据类型，调用相应的数据生命周期管理模板对被管理的数据进行数据生命周期的自动管理。

9.如权利要求8所述的数据生命周期自动管理系统，其中，对于每种数据类型，所述模板管理器被配置为按照下列方式创建对应的数据生命周期管理模板：

将数据生命周期划分为一个或多个阶段；

为每个阶段定义相应的属性；

设置每个阶段的属性的赋值，其中每个阶段的属性的赋值与特定数据类型在该阶段的管理策略相关联；

生成包含每个阶段的属性的赋值的集合作为与特定数据类型对应的数据生命周期管理模板。

10.如权利要求9所述的数据生命周期自动管理系统，其中，所述数据生命周期按时间顺序被划分为下列阶段：数据生成阶段、数据在线访问阶段、数据近线本地文件系统保存阶段、数据转移异机在线访问阶段、虚拟带库归档阶段、物理带库加密归档阶段和数据销毁或回收阶段。

11.如权利要求9所述的数据生命周期自动管理系统，其中，为每个阶段定义的属性包括：用于定义数据用途的用途项、用于定义数据存放位置的存储位置项、用于定义数据存储设备的存储设备项、用于定义数据存放时间的存储时间项目、用于定义数据存放所需容量大小的存储容量项目、用于定义数据访问频度、访问对象的访问特性项、用于定义数据转移至下一阶段的条件的生命阶段转移条件项以及用于定义生命阶段转移方式的生命阶段转移方式项。