CN103092995B - 数据卸载装置和数据卸载方法 - Google Patents

Abstract

本发明提供了一种数据卸载装置，包括：注册单元，用于判断第一实体是否引用其他实体中的数据，若是，则控制所述第一实体注册引用信息；判断单元，用于在卸载第二实体中的目标数据之前，根据所述引用信息判断所述目标数据是否被所述第一实体引用；复制单元，用于在所述目标数据被所述第一实体引用时，将所述目标数据复制到所述第一实体中；卸载单元，用于在所述目标数据未被所述第一实体引用时，或在将所述目标数据复制到所述第一实体之后，将所述目标数据从所述第二实体中卸载。本发明还提出了一种数据卸载方法。通过本发明的技术方案，能够减少卸载数据对业务应用的影响，并根据业务需要灵活地卸载数据。

Description

数据卸载装置和数据卸载方法

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据卸载装置和一种数据卸载方法。

背景技术

在一些大型的计算机信息（电信，企业ERP，政务）系统中，存在大量的基础数据档案，如客户，物料，批次。这些档案频繁地在一些业务实体中被引用。在实际系统运行过程中，由于业务量不断增大，一些基础档案日积月累后，数据到达GB甚至TB级，如ERP系统物料，批次档案，当这类基础档案的数据大到一定数量级别时，信息系统常常出现以下问题：

1、一些业务处理变得异常缓慢；

2、由于业务查询时，往往需要关联基础档案数据，导致相关业务查询变得异常缓慢；

3、基础档案本身数据的维护也变得困难。

目前对于大型计算机信息系统中一些频繁增长的业务数据，常用的技术处理方案是按一定日期范围卸载归档历史数据来减少OLTP（On-LineTransactionProcessing，联机事务处理）系统的数据量，从而缓解系统压力，提高系统性能。对于系统中一些流水性质的业务单据做卸载处理，虽然导致历史数据查询不能在OLTP系统上进行，限制了一些处理业务的日期范围，但由于业务和实现技术折衷，在大多数行业中可以得到比较合适的实际应用。

但是，对于信息系统中的基础档案来说，它往往被一些业务单据所引用，很难按一个明确的日期维度做数据切割。如果强行按一定日期范围把基础档案数据卸载出系统，导致的结果如图1所示，引用这些基础档案的单据在查询或业务处理时出现异常，或数据不能完整显示。

因此，需要一种新的数据卸载技术，能够减少卸载数据对业务应用的影响，并根据业务需要灵活地卸载数据。

发明内容

本发明正是基于上述问题，提出了一种数据卸载技术，能够减少卸载数据对业务应用的影响，并根据业务需要灵活地卸载数据。

有鉴于此，本发明提出了一种数据卸载装置，包括：注册单元，用于判断第一实体是否引用其他实体中的数据，若是，则控制所述第一实体注册引用信息；判断单元，用于在卸载第二实体中的目标数据之前，根据所述引用信息判断所述目标数据是否被所述第一实体引用；复制单元，用于在所述目标数据被所述第一实体引用时，将所述目标数据复制到所述第一实体中；卸载单元，用于在所述目标数据未被所述第一实体引用时，或在将所述目标数据复制到所述第一实体之后，将所述目标数据从所述第二实体中卸载。

在该技术方案中，实体可以是单据，通过将被引用实体（即第二实体）中的数据复制到引用实体（即第一实体）中，在删除第二实体中的数据后，如果对于引用实体业务需要使用已卸载的数据，那么可以从引用实体中直接取值，从而减少了对引用实体本身业务的影响，而且，由于数据取自引用实体本身，使得经常性的业务处理变得高效。

在上述技术方案中，优选地，还包括：指令解析单元，用于在接收到卸载指令时，解析所述卸载指令得到预设卸载条件，根据所述预设卸载条件确定卸载所述目标数据。

在该技术方案中，用户可以根据需要设置卸载条件，以便准确地卸载需要卸载的数据。

在上述技术方案中，优选地，所述预设卸载条件包括以下至少一种：预设位置、预设活跃度、预设引用频率。

在上述任一技术方案中，优选地，还包括：记录单元，用于记录所述目标数据的卸载历史信息。

在上述技术方案中，优选地，还包括：数据恢复单元，用于在接收到的恢复指令时，根据所述卸载历史信息将所述目标数据恢复到所述第二实体中。

在该技术方案中，用户可以根据需要恢复已卸载的数据。

本发明还提出了一种数据卸载方法，包括：步骤202，判断第一实体是否引用其他实体中的数据，若是，则控制所述第一实体注册引用信息；步骤204，在卸载第二实体中的目标数据之前，根据所述引用信息判断所述目标数据是否被所述第一实体引用，若所述目标数据未被所述第一实体引用，则将所述目标数据从所述第二实体中卸载；步骤206，若所述目标数据被所述第一实体引用，则将所述目标数据复制到所述第一实体中，将所述目标数据从所述第二实体中卸载。

在该技术方案中，实体可以是单据，通过将被引用实体（即第二实体）中的数据复制到引用实体（即第一实体）中，在删除第二实体中的数据后，如果对于引用实体业务需要使用已卸载的数据，那么可以从引用实体中直接取值，从而减少了对引用实体本身业务的影响，而且，由于数据取自引用实体本身，使得经常性的业务处理变得高效。

在上述技术方案中，优选地，在所述步骤204之前还包括：在接收到卸载指令时，解析所述卸载指令得到预设卸载条件，根据所述预设卸载条件确定卸载所述目标数据。

在该技术方案中，用户可以根据需要设置卸载条件，以便准确地卸载需要卸载的数据。

在上述技术方案中，优选地，所述预设卸载条件包括以下至少一种：预设位置、预设活跃度、预设引用频率。

在上述任一技术方案中，优选地，还包括：记录所述目标数据的卸载历史信息。

在上述技术方案中，优选地，还包括：在接收到的恢复指令时，根据所述卸载历史信息将所述目标数据恢复到所述第二实体中。

在该技术方案中，用户可以根据需要恢复已卸载的数据。

通过以上技术方案，大数据档案可以按应用的要求灵活设置卸载规则，可以随时方便的卸载数据，而不只是通常业务数据卸载技术中只能按历史日期卸载数据，数据卸载往往需要停系统后维护。

卸载基础档案数据后，业务应用基本不受影响，对卸载数据有引用的历史单据的业务处理都能正常进行。

卸载大数据基础档案后，对这些基础数据的维护也更加方便。

卸载大数据基础档案后，系统效率大大提高，尤其是引用卸载数据的历史单据，由于本发明采用冗余复制技术，使这部分单据的业务处理相对于卸载前更加高效。

附图说明

图1示出了强行按一定日期范围把基础档案数据卸载出系统的示意图；

图2示出了根据本发明的实施例的数据卸载装置的框图；

图3示出了根据本发明的实施例的数据卸载方法的流程图；

图4示出了根据本发明的实施例的被引用数据卸载时幅值冗余引用值的示意图；

图5示出了根据本发明的实施例的数据卸载装置的结构图；

图6示出了根据本发明的实施例的数据卸载方法的具体流程图；

图7A和图7B示出了根据本发明的实施例的数据引用关系示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图2示出了根据本发明的实施例的数据卸载装置的框图。

如图2所示，根据本发明的实施例的数据卸载装置100包括：注册单元102，用于判断第一实体是否引用其他实体中的数据，若是，则控制第一实体注册引用信息；判断单元104，用于在卸载第二实体中的目标数据之前，根据引用信息判断目标数据是否被第一实体引用；复制单元106，用于在目标数据被第一实体引用时，将目标数据复制到第一实体中；卸载单元108，用于在目标数据未被第一实体引用时，或在将目标数据复制到第一实体之后，将目标数据从第二实体中卸载。

实体可以是单据，通过将被引用实体（即第二实体）中的数据复制到引用实体（即第一实体）中，在删除第二实体中的数据后，如果对于引用实体业务需要使用已卸载的数据，那么可以从引用实体中直接取值，从而减少了对引用实体本身业务的影响，而且，由于数据取自引用实体本身，使得经常性的业务处理变得高效。

优选地，还包括：指令解析单元110，用于在接收到卸载指令时，解析卸载指令得到预设卸载条件，根据预设卸载条件确定卸载目标数据。

用户可以根据需要设置卸载条件，以便准确地卸载需要卸载的数据。

优选地，预设卸载条件包括以下至少一种：预设位置、预设活跃度、预设引用频率。

优选地，还包括：记录单元112，用于记录目标数据的卸载历史信息。

优选地，还包括：数据恢复单元114，用于在接收到的恢复指令时，根据卸载历史信息将目标数据恢复到第二实体中。

用户可以根据需要恢复已卸载的数据。

图3示出了根据本发明的实施例的数据卸载方法的流程图。

如图3所示，根据本发明的实施例的数据卸载方法包括：步骤202，判断第一实体是否引用其他实体中的数据，若是，则控制第一实体注册引用信息；步骤204，在卸载第二实体中的目标数据之前，根据引用信息判断目标数据是否被第一实体引用，若目标数据未被第一实体引用，则将目标数据从第二实体中卸载；步骤206，若目标数据被第一实体引用，则将目标数据复制到第一实体中，将目标数据从第二实体中卸载。

实体可以是单据，通过将被引用实体（即第二实体）中的数据复制到引用实体（即第一实体）中，在删除第二实体中的数据后，如果对于引用实体业务需要使用已卸载的数据，那么可以从引用实体中直接取值，从而减少了对引用实体本身业务的影响，而且，由于数据取自引用实体本身，使得经常性的业务处理变得高效。

优选地，在步骤204之前还包括：在接收到卸载指令时，解析卸载指令得到预设卸载条件，根据预设卸载条件确定卸载目标数据。

用户可以根据需要设置卸载条件，以便准确地卸载需要卸载的数据。

优选地，预设卸载条件包括以下至少一种：预设位置、预设活跃度、预设引用频率。

优选地，还包括：记录目标数据的卸载历史信息。

优选地，还包括：在接收到的恢复指令时，根据卸载历史信息将目标数据恢复到第二实体中。

用户可以根据需要恢复已卸载的数据。

图4示出了根据本发明的实施例的被引用数据卸载时幅值冗余引用值的示意图。

如图4所示，在卸载数据时，将需要卸载的被应用数据值拷贝到引用实体上，这样，以后需要继续使用卸载数据时，引用实体直接从自身取值即可，不会影响引用实体本身的业务，同时，由于数据取自实体本身，这样日常业务的处理也更加高效。

卸载时在引用实体上冗余复制引用基础档案值技术，解决基础档案无法按固定期间维度卸载问题，保证基础档案卸载后引用基础实体数据的完整性，避免在系统应用时出现的处理异常。

图5示出了根据本发明的实施例的数据卸载装置的结构图。

如图5所示，引用关系管理模块302：处理引用实体和被引用实体关系的注册，关系记录，为被引用实体在数据卸载时，提供引用关系，辅助数据卸载过程的完成。

数据卸载规则设置模块304：保证系统灵活设置数据卸载规则，确定数据卸载范围。可按实际的业务规则设置数据范围，如按客户所在地区设置，或按数据活跃程度设置，或按引用频度设置。

数据卸载处理模块306：根据数据卸载规则设置的数据卸载范围，根据引用关系管理模块提供的引用关系，将卸载数据的引用值复制拷贝到引用实体，完成卸载数据到历史数据的迁移。

卸载历史数据管理模块308：管理被卸载的历史数据，提供对卸载历史数据的查询，如果需要，提供历史卸载数据的恢复处理。

图6示出了根据本发明的实施例的数据卸载方法的具体流程图。

如图6所示，根据本发明的实施例的数据卸载方法的具体流程包括：

步骤402，注册引用数据关系；

步骤404，根据引用关系在引用实体上增加引用值冗余字段；

步骤406，设置数据卸载规则，确定数据卸载范围；

步骤408，根据卸载数据及引用关系统计需复制的数据；

步骤410，复制卸载数据的值到引用实体；

步骤412，从当前系统转移卸载数据到历史表。

基于以上原理，这里列举ERP系统中的实例如下：

客户档案是ERP系统中的基础档案，销售订单是引用客户档案的业务实体。

首先，销售订单引用了客户档案的客户名称，编码，客户类别等属性，如表1，表2所示：

销售订单号	客户编号	客户名称	客户分类	......
					0001	CUST0001
0002	CUST0001
					0003	CUST0002
0004	CUST0002
					005	CUST0003
......

表1

客户编号	客户名称	客户分类	......
				CUST0001	分销客户	华北区
CUST0002	小客户	华南区
				CUST0003	优质客户	华南区
CUST0004	其它客户	华北区
				......

表2

表1和表2的引用关系如图7A所示，表2中用户编号为CUST0001的一行数据引用表1中销售订单号为0001和0002的两行数据，表2中用户编号为CUST0002的一行数据引用表1中销售订单号为0003和0003的两行数据，表2中用户编号为CUST0003的一行数据引用表1中销售订单号为0005的一行数据。

销售订单向本装置的引用关系管理注册引用信息，从而将引用关系信息记录到引用关系数据库中，如表3所示：

引用实体	被引用实体	引用字段
			销售订单	客户档案	客户名称
销售订单	客户档案	客户分类
			销售订单	客户档案	客户编码
......

表3

在数据卸载时，根据数据卸载设置的一些数据卸载业务规则，如按地区确定数据卸载范围，或按最近一年无购买记录确定客户范围，如表2中客户编号为CUST0002的一行表示确定需卸载的客户数据。

本装置数据卸载模块根据本次确定的数据卸载范围表2，依据数据引用关系表3，检查到销售订单对客户档案存在数据依赖关系，发现卸载数据将导致销售订单客户数据不完整，会自动将客户档案的实际值数据（客户名称、客户分类）复制到销售订单上，卸载数据后的表单如表4，5所示：

销售订单号	客户编号	客户名称	客户分类	......
					0001	CUST0001
0002	CUST0001
					0003	CUST0002	小客户	华南区
0004	CUST0002	小客户	华南区
					0005	CUST0003
......

表4

客户编号	客户名称	客户分类	......
				CUST0001	分销客户	华北区
CUST0003	优质客户	华南区
				.......

表5

表4和表5的引用关系如图7B所示，表5（原表2）中用户编号为CUST0001的一行数据引用表4（原表1）中销售订单号为0001和0002的两行数据，表5中用户编号为CUST0003的一行数据引用表4中销售订单号为0005的一行数据，从而保证销售订单在数据卸载后业务处理的完整性。

以上结合附图详细说明了本发明的技术方案，考虑到相关技术中，在进行数据卸载时，容易造成单据在查询或业务处理时出现异常，或数据不能完整显示。通过本发明的技术方案，卸载基础档案数据后，业务应用基本不受影响，对卸载数据有引用的历史单据的业务处理都能正常进行。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据卸载装置，其特征在于，包括：

注册单元，用于判断第一实体是否引用其他实体中的数据，若是，则控制所述第一实体注册引用信息；

判断单元，用于在卸载第二实体中的目标数据之前，根据所述引用信息判断所述目标数据是否被所述第一实体引用；

复制单元，用于在所述目标数据被所述第一实体引用时，将所述目标数据复制到所述第一实体中；

卸载单元，用于在所述目标数据未被所述第一实体引用时，或在将所述目标数据复制到所述第一实体之后，将所述目标数据从所述第二实体中卸载。

2.根据权利要求1所述的数据卸载装置，其特征在于，还包括：

指令解析单元，用于在接收到卸载指令时，解析所述卸载指令得到预设卸载条件，根据所述预设卸载条件确定卸载所述目标数据。

3.根据权利要求2所述的数据卸载装置，其特征在于，所述预设卸载条件包括以下至少一种：预设位置、预设活跃度、预设引用频率。

4.根据权利要求1至3中任一项所述的数据卸载装置，其特征在于，还包括：

记录单元，用于记录所述目标数据的卸载历史信息。

5.根据权利要求4所述的数据卸载装置，其特征在于，还包括：

数据恢复单元，用于在接收到的恢复指令时，根据所述卸载历史信息将所述目标数据恢复到所述第二实体中。

6.一种数据卸载方法，其特征在于，包括：

步骤202，判断第一实体是否引用其他实体中的数据，若是，则控制所述第一实体注册引用信息；

步骤204，在卸载第二实体中的目标数据之前，根据所述引用信息判断所述目标数据是否被所述第一实体引用，若所述目标数据未被所述第一实体引用，则将所述目标数据从所述第二实体中卸载；

步骤206，若所述目标数据被所述第一实体引用，则将所述目标数据复制到所述第一实体中，将所述目标数据从所述第二实体中卸载。

7.根据权利要求6所述的数据卸载方法，其特征在于，在所述步骤204之前还包括：在接收到卸载指令时，解析所述卸载指令得到预设卸载条件，根据所述预设卸载条件确定卸载所述目标数据。

8.根据权利要求7所述的数据卸载方法，其特征在于，所述预设卸载条件包括以下至少一种：预设位置、预设活跃度、预设引用频率。

9.根据权利要求6至8中任一项所述的数据卸载方法，其特征在于，还包括：记录所述目标数据的卸载历史信息。

10.根据权利要求9所述的数据卸载方法，其特征在于，还包括：在接收到的恢复指令时，根据所述卸载历史信息将所述目标数据恢复到所述第二实体中。