CN112632043A - 一种数据仓库优化方法和装置 - Google Patents

Abstract

本发明公开了一种数据仓库优化方法和装置，包括回收暂存模块、优化分析模块和存储调配模块，所述误删恢复模块用于恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中；所述回收暂存模块用于存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，所述计时单元用于对回收暂存模块中存放的数据文件进行计时，并将计时信息发送至定时清理单元，所述定时清理单元接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据文件进行定时清理，本发明在数据文件存储时，根据数据文件的数量、内存大小和上传时间及时调用适配存储空间的数据仓库，且数据仓库自身可以进行清理和瘦身。

Description

一种数据仓库优化方法和装置

技术领域

本发明属于数据仓库应用领域，涉及数据仓库优化技术，具体是一种数据仓库优化方法和装置。

背景技术

数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。在当前信息技术与数据智能大环境下，数据仓库在软硬件领域、Internet 和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术。

数据仓库在进行数据文件存储时，无法根据上传文件的数量和内存大小及时调用相应存储空间的数据仓库；数据仓库随着长时间运营具备一定规模，对数据仓库的要求就更加严苛，一旦数据仓库无法承受工作压力，将直接造成系统和各种业务的瘫痪，其损失也会是非常巨大的，而且目前的企业数据仓库参数的调整仍然主要依靠人工操作，难免出现凭经验设置的弊端，同时数据仓库的清理和瘦身也主要是根据应用生命周期进行清理，当数据仓库非常庞大时，各个对象之间的关系变得非常复杂、冗余和不透明，利用现有技术进行数据仓库瘦身无法将冗余、无用对象一次全部清理；为此，我们提出一种数据仓库优化方法和装置。

发明内容

针对现有技术存在的不足，本发明目的是提供一种数据仓库优化方法和装置。

本发明所要解决的技术问题为：

数据仓库在进行数据文件存储时，无法根据上传文件的数量和内存大小及时调用相应存储空间的数据仓库；数据仓库随着长时间运营具备一定规模，对数据仓库的要求就更加严苛，一旦数据仓库无法承受工作压力，将直接造成系统和各种业务的瘫痪，其损失也会是非常巨大的，而且目前的企业数据仓库参数的调整仍然主要依靠人工操作，难免出现凭经验设置的弊端，同时数据仓库的清理和瘦身也主要是根据应用生命周期进行清理，当数据仓库非常庞大时，各个对象之间的关系变得非常复杂、冗余和不透明，利用现有技术进行数据仓库瘦身无法将冗余、无用对象一次全部清理。

本发明的目的可以通过以下技术方案实现：

一种数据仓库优化装置，包括数据仓库组、数据采集模块、用户终端、误删恢复模块、回收暂存模块、优化分析模块和存储调配模块；

若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，若干个用户终端与数据仓库组双向数据连接；所述数据采集模块用于获取数据仓库组和数据文件的基本信息，并将数据仓库组和数据文件的基本信息发送至优化分析模块；

所述误删恢复模块用于恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中；所述回收暂存模块用于存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，所述回收暂存模块包括计时单元和定时清理单元，所述计时单元用于对回收暂存模块中存放的数据文件进行计时，并将计时信息发送至定时清理单元，所述定时清理单元用于接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据文件进行定时清理，定时清理的工作过程具体如下：

W1：当数据文件i从数据仓库组中回收至回收暂存模块时，将系统当前时间记为数据文件的回收起始时间T0i，同时计时单元开始对回收暂存模块中存放的数据文件进行计时，i=1，2，……，n；

W2：设定数据文件在回收暂存模块中的时间阈值，并将时间阈值标记为TY1；

W3：利用计时单元对回收暂存模块中数据文件进行实时存放计时，获取系统当前时间并将当前时间记为T1i，利用公式TCi=T1i-T0i计算得到数据文件在回收暂存模块中的实时存放时间TCi；

W5：实时存放时间TCi与时间阈值TY1进行比对，若实时存放时间TCi小于时间阈值TY1时，定时清理单元不进行任何操作；若实时存放时间TCi大于等于时间阈值TY1时，回收暂存模块生成清理信号发送至用户终端，同时计时单元将清理信号的时间记为发送时间TFi；

W6：待用户终端接收到清理信号，同时计时单元将用户终端接收清理信号的时间记为接收时间TJi，利用公式TFCi=TJi-TFi计算清理信号的发送时长TFCi，若清理信号的发送时长TFCi大于时间阈值TY2，则判断清理信号发送超时，清理信号需要重新发送，若清理信号的发送时长TFCi小于等于时间阈值TY2，则判断清理信号发送正常，清理信号无需重新发送，此时清理信号显示在用户终端上，使用人员点击后继续保存信号和立即清理信号反馈至回收暂存模块，同时计时单元将使用人员点击清理信号的时间记为确认时间TQi；

W7：计算时间TQi与时间TJi之间的时间差，并将时间差记为使用人员确认清理信号的反应间隔时间TGi，若反应间隔时间TGi大于时间阈值TY3，产生的继续保存信号和立即清理信号无效且不反馈至回收暂存模块，若反应间隔时间TGi小于等于时间阈值TY3，产生的继续保存信号和立即清理信号有效且反馈至回收暂存模块；

W8：回收暂存模块依据立即清理信号启动定时清理单元，定时清理单元对回收暂存模块中达到时间阈值的数据文件进行删除清理。

进一步地，所述用户终端在进行数据文件上传时，所述存储调配模块用于对上传的数据文件进行分配存储，分配存储过程具体如下：

S1：获取系统前一周用户终端上传的数据文件t，获取对应数据文件的上传时间，上传时间包括上传开始时间SKt和上传结束时间SJt，计算上传开始时间SKt和上传结束时间SJt之间的时间差得到每个数据文件的上传时间St，每个数据文件的上传时间St相加求和取平均值得到平均上传时间SPt；

S2：按照一天24小时划分进行时段划分，并将时段标记为r，r=1，2，……，24；提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中；

S3：获取每个时段的文件上传数SCr，利用公式Tr=SCr×SPt计算得到每个时段的文件上传总时间Tr；

S4：分别按照每个时段的文件上传数SCr和文件上传总时间Tr进行降序排列生成两个升序排列表；

S5：以升序排列表的左上角为圆点，升序排列表的横向为X轴，升序排列表的纵向为Y轴，分别得到每个时段在两个升序排列表中的位置坐标（X_SCr，Y_SCr）、（X_Tr，Y_Tr）；

S6：将位置坐标进行量化处理，利用公式

计算得到处理值CLr，式中α和β均为预设比例系数固定数值，a=0.014754，β=1.2464794；

S7：获取步骤S6中的处理值CLr，设定预设值Y1、Y2、Y3和Y4，且Y1＜Y2＜Y3＜Y4，数据仓库组的存储空间由小到大分别为一级存储库、二级存储库、三级存储库、四级存储库和五级存储库；

S8：若CLr≤Y1，则启用一级存储库；

若Y1＜CLr≤Y2，则启用二级存储库；

若Y2＜CLr≤Y3，则启用三级存储库；

若Y3＜CLr≤Y4，则启用四级存储库；

若Y4＜CLr，则启用四级存储库。

进一步地，所述优化分析模块用于对数据仓库组中的数据文件进行优化分析，并将优化分析结果反馈至数据仓库组，优化分析过程具体如下：

P1：获取数据仓库组的总空间，并将总空间标记为ZK；

P2：获取数据仓库组中存储的每个数据文件，并将数据文件标记为u，u=1，……，m；获取数据仓库组中存储的每个数据文件的占用空间Ku，利用求和公式计算得出若干个数据文件的当前占用总空间KZ；

P3：利用公式KZ/u计算得到每个数据文件u在数据仓库组中的平均占用空间KP；

P4：获取占用空间Ku大于平均占用空间KP数据文件的数量a，获取占用空间Ku小于平均占用空间KP数据文件的数量b；

P5：将占用空间Ku大于平均占用空间KP数据文件的数量a与占用空间Ku小于平均占用空间KP数据文件的数量b进行比对；

P51：当a≥b时，则进入下一步骤；

P52：当a＜b时，则数据仓库组无需优化；

P6：获取数据仓库组前一周中的每日数据存储量Co和每日数据删除量So，o=1，……，7，计算得到数据仓库组前一周中每日数据平均存储量CPo和每日数据平均删除量SPo；

P7：当SPo＞CPo时，则数据仓库组无需优化；

当SPo≤CPo时，利用公式D=（ZK-KZ）/（CPo-SPo）计算得出数据仓库组的内存消耗时间D，数据仓库组的内存消耗时间D反馈至用户终端；

P8：获取数据仓库组中每个数据文件的创建时间Tc，利用当前时间减去每个数据文件的创建时间Tc得到每个数据文件在数据仓库组中的实时存放时间TCu；

P9：当数据文件在数据仓库组中的实时存放时间TCu超过时间阈值TY4，数据文件自动进入回收暂存模块内存放，数据文件在回收暂存模块的时间阈值为TY1。

进一步地，所述计时单元还用于对数据仓库组中存放的数据文件进行计时，并将计时信息发送至优化分析模块。

进一步地，数据仓库组的基本信息包括数据仓库组的总内存、存储的数据文件数量、当前剩余内存量、日存储量和日删除量，数据文件的基本信息包括数据文件的内存大小、上传开始时间和上传结束时间。

一种数据仓库优化方法，所述数据仓库优化方法包括以下具体步骤：

步骤一，若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，数据采集模块对数据仓库组和上传文件的基本信息采集后发送至优化分析模块，优化分析模块对数据仓库组中的数据文件进行优化分析，获取数据仓库组的总空间、数据仓库组中存储的每个数据文件的占用空间，得出若干个数据文件的当前占用总空间，利用公式计算得到每个数据文件在数据仓库组中的平均占用空间，获取占用空间大于平均占用空间数据文件的数量和占用空间小于平均占用空间数据文件的数量，将占用空间大于平均占用空间数据文件的数量与占用空间小于平均占用空间数据文件的数量进行比对，依据比对结果判断数据仓库组是否需要优化，当需要优化时，将每日数据平均存储量和每日数据平均删除量进行计算得到内存消耗时间，而后获取数据仓库组中每个数据文件的创建时间，利用当前时间减去每个数据的创建时间得到每个数据文件在数据仓库组中的时间阈值，当数据文件在数据仓库组中的时间阈值超过时间阈值，数据文件自动进入回收暂存模块内存放；

步骤二，用户终端在数据文件上传时，存储调配模块对上传的数据文件进行分配存储，获取系统前一周用户终端上传的数据文件的上传开始时间和上传结束时间，计算上传开始时间与上传结束时间之间的时间差得到每个数据文件的上传时间，每个数据文件的上传时间相加求和取平均值得到平均上传时间，按照一天24小时划分进行时段划分，提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中，相应获取每个时段的数据文件上传数，利用公式计算得到每个时段数据文件的上传总时间，分别按照每个时段的文件上传数和文件上传总时间降序排列生成两个升序排列表，以升序排列表建立直角坐标系，分别得到每个时段在两个升序排列表中的位置坐标，将位置坐标进行量化处理，利用公式计算得到处理值，依据处理值启用对应等级的存储库；

步骤三，回收暂存模块存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，计时单元对回收暂存模块中存放的数据文件进行计时，定时清理单元接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据进行定时清理，当数据文件从数据仓库组中回收至回收暂存模块时，将系统当前时间记为数据文件的回收起始时间，同时计时单元开始对回收暂存模块中存放的数据文件进行计时，通过计时单元对回收暂存模块中数据文件进行实时存放计时，利用公式计算得到数据文件的实时存放时间，实时存放时间与时间阈值进行比对，若实时存放时间小于时间阈值时，定时清理单元不进行任何操作，若实时存放时间大于等于时间阈值时，回收暂存模块生成清理信号发送至用户终端，同时计时单元将清理信号的时间记为发送时间，待用户终端接收到清理信号，同时计时单元将用户终端接收清理信号的时间记为接收时间，利用公式计算清理信号的发送时长，若清理信号的发送时长大于时间阈值，则判断清理信号发送超时，清理信号需要重新发送，若清理信号的发送时长小于等于时间阈值，则判断清理信号发送正常，清理信号无需重新发送，此时清理信号显示在用户终端上，使用人员点击后产生继续保存信号和立即清理信号反馈至回收暂存模块，同时计时单元将使用人员点击清理信号的时间记为确认时间，计算接收时间与确认时间之间的反应间隔时间，若反应间隔时间大于时间阈值，产生的继续保存信号和立即清理信号无效且不反馈至回收暂存模块，若反应间隔时间小于等于时间阈值，产生的继续保存信号和立即清理信号有效且反馈至回收暂存模块，回收暂存模块依据立即清理信号启动定时清理单元，定时清理单元对回收暂存模块中达到时间阈值的数据文件进行删除清理，同时通过误删恢复模块恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中。

与现有技术相比，本发明的有益效果是：

1、本发明通过优化分析模块对数据仓库组中的数据文件进行优化分析，通过获取数据仓库组的总空间、数据仓库组中存储的每个数据文件的占用空间、数据文件的当前占用总空间，利用公式计算得到每个数据文件在数据仓库组中的平均占用空间，获取占用空间大于平均占用空间数据文件的数量和占用空间小于平均占用空间数据文件的数量，将占用空间大于平均占用空间数据文件的数量与占用空间小于平均占用空间数据文件的数量进行比对，依据比对结果判断数据仓库组是否需要优化，再通过获取数据仓库组前一周的每日数据平均存储量和每日数据平均删除量，将每日数据平均存储量和每日数据平均删除量进行计算得到内存消耗时间，当需要优化时，利用公式计算得出数据仓库组的预估优化时间，从而数据仓库组中每个数据文件的创建时间，利用当前时间减去每个数据的创建时间得到每个数据文件在数据仓库组中的时间阈值，当数据文件在数据仓库组中的时间阈值超过时间阈值，数据文件自动进入回收暂存模块内存放；

2、本发明在用户终端在进行数据文件上传时，存储调配模块对上传的文件进行分配存储，通过系统前一周用户终端上传的数据文件的上传开始时间和上传结束时间之间的时间差得到每个数据文件的上传时间，数据文件的上传时间相加求和取平均值得到平均上传时间，对一天划分进行时段划分，提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中，相应获取每个时段的数据文件上传数，利用公式计算得到每个时段数据文件的上传总时间，分别按照每个时段的文件上传数和文件上传总时间降序后排列生成两个升序排列表，获取得到每个时段在两个升序排列表中的位置坐标，将位置坐标进行量化处理，利用公式计算得到处理值，依据处理值启用对应等级的存储库；

3、本发明通过回收暂存模块存放数据仓库组删除后的数据和数据仓库组中存放超时的数据，计时单元对回收暂存模块中存放的数据进行计时，定时清理单元依据计时信息对回收暂存模块中达到时间阈值的数据进行定时清理，通过记录回收起始时间和系统当前时间得到数据文件的实时存放时间，实时存放时间与时间阈值进行比对，若实时存放时间大于等于时间阈值时，回收暂存模块生成清理信号发送至用户终端，通过计算清理信号的发送时间和接收时间之间的时间差，依据时间差判断清理信号是否发送超时，若正常计算使用人员点击清理信号的接收时间和确认时间之间的应间隔时间，依据应间隔时间判断继续保存信号和立即清理信号是否有效，若有效继续保存信号和立即清理信号反馈至回收暂存模块，定时清理单元依据立即清理信号对达到时间阈值的数据文件进行删除清理。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的整体系统框图；

图2为本发明的流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

请参阅图1-图2所示，一种数据仓库优化装置，包括数据仓库组、数据采集模块、用户终端、误删恢复模块、回收暂存模块、优化分析模块、存储调配模块和性能分析模块；

若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，若干个用户终端与数据仓库组双向数据连接；数据采集模块用于获取数据仓库组和数据文件的基本信息，并将数据仓库组和数据文件的基本信息发送至优化分析模块，数据仓库组的基本信息包括数据仓库组的总内存、存储的数据文件数量、当前剩余内存量、日存储量和日删除量，数据文件的基本信息包括数据文件的内存大小、上传开始时间和上传结束时间；

误删恢复模块用于恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中；回收暂存模块用于存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，回收暂存模块包括计时单元和定时清理单元，计时单元用于对回收暂存模块中存放的数据文件进行计时，并将计时信息发送至定时清理单元，定时清理单元用于接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据文件进行定时清理，定时清理的工作过程具体如下：

W1：当数据文件i从数据仓库组中回收至回收暂存模块时，将系统当前时间记为数据文件的回收起始时间T0i，同时计时单元开始对回收暂存模块中存放的数据文件进行计时，i=1，2，……，n；

W2：设定数据文件在回收暂存模块中的时间阈值，并将时间阈值标记为TY1；

W3：利用计时单元对回收暂存模块中数据文件进行实时存放计时，获取系统当前时间并将当前时间记为T1i，利用公式TCi=T1i-T0i计算得到数据文件在回收暂存模块中的实时存放时间TCi；

W5：实时存放时间TCi与时间阈值TY1进行比对，若实时存放时间TCi小于时间阈值TY1时，定时清理单元不进行任何操作；若实时存放时间TCi大于等于时间阈值TY1时，回收暂存模块生成清理信号发送至用户终端，同时计时单元将清理信号的时间记为发送时间TFi；

W6：待用户终端接收到清理信号，同时计时单元将用户终端接收清理信号的时间记为接收时间TJi，利用公式TFCi=TJi-TFi计算清理信号的发送时长TFCi，若清理信号的发送时长TFCi大于时间阈值TY2，则判断清理信号发送超时，清理信号需要重新发送，若清理信号的发送时长TFCi小于等于时间阈值TY2，则判断清理信号发送正常，清理信号无需重新发送，此时清理信号通过“保存”字样或者“删除”两种字样显示在用户终端上，使用人员点击“保存”字样或者“删除”字样中的任一字样，点击“保存”字样则产生继续保存信号反馈至回收暂存模块，点击“删除”字样则产生立即清理信号反馈至回收暂存模块，同时计时单元将使用人员点击清理信号的时间记为确认时间TQi；

W7：计算时间TQi与时间TJi之间的时间差，并将时间差记为使用人员确认清理信号的反应间隔时间TGi，若反应间隔时间TGi大于时间阈值TY3，产生的继续保存信号和立即清理信号无效且不反馈至回收暂存模块，若反应间隔时间TGi小于等于时间阈值TY3，产生的继续保存信号和立即清理信号有效且反馈至回收暂存模块；

W8：回收暂存模块依据立即清理信号启动定时清理单元，定时清理单元对回收暂存模块中达到时间阈值的数据文件进行删除清理；

用户终端在进行数据文件上传时，存储调配模块用于对上传的数据文件进行分配存储，分配存储过程具体如下：

S1：获取系统前一周用户终端上传的数据文件t，获取对应数据文件的上传时间，上传时间包括上传开始时间SKt和上传结束时间SJt，计算上传开始时间SKt和上传结束时间SJt之间的时间差得到每个数据文件的上传时间St，每个数据文件的上传时间St相加求和取平均值得到平均上传时间SPt；

S2：按照一天24小时划分进行时段划分，并将时段标记为r，r=1，2，……，24；提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中；

S3：获取每个时段的文件上传数SCr，利用公式Tr=SCr×SPt计算得到每个时段的文件上传总时间Tr；

S4：分别按照每个时段的文件上传数SCr和文件上传总时间Tr进行降序排列生成两个升序排列表；

S5：以升序排列表的左上角为圆点，升序排列表的横向为X轴，升序排列表的纵向为Y轴，分别得到每个时段在两个升序排列表中的位置坐标（X_SCr，Y_SCr）、（X_Tr，Y_Tr）；

S6：将位置坐标进行量化处理，利用公式

计算得到处理值CLr，式中α和β均为预设比例系数固定数值，a=0.014754，β=1.2464794；

S7：获取步骤S6中的处理值CLr，设定预设值Y1、Y2、Y3和Y4，且Y1＜Y2＜Y3＜Y4，数据仓库组的存储空间由小到大分别为一级存储库、二级存储库、三级存储库、四级存储库和五级存储库；

S8：若CLr≤Y1，则启用一级存储库；

若Y1＜CLr≤Y2，则启用二级存储库；

若Y2＜CLr≤Y3，则启用三级存储库；

若Y3＜CLr≤Y4，则启用四级存储库；

若Y4＜CLr，则启用四级存储库；

优化分析模块用于对数据仓库组中的数据文件进行优化分析，并将优化分析结果反馈至数据仓库组，优化分析过程具体如下：

P1：获取数据仓库组的总空间，并将总空间标记为ZK；

P2：获取数据仓库组中存储的每个数据文件，并将数据文件标记为u，u=1，……，m；获取数据仓库组中存储的每个数据文件的占用空间Ku，利用求和公式计算得出若干个数据文件的当前占用总空间KZ；

P3：利用公式KZ/u计算得到每个数据文件u在数据仓库组中的平均占用空间KP；

P4：获取占用空间Ku大于平均占用空间KP数据文件的数量a，获取占用空间Ku小于平均占用空间KP数据文件的数量b；

P5：将占用空间Ku大于平均占用空间KP数据文件的数量a与占用空间Ku小于平均占用空间KP数据文件的数量b进行比对；

P51：当a≥b时，则进入下一步骤；

P52：当a＜b时，则数据仓库组无需优化；

P6：获取数据仓库组前一周中的每日数据存储量Co和每日数据删除量So，o=1，……，7，计算得到数据仓库组前一周中每日数据平均存储量CPo和每日数据平均删除量SPo；

P7：当SPo＞CPo时，则数据仓库组无需优化；

当SPo≤CPo时，利用公式D=（ZK-KZ）/（CPo-SPo）计算得出数据仓库组的内存消耗时间D，数据仓库组的内存消耗时间D反馈至用户终端；

P8：获取数据仓库组中每个数据文件的创建时间Tc，利用当前时间减去每个数据文件的创建时间Tc得到每个数据文件在数据仓库组中的实时存放时间TCu；

P9：当数据文件在数据仓库组中的实时存放时间TCu超过时间阈值TY4，数据文件自动进入回收暂存模块内存放，数据文件在回收暂存模块的时间阈值为TY1；

其中，计时单元还用于对数据仓库组中存放的数据文件进行计时，并将计时信息发送至优化分析模块；

在具体实施时，在本发明实施例提供的上述数据仓库优化装置中，数据仓库优化装置还包括性能分析模块，性能分析模块用于对数据仓库组进行性能分析，并将性能分析结果发送至服务器，性能分析过程具体如下：

SS1：获取数据仓库组的注册用户数，并将注册用户数标记为Ys；

SS2：获取数据仓库组忙时集中并发系数，并将集中并发系数标记为Bx；

SS3：获取数据仓库组的对应事物操作数，并将对应事物操作数标记为Dc；

SS4：获取数据仓库组一天内忙时的处理量为平均值的N倍；

SS5：获取数据仓库组保留M％的冗余；

SS6：利用公式计算得出数据仓库组的处理能力值CN，公式具体如下：

CN=Ys×Bx×Dc×N/（1-M％）；

SS7：将处理能力值CN与预设阈值TPC-C比对；

若CN≥TPC-C，则代表数据仓库组的配置满足要求；

若CN＜TPC-C，则代表数据仓库组的配置不满足要求；

SS8：性能分析结果反馈至数据仓库组。

实施例2：

基于同一发明构思，本发明实施例还提供了一种数据仓库优化方法，数据仓库优化方法包括以下具体步骤：

步骤一，若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，数据采集模块对数据仓库组和上传文件的基本信息采集后发送至优化分析模块，优化分析模块对数据仓库组中的数据文件进行优化分析，获取数据仓库组的总空间、数据仓库组中存储的每个数据文件的占用空间，得出若干个数据文件的当前占用总空间，利用公式计算得到每个数据文件在数据仓库组中的平均占用空间，获取占用空间大于平均占用空间数据文件的数量和占用空间小于平均占用空间数据文件的数量，将占用空间大于平均占用空间数据文件的数量与占用空间小于平均占用空间数据文件的数量进行比对，依据比对结果判断数据仓库组是否需要优化，当需要优化时，将每日数据平均存储量和每日数据平均删除量进行计算得到内存消耗时间，而后获取数据仓库组中每个数据文件的创建时间，利用当前时间减去每个数据的创建时间得到每个数据文件在数据仓库组中的时间阈值，当数据文件在数据仓库组中的时间阈值超过时间阈值，数据文件自动进入回收暂存模块内存放；

步骤二，用户终端在数据文件上传时，存储调配模块对上传的数据文件进行分配存储，获取系统前一周用户终端上传的数据文件的上传开始时间和上传结束时间，计算上传开始时间与上传结束时间之间的时间差得到每个数据文件的上传时间，每个数据文件的上传时间相加求和取平均值得到平均上传时间，按照一天24小时划分进行时段划分，提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中，相应获取每个时段的数据文件上传数，利用公式计算得到每个时段数据文件的上传总时间，分别按照每个时段的文件上传数和文件上传总时间降序排列生成两个升序排列表，以升序排列表建立直角坐标系，分别得到每个时段在两个升序排列表中的位置坐标，将位置坐标进行量化处理，利用公式计算得到处理值，依据处理值启用对应等级的存储库；

步骤三，回收暂存模块存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，计时单元对回收暂存模块中存放的数据文件进行计时，定时清理单元接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据进行定时清理，当数据文件从数据仓库组中回收至回收暂存模块时，将系统当前时间记为数据文件的回收起始时间，同时计时单元开始对回收暂存模块中存放的数据文件进行计时，通过计时单元对回收暂存模块中数据文件进行实时存放计时，利用公式计算得到数据文件的实时存放时间，实时存放时间与时间阈值进行比对，若实时存放时间小于时间阈值时，定时清理单元不进行任何操作，若实时存放时间大于等于时间阈值时，回收暂存模块生成清理信号发送至用户终端，同时计时单元将清理信号的时间记为发送时间，待用户终端接收到清理信号，同时计时单元将用户终端接收清理信号的时间记为接收时间，利用公式计算清理信号的发送时长，若清理信号的发送时长大于时间阈值，则判断清理信号发送超时，清理信号需要重新发送，若清理信号的发送时长小于等于时间阈值，则判断清理信号发送正常，清理信号无需重新发送，此时清理信号显示在用户终端上，使用人员点击后产生继续保存信号和立即清理信号反馈至回收暂存模块，同时计时单元将使用人员点击清理信号的时间记为确认时间，计算接收时间与确认时间之间的反应间隔时间，若反应间隔时间大于时间阈值，产生的继续保存信号和立即清理信号无效且不反馈至回收暂存模块，若反应间隔时间小于等于时间阈值，产生的继续保存信号和立即清理信号有效且反馈至回收暂存模块，回收暂存模块依据立即清理信号启动定时清理单元，定时清理单元对回收暂存模块中达到时间阈值的数据文件进行删除清理，同时通过误删恢复模块恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中。

上述公式均是去量化取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种数据仓库优化装置，其特征在于，包括数据仓库组、数据采集模块、用户终端、误删恢复模块、回收暂存模块、优化分析模块和存储调配模块；

若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，若干个用户终端与数据仓库组双向数据连接；所述数据采集模块用于获取数据仓库组和数据文件的基本信息，并将数据仓库组和数据文件的基本信息发送至优化分析模块；

所述误删恢复模块用于恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中；所述回收暂存模块用于存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，所述回收暂存模块包括计时单元和定时清理单元，所述计时单元用于对回收暂存模块中存放的数据文件进行计时，并将计时信息发送至定时清理单元，所述定时清理单元用于接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据文件进行定时清理，定时清理的工作过程具体如下：

W1：当数据文件i从数据仓库组中回收至回收暂存模块时，将系统当前时间记为数据文件的回收起始时间T0i，同时计时单元开始对回收暂存模块中存放的数据文件进行计时，i=1，2，……，n；

W2：设定数据文件在回收暂存模块中的时间阈值，并将时间阈值标记为TY1；

W3：利用计时单元对回收暂存模块中数据文件进行实时存放计时，获取系统当前时间并将当前时间记为T1i，利用公式TCi=T1i-T0i计算得到数据文件在回收暂存模块中的实时存放时间TCi；

W5：实时存放时间TCi与时间阈值TY1进行比对，若实时存放时间TCi小于时间阈值TY1时，定时清理单元不进行任何操作；若实时存放时间TCi大于等于时间阈值TY1时，回收暂存模块生成清理信号发送至用户终端，同时计时单元将清理信号的时间记为发送时间TFi；

W6：待用户终端接收到清理信号，同时计时单元将用户终端接收清理信号的时间记为接收时间TJi，利用公式TFCi=TJi-TFi计算清理信号的发送时长TFCi，若清理信号的发送时长TFCi大于时间阈值TY2，则判断清理信号发送超时，清理信号需要重新发送，若清理信号的发送时长TFCi小于等于时间阈值TY2，则判断清理信号发送正常，清理信号无需重新发送，此时清理信号显示在用户终端上，使用人员点击后继续保存信号和立即清理信号反馈至回收暂存模块，同时计时单元将使用人员点击清理信号的时间记为确认时间TQi；

W7：计算时间TQi与时间TJi之间的时间差，并将时间差记为使用人员确认清理信号的反应间隔时间TGi，若反应间隔时间TGi大于时间阈值TY3，产生的继续保存信号和立即清理信号无效且不反馈至回收暂存模块，若反应间隔时间TGi小于等于时间阈值TY3，产生的继续保存信号和立即清理信号有效且反馈至回收暂存模块；

W8：回收暂存模块依据立即清理信号启动定时清理单元，定时清理单元对回收暂存模块中达到时间阈值的数据文件进行删除清理。

2.根据权利要求1所述的一种数据仓库优化装置，其特征在于，所述用户终端在进行数据文件上传时，所述存储调配模块用于对上传的数据文件进行分配存储，分配存储过程具体如下：

S1：获取系统前一周用户终端上传的数据文件t，获取对应数据文件的上传时间，上传时间包括上传开始时间SKt和上传结束时间SJt，计算上传开始时间SKt和上传结束时间SJt之间的时间差得到每个数据文件的上传时间St，每个数据文件的上传时间St相加求和取平均值得到平均上传时间SPt；

S2：按照一天24小时划分进行时段划分，并将时段标记为r，r=1，2，……，24；提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中；

S3：获取每个时段的文件上传数SCr，利用公式Tr=SCr×SPt计算得到每个时段的文件上传总时间Tr；

S4：分别按照每个时段的文件上传数SCr和文件上传总时间Tr进行降序排列生成两个升序排列表；

S5：以升序排列表的左上角为圆点，升序排列表的横向为X轴，升序排列表的纵向为Y轴，分别得到每个时段在两个升序排列表中的位置坐标（X_SCr，Y_SCr）、（X_Tr，Y_Tr）；

S6：将位置坐标进行量化处理，利用公式

计算得到处理值CLr，式中α和β均为预设比例系数固定数值，a=0.014754，β=1.2464794；

S7：获取步骤S6中的处理值CLr，设定预设值Y1、Y2、Y3和Y4，且Y1＜Y2＜Y3＜Y4，数据仓库组的存储空间由小到大分别为一级存储库、二级存储库、三级存储库、四级存储库和五级存储库；

S8：若CLr≤Y1，则启用一级存储库；

若Y1＜CLr≤Y2，则启用二级存储库；

若Y2＜CLr≤Y3，则启用三级存储库；

若Y3＜CLr≤Y4，则启用四级存储库；

若Y4＜CLr，则启用四级存储库。

3.根据权利要求1所述的一种数据仓库优化装置，其特征在于，所述优化分析模块用于对数据仓库组中的数据文件进行优化分析，并将优化分析结果反馈至数据仓库组，优化分析过程具体如下：

P1：获取数据仓库组的总空间，并将总空间标记为ZK；

P2：获取数据仓库组中存储的每个数据文件，并将数据文件标记为u，u=1，……，m；获取数据仓库组中存储的每个数据文件的占用空间Ku，利用求和公式计算得出若干个数据文件的当前占用总空间KZ；

P3：利用公式KZ/u计算得到每个数据文件u在数据仓库组中的平均占用空间KP；

P4：获取占用空间Ku大于平均占用空间KP数据文件的数量a，获取占用空间Ku小于平均占用空间KP数据文件的数量b；

P5：将占用空间Ku大于平均占用空间KP数据文件的数量a与占用空间Ku小于平均占用空间KP数据文件的数量b进行比对；

P51：当a≥b时，则进入下一步骤；

P52：当a＜b时，则数据仓库组无需优化；

P6：获取数据仓库组前一周中的每日数据存储量Co和每日数据删除量So，o=1，……，7，计算得到数据仓库组前一周中每日数据平均存储量CPo和每日数据平均删除量SPo；

P7：当SPo＞CPo时，则数据仓库组无需优化；

当SPo≤CPo时，利用公式D=（ZK-KZ）/（CPo-SPo）计算得出数据仓库组的内存消耗时间D，数据仓库组的内存消耗时间D反馈至用户终端；

P8：获取数据仓库组中每个数据文件的创建时间Tc，利用当前时间减去每个数据文件的创建时间Tc得到每个数据文件在数据仓库组中的实时存放时间TCu；

P9：当数据文件在数据仓库组中的实时存放时间TCu超过时间阈值TY4，数据文件自动进入回收暂存模块内存放，数据文件在回收暂存模块的时间阈值为TY1。

4.根据权利要求1所述的一种数据仓库优化装置，其特征在于，所述计时单元还用于对数据仓库组中存放的数据文件进行计时，并将计时信息发送至优化分析模块。

5.根据权利要求1所述的一种数据仓库优化装置，其特征在于，数据仓库组的基本信息包括数据仓库组的总内存、存储的数据文件数量、当前剩余内存量、日存储量和日删除量，数据文件的基本信息包括数据文件的内存大小、上传开始时间和上传结束时间。

6.一种数据仓库优化方法，其特征在于，所述数据仓库优化方法包括以下具体步骤：

步骤一，若干个用户终端用于使用人员通过个人终端上传数据文件至数据仓库组，数据采集模块对数据仓库组和上传文件的基本信息采集后发送至优化分析模块，优化分析模块对数据仓库组中的数据文件进行优化分析，获取数据仓库组的总空间、数据仓库组中存储的每个数据文件的占用空间，得出若干个数据文件的当前占用总空间，利用公式计算得到每个数据文件在数据仓库组中的平均占用空间，获取占用空间大于平均占用空间数据文件的数量和占用空间小于平均占用空间数据文件的数量，将占用空间大于平均占用空间数据文件的数量与占用空间小于平均占用空间数据文件的数量进行比对，依据比对结果判断数据仓库组是否需要优化，当需要优化时，将每日数据平均存储量和每日数据平均删除量进行计算得到内存消耗时间，而后获取数据仓库组中每个数据文件的创建时间，利用当前时间减去每个数据的创建时间得到每个数据文件在数据仓库组中的时间阈值，当数据文件在数据仓库组中的时间阈值超过时间阈值，数据文件自动进入回收暂存模块内存放；

步骤二，用户终端在数据文件上传时，存储调配模块对上传的数据文件进行分配存储，获取系统前一周用户终端上传的数据文件的上传开始时间和上传结束时间，计算上传开始时间与上传结束时间之间的时间差得到每个数据文件的上传时间，每个数据文件的上传时间相加求和取平均值得到平均上传时间，按照一天24小时划分进行时段划分，提取数据文件中上传时间的时针时间，依据时针时间将数据文件归类至对应的时段中，相应获取每个时段的数据文件上传数，利用公式计算得到每个时段数据文件的上传总时间，分别按照每个时段的文件上传数和文件上传总时间降序排列生成两个升序排列表，以升序排列表建立直角坐标系，分别得到每个时段在两个升序排列表中的位置坐标，将位置坐标进行量化处理，利用公式计算得到处理值，依据处理值启用对应等级的存储库；

步骤三，回收暂存模块存放数据仓库组删除后的数据文件和数据仓库组中存放超时的数据文件，计时单元对回收暂存模块中存放的数据文件进行计时，定时清理单元接收计时单元发送的计时信息，并依据计时信息对回收暂存模块中达到时间阈值的数据进行定时清理，当数据文件从数据仓库组中回收至回收暂存模块时，将系统当前时间记为数据文件的回收起始时间，同时计时单元开始对回收暂存模块中存放的数据文件进行计时，通过计时单元对回收暂存模块中数据文件进行实时存放计时，利用公式计算得到数据文件的实时存放时间，实时存放时间与时间阈值进行比对，若实时存放时间小于时间阈值时，定时清理单元不进行任何操作，若实时存放时间大于等于时间阈值时，回收暂存模块生成清理信号发送至用户终端，同时计时单元将清理信号的时间记为发送时间，待用户终端接收到清理信号，同时计时单元将用户终端接收清理信号的时间记为接收时间，利用公式计算清理信号的发送时长，若清理信号的发送时长大于时间阈值，则判断清理信号发送超时，清理信号需要重新发送，若清理信号的发送时长小于等于时间阈值，则判断清理信号发送正常，清理信号无需重新发送，此时清理信号显示在用户终端上，使用人员点击后产生继续保存信号和立即清理信号反馈至回收暂存模块，同时计时单元将使用人员点击清理信号的时间记为确认时间，计算接收时间与确认时间之间的反应间隔时间，若反应间隔时间大于时间阈值，产生的继续保存信号和立即清理信号无效且不反馈至回收暂存模块，若反应间隔时间小于等于时间阈值，产生的继续保存信号和立即清理信号有效且反馈至回收暂存模块，回收暂存模块依据立即清理信号启动定时清理单元，定时清理单元对回收暂存模块中达到时间阈值的数据文件进行删除清理，同时通过误删恢复模块恢复数据仓库组中误删的数据文件，并将恢复后的数据文件重新存储至数据仓库组中。

Images