CN104598540A - 定时数据迁移装置及其使用方法 - Google Patents
定时数据迁移装置及其使用方法 Download PDFInfo
- Publication number
- CN104598540A CN104598540A CN201410845774.4A CN201410845774A CN104598540A CN 104598540 A CN104598540 A CN 104598540A CN 201410845774 A CN201410845774 A CN 201410845774A CN 104598540 A CN104598540 A CN 104598540A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- strategy
- option
- submodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及应用服务器定时数据处理技术领域,是一种定时数据迁移装置及其使用方法,该定时数据迁移装置包括输入模块、定时监测服务器时间模块、定时监测服务器存储空间模块、数据迁移策略模块和数据处理模块;所述输入模块,包括数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,用于向使用者提示可设定的选项并将设定结果发送给数据迁移策略模块。本发明结构合理而紧凑,使用方便,其通过定时监测服务器时间模块定时监测系统时间为数据迁移提供时间依据,通过定时监测服务器存储空间模块定时监控存储空间为数据迁移提供空间依据,通过数据迁移策略模块实现相应的数据迁移策略,通过数据处理模块自动处理相应数据。
Description
技术领域
本发明涉及应用服务器定时数据处理技术领域,是一种定时数据迁移装置及其使用方法。
背景技术
随着信息技术在企业生产经营过程中的深化应用,在各类信息系统中产生了越来越多的生产、项目、资金和物资等数据。而且由于数据挖掘技术的日趋成熟,及时有效储存这些数据就显得越来越重要了。
由于各类信息系统的不断使用,它产生的各类数据会越来越多,然而计算机的存储容量毕竟是有限的,所以数据的定时备份迁移工作就显得势在必行了。对于一个大型的网站来说,它所产生的数据一般存储在数据库中。当今主流的数据库管理系统已经有了比较成熟的数据备份迁移策略,只要硬件条件允许,数据库管理系统中所管理的数据基本上都能得到有效的备份。但是对于除数据库之外的应用服务器,由于在应用服务器中存储的数据主要有以下特点:第一,在服务器中所承载的服务各有不同,而且这些服务一般都要求在特定的时间内服务器中所存储的数据不会缺失。第二,在服务器中所存储的数据有一定的时效性,对于还在时效性之内的数据不能轻易迁移,在实际使用过程中,随着持续工作时间的推移,应用服务器会存储越来越多的数据,当服务器中存储的数据已经接近存储极限的时候,服务器的存储空间出现瓶颈,影响了应用服务器的正常工作。由于现有应用服务器无法根据服务特点来确认过时数据,无法将过时数据进行自动定时数据迁移和数据备份,只能由操作维护人员进行手动的数据迁移,手动数据迁移不但操作步骤繁琐单调、操作效率较低,而且人工操作次数较多会造成系统不稳定。
发明内容
本发明提供了一种定时数据迁移装置及其使用方法,克服了上述现有技术之不足,其能有效解决现有应用服务器无法将过时数据进行自动定时数据备份和数据迁移,手动数据迁移存在操作步骤繁琐单调、效率较低、易造成系统不稳定的问题。
本发明的技术方案之一是通过以下措施来实现的:一种定时数据迁移装置,包括输入模块、定时监测服务器时间模块、定时监测服务器存储空间模块、数据迁移策略模块和数据处理模块;所述输入模块,包括数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,用于向使用者提示可设定的选项并将设定结果发送给数据迁移策略模块;所述定时监测服务器时间模块,用于向数据迁移策略模块定时提供服务器当前系统时间;所述定时监测服务器存储空间模块,用于向数据迁移策略模块定时提供服务器存储设备的基本信息;所述数据迁移策略模块,用于根据已设定的数据迁移策略判断是否满足触发条件;所述数据处理模块,用于根据已设定的数据处理方式对数据提取路径中的数据进行数据处理。
下面是对上述发明技术方案之一的进一步优化或/和改进:
所述输入模块可包括设定监控系统时间和存储空间的频率选项和开启监听进程的确认选项。
输入模块的所述数据处理方式选项可包括复制、删除和迁移,相应的数据处理模块包括复制数据子模块、删除数据子模块和迁移数据子模块。
输入模块的所述数据迁移策略选项可包括时间节点策略、剩余空间策略、数据属性策略和混合策略,相应的数据迁移策略模块包括时间节点策略子模块、剩余空间策略子模块、数据属性策略子模块和混合策略子模块,所述混合策略子模块由时间节点策略子模块、剩余空间策略子模块、数据属性策略子模块中的两种以上组合形成。
所述输入模块可包括用于时间节点策略的设定时间节点选项;或/和,所述输入模块可包括用于剩余空间策略的设定阀值选项;或/和,所述输入模块可包括用于数据属性策略的选择文件类型选项、确定创建时间选项和确定文件拥有者选项。
所述数据处理模块可包括日志记录模块;或/和,所述定时监测服务器存储空间模块可包括警告模块。
本发明的技术方案之二是通过以下措施来实现的:一种使用上述的定时数据迁移装置的方法,包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,之后输入模块将数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,通过定时监测服务器时间模块获取系统时间,之后进入步骤3;
步骤3,定时监测服务器存储空间模块获取服务器的磁盘信息,之后进入步骤4;
步骤4,数据迁移策略模块判断是否满足触发条件,如满足触发条件则进入步骤5,如不满足触发条件则进入步骤2;
步骤5,定时监测服务器存储空间模块判断数据存放路径的存储空间是否满足数据迁移的要求,如满足要求则进入步骤7,如不满足要求则进入步骤6;
步骤6,定时监测服务器存储空间模块发出警告信息,提示数据存放路径的存储空间不足,之后进入步骤2;
步骤7,数据处理模块处理相关数据,之后进入步骤8;
步骤8,数据处理模块进行日志记录,将基本操作信息记录在日志中,之后进入步骤2。
本发明的技术方案之三是通过以下措施来实现的:一种使用上述的定时数据迁移装置的方法,包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为时间节点策略时,输入模块进一步要求使用者选择设定时间节点选项,之后输入模块将数据提取路径选项、数据存放路径选项、时间节点选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,定时监测服务器时间模块获取系统时间,之后进入步骤3;
步骤3,数据迁移策略模块调用时间节点策略子模块,通过时间节点策略子模块判断系统时间是否等于设定时间,如等于设定时间则进入步骤4,如不等于设定时间则进入步骤2;
步骤4,数据迁移策略模块判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤7;
步骤5,数据处理模块调用删除数据子模块,通过删除数据子模块对数据提取路径的数据进删除,之后进入步骤6;
步骤6,数据迁移策略模块自动修改下次时间节点,之后进入步骤2;
步骤7,定时监测服务器存储空间模块判断数据存放路径是否满足空间要求,如满足则进入步骤8,如不满足则进入步骤9;
步骤8,数据处理模块调用复制数据子模块或迁移数据子模块,通过复制数据子模块对数据提取路径的数据进行拷贝,或者通过迁移数据子模块对数据提取路径的数据进行迁移,之后进入步骤6;
步骤9,定时监测服务器存储空间模块发出警告并退出。
本发明的技术方案之四是通过以下措施来实现的:一种使用上述的定时数据迁移装置的方法,包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为剩余空间策略时,输入模块进一步要求使用者选择设定阀值选项,之后输入模块将数据提取路径选项、数据存放路径选项、阀值选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,定时监测服务器存储空间模块获取数据提取路径的磁盘使用率,之后进入步骤3;
步骤3,数据迁移策略模块调用剩余空间策略子模块,通过剩余空间策略子模块判断数据提取路径的磁盘使用率是否大于阀值,如大于阀值则进入步骤4,如不大于阀值则进入步骤2;
步骤4,数据迁移策略模块判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤6;
步骤5,数据处理模块调用删除数据子模块,通过删除数据子模块对数据提取路径的数据进删除,之后进入步骤2;
步骤6,定时监测服务器存储空间模块判断数据存放路径是否满足空间要求,如满足则进入步骤7,如不满足则进入步骤8;
步骤7,数据处理模块调用复制数据子模块或迁移数据子模块,通过复制数据子模块对数据提取路径的数据进行拷贝,或者通过迁移数据子模块对数据提取路径的数据进行迁移,之后进入步骤2;
步骤8,定时监测服务器存储空间模块发出警告并退出。
本发明的技术方案之五是通过以下措施来实现的:一种使用上述的定时数据迁移装置的方法,包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为数据属性策略时,输入模块进一步要求使用者选择设定选择文件类型选项、确定创建时间选项和确定文件拥有者选项,之后输入模块将数据提取路径选项、数据存放路径选项、选择文件类型选项、确定创建时间选项、确定文件拥有者选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,数据迁移策略模块获取数据提取路径的数据属性,之后进入步骤3;
步骤3,数据迁移策略模块调用数据属性策略子模块,通过数据属性策略子模块判断数据提取路径的数据是否满足设定属性,如满足则进入步骤4,如不满足则进入步骤2;
步骤4,数据迁移策略模块判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤7;
步骤5,数据处理模块调用删除数据子模块,通过删除数据子模块对数据提取路径的数据进删除,之后进入步骤6;
步骤6,数据迁移策略模块自动变更创建时间,之后进入步骤2;
步骤7,定时监测服务器存储空间模块判断数据存放路径是否满足空间要求,如满足则进入步骤8,如不满足则进入步骤9;
步骤8,数据处理模块调用复制数据子模块或迁移数据子模块,通过复制数据子模块对数据提取路径的数据进行拷贝,或者通过迁移数据子模块对数据提取路径的数据进行迁移,之后进入步骤6;
步骤9,定时监测服务器存储空间模块发出警告并退出。
本发明结构合理而紧凑,使用方便,其通过定时监测服务器时间模块定时监测系统时间为数据迁移提供时间依据,通过定时监测服务器存储空间模块定时监控存储空间为数据迁移提供空间依据,通过数据迁移策略模块实现相应的数据迁移策略,通过数据处理模块自动处理相应数据。
附图说明
附图1为本发明实施例一的组成原理示意图。
附图2为本发明实施例一在用户使用时的输入操作流程图。
附图3为本发明实施例二的工作流程图。
附图4为本发明实施例三的工作流程图。
附图5为本发明实施例四的工作流程图。
附图6为本发明实施例五的工作流程图。
附图中的编码分别为:1为输入模块,2为定时监测服务器时间模块,3为定时监测服务器存储空间模块,4为数据迁移策略模块,5为数据处理模块,6为复制数据子模块,7为删除数据子模块,8为迁移数据子模块,9为时间节点策略子模块,10为剩余空间策略子模块,11为数据属性策略子模块,12为混合策略子模块。
具体实施方式
本发明不受下述实施例的限制,可根据本发明的技术方案与实际情况来确定具体的实施方式。
下面结合实施例及附图对本发明作进一步描述:
实施例一:如附图1、2所示,该定时数据迁移装置包括输入模块1、定时监测服务器时间模块2、定时监测服务器存储空间模块3、数据迁移策略模块4和数据处理模块5;所述输入模块1,包括数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,用于向使用者提示可设定的选项并将设定结果发送给数据迁移策略模块4;所述定时监测服务器时间模块2,用于向数据迁移策略模块4定时提供服务器当前系统时间;所述定时监测服务器存储空间模块3,用于向数据迁移策略模块4定时提供服务器存储设备的基本信息;所述数据迁移策略模块4,用于根据已设定的数据迁移策略判断是否满足触发条件;所述数据处理模块5,用于根据已设定的数据处理方式对数据提取路径中的数据进行数据处理。本发明既可以灵活地设置时间,又可以根据应用服务器的特点来确认过时数据的定时数据迁移,在自动实时监测计算机的时间和其他各项指标的前提下,可以自动完成数据迁移任务,所以在很大程度上提高了系统稳定性,并且减少了人工操作次数。由于数据迁移策略模块4包含了多种可选的迁移策略,可以有效满足服务器上各种服务对于数据的不同要求。通过定时监测服务器时间模块2来定时监测服务器的系统时间,能够为数据迁移提供时间依据;通过定时监测服务器存储空间模块3来定时监控服务器存储设备的存储空间,能够为数据迁移提供空间依据;通过已有的时间和空间依据,再通过数据迁移策略模块4根据服务的不同需求实现相应的数据迁移策略,最后通过数据处理模块5根据选定的数据处理方法自动处理相应数据。通过构建定时监测服务器时间模块2,能够获得当前的系统时间,精确到秒,然后设置定时器,定时地向数据迁移策略模块4提供当前的系统时间;通过构建定时监测服务器存储空间模块3,能够获取服务器存储设备的基本信息,例如:存储空间大小、已用空间和可用空间等,定时地向数据迁移策略模块4提供存储设备的基本信息,除此之外该模块还负责监测数据存放路径即数据迁移目的端存储设备的基本情况;通过构建数据迁移策略模块4,作为本发明整个系统的核心模块,能够为不同的服务提供相应的数据迁移策略,该模块使用软件编程来实现,可以应用到主流的操作系统中,无需特殊硬件支持。
可根据实际需要,对上述定时数据迁移装置作进一步优化或/和改进:
根据实际需要,所述输入模块1包括设定监控系统时间和存储空间的频率选项和开启监听进程的确认选项。在实际使用时,如附图2所示,使用者先进入设定监控系统时间和存储空间的频率选项,设定监控系统时间和存储空间的频率,接着进入数据迁移策略选项,设定数据迁移策略为时间节点策略或剩余空间策略或数据属性策略或混合策略,之后进入数据处理方式选项,设定数据处理方式为复制数据或删除数据或迁移数据,最后进入开启监听进程的确认选项,确认开启监听进程。
如附图1所示,输入模块1的所述数据处理方式选项包括复制、删除和迁移,相应的数据处理模块5包括复制数据子模块6、删除数据子模块7和迁移数据子模块8。复制数据子模块6能够复制符合要求的数据到目的设备;删除数据子模块7能够删除过期数据;迁移数据子模块8能够迁移数据,就是先进行数据复制,再删除原数据,从而节省数据提取路径的存储空间,同时在数据存放路径实现数据的备份存储。
如附图1所示,输入模块1的所述数据迁移策略选项包括时间节点策略、剩余空间策略、数据属性策略和混合策略,相应的数据迁移策略模块4包括时间节点策略子模块9、剩余空间策略子模块10、数据属性策略子模块11和混合策略子模块12,所述混合策略子模块12由时间节点策略子模块、剩余空间策略子模块、数据属性策略子模块中的两种以上组合形成。根据常用的服务类型,数据迁移策略主要分为:1.时间节点策略,即让用户确定一个时间节点,在这个时间节点,就调用数据处理模块5进行相应的操作,例如,用户可以规定在每个月的一号零点,把存储在服务器的数据提取路径中的数据迁移到数据存放路径指定的存储设备中;2.剩余空间策略,即让用户指定一个阀值,当数据提取路径的磁盘的剩余空间小于这个阀值,那就进入数据处理模块5,例如,用户可以指定当服务器的数据提取路径的剩余存储空间已经小于30%时,就把存储在服务器上的数据提取路径的数据迁移到数据存放路径指定的存储设备中;3.数据属性策略,即将数据某种属性作为判断依据,来进行数据处理,例如,用户可以根据数据的创建时间来确定该数据是否是过时数据,如果是就可以进行清除;4.混合策略,即将上述三种策略进行一定的组合,从而构造出更为复杂且更为符合实际的混合型策略,由于服务器上所部署的服务各不相同,它们对于数据的要求也各有不同,所以这种混合型策略可以很好的满足不同服务的要求,例如,对于在白天服务量较大的服务器,就可以规定在每个月的最后一天的22:00,把上个月生成的数据进行数据迁移,这样就可以保证服务器中存储的有效数据为本月和下个月的数据,这就是时间节点策略和数据属性策略的一种混合使用策略。
根据实际需要,所述输入模块1包括用于时间节点策略的设定时间节点选项;或/和,所述输入模块1包括用于剩余空间策略的设定阀值选项;或/和,所述输入模块1包括用于数据属性策略的选择文件类型选项、确定创建时间选项和确定文件拥有者选项。
根据实际需要,所述数据处理模块5包括日志记录模块;或/和,所述定时监测服务器存储空间模块3包括警告模块。
实施例二:如附图3所示,该定时数据迁移装置的使用方法之一,包括以下步骤:
步骤1,输入模块1要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,之后输入模块1将数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项的设定结果发送给数据迁移策略模块4,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,通过定时监测服务器时间模块2获取系统时间,之后进入步骤3;
步骤3,定时监测服务器存储空间模块3获取服务器的磁盘信息,之后进入步骤4;
步骤4,数据迁移策略模块4判断是否满足触发条件,如满足触发条件则进入步骤5,如不满足触发条件则进入步骤2;
步骤5,定时监测服务器存储空间模块3判断数据存放路径的存储空间是否满足数据迁移的要求,如满足要求则进入步骤7,如不满足要求则进入步骤6;
步骤6,定时监测服务器存储空间模块3发出警告信息,提示数据存放路径的存储空间不足,之后进入步骤2;
步骤7,数据处理模块5处理相关数据,之后进入步骤8;
步骤8,数据处理模块5进行日志记录,将基本操作信息记录在日志中,之后进入步骤2。步骤6和步骤8执行完毕后再次跳转到步骤2,从而能够实现连续监听。
实施例三:如附图4所示,该定时数据迁移装置的使用方法之二,包括以下步骤:
步骤1,输入模块1要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为时间节点策略时,输入模块1进一步要求使用者选择设定时间节点选项,之后输入模块1将数据提取路径选项、数据存放路径选项、时间节点选项的设定结果发送给数据迁移策略模块4,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,定时监测服务器时间模块2获取系统时间,之后进入步骤3;
步骤3,数据迁移策略模块4调用时间节点策略子模块9,通过时间节点策略子模块9判断系统时间是否等于设定时间,如等于设定时间则进入步骤4,如不等于设定时间则进入步骤2;
步骤4,数据迁移策略模块4判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤7;
步骤5,数据处理模块5调用删除数据子模块7,通过删除数据子模块7对数据提取路径的数据进删除,之后进入步骤6;
步骤6,数据迁移策略模块4自动修改下次时间节点,之后进入步骤2;
步骤7,定时监测服务器存储空间模块3判断数据存放路径是否满足空间要求,如满足则进入步骤8,如不满足则进入步骤9;
步骤8,数据处理模块5调用复制数据子模块6或迁移数据子模块8,通过复制数据子模块6对数据提取路径的数据进行拷贝,或者通过迁移数据子模块8对数据提取路径的数据进行迁移,之后进入步骤6;
步骤9,定时监测服务器存储空间模块3发出警告并退出。
实施例四:如附图5所示,该定时数据迁移装置的使用方法之三,包括以下步骤:
步骤1,输入模块1要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为剩余空间策略时,输入模块1进一步要求使用者选择设定阀值选项,之后输入模块1将数据提取路径选项、数据存放路径选项、阀值选项的设定结果发送给数据迁移策略模块4,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,定时监测服务器存储空间模块3获取数据提取路径的磁盘使用率,之后进入步骤3;
步骤3,数据迁移策略模块4调用剩余空间策略子模块10,通过剩余空间策略子模块10判断数据提取路径的磁盘使用率是否大于阀值,如大于阀值则进入步骤4,如不大于阀值则进入步骤2;
步骤4,数据迁移策略模块4判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤6;
步骤5,数据处理模块5调用删除数据子模块7,通过删除数据子模块7对数据提取路径的数据进删除,之后进入步骤2;
步骤6,定时监测服务器存储空间模块3判断数据存放路径是否满足空间要求,如满足则进入步骤7,如不满足则进入步骤8;
步骤7,数据处理模块5调用复制数据子模块6或迁移数据子模块8,通过复制数据子模块6对数据提取路径的数据进行拷贝,或者通过迁移数据子模块8对数据提取路径的数据进行迁移,之后进入步骤2;
步骤8,定时监测服务器存储空间模块3发出警告并退出。
实施例五:如附图6所示,该定时数据迁移装置的使用方法之四,包括以下步骤:
步骤1,输入模块1要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为数据属性策略时,输入模块1进一步要求使用者选择设定选择文件类型选项、确定创建时间选项和确定文件拥有者选项,之后输入模块1将数据提取路径选项、数据存放路径选项、选择文件类型选项、确定创建时间选项、确定文件拥有者选项的设定结果发送给数据迁移策略模块4,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,数据迁移策略模块4获取数据提取路径的数据属性,之后进入步骤3;
步骤3,数据迁移策略模块4调用数据属性策略子模块11,通过数据属性策略子模块11判断数据提取路径的数据是否满足设定属性,如满足则进入步骤4,如不满足则进入步骤2;
步骤4,数据迁移策略模块4判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤7;
步骤5,数据处理模块5调用删除数据子模块7,通过删除数据子模块7对数据提取路径的数据进删除,之后进入步骤6;
步骤6,数据迁移策略模块4自动变更创建时间,之后进入步骤2;
步骤7,定时监测服务器存储空间模块3判断数据存放路径是否满足空间要求,如满足则进入步骤8,如不满足则进入步骤9;
步骤8,数据处理模块5调用复制数据子模块6或迁移数据子模块8,通过复制数据子模块6对数据提取路径的数据进行拷贝,或者通过迁移数据子模块8对数据提取路径的数据进行迁移,之后进入步骤6;
步骤9,定时监测服务器存储空间模块3发出警告并退出。
以上技术特征构成了本发明的实施例,其具有较强的适应性和实施效果,可根据实际需要增减非必要的技术特征,来满足不同情况的需求。
Claims (10)
1.一种定时数据迁移装置,其特征在于包括输入模块、定时监测服务器时间模块、定时监测服务器存储空间模块、数据迁移策略模块和数据处理模块;所述输入模块,包括数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,用于向使用者提示可设定的选项并将设定结果发送给数据迁移策略模块;所述定时监测服务器时间模块,用于向数据迁移策略模块定时提供服务器当前系统时间;所述定时监测服务器存储空间模块,用于向数据迁移策略模块定时提供服务器存储设备的基本信息;所述数据迁移策略模块,用于根据已设定的数据迁移策略判断是否满足触发条件;所述数据处理模块,用于根据已设定的数据处理方式对数据提取路径中的数据进行数据处理。
2.根据权利要求1所述的定时数据迁移装置,其特征在于所述输入模块包括设定监控系统时间和存储空间的频率选项和开启监听进程的确认选项。
3.根据权利要求1或2所述的定时数据迁移装置,其特征在于输入模块的所述数据处理方式选项包括复制、删除和迁移,相应的数据处理模块包括复制数据子模块、删除数据子模块和迁移数据子模块。
4.根据权利要求1或2或3所述的定时数据迁移装置,其特征在于输入模块的所述数据迁移策略选项包括时间节点策略、剩余空间策略、数据属性策略和混合策略,相应的数据迁移策略模块包括时间节点策略子模块、剩余空间策略子模块、数据属性策略子模块和混合策略子模块,所述混合策略子模块由时间节点策略子模块、剩余空间策略子模块、数据属性策略子模块中的两种以上组合形成。
5.根据权利要求4所述的定时数据迁移装置,其特征在于所述输入模块包括用于时间节点策略的设定时间节点选项;或/和,所述输入模块包括用于剩余空间策略的设定阀值选项;或/和,所述输入模块包括用于数据属性策略的选择文件类型选项、确定创建时间选项和确定文件拥有者选项。
6.根据权利要求1或2或3或4或5所述的定时数据迁移装置,其特征在于所述数据处理模块包括日志记录模块;或/和,所述定时监测服务器存储空间模块包括警告模块。
7.一种使用权利要求1或2或3或4或5或6所述的定时数据迁移装置的方法,其特征在于包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,之后输入模块将数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,通过定时监测服务器时间模块获取系统时间,之后进入步骤3;
步骤3,定时监测服务器存储空间模块获取服务器的磁盘信息,之后进入步骤4;
步骤4,数据迁移策略模块判断是否满足触发条件,如满足触发条件则进入步骤5,如不满足触发条件则进入步骤2;
步骤5,定时监测服务器存储空间模块判断数据存放路径的存储空间是否满足数据迁移的要求,如满足要求则进入步骤7,如不满足要求则进入步骤6;
步骤6,定时监测服务器存储空间模块发出警告信息,提示数据存放路径的存储空间不足,之后进入步骤2;
步骤7,数据处理模块处理相关数据,之后进入步骤8;
步骤8,数据处理模块进行日志记录,将基本操作信息记录在日志中,之后进入步骤2。
8.一种使用权利要求4或5或6所述的定时数据迁移装置的方法,其特征在于包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为时间节点策略时,输入模块进一步要求使用者选择设定时间节点选项,之后输入模块将数据提取路径选项、数据存放路径选项、时间节点选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,定时监测服务器时间模块获取系统时间,之后进入步骤3;
步骤3,数据迁移策略模块调用时间节点策略子模块,通过时间节点策略子模块判断系统时间是否等于设定时间,如等于设定时间则进入步骤4,如不等于设定时间则进入步骤2;
步骤4,数据迁移策略模块判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤7;
步骤5,数据处理模块调用删除数据子模块,通过删除数据子模块对数据提取路径的数据进删除,之后进入步骤6;
步骤6,数据迁移策略模块自动修改下次时间节点,之后进入步骤2;
步骤7,定时监测服务器存储空间模块判断数据存放路径是否满足空间要求,如满足则进入步骤8,如不满足则进入步骤9;
步骤8,数据处理模块调用复制数据子模块或迁移数据子模块,通过复制数据子模块对数据提取路径的数据进行拷贝,或者通过迁移数据子模块对数据提取路径的数据进行迁移,之后进入步骤6;
步骤9,定时监测服务器存储空间模块发出警告并退出。
9.一种使用权利要求4或5或6所述的定时数据迁移装置的方法,其特征在于包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为剩余空间策略时,输入模块进一步要求使用者选择设定阀值选项,之后输入模块将数据提取路径选项、数据存放路径选项、阀值选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,定时监测服务器存储空间模块获取数据提取路径的磁盘使用率,之后进入步骤3;
步骤3,数据迁移策略模块调用剩余空间策略子模块,通过剩余空间策略子模块判断数据提取路径的磁盘使用率是否大于阀值,如大于阀值则进入步骤4,如不大于阀值则进入步骤2;
步骤4,数据迁移策略模块判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤6;
步骤5,数据处理模块调用删除数据子模块,通过删除数据子模块对数据提取路径的数据进删除,之后进入步骤2;
步骤6,定时监测服务器存储空间模块判断数据存放路径是否满足空间要求,如满足则进入步骤7,如不满足则进入步骤8;
步骤7,数据处理模块调用复制数据子模块或迁移数据子模块,通过复制数据子模块对数据提取路径的数据进行拷贝,或者通过迁移数据子模块对数据提取路径的数据进行迁移,之后进入步骤2;
步骤8,定时监测服务器存储空间模块发出警告并退出。
10.一种使用权利要求4或5或6所述的定时数据迁移装置的方法,其特征在于包括以下步骤:
步骤1,输入模块要求使用者选择设定数据提取路径选项、数据存放路径选项、数据迁移策略选项和数据处理方式选项,当数据迁移策略选项的设定结果为数据属性策略时,输入模块进一步要求使用者选择设定选择文件类型选项、确定创建时间选项和确定文件拥有者选项,之后输入模块将数据提取路径选项、数据存放路径选项、选择文件类型选项、确定创建时间选项、确定文件拥有者选项的设定结果发送给数据迁移策略模块,然后要求使用者开启监听进程的确认选项,之后进入步骤2;
步骤2,数据迁移策略模块获取数据提取路径的数据属性,之后进入步骤3;
步骤3,数据迁移策略模块调用数据属性策略子模块,通过数据属性策略子模块判断数据提取路径的数据是否满足设定属性,如满足则进入步骤4,如不满足则进入步骤2;
步骤4,数据迁移策略模块判断数据处理方式是否为删除,如为删除则进入步骤5,如不为删除则进入步骤7;
步骤5,数据处理模块调用删除数据子模块,通过删除数据子模块对数据提取路径的数据进删除,之后进入步骤6;
步骤6,数据迁移策略模块自动变更创建时间,之后进入步骤2;
步骤7,定时监测服务器存储空间模块判断数据存放路径是否满足空间要求,如满足则进入步骤8,如不满足则进入步骤9;
步骤8,数据处理模块调用复制数据子模块或迁移数据子模块,通过复制数据子模块对数据提取路径的数据进行拷贝,或者通过迁移数据子模块对数据提取路径的数据进行迁移,之后进入步骤6;
步骤9,定时监测服务器存储空间模块发出警告并退出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410845774.4A CN104598540A (zh) | 2014-12-31 | 2014-12-31 | 定时数据迁移装置及其使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410845774.4A CN104598540A (zh) | 2014-12-31 | 2014-12-31 | 定时数据迁移装置及其使用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104598540A true CN104598540A (zh) | 2015-05-06 |
Family
ID=53124325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410845774.4A Pending CN104598540A (zh) | 2014-12-31 | 2014-12-31 | 定时数据迁移装置及其使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104598540A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488148A (zh) * | 2015-11-26 | 2016-04-13 | 上海晶赞科技发展有限公司 | 大数据的存储访问系统及方法 |
CN106294671A (zh) * | 2016-08-03 | 2017-01-04 | 杭州华三通信技术有限公司 | 一种数据迁移方法及装置 |
CN106682021A (zh) * | 2015-11-09 | 2017-05-17 | 五八同城信息技术有限公司 | 数据库迁移方法及装置 |
CN107844275A (zh) * | 2017-11-22 | 2018-03-27 | 郑州云海信息技术有限公司 | 一种数据的迁移方法、装置及介质 |
CN108763247A (zh) * | 2018-03-29 | 2018-11-06 | 阿里巴巴集团控股有限公司 | 在数据迁移过程中处理用户请求的方法及装置 |
CN108804606A (zh) * | 2018-05-29 | 2018-11-13 | 上海欣能信息科技发展有限公司 | 一种电力量测类数据迁移到HBase的方法及系统 |
CN111427511A (zh) * | 2020-03-10 | 2020-07-17 | 青岛小鸟看看科技有限公司 | 一种数据存储方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101635651A (zh) * | 2009-08-31 | 2010-01-27 | 杭州华三通信技术有限公司 | 一种网络日志数据管理方法、系统及装置 |
CN103631931A (zh) * | 2013-12-06 | 2014-03-12 | 浪潮(北京)电子信息产业有限公司 | 一种数据分级存储方法及系统 |
CN103678042A (zh) * | 2013-12-25 | 2014-03-26 | 上海爱数软件有限公司 | 一种基于数据分析的备份策略信息生成方法 |
-
2014
- 2014-12-31 CN CN201410845774.4A patent/CN104598540A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101635651A (zh) * | 2009-08-31 | 2010-01-27 | 杭州华三通信技术有限公司 | 一种网络日志数据管理方法、系统及装置 |
CN103631931A (zh) * | 2013-12-06 | 2014-03-12 | 浪潮(北京)电子信息产业有限公司 | 一种数据分级存储方法及系统 |
CN103678042A (zh) * | 2013-12-25 | 2014-03-26 | 上海爱数软件有限公司 | 一种基于数据分析的备份策略信息生成方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682021A (zh) * | 2015-11-09 | 2017-05-17 | 五八同城信息技术有限公司 | 数据库迁移方法及装置 |
CN105488148A (zh) * | 2015-11-26 | 2016-04-13 | 上海晶赞科技发展有限公司 | 大数据的存储访问系统及方法 |
CN106294671A (zh) * | 2016-08-03 | 2017-01-04 | 杭州华三通信技术有限公司 | 一种数据迁移方法及装置 |
CN107844275A (zh) * | 2017-11-22 | 2018-03-27 | 郑州云海信息技术有限公司 | 一种数据的迁移方法、装置及介质 |
CN108763247A (zh) * | 2018-03-29 | 2018-11-06 | 阿里巴巴集团控股有限公司 | 在数据迁移过程中处理用户请求的方法及装置 |
CN108763247B (zh) * | 2018-03-29 | 2021-12-07 | 创新先进技术有限公司 | 在数据迁移过程中处理用户请求的方法及装置 |
CN108804606A (zh) * | 2018-05-29 | 2018-11-13 | 上海欣能信息科技发展有限公司 | 一种电力量测类数据迁移到HBase的方法及系统 |
CN111427511A (zh) * | 2020-03-10 | 2020-07-17 | 青岛小鸟看看科技有限公司 | 一种数据存储方法及装置 |
CN111427511B (zh) * | 2020-03-10 | 2023-10-27 | 青岛小鸟看看科技有限公司 | 一种数据存储方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104598540A (zh) | 定时数据迁移装置及其使用方法 | |
CN102129442B (zh) | 一种分布式数据库系统和数据访问方法 | |
US8903803B1 (en) | Horizontal interval-based data partitioning and indexing for large clusters | |
CN103678042B (zh) | 一种基于数据分析的备份策略信息生成方法 | |
CN105069134A (zh) | 一种Oracle统计信息自动收集方法 | |
CN110298539A (zh) | 任务数据处理方法、装置、计算机设备及存储介质 | |
CN102279848A (zh) | 生成报表模板的方法与装置 | |
CN104102737A (zh) | 一种历史数据存储方法和系统 | |
CN107256182A (zh) | 一种数据库还原的方法及设备 | |
CN102456048A (zh) | 海量数据处理方法及系统 | |
CN103631967B (zh) | 一种带自增量标识字段的数据表的处理方法及装置 | |
CN103955510A (zh) | 基于etl云平台上传的海量电力营销数据整合方法 | |
CN104471595A (zh) | 工作流管理装置及工作流管理方法 | |
CN110390607A (zh) | 基于科目指标体系的目标成本测算方法、系统和计算机可读存储介质 | |
CN111260194A (zh) | 一种基于区块链的物资精准供应方法及系统 | |
CN103019891A (zh) | 一种还原被删除文件的方法及系统 | |
CN102982186A (zh) | 基于oracle数据库系统的range分区表的维护方法和系统 | |
CN101334795B (zh) | 数据存储方法和装置 | |
CN104573052A (zh) | 一种基于Oracle ASM更换存储的方法 | |
CN104239520B (zh) | 一种基于历史信息的hdfs数据块放置策略 | |
CN106250501A (zh) | 报表处理方法及报表系统 | |
CN103413205A (zh) | Sap工作流快速开发设计方法及装置 | |
Ying et al. | Cloud storage management technology | |
CN106649452A (zh) | 一种模板图生成方法 | |
CN105426780A (zh) | 应用于操作行为审计系统的分类审计方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150506 |