CN108268211B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN108268211B
CN108268211B CN201710000663.7A CN201710000663A CN108268211B CN 108268211 B CN108268211 B CN 108268211B CN 201710000663 A CN201710000663 A CN 201710000663A CN 108268211 B CN108268211 B CN 108268211B
Authority
CN
China
Prior art keywords
data
local storage
migration
storage
migrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710000663.7A
Other languages
English (en)
Other versions
CN108268211A (zh
Inventor
周文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201710000663.7A priority Critical patent/CN108268211B/zh
Publication of CN108268211A publication Critical patent/CN108268211A/zh
Application granted granted Critical
Publication of CN108268211B publication Critical patent/CN108268211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法，包括：当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值。本发明同时还公开了一种数据处理装置。

Description

一种数据处理方法及装置
技术领域
本发明涉及数据存储技术，尤其涉及一种数据处理方法及装置。
背景技术
移动互联网时代人们对存储空间的需求持续增加，用户存储需求的发展速度已经超过用户设备本身存储能力的发展速度，云存储已经成为一种用户终端扩展存储能力的一种重要方式。当前用户终端(比如个人电脑(PC)、手机、平板电脑等)的云存储方案主要有各种网盘或者云盘。
在当前解决方案下，当发现终端的存储空间不够时，用户会手动迁移数据到云存储。但是，这种手动迁移方式是临时性的，也就是说，只有用户遇到存储空间不够时才会手动迁移数据到云存储，这就形成了恶性循环，从而影响了用户体验。同时，这种方式只能实现数据在云存储的自动备份，不能从本质上解决用户存储空间不够的问题。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种数据处理方法及装置。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种数据处理方法，包括：
监测终端本地存储资源的使用情况；
当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；
当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；
将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值。
上述方案中，所述利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据，包括：
将第一时刻至第二时刻的时间段划分时间区域；
依据每个时间区域内数据的访问次数以及对应的权重值，确定数据在第一时刻至第二时刻时间范围内数据的访问次数；
根据数据在第一时刻及第二时刻时间范围内数据的访问次数及文件大小，确定从本地存储资源迁出的数据。
上述方案中，所述将确定的本地存储资源的迁出数据迁移至云存储之后，所述方法还包括：
在所述本地存储资源的迁出数据所在本地存储资源的目录位置设置标识，所述标识用于指示所述本地存储资源的迁出数据在云存储的存储位置。
上述方案中，所述方法还包括：
根据确定的本地存储资源的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据；将确定的云存储的迁出数据迁移至本地存储资源。
上述方案中，所述根据确定的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据，包括：
将云存储上设置有所述标识的数据按照访问次数进行排序；
从排序后的数据中筛选出访问次数满足预设条件的数据；
从筛选的数据中选择与所述确定的迁出数据的大小相当的数据，作为从云存储迁出的数据。
上述方案中，本地存储资源按照存储的数据的功能划分为至少两种存储资源；
相应地，针对每种存储资源，监测资源的使用情况，以及进行数据的迁移；
当至少两种存储资源中的至少两种存储资源需要进行数据迁移时，依据每种存储资源的重要性属性，依次处理每种存储资源数据的迁移。
上述方案中，将确定的本地存储资源的迁出数据迁移至云存储的过程中，所述方法还包括：
针对每个迁出的数据，发出第一提示信息；所述第一提示信息用于提示是否从本地的存储资源迁出数据；接收第一操作；所述第一操作是对所述第一提示信息的响应操作；当根据所述第一操作确定迁出数据时，将迁出数据迁移至云存储。
本发明实施例还提供了一种数据处理装置，包括：
监测单元，用于监测终端本地存储资源的使用情况；
第一迁移单元，用于当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；以及将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值。
上述方案中，所述装置还包括：
设置单元，用于将确定的本地存储资源的迁出数据迁移至云存储之后，在所述本地存储资源的迁出数据所在本地存储资源的目录位置设置标识，所述标识用于指示所述本地存储资源的迁出数据在云存储的存储位置。
上述方案中，所述装置还包括：
第二迁移单元，用于根据确定的本地存储资源的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据；将确定的云存储的迁出数据迁移至本地存储资源。
上述方案中，本地存储资源按照存储的数据的功能划分为至少两种存储资源；
所述第一迁移单元及第二迁移单元，用于针对每种存储资源，监测资源的使用情况，以及进行数据的迁移；以及
当至少两种存储资源中的至少两种存储资源需要进行数据迁移时，依据每种存储资源的重要性属性，依次处理每种存储资源数据的迁移。
上述方案中，所述装置还包括：
确定单元，用于将确定的本地存储资源的迁出数据迁移至云存储的过程中，针对每个迁出的数据，发出第一提示信息；所述第一提示信息用于提示是否从本地的存储资源迁出数据；接收第一操作；所述第一操作是对所述第一提示信息的响应操作；当根据所述第一操作确定迁出数据时，将迁出数据迁移至云存储。
本发明实施例提供的数据处理方法及装置，监测终端本地存储资源的使用情况；当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值，这样，对用户终端设备存储设备使用状况进行监控，并在本地存储设备容量达到第二阈值时，能够根据利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定出要迁出的数据，从而自动实现数据在本地存储设备和云存储设备之间进行的调度和迁移，从本质上解决了用户存储空间不够的问题，提升了用户体验。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本发明实施例一数据处理的方法流程示意图；
图2为本发明实施例二数据处理装置结构示意图；
图3为本发明实施例三终端混合存储的系统架构示意图；
图4为本发明实施例三终端混合存储的方法流程示意图。
具体实施方式
下面结合附图及实施例对本发明再作进一步详细的描述。
一方面用户终端设备包括移动终端、PC等的存储容量总是有限的，另一方面用户数据存储需求不断增长，尤其是移动终端，这种矛盾尤其明显，特别是手机终端，用户数据和系统数据会统一使用系统内存，这样会经常导致系统存储不够而影响系统继续使用。所以云存储已经成为一种用户终端扩展存储能力的一种重要方式。
当前用户终端的云存储方案主要有各种网盘或者云盘，这些云存储服务可以是互联网上的公有云，或者是企业私有云。用户终端通过安装网盘或者云盘客户端或者WEB应用访问云存储，来实现用户本地数据在云端的存储或者同步。
虽然有些云存储客户端安装后能够和设备本身的存储系统如文件系统集成在一起，方便用户操作和使用，但这些云存储软件和用户终端设备本身的存储系统之间并没有互操作或者协同关系，因此所有的用户数据存储规划必须由用户手工执行，哪怕是用户终端的存储将要或者已经耗尽。也就是说，在当前云盘或者网盘解决方案下，用户必须手工迁移数据到云存储，这样就会花费用户大量精力。而且由于这种手工迁移方式经常是临时性的，所以用户会经常遇到存储不够然后进行手工迁移的恶性循环，严重影响了用户体验。而且这种方式下，云盘作用仅仅是用户数据的备份或同步，并不能解决用户终端存储能力不够的问题。
综上所述，当前的云存储客户端软件带来的用户体验总体来说是：缺乏智能化、柔性化、简单化，需要进一步改进和完善。
基于此，在本发明的各种实施例中：监测终端本地存储资源的使用情况；当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值。
实施例一
本发明实施例数据处理的方法，如图1所示，该方法包括以下步骤：
步骤101：监测终端本地存储资源的使用情况；
步骤102：当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；
实际应用时，可以根据需要设置第一阈值。
步骤103：当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；
这里，第二阈值大于第一阈值。
实际应用时，可以根据需要设置第二阈值。
其中，所述利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据，包括：
将第一时刻至第二时刻的时间段划分时间区域；
依据每个时间区域内数据的访问次数以及对应的权重值，确定数据在第一时刻至第二时刻时间范围内数据的访问次数；
根据数据在第一时刻及第二时刻时间范围内数据的访问次数及文件大小，确定从本地存储资源迁出的数据。
步骤104：将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值。
这里，实际应用时，将确定的本地存储资源的迁出数据迁移至云存储的过程中，针对每个迁出的数据，还可以发出第一提示信息；所述第一提示信息用于提示是否从本地的存储资源迁出数据；接收第一操作；所述第一操作是对所述第一提示信息的响应操作；当根据所述第一操作确定迁出数据时，将迁出数据迁移至云存储。
在一实施例中，将确定的本地存储资源的迁出数据迁移至云存储之后，该方法还可以包括：
在所述本地存储资源的迁出数据所在本地存储资源的目录位置设置标识，所述标识用于指示所述本地存储资源的迁出数据在云存储的存储位置。
换句话说，在被迁移数据原来的目录位置生成一个标识，比如一个快捷或者链接名称及对应的标识，以表明被迁移数据在云存储的存储位置，以便能够访问迁移至云存储的这些数据，这样，能够保证终端本地文件系统逻辑视图的完整性。
由于本发明实施例的方案需要做到用户无感知，也就是说不会影响用户或应用的使用。
基于此，在一实施例中，当数据迁出至云存储后，该方法还可以包括：
根据确定的本地存储资源的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据；将确定的云存储的迁出数据迁移至本地存储资源。
具体地，将云存储上置有所述标识的数据按照访问次数进行排序；
从排序后的数据中筛选出访问次数满足预设条件的数据；
从筛选的数据中选择与所述确定的迁出数据的大小相当的数据，作为从云存储迁出的数据。
实际应用时，本地存储资源按照存储的数据的功能划分为至少两种存储资源；
相应地，针对每种存储资源，监测资源的使用情况，以及进行数据的迁出以及迁入；
当至少两种存储资源中的至少两种存储资源需要进行数据迁移时，依据每种存储资源的重要性属性，依次处理每种存储资源数据的迁移。
这里，可以根据需要来设置每种存储资源的重要性属性。
实际应用时，为了保证数据迁移过程中的安全性，从本地存储资源迁移出去的数据需要进行加密处理，同时，从云存储迁移至本次存储资源的数据需要进行解密处理。
本发明实施例提供的数据处理方法，监测终端本地存储资源的使用情况；当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值，这样，对用户终端设备存储设备使用状况进行监控，并在本地存储设备容量达到第二阈值时，能够根据利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定出要迁出的数据，从而自动实现数据在本地存储设备和云存储设备之间进行的调度和迁移，从本质上解决了用户存储空间不够的问题，提升了用户体验。
实施例二
为实现本发明实施例的方法，本实施例提供一种数据处理装置，如图2所示，该装置包括：
监测单元21，用于监测终端本地存储资源的使用情况；
第一迁移单元22，用于当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；以及将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值。
这里，实际应用时，所述第一阈值及第二阈值可以根据需要设置。
所述第一迁移单元22，具体用于：
将第一时刻至第二时刻的时间段划分时间区域；
依据每个时间区域内数据的访问次数以及对应的权重值，确定数据在第一时刻至第二时刻时间范围内数据的访问次数；
根据数据在第一时刻及第二时刻时间范围内数据的访问次数及文件大小，确定从本地存储资源迁出的数据。
另外，实际应用时，该装置还可以包括：
确定单元，用于将确定的本地存储资源的迁出数据迁移至云存储的过程中，针对每个迁出的数据，发出第一提示信息；所述第一提示信息用于提示是否从本地的存储资源迁出数据；接收第一操作；所述第一操作是对所述第一提示信息的响应操作；当根据所述第一操作确定迁出数据时，将迁出数据迁移至云存储。
在一实施例中，该装置还可以包括：
设置单元，用于将确定的本地存储资源的迁出数据迁移至云存储之后，在所述本地存储资源的迁出数据所在本地存储资源的目录位置设置标识，所述标识用于指示所述本地存储资源的迁出数据在云存储的存储位置。
换句话说，所述设置单元在被迁移数据原来的目录位置生成一个标识，比如一个快捷或者链接名称及对应的标识，以表明被迁移数据在云存储的存储位置，以便能够访问迁移至云存储的这些数据，这样，能够保证终端本地文件系统逻辑视图的完整性。
由于本发明实施例的方案需要做到用户无感知，也就是说不会影响用户或应用的使用。
基于此，在一实施例中，该装置还可以包括：
第二迁移单元，用于根据确定的本地存储资源的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据；将确定的云存储的迁出数据迁移至本地存储资源。
其中，所述第二迁移单元，具体用于：
将云存储上置有所述标识的数据按照访问次数进行排序；
从排序后的数据中筛选出访问次数满足预设条件的数据；
从筛选的数据中选择与所述确定的迁出数据的大小相当的数据，作为从云存储迁出的数据。
实际应用时，所述本地存储资源按照存储的数据的功能划分为至少两种存储资源；
所述第一迁移单元及第二迁移单元，用于针对每种存储资源，监测资源的使用情况，以及进行数据的迁移；以及
当至少两种存储资源中的至少两种存储资源需要进行数据迁移，依据每种存储资源的重要性属性，依次处理每种存储资源数据的迁移。
这里，可以根据需要来设置每种存储资源的重要性属性。
实际应用时，为了保证数据迁移过程中的安全性，所述第一迁移单元22需要对从本地存储资源迁移出去的数据进行加密处理，同时，第二迁移单元23需要对从云存储迁移至本次存储资源的数据进行解密处理。
实际应用时，所述监测单元21、设置单元、确定单元可由数据处理装置中的中央处理器(CPU，Central Processing Unit)、微处理器(MCU，Micro Control Unit)、数字信号处理器(DSP，Digital Signal Processor)或可编程逻辑阵列(FPGA，Field－ProgrammableGate Array)实现，所述第一迁移单元22、第二迁移单元可由数据处理装置中的CPU、MCU、DSP或FPGA结合通信芯片实现。
本发明实施例提供的数据处理装置，所述监测单元21监测终端本地存储资源的使用情况；当本地存储资源的使用百分比达到第一阈值时，所述第一迁移单元22记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；所述第一迁移单元22将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值，这样，对用户终端设备存储设备使用状况进行监控，并在本地存储设备容量达到第二阈值时，根据利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定出要迁出的数据，从而能够自动实现数据在本地存储设备和云存储设备之间进行的调度和迁移，从本质上解决了用户存储空间不够的问题，提升了用户体验。
实施例三
在实施例一、二的基础上，本实施例详细描述如何实现终端的混合存储过程。
图3为实现终端混合存储的系统架构示意图。如图3所示，设置在终端上的混合云存储管理系统是实现本发明实施例终端混合存储的主要模块，其包括：
云存储访问模块：该模块安装、管理和调用云存储服务商提供的客户端，将用户终端本地数据存储到云存储，或者从云存储获取数据，存储到本地存储介质。
云存储控制模块：该模块基于各种策略从多个云存储服务中选择一个最佳的云存储服务，为用户提供云存储能力。
数据加密模块：负责数据的加密和解密，具体来说，当数据从本地存储存放到云存储之间，需要进行数据加密；当数据从云存储到达本地存储前，需要进行数据解密。
数据存储管理模块：负责用户终端设备本地存储介质的管理，实现与云存储之间数据迁移调度的相关设置、监测、执行等功能。
用户数据文件监控模块：负责监控用户终端指定文件的访问情况。
用户界面(UI)/用户操作接口模块：实现用户对数据迁移过程的监控和手工操作，譬如可以手工取消一个数据文件的迁移等。
用户管理模块：实现用户账户管理。
本实施例终端的混合存储过程，如图4所示，包括以下步骤：
步骤400：设备管理初始化及设置本地存储资源耗尽监测指标；
具体地，设置本地存储资源的资源耗尽警告阀值和耗尽阀值。
其中，本地存储资源是包括用户终端设备所固定连接的存储介质，包括个人电脑(PC)的内置硬盘、外接移动硬盘灯；移动终端的手机内存卡、安全数码(SD)卡等。
将用户终端设备的存储介质根据重要性分级C1，C2，....，譬如分为系统存储介质，用户数据存储介质等。其中，系统存储介质主要为系统运行提供必要的空间，譬如PC的启动硬盘，移动终端的手机内存等。用户数据存储介质，主要用于存储用户或者应用数据，包括视频、图片、音频、文档等。系统存储介质的重要性要高于用户数据存储介质。本发明实施例中，主要管理用户终端设备上所有存储介质上的用户或者应用数据文件，系统数据或者应用程序软件数据不在数据迁移、调度的范围之内，可以通过配置文件类型来确定需要管理的数据文件对象。
设置本地存储资源耗尽警告阀值和耗尽阀值时，可以针对不同类型的存储介质，分别获取它们的容量V。混合存储管理系统可以自动设置或者用户定制设置上述不同类型本地存储介质的资源耗尽警告阀值T1和耗尽阀值T2，譬如T1＝70％，T2＝90％，表示当一类本地存储介质存储容量已经消耗了V*70％时，混合存储管理系统就要开始监测该类存储介质上文件的访问情况，以便为数据迁移做准备；当该类存储介质存储容量已经消耗了V*90％的时候，混合存储管理系统根据上面的用户数据文件使用状况进行数据迁移。
步骤401：监测本地存储使用情况；
数据存储管理模块定期监测或者通过用户终端系统设置自动上报本地存储不同类型介质的存储资源各自使用状况，并监测是否到达各自警戒阀值(相当于本发明实施例二监测单元21的功能)。
步骤402：本地存储资源耗尽警告报警处理；
当数据存储管理模块监测到有本地存储介质到达耗尽警告阀值T1时，记录下当前时间为D1，用户数据文件监控模块开始监测该类存储介质上文件的访问情况为数据迁移做准备。
步骤403：本地存储资源耗尽报警处理；
这里，当数据存储管理模块监测到有本地存储介质到达耗尽阀值T2时，记录下当前时间为D2，数据存储管理模块对在D2-D1时间范围内的用户或者应用数据访问情况进行分析，确定哪些数据从本地存储迁移到云存储。
步骤404：将迁移数据排序；
这里，主要基于D2-D1时间范围内的数据访问情况和文件本身大小来排序；所遵循的原则是：数据访问情况为第一优先级，文件大小为第二优先级。
排序时，先确定数据在D2-D1时间范围内的访问次数；
具体地，将D2-D1时间范围分段，譬如分成若干天数或者小时等。以天为例，譬如D2-D1时间范围内共有N天，设置第N天访问权重值为Wn，第N-1天访问权重值为Wn-1，以此类推，第1天访问权重值为W1，其中W1>W2>...>Wn，设任意一个文件在N天内的访问次数依次为a次，b次，…，n次，所以这个文件在最近N天的访问次数值为：A＝a*W1+b*W2+....+n*Wn。
接着，根据每个文件的访问次数值和文件大小进行排序，以确定选择的迁移数据。
通过上述方式，就可以将那些最近最少访问的大文件作为选择的迁移文件。
这里，实际应用时，当有至少两类存储介质达到相应的耗尽阀值T2时，可以根据用户本地存储介质的重要性分类，先分析重要性高的存储介质，再分析重要性低的存储介质。
步骤405：计算迁移容量并迁移文件；
这里，对于本地存储介质，根据待迁移数据文件排序，依次选中一个最近最少访问的大文件，计算出该文件迁移后本地存储介质增加的空间，直到本地存储介质的容量低于存储资源耗尽阀值T1。
数据加密模块将这些选中的文件加密，并通过云存储访问模块迁移至云存储。
同时，对于云存储的数据，云存储访问模块先确定一个云存储文件迁移基准，即最近访问次数，譬如最近1天访问次数大于指定的次数N譬如10次。然后从最近最少访问一头依次选择一个或者本地数据文件(链接文件，即从本地存储介质迁出的数据文件)，使得最近1天访问次数小于N次；依据该原则，并根据本地存储介质迁出的文件大小，从云存储设备中选择相当大小的文件，并迁移至用户终端存储介质。
从上面的描述中可以看出，迁移文件包括两个方向：一个方向是将本地存储介质上的最近最少访问文件迁移到云存储，另外一个相反方向是将云存储上最近频繁访问的文件从云存储迁移到本地存储介质。
其中，系统可以在数据迁移过程中与用户确认，已让用户确定哪些文件可以迁移，哪些不可以迁移。系统记录数据迁移过程，并支持用户执行反向操作，即取消迁移或者手工迁移。
另外，实际应用时，对于用户不愿意系统自动迁移的数据，用户可以设置用户隐私数据目录，该目录下数据不能迁移，以对用户的隐私进行保护。
步骤406：保证用户设备本地文件系统逻辑视图完整性。
具体地，当用户或者应用数据迁移到云存储后，数据管理模块会在被迁移数据原来目录位置会生成一个标识，比如一个快捷或者链接名称和标志，名称可以与原文件同名，同时表明该文件当前为链接文件，并将该文件链接指向原文件在云存储设备上的位置，用户或者应用数据可以用同样的方式可以访问，不影响用户或者应用使用。
实际应用时，本地数据的迁出过程与从云存储迁入至本地存储介质的过程是实时进行的，具体来说，一方面，实时监测本地存储使用情况，只要本地的存储介质达到第二阈值T2时，就确定要迁出的数据，并将这些数据迁移至云存储，并设置相应的标识。另一方面，当发现迁移至云存储的这些数据最近的访问次数很多时，则将这些访问频繁的数据从云存储迁移至本地存储介质。两个方面依次循环进行。
从上面的描述中可以看出，本发明实施例提供的方案，是一种用户终端设备存储介质上的数据监测和调度方案，对用户终端设备存储设备使用状况进行监控，并在本地存储设备容量使用殆尽时能够自动实现数据在本地存储设备和云存储设备之间进行的调度和迁移，基于用户数据类型、数据使用状况以及本地存储设备容量使用状况实现本地存储设备和云存储或者云盘之间的数据存储负荷合理动态分配，和现有基于用户手工方式操作进行数据云存储的技术方案相比，用户一方面能够更加方便及无感知地使用“无限容量”的云存储设备，使用户更柔性、更简单、无感知地拥有“无限容量”的用户终端存储能力。另一方面，可以将用户访问数据的性能体验影响降低到最低。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (9)

1.一种数据处理方法，其特征在于，所述方法包括：
监测终端本地存储资源的使用情况；
当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；
当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；
将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值；其中，
所述将确定的本地存储资源的迁出数据迁移至云存储之后，所述方法还包括：
在所述本地存储资源的迁出数据所在本地存储资源的目录位置设置标识，所述标识用于指示所述本地存储资源的迁出数据在云存储的存储位置；
根据确定的本地存储资源的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据；将确定的云存储的迁出数据迁移至本地存储资源。
2.根据权利要求1所述的方法，其特征在于，所述利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据，包括：
将第一时刻至第二时刻的时间段划分时间区域；
依据每个时间区域内数据的访问次数以及对应的权重值，确定数据在第一时刻至第二时刻时间范围内数据的访问次数；
根据数据在第一时刻及第二时刻时间范围内数据的访问次数及文件大小，确定从本地存储资源迁出的数据。
3.根据权利要求1所述的方法，其特征在于，所述根据确定的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据，包括：
将云存储上设置有所述标识的数据按照访问次数进行排序；
从排序后的数据中筛选出访问次数满足预设条件的数据；
从筛选的数据中选择与所述确定的迁出数据的大小相当的数据，作为从云存储迁出的数据。
4.根据权利要求1至3任一项所述的方法，其特征在于，本地存储资源按照存储的数据的功能划分为至少两种存储资源；
相应地，针对每种存储资源，监测资源的使用情况，以及进行数据的迁移；
当至少两种存储资源中的至少两种存储资源需要进行数据迁移时，依据每种存储资源的重要性属性，依次处理每种存储资源数据的迁移。
5.根据权利要求1至3任一项所述的方法，其特征在于，将确定的本地存储资源的迁出数据迁移至云存储的过程中，所述方法还包括：
针对每个迁出的数据，发出第一提示信息；所述第一提示信息用于提示是否从本地的存储资源迁出数据；接收第一操作；所述第一操作是对所述第一提示信息的响应操作；当根据所述第一操作确定迁出数据时，将迁出数据迁移至云存储。
6.一种数据处理装置，其特征在于，所述装置包括：
监测单元，用于监测终端本地存储资源的使用情况；
第一迁移单元，用于当本地存储资源的使用百分比达到第一阈值时，记录对应的第一时刻；当本地存储资源的使用百分比达到第二阈值时，记录对应的第二时刻，并利用第一时刻至第二时刻时间范围内本地存储资源的数据访问情况及文件大小，确定从本地存储资源迁出的数据；第二阈值大于第一阈值；以及将确定的本地存储资源的迁出数据迁移至云存储，以使本地存储资源的使用百分比小于所述第一阈值；
设置单元，用于将确定的本地存储资源的迁出数据迁移至云存储之后，在所述本地存储资源的迁出数据所在本地存储资源的目录位置设置标识，所述标识用于指示所述本地存储资源的迁出数据在云存储的存储位置；
第二迁移单元，用于根据确定的本地存储资源的迁出数据的大小，并结合云存储上设置有所述标识的数据访问情况，确定从云存储迁出的数据；将确定的云存储的迁出数据迁移至本地存储资源。
7.根据权利要求6所述的装置，其特征在于，本地存储资源按照存储的数据的功能划分为至少两种存储资源；
所述第一迁移单元及第二迁移单元，用于针对每种存储资源，监测资源的使用情况，以及进行数据的迁移；以及
当至少两种存储资源中的至少两种存储资源需要进行数据迁移时，依据每种存储资源的重要性属性，依次处理每种存储资源数据的迁移。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
确定单元，用于将确定的本地存储资源的迁出数据迁移至云存储的过程中，针对每个迁出的数据，发出第一提示信息；所述第一提示信息用于提示是否从本地的存储资源迁出数据；接收第一操作；所述第一操作是对所述第一提示信息的响应操作；当根据所述第一操作确定迁出数据时，将迁出数据迁移至云存储。
9.一种存储介质，所述介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
CN201710000663.7A 2017-01-03 2017-01-03 一种数据处理方法及装置 Active CN108268211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710000663.7A CN108268211B (zh) 2017-01-03 2017-01-03 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710000663.7A CN108268211B (zh) 2017-01-03 2017-01-03 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN108268211A CN108268211A (zh) 2018-07-10
CN108268211B true CN108268211B (zh) 2021-09-14

Family

ID=62771344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710000663.7A Active CN108268211B (zh) 2017-01-03 2017-01-03 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN108268211B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108882004B (zh) * 2018-08-09 2021-06-15 广州视源电子科技股份有限公司 视频录制方法、装置、设备及存储介质
CN109918431A (zh) * 2019-01-25 2019-06-21 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及存储介质
CN109947373B (zh) * 2019-03-28 2022-05-13 北京大道云行科技有限公司 一种数据处理方法和装置
CN110764909B (zh) * 2019-10-22 2023-11-17 中国银联股份有限公司 一种用于云计算平台的存储设备的负载均衡的方法和系统
CN113778342B (zh) * 2021-09-17 2024-03-29 土巴兔集团股份有限公司 一种数据存储方法及其相关设备
WO2023201653A1 (zh) * 2022-04-21 2023-10-26 宇龙计算机通信科技(深圳)有限公司 文件的操作方法、装置、计算机设备和可读存储介质
WO2023201650A1 (zh) * 2022-04-21 2023-10-26 宇龙计算机通信科技(深圳)有限公司 文件的操作方法、装置、计算机设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN103631633A (zh) * 2012-08-20 2014-03-12 中国电信股份有限公司 虚拟机全系统在线迁移方法、装置与系统
CN105472045A (zh) * 2016-01-26 2016-04-06 北京百度网讯科技有限公司 数据库迁移的方法和装置
CN105893542A (zh) * 2016-03-31 2016-08-24 华中科技大学 一种云存储系统中的冷数据文件重分布方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473335B (zh) * 2013-09-18 2016-08-17 浪潮(北京)电子信息产业有限公司 一种热点数据检测方法及装置
US20150293699A1 (en) * 2014-04-11 2015-10-15 Graham Bromley Network-attached storage enhancement appliance
CN103997512B (zh) * 2014-04-14 2017-06-30 南京邮电大学 一种面向云存储系统的数据副本数量确定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631633A (zh) * 2012-08-20 2014-03-12 中国电信股份有限公司 虚拟机全系统在线迁移方法、装置与系统
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN105472045A (zh) * 2016-01-26 2016-04-06 北京百度网讯科技有限公司 数据库迁移的方法和装置
CN105893542A (zh) * 2016-03-31 2016-08-24 华中科技大学 一种云存储系统中的冷数据文件重分布方法及系统

Also Published As

Publication number Publication date
CN108268211A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
CN108268211B (zh) 一种数据处理方法及装置
US11075939B2 (en) Methods and systems for ranking, filtering and patching detected vulnerabilities in a networked system
US9124430B2 (en) Centralized policy management for security keys
US9246941B1 (en) Systems and methods for predicting the impact of security-policy changes on users
US20190394224A1 (en) Systems and methods for multi-tier cache visual system and visual modes
AU2014324110B2 (en) Handling key rotation problems
US20150086018A1 (en) Centralized key discovery and management
US10853350B1 (en) System for associating data policies with data objects
EP2972728B1 (en) Tracking application usage in a computing environment
US20140115709A1 (en) Secured deletion of information
CN106331075B (zh) 用于存储文件的方法、元数据服务器和管理器
US10169548B2 (en) Image obfuscation
CN111045802B (zh) Redis集群组件调度系统及方法、平台设备
US10397071B2 (en) Automated deployment of cloud-hosted, distributed network monitoring agents
US11777991B2 (en) Forecast-based permissions recommendations
US10904348B2 (en) Scanning shared file systems
US20200244706A1 (en) Identifying and mitigating risks of cryptographic obsolescence
CN114586032B (zh) 安全的工作负载配置
US9729698B2 (en) Increasing user memory space on end-of-life mobile user devices
CN113992448A (zh) 一种数据透传方法、系统、介质及计算设备
CN112488462A (zh) 一种工作流数据的统一推送方法、装置及介质
CN112463616A (zh) 一种面向Kubernetes容器平台的混沌测试方法和装置
CN110018985B (zh) 快照删除方法、装置及系统
US10101912B2 (en) Automated home memory cloud with key authenticator
CN108075931B (zh) 一种测试系统、测试方法、控制服务器和执行服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant