CN107589910A - 用户定制策略的云端数据管理的方法及系统 - Google Patents

用户定制策略的云端数据管理的方法及系统 Download PDF

Info

Publication number
CN107589910A
CN107589910A CN201710780024.7A CN201710780024A CN107589910A CN 107589910 A CN107589910 A CN 107589910A CN 201710780024 A CN201710780024 A CN 201710780024A CN 107589910 A CN107589910 A CN 107589910A
Authority
CN
China
Prior art keywords
compression
user
data
hierarchy
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710780024.7A
Other languages
English (en)
Inventor
严晓杰
杨清强
林子皇
张晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Micro Technology Co Ltd
Original Assignee
Xiamen Micro Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Micro Technology Co Ltd filed Critical Xiamen Micro Technology Co Ltd
Priority to CN201710780024.7A priority Critical patent/CN107589910A/zh
Publication of CN107589910A publication Critical patent/CN107589910A/zh
Pending legal-status Critical Current

Links

Abstract

本公开提供了一种用户定制策略的云端数据管理的方法,包括:根据用户需要提供定制压缩策略;根据用户定制策略确定压缩的最近未使用天数与压缩等级匹配关系表、指定存储即压缩类型以及白名单策略;用户存储数据时,根据用户定制策略判断存入的数据需要立即压缩,如果是,则将目标对象的详细数据传递给压缩装置进行压缩,如果不是则不对目标对象进行压缩处理;扫描器定期对所有对象文件的最后使用日期进行检查,判断是否达到时间阈值,并确定其对应的压缩等级,根据压缩等级对对象文件进行管理;用户读取数据时,先判断压缩标记位,并对压缩数据进行解压。通过用户定制策略来进行分级压缩,最大程度降低用户数据对磁盘空间的占用。

Description

用户定制策略的云端数据管理的方法及系统
技术领域
本公开涉及数据存储领域,尤其涉及一种用户定制策略的云端数据管理方法、系统、可读存储介质及其电子设备。
背景技术
对于一个数据存储中心而言,根据用户行为的规律性来说,并不是所有的文件都会频繁的访问,总会有一些数据是较少访问的。再加上现在硬件带宽等的高速发展,视频的清晰度也越来越高,而带来的数据存储成本也是越来越高。再加上当下一直强调的数据安全性,存在网盘或者云端上的数据都是采用冗余的策略,成本又是成倍的增长。近几年涌现了不少网络云盘,一个个都是提供不少的例如几个TB或者几百GB的免费存储空间,但是由于高额的成本导致云盘运营的收不抵支而关闭的云盘也是不甚枚举。他们的目标在于挖掘大数据创造价值,但是却忽略的最基本的数据管理优化。因此,一套有效的数据管理优化方法是非常必要的。
公开内容
(一)要解决的技术问题
本公开提供了一种用户定制策略的云端数据管理优化方法及系统,以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本公开的一个方面,提供了一种用户定制策略的云端数据管理的方法,包括:步骤A,根据用户需要提供定制压缩策略;步骤B,根据用户定制策略确定压缩的最近未使用天数与压缩等级匹配关系表、指定存储即压缩类型以及白名单策略;步骤C,用户存储数据时,根据用户定制策略判断存入的数据需要立即压缩,即是否为存储即压缩类型,如果是,则将目标对象的详细数据传递给压缩装置进行压缩,并且更新压缩标记位,如果不是则不对目标对象进行压缩处理;步骤D,扫描器定期对所有对象文件的最后使用日期进行检查,判断是否达到时间阈值,并确定其对应的压缩等级,根据压缩等级对对象文件进行管理;步骤E,用户读取数据时,先判断压缩标记位,并对压缩数据进行解压。
在本公开一些实施例中,所述用户可定制的压缩策略属性包括:最长未使用时长的阈值,该阈值是文件开始压缩的阈值,一旦超过该阈值就启动压缩装置进行压缩。
在本公开一些实施例中,所述用户可定制的压缩策略属性包括:用户定义的文件解压容忍等级,该容忍等级与起始压缩等级后续的步进天数有关,在最长未使用时长的阈值的基础上每增加一次步进天数对应增加一个文件压缩等级,容忍等级越高后续的步进天数越大,建立最近未使用天数与压缩等级映射关系表。
在本公开一些实施例中,所述用户可定制的压缩策略属性包括:指定存储即压缩类型,存储即压缩类型针对与一些使用频率较低的大文件,包括IOS镜像,PSD模板以及作为收藏的蓝光格式视频,用户可以定制上述文件在存储的时候直接压缩。
在本公开一些实施例中,所述用户可定制的压缩策略属性包括:白名单策略,用户定制一些数据为重要数据,通过白名单策略可以防止对它进行压缩。
在本公开一些实施例中,所述用户存储数据时,在判断存入的数据是否为存储即压缩类型前,还包括步骤:先判断存储数据未判断是否为白名单库中的重要数据,如果是,则对所述数据文件进行标记,该文件自始至终不会被压缩,如果不是,则进一步判断存入的数据是否为存储即压缩类型。
在本公开一些实施例中,所述扫描器定期对所有对象文件的最后使用日期进行检查包括:根据最近未使用天数与压缩等级匹配的映射关系表确定对象文件的压缩等级。
在本公开一些实施例中,所述判断压缩标记位,并对压缩数据进行解压包括:如果压缩标记位为0,则直接从数据库中取出数据传递给用户。如果压缩标记位非0,则将该对象传递给压缩装置,根据不同的压缩等级进行解压,同时将压缩等级置0。
在本公开一些实施例中,所述解压过程中,对于如文本、视频文件支持在线编辑功能。
根据本公开的另一个方面,提供一种用户定制策略的云端数据管理的系统,包括:用户定制策略模块,用于根据用户需要定制数据压缩管理策略;压缩策略模块,用于根据压缩策略确定数据的压缩等级,压缩策略模块提供文件最后一次时候日期到当前日期的时间跨度与压缩等级建立对应的匹配关系,初始的阈值由用户定制策略模块中的定义的最长未使用时长的阈值确定;扫描器,用于定期的检查所有对象文件的最后使用日期,判断是否达到时间阈值,当检测到对象文件最后一次使用日期到当前时间的跨度达到时间阈值时,判断根据压缩策略进行判断要对该文件执行的压缩等级,并转发给压缩装置进行处理;压缩装置,用于根据扫描器或者用户直接传递过来的对象及最后使用日期的事件,根据压缩策略选择压缩的方式。
在本公开一些实施例中,其中,所述用户定制策略模块中,可定制的属性包括:最长未使用时长的阈值,该阈值是文件开始压缩的阈值,一旦超过该阈值就启动压缩装置进行压缩;用户定义的文件解压容忍等级,该容忍等级与起始压缩等级后续的步进天数有关,在最长未使用时长的阈值的基础上每增加一次步进天数对应增加一个文件压缩等级,容忍等级越高后续的步进天数越大,建立最近未使用天数与压缩等级映射关系表;所述压缩策略模块,包括:压缩数据分析器,压缩数据分析器通过用户每次存储的文件,进行数学建模,计算出文件大小、文件类型以及对文件内容在不同解压率解压的时间预测值,建立映射关系表,并且存入映射数据库,所述压缩策略模块提供根据用户解压容忍等级分配不同的压缩等级,包括查询压缩数据分析器的压缩等级映射表,采用尽力规避的方式,由于压缩率越低,解压时间越长,根据用户解压容忍等级对应的最优步进时间,降低用户定义压缩等级与内置压缩等级间的增量匹配映射关系,降低压缩率。
在本公开一些实施例中,其中,所述用户定制策略模块中,可定制的属性包括:指定存储即压缩类型,存储即压缩类型针对与一些使用频率较低的大文件,包括IOS镜像,PSD模板以及作为收藏的蓝光格式视频,用户可以定制上述文件在存储的时候直接压缩;所述压缩策略模块,提供对存储即压缩分配不同的压缩等级,分配依据基于压缩数据分析器的压缩映射表。
在本公开一些实施例中,其中,所述用户定制策略模块中,可定制的属性包括:白名单策略,用户定制一些数据为重要数据,通过白名单策略可以防止对它进行压缩;所述压缩策略模块,根据用户需要建立白名单库,防止对白名单库中的重要数据进行压缩。
在本公开一些实施例中,所述压缩装置内部压缩等级总共设有8级,当用户定义的压缩等级级别小于8级时,将采用非等量增加来匹配用户定义的压缩等级。
在本公开一些实施例中,所述扫描器将对象句柄与其对应的压缩等级封装成一个对象,并将这些对象保存到表单中。
在本公开一些实施例中,所述压缩装置根据最后使用日期的长短与压缩等级的映射关系表对数据进行压缩,并且为对象设置压缩标记位。
在本公开一些实施例中,所述压缩装置内置缓存机制,支持用户对部分文件的在线编辑和在线读取数据,采用异步解压并增量传递数据的形式,并且提供接口供用户所在的客户端拼接数据,并提供在线编辑。
根据本公开的另一个方面,提供一种计算机可读存储介质,其上存储有可执行指令,所述指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行所述的用户定制策略的云端数据管理的方法。
根据本公开的另一个方面,提供一种电子设备,包括:存储器,用于存储可执行指令;以及处理器,用于执行存储器中存储的可执行指令,以执行所述的用户定制策略的云端数据管理的方法。
(三)有益效果
从上述技术方案可以看出,本公开用户定制策略的云端数据管理优化方法及系统至少具有以下有益效果其中之一:
(1)由于支持用户自定义策略,基于用户行为、容忍等级及最近最少使用的情况的算法的数据压缩管理优化策略,减少磁盘资源的浪费,创造更大的价值;
(2)减少服务器对于存储大量数据时造成的高额的磁盘资源浪费,造成用户为支付云盘或者网盘产生的不必要的费用;
附图说明
图1为本公开实施例用户定制策略的云端数据管理优化的方法流程图。
图2为本公开实施例用户定制策略的云端数据管理优化的系统示意图。
具体实施方式
本发明的要点在于,结合对用户文件最近最少使用的情况(即文件最后一次使用时间到当前时间的时长)和对视频类型、镜像类型、备份类型、日志类型等用户定义的类型进行数据分析,根据用户定义对部分占用空间字节数较多的文件设置为默认压缩,以及用户对解压时间的容忍程度来进行分级压缩,最大程度降低用户数据对磁盘空间的占用。其中核心部分为压缩装置,该压缩装置提供分级压缩功能,并且提供异步解压传输数据的功能。
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
本公开某些实施例于后方将参照所附附图做更全面性地描述,其中一些但并非全部的实施例将被示出。实际上,本公开的各种实施例可以许多不同形式实现,而不应被解释为限于此数所阐述的实施例;相对地,提供这些实施例使得本公开满足适用的法律要求。
在本公开的第一个示例性实施例中,提供了一种用户定制策略的云端数据管理的优化方法。图1为本公开实施例用户定制策略的云端数据管理优化的方法流程图。如图1所示,用户定制策略的云端数据管理优化的方法包括:
步骤A,根据用户需要提供定制压缩策略;
进一步,所述步骤A中,用户可定制的压缩策略属性有四点。第一点为最长未使用时长的阈值,该阈值是一般文件开始压缩的阈值,一旦超过该阈值就启动压缩装置进行压缩,该阈值默认值为(30天)。第二点为用户定义的文件解压容忍等级,该容忍等级与起始压缩等级后续的步进天数有关,容忍等级越高后续的步进天数越大,默认的容忍等级为5,步进天数=容忍等级*3,也就是说默认的步进天数为15天。第三点为指定存储即压缩类型。存储即压缩类型针对与一些不常用的大文件,例如IOS镜像,PSD模板,作为收藏的蓝光格式视频等,这些文件使用频率较低,因此可以在存储的时候直接压缩(压缩等级要根据压缩策略来设定),用来节省空间。第四点为白名单,一些数据为重要数据,通过白名单策略可以防止对它进行压缩。
步骤B,根据用户定制策略确定压缩的最近未使用天数与压缩等级匹配关系表、指定存储即压缩类型以及白名单策略;
步骤C,用户存储数据时,根据用户定制策略判断存入的数据需要立即压缩,即是否为存储即压缩类型,如果是,则将目标对象的详细数据传递给压缩装置进行压缩,并且更新压缩标记位,如果不是则不对目标对象进行压缩处理;
进一步,所述步骤C中,在判断存入的数据是否为存储即压缩类型前,先判断存储数据未判断是否为白名单库中的重要数据,如果是,则对所述数据文件进行标记,该文件自始至终不会被压缩,如果不是,则进一步判断存入的数据是否为存储即压缩类型。
步骤D,扫描器定期对所有对象文件的最后使用日期进行检查,判断是否达到时间阈值,并结合用户容忍解压容忍等级确定其对应的压缩等级,根据压缩等级对对象文件进行管理;
进一步,所述步骤D中,扫描器定期对所有对象文件的最后使用日期进行检查,根据最近未使用天数与压缩等级匹配的关系表确定压缩等级,并结合根据用户解压容忍等级确定的解压时间与压缩等级映射关系表进行调整。
步骤E,用户读取数据时,先判断压缩标记位,如果压缩标记位为0,则直接从数据库中取出数据传递给用户。如果压缩标记位非0,则将该对象传递给压缩装置,根据不同的压缩等级进行解压,同时将压缩等级置0优选地,对于如文本,视频等部分文件支持在线编辑功能。
至此,本公开第二实施例用户定制策略的云端数据管理的优化方法介绍完毕。
在本公开的第二个示例性实施例中,提供了一种用户定制策略的云端数据管理优化的系统。图2为本公开实施例用户定制策略的云端数据管理优化系统的结构示意图。如图2所示,本公开用户定制策略的云端数据管理优化系统包括:
用户定制策略模块,用于根据用户需要定制数据压缩管理策略。用户可定制的属性有四点。
第一点为最长未使用时长的阈值,该阈值是一般文件开始压缩的阈值,一旦超过该阈值就启动压缩装置进行压缩,该阈值默认值为(30天)。
第二点为用户定义的文件解压容忍等级,该容忍等级与起始压缩等级后续的步进天数有关,容忍等级越高后续的步进天数越大,默认的容忍等级为5,容忍等级=步进天数*3,也就是说默认的步进天数为15天。
第三点为指定存储即压缩类型。存储即压缩类型针对与一些不常用的大文件,例如IOS镜像,PSD模板,作为收藏的蓝光格式视频等,这些文件使用频率较低,因此可以在存储的时候直接压缩(压缩等级要根据压缩策略来设定),用来节省空间。
第四点为白名单,一些数据为重要数据,通过白名单策略可以防止对它进行压缩。
压缩策略模块,用于根据压缩策略确定数据的压缩等级。压缩等级越高,压缩率就越低,压缩和解压的时间就越长,跟用户解压容忍等级挂钩。压缩等级跟压缩率并呈非线性关系,取决于文件的数据内容。文本内容重复率低的文件即使压缩等级高压缩率也不会低到哪里去,这是一个相对的概念。
通过压缩策略模块功能包括:
压缩策略模块提供文件最后一次时候日期到当前日期的时间跨度与压缩等级建立对应的匹配关系。初始的阈值可由用户定制策略模块中的定义的最长未使用时长的阈值确定,推荐值为15天以上,默认值为30天。后续的步进和压缩等级的匹配关系也可由用户根据用户解压容忍等级来确定。压缩装置内部压缩等级总共设有8级,当用户定义的压缩等级级别小于8级时,将采用非等量增加来匹配用户定义的压缩等级。压缩级别默认为[0,5],取值范围建议为4个等级(包括未压缩)以上。下面表1给出一个参考的最近未使用天数阈值与压缩等级匹配的映射关系表。
表1最近未使用天数阈值与压缩等级映射关系表
最近未使用天数 压缩等级
<30 0(未压缩)
31-45 1
46-60 2
61-75 3
76-90 4
>91 5
压缩策略模块包括压缩数据分析器。压缩数据分析器通过数学建模计算出文件大小、文件类型以及对文件内容在不同解压率解压的时间预测值,建立映射关系表,并且存入映射数据库。压缩策略模块提供根据用户解压容忍等级分配不同的压缩等级,包括查询压缩数据分析器的映射表,采用尽力规避的方式,由于压缩率越低,解压时间越长,根据用户解压容忍等级对应的最优时间跨度,降低用户定义压缩等级与内置压缩等级间的增量匹配映射关系,尽可能降低压缩率。压缩策略模块还提供对存储即压缩分配不同的压缩等级,分配依据基于压缩数据分析器的压缩映射表。
压缩策略模块还根据用户需要提供白名单策略,防止对重要数据进行压缩。
扫描器:扫描器的作用是定期的检查所有对象文件的最后使用日期,判断是否达到时间阈值。当检测到对象文件最后一次使用日期到当前时间的跨度达到时间阈值时,判断根据压缩策略进行判断要对该文件执行的压缩等级,将对象句柄与其对应的压缩等级封装成一个对象,并将这些对象保存到表单中,转发给压缩装置进行处理。
压缩装置:压缩装置的作用根据扫描器或者用户直接传递过来的对象及最后使用日期的事件,根据压缩策略选择压缩的方式。压缩策略的实现方案为根据最后使用日期的长短建立与压缩等级的映射关系,并且为对象设置压缩标记位。优选的,取值取[0,5],0表示未压缩,1表示压缩等级较低,5表示最大程度压缩,及压缩率最低的压缩(当然解压时间也比较长)。最后使用日期的最低阈值可设置为30天,对应压缩等级为1。压缩等级和阈值的关系可参考压缩策略模块提供的文件最后一次时候日期到当前日期的时间跨度与压缩等级建立对应的匹配关系。当用户读取压缩过的对象时,根据压缩标记位来进行解压,解压后将标记为刷新置0。压缩装置内置缓存机制,支持用户对部分文件的在线编辑和在线读取数据,采用异步解压(或者未解压)并增量传递数据的形式,并且提供接口供用户所在的客户端拼接数据,并在线编辑。
用户读取数据时,先判断压缩标记位,如果压缩标记位为0,则直接从数据库中取出数据传递给用户。如果压缩标记位非0,则将该对象传递给压缩装置,根据不同的压缩等级进行解压,同时将压缩等级置0(因为最近访问日期为当前,小于阈值,理应置0)。对于部分文件(如文本,视频)支持在线编辑功能。
为了达到简要说明的目的,上述实施例1中任何可作相同应用的技术特征叙述皆并于此,无需再重复相同叙述。
至此,本公开第二实施例用户定制策略的云端数据管理优化系统介绍完毕。
至此,已经结合附图对本公开实施例进行了详细描述。需要说明的是,在附图或说明书正文中,未绘示或描述的实现方式,均为所属技术领域中普通技术人员所知的形式,并未进行详细说明。此外,上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换。
再者,单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
此外,除非特别描述或必须依序发生的步骤,上述步骤的顺序并无限制于以上所列,且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑,彼此混合搭配使用或与其他实施例混合搭配使用,即不同实施例中的技术特征可以自由组合形成更多的实施例。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本公开也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本公开的内容,并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且,在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。
类似地,应当理解,为了精简本公开并帮助理解各个公开方面中的一个或多个,在上面对本公开的示例性实施例的描述中,本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,公开方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本公开的单独实施例。
以上所述的具体实施例,对本公开的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本公开的具体实施例而已,并不用于限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (19)

1.一种用户定制策略的云端数据管理的方法,包括:
步骤A,根据用户需要提供定制压缩策略;
步骤B,根据用户定制策略确定压缩的最近未使用天数与压缩等级匹配关系表、指定存储即压缩类型以及白名单策略;
步骤C,用户存储数据时,根据用户定制策略判断存入的数据需要立即压缩,即是否为存储即压缩类型,如果是,则将目标对象的详细数据传递给压缩装置进行压缩,并且更新压缩标记位,如果不是则不对目标对象进行压缩处理;
步骤D,扫描器定期对所有对象文件的最后使用日期进行检查,判断是否达到时间阈值,并确定其对应的压缩等级,根据压缩等级对对象文件进行管理;
步骤E,用户读取数据时,先判断压缩标记位,并对压缩数据进行解压。
2.根据权利要求1所述的方法,所述用户可定制的压缩策略属性包括:
最长未使用时长的阈值,该阈值是文件开始压缩的阈值,一旦超过该阈值就启动压缩装置进行压缩。
3.根据权利要求2所述的方法,所述用户可定制的压缩策略属性包括:
用户定义的文件解压容忍等级,该容忍等级与起始压缩等级后续的步进天数有关,在最长未使用时长的阈值的基础上每增加一次步进天数对应增加一个文件压缩等级,容忍等级越高后续的步进天数越大,建立最近未使用天数与压缩等级映射关系表。
4.根据权利要求1所述的方法,所述用户可定制的压缩策略属性包括:
指定存储即压缩类型,存储即压缩类型针对与一些使用频率较低的大文件,包括IOS镜像,PSD模板以及作为收藏的蓝光格式视频,用户可以定制上述文件在存储的时候直接压缩。
5.根据权利要求1所述的方法,所述用户可定制的压缩策略属性包括:
白名单策略,用户定制一些数据为重要数据,通过白名单策略可以防止对它进行压缩。
6.根据权利要求1所述的方法,所述用户存储数据时,在判断存入的数据是否为存储即压缩类型前,还包括步骤:
先判断存储数据未判断是否为白名单库中的重要数据,如果是,则对所述数据文件进行标记,该文件自始至终不会被压缩,如果不是,则进一步判断存入的数据是否为存储即压缩类型。
7.根据权利要求1所述的方法,所述扫描器定期对所有对象文件的最后使用日期进行检查包括:
根据最近未使用天数与压缩等级匹配的映射关系表确定对象文件的压缩等级。
8.根据权利要求1所述的方法,所述判断压缩标记位,并对压缩数据进行解压包括:
如果压缩标记位为0,则直接从数据库中取出数据传递给用户;如果压缩标记位非0,则将该对象传递给压缩装置,根据不同的压缩等级进行解压,同时将压缩等级置0。
9.根据权利要求1所述的方法,所述解压过程中,对于如文本、视频文件支持在线编辑功能。
10.一种用户定制策略的云端数据管理的系统,包括:
用户定制策略模块,用于根据用户需要定制数据压缩管理策略;
压缩策略模块,用于根据压缩策略确定数据的压缩等级,压缩策略模块提供文件最后一次时候日期到当前日期的时间跨度与压缩等级建立对应的匹配关系,初始的阈值由用户定制策略模块中的定义的最长未使用时长的阈值确定;
扫描器,用于定期的检查所有对象文件的最后使用日期,判断是否达到时间阈值,当检测到对象文件最后一次使用日期到当前时间的跨度达到时间阈值时,判断根据压缩策略进行判断要对该文件执行的压缩等级,并转发给压缩装置进行处理;
压缩装置,用于根据扫描器或者用户直接传递过来的对象及最后使用日期的事件,根据压缩策略选择压缩的方式。
11.根据权利要求10所述的系统,其中,
所述用户定制策略模块中,可定制的属性包括:
最长未使用时长的阈值,该阈值是文件开始压缩的阈值,一旦超过该阈值就启动压缩装置进行压缩;
用户定义的文件解压容忍等级,该容忍等级与起始压缩等级后续的步进天数有关,在最长未使用时长的阈值的基础上每增加一次步进天数对应增加一个文件压缩等级,容忍等级越高后续的步进天数越大,建立最近未使用天数与压缩等级映射关系表;
所述压缩策略模块,包括:
压缩数据分析器,压缩数据分析器通过用户每次存储的文件,进行数学建模,计算出文件大小、文件类型以及对文件内容在不同解压率解压的时间预测值,建立映射关系表,并且存入映射数据库,所述压缩策略模块提供根据用户解压容忍等级分配不同的压缩等级,包括查询压缩数据分析器的压缩等级映射表,采用尽力规避的方式,由于压缩率越低,解压时间越长,根据用户解压容忍等级对应的最优步进时间,降低用户定义压缩等级与内置压缩等级间的增量匹配映射关系,降低压缩率。
12.根据权利要求10所述的系统,其中,
所述用户定制策略模块中,可定制的属性包括:
指定存储即压缩类型,存储即压缩类型针对与一些使用频率较低的大文件,包括IOS镜像,PSD模板以及作为收藏的蓝光格式视频,用户可以定制上述文件在存储的时候直接压缩;
所述压缩策略模块,提供对存储即压缩分配不同的压缩等级,分配依据基于压缩数据分析器的压缩映射表。
13.根据权利要求10所述的系统,其中,
所述用户定制策略模块中,可定制的属性包括:
白名单策略,用户定制一些数据为重要数据,通过白名单策略可以防止对它进行压缩;
所述压缩策略模块,根据用户需要建立白名单库,防止对白名单库中的重要数据进行压缩。
14.根据权利要求10所述的系统,所述压缩装置内部压缩等级总共设有8级,当用户定义的压缩等级级别小于8级时,将采用非等量增加来匹配用户定义的压缩等级。
15.根据权利要求10所述的系统,所述扫描器将对象句柄与其对应的压缩等级封装成一个对象,并将这些对象保存到表单中。
16.根据权利要求10所述的系统,所述压缩装置根据最后使用日期的长短与压缩等级的映射关系表对数据进行压缩,并且为对象设置压缩标记位。
17.根据权利要求10所述的系统,所述压缩装置内置缓存机制,支持用户对部分文件的在线编辑和在线读取数据,采用异步解压并增量传递数据的形式,并且提供接口供用户所在的客户端拼接数据,并提供在线编辑。
18.一种计算机可读存储介质,其上存储有可执行指令,所述指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行权利要求1至9任一项所述的云端数据管理的方法。
19.一种电子设备,包括:
存储器,用于存储可执行指令;以及
处理器,用于执行存储器中存储的可执行指令,以执行权利要求1至9任一项所述的云端数据管理的方法。
CN201710780024.7A 2017-09-01 2017-09-01 用户定制策略的云端数据管理的方法及系统 Pending CN107589910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710780024.7A CN107589910A (zh) 2017-09-01 2017-09-01 用户定制策略的云端数据管理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710780024.7A CN107589910A (zh) 2017-09-01 2017-09-01 用户定制策略的云端数据管理的方法及系统

Publications (1)

Publication Number Publication Date
CN107589910A true CN107589910A (zh) 2018-01-16

Family

ID=61051711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710780024.7A Pending CN107589910A (zh) 2017-09-01 2017-09-01 用户定制策略的云端数据管理的方法及系统

Country Status (1)

Country Link
CN (1) CN107589910A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302449A (zh) * 2018-08-31 2019-02-01 阿里巴巴集团控股有限公司 数据写入方法、数据读取方法、装置和服务器
CN109947722A (zh) * 2019-02-13 2019-06-28 北京达佳互联信息技术有限公司 用于应用程序的数据压缩方法、装置和计算机可读存储介质
CN111277274A (zh) * 2020-01-13 2020-06-12 平安国际智慧城市科技股份有限公司 数据压缩方法、装置、设备及存储介质
CN112100143A (zh) * 2020-09-25 2020-12-18 平安科技(深圳)有限公司 一种文件压缩存储方法、装置、设备及存储介质
CN112433996A (zh) * 2020-11-23 2021-03-02 维沃移动通信有限公司 数据处理方法、装置和电子设备
CN112597334A (zh) * 2021-01-15 2021-04-02 天津帕克耐科技有限公司 通信数据中心的数据处理方法
CN113568742A (zh) * 2021-07-22 2021-10-29 四川英得赛克科技有限公司 一种文件压缩方法、装置、系统、电子设备及存储介质
CN116453658A (zh) * 2023-04-26 2023-07-18 湖北亚硕科技有限公司 一种用于医疗影像的历史数据储存系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675834A (ja) * 1992-08-27 1994-03-18 Nec Software Ltd ファイルスペース確保方式
EP1162826A2 (en) * 2000-06-05 2001-12-12 Amphion Semiconductor Limited Adaptive image data compression
CN102929783A (zh) * 2012-10-25 2013-02-13 华为技术有限公司 一种数据存储的方法、装置和系统
CN104461505A (zh) * 2014-11-06 2015-03-25 深圳市金立通信设备有限公司 一种终端
CN105509017A (zh) * 2015-12-31 2016-04-20 杭州光锥科技有限公司 路灯云存储系统及路灯系统
CN106202273A (zh) * 2016-06-30 2016-12-07 宇龙计算机通信科技(深圳)有限公司 文件管理方法及系统
CN106465192A (zh) * 2014-06-26 2017-02-22 英特尔公司 压缩配置标识

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675834A (ja) * 1992-08-27 1994-03-18 Nec Software Ltd ファイルスペース確保方式
EP1162826A2 (en) * 2000-06-05 2001-12-12 Amphion Semiconductor Limited Adaptive image data compression
CN102929783A (zh) * 2012-10-25 2013-02-13 华为技术有限公司 一种数据存储的方法、装置和系统
CN106465192A (zh) * 2014-06-26 2017-02-22 英特尔公司 压缩配置标识
CN104461505A (zh) * 2014-11-06 2015-03-25 深圳市金立通信设备有限公司 一种终端
CN105509017A (zh) * 2015-12-31 2016-04-20 杭州光锥科技有限公司 路灯云存储系统及路灯系统
CN106202273A (zh) * 2016-06-30 2016-12-07 宇龙计算机通信科技(深圳)有限公司 文件管理方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302449A (zh) * 2018-08-31 2019-02-01 阿里巴巴集团控股有限公司 数据写入方法、数据读取方法、装置和服务器
CN109302449B (zh) * 2018-08-31 2022-03-15 创新先进技术有限公司 数据写入方法、数据读取方法、装置和服务器
CN109947722B (zh) * 2019-02-13 2021-08-17 北京达佳互联信息技术有限公司 用于应用程序的数据压缩方法、装置和计算机可读存储介质
CN109947722A (zh) * 2019-02-13 2019-06-28 北京达佳互联信息技术有限公司 用于应用程序的数据压缩方法、装置和计算机可读存储介质
CN111277274A (zh) * 2020-01-13 2020-06-12 平安国际智慧城市科技股份有限公司 数据压缩方法、装置、设备及存储介质
CN112100143A (zh) * 2020-09-25 2020-12-18 平安科技(深圳)有限公司 一种文件压缩存储方法、装置、设备及存储介质
CN112100143B (zh) * 2020-09-25 2023-03-21 平安科技(深圳)有限公司 一种文件压缩存储方法、装置、设备及存储介质
CN112433996A (zh) * 2020-11-23 2021-03-02 维沃移动通信有限公司 数据处理方法、装置和电子设备
CN112597334A (zh) * 2021-01-15 2021-04-02 天津帕克耐科技有限公司 通信数据中心的数据处理方法
CN112597334B (zh) * 2021-01-15 2021-09-28 天津帕克耐科技有限公司 通信数据中心的数据处理方法
CN113568742A (zh) * 2021-07-22 2021-10-29 四川英得赛克科技有限公司 一种文件压缩方法、装置、系统、电子设备及存储介质
CN113568742B (zh) * 2021-07-22 2024-04-19 四川英得赛克科技有限公司 一种文件压缩方法、装置、系统、电子设备及存储介质
CN116453658A (zh) * 2023-04-26 2023-07-18 湖北亚硕科技有限公司 一种用于医疗影像的历史数据储存系统

Similar Documents

Publication Publication Date Title
CN107589910A (zh) 用户定制策略的云端数据管理的方法及系统
CA3033859C (en) Method and system for automatically extracting relevant tax terms from forms and instructions
US11222266B2 (en) System and method for automatic learning of functions
CN112506946A (zh) 业务数据查询方法、装置、设备及存储介质
US11379657B2 (en) Systems and methods for automatic report generation and retaining of annotations in reporting documents after regeneration
US20160203217A1 (en) Data analysis using natural language processing to obtain insights relevant to an organization
EP1990740A1 (en) Schema matching for data migration
US11023452B2 (en) Data dictionary with a reduced need for rebuilding
EP1415240A1 (en) Workflow system for managing versions of a document, and method for managing versions of a document using the same
US20070156977A1 (en) Automatic location data determination in an electronic document
US20110179036A1 (en) Methods and Apparatuses For Abstract Representation of Financial Documents
US8862609B2 (en) Expanding high level queries
US8595095B2 (en) Framework for integrated storage of banking application data
US10963423B2 (en) Generating and identifying distinct portions of a merged file
CN113741864B (zh) 基于自然语言处理的语义化服务接口自动设计方法与系统
JP2022153339A (ja) データベースシステムにおけるレコードマッチング(データベースシステムにおけるレコードマッチングのコンピュータ実装方法、コンピュータプログラム、コンピュータシステム)
CN105243022B (zh) 主机应用软件系统的性能数据分析方法及装置
CN114676094A (zh) 数字化政府项目的全周期管理方法、系统及可读存储介质
KR20070014365A (ko) 데이터 정보의 표준화 관리방법
KR101737575B1 (ko) 자동 생성된 sql 구문 기반의 데이터 검증 방법 및 장치
CN109522277A (zh) 一种多格式文件阅读的方法和装置
CN115660875A (zh) 账目数据处理方法、装置、计算机设备和存储介质
CN117494666A (zh) 一种表格文件的转换方法和装置、电子设备及存储介质
Qerimi Disclosable Restructuring Paper-KOSOVO: COMPETITIVENESS AND EXPORT READINESS PROJECT-P152881
CN115576897A (zh) 商机档案的创建方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180116

RJ01 Rejection of invention patent application after publication