CN112416257A - 资源存储方法及装置 - Google Patents
资源存储方法及装置 Download PDFInfo
- Publication number
- CN112416257A CN112416257A CN202011403963.8A CN202011403963A CN112416257A CN 112416257 A CN112416257 A CN 112416257A CN 202011403963 A CN202011403963 A CN 202011403963A CN 112416257 A CN112416257 A CN 112416257A
- Authority
- CN
- China
- Prior art keywords
- data resource
- time
- resource
- service system
- access time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008569 process Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种资源存储方法及装置,该方法包括:响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;获取目标数据资源的资源信息;基于资源信息判断是否首次向所述业务系统上传目标数据资源;若是,则将目标数据资源存储至热存储设备;若否,则判断前序数据资源是否已归档,前序数据资源为首次向所述业务系统上传的目标数据资源;若是,则从归档设备中获取前序数据资源,前序数据资源转存至所述热存储设备。应用本发明提供的方法,在用户需要上传数据资源时,先确认该数据资源是否重复上传,避免多次上传同一数据资源占用业务系统中热存储设备的存储空间,节约存储成本。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种资源存储方法及装置。
背景技术
随着技术的发展,各个企业的业务系统中通常存储着大量的图片、视频、VR数据等数据资源,随着企业的发展,企业的业务系统中所存储的数据资源的数量也越来越多。
随着数据资源的数量增多,业务系统中对数据资源进行存储成本也越来越高,为了降低数据资源的存储成本,现有技术中通常是将长期未被访问的数据资源进行删除,而当某一数据资源被删除将无法进行找回。同时,为了防止数据被删除,用户可能会重复上传已经存储的数据资源,如此更是加大了业务系统中存储数据资源的压力,导致业务系统中存储数据资源的成本更高。
发明内容
有鉴于此,本发明提供一种资源存储方法,通过该方法,可以仅需要在数据资源第一次上传时进行存储,避免重复存储相同的数据资源,节约存储成本。
本发明还提供了一种资源存储装置,用以保证上述方法在实际中的实现及应用。
一种资源存储方法,包括:
响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;
获取所述目标数据资源的资源信息;
基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;
若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源;
若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;
若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。
上述的方法,可选的,所述判断是否首次向所述业务系统上传所述目标数据资源,包括:
提取所述资源信息中所述目标数据资源对应的MD5值;
获取所述业务系统中预先存储的存储列表,并将所述MD5值与所述存储列表中各个已存储的校验值进行比对;
若所述存储列表中各个所述校验值均与所述MD5值不一致,则确定是首次向所述业务系统上传所述目标数据资源;
若所述存储列表中存在任一校验值与所述MD5值一致,则确定非首次向所述业务系统上传所述目标数据资源。
上述的方法,可选的,所述判断前序数据资源是否已归档,包括:
基于所述存储列表中与所述MD5值一致的校验值,获取所述存储列表中所述前序数据资源的最后访问时间,所述最后访问时间为用户最后一次访问所述前序数据资源的时间;
基于所述最后访问时间,计算所述前序数据资源的等待访问时间,并判断所述等待访问时间是否超出预先设置的时间期限;
若所述等待访问时间超出预先设置的时间期限,则确定所述前序数据资源已归档;
若所述等待访问时间未超出预先设置的时间期限,则确定所述前序数据资源未归档。
上述的方法,可选的,还包括:
当所述用户访问所述前序数据资源时,确定所述用户访问所述前序数据资源的当前访问时间;
确定所述当前访问时间为所述前序数据资源的新的最后访问时间,并基于所述新的最后访问时间更新所述业务系统中的存储列表。
上述的方法,可选的,还包括:
按照预先设置的扫描周期,扫描所述热存储设备中各个已存储的数据资源;
获取所述存储列表中每个所述已存储的数据资源对应的最后访问时间;
基于每个所述已存储的数据资源对应的最后访问时间,计算每个所述已存储的数据资源的等待访问时间,并判断每个所述已存储的数据资源的等待访问时间是否超出所述时间期限;
若任意的已存储的数据资源的等待访问时间超出所述时间期限,则将等待访问时间超出所述时间期限的数据资源转存至所述归档设备中。
一种资源存储装置,包括:
确定单元,用于响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;
第一获取单元,用于获取所述目标数据资源的资源信息;
第一判断单元,用于基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;
第一存储单元,用于若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源;
第二判断单元,用于若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;
第二存储单元,用于若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。
上述的装置,可选的,所述第一判断单元,包括:
提取子单元,用于提取所述资源信息中所述目标数据资源对应的MD5值;
比对子单元,用于获取所述业务系统中预先存储的存储列表,并将所述MD5值与所述存储列表中各个已存储的校验值进行比对;
第一确定子单元,用于若所述存储列表中各个所述校验值均与所述MD5值不一致,则确定是首次向所述业务系统上传所述目标数据资源;
第二确定子单元,用于若所述存储列表中存在任一校验值与所述MD5值一致,则确定非首次向所述业务系统上传所述目标数据资源。
上述的装置,可选的,所述第二判断单元,包括:
获取子单元,用于基于所述存储列表中与所述MD5值一致的校验值,获取所述存储列表中所述前序数据资源的最后访问时间,所述最后访问时间为用户最后一次访问所述前序数据资源的时间;
判断子单元,用于基于所述最后访问时间,计算所述前序数据资源的等待访问时间,并判断所述等待访问时间是否超出预先设置的时间期限;
第三确定子单元,用于若所述等待访问时间超出预先设置的时间期限,则确定所述前序数据资源已归档;
第四确定子单元,用于若所述等待访问时间未超出预先设置的时间期限,则确定所述前序数据资源未归档。
上述的装置,可选的,还包括:
更新单元,用于当所述用户访问所述前序数据资源时,确定所述用户访问所述前序数据资源的当前访问时间;确定所述当前访问时间为所述前序数据资源的新的最后访问时间,并基于所述新的最后访问时间更新所述业务系统中的存储列表。
上述的装置,可选的,还包括:
扫描单元,用于按照预先设置的扫描周期,扫描所述热存储设备中各个已存储的数据资源;
第二获取单元,用于获取所述存储列表中每个所述已存储的数据资源对应的最后访问时间;
第三判断单元,用于基于每个所述已存储的数据资源对应的最后访问时间,计算每个所述已存储的数据资源的等待访问时间,并判断每个所述已存储的数据资源的等待访问时间是否超出所述时间期限;
第三存储单元,用于若任意的已存储的数据资源的等待访问时间超出所述时间期限,则将等待访问时间超出所述时间期限的数据资源转存至所述归档设备中。
一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的资源存储方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行上述的资源存储方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种资源存储方法,包括:响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;获取所述目标数据资源的资源信息;基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源;若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。应用本发明提供的方法,在用户需要上传数据资源时,先确认该数据资源是否重复上传,避免多次上传同一数据资源占用业务系统中热存储设备的存储空间,节约存储成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种资源存储方法的方法流程图;
图2为本发明实施例提供的一种资源存储方法的又一方法流程图;
图3为本发明实施例提供的一种资源存储方法的再一方法流程图;
图4为本发明实施例提供的一种资源存储装置的装置结构图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种资源存储方法,该方法可以应用在多种业务系统和平台,所述方法的方法流程图如图1所示,具体包括:
S101:响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源。
在本发明实施例中,目标数据资源可以是文件、图片、视频或音频等资源。
S102:获取所述目标数据资源的资源信息。
在本发明实施例中,目标数据资源的资源信息中包括该目标数据资源的资源类型、资源名称、MD5值、哈希值以及资源大小等信息。
其中,该目标数据资源的MD5值是目标数据资源的唯一标识信息。
S103:基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;若是,则执行S104;若否,则执行S105。
在本发明实施例中,基于资源信息,判断是否首次向该业务系统上传目标数据资源,即,判断该目标数据资源是否是第一次上传至该业务系统。
S104:若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源。
在本发明实施例中,若该目标数据资源是首次上传至业务系统,则将该目标数据资源存储至热存储设备。
需要说明的是,该热存储设备是设置于业务系统中用于存储数据资源的存储器。该热存储设备用于短期存储数据资源,主要用于存储用户经常访问的数据资源,在用户请求访问该热存储设备中的任意一个数据资源时,能够快速响应用户的访问请求。
可选的,在成功将该目标数据资源存储至该热存储设备后,基于该热存储设备对应的URL地址,向用户反馈上传成功消息。
S105:若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;若是,则执行S106;若否,则执行S107。
在本发明实施例中,若该目标数据资源并非是首次上传至该业务系统,则需要确定前序数据资源是否已归档,即,判断该前序数据资源是否已从热存储设备转存至归档设备。
S106:若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。
在本发明实施例中,若该前序数据资源已归档,则根据用户进行资源上传的触发指令,确定该用户近期可能需要访问该目标数据资源,因此将该前序数据资源转存至该热存储设备中。
需要说明的是,归档设备用于长期存储数据资源,主要用于存储长期未被访问的数据资源。该归档设备对用户的访问请求响应较慢,但其拥有足够大的存储空间,能够保证长期存储比较冷门的数据资源。当响应用户上传数据资源的触发指令时,将该前序数据资源从归档设备转存至热存储设备中,以确保用户需要访问该目标数据资源时,通过热存储设备快速响应用户的请求,并将前序数据资源反馈给用户。
S107:若所述前序数据资源未归档,则确定所述前序数据资源已存储于所述热存储设备。
在本发明实施例中,若该前序数据资源没有归档,则证明该前序数据资源依旧存储于该热存储设备中,并未转存至该归档设备。因此在确定该热存储设备未归档时,可以直接向该用户反馈该热存储设备的URL地址,以告知用户该目标数据资源已存储于热存储设备。
可选的,用户在发送上传该目标数据资源的触发指令时,执行上述S101至S106的操作,并在将该目标数据资源或前序数据资源存储至该热存储设备后向用户反馈热存储设备的URL地址,该用户可根据该URL地址确定该目标数据资源当前的存储位置。
本发明实施例提供的资源存储方法中,响应于用户向业务系统进行资源上传的触发指令,并根据该触发指令确定用户当前所需要上传的目标数据资源。获取该目标数据资源的资源信息,并基于该资源信息判断是否首次向该业务系统上传该目标数据资源。若是,则将该目标数据资源存储至热存储设备中,并向用户反馈该热存储设备的URL地址。若否,则判断前序数据资源是否已归档。其中,该前序数据资源是首次向业务系统上传的目标数据资源。若该前序数据资源已归档,则已归档至归档设备中的前序数据资源转存回热存储设备。
例如,若用户当前需要上传图片时,响应用户向业务系统上传目标图片的触发指令,并获取该目标图片的资源信息。根据该目标图片的资源信息,判断是否是首次向业务系统上传该目标图片;若是,则将该目标图片保存至热存储设备;若否,则判断已存储于该业务系统的前序图片是否已归档,该前序图片为首次向业务系统上传的目标图片。若该前序图片已归档,则从归档设备中将该前序图片再次存储到热存储设备中。
可选的,若该前序数据资源未归档,则该前序数据资源依旧存储于热存储设备,继续将该前序数据资源存储在该热存储设备中,并向用户发送与该目标数据资源对应的数据已上传的消息,并将该热存储设备的URL地址向用户进行反馈。
进一步地,当将前序数据资源从归档设备转存回热存储设备后,向用户发送数据已上传的消息,并将该热存储设备的URL地址向用户进行反馈。
应用本发明实施例提供的方法,在用户需要上传数据资源时,先确认该数据资源是否重复上传,避免多次上传同一数据资源占用业务系统中热存储设备的存储空间,节约存储成本。
本发明实施例提供的方法中,基于上述S103的内容,当用户需要上传目标数据资源时,需要验证该目标数据资源是否重复上传。参考图2,所述判断是否首次向所述业务系统上传所述目标数据资源的过程,具体可以包括:
S201:提取所述资源信息中所述目标数据资源对应的MD5值。
在本发明实施例中,目标数据资源的资源信息中包含目标数据资源的资源类型、资源名称、MD5值、哈希值以及资源大小等信息。其中,MD5值是一种密码散列函数,用于确保信息传输完整一致。每个数据资源均对应一个MD5值,对于本发明实施例中的目标数据资源,其对应的MD5值是唯一的。
S202:获取所述业务系统中预先存储的存储列表,并将所述MD5值与所述存储列表中各个已存储的校验值进行比对。
在本发明实施例中,当用户首次向业务系统上传目标数据资源时,将该目标数据资源的MD5值作为后续对该目标数据资源进行校验的校验值存储至存储列表中。当用户再次上传目标数据资源时,将该目标数据资源的MD5值与存储列表中的各个校验值进行比对,以确定该目标数据资源是否是首次上传至该业务系统。
S203:若所述存储列表中各个所述校验值均与所述MD5值不一致,则确定是首次向所述业务系统上传所述目标数据资源。
在本发明实施例中,若该存储列表中不存在与该MD5值一致的校验值,则确定该目标数据资源是第一次上传至该业务系统,可将其存储该业务系统的热存储设备中。
S204:若所述存储列表中存在任一校验值与所述MD5值一致,则确定非首次向所述业务系统上传所述目标数据资源。
在本发明实施例中,若该存储列表中存在与该MD5值一致的校验值,则表征该目标数据资源原先已上传至该业务系统,无需再次重复进行存储。
本发明实施例提供的资源存储方法中,当接收到用户上传资源的触发指令时,提取该目标数据资源的资源信息中的MD5值,并获取业务系统中的存储列表。该存储列表中已录入多个校验值,每个校验值为该业务系统中已上传的每个数据资源对应的MD5值,除此之外,该存储列表中还包括已上传的每个数据资源的资源上传时间以及每次被访问的访问时间等。将目标数据资源对应的MD5值与该存储列表中的各个校验值进行比对,若该存储列表中有与该MD5值一致的校验值,则在用户上传该目标数据资源之前,该目标数据资源已经存储于该业务系统;若该存储列表中没有与该MD5值一致的校验值,则证明该目标数据资源从未上传至该业务系统。
可选的,本发明实施例中应用数据资源的MD5值作为验证数据资源是否重复上传的校验值,除此之外,还可以应用数据资源的哈希值等其他与数据资源对应的唯一标识信息作为该数据资源的校验值。
应用本发明实施例提供的方法,通过MD5值校验是否首次向业务系统上传该目标数据资源,以避免重复上传该目标数据资源,节约数据资源的存储成本。
本发明实施例提供的方法中,基于上述S104的内容,在确定目标数据资源并非首次上传至业务系统,则需要确定首次上传至业务系统的目标数据资源,即前序数据资源是否已从热存储设备转存至归档设备,因此,判断该前序数据资源是否已归档的过程如图3所示,具体可以包括:
S301:基于所述存储列表中与所述MD5值一致的校验值,获取所述存储列表中所述前序数据资源的最后访问时间,所述最后访问时间为用户最后一次访问所述前序数据资源的时间。
在本发明实施例中,在业务系统中,若存在任意的数据资源长时间未被用户访问,则业务系统将按照设置的处理流程,将该数据资源从热存储设备中转存至归档设备。在确定目标数据资源并非是首次上传至该业务系统,则根据存储列表中与该目标数据资源对应的校验值,获取首次上传至业务系统的目标数据资源最后一次被用户访问的时间,即,前序数据资源的最后访问时间。
可选的,目标数据资源在首次上传时,目标数据资源的最后访问时间为首次上传的时间。
S302:基于所述最后访问时间,计算所述前序数据资源未被访问的等待访问时间,并判断所述等待访问时间是否超出预先设置的时间期限。
在本发明实施例中,该等待访问时间用于表征该前序数据资源从最后访问时间至今等待被用户访问的时间间隔,即:等待访问时间=当前时间-最后访问时间。该时间期限是为确定热存储设备中各个数据资源是否需要进行归档的判断条件,若热存储设备中存在任意的数据资源未被访问的等待访问时间超出该时间期限,则认为该数据资源归档;反之,则该数据资源未归档。
S303:若所述等待访问时间超出预先设置的时间期限,则确定所述前序数据资源已归档。
本发明实施例中,前序数据资源已归档指的是首次上传至业务系统的目标数据资源已从原来的热存储设备转存至归档设备。
S304若所述等待访问时间未超出预先设置的时间期限,则确定所述前序数据资源未归档。
本发明实施例中,前序数据资源未归档指的是首次上传至业务系统的目标数据资源依旧存储于热存储设备。
本发明实施例提供的资源存储方法中,当需要验证前序数据资源是否已归档时,先根据该前序数据资源在存储列表中的校验值,获取该存储列表中该前序数据资源的最后访问时间,基于该最后访问时间及用户当前需要上传目标数据资源时对应的当前时间,计算该前序数据资源未被访问的等待访问时间。判断该等待访问时间是否超出预先设置的时间期限,若超出,则该前序数据资源已归档;若未超出,则该前序数据资源未归档。
可以理解的是,通过时间期限来确定前序数据资源是否为热门的数据资源,即,在该时间期限内存在用户访问该前序数据资源,则该前序数据资源为热门的数据资源,在该时间期限内并不存在用户访问该前序数据资源,则该前序数据资源为冷门的数据资源。因此热存储设备中存储的是业务系统中比较热门的数据资源,且该热存储设备相对于归档设备,在接收到用户的访问请求时,热存储设备的响应速度比归档设备响应速度快,因此存储于热存储设备中的数据资源均为热门数据资源,当用户需要访问热门的数据资源时,能够更快响应用户的请求。虽然热存储设备响应速度快,但其存储空间小,维护成本高,因此,当业务系统中所需要上传的数据资源较多时,可以结合归档设备对业务系统的各个数据资源进行存储。该归档设备虽然相对于热存储设备来说响应速度较慢,但其存储空间大,维护成本低。根据时间期限划分冷门的数据资源和热门的数据资源,将热门的数据资源存储于热存储设备中,以保证用户在多次访问热门的数据资源时,能够进行及时的响应;将冷门的数据资源存储于归档设备中,能够保证在数据资源在长期没有用户访问的情况下继续存储于业务系统中,若冷门的数据资源再次被用户上传时,无需再次对其进行存储,避免数据资源重复上传。
应用发明实施例提供的方法,通过最后访问时间确定前序数据资源当前的存储位置,以确定是否需要将该前序数据资源进行转存。
本发明实施例提供的方法中,业务系统的存储列表中存储每个数据资源对应的校验值、最后访问时间以及入库时间等,当用户需要访问业务系统已上传的前序数据资源时,需要根据当前访问时间更新该前序数据资源的最后访问时间,具体过程包括:
当所述用户访问所述前序数据资源时,确定所述用户访问所述前序数据资源的当前访问时间;
确定所述当前访问时间为所述前序数据资源的新的最后访问时间,并基于所述新的最后访问时间更新所述业务系统中的存储列表。
本发明实施例提供的资源存储方法中,在首次向业务系统上传目标数据资源后,存储于该业务系统的目标数据资源则为前序数据资源。当用户通过该业务系统访问该前序数据资源时,确定该用户当前访问前序数据资源的当前访问时间,并将当前访问时间确定为该前序数据资源的新的最后访问时间,并根据该新的最后访问时间更新存储列表。其中,用户通过业务系统对该前序数据资源进行复制、访问或查看等操作均是对该前序数据资源的访问。
可选的,当用户在访问该前序数据资源时,若该前序数据资源已归档,则在用户结束访问该前序数据资源后,将前序数据资源从归档设备转存至该热存储设备中;若该前序数据资源未归档,则在结束访问前序数据资源后,将该前序数据资源继续存储于热存储设备中。
具体的,若需要将热存储设备中已存储的各个数据资源转存至该归档设备,则需要定时扫描各个数据资源的访问情况,以基于访问情况变更数据资源的存储位置,具体过程包括:
按照预先设置的扫描周期,扫描所述热存储设备中各个已存储的数据资源;
获取所述存储列表中每个所述已存储的数据资源对应的最后访问时间;
基于每个所述已存储的数据资源对应的最后访问时间,计算每个所述已存储的数据资源的等待访问时间,并判断每个所述已存储的数据资源的等待访问时间是否超出所述时间期限;
若任意的已存储的数据资源的等待访问时间超出所述时间期限,则将等待访问时间超出所述时间期限的数据资源转存至所述归档设备中。
本发明实施例提供的资源存储方法中,按照固定的扫描周期扫描热存储设备中的各个数据资源,以确定是否存在长时间未被访问的数据资源。具体的,获取热存储设备中各个已存储的数据资源的最后访问时间,以通过每个已存储的数据资源的最后访问时间,确定每个已存储的数据资源的等待访问时间,判断每个等待访问时间是否超出该时间期限,若存在任一等待访问时间超出时间期限,则需要将该等待访问时间对应的已存储的数据资源转存至归档设备,反之则无需对该已存储的数据资源进行转存。
其中,本发明实施例中的每个已存储的数据资源的等待访问时间为,该已存储的数据资源的最后访问时间至当前扫描周期对应的扫描时间的时间间隔。
需要说明的是,本发明实施例中的时间期限大于两个扫描周期之间的时间间隔。
可选的,在归档设备中,若存在任意的数据资源其转存至该归档设备的时间过长,可以将该数据资源进行删除,并将存储列表中与该数据资源对应的校验值和最后访问时间等相关信息进行删除。
应用本发明实施例提供的方法,可以实时扫描热存储设备中的各个数据资源,以将冷门的数据资源从热存储设备中转存出去,节约热存储设备的存储成本。
上述各个实施例的具体实施过程及其衍生方式,均在本发明的保护范围之内。
与图1所述的方法相对应,本发明实施例还提供了一种资源存储装置,用于对图1中方法的具体实现,本发明实施例提供的资源存储装置可以应用计算机终端或各种移动设备中,其结构示意图如图4所示,具体包括:
确定单元401,用于响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;
第一获取单元402,用于获取所述目标数据资源的资源信息;
第一判断单元403,用于基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;
第一存储单元404,用于若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源;
第二判断单元405,用于若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;
第二存储单元406,用于若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。
本发明实施例提供的资源存储装置中,响应于用户向业务系统进行资源上传的触发指令,并根据该触发指令确定用户当前所需要上传的目标数据资源。获取该目标数据资源的资源信息,并基于该资源信息判断是否首次向该业务系统上传该目标数据资源。若是,则将该目标数据资源存储至热存储设备中,并向用户反馈该热存储设备的URL地址。若否,则判断前序数据资源是否已归档。其中,该前序数据资源是首次向业务系统上传的目标数据资源。若该前序数据资源已归档,则已归档至归档设备中的前序数据资源转存回热存储设备。
应用本发明提供的装置,在用户需要上传数据资源时,先确认该数据资源是否重复上传,避免多次上传同一数据资源占用业务系统中热存储设备的存储空间,节约存储成本。
本发明实施例提供的装置中,所述第一判断单元,包括:
提取子单元,用于提取所述资源信息中所述目标数据资源对应的MD5值;
比对子单元,用于获取所述业务系统中预先存储的存储列表,并将所述MD5值与所述存储列表中各个已存储的校验值进行比对;
第一确定子单元,用于若所述存储列表中各个所述校验值均与所述MD5值不一致,则确定是首次向所述业务系统上传所述目标数据资源;
第二确定子单元,用于若所述存储列表中存在任一校验值与所述MD5值一致,则确定非首次向所述业务系统上传所述目标数据资源。
本发明实施例提供的装置中,所述第二判断单元,包括:
获取子单元,用于基于所述存储列表中与所述MD5值一致的校验值,获取所述存储列表中所述前序数据资源的最后访问时间,所述最后访问时间为用户最后一次访问所述前序数据资源的时间;
判断子单元,用于基于所述最后访问时间,计算所述前序数据资源的等待访问时间,并判断所述等待访问时间是否超出预先设置的时间期限;
第三确定子单元,用于若所述等待访问时间超出预先设置的时间期限,则确定所述前序数据资源已归档;
第四确定子单元,用于若所述等待访问时间未超出预先设置的时间期限,则确定所述前序数据资源未归档。
本发明实施例提供的装置中,还包括:
更新单元,用于当所述用户访问所述前序数据资源时,确定所述用户访问所述前序数据资源的当前访问时间;确定所述当前访问时间为所述前序数据资源的新的最后访问时间,并基于所述新的最后访问时间更新所述业务系统中的存储列表。
本发明实施例提供的装置中,还包括:
扫描单元,用于按照预先设置的扫描周期,扫描所述热存储设备中各个已存储的数据资源;
第二获取单元,用于获取所述存储列表中每个所述已存储的数据资源对应的最后访问时间;
第三判断单元,用于基于每个所述已存储的数据资源对应的最后访问时间,计算每个所述已存储的数据资源的等待访问时间,并判断每个所述已存储的数据资源的等待访问时间是否超出所述时间期限;
第三存储单元,用于若任意的已存储的数据资源的等待访问时间超出所述时间期限,则将等待访问时间超出所述时间期限的数据资源转存至所述归档设备中。
以上本发明实施例公开的资源存储装置中各个单元及子单元的具体工作过程,可参见本发明上述实施例公开的资源存储方法中的对应内容,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述资源存储方法。
本发明实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作:
响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;
获取所述目标数据资源的资源信息;
基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;
若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源;
若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;
若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现。
为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种资源存储方法,其特征在于,包括:
响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;
获取所述目标数据资源的资源信息;
基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;
若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源;
若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;
若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。
2.根据权利要求1所述的方法,其特征在于,所述判断是否首次向所述业务系统上传所述目标数据资源,包括:
提取所述资源信息中所述目标数据资源对应的MD5值;
获取所述业务系统中预先存储的存储列表,并将所述MD5值与所述存储列表中各个已存储的校验值进行比对;
若所述存储列表中各个所述校验值均与所述MD5值不一致,则确定是首次向所述业务系统上传所述目标数据资源;
若所述存储列表中存在任一校验值与所述MD5值一致,则确定非首次向所述业务系统上传所述目标数据资源。
3.根据权利要求2所述的方法,其特征在于,所述判断前序数据资源是否已归档,包括:
基于所述存储列表中与所述MD5值一致的校验值,获取所述存储列表中所述前序数据资源的最后访问时间,所述最后访问时间为用户最后一次访问所述前序数据资源的时间;
基于所述最后访问时间,计算所述前序数据资源的等待访问时间,并判断所述等待访问时间是否超出预先设置的时间期限;
若所述等待访问时间超出预先设置的时间期限,则确定所述前序数据资源已归档;
若所述等待访问时间未超出预先设置的时间期限,则确定所述前序数据资源未归档。
4.根据权利要求1~3任意一项所述的方法,其特征在于,还包括:
当所述用户访问所述前序数据资源时,确定所述用户访问所述前序数据资源的当前访问时间;
确定所述当前访问时间为所述前序数据资源的新的最后访问时间,并基于所述新的最后访问时间更新所述业务系统中的存储列表。
5.根据权利要求4所述的方法,其特征在于,还包括:
按照预先设置的扫描周期,扫描所述热存储设备中各个已存储的数据资源;
获取所述存储列表中每个所述已存储的数据资源对应的最后访问时间;
基于每个所述已存储的数据资源对应的最后访问时间,计算每个所述已存储的数据资源的等待访问时间,并判断每个所述已存储的数据资源的等待访问时间是否超出所述时间期限;
若任意的已存储的数据资源的等待访问时间超出所述时间期限,则将等待访问时间超出所述时间期限的数据资源转存至所述归档设备中。
6.一种资源存储装置,其特征在于,包括:
确定单元,用于响应于用户向业务系统进行资源上传的触发指令,确定当前待上传的目标数据资源;
第一获取单元,用于获取所述目标数据资源的资源信息;
第一判断单元,用于基于所述资源信息,判断是否首次向所述业务系统上传所述目标数据资源;
第一存储单元,用于若首次向所述业务系统上传所述目标数据资源,则将所述目标数据资源存储至所述业务系统预先设置的热存储设备中,所述热存储设备用于短期存储数据资源;
第二判断单元,用于若非首次向所述业务系统上传所述目标数据资源,则判断前序数据资源是否已归档,所述前序数据资源为首次向所述业务系统上传的所述目标数据资源;
第二存储单元,用于若所述前序数据资源已归档,则从预先设置的归档设备中获取所述前序数据资源,并将所述前序数据资源转存至所述热存储设备,所述归档设备用于长期存储数据资源。
7.根据权利要求6所述的装置,其特征在于,所述第一判断单元,包括:
提取子单元,用于提取所述资源信息中所述目标数据资源对应的MD5值;
比对子单元,用于获取所述业务系统中预先存储的存储列表,并将所述MD5值与所述存储列表中各个已存储的校验值进行比对;
第一确定子单元,用于若所述存储列表中各个所述校验值均与所述MD5值不一致,则确定是首次向所述业务系统上传所述目标数据资源;
第二确定子单元,用于若所述存储列表中存在任一校验值与所述MD5值一致,则确定非首次向所述业务系统上传所述目标数据资源。
8.根据权利要求6所述的装置,其特征在于,所述第二判断单元,包括:
获取子单元,用于基于所述存储列表中与所述MD5值一致的校验值,获取所述存储列表中所述前序数据资源的最后访问时间,所述最后访问时间为用户最后一次访问所述前序数据资源的时间;
判断子单元,用于基于所述最后访问时间,计算所述前序数据资源的等待访问时间,并判断所述等待访问时间是否超出预先设置的时间期限;
第三确定子单元,用于若所述等待访问时间超出预先设置的时间期限,则确定所述前序数据资源已归档;
第四确定子单元,用于若所述等待访问时间未超出预先设置的时间期限,则确定所述前序数据资源未归档。
9.根据权利要求6所述的装置,其特征在于,还包括:
更新单元,用于当所述用户访问所述前序数据资源时,确定所述用户访问所述前序数据资源的当前访问时间;确定所述当前访问时间为所述前序数据资源的新的最后访问时间,并基于所述新的最后访问时间更新所述业务系统中的存储列表。
10.根据权利要求9所述的装置,其特征在于,还包括:
扫描单元,用于按照预先设置的扫描周期,扫描所述热存储设备中各个已存储的数据资源;
第二获取单元,用于获取所述存储列表中每个所述已存储的数据资源对应的最后访问时间;
第三判断单元,用于基于每个所述已存储的数据资源对应的最后访问时间,计算每个所述已存储的数据资源的等待访问时间,并判断每个所述已存储的数据资源的等待访问时间是否超出所述时间期限;
第三存储单元,用于若任意的已存储的数据资源的等待访问时间超出所述时间期限,则将等待访问时间超出所述时间期限的数据资源转存至所述归档设备中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011403963.8A CN112416257B (zh) | 2020-12-02 | 2020-12-02 | 资源存储方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011403963.8A CN112416257B (zh) | 2020-12-02 | 2020-12-02 | 资源存储方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112416257A true CN112416257A (zh) | 2021-02-26 |
CN112416257B CN112416257B (zh) | 2024-07-09 |
Family
ID=74830057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011403963.8A Active CN112416257B (zh) | 2020-12-02 | 2020-12-02 | 资源存储方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112416257B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817200A (zh) * | 2022-05-06 | 2022-07-29 | 安徽森江人力资源服务有限公司 | 一种基于物联网的文档数据云端管理方法、系统及储存介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685332A (zh) * | 2012-08-31 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 文件上传方法、客户端、服务器及系统 |
CN105095367A (zh) * | 2015-06-26 | 2015-11-25 | 北京奇虎科技有限公司 | 一种客户端数据的采集方法和装置 |
CN105306860A (zh) * | 2015-10-12 | 2016-02-03 | 东方网力科技股份有限公司 | 一种录像数据存储方法及装置 |
CN106257461A (zh) * | 2016-08-29 | 2016-12-28 | 董晓明 | 数据存储方法及装置 |
CN110022341A (zh) * | 2018-01-10 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 一种数据传输方法及相关设备 |
WO2019192103A1 (zh) * | 2018-04-03 | 2019-10-10 | 平安科技(深圳)有限公司 | 并发访问控制方法、装置、终端设备及介质 |
CN110958302A (zh) * | 2019-11-04 | 2020-04-03 | 广东小天才科技有限公司 | 文件上传方法、用户终端、上传管理服务器和系统 |
CN111031110A (zh) * | 2019-11-29 | 2020-04-17 | 山东英信计算机技术有限公司 | 一种文件上传方法、装置及电子设备和存储介质 |
-
2020
- 2020-12-02 CN CN202011403963.8A patent/CN112416257B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685332A (zh) * | 2012-08-31 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 文件上传方法、客户端、服务器及系统 |
CN105095367A (zh) * | 2015-06-26 | 2015-11-25 | 北京奇虎科技有限公司 | 一种客户端数据的采集方法和装置 |
CN105306860A (zh) * | 2015-10-12 | 2016-02-03 | 东方网力科技股份有限公司 | 一种录像数据存储方法及装置 |
CN106257461A (zh) * | 2016-08-29 | 2016-12-28 | 董晓明 | 数据存储方法及装置 |
CN110022341A (zh) * | 2018-01-10 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 一种数据传输方法及相关设备 |
WO2019192103A1 (zh) * | 2018-04-03 | 2019-10-10 | 平安科技(深圳)有限公司 | 并发访问控制方法、装置、终端设备及介质 |
CN110958302A (zh) * | 2019-11-04 | 2020-04-03 | 广东小天才科技有限公司 | 文件上传方法、用户终端、上传管理服务器和系统 |
CN111031110A (zh) * | 2019-11-29 | 2020-04-17 | 山东英信计算机技术有限公司 | 一种文件上传方法、装置及电子设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817200A (zh) * | 2022-05-06 | 2022-07-29 | 安徽森江人力资源服务有限公司 | 一种基于物联网的文档数据云端管理方法、系统及储存介质 |
CN114817200B (zh) * | 2022-05-06 | 2024-04-05 | 新疆利丰智能科技股份有限公司 | 一种基于物联网的文档数据云端管理方法、系统及储存介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112416257B (zh) | 2024-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414334B (zh) | 基于云技术的文件分片上传方法、装置、设备及存储介质 | |
CN107943594B (zh) | 数据获取方法和装置 | |
CN110096660B (zh) | 用于加载页面图片的方法、装置和电子设备 | |
US20090292710A1 (en) | Management of mobile-device data | |
JP5887025B2 (ja) | 情報送信方法、装置、およびシステム、端末、およびサーバ | |
CN109257373B (zh) | 一种域名劫持识别方法、装置及系统 | |
WO2017096968A1 (zh) | 日志上传方法及装置 | |
CN109309730A (zh) | 一种可信的文件传输方法和系统 | |
WO2016070718A1 (zh) | 进行文件下载的方法、装置和浏览器 | |
CN113411404A (zh) | 一种文件下载方法、装置、服务器及存储介质 | |
CN112422497B (zh) | 消息传递方法、装置及计算机设备 | |
CN103685332A (zh) | 文件上传方法、客户端、服务器及系统 | |
CN104376090A (zh) | 计算设备的浏览器与移动终端的屏幕同步 | |
CN113453047A (zh) | 资源请求的处理方法、装置、电子设备及存储介质 | |
CN110392119B (zh) | 一种数据传输方法及基站 | |
CN112416257B (zh) | 资源存储方法及装置 | |
CN113242301B (zh) | 真实服务器的选定方法、装置、计算机设备及存储介质 | |
CN108804058A (zh) | 一种云打印的方法和系统 | |
CN109324877A (zh) | 数据访问的方法及服务器 | |
US20150317742A1 (en) | Digital Content Insurance and Restoration | |
CN110020290B (zh) | 网页资源缓存方法、装置、存储介质及电子装置 | |
CN115878138A (zh) | 应用预下载方法、装置、计算机、存储介质 | |
US8510505B1 (en) | Method and apparatus for a virtual storage device | |
CN104580276A (zh) | 信息推送方法、装置、系统及信息接入装置 | |
CN105306537B (zh) | 一种传输办公自动化系统的文件的方法、服务器和客户端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |