CN111556086B - 对象存储管理方法、装置、电子设备及计算机存储介质 - Google Patents

对象存储管理方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN111556086B
CN111556086B CN202010002179.XA CN202010002179A CN111556086B CN 111556086 B CN111556086 B CN 111556086B CN 202010002179 A CN202010002179 A CN 202010002179A CN 111556086 B CN111556086 B CN 111556086B
Authority
CN
China
Prior art keywords
storage
server
reading
target
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010002179.XA
Other languages
English (en)
Other versions
CN111556086A (zh
Inventor
韩国中
张健楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010002179.XA priority Critical patent/CN111556086B/zh
Publication of CN111556086A publication Critical patent/CN111556086A/zh
Application granted granted Critical
Publication of CN111556086B publication Critical patent/CN111556086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种对象存储管理方法、装置、电子设备及计算机存储介质,所述方法包括:响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中;将所述对象存储信息发送给远程对象存储服务器,以使远程对象存储服务器根据所述对象存储信息对于写入的目标存储对象进行定时分级存储;响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使本地缓存服务器根据所述对象删除命令删除对应的对象。该技术方案可以降低数据读取时长,提高数据读取效率,同时提高存储效率,有效解决专有云环境运维困难问题,降低视频监控数据的存储成本。

Description

对象存储管理方法、装置、电子设备及计算机存储介质
技术领域
本发明实施例涉及对象存储技术领域,具体涉及一种对象存储管理方法、装置、电子设备及计算机存储介质。
背景技术
随着社会监控力度的增强,大量的视频监控数据需要进行存储,以备后续查看。目前,视频监控数据的存储类型大多为传统存储效率较为低下的存储类型,比如以IP网络构建存储网络IPSAN、网络附属存储NAS等等。随着数据技术的发展,能够实现自动化和智能化存储、提高存储效率的分布式存储技术得到了广泛的应用,专有云对象存储也随之成为了视频监控数据存储的一种可选解决方案。虽然专有云环境存储效率高,但其需要配备专业的运维人员,运维成本高,对于大多数用户来说难以承担,不利于广泛使用。
发明内容
本发明实施例提供一种对象存储管理方法、装置、电子设备及计算机存储介质。
第一方面,本发明实施例中提供了一种对象存储管理方法,适用于对象存储管理服务器。
具体的,所述对象存储管理方法,包括:
响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象;
将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的目标存储对象进行定时分级存储;
响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
结合第一方面,本发明实施例在第一方面的第一种实现方式中,所述响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,被实施为:
响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中。
结合第一方面和第一方面的第一种实现方式,本发明实施例在第一方面的第二种实现方式中,所述将所述对象存储信息发送给所述远程对象存储服务器之前,还包括:
当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式,本公开在第一方面的第三种实现方式中,所述对象存储信息还包括目标存储对象存储参数,其中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间,以使所述远程对象存储服务器根据所述目标存储对象存储参数对于写入的目标存储对象进行定时分级存储。
结合第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式,本公开在第一方面的第四种实现方式中,还包括:
响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式,本公开在第一方面的第五种实现方式中,所述响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方,包括:
响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象;
当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象;
将读取得到的对象发送给所述对象读取请求方。
第二方面,本发明实施例中提供了一种对象存储管理方法,适用于远程对象存储服务器。
具体的,所述对象存储管理方法,包括:
响应于接收到对象存储信息,获取目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;
响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
结合第二方面,本发明实施例在第二方面的第一种实现方式中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
所述根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储,包括:
按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
结合第二方面和第二方面的第一种实现方式,本发明实施例在第二方面的第二种实现方式中,所述响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器,包括:
当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
第三方面,本发明实施例中提供了一种对象存储管理方法,适用于包括对象存储管理服务器、本地缓存服务器和远程对象存储服务器的对象存储管理系统。
具体的,所述对象存储管理方法,包括:
对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将所述对象存储信息发送给所述远程对象存储服务器,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
远程对象存储服务器响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储。
结合第三方面,本发明实施例在第三方面的第一种实现方式中,所述对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,被实施为:
所述对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中。
结合第三方面和第三方面的第一种实现方式,本发明实施例在第三方面的第二种实现方式中,所述对象存储管理服务器将所述对象存储信息发送给所述远程对象存储服务器之前,还包括:
当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
结合第三方面、第三方面的第一种实现方式和第三方面的第二种实现方式,本公开在第三方面的第三种实现方式中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
所述远程对象存储服务器响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储,包括:
按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
结合第三方面的第一种实现方式、第三方面的第二种实现方式和第三方面的第三种实现方式,本公开在第三方面的第四种实现方式中,还包括:
所述对象存储管理服务器响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
结合第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式和第三方面的第四种实现方式,本公开在第三方面的第五种实现方式中,还包括:
所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
结合第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式和第三方面的第五种实现方式,本公开在第三方面的第六种实现方式中,所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方,被实施为:
所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象,当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
结合第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式、第三方面的第五种实现方式和第三方面的第六种实现方式,本公开在第三方面的第七种实现方式中,还包括:
所述远程对象存储服务器响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
结合第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式、第三方面的第五种实现方式、第三方面的第六种实现方式和第三方面的第七种实现方式,本公开在第三方面的第八种实现方式中,所述远程对象存储服务器响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器,被实施为:
当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
第四方面,本发明实施例中提供了一种对象存储管理装置,适用于对象存储管理服务器。
具体的,所述对象存储管理装置,包括:
写入模块,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象;
第一发送模块,被配置为将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的目标存储对象进行定时分级存储;
第二发送模块,被配置为响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
结合第四方面,本公开在第四方面的第一种实现方式中,所述写入模块被配置为:
响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中。
结合第四方面和第四方面的第一种实现方式,本发明实施例在第四方面的第二种实现方式中,所述第一发送模块之前,还包括:
重新写入模块,被配置为当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
结合第四方面、第四方面的第一种实现方式和第四方面的第二种实现方式,本发明实施例在第四方面的第三种实现方式中,所述对象存储信息还包括目标存储对象存储参数,其中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间,以使所述远程对象存储服务器根据所述目标存储对象存储参数对于写入的目标存储对象进行定时分级存储。
结合第四方面、第四方面的第一种实现方式、第四方面的第二种实现方式和第四方面的第三种实现方式,本发明实施例在第四方面的第四种实现方式中,还包括:
读取模块,被配置为响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
结合第四方面、第四方面的第一种实现方式、第四方面的第二种实现方式、第四方面的第三种实现方式和第四方面的第四种实现方式,本发明实施例在第四方面的第五种实现方式中,所述读取模块包括:
第一读取子模块,被配置为响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象;
第二读取子模块,被配置为当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象;
发送子模块,被配置为将读取得到的对象发送给所述对象读取请求方。
第五方面,本发明实施例中提供了一种对象存储管理装置,适用于远程对象存储服务器。
具体的,所述对象存储管理装置,包括:
获取模块,被配置为响应于接收到对象存储信息,获取目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
分级存储模块,被配置为根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;
第三发送模块,被配置为响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
结合第五方面,本公开在第五方面的第一种实现方式中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
所述分级存储模块包括:
存储子模块,被配置为按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
第一修改子模块,被配置为响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
第二修改子模块,被配置为响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
结合第五方面和第五方面的第一种实现方式,本发明实施例在第五方面的第二种实现方式中,所述第三发送模块包括:
第三读取子模块,被配置为当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
第四读取子模块,被配置为当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
第六方面,本发明实施例中提供了一种对象存储管理装置,适用于包括对象存储管理服务器、本地缓存服务器和远程对象存储服务器的对象存储管理系统。
具体的,所述对象存储管理装置,包括:
对象存储管理服务器,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将所述对象存储信息发送给所述远程对象存储服务器,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
远程对象存储服务器,被配置为响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储。
结合第六方面,本公开在第六方面的第一种实现方式中,所述对象存储管理服务器中响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中的部分,被配置为:
所述对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中。
结合第六方面和第六方面的第一种实现方式,本发明实施例在第六方面的第二种实现方式中,所述对象存储管理服务器中将所述对象存储信息发送给所述远程对象存储服务器之前,还被配置为:
当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
结合第六方面、第六方面的第一种实现方式和第六方面的第二种实现方式,本发明实施例在第六方面的第三种实现方式中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
所述远程对象存储服务器被配置为:
按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
结合第六方面、第六方面的第一种实现方式、第六方面的第二种实现方式和第六方面的第三种实现方式,本发明实施例在第六方面的第四种实现方式中,所述对象存储管理服务器还被配置为:响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
结合第六方面、第六方面的第一种实现方式、第六方面的第二种实现方式、第六方面的第三种实现方式和第六方面的第四种实现方式,本发明实施例在第六方面的第五种实现方式中,所述对象存储管理服务器还被配置为:响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
结合第六方面、第六方面的第一种实现方式、第六方面的第二种实现方式、第六方面的第三种实现方式、第六方面的第四种实现方式和第六方面的第五种实现方式,本发明实施例在第六方面的第六种实现方式中,所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方的部分,被配置为:
所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象,当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
结合第六方面、第六方面的第一种实现方式、第六方面的第二种实现方式、第六方面的第三种实现方式、第六方面的第四种实现方式、第六方面的第五种实现方式和第六方面的第六种实现方式,本发明实施例在第六方面的第七种实现方式中,所述远程对象存储服务器还被配置为:响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
结合第六方面、第六方面的第一种实现方式、第六方面的第二种实现方式、第六方面的第三种实现方式、第六方面的第四种实现方式、第六方面的第五种实现方式、第六方面的第六种实现方式和第六方面的第七种实现方式,本发明实施例在第六方面的第八种实现方式中,所述远程对象存储服务器响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器的部分,被配置为:
当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
第七方面,本发明实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条支持对象存储管理装置执行上述对象存储管理方法的计算机指令,所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述对象存储管理装置还可以包括通信接口,用于对象存储管理装置与其他设备或通信网络通信。
第八方面,本发明实施例提供了一种计算机可读存储介质,用于存储对象存储管理装置所用的计算机指令,其包含用于执行上述对象存储管理方法为对象存储管理装置所涉及的计算机指令。
本发明实施例提供的技术方案可包括以下有益效果:
上述技术方案将目标存储对象同步写入至本地缓存服务器和远程对象存储服务器中,并使所述远程对象存储服务器根据对象存储信息对于写入的对象进行定时分级存储。该技术方案由于使用了上述本地缓存服务器和远程对象存储服务器的双重存储结构,因此可以大大降低数据读取所需时长,提高数据读取效率,同时又由于远程对象存储服务器中设置了定时分级存储策略,因此可以对于不同特性的数据进行不同方式的存储,以大大提高存储效率,进而能够有效解决专有云环境运维困难的问题,大大降低视频监控数据的存储成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明实施例。
附图说明
结合附图,通过以下非限制性实施方式的详细描述,本发明实施例的其它特征、目的和优点将变得更加明显。在附图中:
图1示出根据本发明一实施方式的对象存储管理方法的流程图;
图2示出根据本发明另一实施方式的对象存储管理方法的流程图;
图3示出根据本发明另一实施方式的对象存储管理方法的流程图;
图4示出根据图3所示实施方式的对象存储管理方法的步骤S304的流程图;
图5示出根据本发明另一实施方式的对象存储管理方法的流程图;
图6示出根据图5所示实施方式的对象存储管理方法的步骤S502的流程图;
图7示出根据图5所示实施方式的对象存储管理方法的步骤S503的流程图;
图8示出根据本发明再一实施方式的对象存储管理方法的流程图;
图9示出根据本发明一实施方式的对象存储管理方法的应用场景图;
图10示出根据本发明一实施方式的对象存储管理装置的结构框图;
图11示出根据本发明另一实施方式的对象存储管理装置的结构框图;
图12示出根据本发明再一实施方式的对象存储管理装置的结构框图;
图13是适于用来实现根据本发明一实施方式的对象存储管理方法的计算机系统的结构示意图。
具体实施方式
下文中,将参考附图详细描述本发明实施例的示例性实施方式,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施方式无关的部分。
在本发明实施例中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明实施例。
本发明实施例提供的技术方案将目标存储对象同步写入至本地缓存服务器和远程对象存储服务器中,并使所述远程对象存储服务器根据对象存储信息对于写入的对象进行定时分级存储。该技术方案由于使用了上述本地缓存服务器和远程对象存储服务器的双重存储结构,因此可以大大降低数据读取所需时长,提高数据读取效率,同时又由于远程对象存储服务器中设置了定时分级存储策略,因此可以对于不同特性的数据进行不同方式的存储,以大大提高存储效率,进而能够有效解决专有云环境运维困难的问题,大大降低视频监控数据的存储成本。
图1示出根据本发明一实施方式的对象存储管理方法的流程图,适用于对象存储管理服务器,如图1所示,所述对象存储管理方法包括以下步骤S101-S103:
在步骤S101中,响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象;
在步骤S102中,将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的对象进行定时分级存储;
在步骤S103中,响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
上文提及,随着社会监控力度的增强,大量的视频监控数据需要进行存储,以备后续查看。目前,视频监控数据的存储类型大多为传统存储效率较为低下的存储类型,比如以IP网络构建存储网络IPSAN、网络附属存储NAS等等。随着数据技术的发展,能够实现自动化和智能化存储、提高存储效率的分布式存储技术得到了广泛的应用,专有云对象存储也随之成为了视频监控数据存储的一种可选解决方案。虽然专有云环境存储效率高,但其需要配备专业的运维人员,运维成本高,对于大多数用户来说难以承担,不利于广泛使用。
考虑到上述问题,在该实施方式中,提出一种对象存储管理方法,该方法将目标存储对象同步写入至本地缓存服务器和远程对象存储服务器中,并使所述远程对象存储服务器根据对象存储信息对于写入的对象进行定时分级存储。该技术方案由于使用了上述本地缓存服务器和远程对象存储服务器的双重存储结构,因此可以大大降低数据读取所需时长,提高数据读取效率,同时又由于远程对象存储服务器中设置了定时分级存储策略,因此可以对于不同特性的数据进行不同方式的存储,以大大提高存储效率,进而能够有效解决专有云环境运维困难的问题,大大降低视频监控数据的存储成本。
在本发明一实施方式中,所述对象存储管理请求方可以为用户,也可以为某一应用、系统,再或者也可以为其他能够发出对象存储管理请求的主体,本发明对其不作具体限定。
在本发明一实施方式中,所述对象存储请求指的是用于对于某一数据对象进行存储的请求。为了明确被存储的是哪一个数据对象,存成哪种存储类型,所述对象存储请求需携带对象存储信息,其中,所述对象存储信息至少包括目标存储对象,还可以包括目标存储对象标识信息和目标存储对象存储参数,其中,所述目标存储对象指的是需要进行存储的对象数据本体;所述目标存储对象标识信息用于对于所述目标存储对象进行区别性标识;所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间。这样所述对象存储管理服务器在接收到对象存储请求之后,就可以根据其携带的对象存储信息对于目标存储对象进行存储。
考虑到目前公共网络数据传输质量可靠性不足,无法保证稳定的上行带宽,因此,为了降低数据读取时效,提高数据读取效率,在本发明一实施方式中,设置了本地缓存服务器和远程对象存储服务器的双重存储结构,即在接收到对象存储请求方发送的对象存储请求后,将目标存储对象首先同步写入至本地缓存服务器和远程对象存储服务器中,其中,所述目标存储对象在所述本地缓存服务器中存储的时间较短,比如可以为m天,其中,m的取值可根据实际应用的需要以及目标存储对象读取特征进行设置,比如若某一目标存储对象通常在30天内会被读取,30天之后几乎不会被访问,则m的值就可以设置为30。这样,对象存储请求方在请求读取之前存储的目标对象数据时,就可以先从本地缓存服务器中读取,以降低数据读取时效,提高数据读取效率。若在目标存储对象同步写入至本地缓存服务器和远程对象存储服务器时,本地缓存服务器数据写入失败,或者所述目标存储对象在所述本地缓存服务器中存储的时间已超过预设存储时限m天而被删除,这时就无法成功从所述本地缓存服务器中读取所请求的数据,需要向所述远程对象存储服务器请求数据的读取,下文将会对此情况进行更加详细地描述。
其中,所述远程对象存储服务器指的是非本地的、使用对象存储技术进行数据存储的数据存储服务器。对象存储是一种通用的海量分布式存储系统,为了降低系统整体的TCO(Total Cost of Ownership,总拥有成本),其对于具有不同热度的数据采用不同的存储方式。比如,对于热度较高,即常写常读、被正常访问和读写的热数据,可使用标准存储类型对其进行存储;对于热度中等,即对于写入的数据很少读取或者被低频率访问、读写的数据,可使用低频存储类型对其进行存储;对于热度较低,即对于写入的数据几乎不读取的冷数据,可使用存档存储类型对其进行存档存储。当然,也可根据对象存储请求方指定的存储类型对于所述目标存储对象进行存储。另外,由于不同存储方式所需存储和计算资源不同,因此,不同的存储方式对应的存储费用也有所不同,比如,标准存储类型的存储费用较高,低频存储类型的存储费用较低,存档存储类型的存储费用最低。
为了提高存储效率,节约存储和计算资源,同时降低数据存储成本,在本发明一实施方式中,所述远程对象存储服务器根据所述对象存储信息,尤其是目标存储对象存储参数对于写入的目标存储对象进行定时分级存储,其中,所述定时分级存储指的是使用不同的存储类型对于所述目标存储对象进行接续式存储,并且不同的存储类型对应设置有相同或者不同的存储时限,因此,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间。比如,若某一默认的目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型o天,则首先将新写入的目标存储对象存储为标准存储类型,m天之后,将其存储类型自动修改为低频存储类型,n天之后,再将其存储类型自动修改为存档存储类型,o天之后,将其删除。当然,上述目标存储对象存储参数可根据实际应用的需要、目标存储对象的数据特点以及对象存储请求方的具体设置来确定,既可以变化各级存储的存储类型,也可以变化不同存储类型对应的存储时限,甚至还可以增加或减少存储类型及对应的存储时限,比如,若某一目标存储对象存储参数中去除了存档存储类型对应的存储时限,即所述目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型,这就意味着当所述目标存储对象自动修改为存档存储类型后不再存在存储时间的限制,除非收到改变存储类型的请求或指令,该目标存储对象会一直以存档存储类型进行存储,不会进入删除的流程。
为了节约数据缓存资源,在本发明一实施方式中,还适时地对于所述本地缓存服务器中缓存的数据进行定期删除,比如,当判断预设删除条件被满足时,就可向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息,所述待删除对象标识信息用于对于待删除对象进行区别性标识。其中,所述预设删除条件比如可以为缓存时限条件或者存储容量条件,比如,若某一对象在所述本地缓存服务器中缓存的时间达到了缓存时限要求,或者所述本地缓存服务器已使用容量达到了某一预设容量阈值,就需要对于最先存储的一些数据进行删除。
在本发明一实施方式中,所述步骤S101,即响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中的步骤,可被实施为:
响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数。
上文提及,目前公共网络数据传输质量可靠性不足,经常会出现网络抖动、数据传输超时、网络故障等情况,同时,远程对象存储服务器也存在发生故障的风险,这就有可能会导致出现所述目标存储对象未能成功写入至本地缓存服务器中但可成功写入至所述远程对象存储服务器中、所述目标存储对象成功写入至本地缓存服务器中但未能成功写入至所述远程对象存储服务器中、或者所述目标存储对象既未能成功写入至本地缓存服务器中也未能成功写入至所述远程对象存储服务器中的意外情况,其中,对于本地缓存服务器写入失败但远程对象存储服务器写入成功的情况,考虑到其不会实质上影响数据的存储,因此在本发明实施方式中不予补救,但当远程对象存储服务器写入失败时则需要实施补救。即在本发明一实施方式中,在将所述目标存储对象写入至本地缓存服务器和远程对象存储服务器中时,还同时将对应的对象存储记录写入至预设存储记录服务器中,其中,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数,后续当检测到所述目标存储对象确实未成功写入至所述远程对象存储服务器中时,就可以从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录再次将所述目标存储对象重新写入至所述远程对象存储服务器中。其中,所述预设存储记录服务器指的是预先指定的用于存储对象存储记录的服务器。
即,在该实施方式中,所述步骤S102,即将所述对象存储信息发送给所述远程对象存储服务器之前,还包括对于目标存储对象进行重新写入的步骤,即如图2所示,所述对象存储管理方法包括以下步骤S201-S204:
在步骤S201中,响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中,其中,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数;
在步骤S202中,当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中;
在步骤S203中,将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的对象进行定时分级存储;
在步骤S204中,响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息。
在本发明一实施方式中,所述方法还包括对于已存储对象进行读取的步骤,即如图3所示,所述对象存储管理方法包括以下步骤S301-S304:
在步骤S301中,响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
在步骤S302中,将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的对象进行定时分级存储;
在步骤S303中,响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息;
在步骤S304中,响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
在本发明一实施方式中,与所述对象存储请求方类似,所述对象读取请求方可以为用户,也可以为某一应用、系统,再或者也可以为其他能够发出对象存储管理请求的主体,所述对象读取请求方可以与所述对象存储请求方相同,也可以不同,本发明对其均不作具体限定。
在本发明一实施方式中,所述对象读取请求指的是用于对于某一数据对象进行读取的请求。为了明确被读取的是哪一个数据对象,所述对象读取请求需携带对象读取信息,其中,所述对象读取信息至少包括待读取对象标识信息,所述待读取对象标识信息用于对于待读取对象进行区别性标识。
在接收到对象读取请求方发送的对象读取请求之后,就可以根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,具体地,在本发明一实施方式中,如图4所示,所述步骤S304,即响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方的步骤,包括以下步骤S401-S403:
在步骤S401中,响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象;
在步骤S402中,当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象;
在步骤S403中,将读取得到的对象发送给所述对象读取请求方。
上文提及,目前公共网络数据传输质量可靠性不足,经常会出现网络抖动、数据传输超时、网络故障等情况,进而可能会导致出现所述目标存储对象未能成功写入至本地缓存服务器中的意外情况,因此,当根据接收到的对象读取信息在所述本地缓存服务器中读取对象失败时,意味着有可能是因为所述目标存储对象之前并未能成功写入至所述本地缓存服务器中,此时可根据所述对象读取信息转由在所述远程对象存储服务器中读取对象。
图5示出根据本发明另一实施方式的对象存储管理方法的流程图,适用于远程对象存储服务器,如图5所示,所述对象存储管理方法包括以下步骤S501-S503:
在步骤S501中,响应于接收到对象存储信息,获取目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
在步骤S502中,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;
在步骤S503中,响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
上文提及,随着社会监控力度的增强,大量的视频监控数据需要进行存储,以备后续查看。目前,视频监控数据的存储类型大多为传统存储效率较为低下的存储类型,比如以IP网络构建存储网络IPSAN、网络附属存储NAS等等。随着数据技术的发展,能够实现自动化和智能化存储、提高存储效率的分布式存储技术得到了广泛的应用,专有云对象存储也随之成为了视频监控数据存储的一种可选解决方案。虽然专有云环境存储效率高,但其需要配备专业的运维人员,运维成本高,对于大多数用户来说难以承担,不利于广泛使用。
考虑到上述问题,在该实施方式中,提出一种对象存储管理方法,该方法基于接收到的对象存储信息对于写入的对象进行定时分级存储,该定时分级存储策略能够实现对于不同特性的数据进行不同方式的存储,从而大大提高了存储效率,不仅能够有效解决专有云环境运维困难的问题,还能够大大降低视频监控数据的存储成本。
在本发明一实施方式中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数,其中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间。
在本发明一实施方式中,如图6所示,所述步骤S502,即根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储的步骤,包括以下步骤S601-S603:
在步骤S601中,按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
在步骤S602中,响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
在步骤S603中,响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
上文提及,为了提高存储效率,节约存储和计算资源,同时降低数据存储成本,在本发明一实施方式中,所述远程对象存储服务器根据所述对象存储信息,尤其是目标存储对象存储参数对于写入的目标存储对象进行定时分级存储,其中,所述定时分级存储指的是使用不同的存储类型对于所述目标存储对象进行接续式存储,并且不同的存储类型对应设置有相同或者不同的存储时限,因此,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间,其中,所述分级存储类型可包括初级存储类型、下级存储类型……末级存储类型。比如,若某一目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型o天,则标准存储类型为初级存储类型,低频存储类型为所述初级存储类型的下级存储类型,存档存储类型为末级存储类型。
具体地,在对于所述目标存储对象进行定时分级存储时,首先按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;当检测到与所述初级存储类型对应的初级存储时间到期时,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;当检测到与所述下级存储类型对应的下级存储时间到期时,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,最终得到末级存储对象。比如,若某一目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型o天,则首先将新写入的目标存储对象存储为标准存储类型,m天之后,将其存储类型自动修改为低频存储类型,n天之后,再将其存储类型自动修改为存档存储类型,o天之后,将其删除。上文亦提及,上述目标存储对象存储参数可根据实际应用的需要、目标存储对象的数据特点以及对象存储请求方的具体设置来确定,既可以变化各级存储的存储类型,也可以变化不同存储类型对应的存储时限,甚至还可以增加或减少存储类型及对应的存储时限,比如,若某一目标存储对象存储参数中去除了存档存储类型对应的存储时限,即所述目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型,这就意味着当所述目标存储对象自动修改为存档存储类型后不再存在存储时间的限制,除非收到改变存储类型的请求或指令,该目标存储对象会一直以存档存储类型进行存储,不会进入删除的流程。
在本发明一实施方式中,如图7所示,所述步骤S503,即响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器的步骤,包括以下步骤S701-S702:
在步骤S701中,当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
在步骤S702中,当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
上文提及,对象存储技术中设置有存档存储类型,用于对于热度较低,即对于写入的数据几乎不读取的冷数据进行存档存储。对象存储技术中,在对数据进行存档存储之前需要首先对于所述数据进行冷冻处理,因此,在读取存档数据之前也需要首先对于所述数据进行解冻处理。具体地,在该实施方式中,首先检测待读取对象的当前存储类型,当确认所述待读取对象的当前存储类型为非存档类型时,直接根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;当确认所述待读取对象的当前存储类型为存档类型时,则需先对所述待读取对象进行解冻,即将所述待读取对象转换为非存档类型,再根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
图6-图7所示实施方式中的部分技术特征与上文图1-图5所示实施方式中的部分技术特征相同或相似,对于该技术特征的具体解释和说明可参考上文对于图1-图5所示实施方式的描述,本发明在此对其不作赘述。
图8示出根据本发明再一实施方式的对象存储管理方法的流程图,适用于包括对象存储管理服务器、本地缓存服务器和远程对象存储服务器的对象存储管理系统,如图8所示,所述对象存储管理方法包括以下步骤S801-S802:
在步骤S801中,对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将所述对象存储信息发送给所述远程对象存储服务器,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
在步骤S802中,远程对象存储服务器响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储。
上文提及,随着社会监控力度的增强,大量的视频监控数据需要进行存储,以备后续查看。目前,视频监控数据的存储类型大多为传统存储效率较为低下的存储类型,比如以IP网络构建存储网络IPSAN、网络附属存储NAS等等。随着数据技术的发展,能够实现自动化和智能化存储、提高存储效率的分布式存储技术得到了广泛的应用,专有云对象存储也随之成为了视频监控数据存储的一种可选解决方案。虽然专有云环境存储效率高,但其需要配备专业的运维人员,运维成本高,对于大多数用户来说难以承担,不利于广泛使用。
考虑到上述问题,在该实施方式中,提出一种对象存储管理方法,该方法中对象存储管理服务器将目标存储对象同步写入至本地缓存服务器和远程对象存储服务器中,远程对象存储服务器根据对象存储信息对于写入的对象进行定时分级存储。该技术方案由于使用了上述本地缓存服务器和远程对象存储服务器的双重存储结构,因此可以大大降低数据读取所需时长,提高数据读取效率,同时又由于远程对象存储服务器中设置了定时分级存储策略,因此可以对于不同特性的数据进行不同方式的存储,以大大提高存储效率,进而能够有效解决专有云环境运维困难的问题,大大降低视频监控数据的存储成本。
在本发明一实施方式中,所述步骤S801中,对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中的步骤,被实施为:
所述对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中,其中,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数。
在本发明一实施方式中,所述步骤S801中,对象存储管理服务器将所述对象存储信息发送给所述远程对象存储服务器之前,还包括:
当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
在本发明一实施方式中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
所述步骤S802,即远程对象存储服务器响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储的步骤,包括:
按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
在本发明一实施方式中,还包括:
所述对象存储管理服务器响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息。
在本发明一实施方式中,还包括:
所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方,其中,所述对象读取信息至少包括待读取对象标识信息。
在本发明一实施方式中,所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方的步骤,被实施为:
所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象,当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
在本发明一实施方式中,还包括:
所述远程对象存储服务器响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
在本发明一实施方式中,所述远程对象存储服务器响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器的步骤,被实施为:
当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
图8所示实施方式中的部分技术特征与上文图1-图7所示实施方式中的部分技术特征相同或相似,对于该技术特征的具体解释和说明可参考上文对于图1-图8所示实施方式的描述,本发明在此对其不作赘述。
图9示出根据本发明一实施方式的对象存储管理方法的应用场景图,如图9所示,所述待存储数据为视频监控数据,对象存储请求方向对象存储管理服务器发送视频监控数据存储请求,其中,所述视频监控数据存储请求携带有视频监控数据存储信息:待存储视频监控数据、待存储视频监控数据标识信息和待存储视频监控数据存储参数,所述待存储视频监控数据存储参数为标准存储类型30天,低频存储类型40天,存档存储类型60天。所述对象存储管理服务器根据所述视频监控数据存储信息将待存储视频监控数据同步写入本地缓存服务器和远程对象存储服务器中,将所述视频监控数据存储信息发送给所述远程对象存储服务器,并将视频监控数据存储记录写入至存储记录服务器中。若检测到所述视频监控数据未成功写入至所述远程对象存储服务器中,则从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述视频监控数据重新写入至所述远程对象存储服务器中。所述远程对象存储服务器接收到所述视频监控数据存储信息后,对于所述待存储视频监控数据进行定时分级存储:首先将所述待存储视频监控数据存储为标准存储类型,30天之后,将其存储类型自动修改为低频存储类型,40天之后,再将其存储类型自动修改为存档存储类型,60天之后,将其删除。后续需要读取数据时,对象读取请求方向所述对象存储管理服务器发送视频监控数据读取请求,所述对象存储管理服务器根据所述视频监控数据读取请求携带的视频监控数据读取信息首先在所述本地缓存服务器中读取数据,若读取成功,则将读取到的数据发送给所述对象读取请求方,若读取失败,则根据所述对象读取信息在所述远程对象存储服务器中读取:若待读取数据当前存储类型为非存档类型,则直接读取数据,若待读取数据当前存储类型为存档类型,则先将该数据转换为非存档类型再读取,最后将读取到的数据通过所述对象存储管理服务器发送给所述对象读取请求方。其中,若检测到预设删除条件被满足,则所述对象存储管理服务器向所述本地缓存服务器发送对象删除命令,使其所述对象删除命令删除对应的对象。
下述为本发明装置实施例,可以用于执行本发明方法实施例。
图10示出根据本发明一实施方式的对象存储管理装置的结构框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部,可实现为对象存储管理服务器。如图10所示,所述对象存储管理装置包括:
写入模块1001,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象;
第一发送模块1002,被配置为将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的对象进行定时分级存储;
第二发送模块1003,被配置为响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
上文提及,随着社会监控力度的增强,大量的视频监控数据需要进行存储,以备后续查看。目前,视频监控数据的存储类型大多为传统存储效率较为低下的存储类型,比如以IP网络构建存储网络IPSAN、网络附属存储NAS等等。随着数据技术的发展,能够实现自动化和智能化存储、提高存储效率的分布式存储技术得到了广泛的应用,专有云对象存储也随之成为了视频监控数据存储的一种可选解决方案。虽然专有云环境存储效率高,但其需要配备专业的运维人员,运维成本高,对于大多数用户来说难以承担,不利于广泛使用。
考虑到上述问题,在该实施方式中,提出一种对象存储管理装置,该装置将目标存储对象同步写入至本地缓存服务器和远程对象存储服务器中,并使所述远程对象存储服务器根据对象存储信息对于写入的对象进行定时分级存储。该技术方案由于使用了上述本地缓存服务器和远程对象存储服务器的双重存储结构,因此可以大大降低数据读取所需时长,提高数据读取效率,同时又由于远程对象存储服务器中设置了定时分级存储策略,因此可以对于不同特性的数据进行不同方式的存储,以大大提高存储效率,进而能够有效解决专有云环境运维困难的问题,大大降低视频监控数据的存储成本。
在本发明一实施方式中,所述对象存储管理请求方可以为用户,也可以为某一应用、系统,再或者也可以为其他能够发出对象存储管理请求的主体,本发明对其不作具体限定。
在本发明一实施方式中,所述对象存储请求指的是用于对于某一数据对象进行存储的请求。为了明确被存储的是哪一个数据对象,存成哪种存储类型,所述对象存储请求需携带对象存储信息,其中,所述对象存储信息至少包括目标存储对象,还可以包括目标存储对象标识信息和目标存储对象存储参数,其中,所述目标存储对象指的是需要进行存储的对象数据本体;所述目标存储对象标识信息用于对于所述目标存储对象进行区别性标识;所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间。这样所述对象存储管理服务器在接收到对象存储请求之后,就可以根据其携带的对象存储信息对于目标存储对象进行存储。
考虑到目前公共网络数据传输质量可靠性不足,无法保证稳定的上行带宽,因此,为了降低数据读取时效,提高数据读取效率,在本发明一实施方式中,设置了本地缓存服务器和远程对象存储服务器的双重存储结构,即在接收到对象存储请求方发送的对象存储请求后,将目标存储对象首先同步写入至本地缓存服务器和远程对象存储服务器中,其中,所述目标存储对象在所述本地缓存服务器中存储的时间较短,比如可以为m天,其中,m的取值可根据实际应用的需要以及目标存储对象读取特征进行设置,比如若某一目标存储对象通常在30天内会被读取,30天之后几乎不会被访问,则m的值就可以设置为30。这样,对象存储请求方在请求读取之前存储的目标对象数据时,就可以先从本地缓存服务器中读取,以降低数据读取时效,提高数据读取效率。若在目标存储对象同步写入至本地缓存服务器和远程对象存储服务器时,本地缓存服务器数据写入失败,或者所述目标存储对象在所述本地缓存服务器中存储的时间已超过预设存储时限m天而被删除,这时就无法成功从所述本地缓存服务器中读取所请求的数据,需要向所述远程对象存储服务器请求数据的读取,下文将会对此情况进行更加详细地描述。
其中,所述远程对象存储服务器指的是非本地的、使用对象存储技术进行数据存储的数据存储服务器。对象存储是一种通用的海量分布式存储系统,为了降低系统整体的TCO(Total Cost of Ownership,总拥有成本),其对于具有不同热度的数据采用不同的存储方式。比如,对于热度较高,即常写常读、被正常访问和读写的热数据,可使用标准存储类型对其进行存储;对于热度中等,即对于写入的数据很少读取或者被低频率访问、读写的数据,可使用低频存储类型对其进行存储;对于热度较低,即对于写入的数据几乎不读取的冷数据,可使用存档存储类型对其进行存档存储。当然,也可根据对象存储请求方指定的存储类型对于所述目标存储对象进行存储。另外,由于不同存储方式所需存储和计算资源不同,因此,不同的存储方式对应的存储费用也有所不同,比如,标准存储类型的存储费用较高,低频存储类型的存储费用较低,存档存储类型的存储费用最低。
为了提高存储效率,节约存储和计算资源,同时降低数据存储成本,在本发明一实施方式中,所述远程对象存储服务器根据所述对象存储信息,尤其是目标存储对象存储参数对于写入的目标存储对象进行定时分级存储,其中,所述定时分级存储指的是使用不同的存储类型对于所述目标存储对象进行接续式存储,并且不同的存储类型对应设置有相同或者不同的存储时限,因此,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间。比如,若某一默认的目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型o天,则首先将新写入的目标存储对象存储为标准存储类型,m天之后,将其存储类型自动修改为低频存储类型,n天之后,再将其存储类型自动修改为存档存储类型,o天之后,将其删除。当然,上述目标存储对象存储参数可根据实际应用的需要、目标存储对象的数据特点以及对象存储请求方的具体设置来确定,既可以变化各级存储的存储类型,也可以变化不同存储类型对应的存储时限,甚至还可以增加或减少存储类型及对应的存储时限,比如,若某一目标存储对象存储参数中去除了存档存储类型对应的存储时限,即所述目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型,这就意味着当所述目标存储对象自动修改为存档存储类型后不再存在存储时间的限制,除非收到改变存储类型的请求或指令,该目标存储对象会一直以存档存储类型进行存储,不会进入删除的流程。
为了节约数据缓存资源,在本发明一实施方式中,还适时地对于所述本地缓存服务器中缓存的数据进行定期删除,比如,当判断预设删除条件被满足时,就可向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息,所述待删除对象标识信息用于对于待删除对象进行区别性标识。其中,所述预设删除条件比如可以为缓存时限条件或者存储容量条件,比如,若某一对象在所述本地缓存服务器中缓存的时间达到了缓存时限要求,或者所述本地缓存服务器已使用容量达到了某一预设容量阈值,就需要对于最先存储的一些数据进行删除。
在本发明一实施方式中,所述写入模块1001可被配置为:
响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数。
上文提及,目前公共网络数据传输质量可靠性不足,经常会出现网络抖动、数据传输超时、网络故障等情况,同时,远程对象存储服务器也存在发生故障的风险,这就有可能会导致出现所述目标存储对象未能成功写入至本地缓存服务器中但可成功写入至所述远程对象存储服务器中、所述目标存储对象成功写入至本地缓存服务器中但未能成功写入至所述远程对象存储服务器中、或者所述目标存储对象既未能成功写入至本地缓存服务器中也未能成功写入至所述远程对象存储服务器中的意外情况,其中,对于本地缓存服务器写入失败但远程对象存储服务器写入成功的情况,考虑到其不会实质上影响数据的存储,因此在本发明实施方式中不予补救,但当远程对象存储服务器写入失败时则需要实施补救。即在本发明一实施方式中,在将所述目标存储对象写入至本地缓存服务器和远程对象存储服务器中时,还同时将对应的对象存储记录写入至预设存储记录服务器中,其中,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数,后续当检测到所述目标存储对象确实未成功写入至所述远程对象存储服务器中时,就可以从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录再次将所述目标存储对象重新写入至所述远程对象存储服务器中。其中,所述预设存储记录服务器指的是预先指定的用于存储对象存储记录的服务器。
即,在该实施方式中,所述第一发送模块1002之前,还包括对于目标存储对象进行重新写入的部分,即所述对象存储管理装置包括:
写入模块,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中,其中,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数;
重新写入模块,被配置为当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中;
第一发送模块,被配置为将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的对象进行定时分级存储;
第二发送模块,被配置为响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息。
在本发明一实施方式中,所述装置还包括对于已存储对象进行读取的部分,即所述对象存储管理装置包括:
写入模块,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
第一发送模块,被配置为将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的对象进行定时分级存储;
第二发送模块,被配置为响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息;
读取模块,被配置为响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
在本发明一实施方式中,与所述对象存储请求方类似,所述对象读取请求方可以为用户,也可以为某一应用、系统,再或者也可以为其他能够发出对象存储管理请求的主体,所述对象读取请求方可以与所述对象存储请求方相同,也可以不同,本发明对其均不作具体限定。
在本发明一实施方式中,所述对象读取请求指的是用于对于某一数据对象进行读取的请求。为了明确被读取的是哪一个数据对象,所述对象读取请求需携带对象读取信息,其中,所述对象读取信息至少包括待读取对象标识信息,所述待读取对象标识信息用于对于待读取对象进行区别性标识。
在接收到对象读取请求方发送的对象读取请求之后,读取模块就可以根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,具体地,在本发明一实施方式中,所述读取模块包括:
第一读取子模块,被配置为响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象;
第二读取子模块,被配置为当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象;
发送子模块,被配置为将读取得到的对象发送给所述对象读取请求方。
上文提及,目前公共网络数据传输质量可靠性不足,经常会出现网络抖动、数据传输超时、网络故障等情况,进而可能会导致出现所述目标存储对象未能成功写入至本地缓存服务器中的意外情况,因此,当根据接收到的对象读取信息在所述本地缓存服务器中读取对象失败时,意味着有可能是因为所述目标存储对象之前并未能成功写入至所述本地缓存服务器中,此时可根据所述对象读取信息转由在所述远程对象存储服务器中读取对象。
图11示出根据本发明另一实施方式的对象存储管理装置的结构框图,可实现为远程对象存储服务器,如图11所示,所述对象存储管理装置包括:
获取模块1101,被配置为响应于接收到对象存储信息,获取目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
分级存储模块1102,被配置为根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;
第三发送模块1103,被配置为响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
上文提及,随着社会监控力度的增强,大量的视频监控数据需要进行存储,以备后续查看。目前,视频监控数据的存储类型大多为传统存储效率较为低下的存储类型,比如以IP网络构建存储网络IPSAN、网络附属存储NAS等等。随着数据技术的发展,能够实现自动化和智能化存储、提高存储效率的分布式存储技术得到了广泛的应用,专有云对象存储也随之成为了视频监控数据存储的一种可选解决方案。虽然专有云环境存储效率高,但其需要配备专业的运维人员,运维成本高,对于大多数用户来说难以承担,不利于广泛使用。
考虑到上述问题,在该实施方式中,提出一种对象存储管理装置,该装置基于接收到的对象存储信息对于写入的对象进行定时分级存储,该定时分级存储策略能够实现对于不同特性的数据进行不同方式的存储,从而大大提高了存储效率,不仅能够有效解决专有云环境运维困难的问题,还能够大大降低视频监控数据的存储成本。
在本发明一实施方式中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数,其中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间。
在本发明一实施方式中,所述分级存储模块1102包括:
存储子模块,被配置为按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
第一修改子模块,被配置为响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
第二修改子模块,被配置为响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
上文提及,为了提高存储效率,节约存储和计算资源,同时降低数据存储成本,在本发明一实施方式中,所述远程对象存储服务器根据所述对象存储信息,尤其是目标存储对象存储参数对于写入的目标存储对象进行定时分级存储,其中,所述定时分级存储指的是使用不同的存储类型对于所述目标存储对象进行接续式存储,并且不同的存储类型对应设置有相同或者不同的存储时限,因此,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间,其中,所述分级存储类型可包括初级存储类型、下级存储类型……末级存储类型。比如,若某一目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型o天,则标准存储类型为初级存储类型,低频存储类型为所述初级存储类型的下级存储类型,存档存储类型为末级存储类型。
具体地,在对于所述目标存储对象进行定时分级存储时,存储子模块按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;当第一修改子模块检测到与所述初级存储类型对应的初级存储时间到期时,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;当第二修改子模块检测到与所述下级存储类型对应的下级存储时间到期时,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,最终得到末级存储对象。比如,若某一目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型o天,则首先将新写入的目标存储对象存储为标准存储类型,m天之后,将其存储类型自动修改为低频存储类型,n天之后,再将其存储类型自动修改为存档存储类型,o天之后,将其删除。上文亦提及,上述目标存储对象存储参数可根据实际应用的需要、目标存储对象的数据特点以及对象存储请求方的具体设置来确定,既可以变化各级存储的存储类型,也可以变化不同存储类型对应的存储时限,甚至还可以增加或减少存储类型及对应的存储时限,比如,若某一目标存储对象存储参数中去除了存档存储类型对应的存储时限,即所述目标存储对象存储参数为:标准存储类型m天,低频存储类型n天,存档存储类型,这就意味着当所述目标存储对象自动修改为存档存储类型后不再存在存储时间的限制,除非收到改变存储类型的请求或指令,该目标存储对象会一直以存档存储类型进行存储,不会进入删除的流程。
在本发明一实施方式中,所述第三发送模块1103包括:
第三读取子模块,被配置为当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
第四读取子模块,被配置为当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
上文提及,对象存储技术中设置有存档存储类型,用于对于热度较低,即对于写入的数据几乎不读取的冷数据进行存档存储。对象存储技术中,在对数据进行存档存储之前需要首先对于所述数据进行冷冻处理,因此,在读取存档数据之前也需要首先对于所述数据进行解冻处理。具体地,在该实施方式中,第三读取子模块检测待读取对象的当前存储类型,当确认所述待读取对象的当前存储类型为非存档类型时,直接根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;当第四读取子模块确认所述待读取对象的当前存储类型为存档类型时,则需先对所述待读取对象进行解冻,即将所述待读取对象转换为非存档类型,再根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
图11所示及相关实施方式中的部分技术特征与上文图10所示及相关实施方式中的部分技术特征相同或相似,对于该技术特征的具体解释和说明可参考上文对于图10所示及相关实施方式的描述,本发明在此对其不作赘述。
图12示出根据本发明再一实施方式的对象存储管理装置的结构框图,可实现为包括对象存储管理服务器、本地缓存服务器和远程对象存储服务器的对象存储管理系统,如图12所示,所述对象存储管理装置包括:
对象存储管理服务器1201,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将所述对象存储信息发送给所述远程对象存储服务器,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;
远程对象存储服务器1202,被配置为响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储。
上文提及,随着社会监控力度的增强,大量的视频监控数据需要进行存储,以备后续查看。目前,视频监控数据的存储类型大多为传统存储效率较为低下的存储类型,比如以IP网络构建存储网络IPSAN、网络附属存储NAS等等。随着数据技术的发展,能够实现自动化和智能化存储、提高存储效率的分布式存储技术得到了广泛的应用,专有云对象存储也随之成为了视频监控数据存储的一种可选解决方案。虽然专有云环境存储效率高,但其需要配备专业的运维人员,运维成本高,对于大多数用户来说难以承担,不利于广泛使用。
考虑到上述问题,在该实施方式中,提出一种对象存储管理装置,该装置中对象存储管理服务器将目标存储对象同步写入至本地缓存服务器和远程对象存储服务器中,远程对象存储服务器根据对象存储信息对于写入的对象进行定时分级存储。该技术方案由于使用了上述本地缓存服务器和远程对象存储服务器的双重存储结构,因此可以大大降低数据读取所需时长,提高数据读取效率,同时又由于远程对象存储服务器中设置了定时分级存储策略,因此可以对于不同特性的数据进行不同方式的存储,以大大提高存储效率,进而能够有效解决专有云环境运维困难的问题,大大降低视频监控数据的存储成本。
在本发明一实施方式中,所述对象存储管理服务器1201中响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中的部分,被配置为:
所述对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中,其中,所述对象存储记录至少包括目标存储对象标识信息和目标存储对象存储参数。
在本发明一实施方式中,所述对象存储管理服务器1201中将所述对象存储信息发送给所述远程对象存储服务器之前,还包括:
当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
在本发明一实施方式中,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
所述远程对象存储服务器1202被配置为:
按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
在本发明一实施方式中,所述对象存储管理服务器1201还被配置为:响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象,其中,所述对象删除命令至少包括待删除对象标识信息。
在本发明一实施方式中,所述对象存储管理服务器1201还被配置为:响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方,其中,所述对象读取信息至少包括待读取对象标识信息。
在本发明一实施方式中,所述对象存储管理服务器1201响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方的部分,被配置为:
所述对象存储管理服务器1201响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象,当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
在本发明一实施方式中,所述远程对象存储服务器1202还被配置为:响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
在本发明一实施方式中,所述远程对象存储服务器1202响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器的部分,被配置为:
当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
图12所示及相关实施方式中的部分技术特征与上文图10-图11所示及相关实施方式中的部分技术特征相同或相似,对于该技术特征的具体解释和说明可参考上文对于图10-图11及相关所示实施方式的描述,本发明在此对其不作赘述。
本发明实施例还公开了一种电子设备,所述电子设备包括存储器和处理器;其中,
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现上述任一方法步骤。
图13适于用来实现根据本发明实施方式的对象存储管理方法的计算机系统的结构示意图。
如图13所示,计算机系统1300包括处理单元1301,其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行上述实施方式中的各种处理。在RAM1303中,还存储有系统1300操作所需的各种程序和数据。处理单元1301、ROM1302以及RAM1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
以下部件连接至I/O接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入存储部分1308。其中,所述处理单元1301可实现为CPU、GPU、FPGA、NPU等处理单元。
特别地,根据本发明的实施方式,上文描述的方法可以被实现为计算机软件程序。例如,本发明的实施方式包括一种计算机程序产品,其包括有形地包含在及其可读介质上的计算机程序,所述计算机程序包含用于执行所述对象存储管理方法的程序代码。在这样的实施方式中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。
附图中的流程图和框图,图示了按照本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本发明实施例的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本发明实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (22)

1.一种对象存储管理方法,适用于对象存储管理服务器,其特征在于,包括:
响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象、目标存储对象存储参数,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的目标存储对象进行定时分级存储;其中,所述定时分级存储指的是使用不同的分级存储类型对于所述目标存储对象进行接续式存储;
响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
2.根据权利要求1所述的方法,其特征在于,所述响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,被实施为:
响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中。
3.根据权利要求2所述的方法,其特征在于,所述将所述对象存储信息发送给所述远程对象存储服务器之前,还包括:
当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从所述存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
4.根据权利要求1-3任一所述的方法,其特征在于,还包括:
响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
5.根据权利要求4所述的方法,其特征在于,所述响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方,包括:
响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象;
当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象;
将读取得到的对象发送给所述对象读取请求方。
6.一种对象存储管理方法,适用于远程对象存储服务器,其特征在于,包括:
响应于接收到对象存储信息,获取目标存储对象、目标存储对象标识信息和目标存储对象存储参数;所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;其中,所述定时分级存储指的是使用不同的分级存储类型对于所述目标存储对象进行接续式存储;
响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
7.根据权利要求6所述的方法,其特征在于,所述根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储,包括:
按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
8.根据权利要求6或7所述的方法,其特征在于,所述响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器,包括:
当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
9.一种对象存储管理方法,适用于包括对象存储管理服务器、本地缓存服务器和远程对象存储服务器的对象存储管理系统,其特征在于,包括:
对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将所述对象存储信息发送给所述远程对象存储服务器,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
远程对象存储服务器响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;其中,所述定时分级存储指的是使用不同的分级存储类型对于所述目标存储对象进行接续式存储。
10.根据权利要求9所述的方法,其特征在于,所述对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,被实施为:
所述对象存储管理服务器响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将对象存储记录写入至存储记录服务器中。
11.根据权利要求9或10所述的方法,其特征在于,所述对象存储管理服务器将所述对象存储信息发送给所述远程对象存储服务器之前,还包括:
当检测到所述目标存储对象未成功写入至所述远程对象存储服务器中时,从存储记录服务器中获取相应的对象存储记录,并根据所述对象存储记录将所述目标存储对象重新写入至所述远程对象存储服务器中。
12.根据权利要求9或10所述的方法,其特征在于,所述远程对象存储服务器响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储,包括:
按照所述目标存储对象的初级存储类型对于所述目标存储对象进行存储,得到初级存储对象;
响应于检测到与所述初级存储类型对应的初级存储时间到期,将所述初级存储对象的存储类型修改为下级存储类型,得到下级存储对象;
响应于检测到与所述下级存储类型对应的下级存储时间到期,将所述下级存储对象的存储类型修改为再下级存储类型,直至到达末级存储类型,得到末级存储对象。
13.根据权利要求9或10所述的方法,其特征在于,还包括:
所述对象存储管理服务器响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
14.根据权利要求9或10所述的方法,其特征在于,还包括:
所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
15.根据权利要求14所述的方法,其特征在于,所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器或所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方,被实施为:
所述对象存储管理服务器响应于接收到对象读取请求方发送的对象读取请求,根据所述对象读取请求携带的对象读取信息在所述本地缓存服务器中读取对象,当在所述本地缓存服务器中读取对象失败时,根据所述对象读取请求携带的对象读取信息在所述远程对象存储服务器中读取对象,并将读取得到的对象发送给所述对象读取请求方。
16.根据权利要求9或10所述的方法,其特征在于,还包括:
所述远程对象存储服务器响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
17.根据权利要求16所述的方法,其特征在于,所述远程对象存储服务器响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器,被实施为:
当检测到待读取对象的当前存储类型为非存档类型时,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器;
当检测到所述待读取对象的当前存储类型为存档类型时,将所述待读取对象转换为非存档类型,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
18.一种对象存储管理装置,适用于对象存储管理服务器,其特征在于,包括:
写入模块,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,其中,所述对象存储信息至少包括目标存储对象、目标存储对象存储参数,所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
第一发送模块,被配置为将所述对象存储信息发送给所述远程对象存储服务器,以使所述远程对象存储服务器根据所述对象存储信息对于写入的目标存储对象进行定时分级存储;其中,所述定时分级存储指的是使用不同的分级存储类型对于所述目标存储对象进行接续式存储;
第二发送模块,被配置为响应于预设删除条件被满足,向所述本地缓存服务器发送对象删除命令,以使所述本地缓存服务器根据所述对象删除命令删除对应的对象。
19.一种对象存储管理装置,适用于远程对象存储服务器,其特征在于,包括:
获取模块,被配置为响应于接收到对象存储信息,获取目标存储对象、目标存储对象标识信息和目标存储对象存储参数;所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
分级存储模块,被配置为根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;其中,所述定时分级存储指的是使用不同的分级存储类型对于所述目标存储对象进行接续式存储;
第三发送模块,被配置为响应于接收到对象读取信息,根据所述对象读取信息读取相应对象,并将读取得到的对象发送给对象存储管理服务器。
20.一种对象存储管理装置,适用于包括对象存储管理服务器、本地缓存服务器和远程对象存储服务器的对象存储管理系统,其特征在于,包括:
对象存储管理服务器,被配置为响应于接收到对象存储请求方发送的对象存储请求,根据所述对象存储请求携带的对象存储信息将目标存储对象写入至本地缓存服务器和远程对象存储服务器中,并将所述对象存储信息发送给所述远程对象存储服务器,其中,所述对象存储信息至少包括目标存储对象、目标存储对象标识信息和目标存储对象存储参数;所述目标存储对象存储参数至少包括目标存储对象的分级存储类型及相应的存储时间;
远程对象存储服务器,被配置为响应于接收到对象存储信息,根据所述目标存储对象标识信息和目标存储对象存储参数对于所述目标存储对象进行定时分级存储;其中,所述定时分级存储指的是使用不同的分级存储类型对于所述目标存储对象进行接续式存储。
21.一种电子设备,其特征在于,包括存储器和处理器;其中,
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现权利要求1-17任一项所述的方法步骤。
22.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-17任一项所述的方法步骤。
CN202010002179.XA 2020-01-02 2020-01-02 对象存储管理方法、装置、电子设备及计算机存储介质 Active CN111556086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010002179.XA CN111556086B (zh) 2020-01-02 2020-01-02 对象存储管理方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010002179.XA CN111556086B (zh) 2020-01-02 2020-01-02 对象存储管理方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111556086A CN111556086A (zh) 2020-08-18
CN111556086B true CN111556086B (zh) 2022-04-29

Family

ID=72007239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010002179.XA Active CN111556086B (zh) 2020-01-02 2020-01-02 对象存储管理方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111556086B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023750A (zh) * 2012-08-01 2013-04-03 福建星网视易信息系统有限公司 终端获取消息的方法
CN105051675A (zh) * 2013-03-20 2015-11-11 亚马逊技术股份有限公司 复制目标服务
CN106649349A (zh) * 2015-10-30 2017-05-10 腾讯科技(深圳)有限公司 用于游戏应用的数据缓存方法、装置和系统
CN106796547A (zh) * 2015-02-27 2017-05-31 华为技术有限公司 用于代理缓存智能对象淘汰的方法和系统
CN107302549A (zh) * 2016-04-14 2017-10-27 宾盛科技(武汉)有限公司 一种远程数据传输与存储系统及方法
CN107608627A (zh) * 2017-08-21 2018-01-19 云宏信息科技股份有限公司 一种远端数据分级存储方法、电子设备及存储介质
CN108415956A (zh) * 2018-02-06 2018-08-17 北京中兴高达通信技术有限公司 一种状态信息处理方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545914B2 (en) * 2017-01-17 2020-01-28 Cisco Technology, Inc. Distributed object storage

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023750A (zh) * 2012-08-01 2013-04-03 福建星网视易信息系统有限公司 终端获取消息的方法
CN105051675A (zh) * 2013-03-20 2015-11-11 亚马逊技术股份有限公司 复制目标服务
CN106796547A (zh) * 2015-02-27 2017-05-31 华为技术有限公司 用于代理缓存智能对象淘汰的方法和系统
CN106649349A (zh) * 2015-10-30 2017-05-10 腾讯科技(深圳)有限公司 用于游戏应用的数据缓存方法、装置和系统
CN107302549A (zh) * 2016-04-14 2017-10-27 宾盛科技(武汉)有限公司 一种远程数据传输与存储系统及方法
CN107608627A (zh) * 2017-08-21 2018-01-19 云宏信息科技股份有限公司 一种远端数据分级存储方法、电子设备及存储介质
CN108415956A (zh) * 2018-02-06 2018-08-17 北京中兴高达通信技术有限公司 一种状态信息处理方法及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Research of massive small files reading optimization based on parallel network file system;YANG Hongzhang,ZHANG Junwei,ZENG Xiangchao;《 IEEE》;20151231;全文 *
基于对象分布式文件系统的存储缓存研究;周昶;《中国优秀硕士学位论文全文数据库,信息科技辑》;20130630;全文 *
浅析分布式对象文件系统的缓存策略;祁美晶;《科技展望》;20160120;全文 *
面向广播电视监测系统的分布式存储系统高可用性设计及异地容灾;覃汉耀;《中国有线电视》;20170615;全文 *

Also Published As

Publication number Publication date
CN111556086A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
US8171100B2 (en) Reducing latency of access requests in distributed storage systems having a shared data set
US7996371B1 (en) Combining context-aware and context-independent data deduplication for optimal space savings
US20080271130A1 (en) Minimizing client-side inconsistencies in a distributed virtual file system
CN102694860A (zh) 一种云存储的数据处理方法、设备及系统
CN111078147A (zh) 一种缓存数据的处理方法、装置、设备及存储介质
US8214428B1 (en) Optimized prepopulation of a client side cache in a deduplication environment
US7694095B2 (en) Managing snapshots using messages
CN113806300B (zh) 数据存储方法、系统、装置、设备及存储介质
CN108347459A (zh) 一种云端数据快速存储方法及装置
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
WO2019041670A1 (zh) 一种降低功能页面请求次数的方法、存储介质、设备及系统
CN113407506A (zh) 数据处理方法、装置、设备及存储介质
CN114328428A (zh) 一种文件同步方法、装置、电子设备及存储介质
CN106599323B (zh) 在分布式文件系统中实现分布式管道的方法和装置
CN112153132A (zh) 基于虚拟化管理平台的文件上传方法、装置及设备
CN113590027B (zh) 数据存储方法、数据获取方法、系统、设备和介质
CN113190384B (zh) 基于纠删码的数据恢复控制方法、装置、设备及介质
CN111556086B (zh) 对象存储管理方法、装置、电子设备及计算机存储介质
WO2024082857A1 (zh) 数据迁移的方法、系统及相关装置
CN113608694A (zh) 数据迁移方法、信息处理方法、装置及服务器与介质
CN116360696B (zh) 分布式块存储系统、介质及其电子设备
CN111596864A (zh) 一种数据延时删除的方法、装置、服务器及存储介质
CN114490540B (zh) 数据存储方法、介质、装置和计算设备
US8615495B1 (en) Techniques for providing a differential backup from a storage image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230614

Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Aliyun Computing Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.

TR01 Transfer of patent right