CN110389715A - 数据存储方法、存储服务器及云存储系统 - Google Patents

数据存储方法、存储服务器及云存储系统 Download PDF

Info

Publication number
CN110389715A
CN110389715A CN201810366428.6A CN201810366428A CN110389715A CN 110389715 A CN110389715 A CN 110389715A CN 201810366428 A CN201810366428 A CN 201810366428A CN 110389715 A CN110389715 A CN 110389715A
Authority
CN
China
Prior art keywords
data
video sequence
key video
sequence data
redundant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810366428.6A
Other languages
English (en)
Other versions
CN110389715B (zh
Inventor
王伟
林起芊
汪渭春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810366428.6A priority Critical patent/CN110389715B/zh
Priority to PCT/CN2019/075698 priority patent/WO2019205788A1/zh
Publication of CN110389715A publication Critical patent/CN110389715A/zh
Application granted granted Critical
Publication of CN110389715B publication Critical patent/CN110389715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供的数据存储方法、存储服务器以及云存储系统，应用于包括多个存储服务器及至少一个索引服务器的云存储系统中，通过通过由存储服务器根据获取的索引服务器发送的关键视频数据的数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法和关键视频数据的各切片数据得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。

Description

数据存储方法、存储服务器及云存储系统
技术领域
本发明涉及信息技术领域，特别是涉及一种数据存储方法、存储服务器及云存储系统。
背景技术
系统故障或设备损坏等突发问题在信息技术中不可避免，而这些不可避免的问题造成的数据丢失，将影响系统的正常运行。特别是对于云存储系统，一旦发生这类问题，将导致海量数据的丢失，造成大量损失。因此，在云存储系统中，能够防止数据意外丢失、从而保证数据可用性和完整性的数据安全防护技术是必不可少的。
传统的数据安全防护技术中，对原始数据进行备份。如果原始数据丢失，可以通过备份的数据还原该原始数据。但是，对于具有庞大数据量的云存储系统，如果直接对所有数据采用数据备份技术进行安全防护，存储空间成本将非常高。
为了解决上述问题，相应的数据存储方法中，根据数据内容价值，有选择性地进行数据备份。例如：对于监控视频，人工判断关键时间段内视频的内容价值，对内容价值高的关键视频数据手动备份。虽然这种选择性备份的方法在一定程度上降低了数据备份所需的存储空间成本，但在需要对关键视频进行安全性能提升时，如果仍然以备份形式存储，将增加存储空间成本，这就造成了备份形式的存储无法兼顾存储空间成本与数据安全防护性能提升的问题。
发明内容
本发明实施例的目的在于提供一种数据存储方法、存储服务器及云存储系统，以实现兼顾存储空间成本与数据安全防护性能的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种数据存储方法，应用于云存储系统中的存储服务器，该方法包括：
获取所述索引服务器发送的关键视频数据的数据信息，所述关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，所述关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中；
基于所述数据信息，获取所述关键视频数据已存储的各切片数据；
利用第二纠删码算法，对所述关键视频数据已存储的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据；
将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
第二方面，本发明实施例提供了一种存储服务器，该存储服务器包括：
任务执行模块，用于获取所述索引服务器发送的关键视频数据的数据信息，所述关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，所述关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中；基于所述数据信息，获取所述关键视频数据已存储的各切片数据；利用第二纠删码算法，对所述关键视频数据已存储的各切片数据进行冗余计算，得到所述关键视频数据的大于所述第一预设数量的第二预设数量个第二冗余数据；
数据存储模块，用于将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
第三方面，本发明实施例提供了一种云存储系统，该系统包括：多个存储服务器及至少一个索引服务器；
存储服务器，用于获取所述索引服务器发送的关键视频数据的数据信息，所述关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，所述关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中；基于所述数据信息，获取所述关键视频数据已存储的各切片数据；利用第二纠删码算法，对所述关键视频数据已存储的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据；将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器；
索引服务器，用于统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息，得到各视频数据的热度值；将所述热度值大于或等于预设阈值的视频数据确定为关键视频数据，获取所述关键视频数据的数据信息；向已存储所述关键视频数据的存储服务器发送关键视频数据的数据信息。
第四方面，本发明实施例提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面提供的数据存储方法的步骤。
本发明实施例提供的数据存储方法、存储服务器以及云存储系统，应用于包括多个存储服务器及至少一个索引服务器的云存储系统中，通过由存储服务器根据获取的索引服务器发送的关键视频数据的数据信息，其中，关键视频数据为热度值大于或者等于预设热度阈值的、以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中的视频数据。基于关键视频数据的数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频数据的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明一实施例的数据存储方法的流程示意图；
图2为本发明另一实施例的数存储份方法的流程示意图；
图3为本发明一实施例的存储服务器的结构示意图；
图4为本发明另一实施例的存储服务器的结构示意图；
图5为本发明一实施例的云存储系统的结构示意图；
图6为本发明一实施例的云存储系统中存储服务器与索引服务器交互过程的流程示意图；
图7为本发明另一实施例的存储服务器的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先对本发明一实施例的数据备份方法进行介绍。
如图1所示，本发明一实施例的数据备份方法的流程，应用于云存储系统中的存储服务器，该云存储系统中包括多个存储服务器及至少一个索引服务器。其中，存储服务器为用于存储视频数据的服务器。索引服务器为用于管理存储服务器、分配存储资源、记录视频数据物理位置、以及响应客户端请求的服务器。索引服务器的部署方式可以是HA双机或者是集群模式的，并以负载均衡的模式对外提供服务。该方法可以包括：
S101，获取索引服务器发送的关键视频数据的数据信息，关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中。
关键视频数据的数据信息的获取方式，可以是由索引服务器按预设频率主动发送，存储服务器接收的。也可以是存储服务器向索引服务器存储请求，索引服务器响应该存储请求，并判断该存储请求对应的视频数据是否为关键视频数据，若是，则发送关键视频数据的数据信息。任何获取关键视频数据备份指令的方法，均可用于本发明，本实施例对此不作限制。
关键视频数据的数据信息为用于表征关键视频数据唯一性的信息，具体可以是关键视频数据自身的标识信息，例如每个电影的唯一标识；也可以是视频数据的编码器的标识信息，例如监控系统中每个摄像机的唯一标识和监控时间范围。
视频数据的热度值大于或者等于预设热度阈值时，通常代表该视频数据具有较高内容价值，因此，可以对这类数据进行安全防护性能的提升。同时，在进行安全防护性能提升之前，关键视频数据是已经存储在存储服务器中的。具体的，关键视频数据可以是以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中。由此，在进行安全防护性能提升的存储时，就可以不必再次进行切片的操作，提升了数据存储的效率。同时，对要以安全防护性能提升形式存储的关键视频数据，预先以切片数据和冗余数据的形式存储在存储服务器中，也可以在提升安全防护性能之前，以较低的存储空间成本起到一定程度的数据安全防护作用，避免了安全防护性能提升之前的数据丢失风险。
其中，关键视频数据的切片数据具体可以为，按关键视频数据的视频帧逐帧分割该视频数据，每一帧即为一个切片数据。还可以是，根据对承担数据丢失风险能力的需求与切片数据之间的数量关系，也就是冗余数据的数量需求与切片数据之间的冗余运算关系，确定出切片数据的数量，根据切片数据的数量均匀分割出对应数量个切片数据。其中，冗余数据为原始数据的切片数据丢失时能够提供原始数据还原依据的数据。
S102，基于数据信息，获取关键视频数据已存储的各切片数据。
关键视频数据已存储的各切片数据可以携带关键视频数据的数据信息，由此，可以基于数据信息，获取与关键视频数据对应的各切片数据。
S103，利用第二纠删码算法，对关键视频数据已存储的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。
由于冗余数据的数量与数据承担数据丢失风险的能力成正相关，为了实现数据安全防护性能的提升，第二冗余数据的数量需要大于第一冗余数据的数量，以提升关键视频数据承担数据丢失风险的能力。因此，采用与第一纠删码算法不同的第二纠删码算法对切片数据进行冗余计算，以得到大于第一预设数量的第二预设数量个第二冗余数据。
其中，第二纠删码算法具体可以是基于第二预设数量和切片数据，以冗余数据能够还原切片数据为原则，得到的纠删码算法。也可以是将第一纠删码算法设计为冗余数据数量可动态调整的算法，从而将第二预设数量输入第一纠删码算法，得到第二纠删码算法。
S104，将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
由于关键视频数据的切片数据已存储，因此，可以将关键视频数据的第二冗余数据，分别存储至各存储服务器。具体可以是分别存储至任意存储服务器，此时，关键视频数据a的切片数据a1、a2、第一冗余数据a11以及第二冗余数据可以存储在相同服务器中。也可以将关键视频数据的第二冗余数据，分别存储至与第一冗余数据和切片数据不同的存储服务器。例如：关键视频数据a的切片数据a1、a2、第一冗余数据a11以及第二冗余数据分别存储至存储服务器1、存储服务器2、存储服务器3以及存储服务器4中。
对于存储至任意存储服务器的情况，由于不必进行存储服务器选取，因此存储效率较高。但是如果某一台存储服务器故障或损坏，同一关键视频数据会有多个切片数据和/或冗余数据丢失。而对于存储至不同存储服务器的情况，如果某一台存储服务器故障或损坏，同一关键视频数据仅有一个切片数据或冗余数据丢失，抗数据丢失风险能力较高。因此，对于优先考虑备份效率的应用场景，例如对实时性有很强需求的直播系统，特别是用户流量高峰期的直播系统，可以采用存储至任意存储服务器的方法。对于优先考虑抗数据丢失风险能力的应用场景，例如视频监控系统，可以采用存储至不同存储服务器的方法。
例如：关键视频数据a以以基于第一纠删码算法得到的切片数据a1、a2，以及1个第一冗余数据a11形式存储在各存储服务器中。获取索引服务器发送的关键视频数据的数据信息。根据数据信息，从存储服务器中获取关键视频数据a的切片数据a1、a2。利用第二纠删码算法，对关键视频数据a的切片数据a1、a2进行冗余计算，得到关键视频数据a的2个第二冗余数据将关键视频数据a的第二冗余数据分别存储至各存储服务器。
本发明实施例提供的数据存储方法，应用于包括多个存储服务器及至少一个索引服务器的云存储系统中，通过由存储服务器根据获取的索引服务器发送的关键视频数据的数据信息，其中，关键视频数据为热度值大于或者等于预设热度阈值的、以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中的视频数据。基于关键视频数据的数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
可选的，在图1所示实施例的步骤S104之后，本发明的数据存储方法还可以包括如下步骤：
删除各存储服务器中关键视频数据的第一预设数量个第一冗余数据。
由于在将关键视频数据的第二冗余数据分别存储至各存储服务器后，关键视频数据的安全防护可以由切片数据与第二冗余数据实现，因此可以删除第一冗余数据，以进一步节省存储空间。
如图2所示，本发明另一实施例的数据备份方法的流程，可以包括：
S201，获取索引服务器发送的关键视频数据的数据信息，关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中。
S202，基于数据信息，获取关键视频数据已存储的各切片数据。
S203，利用第二纠删码算法，对关键视频数据已存储的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。
S204，将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
S201至S204为与本发明图1所示实施例中S101至S104相同的步骤，在此不再赘述，详见图1所示实施例的描述。
S205，在检测到关键视频数据的第一子数据丢失时，如果第一子数据丢失的总数据数量小于或等于第二预设数量，则根据各存储服务器中关键视频数据的第二子数据，利用第二纠删码算法，还原第一子数据。其中，第一子数据为关键视频数据的切片数据和/或冗余数据，第二子数据为关键视频数据的所有切片数据和所有冗余数据中、除第一子数据以外的数据。
检测到关键视频数据的第一子数据丢失的方式，具体可以为接收第一子数据所在存储服务器发送的操作错误报告，该操作错误报告与丢失的数据相对应，这种方式适用于因操作失误引起的数据丢失情况。也可以为接收索引服务器发送的设备故障报告，该故障报告与丢失的数据相对应，这种方式适用于因第一子数据所在存储服务器损坏或故障引起的数据丢失情况。还可以是接收用户发送的数据丢失指令。任何能够检测到关键视频数据的第一子数据丢失的方式均可用于本发明，本实施例对此不作限制。
由于基于冗余数据，可以对丢失了部分数据的关键视频数据进行还原，因此，只要保证丢失的切片数据的数量不超过利用第二纠删码算法得到的冗余数据的数量，即可还原出丢失的切片数据，从而由切片数据得到关键视频数据，实现了数据安全防护的效果。
例如，各存储服务器中关键视频数据a的所有切片数据为a1、a2，所有第二冗余数据为当检测到a1、a2、以及中任意数据丢失，如检测到a1丢失，或者a2、丢失等任意数据丢失的情况，且丢失的总数据数量不大于2个，也就是小于或者等于关键视频数据a的第二冗余数据的数量2个。以检测到a1丢失为例，则根据各存储服务器中的a2、以及利用第二纠删码算法，还原出a1。
当然，如果第一子数据丢失的数量小于或者等于第一预设数量时，也可以利用第一纠删码算法和第一冗余数据进行还原。例如，检测到a1丢失，则根据各存储服务器中的a2以及a11，利用第一纠删码算法，还原出a1。
同时，在上述实施例的基础上进一步可以理解，由于丢失的切片数据数量不大于冗余数据的数量时，才可以还原出丢失的切片数据。因此，通过第二纠删码算法得到的第二冗余数据的数量第二预设数量，需要大于第一冗余数据的数量第一预设数量，才能提升关键视频数据可丢失的数据数量，从而提高承担数据丢失风险的能力，提升数据防护安全性能。
由于关键视频数据的热度值，是由用户对该视频数据的操作决定的，而索引服务器管理存储服务器、分配存储资源、记录视频数据物理位置、响应客户端请求的服务器，用户对存储服务器中已存储的各原始视频数据进行操作的操作信息也是索引服务器才能获取的。
因此，可选的，上述关键视频的热度值可以由索引服务器、通过统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息得到。
其中，操作信息具体可以为播放次数、下载次数、收藏次数、分享次数以及防止视频数据被覆盖的锁定、确定视频数据为重要的收藏、标记等能够反映原始视频数据内容价值的操作信息。
索引服务器确定关键视频热度值的步骤，具体可以包括：
统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息，得到热度值。
判断热度值是否大于或者等于预设热度阈值。
若是，则将该热度值对应的视频数据确定为关键视频数据，并获取该视频数据的数据信息。
向已存储关键视频数据的存储服务器发送数据信息。
其中，热度值可以是根据与各操作信息对应的预设分值，对原始视频数据统计信息中的各操作信息进行评分，将总评分结果作为该原始视频数据的热度值。例如，检索信息的预设分值为1分、锁定信息的预设分值为2分，以及标记信息的预设分值为1.5分。原始视频数据a的统计信息是检索次数5次、被锁定、以及未收藏，则原始视频数据a的评分结果为5分，2分，0分，总评分结果为7分，也就是原始视频数据a的热度值为7。当预设热度阈值为5时，视频数据a的热度值7＞5，则视频数据a为关键视频数据。记录该关键视频数据a的热度值“7”，并获取该关键视频数据的数据信息“a”。其中，预设热度阈值可以是根据历史经验确定的。
可选的，本发明图1所示实施例的S103，可以包括：
利用与关键视频数据的热度值K对应的第K纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第K预设数量个第二冗余数据，其中，K为热度值编号。
相应的，本发明图1所示实施例的S104，可以包括：
将所述关键视频数据的第K预设数量个第二冗余数据，分别存储至各存储服务器。
由于不同视频数据的内容价值可能不同，因此，可以在确定出关键视频数据的基础上，对于内容价值不同的关键视频数据，进一步以量化的热度值进行热度级别划分。从而根据不同热度级别确定相应的冗余数据数量和纠删码算法，以进行对应于关键视频数据热度级别的差异化存储。也就是内容价值更高的关键视频数据的冗余数据数量、较内容价值较低的关键视频数据的冗余数据数量更多。通过对应于关键视频数据冗余级别的差异化冗余数据数量的确定，以更加合理的存储空间分配，进一步提升关键视频数据的数据丢失风险承担能力，从而更好地适应海量视频数据带来的大量关键视频数据的安全防护性能提升的情况。
例如：关键视频数据a的热度值编号为3，以基于第一纠删码算法得到的2个切片数据和1个冗余数据的形式，存储在各存储服务器中，预设编号3的热度值对应的第3预设数量为2。关键视频数据b的热度值编号为4，以基于第一纠删码算法得到的2个切片数据和1个冗余数据的形式，存储在各存储服务器中，预设编号4的热度值对应的第4预设数量为5。由此，利用与关键视频数据a的热度值对应的第3纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据a的大于第一预设数量的第3预设数量个(也就是2个)第3冗余数据。利用与关键视频数据b的热度值对应的第4纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据b的大于第一预设数量的第4预设数量个(也就是5个)第4冗余数据。将关键视频数据a、b的第3预设数量个第3冗余数据、，分别存储至各存储服务器。也就是可以分别根据各个关键视频数据各自的热度值，确定与其热度值相对应的冗余数据的数量，从而以差异化的冗余数据数量进行存储，以便在存在大量关键视频数据时，更加合理地进行安全性能提升。
当然，在确定出关键视频数据的数据信息后，还可以将该数据信息同步至云存储系统中的各索引服务器，以保证在当前索引服务器中的数据信息异常时，依然存在可用的数据信息。同时，可以分散同一台索引服务器对存储服务器的管理压力。
相应于上述方法实施例，本发明一实施例还提供了存储服务器。
如图3所示，本发明一实施例的存储服务器的结构，该存储服务器可以包括：
任务执行模块301，用于获取索引服务器发送的关键视频数据的数据信息，关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中。基于数据信息，获取关键视频数据已存储的各切片数据。利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。
数据存储模块302，用于将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
本发明实施例提供的存储服务器，应用于包括多个存储服务器及至少一个索引服务器的云存储系统中，通过由存储服务器根据获取的索引服务器发送的关键视频数据的数据信息，其中，关键视频数据为热度值大于或者等于预设热度阈值的、以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中的视频数据。基于关键视频数据的数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
可选的，如图3实施例所示的存储服务器中，数据存储模块302，还可以用于：
删除各存储服务器中关键视频数据的第一预设数量个第一冗余数据。
如图4所示，本发明另一实施例的存储服务器的结构，该存储服务器可以包括：
任务执行模块401，用于获取索引服务器发送的关键视频数据的数据信息，关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中。基于数据信息，获取关键视频数据已存储的各切片数据。利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。
数据存储模块402，用于将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
401和402为与图3所示实施例中301、302相同的模块。
数据重构模块403，用于在检测到关键视频数据的第一子数据丢失时，如果第一子数据的总数据数量小于或等于第二预设数量，则根据各存储服务器中关键数据的第二子数据，利用第二纠删码算法，还原第一子数据，其中，第一子数据为关键视频数据的切片数据和/或冗余数据，第二子数据为关键视频数据的所有切片数据和所有冗余数据中、除第一子数据以外的数据。
可选的，上述热度值由索引服务器、通过统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息得到。
其中，索引服务器可以包括：
统计模块，用于用于统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息，得到各视频数据的热度值。将热度值大于或等于预设阈值的视频数据确定为关键视频数据，获取关键视频数据的数据信息。
任务下发模块，用于向已存储所述关键视频数据的存储服务器发送关键视频数据的数据信息。
当然，索引服务器还可以包括：内存同步模块，用于将所述关键视频数据的数据信息同步至各索引服务器。
可选的，如图3所示实施例的索引服务器中，任务执行模块301具体可以用于：
利用与关键视频数据的热度值K对应的第K纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第K预设数量个第二冗余数据，其中，K为所述热度值编号；
将关键视频数据的第K预设数量个第二冗余数据，分别存储至各存储服务器。
如图5所示，本发明一实施例的云存储系统的结构，可以包括：多个存储服务器及至少一个索引服务器。
存储服务器501，用于获取索引服务器发送的关键视频数据的数据信息，关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中。基于数据信息，获取关键视频数据已存储的各切片数据。利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
索引服务器502，用于统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息，得到各视频数据的热度值。将热度值大于或等于预设阈值的视频数据确定为关键视频数据，获取关键视频数据的数据信息。向已存储所述关键视频数据的存储服务器发送关键视频数据的数据信息。
本发明实施例提供的云存储系统，包括多个存储服务器及至少一个索引服务器，通过由存储服务器根据获取的索引服务器发送的关键视频数据的数据信息，其中，关键视频数据为热度值大于或者等于预设热度阈值的、以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中的视频数据。基于关键视频数据的数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
为了便于理解，如图6所示，从图5实施例所示的云存储系统中存储服务器与索引服务器的交互过程，介绍本发明实施例所提供的数据存储方法。
S601，索引服务器统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息，得到各视频数据的热度值。
S602，索引服务器将热度值大于或等于预设阈值的视频数据确定为关键视频数据，获取关键视频数据的数据信息。
S603，索引服务器向已存储所述关键视频数据的存储服务器发送关键视频数据的数据信息。
S604，存储服务器获取索引服务器发送的关键视频数据的数据信息。基于数据信息，获取关键视频数据已存储的各切片数据。利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。
S605，存储服务器将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
可选的，上述图6所示实施例的步骤S604，具体可以包括：
利用与关键视频数据的热度值K对应的第K纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第K预设数量个第二冗余数据，其中，K为所述热度值编号。
相应的，上述图6所示实施例的步骤S605，具体可以包括：
将关键视频数据的第K预设数量个第二冗余数据，分别存储至各存储服务器。
可选的，在上述图6所示实施例的步骤S605之后，还可以包括：
在检测到所述关键视频数据的第一子数据丢失时，如果第一子数据丢失的总数据数量小于或等于所述第二预设数量，则根据各存储服务器中所述关键视频数据的第二子数据，利用第二纠删码算法，还原第一子数据，其中，第一子数据为关键视频数据的切片数据和/或冗余数据，第二子数据为关键视频数据的所有切片数据和所有冗余数据中、除第一子数据以外的数据。
可选的，在上述图6所示实施例的步骤S605之后，还可以包括：
删除各存储服务器中关键视频数据的第一预设数量个第一冗余数据。
相应于上述实施例，本发明实施例还提供了一种存储服务器，如图7所示，存储服务器700，可以包括：
处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器通703过通信总线704完成相互间的通信。
存储器703，用于存放计算机程序。
处理器701，用于执行上述存储器703上所存放的计算机程序时，实现上述应用于存储服务器的数据存储方法的所有步骤。
本发明实施例提供的存储服务器，通过由存储服务器根据获取的索引服务器发送的关键视频数据的数据信息，其中，关键视频数据为热度值大于或者等于预设热度阈值的、以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中的视频数据。基于关键视频数据的数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
相应于上述实施例，本发明实施例还提供了一种索引服务器，该索引服务器可以包括：
处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。
存储器，用于存放计算机程序。
处理器，用于执行上述存储器上所存放的计算机程序时，实现上述应用于索引服务器的数据备份方法的所有步骤。
本发明实施例提供的索引服务器，通过由索引服务器统计并分析用户对存储服务器中已存储的各原始视频数据进行操作的操作统计信息，得到关键视频数据的热度值，从而根据热度值确定关键视频数据、并获取关键视频数据的数据信息，向已存储所述关键视频数据的存储服务器发送数据信息。与人工选取关键视频并对关键视频手动备份的方式相比，根据用户对视频数据的操作信息确定关键视频数据，提升了关键视频数据选取的精准度和便捷性。同时，索引服务器发送的关键视频数据的数据信息使存储服务器能够根据该数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明一实施例提供的计算机可读存储介质，包含于存储服务器，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现上述应用于存储服务器的数据存储方法方法的所有步骤。
本发明实施例提供的计算机可读存储介质，包含于存储服务器，存储的计算机程序被处理器执行时，可以实现通过由存储服务器根据获取的索引服务器发送的关键视频数据的数据信息，其中，关键视频数据为热度值大于或者等于预设热度阈值的、以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中的视频数据。基于关键视频数据的数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
本发明另一实施例提供的计算机可读存储介质，包含于索引服务器，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现上述应用于索引服务器的数据备份方法的所有步骤。
本发明实施例提供的计算机可读存储介质，包含于索引服务器，存储的计算机程序被处理器执行时，可以实现通过由由索引服务器统计并分析用户对存储服务器中已存储的各原始视频数据进行操作的操作信息，得到关键视频数据的热度值，从而根据热度值确定关键视频数据、并获取关键视频数据的数据信息，向已存储所述关键视频数据的存储服务器发送数据信息。与人工选取关键视频并对关键视频手动备份的方式相比，根据用户对视频数据的操作信息确定关键视频数据，提升了关键视频数据选取的精准度和便捷性。同时，索引服务器发送的关键视频数据的数据信息使存储服务器能够根据该数据信息，获取关键视频数据已存储的各切片数据；利用第二纠删码算法，对关键视频数据的各切片数据进行冗余计算，得到关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据。将关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。与传统的备份形式的存储方式相比，通过提升关键视频的冗余数据数量，在提升了关键视频数据安全防护性能的同时，冗余数据比备份占用更少的存储空间。从而解决了以备份形式提升数据安全防护性能时，无法兼顾存储空间成本与数据安全防护性能的问题。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于存储服务器、索引服务器和云存储系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种数据存储方法，其特征在于，应用于云存储系统中的存储服务器，所述云存储系统中包括多个存储服务器及至少一个索引服务器，所述方法包括：
获取所述索引服务器发送的关键视频数据的数据信息，所述关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，所述关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中；
基于所述数据信息，获取所述关键视频数据已存储的各切片数据；
利用第二纠删码算法，对所述关键视频数据已存储的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据；
将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
2.根据权利要求1所述的方法，其特征在于，在所述将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器之后，所述方法还包括：
删除各存储服务器中所述关键视频数据的第一预设数量个第一冗余数据。
3.根据权利要求1所述的方法，其特征在于，在所述将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器之后，所述方法还包括：
在检测到所述关键视频数据的第一子数据丢失时，如果所述第一子数据丢失的总数据数量小于或等于所述第二预设数量，则根据各存储服务器中所述关键视频数据的第二子数据，利用所述第二纠删码算法，还原所述第一子数据，其中，所述第一子数据为所述关键视频数据的切片数据和/或冗余数据，所述第二子数据为所述关键视频数据的所有切片数据和所有冗余数据中、除所述第一子数据以外的数据。
4.根据权利要求1所述的方法，其特征在于，所述热度值由所述索引服务器、通过统计并分析用户对所述存储服务器中已存储的各视频数据进行操作的操作信息得到。
5.根据权利要求1所述的方法，其特征在于，所述利用第二纠删码算法，对所述关键视频数据已存储的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据，包括：
利用与所述关键视频数据的热度值K对应的第K纠删码算法，对所述关键视频数据的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第K预设数量个第二冗余数据，其中，所述K为所述热度值编号；
所述将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器，包括：
将所述关键视频数据的第K预设数量个第二冗余数据，分别存储至各存储服务器。
6.一种存储服务器，其特征在于，所述存储服务器包括：
任务执行模块，用于获取所述索引服务器发送的关键视频数据的数据信息，所述关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，所述关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中；基于所述数据信息，获取所述关键视频数据已存储的各切片数据；利用第二纠删码算法，对所述关键视频数据已存储的各切片数据进行冗余计算，得到所述关键视频数据的大于所述第一预设数量的第二预设数量个第二冗余数据；
数据存储模块，用于将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器。
7.根据权利要求6所述的存储服务器，其特征在于，所述数据存储模块，还用于：
删除各存储服务器中所述关键视频数据的第一预设数量个第一冗余数据。
8.根据权利要求6所述的存储服务器，其特征在于，所述存储服务器还包括：
数据重构模块，用于在检测到所述关键视频数据的第一子数据丢失时，如果所述第一子数据丢失的总数据数量小于或等于所述第二预设数量，则根据各存储服务器中所述关键视频数据的第二子数据，利用所述第二纠删码算法，还原所述第一子数据，其中，所述第一子数据为所述关键视频数据的切片数据和/或冗余数据，所述第二子数据为所述关键视频数据的所有切片数据和所有冗余数据中、除所述第一子数据以外的数据。
9.根据权利要求6所述的存储服务器，其特征在于，所述热度值由所述索引服务器、通过统计并分析用户对所述存储服务器中已存储的各视频数据进行操作的操作信息得到。
10.根据权利要求6所述的存储服务器，其特征在于，所述任务执行模块，具体用于：
利用与所述关键视频数据的热度值K对应的第K纠删码算法，对所述关键视频数据的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第K预设数量个第二冗余数据，其中，所述K为所述热度值编号；
将所述关键视频数据的第K预设数量个第二冗余数据，分别存储至各存储服务器。
11.一种云存储系统，其特征在于，所述系统包括：多个存储服务器及至少一个索引服务器；
所述存储服务器，用于获取所述索引服务器发送的关键视频数据的数据信息，所述关键视频数据包括：热度值大于或者等于预设热度阈值的视频数据，所述关键视频数据以基于第一纠删码算法得到的多个切片数据和第一预设数量个第一冗余数据的形式存储在各存储服务器中；基于所述数据信息，获取所述关键视频数据已存储的各切片数据；利用第二纠删码算法，对所述关键视频数据的各切片数据进行冗余计算，得到所述关键视频数据的大于第一预设数量的第二预设数量个第二冗余数据；将所述关键视频数据的第二预设数量个第二冗余数据，分别存储至各存储服务器；
所述索引服务器，用于统计并分析用户对存储服务器中已存储的各视频数据进行操作的操作信息，得到各视频数据的热度值；将所述热度值大于或等于预设阈值的视频数据确定为关键视频数据，获取所述关键视频数据的数据信息；向已存储所述关键视频数据的存储服务器发送关键视频数据的数据信息。
CN201810366428.6A 2018-04-23 2018-04-23 数据存储方法、存储服务器及云存储系统 Active CN110389715B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810366428.6A CN110389715B (zh) 2018-04-23 2018-04-23 数据存储方法、存储服务器及云存储系统
PCT/CN2019/075698 WO2019205788A1 (zh) 2018-04-23 2019-02-21 数据存储方法、存储服务器及云存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810366428.6A CN110389715B (zh) 2018-04-23 2018-04-23 数据存储方法、存储服务器及云存储系统

Publications (2)

Publication Number Publication Date
CN110389715A true CN110389715A (zh) 2019-10-29
CN110389715B CN110389715B (zh) 2021-07-09

Family

ID=68284468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810366428.6A Active CN110389715B (zh) 2018-04-23 2018-04-23 数据存储方法、存储服务器及云存储系统

Country Status (2)

Country Link
CN (1) CN110389715B (zh)
WO (1) WO2019205788A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135326A1 (zh) * 2019-12-30 2021-07-08 华为技术有限公司 一种数据备份方法、装置、设备及介质
CN114116321A (zh) * 2022-01-25 2022-03-01 苏州浪潮智能科技有限公司 一种冗余数据管理方法、装置、计算机设备和存储介质
CN114416437A (zh) * 2022-01-17 2022-04-29 杭州字节方舟科技有限公司 一种自适应冗余级别的数据存储方法
WO2024001494A1 (zh) * 2022-06-29 2024-01-04 京东方科技集团股份有限公司 一种数据存储的方法、单节点服务器及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN103631666A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 数据冗余容错的适配管理设备、服务设备、系统及方法
CN103838860A (zh) * 2014-03-19 2014-06-04 华存数据信息技术有限公司 一种基于动态副本策略的文件存储系统及其存储方法
CN105320899A (zh) * 2014-07-22 2016-02-10 北京大学 一种面向用户的云存储数据完整性保护方法
CN105335150A (zh) * 2014-08-13 2016-02-17 苏宁云商集团股份有限公司 纠删码数据的快速编解码方法和系统
CN106331001A (zh) * 2015-06-23 2017-01-11 华中科技大学 一种适合移动设备访问的云存储方法和系统
CN106603673A (zh) * 2016-12-19 2017-04-26 上海交通大学 基于纠删码的细粒度云存储调度方法
CN106649406A (zh) * 2015-11-04 2017-05-10 华为技术有限公司 一种自适应存储文件的方法和装置
CN106776111A (zh) * 2017-01-06 2017-05-31 东北大学 一种基于lrc纠删码的可恢复云存储系统
US20180018235A1 (en) * 2016-07-15 2018-01-18 Quantum Corporation Joint de-duplication-erasure coded distributed storage

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458287B2 (en) * 2009-07-31 2013-06-04 Microsoft Corporation Erasure coded storage aggregation in data centers
CN103118133B (zh) * 2013-02-28 2015-09-02 浙江大学 基于文件访问频次的混合云存储方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN103631666A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 数据冗余容错的适配管理设备、服务设备、系统及方法
CN103838860A (zh) * 2014-03-19 2014-06-04 华存数据信息技术有限公司 一种基于动态副本策略的文件存储系统及其存储方法
CN105320899A (zh) * 2014-07-22 2016-02-10 北京大学 一种面向用户的云存储数据完整性保护方法
CN105335150A (zh) * 2014-08-13 2016-02-17 苏宁云商集团股份有限公司 纠删码数据的快速编解码方法和系统
CN106331001A (zh) * 2015-06-23 2017-01-11 华中科技大学 一种适合移动设备访问的云存储方法和系统
CN106649406A (zh) * 2015-11-04 2017-05-10 华为技术有限公司 一种自适应存储文件的方法和装置
US20180018235A1 (en) * 2016-07-15 2018-01-18 Quantum Corporation Joint de-duplication-erasure coded distributed storage
CN106603673A (zh) * 2016-12-19 2017-04-26 上海交通大学 基于纠删码的细粒度云存储调度方法
CN106776111A (zh) * 2017-01-06 2017-05-31 东北大学 一种基于lrc纠删码的可恢复云存储系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUN-HSIN WU.ETC: "Secure Multi-Key File-Sharing for Cloud Storage with Erasure Coding", 《INTERNATIONAL CONFERENCE ON COMPUTER, INFORMATION AND TELECOMMUNICATION SYSTEMS》 *
杨松霖; 张广艳: "纠删码存储系统中数据修复方法综述", 《计算机科学与探索》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135326A1 (zh) * 2019-12-30 2021-07-08 华为技术有限公司 一种数据备份方法、装置、设备及介质
CN114416437A (zh) * 2022-01-17 2022-04-29 杭州字节方舟科技有限公司 一种自适应冗余级别的数据存储方法
CN114116321A (zh) * 2022-01-25 2022-03-01 苏州浪潮智能科技有限公司 一种冗余数据管理方法、装置、计算机设备和存储介质
WO2024001494A1 (zh) * 2022-06-29 2024-01-04 京东方科技集团股份有限公司 一种数据存储的方法、单节点服务器及设备

Also Published As

Publication number Publication date
WO2019205788A1 (zh) 2019-10-31
CN110389715B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN110389715A (zh) 数据存储方法、存储服务器及云存储系统
CN110661659B (zh) 一种告警方法、装置、系统及电子设备
US9244790B1 (en) System and method for predicting future disk failures
US7590672B2 (en) Identification of fixed content objects in a distributed fixed content storage system
CN104584524B (zh) 聚合中介系统中的数据
CN110784355B (zh) 一种故障识别方法及装置
US9026752B1 (en) Efficiently estimating compression ratio in a deduplicating file system
US9424156B2 (en) Identifying a potential failure event for a data storage device
KR101179472B1 (ko) 파일관리 시스템 및 파일관리시스템의 컨텐츠 제공 방법
CN104933114A (zh) 一种海量日志管理云平台
CN104393951A (zh) 一种基于排队的遥感载荷通用数据处理系统
EP2177984A3 (en) Multinode network storage data management method and system
US8904144B1 (en) Methods and systems for determining at risk index for storage capacity
US9557938B2 (en) Data retrieval based on storage device activation schedules
CN107092683A (zh) 一种日志处理系统和方法
CN105302697B (zh) 一种密集数据模型数据库的运行状态监控方法及系统
WO2021145915A1 (en) Memory health tracking for differentiated data recovery configurations
CN103631666A (zh) 数据冗余容错的适配管理设备、服务设备、系统及方法
CN102298547A (zh) 一种数据备份方法及其装置
CN105989140B (zh) 一种数据块处理方法和设备
CN105556898B (zh) 管理数据馈送
CN109522360A (zh) 一种大数据中心监控数据可视化系统及方法
CN114385463A (zh) 数据采集方法、装置以及电子设备
CN104092754B (zh) 文件存储系统和文件存储方法
CN109510730B (zh) 分布式系统及其监控方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant