CN110874185A - 一种数据存储方法及存储装置 - Google Patents

一种数据存储方法及存储装置 Download PDF

Info

Publication number
CN110874185A
CN110874185A CN201811025881.7A CN201811025881A CN110874185A CN 110874185 A CN110874185 A CN 110874185A CN 201811025881 A CN201811025881 A CN 201811025881A CN 110874185 A CN110874185 A CN 110874185A
Authority
CN
China
Prior art keywords
data
stored
security level
storage
equal parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811025881.7A
Other languages
English (en)
Other versions
CN110874185B (zh
Inventor
夏伟强
汪渭春
林起芊
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN201811025881.7A priority Critical patent/CN110874185B/zh
Priority to PCT/CN2019/104417 priority patent/WO2020048488A1/zh
Publication of CN110874185A publication Critical patent/CN110874185A/zh
Application granted granted Critical
Publication of CN110874185B publication Critical patent/CN110874185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0623—Securing storage systems in relation to content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Storage Device Security (AREA)

Abstract

本发明实施例提供了一种数据存储方法及存储装置，其中方法包括：确定待存储数据的数据类型；根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据的安全级别；根据所确定的待存储数据的安全级别，生成符合待存储数据安全级别的校验数据；将待存储数据和校验数据分别存储至N+m个存储节点，其中，N+m数量与待存储数据的安全级别一致。本发明实施例提供的数据存储方法及存储装置，能够进一步保证重要数据的安全性。

Description

一种数据存储方法及存储装置
技术领域
本发明涉及数据存储技术领域，特别是涉及一种数据存储方法及存储装置。
背景技术
视频云存储技术是一种用于数据云端存储的技术，云存储服务器可以接收来自前端摄像设备的数据，并对数据进行存储。目前的云存储服务器在对数据进行存储时，通常只保存一个副本，为了避免数据因存储节点故障丢失，多采用EC(erasure code，纠删码)技术存储数据。
EC技术是一种数据编码技术，它可以将N份原始数据，增加M份数据，并能通过N+M份中的任意N份数据，还原为原始数据，即，如果有任意小于等于M份的数据失效，仍然能够通过剩下的N份数据还原出原始数据。云存储服务器利用EC技术存储数据时，具体地，可以在接收来自前端摄像设备的数据后，根据预设的安全级别N+M值，将所接收的数据划分为N份，再为这N份数据生成M份校验数据，然后将这N+M份数据分别存储至N+M个存储节点中。
前端摄像设备发送的数据中，通常包括实时视频数据、告警视频数据和智能流数据，其中，实时视频数据为摄像设备在正常情况下录制的视频数据；告警视频数据为摄像设备在紧急情况下录制的视频数据；智能流数据为摄像设备对视频数据轻量计算后，得到的含有该视频中拍摄对象特征信息的数据，例如视频中的人物性别、衣着颜色等特征。目前的云存储服务器，对于同一摄像设备发送的数据，通常采用相同的安全级别进行编码并存储。但是，云存储服务器中，对于存储该前端设备所发送数据的N+M个存储节点而言，当其中M个存储节点出现故障时(即M份数据失效时)，由于实时视频数据、告警视频数据和智能流数据均采用相同的安全级别，不仅会导致实时视频数据无法被还原，更会导致包括告警视频数据和智能流数据在内的重要程度更高的数据也无法被还原。
发明内容
本发明实施例的目的在于提供一种数据存储方法及存储装置，以进一步保证当云存储服务器的部分存储节点出现故障时，其中存储的重要数据能够被还原。具体技术方案如下：
第一方面，本发明实施例提供了一种数据存储方法，应用于云存储服务器，所述方法包括：
确定待存储数据的数据类型；
根据预设的不同数据类型与不同安全级别的对应关系，确定所述待存储数据的安全级别；
根据所确定的所述待存储数据的安全级别，生成符合所述待存储数据安全级别的校验数据；
将所述待存储数据和所述校验数据分别存储至N+m个存储节点，其中，N+m数量与所述待存储数据的安全级别一致。
可选地，所述确定待存储数据的数据类型之前，所述方法还包括：
接收由前端摄像设备发送的待存储数据。
可选地，所述确定待存储数据的数据类型，包括：
根据所述待存储数据中的数据类型标识，确定所述待存储数据的数据类型。
可选地，所述根据预设的不同数据类型与不同安全级别的对应关系，确定所述待存储数据的安全级别，包括：
当所述待存储数据的数据类型为实时视频数据时，确定所述待存储数据的安全级别为N+M，其中N和M均为大于1的整数；
当所述待存储数据的数据类型为告警视频数据时，确定所述待存储数据的安全级别为N+(M+1)；
当所述待存储数据的数据类型为智能流数据时，确定所述待存储数据的安全级别为N+(M+2)。
可选地，所述根据所确定的所述待存储数据的安全级别，生成符合所述待存储数据安全级别的校验数据，包括：
当所述待存储数据的安全级别为N+M时，将所述待存储数据划分为N等份的原始数据，并生成M等份的校验数据；
当所述待存储数据的安全级别为N+(M+1)时，将所述待存储数据划分为N等份的原始数据，并生成M+1等份的校验数据；
当所述待存储数据的安全级别为N+(M+2)时，将所述待存储数据划分为N等份的原始数据，并生成M+2等份的校验数据。
可选地，所述将所述待存储数据和所述校验数据分别存储至N+M个存储节点，包括：
当所述待存储数据的安全级别为N+M时，将经EC纠删码编码后的N等份原始数据和M等份校验数据，分别存储至N+M个存储节点中，其中M＝m；
当所述待存储数据的安全级别为N+(M+1)时，将经EC编码后的N等份原始数据和M+1等份校验数据，分别存储至N+(M+1)个存储节点中，其中M+1＝m；
当所述待存储数据的安全级别为N+(M+2)时，将经EC编码后的N等份原始数据和M+2等份校验数据，分别存储至N+(M+2)个存储节点中，其中M+2＝m。
可选地，所述将所述待存储数据和所述校验数据分别存储至N+M个存储节点之后，所述方法还包括：
生成针对所述待存储数据的存储结果信息，所述存储结果信息中包括：所述待存储数据已成功存储的标识信息，以及用于存储所述待存储数据的存储节点名称。
第二方面，本发明实施例提供了一种数据存储装置，应用于云存储服务器，所述装置包括：
第一确定模块，用于确定待存储数据的数据类型；
第二确定模块，用于根据预设的不同数据类型与不同安全级别的对应关系，确定所述待存储数据的安全级别；
第一生成模块，用于根据所确定的所述待存储数据的安全级别，生成符合所述待存储数据安全级别的校验数据；
存储模块，用于将所述待存储数据和所述校验数据分别存储至N+m个存储节点，其中，N+m数量与所述待存储数据的安全级别一致。
可选地，所述装置还包括：
接收模块，用于接收由前端摄像设备发送的待存储数据。
可选地，所述第一确定模块，具体用于：
根据所述待存储数据中的数据类型标识，确定所述待存储数据的数据类型。
可选地，所述第二确定模块，具体用于：
当所述待存储数据的数据类型为实时视频数据时，确定所述待存储数据的安全级别为N+M，其中N和M均为大于1的整数；
当所述待存储数据的数据类型为告警视频数据时，确定所述待存储数据的安全级别为N+(M+1)；
当所述待存储数据的数据类型为智能流数据时，确定所述待存储数据的安全级别为N+(M+2)。
可选地，所述第一生成模块，具体用于：
当所述待存储数据的安全级别为N+M时，将所述待存储数据划分为N等份的原始数据，并生成M等份的校验数据；
当所述待存储数据的安全级别为N+(M+1)时，将所述待存储数据划分为N等份的原始数据，并生成M+1等份的校验数据；
当所述待存储数据的安全级别为N+(M+2)时，将所述待存储数据划分为N等份的原始数据，并生成M+2等份的校验数据。
可选地，所述存储模块，具体用于：
当所述待存储数据的安全级别为N+M时，将经EC纠删码编码后的N等份原始数据和M等份校验数据，分别存储至N+m个存储节点中，其中M＝m；
当所述待存储数据的安全级别为N+(M+1)时，将经EC编码后的N等份原始数据和M+1等份校验数据，分别存储至N+(M+1)个存储节点中，其中M+1＝m；
当所述待存储数据的安全级别为N+(M+2)时，将经EC编码后的N等份原始数据和M+2等份校验数据，分别存储至N+(M+2)个存储节点中，其中M+2＝m。
可选地，所述装置还包括：
第二生成模块，用于生成针对所述待存储数据的存储结果信息，所述存储结果信息中包括：所述待存储数据已成功存储的标识信息，以及用于存储所述待存储数据的存储节点名称。
第三方面，本发明实施例提供了一种云存储服务器，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现本发明实施例第一方面提供的数据存储方法的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行本发明实施例第一方面提供的数据存储方法的方法步骤。
本发明实施例提供的一种数据存储方法，云存储服务器确定待存储数据的数据类型后，可以根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据对应的安全级别，从而生成符合该待存储数据安全级别的校验数据，这样，在对待存储数据采用EC技术编码时，可以生成更多份的校验数据，进而将待存储数据和所生成的多份校验数据分别存储至N+m个存储节点中，以进一步保证当当部分存储节点出现故障时，所存储的具有更高安全等级的数据，仍能够通过未出现故障的存储节点中所存储的数据还原，从而进一步保证重要数据的安全性。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的数据存储方法的一种流程示意图；
图1b本发明实施例中步骤S104的一种流程示意图；
图2为本发明实施例提供的数据存储方法的另一种流程示意图；
图3为本发明实施例提供的数据存储方法的一种具体实现流程示意图；
图4为本发明实施例提供的数据存储装置的一种结构示意图；
图5为本发明实施例提供的数据存储装置的另一种结构示意图；
图6为本发明实施例提供的云存储服务器的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在常规的云存储系统中，前端摄像设备发送的视频数据往往只保存为一个副本，若发生机器故障，很容易造成数据丢失。目前，云存储系统中的网络RAID(RedundantArrays of Independent Disks，磁盘阵列)可以在节约用户成本的基础上，对用户的数据进行跨节点保护，网络RAID的实现方式主要基于EC技术。但是对于一些关键性数据，如实时视频数据、告警视频数据和智能流数据等，在安全性方面还是与普通数据一致。针对某前端摄像设备发送的数据，如果该数据的安全级别为N+M，当集群中同时掉线的存储节点个数大于M个时，则该前端摄像设备对应的实时流数据、智能数据、告警数据等全部不可读，而这时如果想查看该前端摄像设备下的告警事件发生时的录像时，将无法查看，或者需要查看该前端摄像设备下的智能数据时，亦无法查看。
基于上述问题，本发明实施例提供的一种数据存储方法，当云存储服务器接收来自前端摄像设备所发送的数据时，确定所接收数据的数据类型，根据不同数据类型与不同安全级别的对应关系，确定该数据对应的安全级别，从而生成符合待存储数据安全级别的校验数据。这样，在对数据编码时，可以生成更多份的校验数据，即使当部分存储节点出现故障时，所存储的具有更高安全等级的数据，仍能够通过未出现故障的存储节点中所存储的数据所还原。
如图1a所示，本发明实施例提供了一种数据存储方法，应用于云存储服务器，该过程可以包括以下步骤：
S101，确定待存储数据的数据类型。
云存储服务器接收待存储数据后，可以确定所接收数据的数据类型，具体地，可以确定数据类型为实时视频数据、告警视频数据或智能流数据。其中，实时视频数据可以是前端摄像设备在正常情况下录制的视频数据流；告警视频数据可以是前端摄像设备在紧急情况下录制的视频数据，例如：当前端摄像设备拍摄范围内突然出现运动物体时所拍摄的视频；智能流数据可以是前端摄像设备对视频数据进行轻量计算后，得到的含有该视频中拍摄对象特征信息的数据。前端摄像设备可以具有数据处理能力，从而能够得到例如拍摄对象的特征信息，例如人物的性别、衣着颜色等信息。云存储服务器所接收的智能流数据可以为JSON(JavaScript Object Notation，一种轻量级数组)字符串格式的数据。
作为本发明实施例一种可选的实施方式，云存储服务器所接收的待存储数据中，可以携带不同的数据类型标识，从而使云存储服务器可以根据数据类型标识，确定待存储数据的数据类型。示例性地，当数据类型标识为1时，可以确定该待存储数据的数据类型为实时视频数据；当数据类型标识为2时，可以确定该待存储数据的数据类型为告警视频数据；当数据类型标识为3时，可以确定该待存储数据的数据类型为智能流数据。具体地，前端摄像设备可以以数据包的形式发送待存储数据，通过在数据包的包头中添加上述数据类型标识字段，使云存储服务器接收待存储数据后，可以根据其中的数据类型标识字段，确定所接收待存储数据的数据类型。
S102，根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据的安全级别。
在EC技术中，一个数据的安全级别可以表示为该数据的N+M数值，其中N可以指将一个数据划分为N份后得到的原始数据的份数，M可以指针对这N份原始数据所需生成的M份校验数据的份数，它是经EC技术中的算法计算后得到的冗余数据。其中的N和M均为大于1的整数。
本发明实施例中，预先设置了不同数据类型与不同的安全级别的对应关系，这个对应关系可以存储在云存储服务器中。本发明实施例中，为了进一步保证智能流数据及告警视频数据能够恢复，将实时视频数据、告警视频数据及智能流数据的安全级别设置为依次升高。例如：实时视频数据的安全级别可以预设为N+M，则告警视频数据的安全级别可以预设为N+(M+1)，智能流数据的安全级别可以预设为N+(M+2)，服务器在确定所接收待存储数据的数据类型后，即可通过预设的对应关系，确定该待存储数据的安全级别。
本发明实施例中，上述三种数据类型的安全级别还可以预设为其它数值，只要保证实时视频数据、告警视频数据及智能流数据的安全级别依次升高即可。
作为本发明实施例一种可选的实施方式，上述步骤S102具体可以包括：
当待存储数据的数据类型为实时视频数据时，确定待存储数据的安全级别为N+M。
当待存储数据的数据类型为告警视频数据时，确定待存储数据的安全级别为N+(M+1)。
当待存储数据的数据类型为智能流数据时，确定待存储数据的安全级别为N+(M+2)。
由上述内容可知，云存储服务器所确定的实时视频数据、告警视频数据及智能流数据的安全级别依次升高，说明服务器可以在接收前端摄像设备发送的不同类型的待存储数据后，可以通过不同的安全级别，在云存储服务器的部分存储节点出现故障时，以进一步保证这些数据能够被还原恢复。
S103，根据所确定的待存储数据的安全级别，生成符合待存储数据安全级别的校验数据。
本发明实施例中，在确定待存储数据的安全级别后，可以根据所确定的安全级别，确定该待存储数据需生成的校验数据的份数，对待存储数据进行编码，从而生成该待存储数据的校验数据，也即，符合该待存储数据安全级别的校验数据。
基于EC技术的数据编码技术，它可以将N份原始数据，增加M份数据，并能通过N+M份中的任意N份数据，还原为原始数据，因此可以根据所接收待存储数据的安全级别，生成符合待存储数据安全级别的校验数据。
作为本发明实施例一种可选的实施方式，上述步骤S104具体可以包括：
当待存储数据的安全级别为N+M时，将待存储数据划分为N等份的原始数据，并生成M等份的校验数据。
当待存储数据的安全级别为N+(M+1)时，将待存储数据划分为N等份的原始数据，并生成M+1等份的校验数据。
当待存储数据的安全级别为N+(M+2)时，将待存储数据划分为N等份的原始数据，并生成M+2等份的校验数据。
根据上述内容可知，随着待存储数据安全级别的升高，所生成校验数据份数也随之增加，意味着该待存储数据的安全程度也在增加。这是由于对于所接收的待存储数据来说，在该待存储数据的原始数据份数一定的情况下，随着校验数据份数的增多，可以用于进行数据还原的数据数量也增多，即使原始数据或校验数据中的其中几份数据丢失，只要不小于M值，就可以利用剩余的数据还原出数据。
为了进一步保证数据的安全性，如果需要更高的安全级别，则可以生成更多份数的校验数据。例如，对于安全级别为N+(M+1)的告警视频数据，可以将其安全级别进一步设置为N+(M+2)，则生成的校验数据份数为M+2份；对于安全级别为N+(M+2)的智能流数据，可以将其安全级别进一步设置为N+(M+3)，则生成的校验数据份数为M+3份。
S104，将待存储数据和校验数据分别存储至N+m个存储节点，N+m数量与待存储数据的安全级别一致。
基于EC技术的数据编码技术，它可以将N份原始数据，增加M份数据，并能通过N+M份中的任意N份数据，还原为原始数据，因此可以根据待存储数据的安全级别，生成符合待存储数据安全级别的校验数据，并在与该待存储数据的安全级别一致数量的存储节点中，分别存储该数据和校验数据，即分别存储至N+m个存储节点。
本发明实施例中，在确定待存储数据的安全级别后，可以将该待存储数据划分为多份原始数据，所生成的符合该待存储数据安全级别的校验数据也可以为多份，因此可以将待存储数据和校验数据存储至云存储服务器的存储节点中。当然，可以将上述多份原始数据和多份校验数据，分别存储至与它们份数之和相同数量的存储节点中，即使当部分存储节点出现故障时，仍能够通过未出现故障的存储节点中所存储的数据所还原。而原始数据和校验数据的份数之和即为该数据的安全级别，也即，用于存储待存储数据的存储节点的数量与待存储数据的安全级别一致。
作为本发明实施例一种可选的实施方式，如图1b所示，上述步骤S104具体可以包括：
S1401，当待存储数据的安全级别为N+M时，将经EC纠删码编码后的N等份原始数据和M等份校验数据，分别存储至N+M个存储节点中。
m为校验数据所需的存储节点数量，当待存储数据的安全级别增加时，m随之增大。如果确定该待存储数据的安全级别为N+M，则该待存储数据所划分的原始数据份数为N份，该待存储数据所生成的校验数据的份数为M份，因此可以将它们分别存储至N+M个存储节点中，此时M＝m。即使当部分存储节点出现故障时，只要故障节点的数量不大于M值，仍能够通过未出现故障的存储节点中所存储的数据所还原。
S1402，当待存储数据的安全级别为N+(M+1)时，将经EC编码后的N等份原始数据和M+1等份校验数据，分别存储至N+(M+1)个存储节点中。
如果确定该待存储数据的安全级别为N+(M+1)，则该待存储数据所划分的原始数据份数为N份，该待存储数据所生成的校验数据的份数为(M+1)份，因此可以将它们分别存储至N+(M+1)个存储节点中，此时M+1＝m。即使当部分存储节点出现故障时，只要故障节点的数量不大于M+1值，仍能够通过未出现故障的存储节点中所存储的数据所还原。也就是说，可被容忍出现故障的节点数量，相比于步骤S1401中的存储节点数量增加一个，从而使数据的存储安全性得到提升。
S1403，当待存储数据的安全级别为N+(M+2)时，将经EC编码后的N等份原始数据和M+2等份校验数据，分别存储至N+(M+2)个存储节点中。
如果确定该待存储数据的安全级别为N+(M+2)，则该待存储数据所划分的原始数据份数为N份，该待存储数据所生成的校验数据的份数为(M+2)份，因此可以将它们分别存储至N+(M+2)个存储节点中，此时M+2＝m。即使当部分存储节点出现故障时，只要故障节点的数量不大于M+2值，仍能够通过未出现故障的存储节点中所存储的数据所还原。也就是说，可被容忍出现故障的节点数量，相比于步骤S1401中的存储节点数量增加两个，从而使数据的存储安全性进一步得到提升。
本发明实施例提供的一种数据存储方法，云存储服务器确定待存储数据的数据类型后，可以根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据对应的安全级别，从而生成符合该待存储数据安全级别的校验数据，这样，在对待存储数据采用EC技术编码时，可以生成更多份的校验数据，进而将待存储数据和所生成的多份校验数据分别存储至N+m个存储节点中，以进一步保证当当部分存储节点出现故障时，所存储的具有更高安全等级的数据，仍能够通过未出现故障的存储节点中所存储的数据还原，从而进一步保证重要数据的安全性。
如图2所示，图2为本发明实施例提供的数据存储方法的另一种流程示意图，该流程应用于云存储服务器，包括以下步骤：
S201，接收由前端摄像设备发送的待存储数据。
云存储服务器可接收由前端摄像设备发送的待存储数据，并将所接收的待存储数据存储至自身的存储节点中，当然，云存储服务器也可以接收来自不同前端摄像设备的数据。
S202，确定待存储数据的数据类型。
S203，根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据的安全级别。
S204，根据所确定的待存储数据的安全级别，生成符合待存储数据安全级别的校验数据。
S205，将待存储数据和校验数据分别存储至N+m个存储节点，N+m数量与待存储数据的安全级别一致。
本实施例中，步骤S202～S205参照图1a中S101至S104的流程执行，这里不再赘述。
S206，生成针对待存储数据的存储结果信息，其中存储结果信息中包括：待存储数据是否成功存储的标识，以及用于存储待存储数据的存储节点名称。
本发明实施例中，将待存储数据和待存储数据的校验数据进行存储后，表明待存储数据已经存储成功，则云存储服务器可以生成针对该待存储数据已成功存储的标识信息。示例性地，可以为“存储成功”标识信息。另外，云存储服务器还可以记录已存储数据及其校验数据的存储位置，即位于哪些存储节点中，以及这些存储节点的名称，从而便于根据存储位置进行数据查询，上述已存储数据指待存储数据对应的已存储数据。
本发明实施例提供的一种数据存储方法，在前端摄像设备所发送的待存储数据被成功存储后，可以生成针对该待存储数据的存储结果信息，从而便于根据存储位置进行数据查询，从而便于查询待存储数据是否已经成功存储，以及查询已存储数据在云存储服务器中的存储位置。
如图3所示，本发明实施例提供的数据存储方法的一种具体实现流程，其中，云存储服务器中设置有视频接入模块(AccessService)，用于接收来自前端摄像设备所发送的数据；编码计算单元(Encoder)，用于对数据进行EC编码，并将编码后的数据发送至存储节点；多个存储节点，一个存储节点对应一个数据存储服务器(StoragerService)，数据存储服务器用于将经编码后的数据存储到本地磁盘。该方法包括以下步骤：
S301，前端设备向视频接入模块发送待存储数据，当然，前端设备可以主动向视频接入模块推送数据，也可以根据视频接入模块的获取请求，向视频接入模块发送数据，所发送的数据中可以包括实时视频数据、告警视频数据或智能流数据等数据。
S302，视频接入模块接收待存储数据后，确定所接收数据的数据类型，例如：实时视频数据、告警视频数据或智能流数据。
S303，视频接入模块获取预设的不同数据类型与不同安全级别的对应关系，从而确定待存储数据的安全级别。
S304，视频接入模块将待存储数据和该待存储数据对应的安全级别发送至编码计算单元。
S305，编码计算单元对待存储数据进行编码，生成相应的符合该待存储数据安全级别的校验数据。
S306，编码计算单元将经编码后的数据，发送至不同的数据存储服务器中。
S307，数据存储服务器存储经编码的数据后，返回存储结果信息至编码计算单元。
S308，编码计算单元将上述存储结果信息返回至视频接入模块。
本发明实施例提供的一种数据存储方法，当云存储服务器接收来自前端摄像设备所发送的数据时，可以根据数据不同的数据类型，确定待存储数据对应的安全级别，从而生成符合待存储数据安全级别的校验数据，这样，在对数据采用EC技术编码时，可以生成更多份的校验数据，进而将划分为多份原始数据的数据，以及所生成的多份校验数据分别存储至多个数据存储服务器中。以进一步保证当部分存储节点出现故障时，所存储的具有更高安全等级的数据，仍能够通过未出现故障的存储节点中所存储的数据所还原，从而进一步保证重要数据的安全性。
本发明实施例提供的数据存储装置的一种具体实施例，与图1所示流程相对应，参考图4，图4为本发明实施例的数据存储装置的一种结构示意图，包括：
第一确定模块401，用于确定待存储数据的数据类型。
第二确定模块402，用于根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据的安全级别。
第一生成模块403，用于根据所确定的待存储数据的安全级别，生成符合待存储数据安全级别的校验数据。
存储模块404，用于将该数据和校验数据分别存储至N+m个存储节点，其中，N+m数量与待存储数据的安全级别一致。
其中，第一确定模块401具体用于：根据待存储数据中的数据类型标识，确定待存储数据的数据类型。
其中，第二确定模块402具体用于：
当待存储数据的数据类型为实时视频数据时，确定待存储数据的安全级别为N+M，其中N和M均为大于1的整数；
当待存储数据的数据类型为告警视频数据时，确定待存储数据的安全级别为N+(M+1)；
当待存储数据的数据类型为智能流数据时，确定待存储数据的安全级别为N+(M+2)。
其中，第一生成模块403具体用于：
当待存储数据的安全级别为N+M时，将待存储数据划分为N等份的原始数据，并生成M等份的校验数据；
当待存储数据的安全级别为N+(M+1)时，将待存储数据划分为N等份的原始数据，并生成M+1等份的校验数据；
当待存储数据的安全级别为N+(M+2)时，将待存储数据划分为N等份的原始数据，并生成M+2等份的校验数据。
其中，存储模块404具体用于：
当待存储数据的安全级别为N+M时，将经EC纠删码编码后的N等份原始数据和M等份校验数据，分别存储至N+m个存储节点中，其中M＝m；
当待存储数据的安全级别为N+(M+1)时，将经EC编码后的N等份原始数据和M+1等份校验数据，分别存储至N+(M+1)个存储节点中，其中M+1＝m；
当待存储数据的安全级别为N+(M+2)时，将经EC编码后的N等份原始数据和M+2等份校验数据，分别存储至N+(M+2)个存储节点中，其中M+2＝m。
本发明实施例提供的一种数据存储装置，云存储服务器确定待存储数据的数据类型后，可以根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据对应的安全级别，从而生成符合该待存储数据安全级别的校验数据，这样，在对待存储数据采用EC技术编码时，可以生成更多份的校验数据，进而将待存储数据和所生成的多份校验数据分别存储至N+m个存储节点中，以进一步保证当当部分存储节点出现故障时，所存储的具有更高安全等级的数据，仍能够通过未出现故障的存储节点中所存储的数据还原，从而进一步保证重要数据的安全性。
本发明实施例提供的数据存储装置的一种具体实施例，与图2所示流程相对应，参考图5，图5为本发明实施例的数据存储装置的另一种结构示意图，包括：
接收模块501，用于接收由前端摄像设备发送的待存储数据。
第一确定模块401，用于确定待存储数据的数据类型。
第二确定模块402，用于根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据的安全级别。
第一生成模块403，用于根据所确定的待存储数据的安全级别，生成符合待存储数据安全级别的校验数据。
存储模块404，用于将该数据和校验数据分别存储至N+m个存储节点，其中，N+m数量与待存储数据的安全级别一致。
第二生成模块502，用于生成针对待存储数据的存储结果信息，其中存储结果信息中包括：待存储数据已成功存储的标识信息，以及用于存储待存储数据的存储节点名称。
本发明实施例提供的一种数据存储装置，在前端摄像设备所发送的待存储数据被成功存储后，可以生成针对该待存储数据的存储结果信息，从而便于查询待存储数据是否已经成功存储，以及查询已存储数据在云存储服务器中的存储位置。
本发明实施例还提供了一种云存储服务器，如图6所示，该服务器600包括处理器601和机器可读存储介质602，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器被机器可执行指令促使实现以下步骤：
确定待存储数据的数据类型；
根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据的安全级别；
根据所确定的数据的安全级别，生成符合待存储数据安全级别的校验数据；
将待存储数据和校验数据分别存储至N+m个存储节点，N+m数量与待存储数据的安全级别一致。
本发明实施例提供的一种云存储服务器，云存储服务器确定待存储数据的数据类型后，可以根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据对应的安全级别，从而生成符合该待存储数据安全级别的校验数据，这样，在对待存储数据采用EC技术编码时，可以生成更多份的校验数据，进而将待存储数据和所生成的多份校验数据分别存储至N+m个存储节点中，以进一步保证当当部分存储节点出现故障时，所存储的具有更高安全等级的数据，仍能够通过未出现故障的存储节点中所存储的数据还原，从而进一步保证重要数据的安全性。
上述服务器提到的机器可读存储介质可以包括随机存取存储器(Random AccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储介质还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，用以执行如下步骤：
确定待存储数据的数据类型；
根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据的安全级别；
根据所确定的数据的安全级别，生成符合待存储数据安全级别的校验数据；
将待存储数据和校验数据分别存储至N+m个存储节点，N+m数量与待存储数据的安全级别一致。
本发明实施例提供的一种计算机可读存储介质，云存储服务器确定待存储数据的数据类型后，可以根据预设的不同数据类型与不同安全级别的对应关系，确定待存储数据对应的安全级别，从而生成符合该待存储数据安全级别的校验数据，这样，在对待存储数据采用EC技术编码时，可以生成更多份的校验数据，进而将待存储数据和所生成的多份校验数据分别存储至N+m个存储节点中，以进一步保证当当部分存储节点出现故障时，所存储的具有更高安全等级的数据，仍能够通过未出现故障的存储节点中所存储的数据还原，从而进一步保证重要数据的安全性。
对于装置/服务器/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，本发明实施例的装置、云存储服务器及存储介质分别是应用上述数据存储方法的装置、云存储服务器及存储介质，则上述数据存储方法的所有实施例均适用于该装置、云存储服务器及存储介质，且均能达到相同或相似的有益效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种数据存储方法，其特征在于，应用于云存储服务器，所述方法包括：
确定待存储数据的数据类型；
根据预设的不同数据类型与不同安全级别的对应关系，确定所述待存储数据的安全级别；
根据所确定的所述待存储数据的安全级别，生成符合所述待存储数据安全级别的校验数据；
将所述待存储数据和所述校验数据分别存储至N+m个存储节点，其中，N+m数量与所述待存储数据的安全级别一致。
2.根据权利要求1所述的数据存储方法，其特征在于，所述确定待存储数据的数据类型之前，所述方法还包括：
接收由前端摄像设备发送的待存储数据。
3.根据权利要求1所述的数据存储方法，其特征在于，所述确定待存储数据的数据类型，包括：
根据所述待存储数据中的数据类型标识，确定所述待存储数据的数据类型。
4.根据权利要求1所述的数据存储方法，其特征在于，所述根据预设的不同数据类型与不同安全级别的对应关系，确定所述待存储数据的安全级别，包括：
当所述待存储数据的数据类型为实时视频数据时，确定所述待存储数据的安全级别为N+M，其中N和M均为大于1的整数；
当所述待存储数据的数据类型为告警视频数据时，确定所述待存储数据的安全级别为N+(M+1)；
当所述待存储数据的数据类型为智能流数据时，确定所述待存储数据的安全级别为N+(M+2)。
5.根据权利要求4所述的数据存储方法，其特征在于，所述根据所确定的所述待存储数据的安全级别，生成符合所述待存储数据安全级别的校验数据，包括：
当所述待存储数据的安全级别为N+M时，将所述待存储数据划分为N等份的原始数据，并生成M等份的校验数据；
当所述待存储数据的安全级别为N+(M+1)时，将所述待存储数据划分为N等份的原始数据，并生成M+1等份的校验数据；
当所述待存储数据的安全级别为N+(M+2)时，将所述待存储数据划分为N等份的原始数据，并生成M+2等份的校验数据。
6.根据权利要求5所述的数据存储方法，其特征在于，所述将所述待存储数据和所述校验数据分别存储至N+m个存储节点，包括：
当所述待存储数据的安全级别为N+M时，将经EC纠删码编码后的N等份原始数据和M等份校验数据，分别存储至N+M个存储节点中，其中M＝m；
当所述待存储数据的安全级别为N+(M+1)时，将经EC编码后的N等份原始数据和M+1等份校验数据，分别存储至N+(M+1)个存储节点中，其中M+1＝m；
当所述待存储数据的安全级别为N+(M+2)时，将经EC编码后的N等份原始数据和M+2等份校验数据，分别存储至N+(M+2)个存储节点中，其中M+2＝m。
7.根据权利要求1或2所述的数据存储方法，其特征在于，所述将所述待存储数据和所述校验数据分别存储至N+m个存储节点之后，所述方法还包括：
生成针对所述待存储数据的存储结果信息，所述存储结果信息中包括：所述待存储数据已成功存储的标识信息，以及用于存储所述待存储数据的存储节点名称。
8.一种数据存储装置，其特征在于，应用于云存储服务器，所述装置包括：
第一确定模块，用于确定待存储数据的数据类型；
第二确定模块，用于根据预设的不同数据类型与不同安全级别的对应关系，确定所述待存储数据的安全级别；
第一生成模块，用于根据所确定的所述待存储数据的安全级别，生成符合所述待存储数据安全级别的校验数据；
存储模块，用于将所述待存储数据和所述校验数据分别存储至N+m个存储节点，其中，N+m数量与所述待存储数据的安全级别一致。
9.根据权利要求8所述的数据存储装置，其特征在于，所述装置还包括：
接收模块，用于接收由前端摄像设备发送的待存储数据。
10.根据权利要求8所述的数据存储装置，其特征在于，所述第一确定模块，具体用于：
根据所述待存储数据中的数据类型标识，确定所述待存储数据的数据类型。
11.根据权利要求8所述的数据存储装置，其特征在于，所述第二确定模块，具体用于：
当所述待存储数据的数据类型为实时视频数据时，确定所述待存储数据的安全级别为N+M，其中N和M均为大于1的整数；
当所述待存储数据的数据类型为告警视频数据时，确定所述待存储数据的安全级别为N+(M+1)；
当所述待存储数据的数据类型为智能流数据时，确定所述待存储数据的安全级别为N+(M+2)。
12.根据权利要求11所述的数据存储装置，其特征在于，所述第一生成模块，具体用于：
当所述待存储数据的安全级别为N+M时，将所述待存储数据划分为N等份的原始数据，并生成M等份的校验数据；
当所述待存储数据的安全级别为N+(M+1)时，将所述待存储数据划分为N等份的原始数据，并生成M+1等份的校验数据；
当所述待存储数据的安全级别为N+(M+2)时，将所述待存储数据划分为N等份的原始数据，并生成M+2等份的校验数据。
13.根据权利要求12所述的数据存储装置，其特征在于，所述存储模块，具体用于：
当所述待存储数据的安全级别为N+M时，将经EC纠删码编码后的N等份原始数据和M等份校验数据，分别存储至N+m个存储节点中，其中M＝m；
当所述待存储数据的安全级别为N+(M+1)时，将经EC编码后的N等份原始数据和M+1等份校验数据，分别存储至N+(M+1)个存储节点中，其中M+1＝m；
当所述待存储数据的安全级别为N+(M+2)时，将经EC编码后的N等份原始数据和M+2等份校验数据，分别存储至N+(M+2)个存储节点中，其中M+2＝m。
14.根据权利要求8或9所述的数据存储装置，其特征在于，所述装置还包括：
第二生成模块，用于生成针对所述待存储数据的存储结果信息，所述存储结果信息中包括：所述待存储数据已成功存储的标识信息，以及用于存储所述待存储数据的存储节点名称。
15.一种云存储服务器，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-7任一项所述的方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN201811025881.7A 2018-09-04 2018-09-04 一种数据存储方法及存储装置 Active CN110874185B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811025881.7A CN110874185B (zh) 2018-09-04 2018-09-04 一种数据存储方法及存储装置
PCT/CN2019/104417 WO2020048488A1 (zh) 2018-09-04 2019-09-04 一种数据存储方法及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811025881.7A CN110874185B (zh) 2018-09-04 2018-09-04 一种数据存储方法及存储装置

Publications (2)

Publication Number Publication Date
CN110874185A true CN110874185A (zh) 2020-03-10
CN110874185B CN110874185B (zh) 2021-12-17

Family

ID=69716015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811025881.7A Active CN110874185B (zh) 2018-09-04 2018-09-04 一种数据存储方法及存储装置

Country Status (2)

Country Link
CN (1) CN110874185B (zh)
WO (1) WO2020048488A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722763A (zh) * 2021-09-10 2021-11-30 北京沃东天骏信息技术有限公司 数据处理方法及装置
CN118409714A (zh) * 2024-07-01 2024-07-30 杭州海康威视系统技术有限公司 一种数据存储方法、装置、设备以及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558875B (zh) * 2020-12-14 2024-07-23 北京百度网讯科技有限公司 数据校验方法、装置、电子设备及存储介质
CN113590042B (zh) * 2021-07-29 2024-03-19 杭州宏杉科技股份有限公司 一种数据保护存储方法、装置及设备
CN114218619A (zh) * 2021-12-20 2022-03-22 昊链(中山)科技有限责任公司 数据安全保护方法、装置、介质及电子设备
CN115085993A (zh) * 2022-06-08 2022-09-20 国汽智控(北京)科技有限公司 数据校验方法、装置及域控制器

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060089980A1 (en) * 2004-10-22 2006-04-27 Hitachi, Ltd. Video storage system
CN101783795A (zh) * 2009-12-25 2010-07-21 北京惠信博思技术有限公司 一种安全等级认证的方法和系统
CN104023246A (zh) * 2014-04-28 2014-09-03 深圳英飞拓科技股份有限公司 一种视频数据私有云存储系统和视频数据私有云存储方法
CN104657681A (zh) * 2015-03-13 2015-05-27 深圳酷派技术有限公司 一种数据存储方法及装置
CN104967691A (zh) * 2015-07-08 2015-10-07 浪潮(北京)电子信息产业有限公司 一种分布式存储控制方法及系统
CN106713940A (zh) * 2015-08-04 2017-05-24 杭州海康威视数字技术股份有限公司 视频流的存储方法、读取方法及装置
US20170272100A1 (en) * 2016-03-15 2017-09-21 Cloud Crowding Corp. Distributed Storage System Data Management And Security
CN107341070A (zh) * 2017-06-30 2017-11-10 长江大学 一种基于纠删码的随机写方法及系统
CN110597453A (zh) * 2018-06-13 2019-12-20 杭州海康威视系统技术有限公司 一种云存储系统中的视频数据存储方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034567B (zh) * 2012-12-06 2015-09-09 华为技术有限公司 发现并修复损坏数据的装置和方法
KR102378367B1 (ko) * 2015-03-20 2022-03-24 한국전자통신연구원 분산 파일 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060089980A1 (en) * 2004-10-22 2006-04-27 Hitachi, Ltd. Video storage system
CN101783795A (zh) * 2009-12-25 2010-07-21 北京惠信博思技术有限公司 一种安全等级认证的方法和系统
CN104023246A (zh) * 2014-04-28 2014-09-03 深圳英飞拓科技股份有限公司 一种视频数据私有云存储系统和视频数据私有云存储方法
CN104657681A (zh) * 2015-03-13 2015-05-27 深圳酷派技术有限公司 一种数据存储方法及装置
CN104967691A (zh) * 2015-07-08 2015-10-07 浪潮(北京)电子信息产业有限公司 一种分布式存储控制方法及系统
CN106713940A (zh) * 2015-08-04 2017-05-24 杭州海康威视数字技术股份有限公司 视频流的存储方法、读取方法及装置
US20170272100A1 (en) * 2016-03-15 2017-09-21 Cloud Crowding Corp. Distributed Storage System Data Management And Security
CN107341070A (zh) * 2017-06-30 2017-11-10 长江大学 一种基于纠删码的随机写方法及系统
CN110597453A (zh) * 2018-06-13 2019-12-20 杭州海康威视系统技术有限公司 一种云存储系统中的视频数据存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓俊杰: "云存储中基于非均匀保护策略的纠删码技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722763A (zh) * 2021-09-10 2021-11-30 北京沃东天骏信息技术有限公司 数据处理方法及装置
CN118409714A (zh) * 2024-07-01 2024-07-30 杭州海康威视系统技术有限公司 一种数据存储方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN110874185B (zh) 2021-12-17
WO2020048488A1 (zh) 2020-03-12

Similar Documents

Publication Publication Date Title
CN110874185B (zh) 一种数据存储方法及存储装置
US10623516B2 (en) Data cloud storage system, client terminal, storage server and application method
CN107315825B (zh) 一种索引更新系统、方法及装置
CN106708653B (zh) 一种基于纠删码与多副本的混合税务大数据安全保护方法
CN103916483A (zh) 一种针对编码冗余存储系统的自适应数据存储与重构方法
US20120078864A1 (en) Electronic data integrity protection device and method and data monitoring system
CN111046310A (zh) 页面处理方法、装置、服务器及计算机可读存储介质
CN109412755B (zh) 一种多媒体数据处理方法、装置及存储介质
CN109492049B (zh) 用于区块链网络的数据处理、区块生成及同步方法
KR101934204B1 (ko) 데이터 저장을 위한 소실 부호의 부호화 방법 및 장치
CN104202385A (zh) 一种分布式文件系统的数据备份及更新方法
CN110825698A (zh) 元数据管理方法及相关装置
CN110597453A (zh) 一种云存储系统中的视频数据存储方法及装置
US20160080462A1 (en) Data processing method and apparatus in service-oriented architecture system, and the service-oriented architecture system
CN109165112B (zh) 一种元数据集群的故障恢复方法、系统及相关组件
CN115268773A (zh) 一种纠删码数据存储方法、装置、设备及介质
CN114625767A (zh) 一种数据查询方法、装置、设备及可读介质
CN110389715B (zh) 数据存储方法、存储服务器及云存储系统
CN112069169A (zh) 区块数据存储方法、装置、电子设备及可读存储介质
CN104486438A (zh) 分布式存储系统的容灾方法及装置
CN108470039A (zh) 区块链中的数据处理方法和装置
KR20160042933A (ko) 데이터 피드 관리
CN107608821B (zh) 一种基于纠删码的数据读取方法、装置、设备
CN111211993B (zh) 流式计算的增量持久化方法、装置及存储介质
CN110740064A (zh) 分布式集群节点故障处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant