CN1533534A - 数据存储方法和系统、数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端 - Google Patents

数据存储方法和系统、数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端 Download PDF

Info

Publication number
CN1533534A
CN1533534A CNA038006499A CN03800649A CN1533534A CN 1533534 A CN1533534 A CN 1533534A CN A038006499 A CNA038006499 A CN A038006499A CN 03800649 A CN03800649 A CN 03800649A CN 1533534 A CN1533534 A CN 1533534A
Authority
CN
China
Prior art keywords
data
probability
grouping
record
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038006499A
Other languages
English (en)
Other versions
CN1533534B (zh
Inventor
Ƭɽ����
片山靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1533534A publication Critical patent/CN1533534A/zh
Application granted granted Critical
Publication of CN1533534B publication Critical patent/CN1533534B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H04L1/0042—Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/37—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
    • H03M13/3761—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35 using code combining, i.e. using combining of codeword portions which may have been transmitted separately, e.g. Digital Fountain codes, Raptor codes or Luby Transform [LT] codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0064—Concatenated codes
    • H04L1/0066—Parallel concatenated codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0071—Use of interleaving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H04L1/005—Iterative decoding, including iteration between signal detection and decoding operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092—Error control systems characterised by the topology of the transmission link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5603—Access techniques

Abstract

一种分布式存储系统，包括：n个节点(201、202、…、20n)；记录命令装置(10)，用于命令并控制将数据记录到节点中；以及发送命令装置(30)，用于读出在节点中记录的数据，其中，这些节点和装置通过网络连接。记录命令装置(10)对由p个块构成的数据执行编码率为q/p的FEC编码，从而生成由q个块构成的数据。然后，记录命令装置(10)将由节点记录的记录概率α加到该数据，并且将它发送到网络上。在读出期间，发送命令装置(30)在响应中发送加有用于执行数据响应的响应概率β的数据。

Description

数据存储方法和系统、数据记录控制 设备、数据记录命令设备、数据接收设备 和信息处理终端
技术领域
本发明涉及一种数据存储方法和数据存储系统、数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端，具体而言，涉及一种用于存储分布在通过网络相互连接的多个节点上的数据的数据存储方法和数据存储系统。更具体而言，它涉及一种可以方便地用于该数据存储系统中的数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端。
本申请要求2002年5月14日在日本提交的日本专利申请第2002-139232号的优先权，在此将其全文引作参考。
背景技术
近来，在大型存储系统中，数据被分布和记录在通过网络相互连接的大量信息处理终端中。在该分布式存储系统中，用于记录和管理数据的服务器通过例如组播向信息处理终端或其他服务器发送数据，从而记录在所述信息处理终端或其他服务器中所提供的本地记录介质上。
如果在这种情况下要根据需要取出数据，则必须在记录介质中记录大量的数据。例如，如果数据是具有大约2千兆字节的数据容量的运动图像，并且要记录500个这样的运动图像，则需要不少于1万亿字节的容量。
另一方面，如果作为通过流式传输提供数据的示例，服务器通过单播向请求数据的客户端提供数据，则使用一个协议，其中请求重发数据，诸如TCP/IP的到达完成信号(ACK信号)，以便获得无错误的发送。
但是，该技术向服务器施加了很大的负担，因此在本领域的现有状态下，即使使用高性能服务器也只能向几百个客户端提供服务。即使使用了未采用ACK的协议如UDP/IP，可以向其提供服务的客户端的数量也不超过千位级。因此，如果试图通过流式传输来提供数据，则提高了服务器端的成本，因此限制了客户端的数量。
近来，已经提出了这样的系统，其中，使用FEC(前向纠错)来作为组播技术，并且向多个客户端发送数据而不请求重发数据。该系统是这样的一种系统，其中，服务器通过组播重复发送流，并且客户端从所述流获取必要的信号，并且解码和再现所获取的数据。
在10分钟内发送500个运动图像——其中每个为2千兆字节——的图像数据中，则需要大约14.7千兆比特/秒的传输带宽。如果要在一分钟内发送同样数量的图像数据，则需要大约147千兆比特/秒的传输带宽。虽然上述数值是理论值，但是能够承受所述容量的服务器或传输系统是成本极其高的，如果建立这样的服务器，则是不实用的。虽然存在其中数据被分布和记录在多个主机中的系统，但是这样的系统需要增加用于数据管理或数据通信的处理，因为需要由多个服务器来管理海量数据。
发明内容
考虑到本领域的上述状态，本发明的目的是提供：一种数据存储方法和数据存储系统，其中可以分布和管理大量的数据而不需要复杂的处理或很大的传输带宽，也不施加负担于各个终端；一种数据记录控制设备，用于以可以分布和记录大量的数据而不需要复杂的处理或很大的传输带宽并且也不施加负担于各个终端的方式以及以可以从记录站点取出数据的方式来管理控制；一种数据记录命令设备，其中可以分布和管理大量的数据而不需要复杂的处理或很大的传输带宽，也不施加负担于各个终端；一种数据接收设备，用于接收被分布和记录在各个终端上的数据；以及一种信息处理终端，它能够分布和记录大量的数据。
在一个方面，本发明提供了一种数据存储方法，用于在通过网络相互连接的多个信息终端中分布和记录数据，包括：编码步骤，用于对分块第一数据进行编码以生成分块第二数据；分组化步骤，用于将第二数据分组化；记录概率产生步骤，用于产生一个记录概率，指示是否在分组化步骤中生成的分组要被记录在所述多个信息处理终端中；发送步骤，用于向所述多个信息处理终端发送所述分组和所述记录概率；以及记录步骤，用于根据所述记录概率来在所述信息处理终端中记录所述分组。作为用于读出以所述记录概率记录在所述多个信息处理终端的一个或几个中的分组的处理，所述方法包括：响应请求数据生成步骤，用于生成附有响应概率的响应请求数据，所述响应概率指示是否要响应所述分组；发送步骤，用于向所述多个信息处理终端发送所述响应请求数据；以及响应步骤，用于根据所述响应概率响应所述多个信息处理终端中的分组。
在另一个方面，本发明提供了一种数据存储系统，用于在通过网络相互连接的多个信息终端中分布和记录数据，包括一个数据记录控制装置，所述数据记录控制装置具有：编码部件，用于对分块第一数据进行编码以生成分块第二数据；分组化部件，用于将第二数据分组化；记录概率产生部件，用于产生一个记录概率，所述记录概率指示是否在分组化步骤中生成的分组要被记录在所述多个信息处理终端中；以及发送部件，用于向所述多个信息处理终端发送所述记录概率和响应请求数据。所述数据存储系统还包括多个信息处理终端，所述信息处理终端均具有：发送/接收部件，用于通过所述数据记录控制装置发送/接收所述分组和所述记录概率；记录部件，用于记录所述分组；以及控制部件，用于管理控制是否根据所述记录概率要记录所接收的分组和是否以响应概率来响应所记录的分组。上述部件通过网络相互连接。
在另一个方面，本发明提供了一种数据记录控制设备，用于在通过网络相互连接的多个信息终端中分布和记录数据，其中所述设备包括：编码部件，用于对分块第一数据进行编码以生成分块第二数据；分组化部件，用于将第二数据分组化；记录概率产生部件，用于产生一个记录概率，所述记录概率指示是否由所述分组化部件生成的分组要被记录在所述多个信息处理终端中；响应请求数据生成部件，用于生成附有响应概率的响应请求数据，所述响应概率指示是否要响应所述分组；发送部件，用于向所述多个信息处理终端发送包括所述记录概率和响应请求数据的分组；以及接收部件，用于接收从所述终端发送的分组。
在另一个方面，本发明提供了一种数据记录命令设备，用于在通过网络相互连接的多个信息终端中分布和记录数据，其中所述设备包括：编码部件，用于对分块第一数据进行编码以生成分块第二数据；分组化部件，用于将第二数据分组化；记录概率产生部件，用于产生一个记录概率，所述记录概率指示是否在所述分组化部件中生成的分组要被记录在所述多个信息处理终端中；以及发送部件，用于向所述多个信息处理终端发送包括所述记录概率的分组。
在另一个方面，本发明提供了一种数据接收设备，用于从通过网络相互连接的多个信息处理终端接收数据，其中所述设备包括：响应请求数据生成部件，用于生成附有响应概率的响应请求数据，所述响应概率指示是否要响应在所述多个信息处理终端中记录的分组；发送部件，用于向所述信息处理终端发送所述响应请求数据；以及接收部件，用于接收从所述信息处理终端发送的分组。
在另一个方面，本发明提供了一种信息处理终端，包括：发送/接收部件，用于利用通过网络与之相连的外部装置发送/接收数据；记录部件，用于记录分组；以及控制部件，用于控制是否要根据附于所述分组的记录概率来记录所述分组和是否以从所述外部装置发送的响应概率来响应所记录的分组。
本发明的上述和其他方面被陈述在所附权利要求中，以下将参照附图来详细说明它们。
附图说明
图1示出了本发明的分布式存储系统的结构。
图2示出了记录命令设备的内部结构。
图3示出了用于存储要记录的数据的分组的结构。
图4示出了一个节点的内部结构。
图5示出了发送命令设备的内部结构。
图6示出了用于请求数据发送的分组的结构。
图7示出了从节点响应的分组的结构。
图8A和8B示出了用于生成分组的处理。
图9示出了用于包括要记录的数据的分组的传输信道。
图10示出了用于请求数据响应的分组的传输信道。
图11示出了用于从节点向发送命令设备响应的分组的传输信道。
图12A和12B示出了将从节点发送的分组恢复为原始数据的处理。
具体实施方式
参照附图，详细说明本发明的某些特定实施例。图1示出了分布式存储系统的一个特定实施例，其中数据被分布和记录在构成网络的多个终端上。该分布式存储系统包括：以网格形式相互连接的n个节点201、202、...、20n-1、20n；记录命令装置10，用于命令将数据分布和记录到相应节点中；以及发送命令装置30，用于读出在相应节点中记录的数据。虽然记录命令装置10、节点20和发送命令装置30在本特定实施例中是单独装置，但是也可以将两个装置组合为具有各个装置功能的单个记录发送命令设备。或者，可以在每个节点上提供记录命令装置10和发送命令装置30的功能。在这种情况下，可以无区别地使用构成网络的各个装置。
而且，在图1中，未示出形成网络的传输控制设备，诸如路由器。但是，实际上，提供了这样的传输控制设备，诸如路由器，用于选择经过节点20的分组的信道。该传输控制设备可以与节点20分开提供，或者可以向节点20提供与传输控制设备类似的功能。
现在说明记录命令装置10。图2示出了记录命令装置10的内部结构。记录命令装置10包括FEC(前向纠错)编码器11，用于执行FEC编码；交织器12，用于交织编码数据；分组生成单元13，用于将从交织器12输出的数据转换为分组；网络接口14，用于建立与网络的连接。该记录命令装置经由数据输入单元15被提供数据。
FEC编码器11使用EFC编码来对输入数据进行编码。应当注意，FEC编码是在接收器端执行纠错的编码系统的一般术语，该编码系统诸如为tornado编码系统、read tornado编码系统或turbo编码系统。FEC编码器11将从数据输入单元15输入的数据划分为p个块，并且向这p个块应用FEC编码，以便将这p个块转换为q个块。这种从p个块到q个块的编码被称为以编码率q/p来编码。通过改变该编码率q/p，有可能改变本分布式存储系统的记录效率或发送效率。
交织器12互换编码数据的顺序。通过由交织器12执行的这种数据顺序重新排列，数据以由分组损失产生的突发错误转换为随机错误的方式分布。
分组生成单元13将从交织器12发送的数据划分为预定大小的数据，并且将控制信息附加到如此划分的数据以生成分组。图3示出了由分组生成单元13生成的分组40的结构。分组40包括首标41、记录概率声明部分42、有效载荷43和脚注44。在有效载荷43中，声明了由FEC编码器11转换的发送信息。在首标41和脚注44中，声明了控制信息，包括数据ID，指定数据的种类、CRC(循环冗余校验)的校验和、节点20的GUID(全局唯一ID)和网络地址。
在记录概率声明部分42中，声明了如后所述各个节点记录该分组的概率。节点的控制器22根据该记录概率α来记录分组。
构成分布式存储系统的所有各个节点根据该记录概率确定是否应当记录分组。以这种方式，数据以概率α记录在构成分布式存储系统的多个节点中。在该分布式存储系统中，在节点数n足够大而且已经解码了足够大块数q的情况下，数据可以以均匀概率记录在各个节点中。
网络接口14被提供分组化数据，并且以单播或组播向每个节点20发送该数据。
现在说明节点20的结构。图4示出了节点20的结构。节点20包括网络接口21、控制器22和记录单元23，并且通过网络接口21连接到网络。
控制器22执行用于在记录单元23中记录输入分组40的记录处理和用于响应于来自其他节点20的请求而响应数据的响应处理。
记录处理是根据输入分组40的记录概率α来验证是否分组40要被记录在记录单元23中的处理。应当注意，在构成分布式存储系统的节点数n足够大而且已经解码了足够大块数q的情况下，分组均匀地记录在所有节点中，从而在整个分布式存储系统的范围内以概率α来记录数据。
响应处理是当接收到从发送命令装置发送的、请求发送数据的分组时开始的处理。后面将说明该数据发送请求分组的数据结构。简而言之，该分组声明了响应数据的概率β，并且控制器22以概率β来响应所记录的数据。当确定应当响应数据时，控制器22检索目标数据以生成响应分组。
现在说明发送命令装置30。图5示出了其结构。具体地说，发送命令装置30包括：网络接口31，用于通过网络向外部发送/从外部接收数据；数据请求单元32，用于请求节点发送数据；分组互连单元33，用于互连划分为分组的数据；去交织器34；以及FEC解码器35。解码数据进入应用处理器36以便输出到未示出的外部设备，诸如监视器或扬声器，或者存储在未示出的记录装置中。
数据请求单元32向构成分布式存储系统的每个节点发送用于请求数据的分组。图6示出了数据请求分组50的结构。分组50包括首标51、响应概率声明部分52、请求声明部分53和脚注54。在请求声明部分53中，声明了用于区分所请求数据的数据ID。在首标51和脚注54中，声明了控制信息，包括CRC校验和、节点的网络地址、GUID或指定数据顺序的序号。
在响应概率声明部分52中，记录了响应概率β。响应概率β是用于验证是否接收到分组50的节点要响应数据的变量。根据该变量，某个节点可能确定应响应数据，而另一个节点可能确定不应响应数据。注意，响应概率β是当宏观地看待分布式存储系统的时候所保持的值，也就是，在整个分布式存储系统的范围内，数据响应概率是β。因此，如果在整个分布式存储系统中存在n个节点20，则被响应的分组的数量是节点20的数量n和响应概率β的乘积，或n×β。
分组互连单元33互连从节点20响应的分组。图7示出了从节点响应的分组60的数据结构。参照图7，分组60包括首标61、有效载荷62和脚注63。在有效载荷62中存储了要被响应的数据，在首标61和脚注63中，存储了控制信息，诸如CDC校验和、节点的网络地址或指定数据顺序的序号。
当接收到图7的分组60时，分组互连单元33读出序号并且互换分组60的顺序，消除诸如首标61或脚注63的控制信息，并且以序号的次序互连分组。
去交织器34去交织所互连的分组以将数据组置于正确的次序。FEC解码器35对经过去交织的数据进行FEC解码以恢复原始数据。
由FEC解码器35解码的数据被输出到应用处理器36。该应用处理器36在未示出的存储单元中存储解码数据，或者向诸如监视器或扬声器的输入/输出接口输出解码数据。
因此，本特定实施例的分布式存储系统是用于以记录概率α在各个节点中记录数据、并且以响应概率β响应在各个节点中记录的数据的系统。从记录命令装置10输出的原始数据被以α×n×β的比率响应。例如，如果p个块被编码为q个块，则响应q×α×n×β个块。如果响应块数大于编码之前的块数p，则可以对数据进行解码，如后面将要说明的论文RIZZ097所述。这样，通过确定α、β和q/p的值从而使响应块数大于p，有可能对目标数据进行解码。
现在参照图8到12来说明分布式存储系统的操作。首先，说明数据记录操作。在记录数据中，记录命令装置10从数据输入单元15输入目标数据，并且向FEC编码器11输出所输入的数据。
FEC解码器11将输入数据划分为p个块，如图8B所示。FEC解码器然后以q/p的编码率来进行FEC编码，以便将划分为p个块的数据转换为q个编码块。
如上所述，FEC编码是在接收器端执行纠错的编码系统的一般术语，该编码系统诸如为tornado编码系统、read tornado编码系统或turbo编码系统。当给定数据是以编码率q/p来编码的时，如果剩有不少于q个编码块，则可以恢复原始数据，即使由于损失而丢失了几个块也是如此，如论文RIZZ097(http.//www.iet.unipi.it/luigi//fec.html#fec.ps)中所发表的那样。
经过FEC编码的数据被输出到交织器12，交织器12然后重新排列编码数据的顺序以分布数据。从交织器12输出的数据传送到分组生成单元13。分组生成单元13将分布数据划分为预定的大小，并且将首标或脚注附加到所划分的数据以生成图8B所示的分组40。
如上所述生成的分组40传送到网络接口14。网络接口14使用单播或组播向分布式存储系统的每个节点发送被分组化的数据，如图9所示。
接收到从记录命令装置10发送的分组40的节点开始记录处理，并且读出分组40的记录概率α以判定是否分组40要被记录。如果确定该分组要被记录，则该节点在记录单元23中记录数据，并且如果确定该分组不要被记录，则该节点向其他节点输出所接收的分组。注意，记录概率α是指示整体上要在分布式存储系统中记录多少数据的值。因此，如果发送数据是q个编码块，则整体上q×α个数据被记录在分布式存储系统中。
以下说明取出数据的处理。当取出数据时，发送命令装置30生成分组50并且使用单播或组播向各个节点输出分组50，如图10所示。
当接收到分组50时，该节点开始响应处理。在分组50中，除了通常的控制信息之外，还声明了用于区分数据的数据ID和响应分组的响应概率β。因此，在响应处理中，节点根据分组50的响应概率β来确定是否要响应数据。如果确定要响应数据，则节点的控制器22生成包括数据的分组60，并且向发送命令装置30发送所生成的分组。如果确定不要响应数据，则节点控制器22不执行处理。
图11示出了从每个节点向发送命令装置30响应分组的方式。参照图11，分布式存储系统的节点可能响应数据或者可能不响应数据。但是，总体上，每个节点以响应概率β来响应数据。如果在分布式存储系统中存在n个节点，则各节点在总体上以n×β的比率来响应数据。因为q×α个数据已被记录在分布式存储系统中，所以如上所述，根据记录概率α，q×α×n×β个数据被响应。
现在参照图12，说明数据的解码。在接收到从各个节点发送的数据时，发送命令装置30向分组互连单元33输入所接收的数据以互连分组。图12A示出了从多个节点向发送命令装置30响应的分组60。在图12A中，以阴影所示的位置表示发生了数据损失的位置。在分布式存储系统中，由于是以α×n×β的比率来响应原始数据，因此不是所有分组都被响应，从而删除了几个分组，如图12A所示。
但是，这些数据经过交织，从而在去交织时，突发类数据损失通过分布而转换为随机数据损失。这些数据可以经过FEC编码以恢复图12B所示的原始数据。
在FEC编码中，如果数据是以编码率q/p来编码的，并且存在不少于p个编码数据块，则数据解码是可能的。当所发送的q个数据是以α×n×β的比率来响应的时，响应数据的数量是q×α×n×β。通过设置q/p、α和β的值从而使该数量q×α×n×β不小于p，可以恢复原始数据。
而且，在本特定实施例中，由于如果编码率q/p、记录概率α和响应概率β设成满足关系式p q×α×n×β则足够，因此可以通过在满足上述关系式的范围内改变编码率q/p、记录概率α和响应概率β来改变数据记录效率或发送效率。下面说明参数q/p、α和β的设置示例。
例如，如果对于对其进行了极其大量的响应请求的数据，增大记录概率α的值并且减小响应概率β的值，则从各个节点发送的数据减少，从而简化各节点中的数据检索处理或数据发送处理。
类似可能的是增大编码率q/p的值和减小响应概率β，而不是增大记录概率α的值，从而简化各节点中的数据检索处理或数据发送处理。
而且，可以通过降低编码率q/p和增大记录概率α来抑制发送分组数。当p足够大时，这是有效的。另一方面，通过减小记录概率α和降低编码率q/p，可以避免在多个节点中记录相同的分组。当p值足够小时，这是有效的。
通过增大响应概率β和通过减小记录概率α或编码率q/p。有可能降低总体上在分布式存储系统中记录的编码数据的容量。或者，在数据记录、输出或发送期间，通过控制α、β或q/p的值从而使a×n×α×q×β的值比p足够大，其中a是分组损失的概率，可以响应足够数量的数据，。
通过以数学方式来估计从多个节点响应的唯一分组的数量并且增大记录概率、响应概率或编码率，有可能提高唯一分组出现的概率。
利用上述的本特定实施例的分布式存储系统，可以通过向构成该系统的节点发送声明记录概率α的分组40来分布和记录数据。可以通过使得以响应概率β来响应在该节点中记录的数据来取出数据。通过以这种方式分布和记录数据，可以存储数据而不将数据管理负担集中在一个服务器中。另外，利用本特定实施例的分布式存储系统，其中，给定数据由多个节点共同拥有，可以降低整个系统所需的数据量。
通过从多个节点接收数据，可以以稳定的通信量来执行数据发送/接收，而不是在一个服务器中具有沉重的进入通信量。
通过改变α、β或q/p的值，有可能改变发送效率或记录数据量。而且，当例如在数据记录、输出或发送的时候出现分组损失的情况下，通过考虑损失概率a，可以改变参数α、β或q/p的值，从而即使在分组损失的情况下也可以取出足够用于解码的数据量。
而且，利用本分布式存储系统，其中可以通过基于记录概率和响应概率的计算来实现分布式记录和读出，数据管理较为简单，从而诸如便携式摄像机或移动电话的具有低处理能力的家用设备可以适用于本系统。另外，由于诸如便携式摄像机或移动电话的具有低处理能力的家用设备可以用作节点，因此可以极其容易地构建数百万节点的分布式存储系统。
在上述分布式存储系统中，发送命令装置通过同一分组来发送用于记录的数据和记录概率。或者，用于记录的数据和记录概率可以通过不同的分组来发送，或者记录在外部记录装置中，从而从各个信息处理节点引用。
上述特定示例仅仅用来说明本发明，因此本发明包括本发明的主旨范围内的修改。例如，虽然便携式摄像机、个人录像机或家用网关可以当作节点，但是也可以使用任何其他适当装置作为节点，其中，该其他适当装置包括用于记录数据的记录单元、用于允许预定计算的控制器以及允许数据发送/接收的网络接口。
虽然记录概率α和响应概率β是在分组中记录的，但是有可能在可选记录装置中或者在分组中记录记录概率α和响应概率β，并且如此记录的数据可以被每个节点引用。特别地，如果read tornado编码系统用作FEC编码，则可以省略交织处理。
对于本领域内的技术人员显然的是，本发明不限于参照附图所述的实施例，在不脱离由所附权利要求限定的本发明的范围和主旨的情况下，可以设想不同的改变、替换或等同物。
工业应用
利用上述本发明的数据存储方法，将通过对第一数据进行编码所获得的第二数据形成为分组，产生一个记录概率，用于指示是否每个分组要被记录在多个信息处理终端中，并且向该多个信息终端发送记录概率和分组。为了读出以该记录概率记录在任何信息处理终端中的分组，生成附有用于指示是否要响应分组的响应概率的响应请求数据，并且将其发送到多个信息处理终端。信息处理终端根据响应概率来响应分组。以这种方式，可以分布和记录大量数据而不需要复杂的处理或大量的传输带宽并且不需要施加负担于各个终端，同时可以从记录位置取出数据以进行数据重建。
利用本发明的数据存储系统，将通过对第一数据进行编码所获得的第二数据形成为分组，产生一个记录概率，用于指示是否每个分组要被记录在多个信息处理终端中，并且向该多个信息终端发送记录概率和分组。为了读出以该记录概率记录在任何信息处理终端中的分组，生成附有用于指示是否要响应分组的响应概率的响应请求数据，并且将其发送到多个信息处理终端。然后，信息处理终端根据响应概率来响应分组。以这种方式，可以分布和记录大量数据而不需要复杂的处理或大量的传输带宽并且不需要施加负担于各个终端，同时可以从记录位置取出数据以进行数据重建。
利用本发明的数据记录控制设备，可以分布和记录大量数据而不需要复杂的处理或大量的传输带宽并且不需要施加负担于各个终端，同时可以从记录位置取出数据以进行重建。
利用本发明的数据记录命令设备，可以分布和记录大量数据而不需要复杂的处理或大量的传输带宽并且不需要施加负担于各个终端。
利用数据接收设备，可以接收和重建在各个终端中分布和记录的数据而不需要复杂的处理或大量的传输带宽。
而且，利用本发明的信息处理终端，可以分布和记录大量的数据而不需要复杂的处理或大量的传输带宽。

Claims (22)

1.一种数据存储方法，用于在通过网络相互连接的多个信息终端中分布和记录数据，包括：
编码步骤，用于对分块第一数据进行编码以生成分块第二数据；
分组化步骤，用于将所述第二数据分组化；
记录概率产生步骤，用于产生一个记录概率，指示是否在所述分组化步骤中生成的分组要被记录在所述多个信息处理终端中；
发送步骤，用于向所述多个信息处理终端发送所述分组和记录概率；以及
记录步骤，用于根据所述记录概率在所述信息处理终端中记录所述分组；其中
作为用于读出以所述记录概率记录在所述多个信息处理终端的一个或几个中的所述分组的处理，所述方法包括：
响应请求数据生成步骤，用于生成附有响应概率的响应请求数据，所述响应概率指示是否要响应所述分组；
发送步骤，用于向所述多个信息处理终端发送所述响应请求数据；以及
响应步骤，用于根据所述响应概率响应所述多个信息处理终端中的所述分组。
2.如权利要求1所述的数据存储方法，其中所述记录概率包括在所述分组中，并且与所述分组一起发送到所述多个信息处理终端。
3.如权利要求1所述的数据存储方法，其中所述记录概率以不同于所述分组的一个分组发送。
4.如权利要求1所述的数据存储方法，其中在所述响应步骤中响应的分组数等于或大于所述第一数据的块数。
5.如权利要求4所述的数据存储方法，还包括：
分组分布控制步骤，用于改变所述第一和第二数据的比率、记录概率和响应概率以控制所述分组的分布。
6.如权利要求4所述的数据存储方法，其中，在所述分组分布控制步骤中，改变所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数，从而使所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数的乘积等于或大于所述第一数据的块数。
7.如权利要求6所述的数据存储方法，其中，在所述分组分布控制步骤中，改变所述网络中的数据损失概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数，从而使所述网络中的所述数据损失概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数的乘积等于或大于所述第一数据的块数。
8.如权利要求4所述的数据存储方法，其中，在所述分组分布控制步骤中，改变所述多个信息终端不响应的概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数，从而使所述多个信息终端不响应的概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数的乘积等于或大于所述第一数据的块数。
9.如权利要求1所述的数据存储方法，其中，在所述记录概率产生步骤中和在所述响应概率产生步骤中，提高所述记录概率、响应概率或编码率以降低在所述响应步骤中响应的分组的重叠概率。
10.一种数据存储系统，用于在通过网络相互连接的多个信息终端中分布和记录数据，包括数据记录控制装置；所述数据记录控制装置具有：
编码部件，用于对分块第一数据进行编码以生成分块第二数据；
分组化部件，用于将所述第二数据分组化；
记录概率产生部件，用于产生一个记录概率，所述记录概率指示是否在所述分组化部件中生成的分组要被记录在所述多个信息处理终端中；以及
发送部件，用于向所述多个信息处理终端发送所述记录概率和所述响应请求数据；
所述数据存储系统还包括多个信息处理终端，所述信息处理终端每个包括：
发送/接收部件，用于通过所述数据记录控制装置发送/接收所述分组和记录概率；
记录部件，用于记录所述分组；以及
控制部件，用于管理控制是否根据所述记录概率要记录所接收的分组和是否以所述响应概率来响应所记录的分组；
所述部件通过网络整体上相互连接。
11.如权利要求10所述的数据存储系统，其中所述记录概率包括在所述分组中，并且与所述分组一起发送到所述多个信息处理终端。
12.如权利要求10所述的数据存储系统，其中所述记录概率以不同于所述分组的一个分组发送。
13.如权利要求10所述的数据存储系统，其中在所述数据接收控制装置的所述接收部件中接收的分组数等于或大于所述第一数据的块数。
14.如权利要求13所述的数据存储系统，还包括：
分组分布控制部件，用于改变所述第一和第二数据的比率、记录概率和响应概率以控制所述分组的分布。
15.如权利要求13所述的数据存储系统，其中，在所述分组分布控制部件中，改变所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数，从而使所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数的乘积等于或大于所述第一数据的块数。
16.如权利要求15所述的数据存储系统，其中，在所述分组分布控制部件中，改变所述网络中的数据损失概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数，从而使所述网络中的所述数据损失概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数的乘积等于或大于所述第一数据的块数。
17.如权利要求13所述的数据存储系统，其中，在所述分组分布控制部件中，改变所述多个信息终端不响应的概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数，从而使所述多个信息终端不响应的概率、所述记录概率、响应概率、所述信息处理终端的数量和所述第二数据的块数的乘积等于或大于所述第一数据的块数。
18.如权利要求10所述的数据存储系统，其中，在所述记录概率产生部件中和在所述响应概率产生部件中，提高所述记录概率、响应概率或编码率以降低由所述信息处理终端响应的分组的重叠概率。
19.一种数据记录控制设备，用于在通过网络相互连接的多个信息终端中分布和记录数据，所述设备包括：
编码部件，用于对分块第一数据进行编码以生成分块第二数据；
分组化部件，用于将所述第二数据分组化；
记录概率产生部件，用于产生一个记录概率，所述记录概率指定是否由所述分组化部件生成的分组要被记录在所述多个信息处理终端中；
响应请求数据生成部件，用于生成附有响应概率的响应请求数据，所述响应概率指示是否要响应所述分组；
发送部件，用于向所述多个信息处理终端发送包括所述记录概率和所述响应请求数据的分组；以及
接收部件，用于接收从所述终端发送的分组。
20.一种数据记录命令设备，用于在通过网络相互连接的多个信息终端中分布和记录数据，所述设备包括：
编码部件，用于对分块第一数据进行编码以生成分块第二数据；
分组化部件，用于将第二数据分组化；
记录概率产生部件，用于产生一个记录概率，所述记录概率指示是否在所述分组化部件中生成的分组要被记录在所述多个信息处理终端中；以及
发送部件，用于向所述多个信息处理终端发送包括所述记录概率的所述分组。
21.一种数据接收设备，用于从通过网络相互连接的多个信息处理终端接收数据，所述设备包括：
响应请求数据生成部件，用于生成附有响应概率的响应请求数据，所述响应概率指示是否要响应在所述多个信息处理终端中记录的分组；
发送部件，用于向所述信息处理终端发送所述响应请求数据；以及
接收部件，用于接收从所述信息处理终端发送的分组。
22.一种信息处理终端，包括：
发送/接收部件，用于利用通过网络与之相连的外部装置发送/接收数据；
记录部件，用于记录分组；以及
控制部件，用于控制是否要根据附于所述分组的记录概率来记录所述分组和是否以从所述外部装置发送的响应概率来响应所记录的分组。
CN038006499A 2002-05-14 2003-05-07 数据存储方法和系统、数据控制设备和信息处理终端 Expired - Fee Related CN1533534B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002139232A JP4211282B2 (ja) 2002-05-14 2002-05-14 データ蓄積方法及びデータ蓄積システム、並びに、データ記録制御装置、データ記録指令装置、データ受信装置及び情報処理端末
JP139232/2002 2002-05-14
PCT/JP2003/005715 WO2003096200A1 (en) 2002-05-14 2003-05-07 Data storing method, data storing system, data recording control apparatus, data recording instructing apparatus, data receiving apparatus, and information processing terminal

Publications (2)

Publication Number Publication Date
CN1533534A true CN1533534A (zh) 2004-09-29
CN1533534B CN1533534B (zh) 2010-05-26

Family

ID=29416906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN038006499A Expired - Fee Related CN1533534B (zh) 2002-05-14 2003-05-07 数据存储方法和系统、数据控制设备和信息处理终端

Country Status (7)

Country Link
US (1) US7444421B2 (zh)
EP (1) EP1505508B1 (zh)
JP (1) JP4211282B2 (zh)
KR (1) KR100971052B1 (zh)
CN (1) CN1533534B (zh)
AU (1) AU2003234779A1 (zh)
WO (1) WO2003096200A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1328879C (zh) * 2005-01-26 2007-07-25 北京大学 基于数据分块冗余和虚拟化存储的在线备份方法
CN101860568A (zh) * 2010-05-27 2010-10-13 复旦大学 分布式存储系统中基于路由器加速的数据修复方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391865B2 (en) 1999-09-20 2008-06-24 Security First Corporation Secure data parser method and system
JP2005167965A (ja) * 2003-11-12 2005-06-23 Matsushita Electric Ind Co Ltd パケット処理方法および装置
EP1825412A1 (en) 2004-10-25 2007-08-29 Rick L. Orsini Secure data parser method and system
JP2007011500A (ja) * 2005-06-28 2007-01-18 Mitsubishi Electric Corp ホームゲートウェイ
CN105978683A (zh) 2005-11-18 2016-09-28 安全第公司 安全数据解析方法和系统
KR100772385B1 (ko) * 2005-12-07 2007-11-01 삼성전자주식회사 분산 스토리지 시스템 상에서 컨텐트를 송수신하는 방법 및장치
US7480848B2 (en) * 2006-02-10 2009-01-20 The Directv Group, Inc. Methods and apparatus to select tornado error correction parameters
US8904080B2 (en) 2006-12-05 2014-12-02 Security First Corp. Tape backup method
CN103281190B (zh) 2008-02-22 2018-03-09 安全第一公司 安全工作组管理和通信的系统和方法
JP5276461B2 (ja) * 2009-02-02 2013-08-28 パナソニック株式会社 ネットワークシステム
JP5108801B2 (ja) * 2009-02-02 2012-12-26 パナソニック株式会社 ネットワークシステム
CN102428686A (zh) 2009-05-19 2012-04-25 安全第一公司 用于安全保护云中的数据的系统和方法
EP2504973B1 (en) 2009-11-25 2016-11-16 Security First Corp. Systems and methods for securing data in motion
JP2013524352A (ja) 2010-03-31 2013-06-17 セキュリティー ファースト コーポレイション 移動中のデータをセキュア化するためのシステムおよび方法
US8824492B2 (en) 2010-05-28 2014-09-02 Drc Computer Corporation Accelerator system for remote data storage
EP2619939A2 (en) 2010-09-20 2013-07-31 Rick L. Orsini Systems and methods for secure data sharing
US9531802B2 (en) * 2011-11-10 2016-12-27 Kabushiki Kaisha Square Enix Data transmission and reception system
EP2956887A1 (en) 2013-02-13 2015-12-23 Security First Corp. Systems and methods for a cryptographic file system layer
WO2016051512A1 (ja) * 2014-09-30 2016-04-07 株式会社日立製作所 分散型ストレージシステム
WO2016081942A2 (en) 2014-11-21 2016-05-26 Security First Corp. Gateway for cloud-based secure storage

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485474A (en) 1988-02-25 1996-01-16 The President And Fellows Of Harvard College Scheme for information dispersal and reconstruction
JPH0364141A (ja) 1989-08-01 1991-03-19 Nec Corp パケット交換機の出線バッファ優先度制御方式
DE4323405A1 (de) * 1993-07-13 1995-01-19 Sel Alcatel Ag Zugangskontrollverfahren für einen Pufferspeicher sowie Vorrichtung zum Zwischenspeichern von Datenpaketen und Vermittlungsstelle mit einer solchen Vorrichtung
US5809090A (en) * 1996-03-04 1998-09-15 Glenayre Electronics, Inc. Digital diversity receiver system
US5886647A (en) * 1996-12-20 1999-03-23 Badger; Berkley C. Apparatus and method for wireless, remote control of multiple devices
WO1999034291A1 (en) * 1997-12-24 1999-07-08 Avid Technology, Inc. Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner
US6345125B2 (en) * 1998-02-25 2002-02-05 Lucent Technologies Inc. Multiple description transform coding using optimal transforms of arbitrary dimension
US6237092B1 (en) * 1998-05-05 2001-05-22 International Business Machines Corp. Client-server system with central application management allowing an administrator to configure user and group contexts during application configuration without relaunching the application
JP3990813B2 (ja) * 1998-05-22 2007-10-17 キヤノン株式会社 符号化装置、符号化方法、ディジタル伝送装置、及びディジタル伝送システム
JP2000155712A (ja) * 1998-11-19 2000-06-06 Nippon Telegr & Teleph Corp <Ntt> 分散キャッシュ配送方法及び分散キャッシュ配送プログラムを記憶した媒体
US6006259A (en) 1998-11-20 1999-12-21 Network Alchemy, Inc. Method and apparatus for an internet protocol (IP) network clustering system
US6381629B1 (en) * 1999-08-30 2002-04-30 International Business Machines Corporation Technique for creating a unique item identification number in a multi-threaded/multi-process environment
US6414938B1 (en) * 2000-02-14 2002-07-02 Motorola, Inc. Method and system for retransmitting data packets in a communication system having variable data rates
US7054279B2 (en) * 2000-04-07 2006-05-30 Broadcom Corporation Method and apparatus for optimizing signal transformation in a frame-based communications network
US6898182B1 (en) * 2000-07-21 2005-05-24 Arris International, Inc Congestion control in a network device having a buffer circuit
KR100699470B1 (ko) * 2000-09-27 2007-03-26 삼성전자주식회사 멀티레이어 패킷 처리 장치
US6888824B1 (en) * 2000-10-20 2005-05-03 Cisco Technology, Inc. Random early detection (RED) algorithm using marked segments to detect congestion in a computer network
JP2002203057A (ja) * 2000-11-01 2002-07-19 Cec:Kk 付加価値データ倉庫システム
US6754624B2 (en) * 2001-02-13 2004-06-22 Qualcomm, Inc. Codebook re-ordering to reduce undesired packet generation
US8656246B2 (en) * 2001-04-16 2014-02-18 Qualcomm Incorporated Method and an apparatus for use of codes in multicast transmission

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1328879C (zh) * 2005-01-26 2007-07-25 北京大学 基于数据分块冗余和虚拟化存储的在线备份方法
CN101860568A (zh) * 2010-05-27 2010-10-13 复旦大学 分布式存储系统中基于路由器加速的数据修复方法

Also Published As

Publication number Publication date
AU2003234779A1 (en) 2003-11-11
EP1505508A4 (en) 2010-02-24
KR100971052B1 (ko) 2010-07-20
US20050076077A1 (en) 2005-04-07
KR20050012214A (ko) 2005-01-31
JP4211282B2 (ja) 2009-01-21
EP1505508B1 (en) 2012-08-22
EP1505508A1 (en) 2005-02-09
US7444421B2 (en) 2008-10-28
WO2003096200A1 (en) 2003-11-20
JP2003330619A (ja) 2003-11-21
CN1533534B (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
CN1533534A (zh) 数据存储方法和系统、数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端
CA2359534C (en) Information additive group code generator and decoder for communication systems
CN1264280C (zh) 在通信系统中生成和解码代码的设备和方法
EP1116335B1 (en) Lost packet recovery method for packet transmission protocols
CN1643857A (zh) 多点传送设备、方法和系统及其程序和记录介质
CN101030838A (zh) 一种在iptv网络中动态自适应前向差错控制的系统及方法
CN1483289A (zh) 在分组信道上多媒体通信的方法
CN101060338A (zh) 一种卷积码速率匹配的方法和装置
CN1706137A (zh) 压缩数据通信用的信元标头
Yin et al. A protocol design paradigm for batched sparse codes
TWI520528B (zh) 增壓碼
CN101505155B (zh) 实现前缀码构造的装置和方法
CN112564855A (zh) 报文处理方法、装置以及芯片
US20230299878A1 (en) Packet Processing Method and Apparatus, and Chip
CN1493127A (zh) 按照混合arq法进行数据传输的方法和装置
US11831338B2 (en) Systems and methods for improving communication throughput
KR20220029751A (ko) 패킷 처리 방법 및 장치, 그리고 컴퓨터 저장 매체
Liao et al. Loss Rate Based Fountain Codes for Data Transfer
CN103168457A (zh) 用于提供不等错误保护和捆绑文件传递服务的通用文件传递方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100526

Termination date: 20150507

EXPY Termination of patent right or utility model