CN102436355A - 一种数据传输方法、设备及系统 - Google Patents

一种数据传输方法、设备及系统 Download PDF

Info

Publication number
CN102436355A
CN102436355A CN201110361965XA CN201110361965A CN102436355A CN 102436355 A CN102436355 A CN 102436355A CN 201110361965X A CN201110361965X A CN 201110361965XA CN 201110361965 A CN201110361965 A CN 201110361965A CN 102436355 A CN102436355 A CN 102436355A
Authority
CN
China
Prior art keywords
data
storage devices
data fragmentation
independent storage
fragmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110361965XA
Other languages
English (en)
Other versions
CN102436355B (zh
Inventor
马苏德·莫塔扎维
陈坚
阿尔维斯·莱克
张宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201110361965.XA priority Critical patent/CN102436355B/zh
Publication of CN102436355A publication Critical patent/CN102436355A/zh
Priority to PCT/CN2012/075006 priority patent/WO2012167678A1/zh
Application granted granted Critical
Publication of CN102436355B publication Critical patent/CN102436355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种数据传输方法、设备及系统，涉及数据传输技术领域，解决了现有技术中独立存储设备间进行数据重新分布时，这部分数据在数据复制时间内不可访问的问题。所述数据传输方法包括：根据触发条件和预先配置的分片参数值创建数据分片，接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片，在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。本发明适用于数据传输技术领域，如分布式存储系统、分布式数据库、数据库备份系统。

Description

一种数据传输方法、设备及系统
技术领域
本发明涉及数据传输技术领域，尤其涉及一种数据传输方法、设备及系统。
背景技术
分布式存储系统是将数据存储在多个独立存储设备的集群系统。为了保证数据的可靠性，同一份数据需要在多个独立存储设备上存储，一般会对同一份数据在系统中保存三份。如果其中任意一个独立存储设备出现问题，如故障或负载较重，则需要由另外两个独立存储设备之中任意一个将所述三个独立存储设备上共同存储的数据重新在这三个独立存储设备以外的另一个独立存储设备上分布，以使得分布式存储系统中重新形成三份同样的数据。
其重新分布过程，如图1所示，与设备A存储有部分相同数据的设备出现问题后，设备A将该部分相同数据复制传输至设备B。
现有技术中，设备A复制传输该部分相同数据给设备B的过程中(时间T1-T2内)，该部分相同数据是不可访问的，如果该部分相同数据容量较大，复制传输的过程较长，导致其不可访问时间较长。
发明内容
本发明的实施例提供一种数据传输方法、设备及系统，能够解决现有技术中由于在独立存储设备间进行基础数据的重新分布时，基础数据在数据复制传输时间内不可访问的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
一种数据传输方法，包括：
根据触发条件和预先配置的分片参数值创建数据分片，所述数据分片用于临时数据存储；
接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片；
在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。
一种源独立存储设备，包括：
创建分片单元，用于根据触发条件和预先配置的分片参数值创建数据分片，所述数据分片用于临时数据存储；
数据存储单元，用于接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片；
数据发送单元，用于在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。
一种数据传输系统，包括上述的源独立存储设备和目的独立存储设备，其中，
所述源独立存储设备，用于根据触发条件和预先配置的分片参数值创建数据分片，接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片，在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备；
所述目的独立存储设备，用于接收源独立存储设备的更新操作和更新内容，并根据所述更新操作和更新内容更新所述基础数据。
本发明实施例提供的数据传输方法、设备及系统，由于通过源独立存储设备创建的数据分片保存更新操作和更新内容，实现了在源独立存储设备向目的独立存储设备传输数据时，处于传输状态的数据能够访问。与现有技术相比，本发明实施例能够解决现有技术中由于在独立存储设备间进行数据的重新分布时，这部分数据在数据复制时间内不可访问的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术提供的数据重新分布过程示意图；
图2为本发明实施例提供的数据传输方法流程图；
图3为本发明又一实施例提供的数据传输方法流程图；
图4为本发明实施例提供的源独立存储设备结构示意图一；
图5为本发明实施例提供的源独立存储设备结构示意图二；
图6为本发明实施例提供的数据传输系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。
如图2所示，本发明实施例提供的数据传输方法，所述方法包括：
步骤101、根据触发条件和预先配置的分片参数值创建数据分片。
其中，所述数据分片用于临时数据存储。
在本实施例中，所述预先配置的分片参数值包括但不限于数据分片的初始大小、数据分片的数量上限和数据分片的工作时间，所述触发条件可以是接收到向目的独立存储设备传输基础数据的请求或者当前数据分片的存储状态为饱和状态，但不仅局限于此。
步骤102、接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片。
步骤103、在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。
上述各个步骤的执行主体是待传输基础数据的源独立存储设备，可以是分布式存储系统中存储基础数据的独立存储设备，可以是数据库系统中存储业务表的独立存储设备，此处不作限定。
本发明实施例提供的数据传输方法，由于通过源独立存储设备创建的数据分片保存更新操作和更新内容，实现了源独立存储设备向目的独立存储设备传输数据时，处于传输状态的基础数据能够更新。与现有技术相比，本发明实施例能够解决现有技术中由于在独立存储设备间进行数据的重新分布时，处于传输状态的基础数据在数据复制时间内不可访问的问题。
为了使得本领域的技术人员更好的理解本发明实施例提供过的技术方案，下面将通过又一个具体实例来进一步介绍本发明实施例中提供的数据传输方法。
如图3所示，本发明又一实施例提供的的数据传输方法，所述方法包括：
步骤301、源独立存储设备根据基础数据的访问频率和所述基础数据的存储容量配置数据分片的分片参数值。
其中，所述分片参数值包括但不限于数据分片的初始大小、数据分片的数量上限和数据分片的工作时间。通过配置分片参数值，控制在基础数据由源独立存储设备向目的独立存储设备传输完成时，源独立存储设备创建的最后一个数据分片也达到存储状态为饱和状态，避免产生过多的数据分片而增加整个系统的传输负担，所述最后一个数据分片由所述分片参数值决定。
优选的，所述分片的初始大小按照创建顺序依次减小，使得源独立存储设备创建的最后一个数据分片容量最小，进而所述最后一个数据分片存储的更新操作及更新内容最少。源独立存储设备关闭最后一个数据分片并将该数据分片发送到目的独立存储设备所占用的时间会很短。
值得说明的是，所述分片参数值也可以根据经验来进行设置，此处不作限定，优选实现方式为步骤301。
步骤302、源独立存储设备在接收到向目的独立存储设备传输数据的请求时，源独立存储设备根据预先配置的分片参数值创建第一个数据分片。数据分片创建完成后，执行步骤303。
在本实施例中，所述请求包括但不限于基础数据的名称、地址以及目的独立存储设备的地址。并且该请求是基于事件触发的，所述事件可以是系统中独立存储设备发生故障，也可以是系统中独立存储设备负载过重。
值得说明的是，在所述方法应用在分布式存储系统时，所述数据分片的逻辑结构没有约束，数据分片能够存储更新操作及更新内容即可。但在所述方法应用在数据库系统时，所述数据分片的逻辑结构和数据库中业务表逻辑结构一致。
步骤303、源独立存储设备发送基础数据到目的独立存储设备。在源独立存储设备发送基础数据到目的独立存储设备的过程中，如果有处于传输状态的基础数据更新请求，执行步骤304。
步骤304、源独立存储设备在接收到处于传输状态的基础数据的更新请求时，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片。在所述数据分片的存储状态为饱和状态时，执行步骤305。
其中，所述饱和状态为更新过程中达到所述预先配置的分片参数值的阈值，例如达到分片的初始大小、达到数据分片的数量上限或达到数据分片的工作时间。
步骤305、源独立存储设备关闭所述数据分片，并将所述数据分片发送到目的独立存储设备，在源独立存储设备侧根据所述数据分片保存的内容更新所述基础数据，并判断所述数据分片是否达到所述分片参数值的阈值，若是达到所述分片参数值的阈值，则执行步骤307，若不是，则执行步骤306。
其中，所述分片参数值的阈值包括但不限于数据分片的数量上限及数据分片的工作时间。
步骤306、源独立存储设备根据所述预先配置的分片参数值创建下一个数据分片。返回执行步骤304。
步骤307、目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。
具体的，其数据更新过程按照源独立存储设备创建数据分片的顺序更新。
例如，第一个数据分片和第二个数据分片都对同一个数值进行了修改，则需按照创建数据分片的顺序更新，先按照第一个数据分片的更新操作和更新内容更新所述基础数据，再按照第二个数据分片的更新操作和更新内容更新所述基础数据。
步骤308、当源独立存储设备创建的最后一个数据分片的存储状态为饱和状态时，关闭并发送所述最后一个数据分片到目的独立存储设备，根据所述最后一个数据分片的更新操作和更新内容更新所述基础数据。所述数据更新完成后执行步骤309。
步骤309、目的独立存储设备发送数据更新完成指令给所述源独立存储设备。
所述发送数据更新完成指令给所述源独立存储设备后，目的独立存储设备正常启用，接收更新操作和更新内容，标志整个数据重新分布的完成。
值得说明的是，上述方法同样可以应用到在线系统的数据实时复制，例如：分布式关系数据库、分布式列式数据库、分布式图数据库、数据库备份系统或数据库实时复制系统。
本发明又一实施例提供的数据传输方法，由于通过源独立存储设备创建的数据分片保存更新操作和更新内容，实现了源独立存储设备向目的独立存储设备传输数据时，处于传输状态的数据能够更新。与现有技术相比，本发明实施例能够解决现有技术中由于在独立存储设备间进行数据的重新分布时，处于传输状态的数据在数据复制时间内不可访问的问题。
本发明实施例提供的源独立存储设备，如图4所示，包括：
创建分片单元41，用于根据触发条件和预先配置的分片参数值创建数据分片。其具体实现方式参见图2中步骤101所示，此处不再赘述。
数据存储单元42，用于接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片。其具体实现方式参见图2中步骤102所示，此处不再赘述。
数据发送单元43，用于在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。其具体实现方式参见图2中步骤103所示，此处不再赘述。
进一步的，如图5所示，所述源独立存储设备，还包括：
分片参数单元44，用于根据基础数据的访问频率和所述基础数据的存储容量配置所述数据分片的分片参数值。
其中，所述分片参数值包括但不限于数据分片的初始大小、数据分片的数量上限和数据分片的工作时间。其具体实现方式参见图3中步骤301所示，此处不再赘述。
具体的，如图5所示，所述创建分片单元41，包括：
第一创建子单元411，用于在接收到向目的独立存储设备传输基础数据的请求时，根据预先配置的分片参数值创建数据分片；其具体实现方式参见图3中步骤302所示，此处不再赘述。
第二创建子单元412，用于在当前数据分片的存储状态为饱和状态时，根据所述预先配置的分片参数值创建下一个数据分片。其具体实现方式参见图3中步骤306所示，此处不再赘述。
进一步的，所述源独立存储设备，如图5所示，还包括：
数据更新单元45，用于在源独立存储设备关闭所述数据分片，并将所述数据分片发送到目的独立存储设备后，在源独立存储设备侧根据所述数据分片中的更新操作和更新内容更新所述基础数据。其具体实现方式参见图3中步骤305所示，此处不再赘述。
本发明实施例提供的源独立存储设备，由于通过源独立存储设备创建的数据分片保存更新操作和更新内容，实现了源独立存储设备向目的独立存储设备传输基础数据时，处于传输状态的基础数据能够访问。与现有技术相比，本发明实施例能够解决现有技术中由于在独立存储设备间进行数据的重新分布时，这部分数据在数据复制时间内不可访问的问题。
如图6所示，本发明实施例提供的数据传输系统，包括上述源独立存储设备51和目的独立存储设备52，其中，
所述源独立存储设备51，用于根据触发条件和预先配置的分片参数值创建数据分片，接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片，在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备52；
所述目的独立存储设备52，用于接收源独立存储设备51的更新操作和更新内容，并根据所述更新操作和更新内容更新所述基础数据。
其具体实现方式参见上述源独立存储设备和目的独立存储设备的具体实施例，此处不再赘述。
本发明实施例提供的数据传输系统，由于通过源独立存储设备创建的数据分片保存更新操作和更新内容，并发送所述更新操作和更新内容到目的独立存储设备，使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。实现了源独立存储设备向目的独立存储设备传输基础数据时，处于传输状态的基础数据能够访问。与现有技术相比，本发明实施例能够解决现有技术中由于在独立存储设备间进行数据的重新分布时，这部分数据在数据复制时间内不可访问的问题。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据传输方法，其特征在于，包括：
根据触发条件和预先配置的分片参数值创建数据分片，所述数据分片用于临时数据存储；
接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片；
在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据基础数据的访问频率和所述基础数据的存储容量配置所述数据分片的分片参数值，所述分片参数值包括数据分片的初始大小、数据分片的数量上限和数据分片的工作时间。
3.根据权利要求2所述的方法，其特征在于，所述分片的初始大小按照创建顺序依次减小。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据触发条件和预先配置的分片参数值创建数据分片，包括：
在接收到向目的独立存储设备传输基础数据的请求时，根据预先配置的分片参数值创建第一个数据分片；
在当前数据分片的存储状态为饱和状态时，根据所述预先配置的分片参数值创建下一个数据分片。
5.根据权利要求1所述的方法，其特征在于，将所述更新操作和更新内容发送给目的独立存储设备后，还包括：
根据所述数据分片中的更新操作和更新内容更新所述基础数据。
6.一种源独立存储设备，其特征在于，包括：
创建分片单元，用于根据触发条件和预先配置的分片参数值创建数据分片，所述数据分片用于临时数据存储；
数据存储单元，用于接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片；
数据发送单元，用于在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。
7.根据权利要求6所述的设备，其特征在于，还包括：
分片参数单元，用于根据基础数据的访问频率和所述基础数据的存储容量配置所述数据分片的分片参数值，所述分片参数值包括数据分片的初始大小、数据分片的数量上限和数据分片的工作时间。
8.根据权利要求6-7任意一项所述的设备，其特征在于，所述创建分片单元，包括：
第一创建子单元，用于在接收到向目的独立存储设备传输基础数据的请求时，根据预先配置的分片参数值创建第一个数据分片；
第二创建子单元，用于在当前数据分片的存储状态为饱和状态时，根据所述预先配置的分片参数值创建下一个数据分片。
9.根据权利要求6所述的设备，其特征在于，在所述数据发送单元后，还包括：
数据更新单元，根据所述数据分片中的更新操作和更新内容更新所述基础数据。
10.一种数据传输系统，其特征在于，包括权利要求6-9任意一项所述的源独立存储设备和目的独立存储设备，其中，
所述源独立存储设备，用于根据触发条件和预先配置的分片参数值创建数据分片，接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片，在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备；
所述目的独立存储设备，用于接收源独立存储设备的更新操作和更新内容，并根据所述更新操作和更新内容更新所述基础数据。
CN201110361965.XA 2011-11-15 2011-11-15 一种数据传输方法、设备及系统 Active CN102436355B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110361965.XA CN102436355B (zh) 2011-11-15 2011-11-15 一种数据传输方法、设备及系统
PCT/CN2012/075006 WO2012167678A1 (zh) 2011-11-15 2012-05-03 一种数据传输方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110361965.XA CN102436355B (zh) 2011-11-15 2011-11-15 一种数据传输方法、设备及系统

Publications (2)

Publication Number Publication Date
CN102436355A true CN102436355A (zh) 2012-05-02
CN102436355B CN102436355B (zh) 2014-06-25

Family

ID=45984440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110361965.XA Active CN102436355B (zh) 2011-11-15 2011-11-15 一种数据传输方法、设备及系统

Country Status (2)

Country Link
CN (1) CN102436355B (zh)
WO (1) WO2012167678A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012167678A1 (zh) * 2011-11-15 2012-12-13 华为技术有限公司 一种数据传输方法、设备及系统
WO2015135370A1 (zh) * 2014-03-13 2015-09-17 北京奇虎科技有限公司 一种数据更新的方法和系统
CN108965402A (zh) * 2018-06-21 2018-12-07 杭州领智云画科技有限公司 基于cdn的缓存方法、装置及系统
CN110149524A (zh) * 2018-02-11 2019-08-20 腾讯科技（深圳）有限公司 直播流切片系统、直播流切片方法、装置及可读介质
CN110968265A (zh) * 2019-11-05 2020-04-07 北京字节跳动网络技术有限公司 分片扩容方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151685A (en) * 1998-05-15 2000-11-21 International Business Machines Corporation System and method for recovering a segment directory for a log structured array
CN101021844A (zh) * 2006-02-15 2007-08-22 北京北大方正电子有限公司 实时发布网站内容的系统及方法
CN101751470A (zh) * 2008-12-09 2010-06-23 汤姆森特许公司 用于存储和/或检索数据集的系统及其方法
CN101859265A (zh) * 2010-06-02 2010-10-13 杭州华三通信技术有限公司 一种磁盘阵列重建方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085909B2 (en) * 2003-04-29 2006-08-01 International Business Machines Corporation Method, system and computer program product for implementing copy-on-write of a file
US20060184735A1 (en) * 2005-02-15 2006-08-17 Maxwell Technologies, Inc. Methodology for effectively utilizing processor cache in an electronic system
US7986480B2 (en) * 2005-11-03 2011-07-26 Hitachi Global Storage Technologies Netherlands B.V. Micro-journaling of data on a storage device
CN102436355B (zh) * 2011-11-15 2014-06-25 华为技术有限公司 一种数据传输方法、设备及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151685A (en) * 1998-05-15 2000-11-21 International Business Machines Corporation System and method for recovering a segment directory for a log structured array
CN101021844A (zh) * 2006-02-15 2007-08-22 北京北大方正电子有限公司 实时发布网站内容的系统及方法
CN101751470A (zh) * 2008-12-09 2010-06-23 汤姆森特许公司 用于存储和/或检索数据集的系统及其方法
CN101859265A (zh) * 2010-06-02 2010-10-13 杭州华三通信技术有限公司 一种磁盘阵列重建方法和设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012167678A1 (zh) * 2011-11-15 2012-12-13 华为技术有限公司 一种数据传输方法、设备及系统
WO2015135370A1 (zh) * 2014-03-13 2015-09-17 北京奇虎科技有限公司 一种数据更新的方法和系统
CN110149524A (zh) * 2018-02-11 2019-08-20 腾讯科技（深圳）有限公司 直播流切片系统、直播流切片方法、装置及可读介质
CN108965402A (zh) * 2018-06-21 2018-12-07 杭州领智云画科技有限公司 基于cdn的缓存方法、装置及系统
CN110968265A (zh) * 2019-11-05 2020-04-07 北京字节跳动网络技术有限公司 分片扩容方法、装置及电子设备
CN110968265B (zh) * 2019-11-05 2023-08-08 北京字节跳动网络技术有限公司 分片扩容方法、装置及电子设备

Also Published As

Publication number Publication date
WO2012167678A1 (zh) 2012-12-13
CN102436355B (zh) 2014-06-25

Similar Documents

Publication Publication Date Title
CN101118521B (zh) 跨越多个逻辑分区分布虚拟输入/输出操作的系统和方法
CN104135539B (zh) 数据存储方法、sdn控制器和分布式网络存储系统
US7925856B1 (en) Method and apparatus for maintaining an amount of reserve space using virtual placeholders
CN102142006B (zh) 分布式文件系统的文件处理方法及装置
CN102436355B (zh) 一种数据传输方法、设备及系统
EP2400382A1 (en) Storage system
US20090187668A1 (en) Protocol Independent Server Replacement and Replication in a Storage Area Network
CN104137085A (zh) 集群环境中用于控制客户端对服务的访问的方法
US8756389B2 (en) Prevention of overlay of production data by point in time copy operations in a host based asynchronous mirroring environment
US20140108345A1 (en) Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers
CN102282544A (zh) 存储系统
US20190173948A1 (en) Reliable data storage for decentralized computer systems
CN102834806A (zh) 系统结构管理设备、系统结构管理方法和程序
CN105373420A (zh) 数据传输方法及装置
CN105446653A (zh) 一种数据合并方法和设备
CN103369660A (zh) 网元数据同步方法和网元设备
CN105187256A (zh) 一种容灾方法、设备和系统
CN105224422A (zh) 一种数据备份方法及设备
CN104580381A (zh) 一种在多节点网络中执行作业任务的方法
KR20210102404A (ko) 조정 가능한 수의 트랜잭션 블록 및 복수의 중간 블록을 포함하는 블록을 가진 블록체인의 생성
CN102780769A (zh) 一种基于云计算平台的容灾存储方法
CN103281356A (zh) 一种分发文件的方法及系统
CN105162869B (zh) 一种用于数据备份管理的方法与设备
CN112905676A (zh) 一种数据文件的导入方法及装置
US8516009B2 (en) Processing of splits of control areas and control intervals

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220210

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.