CN107436735A - 一种分布式文件系统中存储单元状态更新方法 - Google Patents

一种分布式文件系统中存储单元状态更新方法 Download PDF

Info

Publication number
CN107436735A
CN107436735A CN201710632678.5A CN201710632678A CN107436735A CN 107436735 A CN107436735 A CN 107436735A CN 201710632678 A CN201710632678 A CN 201710632678A CN 107436735 A CN107436735 A CN 107436735A
Authority
CN
China
Prior art keywords
state
memory management
management unit
mon
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710632678.5A
Other languages
English (en)
Inventor
岳远方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710632678.5A priority Critical patent/CN107436735A/zh
Publication of CN107436735A publication Critical patent/CN107436735A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式文件系统中存储单元状态更新方法，该方法包括：存储服务单元Osd向存储管理单元Mon发送逻辑存储单元PG的状态消息；存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态；若是，存储管理单元Mon通过定时器等待一段预设时间；在预设时间之后，存储管理单元Mon检测预设时间内获取的状态信息，统一调用一次议案申请模块propose_pending，由议案申请模块propose_pending提交更新状态的议案，对逻辑存储单元PG的状态进行更新。该方法实现提高系统稳定性和高效性。

Description

一种分布式文件系统中存储单元状态更新方法
技术领域
本发明涉及分布式文件系统技术领域，特别是涉及一种分布式文件系统中存储单元状态更新方法。
背景技术
目前，分布式文件系统中，逻辑存储单元(PlacementGroup，简称PG)的状态需要更新，状态更新是通过存储服务单元OSD向存储管理单元MON发送携带PG最新状态的消息，再由Mon进行更新的。当这种消息同一时间发送的太多的时候，将有可能导致系统的堵塞，引起系统震荡或堵塞。
在使用分布式文件系统时，MON模块负责维护整个文件系统的状态一致性。因此逻辑存储单元PG的状态需要从存储服务单元OSD模块汇报给存储管理单元MON模块，再由MON模块提出更新状态的议案，通过后，进行统一更新。但是当OSD的个数很多的时候，这种状态更新的消息会在同一时间点发出很多个。MON每收到一个，都要执行一遍更新的整个流程，那么在系统繁忙的时候，资源占用率就会很高，直接降低到整个系统的稳定性与高效性。
发明内容
本发明的目的是提供一种分布式文件系统中存储单元状态更新方法，以实现提高系统稳定性和高效性。
为解决上述技术问题，本发明提供一种分布式文件系统中存储单元状态更新方法，该方法包括：
存储服务单元Osd向存储管理单元Mon发送逻辑存储单元PG的状态消息；
存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态；
若是，存储管理单元Mon通过定时器等待一段预设时间；
在预设时间之后，存储管理单元Mon检测预设时间内获取的状态信息，统一调用一次议案申请模块propose_pending，由议案申请模块propose_pending提交更新状态的议案，对逻辑存储单元PG的状态进行更新。
优选的，所述定时器的间隔时间为预设时间。
优选的，所述状态消息为pg_stats消息。
优选的，所述pg_stats消息的处理函数为：PGMonitor::prepare_update。
优选的，存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态，包括：
存储管理单元Mon接收pg_stats消息，通过处理函数PGMonitor::prepare_update判断是否需要更新逻辑存储单元PG的状态。
优选的，所述通过处理函数PGMonitor::prepare_update判断是否需要更新逻辑存储单元PG的状态，包括：
在dispatch函数中，调用各个服务的prepare_update命令进行是否需要更新逻辑存储单元PG的状态的判断。
优选的，所述预设时间为10s。
本发明所提供的一种分布式文件系统中存储单元状态更新方法，存储服务单元Osd向存储管理单元Mon发送逻辑存储单元PG的状态消息；存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态；若是，存储管理单元Mon通过定时器等待一段预设时间；在预设时间之后，存储管理单元Mon检测预设时间内获取的状态信息，统一调用一次议案申请模块propose_pending，由议案申请模块propose_pending提交更新状态的议案，对逻辑存储单元PG的状态进行更新。可见，采用定时器等待一段时间，优化了消息处理机制，让消息发送到Mon模块之后，不是第一时间就提交议案更新，而是过了一定时间以后，把积累起来的消息统一处理提交，统一调用一次议案申请模块propose_pending，不必每收到一个消息，都要执行一遍更新的整个流程，此实现消息处理机制的合理化，效率化，使系统更加高效、稳定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明所提供的一种分布式文件系统中存储单元状态更新方法的流程图；
图2为优化前的消息处理流程；
图3为优化后的消息处理流程。
具体实施方式
本发明的核心是提供一种分布式文件系统中存储单元状态更新方法，以实现提高系统稳定性和高效性。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的一种分布式文件系统中存储单元状态更新方法的流程图，该方法包括：
S11：存储服务单元Osd向存储管理单元Mon发送逻辑存储单元PG的状态消息；
S12：存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态；
S13：若是，存储管理单元Mon通过定时器等待一段预设时间；
S14：在预设时间之后，存储管理单元Mon检测预设时间内获取的状态信息，统一调用一次议案申请模块propose_pending，由议案申请模块propose_pending提交更新状态的议案，对逻辑存储单元PG的状态进行更新。
可见，采用定时器等待一段时间，优化了消息处理机制，让消息发送到Mon模块之后，不是第一时间就提交议案更新，而是过了一定时间以后，把积累起来的消息统一处理提交，统一调用一次议案申请模块propose_pending，不必每收到一个消息，都要执行一遍更新的整个流程，此实现消息处理机制的合理化，效率化，使系统更加高效、稳定。
基于上述方法，具体的，所述定时器的间隔时间为预设时间。
其中，所述状态消息为pg_stats消息。pg_stats消息的处理函数为：PGMonitor::prepare_update。
进一步的，步骤S12的过程具体为：存储管理单元Mon接收pg_stats消息，通过处理函数PGMonitor::prepare_update判断是否需要更新逻辑存储单元PG的状态。
其中，通过处理函数PGMonitor::prepare_update判断是否需要更新逻辑存储单元PG的状态的过程具体为：在dispatch函数中，调用各个服务的prepare_update命令进行是否需要更新逻辑存储单元PG的状态的判断。
可选的，所述预设时间为10s。
本方法中，添加一个定时器，定时器的间隔是10秒。在MON模块pg_stats消息之后，如果通过PGMonitor::prepare_pg_stats判断pg的状态有更新，需要提出议案更新，先不返回true反馈信息，这样PaxosService::dispatch就不会立刻做出pending。当10秒时间到了，检测到这10秒内，有过需要更新的pg_stats消息，再统一调用一次propose_pending。本方法通过对该消息的优化，让消息发送到MON模块之后，不第一时间提交，而是到了一定时间以后，把积累起来的消息同意处理提交。实现消息处理机制的合理化，效率化，使系统更加高效，稳定。
详细的，OSD会不定期给MON汇报PG的状态，也就是通过OSD::send_pg_stats发送MSG_PGSTATS。Mon收到该消息的时候，通过paxos_service[PAXOS_PGMAP]->dispatch(op)进行消息分发。在dispatch函数中，会调用各个服务的prepare_update进行是否需要更新的判断，如果需要，则会进行一次propose_pending，提交议案，等待处理，参考图2，图2为优化前的消息处理流程。
针对pg_stats消息的处理函数是PGMonitor::prepare_update。其函数调用关系如下：
PaxosService::dispatch
→PGMonitor::prepare_update
→PGMonitor::prepare_pg_stats；
其中，PGMonitor::prepare_pg_stats会有三个动作，如下：
1.pg_stats_have_changed(from,stats)这里判断的是，上次收到pg_stats之后记录的pg状态，与这次发来的from中带来的状态，是否有变更；如果没有，则回复一个reply，发送MPGStatsAck；
2.如果这次发来的pg状态有了变更，而且，有变更的osd状态是in的状态，证明有效，则需要进行osd状态的变更，采用pending_inc.update_stat来变更；在日志中，会有提示，pg状态当前是什么，以前是什么，或者是否是第一次收到回报；
3.通过pending_inc.pg_stat_updates进行PG状态的设定，并把ack_op加入到proposal的等待队列中，等待finish线程，进行议案的处理。这是整个pg状态的变更流程。
详细的，消息还是要发，pg状态还是要维护，所以在收到pg_stats之后，如何处理能更高效是核心部分。本方法采用优化方式是添加一个定时器，定时器的间隔是10秒。在收到pg_stats消息之后，如果通过PGMonitor::prepare_pg_stats判断pg的状态有更新，需要提出议案更新，我们先不返回true，这样PaxosService::dispatch就不会立刻做出pending。当10秒时间到了，检测到这10秒内，有过需要更新的pg_stats消息，再统一调用一次propose_pending，参考图3，图3为优化后的消息处理流程。
因为现有技术中在节点繁忙的情况下，MON频繁的处理状态更新消息会造成系统的堵塞，低效率。本方法将消息处理流程进行了优化后，消息处理流程更合理，系统更加高效。
综上，本发明所提供的一种分布式文件系统中存储单元状态更新方法，存储服务单元Osd向存储管理单元Mon发送逻辑存储单元PG的状态消息；存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态；若是，存储管理单元Mon通过定时器等待一段预设时间；在预设时间之后，存储管理单元Mon检测预设时间内获取的状态信息，统一调用一次议案申请模块propose_pending，由议案申请模块propose_pending提交更新状态的议案，对逻辑存储单元PG的状态进行更新。可见，采用定时器等待一段时间，优化了消息处理机制，让消息发送到Mon模块之后，不是第一时间就提交议案更新，而是过了一定时间以后，把积累起来的消息统一处理提交，统一调用一次议案申请模块propose_pending，不必每收到一个消息，都要执行一遍更新的整个流程，此实现消息处理机制的合理化，效率化，使系统更加高效、稳定。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种分布式文件系统中存储单元状态更新方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种分布式文件系统中存储单元状态更新方法，其特征在于，包括：
存储服务单元Osd向存储管理单元Mon发送逻辑存储单元PG的状态消息；
存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态；
若是，存储管理单元Mon通过定时器等待一段预设时间；
在预设时间之后，存储管理单元Mon检测预设时间内获取的状态信息，统一调用一次议案申请模块propose_pending，由议案申请模块propose_pending提交更新状态的议案，对逻辑存储单元PG的状态进行更新。
2.如权利要求1所述的方法，其特征在于，所述定时器的间隔时间为预设时间。
3.如权利要求1所述的方法，其特征在于，所述状态消息为pg_stats消息。
4.如权利要求3所述的方法，其特征在于，所述pg_stats消息的处理函数为：PGMonitor::prepare_update。
5.如权利要求4所述的方法，其特征在于，存储管理单元Mon接收所述状态消息，判断是否需要更新逻辑存储单元PG的状态，包括：
存储管理单元Mon接收pg_stats消息，通过处理函数PGMonitor::prepare_update判断是否需要更新逻辑存储单元PG的状态。
6.如权利要求5所述的方法，其特征在于，所述通过处理函数PGMonitor::prepare_update判断是否需要更新逻辑存储单元PG的状态，包括：
在dispatch函数中，调用各个服务的prepare_update命令进行是否需要更新逻辑存储单元PG的状态的判断。
7.如权利要求1至6中任意一项所述的方法，其特征在于，所述预设时间为10s。
CN201710632678.5A 2017-07-28 2017-07-28 一种分布式文件系统中存储单元状态更新方法 Pending CN107436735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710632678.5A CN107436735A (zh) 2017-07-28 2017-07-28 一种分布式文件系统中存储单元状态更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710632678.5A CN107436735A (zh) 2017-07-28 2017-07-28 一种分布式文件系统中存储单元状态更新方法

Publications (1)

Publication Number Publication Date
CN107436735A true CN107436735A (zh) 2017-12-05

Family

ID=60460920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710632678.5A Pending CN107436735A (zh) 2017-07-28 2017-07-28 一种分布式文件系统中存储单元状态更新方法

Country Status (1)

Country Link
CN (1) CN107436735A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678923A (zh) * 2017-09-29 2018-02-09 郑州云海信息技术有限公司 一种分布式文件系统消息处理的优化方法
CN108121514A (zh) * 2017-12-29 2018-06-05 北京奇虎科技有限公司 元信息更新方法、装置、计算设备及计算机存储介质
CN109271347A (zh) * 2018-09-04 2019-01-25 郑州云海信息技术有限公司 一种分布式文件系统存储单元的启动方法、装置及设备
CN109407983A (zh) * 2018-10-08 2019-03-01 郑州云海信息技术有限公司 一种分布式文件存储系统的加载磁盘方法
CN110231913A (zh) * 2018-03-05 2019-09-13 中兴通讯股份有限公司 数据处理方法、装置及设备、计算机可读存储介质
CN112416595A (zh) * 2020-11-30 2021-02-26 苏州浪潮智能科技有限公司 一种大规模集群减轻主监视器压力的方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1208891A (zh) * 1997-08-08 1999-02-24 株式会社东芝 盘存储装置的数据更新方法和盘存储控制装置
CN101437301A (zh) * 2008-12-04 2009-05-20 华为技术有限公司 一种消息传输的方法、设备及通信系统
CN101753609A (zh) * 2008-12-15 2010-06-23 中国移动通信集团公司 分布式系统版本控制方法、节点及系统
CN102265277A (zh) * 2011-06-01 2011-11-30 华为技术有限公司 数据存储系统的操作方法和装置
CN103530362A (zh) * 2013-10-12 2014-01-22 清华大学 一种用于多副本分布式系统的计算机数据读写方法
CN104346198A (zh) * 2013-08-05 2015-02-11 索尼公司 信息处理装置、服务器装置、信息处理方法和程序
CN106790388A (zh) * 2016-11-24 2017-05-31 北京奇虎科技有限公司 一种进行数据更新的方法和移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1208891A (zh) * 1997-08-08 1999-02-24 株式会社东芝 盘存储装置的数据更新方法和盘存储控制装置
CN101437301A (zh) * 2008-12-04 2009-05-20 华为技术有限公司 一种消息传输的方法、设备及通信系统
CN101753609A (zh) * 2008-12-15 2010-06-23 中国移动通信集团公司 分布式系统版本控制方法、节点及系统
CN102265277A (zh) * 2011-06-01 2011-11-30 华为技术有限公司 数据存储系统的操作方法和装置
CN104346198A (zh) * 2013-08-05 2015-02-11 索尼公司 信息处理装置、服务器装置、信息处理方法和程序
CN103530362A (zh) * 2013-10-12 2014-01-22 清华大学 一种用于多副本分布式系统的计算机数据读写方法
CN106790388A (zh) * 2016-11-24 2017-05-31 北京奇虎科技有限公司 一种进行数据更新的方法和移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李翔: "Ceph分布式文件系统的研究及性能测试", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
穆彦良: "2.3.2 Ceph分布式存储系统的容错能力", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678923A (zh) * 2017-09-29 2018-02-09 郑州云海信息技术有限公司 一种分布式文件系统消息处理的优化方法
CN108121514A (zh) * 2017-12-29 2018-06-05 北京奇虎科技有限公司 元信息更新方法、装置、计算设备及计算机存储介质
CN110231913A (zh) * 2018-03-05 2019-09-13 中兴通讯股份有限公司 数据处理方法、装置及设备、计算机可读存储介质
CN109271347A (zh) * 2018-09-04 2019-01-25 郑州云海信息技术有限公司 一种分布式文件系统存储单元的启动方法、装置及设备
CN109271347B (zh) * 2018-09-04 2022-04-22 郑州云海信息技术有限公司 一种分布式文件系统存储单元的启动方法、装置及设备
CN109407983A (zh) * 2018-10-08 2019-03-01 郑州云海信息技术有限公司 一种分布式文件存储系统的加载磁盘方法
CN109407983B (zh) * 2018-10-08 2021-09-28 郑州云海信息技术有限公司 一种分布式文件存储系统的加载磁盘方法
CN112416595A (zh) * 2020-11-30 2021-02-26 苏州浪潮智能科技有限公司 一种大规模集群减轻主监视器压力的方法及设备
CN112416595B (zh) * 2020-11-30 2022-12-27 苏州浪潮智能科技有限公司 一种大规模集群减轻主监视器压力的方法及设备

Similar Documents

Publication Publication Date Title
CN107436735A (zh) 一种分布式文件系统中存储单元状态更新方法
CN105069134A (zh) 一种Oracle统计信息自动收集方法
CN110162388A (zh) 一种任务调度方法、系统及终端设备
CN102902583A (zh) 在挂起状态和执行状态下管理进程
CN102999384B (zh) 在挂起状态和执行状态下管理进程
CN102508717B (zh) 一种应用于多核处理器的内存调度方法及装置
CN103581336B (zh) 基于云计算平台的业务流程调度方法及系统
CN113138860B (zh) 消息队列的管理方法及装置
CN102143563A (zh) 一种短信中心集群的控制方法、设备及系统
CN107678923A (zh) 一种分布式文件系统消息处理的优化方法
CN109117090A (zh) 一种存储池的存储空间配额方法、装置、设备及存储介质
CN107918558A (zh) 基于状态机的业务流程控制方法、装置及设备
CN100530105C (zh) 多任务软件系统中并发事件的处理装置和方法
CN102629220A (zh) 一种动态任务分配管理方法
CN106293523A (zh) 一种对非易失性存储的io请求响应方法及装置
CN109800261A (zh) 双数据库连接池的动态控制方法、装置及相关设备
CN102609307A (zh) 多核多线程双操作系统网络设备及其控制方法
CN104408110A (zh) 数据请求的方法、装置及系统
CN109726007A (zh) 一种容器编排配额管理方法和装置、及容器编排系统
CN104111876A (zh) 一种基于Oracle资源计划的动态资源管理装置及方法
CN104410511A (zh) 一种服务器管理方法及系统
CN103475520A (zh) 一种分布式网络中的事务处理控制方法及装置
CN105446812A (zh) 一种多任务调度配置方法
CN102103530B (zh) 快照方法、设备及系统
CN103701721A (zh) 报文传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171205

RJ01 Rejection of invention patent application after publication