CN112751693A - 分布式存储系统的数据处理方法、装置及电子设备 - Google Patents

分布式存储系统的数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112751693A
CN112751693A CN201911051737.5A CN201911051737A CN112751693A CN 112751693 A CN112751693 A CN 112751693A CN 201911051737 A CN201911051737 A CN 201911051737A CN 112751693 A CN112751693 A CN 112751693A
Authority
CN
China
Prior art keywords
control server
data
request
server
copy information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911051737.5A
Other languages
English (en)
Other versions
CN112751693B (zh
Inventor
黎海兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911051737.5A priority Critical patent/CN112751693B/zh
Priority to US17/772,939 priority patent/US11966305B2/en
Priority to PCT/CN2020/119346 priority patent/WO2021082868A1/zh
Publication of CN112751693A publication Critical patent/CN112751693A/zh
Application granted granted Critical
Publication of CN112751693B publication Critical patent/CN112751693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/2028Failover techniques eliminating a faulty processor or activating a spare
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • G06F11/0757Error or fault detection not based on redundancy by exceeding limits by exceeding a time limit, i.e. time-out, e.g. watchdogs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2038Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2048Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share neither address space nor persistent storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明涉及分布式存储系统的数据处理方法、装置及电子设备。该方法包括:分别向每一存储服务器发送获取数据副本信息的第一请求;根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据。

Description

分布式存储系统的数据处理方法、装置及电子设备
技术领域
本发明涉及分布式存储技术领域,更具体地,涉及一种分布式存储系统的数据处理方法、一种分布式存储系统的数据处理装置、一种电子设备及一种分布式存储系统。
背景技术
分布式存储是将数据分散存储在多台独立的设备上的存储方案。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
在分布式存储系统中,通常由专门的控制服务器来协调数据在多台数据服务器上的存储。控制服务器中存储有用于描述数据属性的元数据,可以实现存储位置记录、历史数据记录、资源查找等功能。为了提高系统的可靠性,控制服务器的数目通常为多个,由其中的主控制服务器提供控制服务,从控制服务器作为备份。
主控制服务器和从控制服务器可以通过数据同步的方式保持元数据的一致性。但是,如果在数据同步过程中出现主控制服务器死机等情况,会导致部分元数据更新信息丢失,影响分布式存储系统的运行。
发明内容
本发明的一个目的是提供一种分布式存储系统数据处理的新技术方案。
根据本发明的第一方面,提供了一种分布式存储系统的数据处理方法,由所述分布式存储系统的从控制服务器实施,包括:
分别向每一存储服务器发送获取数据副本信息的第一请求;
根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据。
可选地,所述方法还包括:
检测所述主控制服务器是否处于不可用状态;
所述分别向每一存储服务器发送获取数据副本信息的请求,包括:
在所述主控制服务器处于不可用状态的情况下,分别向每一存储服务器发送获取数据副本信息的第一请求。
可选地,所述方法还包括:
基于更新后的所述映射数据,取代所述主控制服务器为所述分布式存储系统提供控制服务。
可选地,所述分别向每一存储服务器发送获取数据副本信息的第一请求,还包括:
按照设定的时间,定期向每一存储服务器发送获取数据副本信息的第一请求。
可选地,所述根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据,包括:
根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,对当前的所述映射数据进行修改,以得到更新后的所述映射数据。
根据本发明的第二方面,提供了一种分布式存储系统的数据处理方法,由所述分布式存储系统中的存储服务器实施,包括:
接收从控制服务器发送的获取数据副本信息的第一请求;
响应于所述第一请求,向所述从控制服务器发送自身存储的数据副本信息。
根据本发明的第三方面,提供了一种分布式存储系统的数据处理装置,设置于所述分布式存储系统的从控制服务器,包括:
请求发送模块,用于分别向每一存储服务器发送获取数据副本信息的第一请求;
数据更新模块,用于根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据。
可选地,所述装置还包括检测模块,所述检测模块用于:
检测所述主控制服务器是否处于不可用状态;
所述请求发送模块在分别向每一存储服务器发送获取数据副本信息的请求时,用于:
在所述主控制服务器处于不可用状态的情况下,分别向每一存储服务器发送获取数据副本信息的第一请求。
可选地,所述装置还包括服务提供模块,所述服务提供模块用于:
基于更新后的所述映射数据,取代所述主控制服务器为所述分布式存储系统提供控制服务。
可选地,所述请求发送模块在分别向每一存储服务器发送获取数据副本信息的第一请求时,还用于:
按照设定的时间,定期向每一存储服务器发送获取数据副本信息的第一请求。
可选地,所述数据更新模块在根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据时,用于:
根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,对当前的所述映射数据进行修改,以得到更新后的所述映射数据。
根据本发明的第四方面,提供了一种分布式存储系统的数据处理装置,设置于所述分布式存储系统中的存储服务器,包括:
请求接收模块,用于接收从控制服务器发送的获取数据副本信息的第一请求;
数据发送模块,用于响应于所述第一请求,向所述从控制服务器发送自身存储的数据副本信息。
根据本发明的第五方面,提供了一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现本发明第一方面或者第二方面所述的分布式存储系统的数据处理方法。
根据本发明的第六方面,提供了一种分布式存储系统,包括主控制服务器、实施本发明第一方面所述方法的从控制服务器和实施本发明第二方面所述方法的存储服务器,其中,所述存储服务器分别与所述主控制服务器、所述从控制服务器通信连接。
本发明一个实施例中的分布式存储系统的数据处理方法,无需主从控制服务器之间进行元数据同步,避免了因同步过程中主控制服务器故障导致元数据丢失而无法同步主、从控制服务器中的元数据,有利于提高分布式存储系统的可靠性。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1示出了可用于实现本发明的实施例的分布式存储系统的硬件配置示意图。
图2示出了可用于实现本发明实施例的服务器的结构示意图。
图3示出了根据本发明实施例的分布式存储系统的数据处理方法的流程图。
图4示出了根据本发明实施例的分布存储系统的数据处理方法实施的具体例子的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1示出了可用于实现本发明实施例的分布式存储系统的结构示意图。
如图1所示,分布式存储系统100包括用户代理服务器1000、存储服务器2001、存储服务器2002、存储服务器2003、以及控制服务器3001、控制服务器3002。其中,存储服务器和控制服务器的数目均可以为多个(两个以上)。在本发明实施例中,存储服务器、控制服务器、用户代理服务器的数量均为示例性的,本发明对此不做限制。
本实施例中,分布式存储系统以数据块(Block)为基本单元存储目标数据。例如,将目标文件分解为多个数据块,并将每一数据块的多个副本分别存储在相互独立的多个存储服务器中。在一个例子中,每个数据块对应于三个数据块副本,其中一个数据块副本为主副本,其他两个数据块副本为从副本。主副本所在的存储服务器优先处理针对目标文件的读写请求,从副本所在的存储服务器起到备份作用。
存储服务器2001、存储服务器2002和存储服务器2003用于存储目标数据,例如存储目标数据对应的数据块副本。
控制服务器3001和控制服务器3002用于管理元数据,例如管理反映目标文件对应的数据块副本和存储服务器对应关系的映射数据。其中一个控制服务器作为主控制服务器,为分布式存储系统提供控制服务,另外一个控制服务器作为从控制服务器,用于备份主控制服务器中的数据。本实施例中,控制服务器3001为主控制服务器,控制服务器3002为从控制服务器。主从控制服务器的角色可以相互转换,在主控制服务器出现故障时,从控制服务器可以取代主控制服务器为分布式存储系统提供控制服务。
用户代理服务器1000用于接收用户端发送的针对目标数据的数据读写请求,并将该数据读写请求转发至控制服务器。
主控制服务器3001接收到用户代理服务器1000发送的数据读写请求后,可以根据自身存储的元数据,查询目标数据对应的数据块副本所在的存储服务器,并向用户代理服务器返回处理该数据读写请求的存储服务器的标识信息。用户代理服务器1000根据该标识信息与对应的存储服务器交互,完成对目标数据的读写操作。
用户代理服务器1000、存储服务器2001、存储服务器2002、存储服务器2003、控制服务器3001、控制服务器3002之间可以通过有线网络或者无线网络进行通信。
用户代理服务器1000、存储服务器2001、存储服务器2002、存储服务器2003、控制服务器3001、控制服务器3002都具有如图2所示的服务器1100的硬件配置。如图2所示,服务器1100可以包括处理器1110、存储器1120、接口装置1130、通信装置1140、显示装置1150和输入装置1160。处理器1110例如可以是中央处理器CPU等。存储器1120例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1130例如包括USB接口、串行接口等。通信装置1140例如能够进行有线或无线通信。显示装置1150例如是液晶显示屏。输入装置1160例如可以包括触摸屏、键盘等。
应用于本说明书的实施例中,服务器1100的存储器1120用于存储指令,该指令用于控制处理器1110进行操作以支持实现根据本说明书任意实施例的方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
本领域技术人员应当理解,尽管在图2中示出了服务器1100的多个装置,但是,本说明书实施例的服务器1100可以仅涉及其中的部分装置,例如,只涉及处理器1110、存储器1120和通信装置1140。
图1所示的分布式存储系统100仅是解释性的,并且决不是为了要限制本说明书、其应用或用途。
<方法实施例>
本实施例提供了一种分布式存储系统的数据处理方法,该方法例如由图1中的从控制服务器3002实施。如图2所示,该方法包括以下步骤S1100-S1200。
在步骤S1100中,分别向每一存储服务器发送获取数据副本信息的第一请求。
本实施例中,控制服务器用于管理元数据,例如管理反映目标文件对应的数据块副本和存储服务器对应关系的映射数据。其中,主控制服务器为分布式存储系统提供控制服务,从控制服务器起到备份作用。
本实施例中,分布式存储系统以数据块为基本单元存储目标数据。例如,将目标文件分解为多个数据块,并将每一数据块的多个副本分别存储在相互独立的多个存储服务器中。在一个例子中,每个数据块对应于三个数据块副本,其中一个数据块副本为主副本,其他两个数据块副本为从副本,例如,三个副本分部为A、B、C,分别存储到编号为1、2、3的存储服务器中。
本实施例中,从控制服务器向每一存储服务器发送获取数据副本信息的第一请求,以获取每一存储服务器中所存储的数据块副本的信息。在本步骤一实施方式中,主副本所在的存储服务器可以优先响应第一请求。
在一个实施例中,本发明实施例的方法还可以包括检测主控制服务器是否处于不可用状态的步骤。示例性地,从控制服务器可以向主控制服务器发送状态询问请求(例如,通过心跳交互的方式),如主控制服务器无响应,则可以确定主控制服务器当前为不可用状态。在此基础上,步骤S1100进一步包括:在主控制服务器处于不可用状态的情况下,分别向每一存储服务器发送获取数据副本信息的第一请求。
本实施例中,主控制服务器处于不可用状态,例如包括主控制服务器出现死机故障、主控制服务器与外界通信中断等情况。容易理解,主控制服务器处于不可用状态,意味着主控制服务器不能正常为分布式存储系统提供控制服务。
在一个实施例中,从控制服务器检测主控制服务器是否处于不可用状态的步骤可以包括:接收监听设备(例如,zookeeper)发送的关于主控制服务器是否处于不可用状态的通知;根据该通知,确定主控制服务器是否处于不可用状态。在一个例子中,监听设备通过接收主控制服务器定期发送的心跳包来获取主控制服务器的活动状态。示例性地,监听设备(例如,zookeeper)可以定期与控制服务器(主控制服务器、从控制服务器)进行心跳,如果在预设时间段内没有收到主控制服务器的心跳,则可以确定主控制服务器处于不可用状态,进而向从控制服务器发送通知。从控制服务器可以根据监听设备的通知确定主控制服务器处于不可用状态。
本实施例中,监听设备用于对主控制服务器的活动状态进行监听。监听设备可以是额外的实体设备,也可以是从控制服务器自身,例如,从控制服务器中通过自身的专门进程来监听主控制服务器的活动状态。
本实施例中,监听设备可以在检测到主控制服务器由可用状态变为不可用状态的情况下,向从控制服务器发送相应的通知。从控制服务器根据该通知确定主控制服务器处于不可用状态。
在另一个实施例中,从控制服务器检测主控制服务器是否处于不可用状态的步骤包括:从控制服务器可以向主控制服务器进行心跳,如果在预设时间段内(例如,1min)未收到主控制服务器的心跳,则可以确定主控制服务器是处于不可用状态的。
在步骤S1200中,根据每一存储服务器响应于第一请求返回的数据副本信息,更新用于反映数据副本信息和存储服务器对应关系的映射数据。
本实施例中,从控制服务器中存储有反映数据副本与存储服务器对应关系的映射数据。
本实施例中,每一存储服务器响应于从控制服务器发送的第一请求,向从控制服务器发送自身存储的数据副本信息。从控制服务器接收每一存储服务器发送自身存储的数据副本信息。并根据接收到的数据副本信息,建立数据副本信息与其所在的存储服务器之间的对应关系(映射关系),对映射数据(或者对应关系)表进行更新。其中,映射数据表或者对应关系表中可以包括一条以上的数据副本信息与其所在的存储服务器之间的对应关系(或映射数据)。
通过执行步骤S1200,从控制服务器可获得数据副本与存储服务器之间最新的对应关系。
本实施例中的分布式存储系统的数据处理方法,无需主从控制服务器之间进行元数据同步,避免了因同步过程中主控制服务器故障导致元数据丢失而无法同步主、从控制服务器中的元数据,有利于提高分布式存储系统的可靠性。
在一个实施例中,分布式存储系统的数据处理方法还包括:在确定主控制服务器处于不可用状态时,从控制服务器可以基于更新后的映射数据,取代主控制服务器为分布式存储系统提供控制服务。主控制服务器可能因为掉电、宕机或者意外重启等而处于不可用状态。从控制服务器检测到主控制服务器不可用时,在更新其存储的映射数据后,及时取代主控制服务器为分布式存储系统提供控制服务。保证分布式存储系统的正常运行,为分布式存储系统的数据存储安全提供保证。
本实施例中,主控制服务器为分布式存储系统提供控制服务的过程例如是:主控制服务器接收到用户代理服务器发送的针对目标数据的数据读取请求,根据自身存储的映射数据查询目标数据对应的数据块副本所在的存储服务器,并向用户代理服务器返回处理该数据读写请求的存储服务器的标识信息,以供用户代理服务器根据该标识信息与对应的存储服务器交互,完成对目标数据的读写操作。
本实施例中,主从控制服务器的角色可以相互转换,在主控制服务器处于不可用状态的情况下,从控制服务器可以取代主控制服务器为分布式存储系统提供控制服务。
本实施例中,从控制服务器可自动取代主控制服务器为分布式存储系统提供控制服务(即自动切换),也可以响应于人工操作取代主控制服务器为分布式存储系统提供控制服务(即手动切换)。在本申请实施例中,以自动切换为优选实施例,从而保证数据存储的安全性和及时性,避免数据丢失。
本实施例中,从控制服务器根据更新后的映射数据为分布式存储系统提供控制服务,能够保证分布式存储系统的正常运行。
根据本发明实施例,前述步骤S1100可以实现为根据设定的时间,定期分别向每一存储服务器发送获取数据副本信息的第一请求(以下称为定期请求)。
在一个实施例中,从控制服务器以设定的时间定期向每一存储服务器发送获取数据副本信息的第一请求。在另一些实施例中,可以为在主控制服务器不可用的状态下,从控制服务器按照设定的时间定期向每个存储服务器发送第一请求。示例性地,设定的时间1s至1min中的任意时长,例如可以为5s、10s、15s、20s、25s等,在本申请中不对此进行限制,可以根据技术人员的经验值进行预设置
通过定期获取数据副本信息以及定期更新映射数据,可以减少每次更新需要处理的数据量,尤其有利于从控制服务器在主控制服务器处于不可用状态时快速更新映射数据,提高主从切换速度。
在一个实施例中,前述步骤S1100可以实现为在初始启动阶段,分别向每一存储服务器发送获取数据副本信息的请求(以下称为初始请求)。
本实施例中,从控制服务器在初始启动阶段向每一存储服务器发送获取数据副本信息的第一请求(在之后的叙述中,可以称之为初始请求)。容易理解,初始请求区别于从控制服务器在主控制服务器处于不可用状态的情况下发送的请求,以及从控制服务器定期发送的请求。
进而执行步骤S1200,即根据每一存储服务器响应于初始请求返回的数据副本信息,建立反映数据副本和存储服务器对应关系的映射数据。
本实施例中,每一存储服务器响应于初始请求,向从控制服务器发送自身存储的数据副本信息。从控制服务器接收每一存储服务器发送自身存储的数据副本信息,建立反映数据副本和存储服务器对应关系的映射数据。
从控制服务器在初始启动阶段新建反映数据副本和存储服务器对应关系的映射数据,可以为后续更新映射数据建立基础。
在一个实施例中,从控制服务器更新自身存储的映射数据的过程包括:对自身存储的当前的映射数据进行修改,获得更新后的映射数据。
本实施例中,从控制服务基于自身存储的当前的映射数据进行数据更新,可以降低每次更新需要处理的数据量,有利于提高更新速度。
在一个实施例中,反映数据副本和存储服务器对应关系的映射数据存储于从控制服务器的内存中。如此,有利于提高对映射数据的读写速度,进而提高数据更新速度。
前述方法实施例中,针对从控制服务器主动向存储服务器发送第一请求、在主控制服务器处于不可用状态下,向存储服务器发送第一请求、在从控制服务器初始启动阶段(即启动运行时)向存储服务器发送第一请求三种状态下的实施方法和对应的技术效果。在分布式存储系统的实际运行过程中,全周期可以包括从控制服务器初始启动阶段、从控制服务器正常工作阶段以及检测到主控制服务器处于不可用状态等。以及,全周期中不同的状态下,从控制服务器对数据的处理的作用可能有一定差异。
下面将基于分布式存储系统的实际运行过程可能出现的系统状态,对本发明提供的另一实施例进行描述:
阶段(1):在从控制服务器的初始启动阶段,向每个存储服务器发送第二请求获取数据副本信息,并基于此阶段得到的数据副本信息来创建初始映射数据;
阶段(2):在从控制服务器的正常工作阶段,可以定期发送第三请求获取数据副本信息,用来定期更新映射数据;
阶段(3):在主控制服务器处于不可用状态的情况下,从控制服务器发送第四请求,获取当前的数据副本信息并更新映射数据,进而可以基于最新的映射数据替代主控制服务器提供服务。
其中,本发明中的第一请求、第二请求、第三请求和第四请求,是为了区别从控制服务器在不同阶段(或者不同状态下)发出的读取请求,但第一请求、第二请求、第三请求和第四请求操作方法和实现原理都是一致的。或者说,第一请求在控制服务器的不同状态下分别表现为第二请求、第三请求和第四请求。
总体而言,从控制服务器从启动时起,其全生命周期中均可以通过与存储服务器的交互,不断更新其存储的映射数据,且采用前述实施例分阶段进行,与在例如处于不可用状态时再去更新映射数据的实施例相比较,其须更新的数据相对较少,因此数据更新速度更快。
图4示出了本实施例中分布式存储系统的数据处理方法实施的具体例子。如图4所示,从控制服务器通过自身的监听进程监听主控制服务器的心跳,从而检测主控服务器的活动状态,即执行步骤S101。此外,从控制服务器还定期向存储服务器发送获取数据副本信息的第三请求,存储服务器响应于该第三请求向从控制服务器发送自身存储的数据副本的信息,即执行步骤S102。从控制服务器根据存储服务器发送的数据副本信息,定期更新自身内存中存储的反映数据副本和存储服务器对应关系的映射数据,即执行步骤S103。假设主控制服务器在运行过程中出现了死机故障,这时从控制服务器可能无法在预设时间内监听到主控制服务器的,可以确定主控制服务器处于不可用状态,即执行步骤S104。之后,从控制服务器分别向每个存储服务器发送获取副本信息的第四请求,即执行步骤S105。每个存储服务器响应于该第四请求向从控制服务器发送自身存储的数据副本的信息,即执行步骤S106。从控制服务器根据存储服务器发送的数据副本信息,对最近一次定期更新所获得数据进行修正,获得更新后的映射数据,即执行步骤S107。最后,从控制服务器自动取代主控制服务器为分布式存储系统提供控制服务,即执行步骤S108。
本实施例还提供另一种分布式存储系统的数据处理方法,该方法例如由图1所示的任意的存储服务器实施。该方法包括:接收从控制服务器发送的获取数据副本信息的请求;响应于获取数据副本信息的请求,向从控制服务器发送自身对应的数据副本信息。
该方法的具体实施方式可参见前文对分布式存储系统的数据处理方法的描述,此处不再赘述。
<装置实施例>
本实施例提供一种分布式存储系统的数据处理装置,应用于分布式存储系统的从控制服务器,包括请求发送模块和数据更新模块。
请求发送模块,用于分别向每一存储服务器发送获取数据副本信息的请求。
数据更新模块,用于根据每一存储服务器响应于第一请求返回的数据副本信息,更新用于反映数据副本信息和存储服务器对应关系的映射数据。
可选地,本发明的分布式存储系统的数据处理装置还可以包括:检测模块:用于检测主控制服务器是否处于不可用状态。进一步地,请求发送模块设置为在主控制服务器处于不可用状态的情况下,分别向每一存储服务器发送获取数据副本信息的第一请求。
可选地,装置还包括服务提供模块,服务提供模块用于:基于更新后的映射数据,取代主控制服务器为分布式存储系统提供控制服务。
可选地,请求发送模块还可以设置为:按照设定的时间,定期向每一存储服务器发送获取数据副本信息的请求。
可选地,数据更新模块可以设置为根据每一存储服务器响应于第一请求返回的数据副本信息,对现有的映射数据进行修改,获得更新后的映射数据。
本实施例还提供另外一种分布式存储系统的数据处理装置,应用于分布式存储系统中的存储服务器,包括请求接收模块和数据发送模块。
请求接收模块,用于接收从控制服务器发送的获取数据副本信息的请求。
数据发送模块,用于响应于获取数据副本信息的请求,向从控制服务器发送自身对应的数据副本信息。
<电子设备实施例>
本实施例提供一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现本发明方法实施例描述的分布式存储系统的数据处理方法。
<系统实施例>
本实施例提供一种分布式存储系统,包括主控制服务器、实施本发明方式实施例描述的第一种方法的从控制服务器和实施本发明方法实施例描述的第二种方法的存储服务器,其中,存储服务器分别与主控制服务器、从控制服务器通信连接。
<计算机可读存储介质实施例>
本实施例提供一种机器可读存储介质,机器可读存储介质存储有机器可执行指令,机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现本发明方法实施例描述的分布式存储系统的数据处理方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种分布式存储系统的数据处理方法,由所述分布式存储系统的从控制服务器实施,包括:
分别向每一存储服务器发送获取数据副本信息的第一请求;
根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据。
2.根据权利要求1所述的方法,其中,所述方法还包括:
检测所述主控制服务器是否处于不可用状态;
所述分别向每一存储服务器发送获取数据副本信息的请求,包括:
在所述主控制服务器处于不可用状态的情况下,分别向每一存储服务器发送获取数据副本信息的第一请求。
3.根据权利要求2所述的方法,其中,所述方法还包括:
基于更新后的所述映射数据,取代所述主控制服务器为所述分布式存储系统提供控制服务。
4.根据权利要求1或2所述的方法,其中,所述分别向每一存储服务器发送获取数据副本信息的第一请求,还包括:
按照设定的时间,定期向每一存储服务器发送获取数据副本信息的第一请求。
5.根据权利要求1所述的方法,其中,所述根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据,包括:
根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,对当前的所述映射数据进行修改,以得到更新后的所述映射数据。
6.一种分布式存储系统的数据处理方法,由所述分布式存储系统中的存储服务器实施,包括:
接收从控制服务器发送的获取数据副本信息的第一请求;
响应于所述第一请求,向所述从控制服务器发送自身存储的数据副本信息。
7.一种分布式存储系统的数据处理装置,设置于所述分布式存储系统的从控制服务器,包括:
请求发送模块,用于分别向每一存储服务器发送获取数据副本信息的第一请求;
数据更新模块,用于根据每一所述存储服务器响应于所述第一请求返回的所述数据副本信息,更新用于反映所述数据副本信息和存储服务器对应关系的映射数据。
8.一种分布式存储系统的数据处理装置,设置于所述分布式存储系统中的存储服务器,包括:
请求接收模块,用于接收从控制服务器发送的获取数据副本信息的第一请求;
数据发送模块,用于响应于所述第一请求,向所述从控制服务器发送自身存储的数据副本信息。
9.一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1至6中任一项所述的分布式存储系统的数据处理方法。
10.一种分布式存储系统,包括主控制服务器、实施权利要求1-5中任一项所述方法的从控制服务器和实施权利要求6所述方法的存储服务器,其中,所述存储服务器分别与所述主控制服务器、所述从控制服务器通信连接。
CN201911051737.5A 2019-10-31 2019-10-31 分布式存储系统的数据处理方法、装置及电子设备 Active CN112751693B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911051737.5A CN112751693B (zh) 2019-10-31 2019-10-31 分布式存储系统的数据处理方法、装置及电子设备
US17/772,939 US11966305B2 (en) 2019-10-31 2020-09-30 Data processing method for distributed storage system, apparatus, and electronic device
PCT/CN2020/119346 WO2021082868A1 (zh) 2019-10-31 2020-09-30 分布式存储系统的数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911051737.5A CN112751693B (zh) 2019-10-31 2019-10-31 分布式存储系统的数据处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112751693A true CN112751693A (zh) 2021-05-04
CN112751693B CN112751693B (zh) 2022-09-06

Family

ID=75641530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911051737.5A Active CN112751693B (zh) 2019-10-31 2019-10-31 分布式存储系统的数据处理方法、装置及电子设备

Country Status (3)

Country Link
US (1) US11966305B2 (zh)
CN (1) CN112751693B (zh)
WO (1) WO2021082868A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006119269A2 (en) 2005-05-04 2006-11-09 Hillcrest Laboratories, Inc. Methods and systems for scrolling and pointing in user interfaces
CN115373896B (zh) * 2022-06-23 2023-05-09 北京志凌海纳科技有限公司 一种基于分布式块存储的副本数据恢复方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384211A (zh) * 2013-06-28 2013-11-06 百度在线网络技术(北京)有限公司 一种具有容错性的数据操作方法及分布式的数据存储系统
CN109672544A (zh) * 2017-10-13 2019-04-23 杭州海康威视系统技术有限公司 一种数据处理方法、装置及分布式存储系统
CN109684412A (zh) * 2018-12-25 2019-04-26 成都虚谷伟业科技有限公司 一种分布式数据库系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6732289B1 (en) * 2000-08-31 2004-05-04 Sun Microsystems, Inc. Fault tolerant data storage system
US7437608B2 (en) * 2004-11-15 2008-10-14 International Business Machines Corporation Reassigning storage volumes from a failed processing system to a surviving processing system
CN101697494B (zh) * 2009-10-30 2012-12-12 福建星网锐捷网络有限公司 备份方法、设备和系统
US8812900B2 (en) * 2011-06-30 2014-08-19 International Business Machines Corporation Managing storage providers in a clustered appliance environment
US8793467B2 (en) * 2011-09-30 2014-07-29 Pure Storage, Inc. Variable length encoding in a storage system
US8996467B2 (en) 2011-12-29 2015-03-31 Druva Inc. Distributed scalable deduplicated data backup system
CN103577500B (zh) * 2012-08-10 2018-07-27 腾讯科技(深圳)有限公司 分布式文件系统进行数据处理的方法及该分布式文件系统
US11086898B2 (en) * 2013-03-13 2021-08-10 Amazon Technologies, Inc. Token-based admission control for replicated writes
JP2015035020A (ja) * 2013-08-07 2015-02-19 富士通株式会社 ストレージシステム、ストレージ制御装置及び制御プログラム
US9336134B2 (en) * 2013-11-12 2016-05-10 Skyera, Llc Apparatus and method for accessing a non-volatile memory blade using multiple controllers in a non-volatile memory based storage device
US9274901B2 (en) * 2013-11-20 2016-03-01 Avago Technologies General Ip (Singapore) Pte. Ltd. I/O request mirroring in a clustered storage system
US9933946B2 (en) * 2014-09-15 2018-04-03 Hewlett Packard Enterprise Development Lp Fibre channel storage array methods for port management
US10552058B1 (en) * 2015-07-17 2020-02-04 Radian Memory Systems, Inc. Techniques for delegating data processing to a cooperative memory controller
US10069688B2 (en) * 2016-03-07 2018-09-04 International Business Machines Corporation Dynamically assigning, by functional domain, separate pairs of servers to primary and backup service processor modes within a grouping of servers
US10372561B1 (en) * 2017-06-12 2019-08-06 Amazon Technologies, Inc. Block storage relocation on failure
US10268408B2 (en) * 2017-08-28 2019-04-23 Vmware, Inc. Flexible efficient runtime placement of data across multiple disks
US10621059B2 (en) * 2017-12-19 2020-04-14 International Business Machines Corporation Site recovery solution in a multi-tier storage environment
CN108173971A (zh) * 2018-02-05 2018-06-15 江苏物联网研究发展中心 一种基于主备切换的MooseFS高可用方法及系统
CN109284069A (zh) * 2018-08-23 2019-01-29 郑州云海信息技术有限公司 一种存放备份数据的分布式存储系统及方法
KR20210121503A (ko) * 2020-03-30 2021-10-08 에스케이하이닉스 주식회사 전자 장치와, 이를 위한 데이터 저장 장치 및 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384211A (zh) * 2013-06-28 2013-11-06 百度在线网络技术(北京)有限公司 一种具有容错性的数据操作方法及分布式的数据存储系统
CN109672544A (zh) * 2017-10-13 2019-04-23 杭州海康威视系统技术有限公司 一种数据处理方法、装置及分布式存储系统
CN109684412A (zh) * 2018-12-25 2019-04-26 成都虚谷伟业科技有限公司 一种分布式数据库系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙亚杰等: "最短路径在分布式资源目录中的应用", 《计算机工程与设计》 *
辛跃华: "基于云平台的数据储存与文件管理研究", 《科教导刊(上旬刊)》 *

Also Published As

Publication number Publication date
US11966305B2 (en) 2024-04-23
US20230033754A1 (en) 2023-02-02
CN112751693B (zh) 2022-09-06
WO2021082868A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN105468717B (zh) 数据库操作方法和装置
US20150326655A1 (en) In-app application casting
CN112751693B (zh) 分布式存储系统的数据处理方法、装置及电子设备
CN105242990A (zh) 基于云平台的数据备份方法和装置
CN113051110A (zh) 集群切换方法、装置及设备
US11252019B2 (en) Methods, apparatuses and systems for cloud-based disaster recovery
US11176002B2 (en) Methods, apparatuses and systems for cloud-based disaster recovery
US10887382B2 (en) Methods, apparatuses and systems for cloud-based disaster recovery
CN101739406A (zh) 双控制器上文件服务操作的同步方法
CN111510480B (zh) 一种请求发送方法、装置以及第一服务器
EP3824396B1 (en) Long upload time detection and management
US10983886B2 (en) Methods, apparatuses and systems for cloud-based disaster recovery
WO2020131483A2 (en) Methods, apparatuses and systems for cloud-based disaster recovery
US20200192763A1 (en) Methods, apparatuses and systems for cloud-based disaster recovery
CN110708203A (zh) 一种容错方法、装置及设备
CN110958287A (zh) 操作对象数据同步方法、装置及系统
US20180063242A1 (en) Method and apparatus for operating infrastructure layer in cloud computing architecture
US9880855B2 (en) Start-up control program, device, and method
CN112714143A (zh) 分布式存储系统的服务协调方法、装置及电子设备
US11636013B2 (en) Event-driven system failover and failback
CN112948348B (zh) 运维管控方法、装置、电子设备及存储介质
US10049011B2 (en) Continuing operation of a quorum based system after failures
CN113138975A (zh) 一种数据迁移方法和装置
CN116069564A (zh) 容器监控方法、装置、设备和介质
CN117873676A (zh) 控制系统的启动方法、装置、控制系统及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant