CN115543636B - 一种多控制器的数据备份方法及相关装置 - Google Patents

一种多控制器的数据备份方法及相关装置 Download PDF

Info

Publication number
CN115543636B
CN115543636B CN202211508014.5A CN202211508014A CN115543636B CN 115543636 B CN115543636 B CN 115543636B CN 202211508014 A CN202211508014 A CN 202211508014A CN 115543636 B CN115543636 B CN 115543636B
Authority
CN
China
Prior art keywords
data
task
ntb
backup
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211508014.5A
Other languages
English (en)
Other versions
CN115543636A (zh
Inventor
王鲁泮
钟戟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202211508014.5A priority Critical patent/CN115543636B/zh
Publication of CN115543636A publication Critical patent/CN115543636A/zh
Application granted granted Critical
Publication of CN115543636B publication Critical patent/CN115543636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668Details of memory controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种多控制器的数据备份方法,包括:获取主机端的处理器工作状态;基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量;其中,所有所述存储控制器的数量大于两个,所有所述控制器之间连接有两个单向传输的公共NTB通道芯片;基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。以在双NTB芯片的应用下提高备份效率,降低硬件成本。本申请还公开一种多控制器的数据备份装置、存储控制系统、终端设备以及计算机可读存储介质,具有以上有益效果。

Description

一种多控制器的数据备份方法及相关装置
技术领域
本申请涉及计算机技术领域,特别涉及一种多控制器的数据备份方法、存储控制系统、数据备份装置、终端设备以及计算机可读存储介质。
背景技术
随着信息技术的不断发展,对存储阵列可靠性提出更高要求,尤其对存储系统数据备份的稳定可靠性;当前的存储系统架构设计中,通过NTB(Non-Transparent Bridging,非透明桥)芯片来实现双控制器之间的两两数据备份,确保当前数据同时存至两台控制器的内存上时,数据备份过程结束。
相关技术中,数据备份过程是在控制器之间两两进行的数据交互,这个过程需要单独的NTB芯片进行硬件上级联,对于多控制器存储、服务器等设备来说,这种数据备份方式会需要大量的NTB桥芯片,增加了系统成本的消耗,且双控制器之间相互备份数据,当一个控制器出现异常时,数据备份过程便会中止。因此,这种传统的数据备份过程即会带来设计成本的增加,也会在异常时刻无法备份数据,导致存储设备工作可靠性的降低,影响了用户使用。
因此,如何在多控制器存储和服务器设备的数据备份过程中提高应用NTB芯片的效果,提高备份的效率是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种多控制器的数据备份方法、存储控制系统、数据备份装置、终端设备以及计算机可读存储介质,以在双NTB芯片的应用下提高备份效率,降低硬件成本。
为解决上述技术问题,本申请提供一种多控制器的数据备份方法,包括:
获取主机端的处理器工作状态;
基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量;其中,所有所述存储控制器的数量大于两个,所有所述控制器之间连接有两个单向传输的公共NTB通道芯片;
基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;
通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。
可选的,基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量,包括:
基于所述处理器工作状态对每个所述存储控制器进行加权均衡计算,得到每个所述存储控制器的任务量。
可选的,基于所述处理器工作状态对每个所述存储控制器进行加权均衡计算,得到每个所述存储控制器的任务量,包括:
基于所述处理器工作状态确定下一时间节点处理数据的参数;其中,参数包括数据量、数据类型、数据用途以及保存地址;
将所述数据类型、所述数据用途以及所述保存地址作为权重,将所述数据量作为每个所述权重的参数,并加权计算,得到每个所述存储控制器的任务量。
可选的,还包括:
当得到每个存储控制器的任务量,分别对所述公共NTB通道芯片左右两端的存储控制器的任务量进行排序。
可选的,基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量,包括:
控制公共NTB通道芯片的左端的任务量最大的控制器,向公共NTB通道芯片的右端的任务量最小的控制器下发备份数据的任务,并依次类推;
控制公共NTB通道芯片的左端的任务量最小的控制器,向公共NTB通道芯片的右端的任务量最大的控制器下发备份数据的任务,并依次类推。
可选的,还包括:
执行处理数据的任务和备份数据的任务时,对处理数据的任务和备份数据的任务的服务器进行记录,得到并保存日志数据。
可选的,其中,所有所述存储控制器分为左半区存储控制器和右半区存储控制器,所述两个单向传输的公共NTB通道芯片包括上公共NTB通道芯片和下公共NTB通道芯片;
可选的,所述左半区存储控制器上的PCIE发送通道与上公共NTB通道芯片相连,用于发送数据,右半区存储控制器上的PCIE接收通道与上公共NTB通道芯片相连,用于接收数据;其中,左半区存储控制器上的PCIE接收通道与下公共NTB通道芯片相连,用于接收数据,右半区存储控制器上的PCIE发送通道与下公共NTB通道芯片相连,用于发送数据。
可选的,通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务,包括:
可选的,还包括:
当一路存储控制器或多路存储控制器出现异常时,进行故障分析,得到待分配数据处理任务和待分配数据备份任务;
将所述待分配数据处理任务和所述待分配数据备份任务分配至其他存储控制器。
可选的,当一路存储控制器或多路存储控制器出现异常时,进行故障分析,得到待分配数据处理任务和待分配数据备份任务,包括:
当一路存储控制器或多路存储控制器出现异常时,进行数据特征提取,得到数据特征;
基于所述数据特征进行故障分析,得到所述待分配数据处理任务和所述待分配数据备份任务。
可选的,将所述待分配数据处理任务和所述待分配数据备份任务分配至其他存储控制器,包括:
对每个所述待分配数据处理任务和每个所述待分配数据备份任务进行优先级分析,得到每个任务的优先级;
基于每个任务的优先级将所述待分配数据处理任务和所述待分配数据备份任务分配至其他存储控制器。
可选的,还包括:
以日志的方式记录故障信息和任务分配情况信息。
本申请还提供一种存储控制系统,包括:多个存储控制器、两个公共NTB通道芯片以及硬盘;
其中,每个所述公共NTB通道芯片分别于每个所述存储控制器的数据通道连接,每个所述控制器于所述硬盘连接;
所述公共NTB通道芯片用于和每个存储控制器的备份数据的任务量对对应的存储控制器执行备份任务。
可选的,所述存储控制器的数量为双数,所述多个存储控制器包括左半区存储控制器和右半区存储控制器。
可选的,所述两个单向传输的公共NTB通道芯片包括上公共NTB通道芯片和下公共NTB通道芯片。
可选的,所述左半区存储控制器上的PCIE发送通道与上公共NTB通道芯片相连,用于发送数据,右半区存储控制器上的PCIE接收通道与上公共NTB通道芯片相连,用于接收数据;其中,左半区存储控制器上的PCIE接收通道与下公共NTB通道芯片相连,用于接收数据,右半区存储控制器上的PCIE发送通道与下公共NTB通道芯片相连,用于发送数据。
可选的,所述上公共NTB通道芯片对所述左半区存储控制器和所述右半区存储控制器执行备份任务;
所述下公共NTB通道芯片对所述左半区存储控制器和所述右半区存储控制器执行备份任务。
本申请还提供一种多控制器的数据备份装置,包括:
工作状态获取模块,用于获取主机端的处理器工作状态;
任务量评估模块,用于基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量;其中,所有所述存储控制器的数量大于两个,所有所述控制器之间连接有两个单向传输的公共NTB通道芯片;
任务量均衡模块,用于基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;
备份任务执行模块,用于通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。
本申请还提供一种终端设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的数据备份方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的数据备份方法的步骤。
本申请所提供的一种多控制器的数据备份方法,包括:获取主机端的处理器工作状态;基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量;其中,所有所述存储控制器的数量大于两个,所有所述控制器之间连接有两个单向传输的公共NTB通道芯片;基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。
通过先获取主机端的处理器工作状态,然后基于处理器工作状态确定每个存储控制器可以运行的任务量,并基于任务量确定对应的备份数据的任务量,最后按照确定的备份数据的任务量执行备份任务,实现了在两个NTB通道芯片的情况下,均衡每个存储控制器的任务量,实现数据备份,降低了硬件成本的同时,提高了数据备份的效率。
本申请还提供一种存储控制系统、多控制器的数据备份装置、终端设备以及计算机可读存储介质,具有以上有益效果,在此不作赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种多控制器的数据备份方法的流程图;
图2为本申请实施例还提供的一种多控制器的数据备份方法的结构示意图;
图3为本申请实施例所提供的一种数据备份算法流程图;
图4为本申请实施例所提供的一种多控制器的数据备份方法的异常处理流程图;
图5为本申请实施例所提供的一种多控制器的数据备份装置的结构示意图;
图6本申请实施例所提供的一种终端设备的结构示意图。
具体实施方式
本申请的核心是提供一种多控制器的数据备份方法、存储控制系统、数据备份装置、终端设备以及计算机可读存储介质,以在双NTB芯片的应用下提高备份效率,降低硬件成本。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中,数据备份过程是在控制器之间两两进行的数据交互,这个过程需要单独的NTB芯片进行硬件上级联,对于多控制器存储、服务器等设备来说,这种数据备份方式会需要大量的NTB桥芯片,增加了系统成本的消耗,且双控制器之间相互备份数据,当一个控制器出现异常时,数据备份过程便会中止。因此,这种传统的数据备份过程即会带来设计成本的增加,也会在异常时刻无法备份数据,导致存储设备工作可靠性的降低,影响了用户使用。
因此,本申请提供一种多控制器的数据备份方法,通过先获取主机端的处理器工作状态,然后基于处理器工作状态确定每个存储控制器可以运行的任务量,并基于任务量确定对应的备份数据的任务量,最后按照确定的备份数据的任务量执行备份任务,实现了在两个NTB通道芯片的情况下,均衡每个存储控制器的任务量,实现数据备份,降低了硬件成本的同时,提高了数据备份的效率。
以下通过一个实施例,对本申请提供的一种多控制器的数据备份方法进行说明。
请参考图1,图1为本申请实施例所提供的一种多控制器的数据备份方法的流程图。
本实施例中,该方法可以包括:
S101,获取主机端的处理器工作状态;
本步骤旨在确定到主机端的处理器工作状态,以便通过处理器工作状态确定可以处理的任务量。
进一步的,本实施例中对应的硬件结构中仅仅使用了两个NTB芯片,以便降低硬件成本。因此,所有存储控制器分为左半区存储控制器和右半区存储控制器,两个单向传输的公共NTB通道芯片包括上公共NTB通道芯片和下公共NTB通道芯片;
其中,左半区存储控制器上的PCIE发送通道与上公共NTB通道芯片相连,用于发送数据,右半区存储控制器上的PCIE接收通道与上公共NTB通道芯片相连,用于接收数据;其中,左半区存储控制器上的PCIE接收通道与下公共NTB通道芯片相连,用于接收数据,右半区存储控制器上的PCIE发送通道与下公共NTB通道芯片相连,用于发送数据。
S102,基于处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个存储控制器的任务量;其中,所有存储控制器的数量大于两个,所有控制器之间连接有两个单向传输的公共NTB通道芯片;
在S101的基础上,本步骤旨在基于处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个存储控制器的任务量;其中,所有存储控制器的数量大于两个,所有控制器之间连接有两个单向传输的公共NTB通道芯片。
进一步的,本步骤可以包括:
基于处理器工作状态对每个存储控制器进行加权均衡计算,得到每个存储控制器的任务量。
可见,本可选方案主要是说明如何确定任务量。本可选方案中,基于处理器工作状态对每个存储控制器进行加权均衡计算,得到每个存储控制器的任务量。
进一步的,上一可选方案可以包括:
步骤1,基于处理器工作状态确定下一时间节点处理数据的参数;其中,参数包括数据量、数据类型、数据用途以及保存地址;
步骤2,将数据类型、数据用途以及保存地址作为权重,将数据量作为每个权重的参数,并加权计算,得到每个存储控制器的任务量。
可见,本可选方案中主要是说明如何确定对应的任务量。本可选方案中,基于处理器工作状态确定下一时间节点处理数据的参数;其中,参数包括数据量、数据类型、数据用途以及保存地址;将数据类型、数据用途以及保存地址作为权重,将数据量作为每个权重的参数,并加权计算,得到每个存储控制器的任务量。
此外,上一可选方案还可以包括:
当得到每个存储控制器的任务量,分别对公共NTB通道芯片左右两端的存储控制器的任务量进行排序。
S103,基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;
在S102的基础上,本步骤旨在基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量。
进一步的,本步骤可以包括:
步骤1,控制公共NTB通道芯片的左端的任务量最大的控制器,向公共NTB通道芯片的右端的任务量最小的控制器下发备份数据的任务,并依次类推;
步骤2,控制公共NTB通道芯片的左端的任务量最小的控制器,向公共NTB通道芯片的右端的任务量最大的控制器下发备份数据的任务,并依次类推。
可见,本可选方案中主要是说明如何对存储控制器分配不同的任务量。本可选方案中,控制公共NTB通道芯片的左端的任务量最大的控制器,向公共NTB通道芯片的右端的任务量最小的控制器下发备份数据的任务,并依次类推;控制公共NTB通道芯片的左端的任务量最小的控制器,向公共NTB通道芯片的右端的任务量最大的控制器下发备份数据的任务,并依次类推。
此外,本实施例还可以包括:
执行处理数据的任务和备份数据的任务时,对处理数据的任务和备份数据的任务的服务器进行记录,得到并保存日志数据。
S104,通过公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。
在S103的基础上,本步骤旨在通过公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。
进一步的,本步骤可以包括:
通过上公共NTB通道芯片和下公共NTB通道芯片分别对左半区存储控制器和右半区存储控制器执行备份任务。
此外,本实施例还可以包括:
步骤1,当一路存储控制器或多路存储控制器出现异常时,进行故障分析,得到待分配数据处理任务和待分配数据备份任务;
步骤2,将待分配数据处理任务和待分配数据备份任务分配至其他存储控制器。
可见,本可选方案中主要是说明出现异常时如何进行处理。本可选方案中,当一路存储控制器或多路存储控制器出现异常时,进行故障分析,得到待分配数据处理任务和待分配数据备份任务,将待分配数据处理任务和待分配数据备份任务分配至其他存储控制器。
进一步的,上一可选方案中的步骤1可以包括:
步骤1.1,当一路存储控制器或多路存储控制器出现异常时,进行数据特征提取,得到数据特征;
步骤1.2,基于数据特征进行故障分析,得到待分配数据处理任务和待分配数据备份任务。
可见,本可选方案中主要是说明如何在出现异常进行任务分配。本可选方案中,当一路存储控制器或多路存储控制器出现异常时,进行数据特征提取,得到数据特征;基于数据特征进行故障分析,得到待分配数据处理任务和待分配数据备份任务。
进一步的,上一可选方案中的步骤2可以包括:
步骤2.1,对每个待分配数据处理任务和每个待分配数据备份任务进行优先级分析,得到每个任务的优先级;
步骤2.2,基于每个任务的优先级将待分配数据处理任务和待分配数据备份任务分配至其他存储控制器。
可见,本可选方案中主要是说明如何提高任务分配的效果。本可选方案中,对每个待分配数据处理任务和每个待分配数据备份任务进行优先级分析,得到每个任务的优先级,基于每个任务的优先级将待分配数据处理任务和待分配数据备份任务分配至其他存储控制器。
进一步的,上一可选方案还可以包括:
以日志的方式记录故障信息和任务分配情况信息。
综上,本实施例通过先获取主机端的处理器工作状态,然后基于处理器工作状态确定每个存储控制器可以运行的任务量,并基于任务量确定对应的备份数据的任务量,最后按照确定的备份数据的任务量执行备份任务,实现了在两个NTB通道芯片的情况下,均衡每个存储控制器的任务量,实现数据备份,降低了硬件成本的同时,提高了数据备份的效率。
以下通过另一具体的实施例,对本申请提供的一种多控制器的数据备份方法。
请参考图2,图2为本申请实施例还提供的一种多控制器的数据备份方法的结构示意图。
本实施例中,提供的对应系统结构拓扑如图2所示,拓扑中的核心设备为上下两个公共NTB通道芯片,两个公共NTB通道芯片将多控制器分为左右两个半区,我们存储设备由于要数据备份,一般控制器数量均为双数,两个半区的控制器数量相同并可以进行相互备份数据。左边控制器上的PCIE(peripheral component interconnect express,高速串行计算机扩展总线标准)发送Tx(transport,发送)通道与上公共NTB通道芯片相连,用于发送数据,右边控制器上的PCIE接收Rx(receive,接收)通道与上公共NTB通道芯片相连,用于接收数据;同样的,左边控制器上的PCIE接收Rx通道与下公共NTB通道芯片相连,用于接收数据,右边控制器上的PCIE发送Tx通道与上公共NTB通道芯片相连,用于发送数据。控制器中包含了内存条,控制器处理数据过程中,首先将数据存储在内存中,并将备份数据同样存储至相应控制器的内存中,控制器后端与硬盘相连,在数据完成处理与备份操作后,将数据传输至硬盘中。
本实施例中以八控制器的存储设备为例,采用NTB芯片PEX8733,该芯片包含42路输入与输出通道,八控制器存储设备在NTB通道两端一边四控制器,四控制器平分42路通道每一控制器分10路通道。因此,上公共NTB给左边四控各分10路通道作为Tx发送数据PCIE通道,给右边四控各分10路通道作为接受数据PCIE通道;下公共NTB给左边四控各分10路通道作为Rx接受数据PCIE通道,给右边四控各分10路通道作为发送数据PCIE通道。固件层面上利用PEX8733 NTB芯片的直接地址转换方式,将NTB芯片的NTx(多发送通道)口配置为映射到多个目标设备的方式,多个目标设备即为NTB另一侧的多控制器,这样配置保证NTB桥一侧控制器处理的数据包,可以通过NTB转换到多台已配置好设备地址的另一侧控制器上,保证了数据向多台控制器备份的可实现性。
请参考图3,图3为本申请实施例所提供的一种数据备份算法流程图。
本实施例在算法上提供了与拓扑结构相配套的双公共NTB存储数据管理流程算法,系统正常工作时的算法流程图如图3所示:当存储设备正常工作时,存储控制器主板上的CPU作为多核处理器,可以同时并行处理分析服务器HOST端传输的多路数据,而统一时刻多控制器CPU中处理的数据量、数据类型、数据用途、保存地址等都是大相径庭的,因此我们通过公共NTB通路可以实现多路控制器之间的数据共享,而这种传输数据共享的基础是各路控制器间的状态共享。
因此,该算法流程可以包括:
第一步,获取当前Host端传输数据任务下,CPU的工作状态。
第二步,根据此时CPU的工作状态,考虑多路控制器自身数据处理的任务量后,量化的表示出各控制器的任务量大小,是算法流程的核心。考虑到数据处理过程中,所处理的从HOST端传输到存储设备的数据参数各不相同,因此在规划数据处理备份状态时,我们用加权均衡算法来实现规划后的处理器工作量稳定。加权过程的对象是处理器在下一时间节点所要传输处理的数据,加权过程中的每一加权项为所处理数据的参数,参数包含数据量、数据类型、数据用途、保存地址这四项,我们把数据量当作统计的基础单元记为Q,数据类型、数据用途、保存地址这三个参数分别进行量化为相应的权重值。量化过程首先要列举出以上三个权重参数的具体情况,其中保存地址为数据存储到相应SSD盘的地址,对于这个数据要求的存盘地址我们分为近、中、远三类地址,临近该控制器的SSD盘记为近端地址其权重记为1,中端地址与远端地址所占权重均高于1,具体根据实际应用情况增加,记为a1;数据类型包括最基础的普通文本数据txt、图形数据gif、文件tar等,各类数据按照服务器处理能力的复杂度来赋予权重,其中普通文本数据权重为1,其余高于1,记为a2;服务器中的数据按用途分为元数据、系统数据、参照数据、事务数据四大类,同样将元数据的权重记为1,其余几类数据的权重根据实际情况进行分配,记为a3。通过这种方式,表示出三个权重参数的权重分别为a1、a2、a3,与权重相对应假设一台控制器上所需处理上述三种权重参数的数据量为Q,基于上述举例分析,本专利给出存储控制器的工作量G衡量公式如下:
Figure 107342DEST_PATH_IMAGE001
其中,该公式表示了三种权重参数与各自对应的数据量乘积之和,其中权重参数分别为a1、a2、a3,公式中的每一部分不只是简单相乘,以a1乘Q为例,Q为当前阶段所处理的数据总量,该数据量中的不同部分可能包含不同地址的数据,因此a1乘Q含义为Q中的每一部分数据量与该部分数据量对应地址的权重乘积之和,同理,a2乘Q含义为Q中的每一部分数据量与该部分数据量对应数据类型的权重乘积之和,a3乘Q含义为Q中的每一部分数据量与该部分数据量对应数据用途的权重乘积之和。按照该公式计算出各存储控制器工作量G之后,分别对NTB桥左右两端的G进行排序,排序得到左右两端控制器的工作量排名。
第三步,对控制器的工作量衡量完成后,进行数据备份任务的分配,数据备份所需的工作量与处理当前数据所需的工作量一致,因此在备份过程中,NTB桥左端数据处理量任务最重的控制器,数据备份到NTB桥右端数据处理量任务最轻的控制器,并依次类推,NTB桥左端数据处理任务量最轻的控制器,数据备份到NTB桥右端数据处理量任务最重的控制器。通过这种备份方式,可以保证每台控制器上“数据处理+数据备份”任务量之和达到平衡状态,这使得控制器处理数据更高效,各控制器处理数据时间也跟接近,在相近的时间内,各控制器同时高效的完成数据处理与备份任务。此外,在控制器处理数据并备份的过程中,需要对当前阶段的数据处理与备份的服务器进行记录,并以日志的方式进行保存,确保后面的数据下盘过程不会出现混乱。
请参考图4,图4为本申请实施例所提供的一种多控制器的数据备份方法的异常处理流程图。
系统中的一路或多路控制器出现异常时,算法流程图如图4所示:首先对异常状况进行分析,分析出当前时刻下该控制器故障(其所承担的数据处理、备份任务瘫痪)对整个系统的影响,分析出该路控制器中的处理数据与备份数据情况,需要将该控制器处理数据、备份数据的任务分配给其他处理器。分析过程包括了对数据特征的提取分析,将该控制器处理的数据分为高、中、低三个重要等级,数据重要等级决定了处理与备份过程的先后顺序;在分析完成后,对数据处理任务进行再分配规划,同样是基于均衡算法的思路,保证异常控制器所承担的任务可以有效分配给其余正常工作的控制器,该再分配规划分为初始再分配与优化再分配两部,目的是为了通过快速的初始再分配保证短时间内数据传输任务顺利进行,不会出现耽搁而影响系统正常运行,初始分配将分析到的高重要级数据进行相邻备份,服务器前端将该控制器中所处理的数据、所需备份的数据交给相邻的两个控制器进行紧急的处理,保证重要数据不会丢失;而优化再分配是在初始分配基础上进行运行中的二次分配,保证了控制器上不会出现数据处理任务分配不均而带来的CPU工作过载等问题,再分配依据之前给出的的工作量衡量方法,将控制器的工作量任务再次进行排序(此时异常控制器相邻的两路控制器工作量会相对增加),排序完成后将中、低重要级数据分配给工作量最少的两台控制器进行处理,并以日志方式记录问题与再分配情况。
可见,本实施例的一种基于双公共NTB的多控制器存储设备优化方法与拓扑结构,该拓扑过程可以充分地利用了公共NTB桥的传输数据功能,在多控制器间提供了公共的数据传输通道,一方面可以减少NTB桥片数量,摒弃了以往研究中多控制器间两两相互采用NTB桥的传统涉及思路,极大程度上减小了设计成本,另一方面通过公共NTB将多控制器互联可以保证数据传输、备份的可靠性,当一台或多台控制器出现异常情况时,可以利用其他控制器分担该控制器的数据处理任务,从而提高了数据备份可靠性,降低了数据丢包的风险。此外,本发明提供的相配合的数据管理算法可以提高控制器之间数据传输、备份的效率,保证了各控制器间的工作均衡,使NTB桥数据传输功能发挥到最大,异常时刻的数据再分配算法也可有效保证出现异常时数据备份的不中断,异常控制器上的数据可以被正常控制器备份,保证了存储设备的安全可靠性,保证用户数据不会再异常时刻丢失而带来的成本损失。
本实施例通过先获取主机端的处理器工作状态,然后基于处理器工作状态确定每个存储控制器可以运行的任务量,并基于任务量确定对应的备份数据的任务量,最后按照确定的备份数据的任务量执行备份任务,实现了在两个NTB通道芯片的情况下,均衡每个存储控制器的任务量,实现数据备份,降低了硬件成本的同时,提高了数据备份的效率。
下面对本申请实施例提供的多控制器的数据备份装置进行介绍,下文描述的多控制器的数据备份装置与上文描述的多控制器的数据备份方法可相互对应参照。
请参考图5,图5为本申请实施例所提供的一种多控制器的数据备份装置的结构示意图。
本实施例中,该装置可以包括:
工作状态获取模块100,用于获取主机端的处理器工作状态;
任务量评估模块200,用于基于处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个存储控制器的任务量;其中,所有存储控制器的数量大于两个,所有控制器之间连接有两个单向传输的公共NTB通道芯片;
任务量均衡模块300,用于基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;
备份任务执行模块400,用于通过公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。
可选的,该任务量评估模块200,具体用于基于处理器工作状态对每个存储控制器进行加权均衡计算,得到每个存储控制器的任务量。
可选的,该任务量评估模块200,具体用于基于处理器工作状态确定下一时间节点处理数据的参数;其中,参数包括数据量、数据类型、数据用途以及保存地址;将数据类型、数据用途以及保存地址作为权重,将数据量作为每个权重的参数,并加权计算,得到每个存储控制器的任务量。
可选的,该任务量均衡模块300,具体用于控制公共NTB通道芯片的左端的任务量最大的控制器,向公共NTB通道芯片的右端的任务量最小的控制器下发备份数据的任务,并依次类推;控制公共NTB通道芯片的左端的任务量最小的控制器,向公共NTB通道芯片的右端的任务量最大的控制器下发备份数据的任务,并依次类推。
可选的,该备份任务执行模块400,具体用于通过上公共NTB通道芯片和下公共NTB通道芯片分别对左半区存储控制器和右半区存储控制器执行备份任务。
可选的,该装置还可以包括:异常处理模块,用于当一路存储控制器或多路存储控制器出现异常时,进行故障分析,得到待分配数据处理任务和待分配数据备份任务;将待分配数据处理任务和待分配数据备份任务分配至其他存储控制器。
本申请还提供了一种终端设备,请参考图6,图6本申请实施例所提供的一种终端设备的结构示意图,该终端设备可包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时可实现如上述任意一种多控制器的数据备份方法的步骤。
如图6所示,为终端设备的组成结构示意图,终端设备可以包括:处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中,处理器10可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序,具体的,处理器10可以执行异常IP识别方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序,程序可以包括程序代码,程序代码包括计算机操作指令,在本申请实施例中,存储器11中至少存储有用于实现以下功能的程序:
获取主机端的处理器工作状态;
基于处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个存储控制器的任务量;其中,所有存储控制器的数量大于两个,所有控制器之间连接有两个单向传输的公共NTB通道芯片;
基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;
通过公共NTB通道芯片和每个存储控制器的备份数据的任务量对对应的控制器执行备份任务。
在一种可能的实现方式中,存储器11可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及至少一个功能所需的应用程序等;存储数据区可存储使用过程中所创建的数据。
此外,存储器11可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口,用于与其他设备或者系统连接。
当然,需要说明的是,图6所示的结构并不构成对本申请实施例中终端设备的限定,在实际应用中终端设备可以包括比图6所示的更多或更少的部件,或者组合某些部件。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现如上述任意一种多控制器的数据备份方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例,本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种多控制器的数据备份方法、数据备份装置、终端设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (19)

1.一种多控制器的数据备份方法,其特征在于,包括:
获取主机端的处理器工作状态;
基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量;其中,所有所述存储控制器的数量大于两个,所有所述控制器之间连接有两个单向传输的公共NTB通道芯片;
基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;
通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对控制器执行备份任务;
其中,基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量,包括:
控制公共NTB通道芯片的左端的任务量最大的控制器,向公共NTB通道芯片的右端的任务量最小的控制器下发备份数据的任务,并依次类推;
控制公共NTB通道芯片的左端的任务量最小的控制器,向公共NTB通道芯片的右端的任务量最大的控制器下发备份数据的任务,并依次类推。
2.根据权利要求1所述的数据备份方法,其特征在于,基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量,包括:
基于所述处理器工作状态对每个所述存储控制器进行加权均衡计算,得到每个所述存储控制器的任务量。
3.根据权利要求2所述的数据备份方法,其特征在于,基于所述处理器工作状态对每个所述存储控制器进行加权均衡计算,得到每个所述存储控制器的任务量,包括:
基于所述处理器工作状态确定下一时间节点处理数据的参数;其中,参数包括数据量、数据类型、数据用途以及保存地址;
将所述数据类型、所述数据用途以及所述保存地址作为权重,将所述数据量作为每个所述权重的参数,并加权计算,得到每个所述存储控制器的任务量。
4.根据权利要求3所述的数据备份方法,其特征在于,还包括:
当得到每个存储控制器的任务量,分别对所述公共NTB通道芯片左右两端的存储控制器的任务量进行排序。
5.根据权利要求1所述的数据备份方法,其特征在于,还包括:
执行处理数据的任务和备份数据的任务时,对处理数据的任务和备份数据的任务的服务器进行记录,得到并保存日志数据。
6.根据权利要求1所述的数据备份方法,其特征在于,所有所述存储控制器分为左半区存储控制器和右半区存储控制器,所述两个单向传输的公共NTB通道芯片包括上公共NTB通道芯片和下公共NTB通道芯片;
其中,所述左半区存储控制器上的PCIE发送通道与上公共NTB通道芯片相连,用于发送数据,右半区存储控制器上的PCIE接收通道与上公共NTB通道芯片相连,用于接收数据;其中,左半区存储控制器上的PCIE接收通道与下公共NTB通道芯片相连,用于接收数据,右半区存储控制器上的PCIE发送通道与下公共NTB通道芯片相连,用于发送数据。
7.根据权利要求6所述的数据备份方法,其特征在于,通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对控制器执行备份任务,包括:
通过所述上公共NTB通道芯片和所述下公共NTB通道芯片分别对所述左半区存储控制器和所述右半区存储控制器执行备份任务。
8.根据权利要求1所述的数据备份方法,其特征在于,还包括:
当一路存储控制器或多路存储控制器出现异常时,进行故障分析,得到待分配数据处理任务和待分配数据备份任务;
将所述待分配数据处理任务和所述待分配数据备份任务分配至其他存储控制器。
9.根据权利要求8所述的数据备份方法,其特征在于,当一路存储控制器或多路存储控制器出现异常时,进行故障分析,得到待分配数据处理任务和待分配数据备份任务,包括:
当一路存储控制器或多路存储控制器出现异常时,进行数据特征提取,得到数据特征;
基于所述数据特征进行故障分析,得到所述待分配数据处理任务和所述待分配数据备份任务。
10.根据权利要求8所述的数据备份方法,其特征在于,将所述待分配数据处理任务和所述待分配数据备份任务分配至其他存储控制器,包括:
对每个所述待分配数据处理任务和每个所述待分配数据备份任务进行优先级分析,得到每个任务的优先级;
基于每个任务的优先级将所述待分配数据处理任务和所述待分配数据备份任务分配至其他存储控制器。
11.根据权利要求10所述的数据备份方法,其特征在于,还包括:
以日志的方式记录故障信息和任务分配情况信息。
12.一种存储控制系统,其特征在于,包括:多个存储控制器、两个公共NTB通道芯片以及硬盘;
其中,每个所述公共NTB通道芯片分别于每个所述存储控制器的数据通道连接,每个所述控制器于所述硬盘连接;
所述公共NTB通道芯片用于和每个存储控制器的备份数据的任务量对存储控制器执行备份任务,以便实现控制公共NTB通道芯片的左端的任务量最大的控制器,向公共NTB通道芯片的右端的任务量最小的控制器下发备份数据的任务,并依次类推,控制公共NTB通道芯片的左端的任务量最小的控制器,向公共NTB通道芯片的右端的任务量最大的控制器下发备份数据的任务,并依次类推。
13.根据权利要求12所述的存储控制系统,其特征在于,所述存储控制器的数量为双数,所述多个存储控制器包括左半区存储控制器和右半区存储控制器。
14.根据权利要求13所述的存储控制系统,其特征在于,所述两个公共NTB通道芯片包括上公共NTB通道芯片和下公共NTB通道芯片。
15.根据权利要求14所述的存储控制系统,其特征在于,所述左半区存储控制器上的PCIE发送通道与上公共NTB通道芯片相连,用于发送数据,右半区存储控制器上的PCIE接收通道与上公共NTB通道芯片相连,用于接收数据;其中,左半区存储控制器上的PCIE接收通道与下公共NTB通道芯片相连,用于接收数据,右半区存储控制器上的PCIE发送通道与下公共NTB通道芯片相连,用于发送数据。
16.根据权利要求15所述的存储控制系统,其特征在于,所述上公共NTB通道芯片对所述左半区存储控制器和所述右半区存储控制器执行备份任务;
所述下公共NTB通道芯片对所述左半区存储控制器和所述右半区存储控制器执行备份任务。
17.一种多控制器的数据备份装置,其特征在于,包括:
工作状态获取模块,用于获取主机端的处理器工作状态;
任务量评估模块,用于基于所述处理器工作状态对每个存储控制器的进行任务量评估计算,得到每个所述存储控制器的任务量;其中,所有所述存储控制器的数量大于两个,所有所述控制器之间连接有两个单向传输的公共NTB通道芯片;
任务量均衡模块,用于基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量;
备份任务执行模块,用于通过所述公共NTB通道芯片和每个存储控制器的备份数据的任务量对控制器执行备份任务;
其中,基于每个存储控制器的任务量和每个存储控制器的处理数据的任务量确定对应的备份数据的任务量,包括:
控制公共NTB通道芯片的左端的任务量最大的控制器,向公共NTB通道芯片的右端的任务量最小的控制器下发备份数据的任务,并依次类推;控制公共NTB通道芯片的左端的任务量最小的控制器,向公共NTB通道芯片的右端的任务量最大的控制器下发备份数据的任务,并依次类推。
18.一种终端设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至11任一项所述的数据备份方法的步骤。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的数据备份方法的步骤。
CN202211508014.5A 2022-11-29 2022-11-29 一种多控制器的数据备份方法及相关装置 Active CN115543636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211508014.5A CN115543636B (zh) 2022-11-29 2022-11-29 一种多控制器的数据备份方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211508014.5A CN115543636B (zh) 2022-11-29 2022-11-29 一种多控制器的数据备份方法及相关装置

Publications (2)

Publication Number Publication Date
CN115543636A CN115543636A (zh) 2022-12-30
CN115543636B true CN115543636B (zh) 2023-03-21

Family

ID=84722040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211508014.5A Active CN115543636B (zh) 2022-11-29 2022-11-29 一种多控制器的数据备份方法及相关装置

Country Status (1)

Country Link
CN (1) CN115543636B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116841835B (zh) * 2023-08-31 2023-11-07 安擎计算机信息股份有限公司 一种运行状态监测方法、装置和服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114756176A (zh) * 2022-04-22 2022-07-15 浪潮电子信息产业股份有限公司 一种多控存储系统、数据处理方法、装置及介质
CN115202938A (zh) * 2022-09-13 2022-10-18 苏州浪潮智能科技有限公司 一种非透明桥管理方法、装置、控制器及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101080A1 (zh) * 2015-12-17 2017-06-22 华为技术有限公司 处理写请求的方法、处理器和计算机
CN109298837A (zh) * 2018-09-13 2019-02-01 郑州云海信息技术有限公司 一种多控制器缓存备份方法、装置、设备及可读存储介质
CN112835519B (zh) * 2021-01-29 2023-03-14 杭州海康威视数字技术股份有限公司 一种数据读取方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114756176A (zh) * 2022-04-22 2022-07-15 浪潮电子信息产业股份有限公司 一种多控存储系统、数据处理方法、装置及介质
CN115202938A (zh) * 2022-09-13 2022-10-18 苏州浪潮智能科技有限公司 一种非透明桥管理方法、装置、控制器及介质

Also Published As

Publication number Publication date
CN115543636A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US7444459B2 (en) Methods and systems for load balancing of virtual machines in clustered processors using storage related load information
Ahmad et al. Tarazu: optimizing mapreduce on heterogeneous clusters
US20060155912A1 (en) Server cluster having a virtual server
US20050154576A1 (en) Policy simulator for analyzing autonomic system management policy of a computer system
CN111813330B (zh) 用于分派输入-输出的系统及方法
US9906596B2 (en) Resource node interface protocol
US11489735B2 (en) Dynamic network allocation apparatus, dynamic network allocation method and non-transitory computer-readable medium
CN115543636B (zh) 一种多控制器的数据备份方法及相关装置
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN104102543A (zh) 一种云计算环境中负载调整的方法和装置
Isaila et al. Collective I/O tuning using analytical and machine learning models
CN108519917A (zh) 一种资源池分配方法和装置
CN102855218A (zh) 数据处理系统、方法及装置
US11500691B2 (en) Predictive scaling of datacenters
CN111858458A (zh) 一种互联通道的调整方法、装置、系统、设备和介质
US9830188B2 (en) Methods and systems for calculating statistical quantities in a computing environment
CN111338579B (zh) 基于存储池的读写缓存优化方法、系统、终端及存储介质
CN115840649B (zh) 划分容量块式虚拟资源分配方法及装置、存储介质和终端
Zhao et al. Insight and reduction of MapReduce stragglers in heterogeneous environment
Ji et al. An online virtual machine placement algorithm in an over-committed cloud
WO2024113721A1 (zh) 一种多控制器的数据备份方法及相关装置
CN106201711A (zh) 一种任务处理方法及服务器
CN108279968A (zh) 一种虚拟机资源的调度方法及装置
CN107273198B (zh) 一种ssd控制芯片的中断控制方法、装置及ssd设备
CN112000477A (zh) 一种pod中负载均衡的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant