CN105430103A - 一种基于多控存储的动态负载均衡系统 - Google Patents

一种基于多控存储的动态负载均衡系统 Download PDF

Info

Publication number
CN105430103A
CN105430103A CN201511032433.6A CN201511032433A CN105430103A CN 105430103 A CN105430103 A CN 105430103A CN 201511032433 A CN201511032433 A CN 201511032433A CN 105430103 A CN105430103 A CN 105430103A
Authority
CN
China
Prior art keywords
layer
controller
controllers
target layer
lun
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511032433.6A
Other languages
English (en)
Inventor
唐金荣
梁吉林
李延彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201511032433.6A priority Critical patent/CN105430103A/zh
Publication of CN105430103A publication Critical patent/CN105430103A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种基于多控存储的动态负载均衡系统，该系统包括：Target层，缓存层，存储池，磁盘，以及位于Target层和缓存层之间的IO处理层；所述IO处理层，用于实时监控两个控制器的资源使用情况以及IO量，分析、计算和调度两个控制器之间的资源。该系统实现提高阵列整体的资源利用率。

Description

一种基于多控存储的动态负载均衡系统
技术领域
本发明涉及计算机存储技术领域，特别是涉及一种基于多控存储的动态负载均衡系统。
背景技术
目前，存储区域网络(StorageAreaNetworkandSANProtocols，SAN)是一种高速网络或子网络，提供在计算机与存储系统之间的数据传输。存储设备是指一台或多台用以存储计算机数据的磁盘设备，通常指磁盘阵列。
现有的磁盘阵列通常包括两个或多个控制器，俗称双控或多控。常见的存储控制器工作模式包括A/A(Active/Active)、A/P(Active/Positive)、ALUA(AsymmetricLogicalUnitAccess)三种。A/P时单控制器负载IO，这个无需讨论。A/A和ALUA时两个控制器都可以负载IO，而如何最大化利用两个控制器各自的资源，使得IOPS最大化，这是需要考虑的问题。一般的存储阵列IO栈抽象起来，主要涉及到：Target层、缓存、存储池、磁盘，即一般的IO流为Target层→缓存→存储池→磁盘，对于阵列来说，可以通过配置客户端多路径软件来决定IO走那条链路、哪个控制器，但这是一种静态的配置方式，无法实现动态分配，传统的阵列可能控制器A满负载，而控制器B空负载或低负载，这就使得阵列整体的资源利用率不合理。
发明内容
本发明的目的是提供一种基于多控存储的动态负载均衡系统，以实现提高阵列整体的资源利用率。
为解决上述技术问题，本发明提供一种基于多控存储的动态负载均衡系统，该系统包括：
Target层，缓存层，存储池，磁盘，以及位于Target层和缓存层之间的IO处理层；
所述IO处理层，用于实时监控两个控制器的资源使用情况以及IO量，分析、计算和调度两个控制器之间的资源。
优选的，所述Target层用于通过通知机制向客户端通知LUN属主的变化情况。
优选的，所述IO处理层包括：
IO监控模块，用于监控Target层的每个HBA卡端口或者每个网口的IO负载率，监控每个LUN的IO来源，并统计和记录监控得到的数据；
IO计算模块，用于对监控得到的统计数据做分析和计算，制定调度策略；
IO调度模块，用于执行调度策略。
优选的，所述调度策略为切换LUN的控制器属性的策略或者切换HBA端口的优先级的策略。
优选的，所述IO处理层还包括：
IO路由模块，用于从所述Target层接收IO流，分析得到IO流的控制器属性，依据所述控制器属性判断将IO流通过路由方式发送到控制器还是直接下发到缓存层。
优选的，所述IO处理层还包括：
IO通信模块，用于在两个控制器之间进行通信和交换数据。
优选的，所述Target层还用于通过通知机制向客户端通知Target层的HBA端口的优先级的变化情况。
优选的，所述存储池用于提供LUN属主切换功能。
本发明所提供的一种基于多控存储的动态负载均衡系统，该系统包括：Target层，缓存层，存储池，磁盘，以及位于Target层和缓存层之间的IO处理层；所述IO处理层，用于实时监控两个控制器的资源使用情况以及IO量，分析、计算和调度两个控制器之间的资源。可见，该系统在Target层和缓存层之间，增加了一个IO处理层，用来实时监控两个控制器的资源使用情况以及IO量，分析和计算、调度两个控制器之间的资源，使得两个控制器之间资源以及存储阵列IO实现负载均衡，提高阵列整体的资源利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明所提供一种基于多控存储的动态负载均衡系统的结构示意图；
图2为IO处理层的位置示意图；
图3为IO处理层的具体结构示意图。
具体实施方式
本发明的核心是提供一种基于多控存储的动态负载均衡系统，以实现提高阵列整体的资源利用率。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供一种基于多控存储的动态负载均衡系统的结构示意图，所述系统包括：
Target层101，缓存层103，存储池104，磁盘105，以及位于Target层101和缓存层103之间的IO处理层102；
IO处理层102，用于实时监控两个控制器的资源使用情况以及IO量，分析、计算和调度两个控制器之间的资源。
其中，Target层用于通过通知机制向客户端通知LUN属主的变化情况。
其中，存储池用于提供LUN属主切换功能。
其中，所述系统应用于控制器上。每个控制器中可设置一个该系统。
可见，该系统在Target层和缓存层之间，增加了一个IO处理层，用来实时监控两个控制器的资源使用情况以及IO量，分析和计算、调度两个控制器之间的资源，使得两个控制器之间资源以及存储阵列IO实现负载均衡，提高阵列整体的资源利用率。
需要说明的是，IO处理层不仅作用于两个控制器之间的资源调监控和调度，IO处理层也能作用于多个控制器之间的资源监控和调度，，IO处理器也用于监控多个控制器的资源使用情况以及IO量，分析、计算和调度多个控制器之间的资源。
一般的磁盘阵列中，特别是双控或多控，其模式主要包括Active-Active、Active-Passive、ALUA。
AP模式由于工作原理限制，导致只能有一个控制器为Active来进行业务处理，另一个控制器为备份，因此，本发明的系统不应用于AP模式。
AA模式中的LUN没有属主，在两个控制器下均可见，且两个控制器均能处理业务，即从控制器A和控制器B的数据都能直接写到磁盘上。本发明的系统能够应用于AA模式。
ALUA为AP的改进，LUN有属主，比如LUN属主为控制器A，那么从控制器A接收的数据可以直接写到磁盘上，而从控制器B接收的数据则只能先转发到控制器A，再由控制器A写到磁盘上。本发明的系统能够应用于ALUA模式。
本发明提供的一种基于多控存储的动态负载均衡系统，动态监控和调整两个或者多个控制器的负载情况，使得两个控制器能达到负载均衡，提高了控制器的利用率、链路的利用率、减少了控制器之间的转发，以此来提高IO读写性能。该系统在Target和缓存层之间，增加了一个IO处理层，用来实时监控两个控制器的资源使用情况以及IO量，分析和计算、调度两个控制器之间的资源，存储池提供LUN属主切换功能，Target通过通知机制，通知客户端LUN属主发生变化，使得两个控制器之间资源以及存储阵列IO实现负载均衡。
可选的，IO处理层包括：
IO监控模块，用于监控Target层的每个HBA卡端口或者每个网口的IO负载率，监控每个LUN的IO来源，并统计和记录监控得到的数据；
IO计算模块，用于对监控得到的统计数据做分析和计算，制定调度策略；
IO调度模块，用于执行调度策略。
其中，LUN是在存储池上划分的一个虚拟设备；
其中，调度策略为切换LUN的控制器属性的策略或者切换HBA端口的优先级的策略。IO调度模块用于切换LUN的控制器属性或者切换HBA端口的优先级。
可选的，IO处理层还包括：IO路由模块，用于从Target层接收IO流，分析得到IO流的控制器属性，依据控制器属性判断将IO流通过路由方式发送到控制器还是直接下发到缓存层。
其中，IO处理层还包括：IO通信模块，用于在两个控制器之间进行通信和交换数据。
其中，Target层还用于通过通知机制向客户端通知Target层的HBA端口的优先级的变化情况。
可见，该系统提高了控制器的利用率、链路的利用率、减少了控制器之间的转发，以此来提高IO读写性能。
基于所述系统，具体的，Target层即为存储阵列的Target层，包括IPSAN或者FCSAN，Target作为阵列接收IO的入口，IO指IO流，其物理部件包括以太网卡(IPSAN)或者FCHBA卡(FCSAN)，即IO流通过客户端的以太网卡或者HBA卡，经过以太网络或者FC交换网络，到达存储阵列的以太网卡或者HBA卡。一般对于一个存储阵列来说，以太网卡或者HBA卡都不止一个端口，通常是多端口的，至于IO流从哪个链路和端口传输，一般由客户端多路径软件决定。多路径软件能感知到IO路径的优先级，这是需要设置或者存储端反馈的。
Target层将接收到的IO流下发到IO处理层。IO处理层接收IO流，并分析判断IO流的控制器属性，根据IO流的控制器属性，决定是要路由到对端控制器还是下发到本端控制器的缓存层，即若IO流的控制器属性为A，若是控制器A的Target层接收到该IO流，则IO处理层直接将IO流下发到本端控制器的缓存层；若是控制器B接收到，则IO处理层将IO流路由到控制器A。
详细的，IO处理层监控记录每个IO流的LUN控制器属性及IO路径属性，IO路径属性即为IO流通过的那块HBA卡的端口或者那块以太网卡的端口，并且IO处理层分别以LUN和路径为单位，统计每个LUN的所有IO流的控制器属性，以及每条路径的IO数量。
IO处理层以控制器ID小的控制器为主节点，每隔一个检测周期，主节点通过IO处理层的通信模块，收集其它节点的IO处理层统计的数据，以LUN为单位进行汇总分析，其包括的属性为：{控制器A的IO、控制器B的IO、.....}，IO指IO流。IO计算模块根据这些属性的具体值进行计算分析，如LUN1属主控制器A，若其属性控制器A的IO大于设定的阀值例如75％，则控制器属性不做变动；若其属性控制器B的IO值大于设定的阀值例如75％，则控制器属性切换到B，即将LUN1的属主改为控制器A，这样就减少了2个控制器之间转发带来的性能损失。对于统计的路径IO数量，则根据每条路径的IO负载情况，来平衡每个路径的负载，使得每条路径负载保存基本一致。
IO调度模块来具体执行制定策略，即调度策略，IO调度模块可以对LUN的控制器属性或者HBA端口的优先级进行调度，由IO调度模块切换LUN的控制器属主属性，切换HBA端口的优先级等。即IO调度器调用存储池实现LUN的控制器属主属性切换，以及Target层的路径优先切换，然后通过Target来通知客户端多路径软件，客户端多路径软件根据存储端反馈的信息来调整路径优先级以及LUN属主，以此实现多控存储的动态智能负载均衡。
可见，所述系统实现动态监控和调整两个或者多个控制器的负载情况，使得两个控制器能达到负载均衡。
具体的，所述系统应用于控制器上。每个控制器中可设置一个该系统。参考图2和图3，图2为IO处理层的位置示意图，图3为IO处理层的具体结构示意图。图2和图3中，IO接收、分析和路由模块指代所述IO路由模块，IO监控、统计模块指代所述IO监控模块，IO处理层通信模块指代所述IO通信模块，IO分析和计算模块指代所述IO计算模块，IO处理调度模块指代所述IO调度模块，图中的Target指代Target层，缓存指缓存层。
其中，在Target和缓存层之间，增加IO处理层。
IO处理层包括：
IO接收、分析和路由模块，用来从Target接收IO，并分析判断IO的控制器属性，以此来将IO路由到对端控制器还是直接到缓存层；
IO监控、统计模块，用来监控Target每个HBA卡端口或者每个网口的IO负载率，以及每个LUN的IO来源，并记录统计；
IO处理层通信模块，用来在两个控制器之间IO处理层内部通信及交换数据；
IO分析和计算模块，用来对实时监控及统计数据做分析和计算，根据一定得算法，制定执行策略；
IO处理调度模块，用来具体执行制定策略，如切换LUN的控制器属主属性，切换HBA端口的优先级。
其中，存储池提供LUN属主切换功能；Target提供通知机制，通知各客户端LUN属主及TargetHBA端口的优先级变化情况。
综上，本发明所提供的一种基于多控存储的动态负载均衡系统，该系统包括：Target层，缓存层，存储池，磁盘，以及位于Target层和缓存层之间的IO处理层；IO处理层，用于实时监控两个控制器的资源使用情况以及IO量，分析、计算和调度两个控制器之间的资源。可见，该系统在Target层和缓存层之间，增加了一个IO处理层，用来实时监控两个控制器的资源使用情况以及IO量，分析和计算、调度两个控制器之间的资源，使得两个控制器之间资源以及存储阵列IO实现负载均衡，提高阵列整体的资源利用率。
以上对本发明所提供的一种基于多控存储的动态负载均衡系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于多控存储的动态负载均衡系统，其特征在于，包括：
Target层，缓存层，存储池，磁盘，以及位于Target层和缓存层之间的IO处理层；
所述IO处理层，用于实时监控两个控制器的资源使用情况以及IO量，分析、计算和调度两个控制器之间的资源。
2.如权利要求1所述的系统，其特征在于，所述Target层用于通过通知机制向客户端通知LUN属主的变化情况。
3.如权利要求1所述的系统，其特征在于，所述IO处理层包括：
IO监控模块，用于监控Target层的每个HBA卡端口或者每个网口的IO负载率，监控每个LUN的IO来源，并统计和记录监控得到的数据；
IO计算模块，用于对监控得到的统计数据做分析和计算，制定调度策略；
IO调度模块，用于执行调度策略。
4.如权利要求3所述的系统，其特征在于，所述调度策略为切换LUN的控制器属性的策略或者切换HBA端口的优先级的策略。
5.如权利要求3所述的系统，其特征在于，所述IO处理层还包括：
IO路由模块，用于从所述Target层接收IO流，分析得到IO流的控制器属性，依据所述控制器属性判断将IO流通过路由方式发送到控制器还是直接下发到缓存层。
6.如权利要求3所述的系统，其特征在于，所述IO处理层还包括：
IO通信模块，用于在两个控制器之间进行通信和交换数据。
7.如权利要求2所述的系统，其特征在于，所述Target层还用于通过通知机制向客户端通知Target层的HBA端口的优先级的变化情况。
8.如权利要求1至7中任意一项所述的系统，其特征在于，所述存储池用于提供LUN属主切换功能。
CN201511032433.6A 2015-12-31 2015-12-31 一种基于多控存储的动态负载均衡系统 Pending CN105430103A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511032433.6A CN105430103A (zh) 2015-12-31 2015-12-31 一种基于多控存储的动态负载均衡系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511032433.6A CN105430103A (zh) 2015-12-31 2015-12-31 一种基于多控存储的动态负载均衡系统

Publications (1)

Publication Number Publication Date
CN105430103A true CN105430103A (zh) 2016-03-23

Family

ID=55508039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511032433.6A Pending CN105430103A (zh) 2015-12-31 2015-12-31 一种基于多控存储的动态负载均衡系统

Country Status (1)

Country Link
CN (1) CN105430103A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354436A (zh) * 2016-09-20 2017-01-25 郑州云海信息技术有限公司 一种基于分布式ipsan的存储系统
CN106873907A (zh) * 2017-01-09 2017-06-20 中国电子科技集团公司第五十二研究所 一种多控制器存储阵列读写负载均衡方法及装置
CN107340973A (zh) * 2017-07-05 2017-11-10 郑州云海信息技术有限公司 一种访问异步逻辑单元的方法及系统
CN107632788A (zh) * 2017-09-26 2018-01-26 郑州云海信息技术有限公司 一种多控存储系统io调度的方法及多控存储系统
CN107678689A (zh) * 2017-09-27 2018-02-09 郑州云海信息技术有限公司 一种数据写入的方法及装置
CN111190546A (zh) * 2019-12-30 2020-05-22 深圳创新科软件技术有限公司 一种基于alua和本地缓存的分布式块存储性能优化方法
CN111782139A (zh) * 2020-06-17 2020-10-16 杭州宏杉科技股份有限公司 路径切换方法及装置
CN116048413A (zh) * 2023-02-08 2023-05-02 苏州浪潮智能科技有限公司 多路径存储的io请求处理方法、装置、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014059800A1 (zh) * 2012-10-17 2014-04-24 华为技术有限公司 数据交互方法及装置
CN104333586A (zh) * 2014-10-31 2015-02-04 山东超越数控电子有限公司 一种基于光纤链路的san存储设计方法
CN104461733A (zh) * 2014-11-24 2015-03-25 浪潮电子信息产业股份有限公司 一种高端磁盘阵列多控制器间的并行io调度方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014059800A1 (zh) * 2012-10-17 2014-04-24 华为技术有限公司 数据交互方法及装置
CN104333586A (zh) * 2014-10-31 2015-02-04 山东超越数控电子有限公司 一种基于光纤链路的san存储设计方法
CN104461733A (zh) * 2014-11-24 2015-03-25 浪潮电子信息产业股份有限公司 一种高端磁盘阵列多控制器间的并行io调度方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354436A (zh) * 2016-09-20 2017-01-25 郑州云海信息技术有限公司 一种基于分布式ipsan的存储系统
CN106873907A (zh) * 2017-01-09 2017-06-20 中国电子科技集团公司第五十二研究所 一种多控制器存储阵列读写负载均衡方法及装置
CN107340973A (zh) * 2017-07-05 2017-11-10 郑州云海信息技术有限公司 一种访问异步逻辑单元的方法及系统
CN107340973B (zh) * 2017-07-05 2021-04-13 郑州云海信息技术有限公司 一种访问异步逻辑单元的方法及系统
CN107632788A (zh) * 2017-09-26 2018-01-26 郑州云海信息技术有限公司 一种多控存储系统io调度的方法及多控存储系统
CN107678689A (zh) * 2017-09-27 2018-02-09 郑州云海信息技术有限公司 一种数据写入的方法及装置
CN111190546A (zh) * 2019-12-30 2020-05-22 深圳创新科软件技术有限公司 一种基于alua和本地缓存的分布式块存储性能优化方法
CN111190546B (zh) * 2019-12-30 2023-10-20 深圳创新科软件技术有限公司 一种基于alua和本地缓存的分布式块存储性能优化方法
CN111782139A (zh) * 2020-06-17 2020-10-16 杭州宏杉科技股份有限公司 路径切换方法及装置
CN116048413A (zh) * 2023-02-08 2023-05-02 苏州浪潮智能科技有限公司 多路径存储的io请求处理方法、装置、系统及存储介质
CN116048413B (zh) * 2023-02-08 2023-06-09 苏州浪潮智能科技有限公司 多路径存储的io请求处理方法、装置、系统及存储介质

Similar Documents

Publication Publication Date Title
CN105430103A (zh) 一种基于多控存储的动态负载均衡系统
US10895984B2 (en) Fabric attached storage
Mann et al. Remedy: Network-aware steady state VM management for data centers
US9898427B2 (en) Method and apparatus for accessing multiple storage devices from multiple hosts without use of remote direct memory access (RDMA)
KR101827369B1 (ko) 데이터 스트림 분산 병렬 처리 서비스 관리 장치 및 방법
CA2942665C (en) Coordinated admission control for network-accessible block storage
US8893146B2 (en) Method and system of an I/O stack for controlling flows of workload specific I/O requests
US20140317206A1 (en) Switched direct attached shared storage architecture
US20080141264A1 (en) Methods and systems for load balancing of virtual machines in clustered processors using storage related load information
US20130124668A1 (en) Dynamic streaming data dispatcher
US9641431B1 (en) System and methods for utilization-based balancing of traffic to an information retrieval system
CN101631139A (zh) 基于多核平台的负载均衡软件架构及方法
CN101770346A (zh) 一种多控制器磁盘阵列协调调度方法
CN104301430A (zh) 软件定义存储系统、方法及其集中控制设备
CN106681839B (zh) 弹性计算动态分配方法
JP2019095971A (ja) ストレージシステム、ストレージ制御装置およびプログラム
Musleh et al. Bridging the virtualization performance gap for HPC using SR-IOV for InfiniBand
CN102984082B (zh) 一种网络服务质量控制方法及装置
CN105704180B (zh) 数据中心网络的配置方法及其系统
CN107145310A (zh) 一种实现网络存储io瓶颈优化的方法、装置及系统
JP2023539212A (ja) ストレージレベルの負荷分散
Ma et al. SE-PSO: resource scheduling strategy for multimedia cloud platform based on security enhanced virtual migration
CN107220124B (zh) 一种路径选择方法及装置
Rahimi et al. Energy efficient virtual machine placement algorithm with balanced resource utilization based on priority of resources
CN107273198B (zh) 一种ssd控制芯片的中断控制方法、装置及ssd设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323

RJ01 Rejection of invention patent application after publication