CN107526544A - 一种分布式存储Ceph集群硬件选型设计方法 - Google Patents
一种分布式存储Ceph集群硬件选型设计方法 Download PDFInfo
- Publication number
- CN107526544A CN107526544A CN201710700575.8A CN201710700575A CN107526544A CN 107526544 A CN107526544 A CN 107526544A CN 201710700575 A CN201710700575 A CN 201710700575A CN 107526544 A CN107526544 A CN 107526544A
- Authority
- CN
- China
- Prior art keywords
- distributed storage
- design method
- ssd
- disks
- disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式存储Ceph集群硬件选型设计方法,属于分布式存储技术领域,主要解决分布式存储Ceph集群硬件选型问题。该方法包括:硬盘类型及容量选型、内存容量配置;CPU配置选型;网络接口类型及网络交换机选型。本发明通过对硬盘、内存、CPU和网络的选型组合,设计出适合不同应用场景的分布式存储Ceph集群配置,合理利用不同硬件性能,提高集群硬件性价比。
Description
技术领域
本发明涉及一种分布式存储Ceph集群硬件选型设计方法,属于分布式存储Ceph技术领域。
背景技术
信息技术的快速发展,产生了海量的信息数据,如何存储这些信息以及存储这些信息带来的巨大成本,对企业带来了新的挑战。传统的存储方案的弊端在大数据时代越来越凸显,在这样的背景下,分布式存储系统应运而生,目前常见的分布式存储系统包括GFS、Lustre、Ceph和GlusterFS等。其中开源的Ceph作为一个可靠的、可扩展的、统一的、分布式的存储系统解决方案,尤其受到Open Stack的带动,越来越受企业的欢迎。
在对海量数据进行存储的过程中,性能和成本控制往往是鱼与熊掌不可兼得;在分析Ceph的架构设计和工作方式之后,我们力图在降低成本,兼顾性能的前提下,提出适合Ceph的存储集群硬件选型设计方案。
发明内容
本发明提供一种分布式存储Ceph集群硬件选型设计方法,在存储海量数据的过程中,考虑不同的应用场景,兼顾性能和成本控制,降低数据存储的成本,充分利用硬件的性能,提高存储集群的性价比。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种分布式存储Ceph集群硬件选型设计方法,该方法具体包括以下几个步骤:
(1)根据不同应用场景需求进行硬盘选择;
(2)根据不同应用场景需求选择内存和CPU;
(3)根据不同应用场景需求进行集群网络配置。
作为本发明的进一步优化方案,步骤(1)中SATA盘用作存储盘,SAS盘用作系统盘,SSD盘作为journal盘,SAS/SATA SSD作为日志盘。
作为本发明的进一步优化方案,其特征在于,步骤(1)中使用两块SAS盘做RAID1冗余。
作为本发明的进一步优化方案,其特征在于,使用两块SSD做RAID 1提高日志盘的可靠性。
作为本发明的进一步优化方案,Ceph通过CRUSH算法计算获取所要访问数据的位置信息。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明在存储海量数据的过程中,考虑不同的应用场景,兼顾性能和成本控制,降低数据存储的成本,充分利用硬件的性能,提高存储集群的性价比。
附图说明
图1是分布式存储Ceph示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明设计一种如图1所示的分布式存储Ceph集群硬件选型设计方法,包括以下步骤:
(1)根据不同应用场景需求进行硬盘选择;
(2)根据不同应用场景需求选择内存和CPU;
(3)根据不同应用场景需求进行集群网络配置。
步骤(1)中,目前,企业使用广泛的硬盘有SATA、SAS和SSD三种类型,三种类型的硬盘性能不同,应用场景各异,不同类型磁盘对比如下:
(1-1)SATA和SAS硬盘都是机械硬盘,都采用串行接口,不同的是SATA盘使用Serial ATA接口,SAS盘采用串行连接SCSI(Serial Attached SCSI)接口。与SATA盘相比,SAS盘的读写速度更快,性能更好,价格也更贵。
考虑到性能和成本,SATA盘适合用作存储盘发挥其容量大并且廉价的优势,SAS盘适合用作系统盘。尤其对于Ceph这种软件定义的存储系统来说,操作系统的稳定性至关重要,为了数据安全和系统性能,存储盘与系统盘分离,使用SAS盘作为系统盘,同时为了增加系统可靠性,使用两块SAS盘做RAID1冗余。
(1-2)SSD摒弃了传统的机械硬盘结构和磁介质,采用Flash或者DRAM作为存储介质,从根本上突破了机械硬盘的性能瓶颈,SSD被认为是未来存储技术发展的标杆。SSD性能突出价格也是不菲,在目前,把SSD作为存储介质并不是一个经济的选择;但是随着电路集成技术的发展,SSD的容量在不断升高,价格也在不断下降,相信在不久的将来,SSD也可以取代机械硬盘,为存储带来革命性的的变化。
在当前SSD价格下,全部使用SSD作为存储带来的成本是很多企业不能接受的,但是我们依旧可以适当使用SSD带来性能上的提升。Ceph集群进行I/O操作的时候首先将数据写入OSD journal,然后再从OSD journal将数据写入OSD,journal既可以是与OSD相同的硬盘上的一个分区,也可以是单独的journal盘。在这种机制下,Ceph任何写入首先写入日志,然后是再写入后备存储。将SSD盘作为journal盘能够显著提高整个集群的性能,同时又不会带来成本的很大提高。使用SAS/SATA SSD作为日志盘时,根据SSD硬盘与机械硬盘的读写速度对比,日志盘与存储盘的数量比例如下:
Nj/Ns≤4
其中,Nj表示日志盘的数量,Ns表示存储盘的数量。
使用PCIe或NVMe SSD作为日志盘时,日志盘和存储盘的数量比例如下:
Nj/Ns≤k(12≤k≤18)
在使用SSD作为日志盘的时候,为了不使日志容量成为集群读写的瓶颈,共享该SSD日志盘的OSD数量与SSD日志盘的容量的比例为:
Cj/Nosd≥s(10GB≤s≤20GB)
其中,Cj表示SSD日志盘的容量,Nosd表示共享同一个SSD日志盘的OSD的数量。
一般来说,每个OSD 10GB~20GB的日志盘空间已经能满足要求,但是更大的日志盘可以带来更好的性能。通过对比,当容量为800GB时,SATA SSD的性能最好,所以推荐使用800GB容量的SSD盘作为日志盘。
使用SSD作为单独日志盘的一个弊端就是如果日志盘出现故障会导致使用该日志盘的OSD失效,甚至有可能造成数据的丢失。因此,在生产环境中,推荐使用两块SSD做RAID1提高日志盘的可靠性。
步骤(2)中,与其他的分布式存储解决方案不同的是,Ceph不是通过查询元数据服务器而是通过CRUSH(Controlled Replication Under Scalable Hashing)算法通过计算获取所要访问数据的位置信息。
Ceph集群维护着一张描述当前集群状态的图,被称为CRUSH map,CRUSH map是逻辑上的树形结构,树的叶子节点就是OSD,每个OSD对应系统中的一个守护进程。在进行数据的存储和读取操作的时候,CRUSH算法根据CRUSH map来计算出数据存放的具体位置。
CRUSH算法的好处是消除了元数据服务器带来的扩展问题和性能瓶颈,但是同时也增加了CPU的负担,同时会占用大量内存。在日常运行时,内存和OSD数量的关系是:
NRAM/Nosd≥1GB
其中,NRAM表示内存容量,Nosd表示OSD数量即OSD守护进程数量。
但是如果集群发生故障可能会发生大规模数据迁移和恢复,会消耗更多的内存,否则会对集群恢复的效率造成严重的影响。在生产环境中,必须要考虑到集群故障恢复的情况,此时,内存的要求如下:
NRAM/(Nosd*Cosd)≥l(1GB≤l≤2GB)
其中,Cosd表示每个OSD的容量(TB)。
OSD节点需要与Monitor节点实时通信,在CephFS中,OSD还需要通过MDS节点获取元数据,所以Monitor节点和MDS节点都是对内存敏感的,一般情况下每个Monitor和MDS守护进程需要2GB左右的内存。在生产环境中,如果Ceph集群的规模较小,为了节约成本,很多时候会将Monitor与OSD安装到同一台服务器上,在这种情况下,一定要考虑为同时作为Monitor节点和OSD节点的服务器增加更多的内存。
Ceph OSD运行RADOS服务,需要通过CRUSH来计算数据的存放位置,复制数据,以及维护Cluster Map的拷贝,在使用多副本进行数据冗余的方式时,OSD和CPU配置的关系如下:
(Ncpu*Ncore*Fclock)/Nosd≥1
其中,Ncpu表示CPU的数目,Ncore表示每个CPU的内核数量,Fclock表示CPU的频率(GHz)。
如果集群使用纠删码的方式保证数据冗余,那么OSD对CPU的新能要求更高,在使用纠删码的情况下将每个OSD进程与CPU的Core进行进程绑定,OSD与CPU的关系如下:
(Ncpu*Ncore)/Nosd≥1
Monitor节点主要维护了Cluster Map的信息,在运行过程中并不需要占用很多的CPU资源,一般情况下,一个CPU内核就可以满足Monitor节点的需求。但是MDS节点需要更多的CPU资源,每个MDS守护进程至少需要4个CPU内核。
步骤(3)中,Ceph集群使用对内和对外两个网络,对外网络用于对外部用户提供服务,Ceph集群依赖内部网维持集群的文档,Monitor节点需要通过内部网络时刻监视OSD的心跳,同时数据的复制也要通过内部网络进行。SSD读写速度每块可达到500MB/s,为了不使网络成为Ceph集群的性能瓶颈,推荐使用万兆网络;这样就要求服务器配置两个万兆光口,同时配备主备两台万兆交换机。
为了对外提供更优异的性能,同样使用万兆光口对外提供服务,万兆光口进行冗余配置,连接到外部万兆交换机,提高系统的性能,在实际应用中,用户可以根据需求选择集群节点连接对外交换机,并不要求将所有节点连接到外部交换机作为对外服务接入点。
考虑到系统部署和后续集群维护等工作,服务器使用独立网口用于系统部署和集群维护等工作,这些工作并不需要很高的网络速度,千兆网口已经完全可以满足需求。
如表1所示的高性能应用场景硬件配置,高性能场景下的Ceph集群追求高的IOPS,为了达到这个目的,就需要使用性能更好的SSD硬盘、PCIE SSD或者NVMe作为高性能的存储节点;这种场景下一般用于存储那些经常访问的热数据,并使用纠删码提高存储空间的使用率。
表1高性能场景集群硬件选型配置
如表2所示的通用场景硬件配置,通用场景在考虑到性能的同时兼顾成本,与高性能场景的全SSD不同,该场景下仅仅使用SSD盘作为日志盘来进行IO加速。
表2通用场景集群硬件选型配置
如表3所示的大容量应用场景硬件配置,大容量应用为了降低存储成本,全部使用大容量的机械硬盘作为存储节点,同时为了提供存储空间的利用率,推荐使用纠删码方式。
表3大容量应用场景集群硬件选型配置
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种分布式存储Ceph集群硬件选型设计方法,其特征在于,该方法具体包括以下几个步骤:
(1)根据不同应用场景需求进行硬盘选择;
(2)根据不同应用场景需求选择内存和CPU;
(3)根据不同应用场景需求进行集群网络配置。
2.根据权利要求1所述的一种分布式存储Ceph集群硬件选型设计方法,其特征在于,步骤(1)中SATA盘用作存储盘,SAS盘用作系统盘,SSD盘作为journal盘,SAS/SATA SSD作为日志盘。
3.根据权利要求1所述的一种分布式存储Ceph集群硬件选型设计方法,其特征在于,步骤(1)中使用两块SAS盘做RAID1冗余。
4.根据权利要求2所述的一种分布式存储Ceph集群硬件选型设计方法,其特征在于,使用两块SSD做RAID 1提高日志盘的可靠性。
5.根据权利要求1所述的一种分布式存储Ceph集群硬件选型设计方法,其特征在于,Ceph通过CRUSH算法计算获取所要访问数据的位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710700575.8A CN107526544A (zh) | 2017-08-16 | 2017-08-16 | 一种分布式存储Ceph集群硬件选型设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710700575.8A CN107526544A (zh) | 2017-08-16 | 2017-08-16 | 一种分布式存储Ceph集群硬件选型设计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107526544A true CN107526544A (zh) | 2017-12-29 |
Family
ID=60681335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710700575.8A Pending CN107526544A (zh) | 2017-08-16 | 2017-08-16 | 一种分布式存储Ceph集群硬件选型设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107526544A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108846064A (zh) * | 2018-06-06 | 2018-11-20 | 南京群顶科技有限公司 | 基于ceph的动态链式存储集群实现方法 |
CN109408482A (zh) * | 2018-12-17 | 2019-03-01 | 浪潮电子信息产业股份有限公司 | 一种数据存储方法、系统、设备及计算机可读存储介质 |
CN109407983A (zh) * | 2018-10-08 | 2019-03-01 | 郑州云海信息技术有限公司 | 一种分布式文件存储系统的加载磁盘方法 |
CN109508144A (zh) * | 2018-08-30 | 2019-03-22 | 郑州云海信息技术有限公司 | 一种日志处理方法及相关装置 |
CN110222014A (zh) * | 2019-06-11 | 2019-09-10 | 苏州浪潮智能科技有限公司 | 分布式文件系统crush map维护方法及相关组件 |
CN110531936A (zh) * | 2019-08-29 | 2019-12-03 | 西安交通大学 | 基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法 |
CN110825512A (zh) * | 2019-11-08 | 2020-02-21 | 东南数字经济发展研究院 | 一种通用的分布式系统设计及其c++实现 |
CN111190548A (zh) * | 2019-12-30 | 2020-05-22 | 创新科技术有限公司 | 一种基于SPDK的ceph分布式存储性能提升方法、装置及设备 |
CN113032186A (zh) * | 2021-05-24 | 2021-06-25 | 广东睿江云计算股份有限公司 | 一种基于raid与ceph的数据存储方法及其系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104254853A (zh) * | 2012-04-25 | 2014-12-31 | 株式会社日立制作所 | 文件存储系统和文件克隆方法 |
US20160011816A1 (en) * | 2014-07-09 | 2016-01-14 | Nexenta Systems, Inc. | Method to optimize inline i/o processing in tiered distributed storage systems |
CN105659213A (zh) * | 2013-10-18 | 2016-06-08 | 日立数据系统工程英国有限公司 | 无共享分布式存储系统中的目标驱动独立数据完整性和冗余恢复 |
CN205490680U (zh) * | 2016-04-01 | 2016-08-17 | 北京轻元科技有限公司 | 基于通用服务器和通用交换机的高可用云计算系统 |
CN107046563A (zh) * | 2017-01-19 | 2017-08-15 | 无锡华云数据技术服务有限公司 | 一种分布式高效云盘的实现方法、系统及云平台 |
-
2017
- 2017-08-16 CN CN201710700575.8A patent/CN107526544A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104254853A (zh) * | 2012-04-25 | 2014-12-31 | 株式会社日立制作所 | 文件存储系统和文件克隆方法 |
CN105659213A (zh) * | 2013-10-18 | 2016-06-08 | 日立数据系统工程英国有限公司 | 无共享分布式存储系统中的目标驱动独立数据完整性和冗余恢复 |
US20160011816A1 (en) * | 2014-07-09 | 2016-01-14 | Nexenta Systems, Inc. | Method to optimize inline i/o processing in tiered distributed storage systems |
CN205490680U (zh) * | 2016-04-01 | 2016-08-17 | 北京轻元科技有限公司 | 基于通用服务器和通用交换机的高可用云计算系统 |
CN107046563A (zh) * | 2017-01-19 | 2017-08-15 | 无锡华云数据技术服务有限公司 | 一种分布式高效云盘的实现方法、系统及云平台 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108846064A (zh) * | 2018-06-06 | 2018-11-20 | 南京群顶科技有限公司 | 基于ceph的动态链式存储集群实现方法 |
CN108846064B (zh) * | 2018-06-06 | 2021-07-23 | 南京群顶科技有限公司 | 基于ceph的动态链式存储集群实现方法 |
CN109508144A (zh) * | 2018-08-30 | 2019-03-22 | 郑州云海信息技术有限公司 | 一种日志处理方法及相关装置 |
CN109508144B (zh) * | 2018-08-30 | 2021-08-10 | 郑州云海信息技术有限公司 | 一种日志处理方法及相关装置 |
CN109407983A (zh) * | 2018-10-08 | 2019-03-01 | 郑州云海信息技术有限公司 | 一种分布式文件存储系统的加载磁盘方法 |
CN109407983B (zh) * | 2018-10-08 | 2021-09-28 | 郑州云海信息技术有限公司 | 一种分布式文件存储系统的加载磁盘方法 |
CN109408482A (zh) * | 2018-12-17 | 2019-03-01 | 浪潮电子信息产业股份有限公司 | 一种数据存储方法、系统、设备及计算机可读存储介质 |
CN110222014A (zh) * | 2019-06-11 | 2019-09-10 | 苏州浪潮智能科技有限公司 | 分布式文件系统crush map维护方法及相关组件 |
CN110222014B (zh) * | 2019-06-11 | 2022-03-08 | 苏州浪潮智能科技有限公司 | 分布式文件系统crush map维护方法及相关组件 |
CN110531936A (zh) * | 2019-08-29 | 2019-12-03 | 西安交通大学 | 基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法 |
CN110825512A (zh) * | 2019-11-08 | 2020-02-21 | 东南数字经济发展研究院 | 一种通用的分布式系统设计及其c++实现 |
CN110825512B (zh) * | 2019-11-08 | 2024-05-24 | 东南数字经济发展研究院 | 一种通用的分布式系统设计及其c++实现 |
CN111190548A (zh) * | 2019-12-30 | 2020-05-22 | 创新科技术有限公司 | 一种基于SPDK的ceph分布式存储性能提升方法、装置及设备 |
CN111190548B (zh) * | 2019-12-30 | 2023-09-22 | 创新科技术有限公司 | 一种基于SPDK的ceph分布式存储性能提升方法、装置及设备 |
CN113032186A (zh) * | 2021-05-24 | 2021-06-25 | 广东睿江云计算股份有限公司 | 一种基于raid与ceph的数据存储方法及其系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107526544A (zh) | 一种分布式存储Ceph集群硬件选型设计方法 | |
CN103116661B (zh) | 一种数据库的数据处理方法 | |
CN102222085B (zh) | 一种基于相似性与局部性结合的重复数据删除方法 | |
CN102521072B (zh) | 虚拟磁带库设备及数据恢复方法 | |
CN100419664C (zh) | 存储网络中执行备份操作的方法 | |
CN109783016A (zh) | 一种分布式存储系统中的弹性多维度冗余方法 | |
CN100524235C (zh) | 存储网络中的恢复操作 | |
US20140317206A1 (en) | Switched direct attached shared storage architecture | |
WO2013157032A1 (en) | Storage subsystem and data management method of storage subsystem | |
US8438332B2 (en) | Apparatus and method to maintain write operation atomicity where a data transfer operation crosses a data storage medium track boundary | |
CN102833580B (zh) | 基于infiniband的高清视频应用系统及方法 | |
CN102999442B (zh) | 面向媒体应用的存储系统及方法 | |
CN102024044A (zh) | 分布式文件系统 | |
CN107291889A (zh) | 一种数据存储方法及系统 | |
CN103455577A (zh) | 云主机镜像文件的多备份就近存储和读取方法及系统 | |
CN102323958A (zh) | 重复数据删除方法 | |
CN106844098A (zh) | 一种基于十字交叉纠删编码的快速数据恢复方法及系统 | |
CN103873559A (zh) | 一种高速存储的数据库一体机 | |
CN103516549B (zh) | 一种基于共享对象存储的文件系统元数据日志机制 | |
CN101939737A (zh) | 可扩展的重复数据删除机构 | |
CN107422989B (zh) | 一种Server SAN系统多副本读取方法及存储系统 | |
CN103916459A (zh) | 一种大数据归档存储系统 | |
CN102637147A (zh) | 利用固态硬盘作为计算机写缓存的存储系统以及相应的管理调度方法 | |
CN103761059A (zh) | 一种用于海量数据管理的多盘位存储方法及系统 | |
WO2014094568A1 (zh) | 一种数据存储规划方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171229 |