CN113313004A - 一种基于自监督学习的钢材微观组织分割方法 - Google Patents
一种基于自监督学习的钢材微观组织分割方法 Download PDFInfo
- Publication number
- CN113313004A CN113313004A CN202110568777.8A CN202110568777A CN113313004A CN 113313004 A CN113313004 A CN 113313004A CN 202110568777 A CN202110568777 A CN 202110568777A CN 113313004 A CN113313004 A CN 113313004A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- self
- steel microstructure
- data set
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 42
- 239000010959 steel Substances 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000010438 heat treatment Methods 0.000 claims description 8
- 238000010587 phase diagram Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000227 grinding Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000005498 polishing Methods 0.000 claims description 3
- 238000010791 quenching Methods 0.000 claims description 3
- 230000000171 quenching effect Effects 0.000 claims description 3
- 239000006104 solid solution Substances 0.000 claims description 3
- 238000005496 tempering Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于自监督学习的钢材微观组织分割方法,将实验中获取的钢材金相微观组织图像作为输入数据,再通过搭建的卷积网络模型对金相图进行特征提取得到特征图,同时使用超像素分割算法对原始输入的金相图做初步聚类分割得到超像素分割图,最后对特征图与超像素分割图进行映射,实现自监督学习,实现了准确、高效地对钢材微观组织进行分割的功能。本发明训练得到的模型,适用于钢材微观组织分割领域;本发明无需人工标注,降低了人工成本和时间成本。
Description
技术领域
本发明属于钢材微观组织分割技术领域,具体涉及一种基于自监督学习的钢材微观组织分割方法。
背景技术
金相图是利用金属显微检测技术对金属样品的断面进行拍照而获得的显微照片,它在某种程度上反映了金属在特定工艺条件下所具有的内部结构。微观结构是一种材料的小尺度内部结构,它强烈地影响其机械、化学和电性能,钢材微观组织结构、组成与钢材的性能直接相关。因此,分割金相图已获取其所呈现的微观组织的含量组成是金相图研究及应用的重要环节。
近年来,有不少研究者致力于开发钢材微观组织分割的方法。早期的分割方法基本上停留在图像处理的层面,即利用图像处理算法或程序对金相图进行诸如灰度化、锐化、滤波、分割等处理,但这种方式难以实现对较复杂的复相组织的分割,效果不佳。随着计算机视觉理论和机器学习算法的发展,一些研究者尝试应用深度学习算法来实现对图像的分割,获得了优秀的图像分割效果——这种方法对数据集有严格要求,需要对大量原始图像数据进行人工标注,其中需要的人工成本和时间成本是极高的,因而目前在钢材微观组织分割领域中罕有成果。
发明内容
本发明要解决的技术问题是:提供一种基于自监督学习的钢材微观组织分割方法,用于准确、高效地对钢材微观组织进行分割。
本发明为解决上述技术问题所采取的技术方案为:一种基于自监督学习的钢材微观组织分割方法,包括以下步骤:
S1:选用不同型号的钢材和不同的热处理工艺制备试样,用金相显微镜获取试样的金相图、建立数据集并作为输入数据;
S2:搭建卷积神经网络模型对金相图进行特征提取得到特征图;使用超像素分割算法对金相图做初步聚类分割得到超像素分割图;
S3:对特征图与超像素分割图进行映射,实现自监督学习;
S4:训练卷积神经网络模型并测试性能,通过交互界面对钢材微观组织进行自动化分割。
按上述方案,所述的步骤S1中,具体步骤为:
S11:采用不同牌号的钢材、经由不同的热处理工艺制备试样;
S12:将试样切片、打磨、抛光,用蔡司金相显微镜对每个试样进行观测、照相,获得每个试样的金相图并建立数据集;
S13:将处理好的数据集采用留出法随机划分为训练数据集、测试数据集;
S14:随机打乱训练数据集。
进一步的,所述的步骤S11中,热处理工艺的具体步骤为:将钢材先在特定温度下保温,然后再分别进行包括固溶、正火、淬火、回火的工艺处理。
进一步的,所述的步骤S13中,划分训练数据集、测试数据集的比例为80%:20%。
按上述方案,所述的步骤S2中,具体步骤为:
S21:搭建卷积神经网络模型作为基本框架用于提取特征,向卷积神经网络模型输入金相图,输出特征图;
S22:采用包括SLIC的算法对金相图做聚类分割,得到超像素分割图。
进一步的,所述的步骤S21中,卷积神经网络模型包括四层结构,每层结构均包括网络层、卷积核、步幅、填充、激活操作;四层结构的网络层均为conv2d函数;第一层至第四层结构的卷积核依次包括64个大小为3×3的卷积核、32个大小为1×1的卷积核、64个大小为3×3的卷积核、10个大小为1×1的卷积核;四层结构步幅均为1;第一层至第四层结构的填充依次为1、0、1、0;第一层至第四层结构的激活操作依次为BatchNorm+ReLU、BatchNorm+ReLU、BatchNorm+ReLU、BatchNorm。
进一步的,所述的步骤S3中,具体步骤为:
S31:将特征图与超像素分割图对应,将特征图经argmax操作后的数值作为相应像素的类别,对超像素分割图中的每一个聚类做像素类别统计,以数量最多的类别作为该聚类的全体类别,并作为自监督学习的标签;
S32:将步骤S31中获取的标签与步骤S21中获取的特征图进行映射。
进一步的,所述的步骤S4中,具体步骤为:
S41:用训练数据集训练卷积神经网络模型;
S42:训练完成后,设金相图的宽为N,金相图的高为M,分割区域的数量为R,第i个区域的面积为Ai,第i个区域的平均颜色误差为ei 2,基于F准则:
并采用测试数据集对卷积神经网络模型的性能进行测试与评估;
S43:保存性能最优的已训练模型;
S44:制作人机交互界面;
S45:操作人机交互界面,通过已训练模型对钢材微观组织进行自动化分割。
一种计算机存储介质,其内存储有可被计算机处理器执行的计算机程序,该计算机程序执行一种基于自监督学习的钢材微观组织分割方法。
本发明的有益效果为:
1.本发明的一种基于自监督学习的钢材微观组织分割方法,利用现有的原始金相图数据,基于卷积神经网络和超像素分割算法,通过对金相图数据的自监督学习,实现了准确、高效地对钢材微观组织进行分割的功能。
2.本发明无需人工标注,降低了人工成本和时间成本。
3.本发明训练得到的模型,适用于钢材微观组织分割领域,实现了高效率、高准确率的分割效果。
附图说明
图1是本发明实施例的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1,本发明实施例的一种基于自监督学习的钢材微观组织分割方法,包括以下步骤:
(1)建立数据集;选用不同型号的钢材和不同的热处理工艺制备试样,用金相显微镜获取相应金相图数据。具体经过以下流程:
①采用不同牌号的钢材、经由不同的热处理工艺(先在特定温度下保温,然后再分别进行固溶、正火、淬火、回火等工艺处理)制备试样;
②将试样切片、打磨、抛光,用蔡司金相显微镜对每个试样进行观测、照相,获得每个试样的金相图;
③将处理好的数据集用留出法随机划分为训练数据集、测试数据集,比例为80%:20%;
④随机打乱训练数据集。
(2)构建网络模型;
①特征图提取:构建卷积神经网络作为基本框架用以特征图的提取,金相图作为输入,特征图为输出。网络的参考结构如下:
参考网络结构
网络层 | 卷积核 | stride | padding | 激活操作 |
conv2d | 64@3×3 | 1 | 1 | BatchNorm+ReLU |
conv2d | 32@1×1 | 1 | 0 | BatchNorm+ReLU |
conv2d | 64@3×3 | 1 | 1 | BatchNorm+ReLU |
conv2d | 10@1×1 | 1 | 0 | BatchNorm |
②超像素分割:采用SLIC(simple linear iterativeclustering)等算法对金相图做聚类分割,获得超像素分割图;
③标签获取:将特征图与超像素分割图对应,特征图经argmax操作后的数值作为相应像素的类别,对超像素分割图中每一个聚类最像素类别统计,以数量最多的类别作为该聚类的全体类别。这个结果作为本发明中自监督学习的标签。
④映射:将步骤③中获取的标签与步骤①中获取的特征图进行映射。
(3)训练与测试;
②保存性能最优的已训练模型,制作交互界面,实现对钢材微观组织的自动化分割。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
Claims (9)
1.一种基于自监督学习的钢材微观组织分割方法,其特征在于:包括以下步骤:
S1:选用不同型号的钢材和不同的热处理工艺制备试样,用金相显微镜获取试样的金相图、建立数据集并作为输入数据;
S2:搭建卷积神经网络模型对金相图进行特征提取得到特征图;使用超像素分割算法对金相图做初步聚类分割得到超像素分割图;
S3:对特征图与超像素分割图进行映射,实现自监督学习;
S4:训练卷积神经网络模型并测试性能,通过交互界面对钢材微观组织进行自动化分割。
2.根据权利要求1所述的一种基于自监督学习的钢材微观组织分割方法,其特征在于:所述的步骤S1中,具体步骤为:
S11:采用不同牌号的钢材、经由不同的热处理工艺制备试样;
S12:将试样切片、打磨、抛光,用蔡司金相显微镜对每个试样进行观测、照相,获得每个试样的金相图并建立数据集;
S13:将处理好的数据集采用留出法随机划分为训练数据集、测试数据集;
S14:随机打乱训练数据集。
3.根据权利要求2所述的一种基于自监督学习的钢材微观组织分割方法,其特征在于:所述的步骤S11中,热处理工艺的具体步骤为:将钢材先在特定温度下保温,然后再分别进行包括固溶、正火、淬火、回火的工艺处理。
4.根据权利要求2所述的一种基于自监督学习的钢材微观组织分割方法,其特征在于:所述的步骤S13中,划分训练数据集、测试数据集的比例为80%:20%。
5.根据权利要求1所述的一种基于自监督学习的钢材微观组织分割方法,其特征在于:所述的步骤S2中,具体步骤为:
S21:搭建卷积神经网络模型作为基本框架用于提取特征,向卷积神经网络模型输入金相图,输出特征图;
S22:采用包括SLIC的算法对金相图做聚类分割,得到超像素分割图。
6.根据权利要求5所述的一种基于自监督学习的钢材微观组织分割方法,其特征在于:所述的步骤S21中,卷积神经网络模型包括四层结构,每层结构均包括网络层、卷积核、步幅、填充、激活操作;
四层结构的网络层均为conv2d函数;
第一层至第四层结构的卷积核依次包括64个大小为3×3的卷积核、32个大小为1×1的卷积核、64个大小为3×3的卷积核、10个大小为1×1的卷积核;
四层结构步幅均为1;
第一层至第四层结构的填充依次为1、0、1、0;
第一层至第四层结构的激活操作依次为BatchNorm+ReLU、BatchNorm+ReLU、BatchNorm+ReLU、BatchNorm。
7.根据权利要求5所述的一种基于自监督学习的钢材微观组织分割方法,其特征在于:所述的步骤S3中,具体步骤为:
S31:将特征图与超像素分割图对应,将特征图经argmax操作后的数值作为相应像素的类别,对超像素分割图中的每一个聚类做像素类别统计,以数量最多的类别作为该聚类的全体类别,并作为自监督学习的标签;
S32:将步骤S31中获取的标签与步骤S21中获取的特征图进行映射。
9.一种计算机存储介质,其特征在于:其内存储有可被计算机处理器执行的计算机程序,该计算机程序执行如权利要求1至权利要求8中任意一项所述的一种基于自监督学习的钢材微观组织分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110568777.8A CN113313004A (zh) | 2021-05-25 | 2021-05-25 | 一种基于自监督学习的钢材微观组织分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110568777.8A CN113313004A (zh) | 2021-05-25 | 2021-05-25 | 一种基于自监督学习的钢材微观组织分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113313004A true CN113313004A (zh) | 2021-08-27 |
Family
ID=77374470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110568777.8A Pending CN113313004A (zh) | 2021-05-25 | 2021-05-25 | 一种基于自监督学习的钢材微观组织分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313004A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080304740A1 (en) * | 2007-06-06 | 2008-12-11 | Microsoft Corporation | Salient Object Detection |
JP2009295028A (ja) * | 2008-06-06 | 2009-12-17 | Nikon Corp | 画像処理方法及び画像処理装置 |
EP3261018A1 (en) * | 2016-06-23 | 2017-12-27 | Conti Temic microelectronic GmbH | Device and method for object recognition of an input image for a vehicle |
CN108009559A (zh) * | 2016-11-02 | 2018-05-08 | 哈尔滨工业大学 | 一种基于空谱联合信息的高光谱数据分类方法 |
CN108460383A (zh) * | 2018-04-11 | 2018-08-28 | 四川大学 | 基于神经网络与图像分割的图像显著性精化方法 |
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
CN111160478A (zh) * | 2019-12-31 | 2020-05-15 | 北京理工大学重庆创新中心 | 一种基于深度学习的高光谱目标显著性检测方法 |
CN111369576A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
CN112435264A (zh) * | 2020-10-30 | 2021-03-02 | 西安交通大学 | 一种基于深度学习的42CrMo单相金相组织分割方法及系统 |
-
2021
- 2021-05-25 CN CN202110568777.8A patent/CN113313004A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080304740A1 (en) * | 2007-06-06 | 2008-12-11 | Microsoft Corporation | Salient Object Detection |
JP2009295028A (ja) * | 2008-06-06 | 2009-12-17 | Nikon Corp | 画像処理方法及び画像処理装置 |
EP3261018A1 (en) * | 2016-06-23 | 2017-12-27 | Conti Temic microelectronic GmbH | Device and method for object recognition of an input image for a vehicle |
CN108009559A (zh) * | 2016-11-02 | 2018-05-08 | 哈尔滨工业大学 | 一种基于空谱联合信息的高光谱数据分类方法 |
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
CN108460383A (zh) * | 2018-04-11 | 2018-08-28 | 四川大学 | 基于神经网络与图像分割的图像显著性精化方法 |
CN111160478A (zh) * | 2019-12-31 | 2020-05-15 | 北京理工大学重庆创新中心 | 一种基于深度学习的高光谱目标显著性检测方法 |
CN111369576A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
CN112435264A (zh) * | 2020-10-30 | 2021-03-02 | 西安交通大学 | 一种基于深度学习的42CrMo单相金相组织分割方法及系统 |
Non-Patent Citations (4)
Title |
---|
ABDULKADIR ALBAYRAK 等: "A hybrid Method of Superpixel Segmentation Algorithm and Deep Learning Method in Histopathological Image Segmentation", 《2018 IEEE》 * |
M. BORSOTTI 等: "Quantitative evaluation of color image segmentation results", 《ELSEVIER》 * |
姜圆香: "基于数字图像处理的钢中碳化物金相分析", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 * |
肖海波: "图像处理在定量金相分析中的应用", <中国优秀硕士学位论文全文数据库 信息科技辑> * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200750B (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
CN110111344A (zh) | 病理切片图像分级方法、装置、计算机设备和存储介质 | |
CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
CN111462042A (zh) | 癌症预后分析方法及系统 | |
CN112508953B (zh) | 基于深度神经网络的脑膜瘤快速分割定性方法 | |
CN111027590B (zh) | 一种结合深度网络特征和机器学习模型的乳腺癌数据分类方法 | |
CN111161272B (zh) | 一种基于生成对抗网络的胚胎组织分割方法 | |
CN110288613B (zh) | 一种超高像素的组织病理图像分割方法 | |
CN114038037B (zh) | 基于可分离残差注意力网络的表情标签修正和识别方法 | |
CN109712128A (zh) | 特征点检测方法、装置、计算机设备和存储介质 | |
CN112508808A (zh) | 基于生成对抗网络的ct双域联合金属伪影校正方法 | |
CN114387270B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111899259A (zh) | 一种基于卷积神经网络的前列腺癌组织微阵列分级方法 | |
CN111047559B (zh) | 一种数字病理切片异常区域快速检测的方法 | |
CN111667407B (zh) | 一种深度信息引导的图像超分辨率方法 | |
CN113435481A (zh) | 一种基于生成对抗网络的肝脏肿瘤图像增广方法 | |
CN113313004A (zh) | 一种基于自监督学习的钢材微观组织分割方法 | |
Krishna et al. | Stain normalized breast histopathology image recognition using convolutional neural networks for cancer detection | |
CN115906937A (zh) | 一种可解释的cnn分类模型的模型剪枝方法 | |
CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
CN112669288B (zh) | 基于数字病理图像的细胞靶点表达预测方法、系统及装置 | |
CN114821146A (zh) | 一种基于增强的弱监督细粒度阿尔兹海默症分类方法 | |
CN112906690A (zh) | 一种车牌分割模型训练方法、车牌分割方法及相关装置 | |
CN114332037A (zh) | 一种自动分割胰腺癌病理切片中多类组织的方法及装置 | |
CN117830518A (zh) | 一种细胞组织三维重构和细胞分析方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210827 |