CN112381795A - 一种基于深度学习的树木年轮自动检测方法 - Google Patents

一种基于深度学习的树木年轮自动检测方法 Download PDF

Info

Publication number
CN112381795A
CN112381795A CN202011278500.3A CN202011278500A CN112381795A CN 112381795 A CN112381795 A CN 112381795A CN 202011278500 A CN202011278500 A CN 202011278500A CN 112381795 A CN112381795 A CN 112381795A
Authority
CN
China
Prior art keywords
model
data
automatic detection
deep learning
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011278500.3A
Other languages
English (en)
Inventor
潘晓光
张海轩
焦璐璐
张娜
张雅娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Sanyouhe Smart Information Technology Co Ltd
Original Assignee
Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Sanyouhe Smart Information Technology Co Ltd filed Critical Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority to CN202011278500.3A priority Critical patent/CN112381795A/zh
Publication of CN112381795A publication Critical patent/CN112381795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于树木年轮检测技术领域，具体涉及一种基于深度学习的树木年轮自动检测方法，包括下列步骤：数据获取；图像去模糊；数据归一化：对数据进行Min‑Max归一化；数据划分；数据扩充；模型构建；模型保存当模型的损失函数不再下降，评价指标达到最优且趋于稳定之后，保存模型。本发明通过使用合成方法进行图像扩充，解决了由于数据量过少造成模型过拟合、检测性能难以提升的问题，通过将Mask‑RCNN模型中的Mask预测独立进行，消除由坐标偏差导致的实例分割误差，提高模型的检测性能。该模型的构建可以解决目前自动化方法仍然需要大量用户进行交互的问题，加快落叶松年轮圆盘检测时间，提高检测效率。本发明用于树木年轮的检测。

Description

一种基于深度学习的树木年轮自动检测方法
技术领域
本发明属于树木年轮检测技术领域，具体涉及一种基于深度学习的树木年轮自动检测方法。
背景技术
树木年轮宽度是气候和历史数据的重要来源，为树木年代学家、气候学家、考古学家等提供了重要的数据来源。但测量这些宽度通常需要大量的手工工作。
现有技术存在的问题或者缺陷：在计算机视觉和机器学习领域，这一任务的自动化已经取得了相当大的进展，但大多数自动化方法仍然需要大量的用户交互，比如标记中心或测量路径。同时树木年轮中环的变形，双环或缺失环，以及在木材上的切割等情况的发生使可靠的识别极其困难。
发明内容
针对上述自动化方法需要大量的用户交互的技术问题，本发明提供了一种误差小、检测性能强、检测效率高的基于深度学习的树木年轮自动检测方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于深度学习的树木年轮自动检测方法，包括下列步骤：
S1、数据获取：对林场中的落叶松按解析木要求分段截取树木圆盘，待风干后进行扫描获得年轮圆盘图像，该圆盘未经打磨、抛光等复杂操作，属于原始圆盘，同时对圆盘中的年轮圈数进行手工标记；
S2、图像去模糊：通过基于正则化的图像非盲去模糊方法对扫描图像进行去模糊处理；
S3、数据归一化：对数据进行Min-Max归一化；
S4、数据划分：经过S3的数据归一化后，对预处理的数据进行划分，将其中的10％作为测试集所用的图片，且剩余图片用于模型的训练过程；
S5、数据扩充：通过合成方法实现数据扩充，将训练集中的图像作为前景对象，将图像中的年轮进行随机颜色的填充，并且与黑色背景融合形成新的图片，提高模型检测性能；
S6、模型构建：通过改进Mask-RCNN深度卷积神经网络构建落叶松树木年轮自动检测模型；
S7、模型保存：当模型的损失函数不再下降，评价指标达到最优且趋于稳定之后，保存模型。
所述S2中正则化的图像非盲去模糊方法的公式为：
Figure BDA0002779933430000021
所述
Figure BDA0002779933430000022
是数据保真项，所述
Figure BDA0002779933430000023
表示L2范数，所述R(u)表示复原图像u的正则化约束式，所述λu为正则化参数，用于平衡数据保真项和正则化约束式之间的权重比例。
所述S6中模型构建的方法为：先输入图像经过缩放以后，再输入特征提取主干网络,生成更具有更高阶特征的特征图,实现多个分支与区域建议网络的特征共享。
实现所述特征共享后，通过RPN部分帮助网络生成可能存在目标的候选区域边界框，且对于每一个三通道的图像中每一个位置都会生成9个候选窗口。
所述S6中的模型构建采用ResNet-FPN作为主干网络，所述ResNet模型采用残差连接实现网络深度的增加，所述残差连接公式如下：
F(x)＝H(x)-x
所述H(x)为残差网络的输出，所述F(x)为经过卷积操作的输出。
所述S6中的模型构建通过特征金字塔网络的结构构建不同尺度的高级语义特征图，通过将自底向上的特征图通过横向连接与自顶向下的特征图合并，生成高分辨率和具有准确空间信息的特征图，其公式如下：
F＝[F1,F2,F3,F4]
其中Fi(i＝1,2,3,4)分别为经过特征金字塔网络后获得的预测图，F为融合后的特征图，之后对融合的特征图分别进行分类、边界框回归和Mask预测。
对得到的融合特征图进行全连接操作，然后进行分类，所述分类使用sigmoid函数获得分类结果。
所述边界框回归通过对坐标进行平移和尺度变换实现回归操作，具体公式如下：
Figure BDA0002779933430000024
所述x,y表示边框的中心位置；所述w和h表示边框的宽和高；所述Px、Py、Pw、Ph表示输入的候选区域的边框,所述
Figure BDA0002779933430000025
是修正后的边框，所述dx和dy表示平移和尺度变换算法。
所述mask预测和分类是同步进行的，在预测的时候获得分类结果，之后将此结果传入mask预测中得到mask。
本发明与现有技术相比，具有的有益效果是：
本发明通过使用合成方法进行图像扩充，解决了由于数据量过少造成模型过拟合、检测性能难以提升的问题，通过将Mask-RCNN模型中的Mask预测独立进行，消除由坐标偏差导致的实例分割误差，提高模型的检测性能。该模型的构建可以解决目前自动化方法仍然需要大量用户进行交互的问题，加快落叶松年轮圆盘检测时间，提高检测效率。
附图说明
图1为本发明的工作流程图；
图2为本发明的步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于深度学习的树木年轮自动检测方法，如图1、图2所示，包括下列步骤：
步骤1、数据获取：对林场中的落叶松按解析木要求分段截取树木圆盘，待风干后进行扫描获得年轮圆盘图像，该圆盘未经打磨、抛光等复杂操作，属于原始圆盘，同时对圆盘中的年轮圈数进行手工标记；
步骤2、图像去模糊：通过基于正则化的图像非盲去模糊方法对扫描图像进行去模糊处理；
步骤3、数据归一化：对数据进行Min-Max归一化；
步骤4、数据划分：经过步骤3的数据归一化后，对预处理的数据进行划分，将其中的10％作为测试集所用的图片，且剩余图片用于模型的训练过程；
步骤5、数据扩充：通过合成方法实现数据扩充，将训练集中的图像作为前景对象，将图像中的年轮进行随机颜色的填充，并且与黑色背景融合形成新的图片，提高模型检测性能；
步骤6、模型构建：通过改进Mask-RCNN深度卷积神经网络构建落叶松树木年轮自动检测模型；
步骤7、模型保存：当模型的损失函数不再下降，评价指标达到最优且趋于稳定之后，保存模型。
进一步，步骤2中正则化的图像非盲去模糊方法的公式为：
Figure BDA0002779933430000031
其中：
Figure BDA0002779933430000032
是数据保真项，
Figure BDA0002779933430000033
表示L2范数，R(u)表示复原图像u的正则化约束式，λu为正则化参数，用于平衡数据保真项和正则化约束式之间的权重比例。
进一步，步骤6中模型构建的方法为：先输入图像经过缩放以后，再输入特征提取主干网络,生成更具有更高阶特征的特征图,实现多个分支与区域建议网络的特征共享。
进一步，实现特征共享后，通过RPN部分帮助网络生成可能存在目标的候选区域边界框，且对于每一个三通道的图像中每一个位置都会生成9个候选窗口。
进一步，步骤6中的模型构建采用ResNet-FPN作为主干网络，ResNet模型采用残差连接实现网络深度的增加，残差连接公式如下：
F(x)＝H(x)-x
其中：H(x)为残差网络的输出，F(x)为经过卷积操作的输出。
进一步，步骤6中的模型构建通过特征金字塔网络的结构构建不同尺度的高级语义特征图，通过将自底向上的特征图通过横向连接与自顶向下的特征图合并，生成高分辨率和具有准确空间信息的特征图，其公式如下：
F＝[F1,F2,F3,F4]
其中Fi(i＝1,2,3,4)分别为经过特征金字塔网络后获得的预测图，F为融合后的特征图，之后对融合的特征图分别进行分类、边界框回归和Mask预测。
进一步，对得到的融合特征图进行全连接操作，然后进行分类，分类使用sigmoid函数获得分类结果。
进一步，边界框回归通过对坐标进行平移和尺度变换实现回归操作，具体公式如下：
Figure BDA0002779933430000041
其中：x,y表示边框的中心位置；w和h表示边框的宽和高；Px、Py、Pw、Ph表示输入的候选区域的边框,
Figure BDA0002779933430000042
是修正后的边框，dx和dy表示平移和尺度变换算法。
进一步，mask预测和分类是同步进行的，在预测的时候获得分类结果，之后将此结果传入mask预测中得到mask。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的树木年轮自动检测方法，其特征在于：包括下列步骤：
S1、数据获取：对林场中的落叶松按解析木要求分段截取树木圆盘，待风干后进行扫描获得年轮圆盘图像，该圆盘未经打磨、抛光等复杂操作，属于原始圆盘，同时对圆盘中的年轮圈数进行手工标记；
S2、图像去模糊：通过基于正则化的图像非盲去模糊方法对扫描图像进行去模糊处理；
S3、数据归一化：对数据进行Min-Max归一化；
S4、数据划分：经过S3的数据归一化后，对预处理的数据进行划分，将其中的10％作为测试集所用的图片，且剩余图片用于模型的训练过程；
S5、数据扩充：通过合成方法实现数据扩充，将训练集中的图像作为前景对象，将图像中的年轮进行随机颜色的填充，并且与黑色背景融合形成新的图片，提高模型检测性能；
S6、模型构建：通过改进Mask-RCNN深度卷积神经网络构建落叶松树木年轮自动检测模型；
S7、模型保存：当模型的损失函数不再下降，评价指标达到最优且趋于稳定之后，保存模型。
2.根据权利要求1所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：所述S2中正则化的图像非盲去模糊方法的公式为：
Figure FDA0002779933420000011
所述
Figure FDA0002779933420000012
是数据保真项，所述
Figure FDA0002779933420000013
表示L2范数，所述R(u)表示复原图像u的正则化约束式，所述λu为正则化参数，用于平衡数据保真项和正则化约束式之间的权重比例。
3.根据权利要求1所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：所述S6中模型构建的方法为：先输入图像经过缩放以后，再输入特征提取主干网络,生成更具有更高阶特征的特征图,实现多个分支与区域建议网络的特征共享。
4.根据权利要求3所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：实现所述特征共享后，通过RPN部分帮助网络生成可能存在目标的候选区域边界框，且对于每一个三通道的图像中每一个位置都会生成9个候选窗口。
5.根据权利要求1所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：所述S6中的模型构建采用ResNet-FPN作为主干网络，所述ResNet模型采用残差连接实现网络深度的增加，所述残差连接公式如下：
F(x)＝H(x)-x
所述H(x)为残差网络的输出，所述F(x)为经过卷积操作的输出。
6.根据权利要求1所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：所述S6中的模型构建通过特征金字塔网络的结构构建不同尺度的高级语义特征图，通过将自底向上的特征图通过横向连接与自顶向下的特征图合并，生成高分辨率和具有准确空间信息的特征图，其公式如下：
F＝[F1,F2,F3,F4]
其中Fi(i＝1,2,3,4)分别为经过特征金字塔网络后获得的预测图，F为融合后的特征图，之后对融合的特征图分别进行分类、边界框回归和Mask预测。
7.根据权利要求6所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：对得到的融合特征图进行全连接操作，然后进行分类，所述分类使用sigmoid函数获得分类结果。
8.根据权利要求6所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：所述边界框回归通过对坐标进行平移和尺度变换实现回归操作，具体公式如下：
Figure FDA0002779933420000021
所述x,y表示边框的中心位置；所述w和h表示边框的宽和高；所述Px、Py、Pw、Ph表示输入的候选区域的边框,所述
Figure FDA0002779933420000022
是修正后的边框，所述dx和dy表示平移和尺度变换算法。
9.根据权利要求6所述的一种基于深度学习的树木年轮自动检测方法，其特征在于：所述mask预测和分类是同步进行的，在预测的时候获得分类结果，之后将此结果传入mask预测中得到mask。
CN202011278500.3A 2020-11-16 2020-11-16 一种基于深度学习的树木年轮自动检测方法 Pending CN112381795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011278500.3A CN112381795A (zh) 2020-11-16 2020-11-16 一种基于深度学习的树木年轮自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011278500.3A CN112381795A (zh) 2020-11-16 2020-11-16 一种基于深度学习的树木年轮自动检测方法

Publications (1)

Publication Number Publication Date
CN112381795A true CN112381795A (zh) 2021-02-19

Family

ID=74584697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011278500.3A Pending CN112381795A (zh) 2020-11-16 2020-11-16 一种基于深度学习的树木年轮自动检测方法

Country Status (1)

Country Link
CN (1) CN112381795A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112261A (zh) * 2014-07-17 2014-10-22 五邑大学 基于范数比值正则化的快速图像盲去模糊方法
CN109345527A (zh) * 2018-09-28 2019-02-15 广西师范大学 一种基于MaskRcnn的膀胱肿瘤检测方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法
CN111368712A (zh) * 2020-03-02 2020-07-03 四川九洲电器集团有限责任公司 一种基于深度学习的高光谱图像伪装目标检测方法
CN111432179A (zh) * 2020-04-26 2020-07-17 上海发电设备成套设计研究院有限责任公司 基于计算机视觉的输煤皮带智能巡检系统及方法
CN111709895A (zh) * 2020-06-17 2020-09-25 中国科学院微小卫星创新研究院 基于注意力机制的图像盲去模糊方法及系统
CN111723697A (zh) * 2020-06-05 2020-09-29 广东海洋大学 一种基于Mask-RCNN改进的驾驶员背景分割方法
CN111862115A (zh) * 2020-07-10 2020-10-30 武汉善睐科技有限公司 一种基于Mask RCNN遥感影像分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112261A (zh) * 2014-07-17 2014-10-22 五邑大学 基于范数比值正则化的快速图像盲去模糊方法
CN109345527A (zh) * 2018-09-28 2019-02-15 广西师范大学 一种基于MaskRcnn的膀胱肿瘤检测方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法
CN111368712A (zh) * 2020-03-02 2020-07-03 四川九洲电器集团有限责任公司 一种基于深度学习的高光谱图像伪装目标检测方法
CN111432179A (zh) * 2020-04-26 2020-07-17 上海发电设备成套设计研究院有限责任公司 基于计算机视觉的输煤皮带智能巡检系统及方法
CN111723697A (zh) * 2020-06-05 2020-09-29 广东海洋大学 一种基于Mask-RCNN改进的驾驶员背景分割方法
CN111709895A (zh) * 2020-06-17 2020-09-25 中国科学院微小卫星创新研究院 基于注意力机制的图像盲去模糊方法及系统
CN111862115A (zh) * 2020-07-10 2020-10-30 武汉善睐科技有限公司 一种基于Mask RCNN遥感影像分割方法

Similar Documents

Publication Publication Date Title
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
CN112784736B (zh) 一种多模态特征融合的人物交互行为识别方法
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN110163208B (zh) 一种基于深度学习的场景文字检测方法和系统
CN111507357B (zh) 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN111783772A (zh) 一种基于RP-ResNet网络的抓取检测方法
CN112949338A (zh) 深度学习与Hough变换结合的二维条码精确定位方法
CN111898668A (zh) 一种基于深度学习的小目标物体检测方法
CN111986142A (zh) 一种热轧板卷表面缺陷图像数据无监督增强的方法
CN113139453A (zh) 一种基于深度学习的正射影像高层建筑基底矢量提取方法
CN108182449A (zh) 一种高光谱图像分类方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN113657377B (zh) 一种机打票据图像结构化识别方法
CN114419430A (zh) 一种基于SE-U-Net++模型的耕地地块提取方法及装置
CN114332117A (zh) 基于unet3+与全连接条件随机场融合的震后地貌分割方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113496480A (zh) 一种焊缝图像缺陷的检测方法
CN116597275A (zh) 一种基于数据增强的高速移动目标识别方法
CN110889418A (zh) 一种气体轮廓识别方法
CN112381795A (zh) 一种基于深度学习的树木年轮自动检测方法
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210219

RJ01 Rejection of invention patent application after publication