CN113421258A - 一种基于高分辨率遥感影像的自动云检测方法 - Google Patents
一种基于高分辨率遥感影像的自动云检测方法 Download PDFInfo
- Publication number
- CN113421258A CN113421258A CN202110832284.0A CN202110832284A CN113421258A CN 113421258 A CN113421258 A CN 113421258A CN 202110832284 A CN202110832284 A CN 202110832284A CN 113421258 A CN113421258 A CN 113421258A
- Authority
- CN
- China
- Prior art keywords
- characteristic diagram
- cloud
- remote sensing
- image
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于高分辨率遥感影像的自动云检测方法,涉及遥感图像云层检测技术领域,解决了现有方案在对高分遥感影像进行云层分割过程中,出现薄云、碎云漏检的技术问题;流程包括:影像数据获取和图像预处理,构建人工智能模型,训练获取云层分割模型,将待处理影像输入至云层分割模型获取云识别结果;本发明采用双注意力机制改变云区域的权重,通过引入注意力机制在特征的通道维度和空间维度分别抓取特征之间的全局依赖关系,从空间维度和通道维度改变特征图权重,能够提取出云层在遥感图像上所具有的特征信息,提高了对薄云和碎云的检测精度,以此来获得更好的云检测结果。
Description
技术领域
本发明属于遥感图像云层检测领域,涉及自动云检测技术,具体是一种基于高分辨率遥感影像的自动云检测方法。
背景技术
当研究遥感图像时,云层的存在会遮盖遥感影像大部分信息,并对云层周围的地表信息产生影响。传统的依靠遥感影像的云层提取工作,大多都是基于阈值法,但由于高分影像波段较少,阈值难以确定。
高分辨率遥感影像上的云层,薄云光谱特征易受下垫面影响,没有特定的光谱特征,其纹理特征也不明显。传统的阈值法通常利用云层的光谱特征、温度特征等设定阈值进行提取,其包括多光谱阈值法、多通道阈值法以及基于云纹理与空间特征法等。多光谱阈值法利用云在不同光谱条件下所呈现的特点来设定阈值进行提取;多通道阈值法则是通过不同通道的值来进行组合设定阈值进行云层的提取;空间特征法的依据信息为遥感影像的空间信息,以上算法设计简单,但是当遥感影像中有与云层光谱特征、亮度特征的较为相似的地物时,难以达到较好的效果。
随着深度学习的发展,结合卷积神经网络的语义分割算法得到了广泛的应用,该类方法具有较好的提取精度,有效地改善了利用传统方法进行云层分割的不足。现有基于卷积神经网络的云层分割算法通过深入挖掘影像的深层语义信息,来获取最终的云层分割结果。普通的语义分割网络进行云层分割通常会出现薄云、碎云的漏检现象;因此,亟需一种高精度的语义分割算法实现自动云层分割。
发明内容
本发明提供了一种基于高分辨率遥感影像的自动云检测方法,用于解决现有方案在对高分遥感影像进行云层分割过程中,出现薄云、碎云漏检的技术问题,本发明通过设计通道注意力模块、空间注意力模块调整神经网络的权重解决了上述问题,获取更加精细的云层检测和分割结果。
本发明的目的可以通过以下技术方案实现:一种基于高分辨率遥感影像的自动云检测方法,包括:
从数据库中获取高分辨卫星的影像数据,对影像数据进行标记,获取训练数据;其中,所述训练数据包括训练集和测试集;
构建人工智能模型;构建的所述人工智能模型包括信息提取层;其中,所述人工智能模型至少包括U-Net神经网络;
通过训练数据对人工智能模型进行训练和测试,将完成训练和测试的人工智能模型标记为云层分割模型;
将待处理影像输入至云层分割模型,获取云层检测结果。
优选的,将所述训练数据按照设定比例划分为训练集和测试集,且所述训练数据的数量不低于1000;其中,所述设定比例包括1:1、2:1和3:1。
优选的,所述人工智能模型依次包括编码层、信息提取层和解码层,所述信息提取层包括通道注意力模块和空间注意力模块。
优选的,所述通道注意力模块的工作步骤具体包括:
获取特征图A1,将特征图A1进行重采样获取特征图A2,对特征图A2进行转置处理获取特征图A3;
将特征图A2和特征图A3通过矩阵乘法相乘,将相乘结果经过概率化处理后标记为通道注意力图T;其中,所述概率化处理的实现方法包括softmax函数;
优选的,所述空间注意力模块的工作步骤具体包括:
将输出矩阵E1经过三个卷积层获取三个特征图,分别标记为B、C、D;将特征图C和特征图B的转置相乘,再通过概率化处理获得空间注意图S;将特征图D与空间注意力图S的转置相乘,经过重采样之后与特征图E1相加得到输出矩阵B。
对所述输出矩阵B中的每个元素有:其中,为尺度因子,且大于0,为D中的元素,为输出矩阵E1中的元素;空间注意力图S中每一行计算的是所有像素与某个像素之间的依赖关系,概率化处理的值越大,说明相对的依赖性更强。
与现有技术相比,本发明的有益效果是:
1、本发明设置了通道注意力模块;获取特征图A1,将特征图A1进行重采样获取特征图A2,对特征图A2进行转置处理获取特征图A3;将特征图A2和特征图A3通过矩阵乘法相乘,将相乘结果经过概率化处理后标记为通道注意力图T;将通道注意力图T与特征图A1通过矩阵乘法相乘后再乘以尺度因子,经过重采样后获取特征图A4,将特征图A4与特征图A1相加获取输出矩阵E1;通道注意力模块的设置建立了特征图像通道之间的相互依赖性,改善特定语义的特征表示,避免云层分割模型在处理图像时丢失信息,导致云层识别不准确。
2、本发明设置了空间注意力模块;将输出矩阵E1经过三个卷积层获取三个特征图,分别标记为B、C、D;将特征图C和特征图B的转置相乘,再通过概率化处理获得空间注意图S;将特征图D与空间注意力图S的转置相乘,经过重采样之后与特征图E1相加得到输出矩阵B;通道注意力模块的设置为了获取特征图像每个像素之间的上下文信息,并将上下文信息添加到特征中,来凸显关键特征的位置,有助于提高云层分割模型在复杂场景中进行云识别。
3、本发明采用双注意力机制改变云区域的权重,通过引入注意力机制在特征的通道维度和空间维度分别抓取特征之间的全局依赖关系,从空间维度和通道维度改变特征图权重,能够提取出云层在遥感图像上所具有的特征信息,提高了对薄云和碎云的检测精度,以此来获得更好的云检测结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的步骤示意图;
图2为本发明改进的U-Net神经网络结构示意图;
图3为本发明改进的U-Net神经网络中编码层中残差块示意图;
图4为本发明改进的U-Net神经网络中通道注意力模块的原理示意图;
图5为本发明改进的U-Net神经网络中空间注意力模块的原理示意图;
图6为本发明的云层识别结果对比图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
这里使用的术语用于描述实施例,并不意图限制和/或限制本公开;应该注意的是,除非上下文另有明确指示,否则单数形式的“一”、“一个”和“该”也包括复数形式;而且,尽管属于“第一”、“第二”等可以在本文中用于描述各种元件,但是元件不受这些术语的限制,这些术语仅用于区分一个元素和另一个元素。
请参阅图1,一种基于高分辨率遥感影像的自动云检测方法,包括:
从数据库中获取高分辨卫星的影像数据,对影像数据进行标记,获取训练数据;
构建人工智能模型;构建的所述人工智能模型包括信息提取层;
通过训练数据对人工智能模型进行训练和测试,将完成训练和测试的人工智能模型标记为云层分割模型;
将待处理影像输入至云层分割模型,获取云层检测结果。
本实施例中,数据库包括资源卫星应用中心等官方数据平台,也包括自建或者相关公司建立的遥感图像数据库。从数据库中获取到高分辨卫星的影像数据之后,需要对影像数据进行图像预处理来保证影像数据的质量,图像预处理包括图像分割、图像去噪、大气校正、灰度变换中的一种或者多种,而且,为了保证获取的训练数据质量,需要对影像数据的数量和获取时间进行限定,如:总共100景遥感影像,其中,无云影像与有云影像的数量比值为1:1,或者,春季、夏季、秋季、冬季的遥感影像的数量比值为1:1:1:1。
对影像数据进行标记,将标记之后的影像数据按照设定比例划分为训练集和测试集;其中,设定比例按照人工智能模型通常训练情况下训练集和测试集的比例进行设置。
请参阅图2,本实施例中,人工智能模型采用改进的U-Net神经网络模型。本申请所采用的改进的U-Net神经网络模型(云层分割模型)主要包括编码层、信息提取层和解码层。
解码层包括两个模块,两个模块的分辨率依次为和;两个模块依次排列,且信息提取层将数据传递至解码层以及这两个模块之间进行数据传递时均经过反转卷积处理;将解码层和编码层中分辨率相同的模块通过跳跃连接作为解码层中下一个子模块的输入;经过解码层处理之后即可获取输出结果,对于本申请来说即为云检测结果。在另外一些优选的实施例中,解码层也可以设置四个模块,分别与解码层中四个模块的分辨率一一对应。
本实例对影像数据实现自动云检测的具体处理流程为:影像数据制备、U-Net神经网络模型构建和训练、获取云层检测结果。
通过数据库获取高分一号遥感影像,对遥感影像进行图像预处理,然后对影像数据进行标记和样本增强处理,获取训练集和测试集,其中,样本增强处理包括线上增强和线下增强;在另外一些优选的实施例中,还包括校验集,通过训练集、测试集和校验集对改进的U-Net神经网络进行训练、测试和校验。
构建U-Net神经网络的编码层和解码层,解码层与编码层的模块数量可以相对应,也可以不对应(如图2);构建好编码-解码网络之后,设计通道注意力模块和空间注意力模块,设置U-Net神经网络模型的训练参数,通过训练集、测试集(或者训练集、测试集和校验集)完成对U-Net神经网络模型的训练,获取改进的U-Net神经网络模型,即云层分割模型;其中,通道注意力与位置注意力设置在编码层之后,利用这两个注意力模块对特征图像进行空间维度与位置的特征提取,提高对复杂场景云的识别能力。
获取需要进行云检测的遥感图像,经过图像预处理之后标记为待处理影像,本实施例中的待处理影像以图6(a)所示的原始图像为例,待处理影像的分辨率为,将待处理影像输入至云层分割模型之后经过编码层处理,如图2所示,经过编码层四个模块处理之后获取特征图A1,将特征图A1输入至信息提取层进行处理。
信息提取层中的通道注意力模块接收到特征图A1之后,参考图4,将特征图A1进行重采样获取特征图A2,对特征图A2进行转置处理获取特征图A3;
将特征图A2和特征图A3通过矩阵乘法相乘,经过相乘结果经过softmax函数处理后标记为通道注意力图T;
将通道注意力图T与特征图A1通过矩阵乘法相乘后再乘以尺度因子,经过重采样后获取特征图A4,将特征图A4与特征图A1相加获取输出矩阵E1;其中,特征图A1和特征图A4的分辨率相同。通道注意力模块设计的目的是建立特征图通道之间的相互依赖性,改善特定语义的特征表示。
将通道注意力模块获取的输出矩阵E1作为空间注意力模块的输入数据,参考图5,将输出矩阵E1经过三个卷积层获取三个特征图,分别标记为B、C、D;将特征图C和特征图B的转置相乘,再通过概率化处理获得空间注意图S;将特征图D与空间注意力图S的转置相乘,经过重采样之后与特征图E1相加得到输出矩阵B。空间注意力模块设计的目的是为了获取特征图每个像素之间的上下文信息,上下文信息会被加入特征中,来凸显关键特征的空间位置。
将输出矩阵B输入解码层,参考图2,本申请还采用跳跃连接的方式将解码层和编码层中分辨率相同的模块进行连接,作为解码层下一个模块的输入;图2中,解码层的左边第一个模块和编码层中左边第二个模块进行跳跃连接。
最后,获取云层检测模块的输出结果,如图6(b)所示,其分辨率与待处理图像不同,为。对比图6(a)中原始影像和图6(b)中云识别结果,可以发现,原始图像中有很多零碎的白点,即为碎云,通过云层分割模型处理之后,能够对原始图像中的碎云进行精确提取。云层分割模型,即改进的U-Net神经网络模型由于模型本身特性,不需要大量数据进行训练,能够通过相对较少的数据完成模型训练,且一次训练和多次使用,既能完成对遥感影像的自动检测,又能实现对遥感影像中薄云、碎云的精确识别,这是目前的云检测方法所不能实现的。
本发明的工作原理:
通过数据库获取遥感影像,对遥感影像进行图像预处理,然后对影像数据进行标记和样本增强处理,获取训练集和测试集;构建U-Net神经网络的编码层和解码层;构建好编码-解码网络之后,设计通道注意力模块和空间注意力模块,设置U-Net神经网络模型的训练参数,通过训练集、测试集完成对U-Net神经网络模型的训练,获取改进的U-Net神经网络模型,即云层分割模型。
获取需要进行云检测的遥感图像,经过图像预处理之后标记为待处理影像,将待处理影像输入至云层分割模型之后,依次经过编码层、信息提取层和解码层进行处理,云层分割模型的输出结果即为云识别的结果。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (8)
1.一种基于高分辨率遥感影像的自动云检测方法,其特征在于,包括:
从数据库中获取高分辨卫星的影像数据,对影像数据进行标记,获取训练数据;其中,所述训练数据包括训练集和测试集;
构建人工智能模型;构建的所述人工智能模型包括通信息提取层;其中,所述人工智能模型至少包括U-Net神经网络;
通过训练数据对人工智能模型进行训练和测试,将完成训练和测试的人工智能模型标记为云层分割模型;
将待处理影像输入至云层分割模型,获取云层检测结果。
2.根据权利要求1所述的一种基于高分辨率遥感影像的自动云检测方法,其特征在于,所述信息提取层包括通道注意力模块和空间注意力模块。
6.根据权利要求2所述的一种基于高分辨率遥感影像的自动云检测方法,其特征在于,所述空间注意力模块的工作步骤具体包括:
将输出矩阵E1经过三个卷积层获取三个特征图,分别标记为B、C、D;将特征图C和特征图B的转置相乘,再通过概率化处理获得空间注意图S;将特征图D与空间注意力图S的转置相乘,经过重采样之后与特征图E1相加得到输出矩阵B。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110832284.0A CN113421258A (zh) | 2021-07-22 | 2021-07-22 | 一种基于高分辨率遥感影像的自动云检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110832284.0A CN113421258A (zh) | 2021-07-22 | 2021-07-22 | 一种基于高分辨率遥感影像的自动云检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113421258A true CN113421258A (zh) | 2021-09-21 |
Family
ID=77718103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110832284.0A Pending CN113421258A (zh) | 2021-07-22 | 2021-07-22 | 一种基于高分辨率遥感影像的自动云检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113421258A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115359370A (zh) * | 2022-10-21 | 2022-11-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110598600A (zh) * | 2019-08-27 | 2019-12-20 | 广东工业大学 | 一种基于unet神经网络的遥感图像云检测方法 |
CN112232391A (zh) * | 2020-09-29 | 2021-01-15 | 河海大学 | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 |
CN112749621A (zh) * | 2020-11-25 | 2021-05-04 | 厦门理工学院 | 一种基于深度卷积神经网络的遥感图像云层检测方法 |
-
2021
- 2021-07-22 CN CN202110832284.0A patent/CN113421258A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110598600A (zh) * | 2019-08-27 | 2019-12-20 | 广东工业大学 | 一种基于unet神经网络的遥感图像云检测方法 |
CN112232391A (zh) * | 2020-09-29 | 2021-01-15 | 河海大学 | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 |
CN112749621A (zh) * | 2020-11-25 | 2021-05-04 | 厦门理工学院 | 一种基于深度卷积神经网络的遥感图像云层检测方法 |
Non-Patent Citations (2)
Title |
---|
刘云峰 等: "国产高分辨率卫星影像云检测方法分析", 《测绘通报》 * |
周秦: "基于深度学习的遥感图像的云检测算法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115359370A (zh) * | 2022-10-21 | 2022-11-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 |
CN115359370B (zh) * | 2022-10-21 | 2023-01-24 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN110136170B (zh) | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 | |
CN112836610B (zh) | 一种基于遥感数据的土地利用变化与碳储量定量估算方法 | |
CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN112183258A (zh) | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 | |
CN111738111A (zh) | 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法 | |
CN113888550B (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
CN112991354A (zh) | 一种基于深度学习的高分辨率遥感影像语义分割方法 | |
CN111291826B (zh) | 基于相关性融合网络的多源遥感图像的逐像素分类方法 | |
CN111259900A (zh) | 一种卫星遥感图像的语义分割方法 | |
CN113936204B (zh) | 融合地形数据与深度神经网络的高分辨率遥感影像云雪识别方法及装置 | |
CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
CN115984850A (zh) | 基于改进Deeplabv3+的轻量级遥感影像语义分割方法 | |
CN113298736B (zh) | 一种基于面部样式的人脸图像修复方法 | |
CN106023221A (zh) | 基于非负低秩稀疏关联制图的遥感图像分割方法 | |
CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 | |
CN107967454B (zh) | 顾及空间邻域关系的双路卷积神经网络遥感分类方法 | |
CN116958827A (zh) | 一种基于深度学习的撂荒区域提取方法 | |
CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
CN115240066A (zh) | 基于深度学习的遥感影像矿区复绿监测方法及系统 | |
CN113421258A (zh) | 一种基于高分辨率遥感影像的自动云检测方法 | |
CN106971402B (zh) | 一种基于光学辅助的sar图像变化检测方法 | |
CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
CN110751142B (zh) | 一种改进型的高光谱遥感影像波段选择方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210921 |