CN112700450A - 一种基于集成学习的图像分割方法及其系统 - Google Patents

一种基于集成学习的图像分割方法及其系统 Download PDF

Info

Publication number
CN112700450A
CN112700450A CN202110054886.8A CN202110054886A CN112700450A CN 112700450 A CN112700450 A CN 112700450A CN 202110054886 A CN202110054886 A CN 202110054886A CN 112700450 A CN112700450 A CN 112700450A
Authority
CN
China
Prior art keywords
model
image segmentation
ensemble learning
segmentation method
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110054886.8A
Other languages
English (en)
Inventor
葛长恩
罗鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruixin High Throughput Technology Co ltd
Original Assignee
Beijing Ruixin High Throughput Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruixin High Throughput Technology Co ltd filed Critical Beijing Ruixin High Throughput Technology Co ltd
Priority to CN202110054886.8A priority Critical patent/CN112700450A/zh
Publication of CN112700450A publication Critical patent/CN112700450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于集成学习的图像分割方法及其系统，基于集成学习的图像分割方法包括如下步骤：步骤S1：针对具体问题设计模型；步骤S2：输入训练集数据对模型进行训练直至拟合；步骤S3：输入测试集数据，得到模型上的预测结果；步骤S4：各个模型进行投票，将得票数最高的那一类作为最终结果。本发明是利用不同的模型训练众多不同的参数，各个模型都收敛之后，再将它们拿去投票得出最终结果。所以本方法可以集合各种模型的优势，使得最终结果更加接近真实值。

Description

一种基于集成学习的图像分割方法及其系统
技术领域
本发明涉及用于医学图像分割、遥感图像分割、自动驾驶等需要应用图像分割的技术领域，特别涉及一种联合多种独立模型的基于集成学习的图像分割方法及其系统。
背景技术
图像分割是指按照一定的规则提取出图像中的目标，将图像中的每一个像素点都归为互不相交的类别的技术。在深度学习日益发展的如今，如何设计合适的深度学习模型进行图像分割，达到理想的效果一直是计算机视觉领域的热门话题。现有的处理图像分割任务的主要技术是UNet以及其衍生出来的众多UNet家族的方法以及deeplab家族的方法。这些都以编解码为基础，先将输入图像多次下采样提取特征增加通道数，再上采样恢复成分割图像。现有的技术在大多数问题上都能达到一定的精度，但是当任务变得更加复杂，输入图像更加难以区分或者要求在不同类别的边缘要求有更高的细粒度时，现有的技术显得力不从心。众多深度学习模型百花齐放，但是在处理不同的问题时各个模型的性能又不尽相同，各有各的优缺点。
现有技术中，处理图像分割的问题主要采用如下方法：
1、对已有的比较成熟的模型有针对性的改进。比如以最原始的UNet为主干网络通常存在以下问题：①对于不同的图像分割任务，最优的下采样或者上采样次数并不是固定的，采用固定的四次采样次数不一定最优。②即便是最简单的UNET，其整个网络也包含18次卷积操作，在一定程度上也存在梯度爆炸的问题。③UNET默认图像上的每一个点的重要性相同，在处理背景占大多数的图像分割任务时，网络在不同类的分界线上的分割细粒度无法进一步提升。针对第一个问题，设计了一种全尺度跳跃连接的方法，在每一个上采样之前都连接之前所有模块的输出，这样虽然大大增加了参数数量，但是模型会自动调整有效的下采用次数使得结果更优。针对第二个问题，提出了利用ResNet模块取代UNet原始每一层级联卷积操作的Res-UNet方法。还提出了利用Dense模块取代UNet原始每一层级联卷积操作的Dense-UNet方法，这些都可以使得每一层的卷积级联层数大大增加。针对第三个问题，在UNet中引入了注意力机制，使得模型的稳定性进一步提升。当然应用广泛的模型并不单单只有UNet家族一种，deeplab V系列的模型在图像分割领域也有占有重要地位。
2、在单一模型上利用集成学习。其主要是在模型在验证集上的表现收敛之后，得到多个具有不同参数的同样的模型，利用这些模型分别计算出结果然后投票得出最终结果。
因此，如何将上述现有技术问题加以解决，即为本领域技术人员的研究方向所在。
发明内容
发明所要解决的问题
本发明的主要目的是提供一种联合多种独立模型的基于集成学习的图像分割方法及其系统，通过集合多个模型特征提取多样的优点来进行图像分割，结合现有的UNet以及其衍生出来的众多UNet家族的方法、deeplab家族的方法等优秀的图像分割模型处理图像分割任务，解决利用单一模型解决问题结果不够精确，容易触碰到单一模型能力的天花板的问题。
用于解决问题的方案
为了达到上述目的，本发明的一方式是一种基于集成学习的图像分割方法，包括如下步骤：
步骤S1：针对具体问题设计模型；
步骤S2：输入训练集数据对模型进行训练直至拟合；
步骤S3：输入测试集数据，得到模型上的预测结果；
步骤S4：各个模型进行投票，将得票数最高的那一类作为最终结果。
优选地，在步骤S1中，针对所要解决问题的具体特征，选定图像分割模型，当选定出n个独立模型之后，对模型进行初始化，加载预训练参数。
优选地，在步骤S1中，先提取众多候选框，然后通过卷积网络对候选框进行特征提取。
优选地，在步骤S1中，对序列数据进行长期学习并且保存记忆的RNN模型，利用RNN去检索上下文信息，并设计了循环层来捕获图像的局部全局结构。
优选地，在步骤S1中，采用上采样、反卷积或者编解码的分割方法。
优选地，在步骤S1中，结合深度卷积神经网络和概率图模型，采用空洞卷积控制网络感受野的DeepLabV系列的方法。
优选地，在步骤S2中，对输入数据进行数据增强的预处理操作之后，将输入数据通入各个独立的模型开始训练，具体包括如下子步骤：
步骤S21：将数据输入网络前向传播，对网络输出结果softmax之后与真实结果进行比较，采用损失函数计算损失；
步骤S22：再将损失函数后向传播调整参数，直到模型在验证集上的表现收敛。
优选地，在步骤S3中，输入测试集数据，前向传播计算网络对测试集的分割预测结果。
优选地，在步骤S4中，对各个模型的预测结果进行归总统计，将各个像素点的类别归结为在各个模型上的票数最高的那一类。
本发明的另一方式是一种基于集成学习的图像分割系统，包括：
设计模型单元，其针对具体问题设计模型；
模型训练单元，其输入训练集数据对模型进行训练直至拟合；
模型预测单元，其输入测试集数据，得到模型上的预测结果；以及
模型投票单元，其各个模型进行投票，将得票数最高的那一类作为最终结果。
发明的效果
本发明采用集成学习的方法进行图像分割，在处理不同的分割任务时可以采用UNET家族中的某一类有针对性的解决问题，例如，对于最优采样次数不确定的问题，可以采用UNET++或者UNET3+模型；对于梯度爆炸，可以采用Res-UNet模型，它将ResNet用于UNET模型，可以让每一层的卷积数量达到很深，从更多的维度来提取图像特征。
本发明对于背景占比过重的问题，可以引入注意力机制，让模型自己决定哪些需要重点关注，哪些又不是那么重要。
本发明是利用不同的模型训练众多不同的参数，各个模型都收敛之后，再将它们拿去投票得出最终结果。所以本方法可以集合各种模型的优势，使得最终结果更加接近真实值。
附图说明
图1是本发明一种基于集成学习的图像分割方法的流程示意图。
图2是本发明一种基于集成学习的图像分割系统的示意图。
附图标记说明：
1：图像分割系统；11：设计模型单元；12：模型训练单元；13：模型预测单元；14：模型投票单元。
具体实施方式
下面将结合本发明实施例中的图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。并且，在此处需要进一步强调的是，以下的具体实施例提供的优选的技术方案，各方案(实施例)之间是可以相互配合或结合使用的。
如图1所示，为本发明基于集成学习的图像分割方法的流程图，本发明的一种联合多种独立模型的基于集成学习的图像分割方法具体包括如下步骤：
步骤S1：针对具体问题设计合适的模型，具体是针对所要解决问题的具体特征，选定合适的图像分割模型，当选定出合适的n个独立模型之后，对模型进行初始化，加载预训练参数。该步骤S1可通过下述四种方法来解决图像分割的问题：
1.基于区域选择的R-CNN算法及其改进。主要是要先使用selectivesearch算法提取众多候选框，然后通过卷积网络对候选框进行特征提取。
2.可以对序列数据进行长期学习并且保存记忆的RNN模型及其改进，能够用于图像分割的方法主要有ReSeg、MDRNNs等等，主要是利用RNN去检索上下文信息，并设计了循环层来捕获图像的局部全局结构。
3.基于上采样/反卷积或者说是编解码的分割方法，主要包括FCN和UNet及其一系列改进方法，例如：Attention-UNet、Res-UNet、Dense-UNet等等。
4.采用空洞卷积控制网络感受野的DeepLabV系列的方法，它结合了深度卷积神经网络和概率图模型，在图像分割任务之中也有很好的表现。
S2：输入训练集数据对模型进行训练直至拟合，具体是对输入数据进行数据增强等预处理操作之后，将输入数据通入各个独立的模型开始训练。具体包括如下子步骤：
步骤S21：将数据输入网络前向传播，对网络输出结果softmax之后与真实结果进行比较，采用合适的损失函数计算损失；
步骤S22：再将损失函数后向传播调整参数，直到模型在验证集上的表现收敛。
其中，常用于图像分割领域的损失函数有：交叉熵损失函数、带权重的交叉熵损失函数、iou损失函数、Dice损失函数、focal损失函数。除了最原始的交叉熵损失函数，其他几种方法都有一定的抑制背景像素点的作用，可以用于分割对象分布极不平衡的问题。
S3：输入测试集数据，得到模型上的预测结果，具体是输入测试集数据，前向传播计算网络对测试集的分割预测结果。
S4：各个模型进行投票，将得票数最高的那一类作为最终结果，具体是对各个模型的预测结果进行归总统计，将各个像素点的类别归结为它在各个模型上的票数最高的那一类。例如，对于一个二分类问题有model1，model2，model3……n个模型，这n个模型对像素点预测为0的个数为n1，预测为1的个数为n2，那么如果n1>n2，此像素点的最终结果就是类别0，否则为类别1。
如图2所示，为本发明一种基于集成学习的图像分割系统组成框图，本发明的一种基于集成学习的图像分割系统1包括：设计模型单元11、模型训练单元12、模型预测单元13以及模型投票单元14。设计模型单元11，其针对具体问题设计合适的模型；模型训练单元12，其输入训练集数据对模型进行训练直至拟合；模型预测单元13，其输入测试集数据，得到模型上的预测结果；以及模型投票单元14，其各个模型进行投票，将得票数最高的那一类作为最终结果。
本发明在进行遥感图像分割任务的处理时，发现目前利用深度学习的卷积神经网络进行图像分割的问题最主流的框架是编解码，其主要思路是先将图像下采样即卷积加池化，提取出图像特征，再对图像特征进行上采样恢复图像操作，最终得到原始图像对应的分割图。UNet家族以及deeplab V3+的所有方式都是按照编解码展开(尽管其设计细节各不相同)，但这样难免还是会造成设计思路过于局限的问题，同时发明人还发现deeplab V3中有一个不同于主流编解码结构的图像金字塔结构以及空洞卷积，那么如何结合这些不同的框架的各种方法，可能成为使图像分割更加准确的又一个突破口。所以在对UNet实际应用中存在的问题逐一解决的基础上而提出了集成学习的思路。就是首先对具体的问题设计出合适的单一模型，比如对于分割样本不平衡的问题，可以采用Attention-UNet，并且使用focal loss或者weighted loss作为损失函数。对于需要分割的类别特别多，需要比较多的卷积以及relu操作的问题，可以采用Res-UNet或者Dense-UNet等等，然后将设计出的各个单一模型集合在一起，一起对测试集上的结果进行投票。将测试集上得票数最高的结果作为最终结果。那么这样就可以集合各个模型的优点，使得最终结果更加接近真实值。
与现有技术相比，本发明的有益效果在于：
1、对于分割样本不平衡的问题，采用Attention-UNet，并且使用focallos s或者weightedloss作为损失函数。当使用Attention-UNet引入注意力机制，可以让网络自己学习在分割图像时哪些是小类别或者分割边缘需要加倍注意。Focalloss、weightedLoss主要是减少多类别在损失函数中的占比比例，增加少类别在损失函数中的比重。使得网络更加偏向处理小类别而不至于将所有输出都归结为多类别，从而落入局部最优解。
2、对于需要分割的类别特别多，需要比较多的卷积以及relu操作的任务，采用Res-UNet或者Dense-UNet。Res-UNet和Dense-UNet都将原始UNet中的同一层的两个级联卷积模块替换成了ResNet模块或者DenseNet模块，使得可以增加同一层的卷积层数而不会存在梯度爆炸的问题，那么这样可以从更多的维度提取网络特征并且增加更多的relu层，使得网络的非线性拟合能力更强，结果更加准确。
3、对特定问题设计出不同的模型进行训练，当它们收敛之后将它们集合到一起，对最终结果进行投票，将得票数最高的类别作为最终结果。因此能够集合不同模型的优势，使得结果更加准确。
综上所述，本发明基于集成学习处理图像分割问题。先针对具体问题设计出合适的模型，然后将众多模型集合在一起对最终结果进行投票，将得票数最高的那一类作为最终结果。这样集合了众多模型的优势，可以大大提高模型准确率。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于集成学习的图像分割方法，其特征在于，包括如下步骤：
步骤S1：针对具体问题设计模型；
步骤S2：输入训练集数据对模型进行训练直至拟合；
步骤S3：输入测试集数据，得到模型上的预测结果；
步骤S4：各个模型进行投票，将得票数最高的那一类作为最终结果。
2.根据权利要求1所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S1中，针对所要解决问题的具体特征，选定图像分割模型，当选定出n个独立模型之后，对模型进行初始化，加载预训练参数。
3.根据权利要求2所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S1中，先提取众多候选框，然后通过卷积网络对候选框进行特征提取。
4.根据权利要求2所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S1中，对序列数据进行长期学习并且保存记忆的RNN模型，利用RNN去检索上下文信息，通过循环层来捕获图像的局部全局结构。
5.根据权利要求2所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S1中，采用上采样、反卷积或者编解码的分割方法。
6.根据权利要求2所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S1中，结合深度卷积神经网络和概率图模型，采用空洞卷积控制网络感受野的DeepLabV系列的方法。
7.根据权利要求2所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S2中，对输入数据进行数据增强的预处理操作之后，将输入数据通入各个独立的模型开始训练，具体包括如下子步骤：
步骤S21：将数据输入网络前向传播，对网络输出结果softmax之后与真实结果进行比较，采用损失函数计算损失；
步骤S22：再将损失函数后向传播调整参数，直到模型在验证集上的表现收敛。
8.根据权利要求1所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S3中，输入测试集数据，前向传播计算网络对测试集的分割预测结果。
9.根据权利要求1所述的一种基于集成学习的图像分割方法，其特征在于，在步骤S4中，对各个模型的预测结果进行归总统计，将各个像素点的类别归结为在各个模型上的票数最高的那一类。
10.一种基于集成学习的图像分割系统，其特征在于，包括：
设计模型单元，其针对具体问题设计模型；
模型训练单元，其输入训练集数据对模型进行训练直至拟合；
模型预测单元，其输入测试集数据，得到模型上的预测结果；以及
模型投票单元，其各个模型进行投票，将得票数最高的那一类作为最终结果。
CN202110054886.8A 2021-01-15 2021-01-15 一种基于集成学习的图像分割方法及其系统 Pending CN112700450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110054886.8A CN112700450A (zh) 2021-01-15 2021-01-15 一种基于集成学习的图像分割方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110054886.8A CN112700450A (zh) 2021-01-15 2021-01-15 一种基于集成学习的图像分割方法及其系统

Publications (1)

Publication Number Publication Date
CN112700450A true CN112700450A (zh) 2021-04-23

Family

ID=75515282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110054886.8A Pending CN112700450A (zh) 2021-01-15 2021-01-15 一种基于集成学习的图像分割方法及其系统

Country Status (1)

Country Link
CN (1) CN112700450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375626A (zh) * 2022-07-25 2022-11-22 浙江大学 基于物理分辨率的医学图像分割方法、系统、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000553A (zh) * 2019-12-30 2020-04-14 山东省计算中心（国家超级计算济南中心） 一种基于投票集成学习的心电数据智能分类方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN111931782A (zh) * 2020-08-12 2020-11-13 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN111000553A (zh) * 2019-12-30 2020-04-14 山东省计算中心（国家超级计算济南中心） 一种基于投票集成学习的心电数据智能分类方法
CN111931782A (zh) * 2020-08-12 2020-11-13 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375626A (zh) * 2022-07-25 2022-11-22 浙江大学 基于物理分辨率的医学图像分割方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
US10242289B2 (en) Method for analysing media content
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN112381097A (zh) 一种基于深度学习的场景语义分割方法
CN110111334B (zh) 一种裂缝分割方法、装置、电子设备及存储介质
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN112380921A (zh) 一种基于车联网的道路检测方法
CN113392960A (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN114943963A (zh) 一种基于双分支融合网络的遥感图像云和云影分割方法
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN112270366B (zh) 基于自适应多特征融合的微小目标检测方法
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN112434723A (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN114639101A (zh) 一种乳状液液滴识别系统、方法、计算机设备及存储介质
CN112700450A (zh) 一种基于集成学习的图像分割方法及其系统
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN111339950B (zh) 一种遥感图像目标检测方法
CN113033371A (zh) 基于csp模型的多级特征融合行人检测方法
CN115995002B (zh) 一种网络构建方法及城市场景实时语义分割方法
CN117152438A (zh) 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法
WO2024040941A1 (zh) 神经网络结构搜索方法、装置及存储介质
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210423

RJ01 Rejection of invention patent application after publication