CN115546745A - 基于跨模态清洁机器人清洁道路分割与识别方法 - Google Patents

基于跨模态清洁机器人清洁道路分割与识别方法 Download PDF

Info

Publication number
CN115546745A
CN115546745A CN202210913278.2A CN202210913278A CN115546745A CN 115546745 A CN115546745 A CN 115546745A CN 202210913278 A CN202210913278 A CN 202210913278A CN 115546745 A CN115546745 A CN 115546745A
Authority
CN
China
Prior art keywords
segmentation
model
cleaning robot
classification
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210913278.2A
Other languages
English (en)
Inventor
施海波
丑小康
陈佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Teworth High Tech Co ltd
Original Assignee
Nanjing Teworth High Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Teworth High Tech Co ltd filed Critical Nanjing Teworth High Tech Co ltd
Priority to CN202210913278.2A priority Critical patent/CN115546745A/zh
Publication of CN115546745A publication Critical patent/CN115546745A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据处理技术领域,具体涉及一种基于跨模态清洁机器人清洁道路分割与识别方法,包括通过触觉传感器采集环境信息,得到采集数据;通过视觉传感器采集环境信息,得到待预测数据;对全卷积神经网络进行改进,得到完整全卷积神经网络;使用训练集对完整全卷积神经网络进行训练,得到分割模型;将待预测数据输入分割模型进行训练,得到分割结果;对ResNet50网络进行改进,得到分类模型;将分割结果输入分类模型进行特征信息提取,得到分割分类结果;基于采集数据和分割分类结果对清洁机器人的工作参数进行调整,解决了通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式不适用于复杂多变的道路环境的问题。

Description

基于跨模态清洁机器人清洁道路分割与识别方法
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于跨模态清洁机器人清洁道路分割与识别方法。
背景技术
基于深度学习的图像分割由于采用了卷积神经网络,它的分割精度大大超过了传统的分割方法。两者的不同之处:传统的图像分割需要由领域的专家来提取图像的特征表达,而基于深度学习的图像分割则是利用模型来实现对图像的特征的自动学习提取。
全卷积神经网络(FCN)与CNN网络非常类似,它是利用VGG模型,将该网络的最后三个全连接层改为三个卷积层,再利用上取样和crop操作,将卷积后较小特征图转化为与输入图像同样大小的特征图像,这就是全卷积神经网络。FCN在采用全卷积运算时,由于没有了全连接层中的神经元数目的限制,因此,卷积层的输入可以接受不同尺寸的图像,也就不必要求训练图像与试验图像的大小一致。
FCN缺点:得到的结果还是不够精细,上采样的结果比较模糊和平滑,对图像中的细节不敏感。对各个像素进行分类,没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整步骤,缺乏空间一致性。为了得到较高的分割精度,因此改善了现有的FCN网络算法。为了进一步提高道路分类效果,因此改善了现有的ResNet50网络算法。
扫地机器人清理地面的模式需要人工进行设置,相对比较繁琐。仅通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式,这种方法过于简单,不适用于复杂多变的道路环境。
发明内容
本发明的目的在于提供一种基于跨模态清洁机器人清洁道路分割与识别方法,旨在解决通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式不适用于复杂多变的道路环境的问题。
为实现上述目的,本发明提供了一种基于跨模态清洁机器人清洁道路分割与识别方法,包括以下步骤:
通过触觉传感器采集环境信息,得到采集数据,通过视觉传感器采集环境信息,得到待预测数据;
对全卷积神经网络进行改进,得到完整全卷积神经网络;
使用训练集对所述完整全卷积神经网络进行训练,得到分割模型;
将所述待预测数据输入所述分割模型进行训练,得到分割结果;
对ResNet50网络进行改进,得到分类模型;
将所述分割结果输入所述分类模型进行特征信息提取,得到分割分类结果;
基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整。
其中,所述对全卷积神经网络进行改进,得到完整全卷积神经网络的具体方式为:
将VGG模型的最后三个全连接层换为三个卷积层,并将编码区换为ResNet50,将先验概率层添加到所述VGG模型的末尾,得到完整全卷积神经网络。
其中,所述使用训练集对所述完整全卷积神经网络进行训练,得到分割模型的具体方式为:
获取数据集;
对所述数据集进行预处理,得到训练集。
其中,所述对ResNet50网络进行改进,得到分类模型的具体方式为:
利用CBAM注意力模块来替换ResNet50网络的最后三个3×3的卷积层,得到分类模型。
其中,所述采集数据包括温度和湿度;
所述待预测数据包括道路信息、行人信息和障碍物信息。
其中,所述基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整的具体方式为:
基于所述温度和所述湿度对清洁机器人的出水量参数进行调整;
基于所述分割分类结果对所述清洁机器人的前进速度参数和刷头转速参数进行调整。
其中,所述将所述分割结果输入所述分类模型进行特征信息提取,得到分割分类结果的具体方式为:
将所述分割结果输入所述分类模型的CBAM注意力模块,所述将所述分割结果使用乘法机制让通道注意值沿着空间维度进行传导,得到输出值;
通过所述分类模型的通道子模块使用最大池化和平均池化对所述输出值进行聚合后累加,得到分割分类结果。
本发明的一种基于跨模态清洁机器人清洁道路分割与识别方法,通过触觉传感器采集环境信息,得到采集数据;通过视觉传感器采集环境信息,得到待预测数据;对全卷积神经网络进行改进,得到完整全卷积神经网络;使用训练集对所述完整全卷积神经网络进行训练,得到分割模型;将所述待预测数据输入所述分割模型进行训练,得到分割结果;对ResNet50网络进行改进,得到分类模型;将所述分割结果输入所述分类模型进行特征信息提取,得到分割分类结果;基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整,本发明通过两个模型对数据进行分割和分类后实现对清洁机器人在复杂多变的道路环境下的工作参数的调整,解决了通过改善后的全卷积神经网络基于道路的图片进行道路分类来调整清洁模式不适用于复杂多变的道路环境的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是改进的FCN原理图。
图2是转换后的数据集标签示意图。
图3是概率层概念图。
图4是原概率层示意图。
图5是原概率层示意图。
图6是概率层后处理过程示意图。
图7是ResNet 50网络的残差块结构。
图8是引入CBAM注意力机制的ResNet 50网络的残差块结构。
图9是CBAM通道注意力机制示意图。
图10是CBAM空间注意力机制示意图。
图11是本发明提供的一种基于跨模态清洁机器人清洁道路分割与识别方法的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
请参阅图1至图11,本发明提供一种基于跨模态清洁机器人清洁道路分割与识别方法,包括以下步骤:
S1通过触觉传感器采集环境信息,得到采集数据,通过视觉传感器采集环境信息,得到待预测数据;
具体的,所述采集数据包括温度和湿度。触觉传感器是机器人感知外部环境的重要媒介,它对机器人正确地操作目标物体极其重要。在机器人灵活自如运动的前提下,要求触觉传感器能够准确地感知外部环境,以便实现对目标物体的各种精准操作。利用传感器采集周围的环境信息,作为数据流传送。
具体的,所述待预测数据包括道路信息、行人信息和障碍物信息。
S2对全卷积神经网络进行改进,得到完整全卷积神经网络;
具体的,将VGG模型的最后三个全连接层换为三个卷积层,并将编码区换为ResNet50,将先验概率层添加到所述VGG模型的末尾,得到完整全卷积神经网络。
改进的FCN模型:在VGG模型的基础上,将最后三个全连接层换为三个卷积层,再利用上取样和crop运算,在此基础上,建立了一个完整的卷积神经网络FCN模型。在FCN模型中,我们选取了已有的FCN模型,将编码器换为ResNet50,并且在预测图像时,将先验概率层添加到模型的末尾,然后利用预处理后的数据进行训练。
先验概率层的概念:①先利用算法求得输入标签图像的高h和宽w,接着将其转化成二维数组,用h*w表示,该数组中值的大小都为0或者1。非道路的像素点值为0,道路的像素点值为1。②接着便要求取概率层,将数组h*w归一化后便可得到。如图3和4所示。当然归一化后的数组的值肯定是在0到1之间的,像素点的值越接近1,就说明该像素点更可能被划分为道路。反之,像素点的值越接近0,就说明该像素点更可能被划分为背景。
我们在概率层上做了一些变换,这样就能使每个像素的语义分割结果更为精确。为了获得更精确的最终的概率层,我们将原始概率层中的每个值减去0.5,见图5。
该算法的原理:在利用模型对训练集进行测试前,先要在模型的末尾加入该概率层,而且为了预测,也加入了一个影响因子。模型对数据集处理后,便可以得到归一化后的h*w二维数组矩阵,像素点低于0.5的被分类为非道路,高于0.5的被分类为道路。同时我们也发现,该二维数组矩阵的数值存在误差,我们把其于概率层相加,对其进行纠正,纠正后的图为图6。同时可以观察到,纠正后,图像分割的精度得到了提高。
S3使用训练集对所述完整全卷积神经网络进行训练,得到分割模型;
具体的,获取数据集;对所述数据集进行预处理,得到训练集。
S4将所述待预测数据输入所述分割模型进行训练,得到分割结果;
S5对ResNet50网络进行改进,得到分类模型;
具体的,利用CBAM注意力模块来替换ResNet50网络的最后三个3×3的卷积层,得到分类模型。
改进的ResNet50网络:利用CBAM注意力机制来替换ResNet50的最后三个3×3的卷积层
模型融入了轻量级CBAM注意力模块,基于空间注意力和通道注意力机制,提升了模型对特征的选择和融合能力,具体见图7和图8。改进的ResNet50网络结构见表1。
表1 ResNet 50网络结构与改进的-ResNet 50网络结构对比表
Figure BDA0003774617890000051
Figure BDA0003774617890000061
S6将所述分割结果输入所述分类模型进行特征信息提取,得到分割分类结果;
具体方式为:
S61将所述分割结果输入所述分类模型的CBAM注意力模块,所述将所述分割结果使用乘法机制让通道注意值沿着空间维度进行传导,得到输出值;
具体的,CBAM注意力机制模块由空间注意力模块(Spatial Attention Module,SAM)和通道注意力模块(Channel Attention Module,CAM)组成。具体来说,模型在每个卷积块上,通过CBAM通道和空间两个顺序子模块,自适应细化中间特征的映射关系。CBAM具体操作流程为:假设给定中间特征图F∈RC*H*W作为输入,CBAM模块会顺序依次推导出其通道注意力一维图Mc∈RC*1*1以及二维空间特征图Ms∈R1*H*w。总流程可以表述如下:
Figure BDA0003774617890000062
Figure BDA0003774617890000063
这里
Figure BDA0003774617890000064
表示元素乘法,乘法机制让通道注意值沿着空间维度进行传导,最终得到输出值F”。
S62通过所述分类模型的通道子模块使用最大池化和平均池化对所述输出值进行聚合后累加,得到分割分类结果。
具体的,通道子模块利用了共享多层感知机(Multilayer Perceptron,MLP)的最大池化输出和平均池化输出;首先使用最大池化(Max Pooling)和平均池化(AveragePooling)操作对特征映射的空间信息进行聚合,生成最大池化特征
Figure BDA0003774617890000065
和平均池化特征
Figure BDA0003774617890000066
随后被转入由一个隐藏层组成的共享多层感知机中,以生成通道特征图Mc∈RC*1*1。为了减少参数,隐藏层的激活函数也被设置成RC/r*1*1,其中r为缩放比率。最后将共享MLP的输出特征向量使用元素和方式累加得到最终的通道注意力结果。整个过程可以表述为:
Figure BDA0003774617890000071
这里,δ为sigmoid函数,
Figure BDA0003774617890000072
输入参数共享W0和W1,所使用的激活函数为RELU。
其中,所述分割分类结果包括:水泥路、沥青路、塑胶路、地砖路、木栈道、土路、草地等。
S7基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整。
具体方式为:
S71基于所述温度和所述湿度对清洁机器人的出水量参数进行调整;
S72基于所述分割分类结果对所述清洁机器人的前进速度参数和刷头转速参数进行调整。
图9和图10中英文单词的解释为:maxpool最大池化、avgpool平均池化、sharedMLP(shared Multilayer Perceptron)共享多层感知机、conv layer卷积层、channel-refined feature信道细化特征。
有益效果:
改进的FCN网络将编码器换为ResNet50。这样带来的好处有:网络层数加深,提高了网络的分割精度;ResNe50t能够快速收敛,减少模型对训练集数量的要求。在FCN模型的末尾添加了先验概率层,使得图像的分割精度进一步提升。改进的ResNet50网络将CBAM注意力机制融入卷积层,提高模型特征提取能力和表达能力,提升了模型对特征的选择和融合能力,实现了道路的高效分类。在改进的FCN网络的基础上,引入视觉和触觉传感器来捕捉环境的实时信息,传送到改进的FCN网络和改进的ResNet50网络,可以实现对周围环境的实时捕捉和分析,通过视觉和触觉来判断道路的类型,进一步来控制清洁机器人进行不同的清洁模式。对实现对清洁机器人出水量、刷头转速等参数的自动调整。
以上所揭露的仅为本发明一种基于跨模态清洁机器人清洁道路分割与识别方法较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (7)

1.一种基于跨模态清洁机器人清洁道路分割与识别方法,其特征在于,包括以下步骤:
通过触觉传感器采集环境信息,得到采集数据,通过视觉传感器采集环境信息,得到待预测数据;
对全卷积神经网络进行改进,得到完整全卷积神经网络;
使用训练集对所述完整全卷积神经网络进行训练,得到分割模型;
将所述待预测数据输入所述分割模型进行训练,得到分割结果;
对ResNet50网络进行改进,得到分类模型;
将所述分割结果输入所述分类模型进行特征信息提取,得到分割分类结果;
基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整。
2.如权利要求1所述的基于跨模态清洁机器人清洁道路分割与识别方法,其特征在于,
所述对全卷积神经网络进行改进,得到完整全卷积神经网络的具体方式为:
将VGG模型的最后三个全连接层换为三个卷积层,并将编码区换为ResNet50,将先验概率层添加到所述VGG模型的末尾,得到完整全卷积神经网络。
3.如权利要求2所述的基于跨模态清洁机器人清洁道路分割与识别方法,其特征在于,
所述使用训练集对所述完整全卷积神经网络进行训练,得到分割模型的具体方式为:
获取数据集;
对所述数据集进行预处理,得到训练集。
4.如权利要求3所述的基于跨模态清洁机器人清洁道路分割与识别方法,其特征在于,
所述对ResNet50网络进行改进,得到分类模型的具体方式为:
利用CBAM注意力模块来替换ResNet50网络的最后三个3×3的卷积层,得到分类模型。
5.如权利要求4所述的基于跨模态清洁机器人清洁道路分割与识别方法,其特征在于,
所述采集数据包括温度和湿度;
所述待预测数据包括道路信息、行人信息和障碍物信息。
6.如权利要求5所述的基于跨模态清洁机器人清洁道路分割与识别方法,其特征在于,
所述基于所述采集数据和所述分割分类结果对清洁机器人的工作参数进行调整的具体方式为:
基于所述温度和所述湿度对清洁机器人的出水量参数进行调整;
基于所述分割分类结果对所述清洁机器人的前进速度参数和刷头转速参数进行调整。
7.如权利要求6所述的基于跨模态清洁机器人清洁道路分割与识别方法,其特征在于,
所述将所述分割结果输入所述分类模型进行特征信息提取,得到分割分类结果的具体方式为:
将所述分割结果输入所述分类模型的CBAM注意力模块,所述将所述分割结果使用乘法机制让通道注意值沿着空间维度进行传导,得到输出值;
通过所述分类模型的通道子模块使用最大池化和平均池化对所述输出值进行聚合后累加,得到分割分类结果。
CN202210913278.2A 2022-08-01 2022-08-01 基于跨模态清洁机器人清洁道路分割与识别方法 Withdrawn CN115546745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210913278.2A CN115546745A (zh) 2022-08-01 2022-08-01 基于跨模态清洁机器人清洁道路分割与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210913278.2A CN115546745A (zh) 2022-08-01 2022-08-01 基于跨模态清洁机器人清洁道路分割与识别方法

Publications (1)

Publication Number Publication Date
CN115546745A true CN115546745A (zh) 2022-12-30

Family

ID=84724387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210913278.2A Withdrawn CN115546745A (zh) 2022-08-01 2022-08-01 基于跨模态清洁机器人清洁道路分割与识别方法

Country Status (1)

Country Link
CN (1) CN115546745A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556785A (zh) * 2024-01-11 2024-02-13 集海科技(深圳)有限公司 智能服务机器人的芯片算法、芯片、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556785A (zh) * 2024-01-11 2024-02-13 集海科技(深圳)有限公司 智能服务机器人的芯片算法、芯片、设备及存储介质
CN117556785B (zh) * 2024-01-11 2024-04-30 集海科技(深圳)有限公司 智能服务机器人的芯片算法、芯片、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111461258B (zh) 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN111985343B (zh) 一种行为识别深度网络模型的构建方法及行为识别方法
WO2019144575A1 (zh) 一种快速行人检测方法及装置
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
Komorowski et al. Minkloc++: lidar and monocular image fusion for place recognition
CN111191583A (zh) 基于卷积神经网络的空间目标识别系统及方法
CN108133235B (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN113487576B (zh) 一种基于通道注意力机制的虫害图像检测方法
CN114266977A (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
CN110969182A (zh) 基于农田图像的卷积神经网络构建方法及其系统
CN115546745A (zh) 基于跨模态清洁机器人清洁道路分割与识别方法
CN112560865A (zh) 一种室外大场景下点云的语义分割方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN115346269A (zh) 一种手势动作识别的方法
CN113361496B (zh) 一种基于U-Net的城市建成区统计方法
CN115049945A (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN114723010A (zh) 一种异步事件数据的自动学习增强方法及系统
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN114519402B (zh) 一种基于神经网络的柑橘病虫害检测方法
CN113792739A (zh) 一种通用型车牌文本识别方法
CN111241986B (zh) 一种基于端到端关系网络的视觉slam闭环检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221230

WW01 Invention patent application withdrawn after publication