CN114202505A - 一种用于风机叶片表面缺陷的检测方法 - Google Patents

一种用于风机叶片表面缺陷的检测方法 Download PDF

Info

Publication number
CN114202505A
CN114202505A CN202111254893.9A CN202111254893A CN114202505A CN 114202505 A CN114202505 A CN 114202505A CN 202111254893 A CN202111254893 A CN 202111254893A CN 114202505 A CN114202505 A CN 114202505A
Authority
CN
China
Prior art keywords
blade
roi
fan blade
neural network
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111254893.9A
Other languages
English (en)
Inventor
王国中
杨高予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202111254893.9A priority Critical patent/CN114202505A/zh
Publication of CN114202505A publication Critical patent/CN114202505A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能识别的技术领域,公开了一种用于风机叶片表面缺陷的检测方法,搜集叶片图像并进行预处理,手动标注包含在其中缺陷的位置和类型,构建叶片表面缺陷数据库;使用Mask R‑CNN算法选取残差网络ResNet‑101和特征金字塔网络FPN作为骨架网络构建神经网络模型,其中,残差网络ResNet‑101用于对叶片图像进行特征提取,特征金字塔网络FPN用于对提取的特征进行融合;将叶片表面缺陷数据库的叶片图像分为训练集合和测试集,用所述训练集对构建好的神经网络模型进行训练,然后再利用测试集对神经网络模型进行测试,完成神经网络模型的训练,最后利用训练好的神经网络模型对待检叶片进行检测。

Description

一种用于风机叶片表面缺陷的检测方法
技术领域
本发明涉及智能识别的技术领域,具体涉及一种用于风机叶片表面缺陷的检测方法。
背景技术
叶片是风力发电机组中的重要部分,风能是否能够最大限度的捕捉往往取决于叶片是否具有优良的空气动力学外形、叶片表面的光滑度等性能。
由于叶片的结构、所处环境的复杂性,给风机叶片的运行维护带来很大困难。传统的叶片损伤、故障的检测手段是使用望远镜观察和利用绳索垂降进行人工检测,存在检测效率低,工人劳动强度大;高空作业,检测成本高;检测时间长,停机发电量损失大等缺点。而现有的一种检测方案是使用无人机高空巡检风机叶片表面缺陷,将无人机拍摄所得的风机叶片表面原始图像回传后,通过人工识别风机叶片表面是否有缺陷,但是这种方法依然需要人工识别缺陷无法做到产生实时的检测结果。
发明内容
针对现有叶片检测仍处于较低水平的人工操作,效率较低,检测成本高等现状,本发明提供了一种用于风机叶片表面缺陷的检测方法,利用深度学习技术结合图像处理来自动判断风机叶片表面是否存在缺陷,能以最低的成本达到最好的检测效果,进而为风电机组叶片结构的安全运营提供具有极高性价比的技术支持,极大地降低了风场的生产风险,提高了风场的生产效能。
本发明可通过以下技术方案实现:
一种用于风机叶片表面缺陷的检测方法,包括以下步骤:
步骤一、搜集叶片图像并进行预处理,手动标注包含在其中缺陷的位置和类型,构建叶片表面缺陷数据库;
步骤二、使用Mask R-CNN算法选取残差网络ResNet-101和特征金字塔网络FPN作为骨架网络构建神经网络模型,其中,所述残差网络ResNet-101用于对叶片图像进行特征提取,所述特征金字塔网络FPN用于对提取的特征进行融合;
步骤三、将所述叶片表面缺陷数据库的叶片图像分为训练集合和测试集,用所述训练集对构建好的神经网络模型进行训练,然后再利用测试集对神经网络模型进行测试,完成神经网络模型的训练,最后利用训练好的神经网络模型对待检叶片进行检测。
进一步,构建五层残差网络ResNet-101,分别标记为stage1、stage2、stage3、stage4和stage5,除了stage1,其余四层均做1x1的卷积操作,输出结果分别记为C2,C3,C4,C5,然后自上而下从C5开始,进行最近邻上采样方法,得到与下一层相同的长和宽,再与采用最近邻上采样得到的feature map特征相加,输出不同尺度的特征融合图,分别记为P5,P4,P3,P2,从中选择最合适尺度的特征融合图进行风机叶片表面缺陷区域ROI提取。
进一步,利用如下方程式,选择最合适尺度的特征融合图,其对应的层级为k,
Figure BDA0003323758500000021
其中,k0表示面积为224*224的ROI所在的层级,预先设置为4,即224*224的ROI应由特征融合层P4产生,w、h分别表示ROI的scale中的宽和高的像素值,size表示进行训练的风机叶片图片的大小,这里选取size=224;
如果
Figure BDA0003323758500000022
即当ROI的尺度小于训练的风机叶片图片size时,就意味着k值比k0更小,ROI要从更高分辨率的特征融合图中产生;如果
Figure BDA0003323758500000023
即当ROI的尺度大于训练的风机叶片图片size时,就意味着k值比k0更大,ROI要从更低分辨率的特征融合图中产生。
进一步,采用双线性插值的方法对可能的风机叶片表面缺陷区域ROI进行池化,确定最终的风机叶片表面缺陷区域ROI的尺寸坐标,其插值公式如下,
Figure BDA0003323758500000031
其中,x1,x2,y1,y2表示可能的风机叶片表面缺陷区域ROI坐标范围。
进一步,所述预处理包括将采集到的叶片图像调整到统一尺寸,以风机叶片主体且置于叶片图像的中部为基准,筛选过滤无用的叶片图像,然后通过平移变换和色彩抖动对叶片图像进行数据增强。
本发明有益的技术效果在于:
先对风机叶片图像进行预处理,再通过平移变换和色彩抖动的方式进行数据增强,然后使用残差网络ResNet-101和特征金字塔网络FPN作为骨架网络构建Mask R-CNN神经网络进行深度学习,生成风机叶片表面缺陷的检测模型,通过该模型能够快速地、精确地识别表面是否存在缺陷以及表面缺陷的类型,在节约了人力资源,降低了检测成本的基础上,同时还提高了风机叶片表面缺陷识别的效率以及准确率。另外,本发明的方法简单可靠,操作方便,易于实现,便于推广应用。
附图说明
图1是本发明的总体流程图;
图2是本发明的神经网络骨架设计构建示意图。
具体实施方式
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
步骤1:获取风机叶片表面缺陷原始数据集,并对故障类别进行标注。
图像数据集来自在风电机组现场使用无人机搭载高清摄像头于高空进行采集。搜集风机叶片图像,包含各种正常的风机叶片和存在各种可能的缺陷类型的风机叶片,数量不少于3000张,每一种缺陷类型的图像不少于150张,分辨率不低于800x600像素。
步骤2:风机表面缺陷原始图像进行预处理,采取平移变换和色彩抖动的方式,对图像进行数据增强,防止训练中的过拟合。
预处理包括调整原始风机叶片数据集的图像尺寸大小至统一尺寸,统一图像的分辨率为600x600,将风机叶片主体置于图像中心,叶片占图像面积的比例不低于10%,框选出主体部位,筛选过滤无用的原始数据,然后进行平移变换和色彩抖动处理。
平移变换过程是对经过预处理后的图像进行平移操作,在x方向和y方向均平移一定随机距离,生成新的图像。
色彩抖动过程是对经过预处理后的图像进行亮度,对比度和饱和度上的随机调整,从而生成新的图像。
对上述预处理后的风机叶片图像进行标记,对正常的风机叶片标记为正常,对有缺陷的风机叶片标记出缺陷的位置和类型。可把标记后的风机叶片图像集按照缺陷类型分为N组,每一组中的风机叶片具有相同类型的缺陷,或者没有缺陷。
最后,把每一组风机叶片图像随机分为训练组和验证组,训练组包含80%的图像,验证组包含20%的图像;把N个组的训练组合并为训练集,把N个组的验证组合并为验证集。
步骤3:使用深度学习中的Mask R-CNN神经网络对经过预处理后的图片进行特征提取,框选出可能的缺陷区域添加并行分支以进行实例分割,进行联合训练,输出结果为特征图。
具体包括:
选取残差网络(ResNet-101)和特征金字塔网络(FPN)作为风机叶片表面缺陷神经网络模型的骨架网络(Backbone)。构建五层残差网络ResNet-101,分别标记为stage1、stage2、stage3、stage4和stage5,除了stage1,其余四层均做1x1的卷积操作,输出结果分别记为C2,C3,C4,C5,然后自上而下从C5开始,进行最近邻上采样方法,得到与下一层相同的长和宽,再与采用最近邻上采样得到的feature map特征相加,输出不同尺度的特征融合图,分别记为P5,P4,P3,P2,从中选择最合适尺度的特征融合图进行风机叶片表面缺陷区域ROI提取。
具体地,对输入的图像自下而上进行特征提取,将ResNet-101网络分为5个stage,为了节省内存开销,stage1不作卷积;只对stage2,stage3,stage4和stage5做1x1的卷积,输出结果分别记为C2,C3,C4,C5,然后自上而下从最顶层C5开始,进行最近邻上采样,得到与C4相同的长和宽,C4再与上采样的feature map相加,并采用3*3的卷积核对已经融合的特征进行处理,消除上采样的混叠效应,得到了融合层P4。
同样的,C3与C4的最近邻上采样的feature map相加,而后也用3*3的卷积核做卷积,得到融合层P3;C2与C3的最近邻上采样的feature map相加,用3*3的卷积核做卷积,得到融合层P2。
最后对最顶层C5进行两个操作,一是直接做3*3的卷积,输出融合层P5;二是对C5进行步长为2的max pooling下采样,得到融合层P6。
上述步骤将各个层级的特征进行融合,产生了特征金字塔[P2,P3,P4,P5,P6],而并非只是一个特征融合图。特征金字塔经过RPN之后会产生很多region proposal,这些region proposal是分别由P2,P3,P4,P5,P6经过RPN产生的,但用于输入到神经网络后续部分中的是[P2,P3,P4,P5],也就是说要在[P2,P3,P4,P5]中选择最合适尺度的特征融合图来提取出可能的风机叶片表面缺陷区域ROI,进行后续的分类和回归预测。对每个ROI来说,本发明都定义了一个多任务损失函数L=Lcls+Lbox+Lmask,最后通过该损失函数计算风机叶片表面缺陷模型损失。
为了从上述步骤中的融合层来提取可能的风机叶片表面缺陷区域ROI,本发明中进一步计算出相应特征融合层Pk的层数,得到Pk中k的表达式为:
Figure BDA0003323758500000051
其中,k0表示面积为224×224的ROI所在的层级,预先设置为4,即224×224的ROI应由融合层P4产生,w、h为ROI的scale中的宽和高的像素值,size代表进行预训练的风机叶片图片的大小,这里选取size=224。
如果
Figure BDA0003323758500000061
即当ROI的尺度小于训练的风机叶片图片size时,就意味着k值比k0更小,ROI要从更高分辨率的特征融合图中产生,有利于检测风机叶片表面小尺度缺陷;如果
Figure BDA0003323758500000062
即当ROI的尺度大于训练的风机叶片图片size时,就意味着k值更大,ROI要从更低分辨率的特征融合图中产生,有利于检测风机叶片表面大尺度缺陷。
由于对边界进行整数化,选框已经和最开始回归出来的位置有一定的偏差,这个偏差会影响风机叶片表面检测的准确度,所以本发明采用双线性插值的方法对可能的风机叶片表面缺陷区域进行池化,将这些可能的区域全部变成固定尺寸,保留了小数,获得坐标为浮点数的像素点上的图像数值。
在x方向和y方向上对每个可能的风机叶片表面缺陷区域进行线性插值,有表达式:
Figure BDA0003323758500000063
其中,x1,x2,y1,y2表示可能的风机叶片表面缺陷区域ROI坐标范围。
然后对每个ROI区域内的四个采样点进行最大池化,对ROI下采样,增加感受野。
对每个ROI都定义了一个多任务损失函数,具体地,通过以下损失函数计算风机叶片表面缺陷模型损失:
L=Lcls+Lbox+Lmadk
其中,Lbox为回归损失,Lmask为分割中的平均二值交叉熵损失,Lcls为交叉熵损失。
Lcls定义为:
Figure BDA0003323758500000064
其中,N为缺陷分类数量,Lcls,i为第i类缺陷交叉熵损失,yi,c为符号函数,即如果样本i的真实类别等于c则yi,c取1,否则yi,c取0,pi,c为观测样本i属于缺陷类别c的预测概率。
并且Lmask仅仅考虑当前类别的mask的损失,允许对每个类别都会生成mask,这样通过分类分支预测的类别来选择相应的mask预测,将mask预测和分类预测解耦,避免类间竞争。
通过以上步骤得到分类损失值L,根据随机梯度下降和链式求导法则,通过反向传播,更新模型权重。至此,模型训练阶段结束。
使用验证集验证模型的检测效果,如果模型在验证集上的检测效果达到80%的mAP,则可以认为模型检测效果良好,如果模型在验证集上的检测效果没有达到80%的mAP,则需要通过调整模型初始学习率,调整模型迭代次数epoch等方法对所述检测模型进行调优,并对调优后的模型进行再次验证,直到模型在验证集上的检测效果达到80%的mAP。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,因此,本发明的保护范围由所附权利要求书限定。

Claims (5)

1.一种用于风机叶片表面缺陷的检测方法,其特征在于包括以下步骤:
步骤一、搜集叶片图像并进行预处理,手动标注包含在其中缺陷的位置和类型,构建叶片表面缺陷数据库;
步骤二、使用Mask R-CNN算法选取残差网络ResNet-101和特征金字塔网络FPN作为骨架网络构建神经网络模型,其中,所述残差网络ResNet-101用于对叶片图像进行特征提取,所述特征金字塔网络FPN用于对提取的特征进行融合;
步骤三、将所述叶片表面缺陷数据库的叶片图像分为训练集合和测试集,用所述训练集对构建好的神经网络模型进行训练,然后再利用测试集对神经网络模型进行测试,完成神经网络模型的训练,最后利用训练好的神经网络模型对待检叶片进行检测。
2.根据权利要求1所述的用于风机叶片表面缺陷的检测方法,其特征在于:构建五层残差网络ResNet-101,分别标记为stage1、stage2、stage3、stage4和stage5,除了stage1,其余四层均做1x1的卷积操作,输出结果分别记为C2,C3,C4,C5,然后自上而下从C5开始,进行最近邻上采样方法,得到与下一层相同的长和宽,再与采用最近邻上采样得到的featuremap特征相加,输出不同尺度的特征融合图,分别记为P5,P4,P3,P2,从中选择最合适尺度的特征融合图进行风机叶片表面缺陷区域ROI提取。
3.根据权利要求2所述的用于风机叶片表面缺陷的检测方法,其特征在于:利用如下方程式,选择最合适尺度的特征融合图,其对应的层级为k,
Figure FDA0003323758490000011
其中,k0表示面积为224*224的ROI所在的层级,预先设置为4,即224*224的ROI应由特征融合层P4产生,w、h分别表示ROI的scale中的宽和高的像素值,size表示进行训练的风机叶片图片的大小,这里选取size=224;
如果
Figure FDA0003323758490000012
即当ROI的尺度小于训练的风机叶片图片size时,就意味着k值比k0更小,ROI要从更高分辨率的特征融合图中产生;如果
Figure FDA0003323758490000013
即当ROI的尺度大于训练的风机叶片图片size时,就意味着k值比k0更大,ROI要从更低分辨率的特征融合图中产生。
4.根据权利要求2所述的用于风机叶片表面缺陷的检测方法,其特征在于:采用双线性插值的方法对可能的风机叶片表面缺陷区域ROI进行池化,确定最终的风机叶片表面缺陷区域ROI的尺寸坐标,其插值公式如下,
Figure FDA0003323758490000021
其中,x1,x2,y1,y2表示可能的风机叶片表面缺陷区域ROI坐标范围。
5.根据权利要求1所述的用于风机叶片表面缺陷的检测方法,其特征在于:所述预处理包括将采集到的叶片图像调整到统一尺寸,以风机叶片主体且置于叶片图像的中部为基准,筛选过滤无用的叶片图像,然后通过平移变换和色彩抖动对叶片图像进行数据增强。
CN202111254893.9A 2021-10-27 2021-10-27 一种用于风机叶片表面缺陷的检测方法 Withdrawn CN114202505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111254893.9A CN114202505A (zh) 2021-10-27 2021-10-27 一种用于风机叶片表面缺陷的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111254893.9A CN114202505A (zh) 2021-10-27 2021-10-27 一种用于风机叶片表面缺陷的检测方法

Publications (1)

Publication Number Publication Date
CN114202505A true CN114202505A (zh) 2022-03-18

Family

ID=80646383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111254893.9A Withdrawn CN114202505A (zh) 2021-10-27 2021-10-27 一种用于风机叶片表面缺陷的检测方法

Country Status (1)

Country Link
CN (1) CN114202505A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862796A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 一种用于风机叶片损伤检测的无人机
CN115239034A (zh) * 2022-09-26 2022-10-25 北京科技大学 一种风力发电机叶片早期缺陷预测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862796A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 一种用于风机叶片损伤检测的无人机
CN115239034A (zh) * 2022-09-26 2022-10-25 北京科技大学 一种风力发电机叶片早期缺陷预测方法及系统

Similar Documents

Publication Publication Date Title
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN109934153B (zh) 基于门控深度残差优化网络的建筑物提取方法
CN108549893A (zh) 一种任意形状的场景文本端到端识别方法
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN108416307A (zh) 一种航拍图像路面裂缝检测方法、装置及设备
CN110163187A (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN107609525A (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN114202505A (zh) 一种用于风机叶片表面缺陷的检测方法
CN113902915A (zh) 一种基于低光照复杂道路场景下的语义分割方法及系统
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN109214308A (zh) 一种基于焦点损失函数的交通异常图片识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN110287882A (zh) 一种基于深度学习的大菊品种图像识别方法
CN115862073B (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
CN113408423A (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN114842208A (zh) 一种基于深度学习的电网危害鸟种目标检测方法
CN115953408B (zh) 一种基于YOLOv7的避雷器表面缺陷检测方法
CN115049534A (zh) 基于知识蒸馏的鱼眼图像实时语义分割方法
CN113283409A (zh) 基于EfficientDet和Transformer的航空图像中的飞机检测方法
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
CN109784205A (zh) 一种基于多光谱巡检图像的杂草智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220318

WW01 Invention patent application withdrawn after publication