CN111311548B - 一种骨料检测模型的形成方法和消力池底板骨料检测的方法 - Google Patents

一种骨料检测模型的形成方法和消力池底板骨料检测的方法 Download PDF

Info

Publication number
CN111311548B
CN111311548B CN202010064100.6A CN202010064100A CN111311548B CN 111311548 B CN111311548 B CN 111311548B CN 202010064100 A CN202010064100 A CN 202010064100A CN 111311548 B CN111311548 B CN 111311548B
Authority
CN
China
Prior art keywords
aggregate
image
detection model
bottom plate
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010064100.6A
Other languages
English (en)
Other versions
CN111311548A (zh
Inventor
李永龙
王皓冉
陈永灿
张华�
刘昭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Energy Internet Research Institute EIRI Tsinghua University
Original Assignee
Sichuan Energy Internet Research Institute EIRI Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Energy Internet Research Institute EIRI Tsinghua University filed Critical Sichuan Energy Internet Research Institute EIRI Tsinghua University
Priority to CN202010064100.6A priority Critical patent/CN111311548B/zh
Publication of CN111311548A publication Critical patent/CN111311548A/zh
Application granted granted Critical
Publication of CN111311548B publication Critical patent/CN111311548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供了一种骨料检测模型的形成方法和消力池底板骨料检测的方法，涉及骨料检测技术领域。骨料检测模型的形成方法包括：利用水下机器人采集消力池底板的原始图像；对所述原始图像进行增广处理，形成图像数据集；采用卷积神经网络对所述图像数据集进行像素级的缺陷检测，得出损失预测值Pn；采用所述损失预测值Pn和损失函数对所述卷积神经网络进行训练，得出骨料检测模型。该方法能够自动识别磨损的裸露骨料，并具有较高的检测精度和效率。

Description

一种骨料检测模型的形成方法和消力池底板骨料检测的方法
技术领域
本发明涉及骨料检测技术领域，具体而言，涉及一种骨料检测模型的形成方法和消力池底板骨料检测的方法。
背景技术
目前，大坝等水利枢纽基础设施的正常运行是保障民生质量、发展经济的重要因素之一，在发电、防洪、灌溉等领域扮演着重要的角色。
然而，在后端消能过程中，消力池底板混凝土表面不可避免地会受到水流冲击和水中杂物的破坏而产生磨损侵蚀，因此，为保证水利工程稳定高速的发展，需对消力池底板进行高效精确的缺陷检测。其中，裸露骨料是消力池底板混凝土表面磨损侵蚀的典型特征，因此，对消力池底板的磨损评价，需要对裸露骨料进行自动准确的检测。
目前，国内外虽然设计了多种水下机器人用于消力池底板缺陷检测，但用于识别磨损的裸露骨料检测往往是手工完成的，检测精度和效率都较低。同时，图像样本的稀缺和含有的较多噪声也成为了自动检测所面临的主要难点。
因此，设计一种消力池底板骨料检测的方法，能够自动识别磨损的裸露骨料，并具有较高的检测精度和效率，这是目前急需解决的技术问题。
发明内容
本发明的目的在于提供一种骨料检测模型的形成方法和消力池底板骨料检测的方法，其能够自动识别磨损的裸露骨料，并具有较高的检测精度和效率。
本发明提供一种技术方案：
一种骨料检测模型的形成方法，包括：
利用水下机器人采集消力池底板的原始图像；
对所述原始图像进行增广处理，形成图像数据集；
采用卷积神经网络对所述图像数据集进行像素级的缺陷检测，得出损失预测值Pn；
采用所述损失预测值Pn和损失函数对所述卷积神经网络进行训练，得出骨料检测模型。
在本发明较佳的实施例中，所述利用水下机器人采集消力池底板的原始图像的步骤，包括：
在所述消力池底板上按矩阵的形式标记多个采样点；
利用所述水下机器人采集每个所述采样点的所述原始图像。
在本发明较佳的实施例中，所述对所述原始图像进行增广处理，形成图像数据集的步骤，包括：
将所述原始图像按照预定比例随机分为训练图像、验证图像和测试图像，所述训练图像、所述验证图像和所述测试图像均加入所述图像数据集。
在本发明较佳的实施例中，所述将所述原始图像按照预定比例随机分为训练图像、验证图像和测试图像，所述训练图像、所述验证图像和所述测试图像均加入所述图像数据集的步骤，包括：
对所述训练图像进行增广处理，形成增广图像，所述增广图像加入所述图像数据集。
在本发明较佳的实施例中，所述对所述训练图像进行增广处理，形成增广图像的步骤，包括：
对每张所述训练图像分别进行水平翻转变换、垂直翻转变换、亮度变换、旋转变换，形成四张所述增广图像。
在本发明较佳的实施例中，所述采用所述损失预测值Pn和损失函数对所述卷积神经网络进行训练，得出骨料检测模型的步骤，包括：
将两个函数式采用交叉熵加入所述损失函数中，对所述卷积神经网络进行训练，得出骨料检测模型。
在本发明较佳的实施例中，两个所述函数式包括：
函数式一：
Figure RE-GDA0002431720840000041
函数式二：
Figure RE-GDA0002431720840000042
其中，DL2和CE均为损失函数，N为像素个数，Pn为损失预测值，rn为地面真值，ε＝10-5为人为设置的小数值。
在本发明较佳的实施例中，所述卷积神经网络包括注意力门，所述注意力门用于对每个像素生成注意力系数，并针对每个特征图输出所述注意力系数与像素的乘积，以此来表征该区域需要关注的程度。
在本发明较佳的实施例中，所述卷积神经网络还包括级联模块，所述注意力门与所述级联模块将图像的局部特征有选择地组合到全局特征中，以恢复图像的细节。
本发明还提供一种消力池底板骨料检测的方法，包括：
采用骨料检测模型对骨料图片进行检测，得到预测图像；
通过遍历所述预测图像的每个像素，计算骨料比；
若所述骨料比超过预设值，则判定骨料损失；
其中，所述骨料检测模型由所述的骨料检测模型的形成方法形成。
本发明提供的骨料检测模型的形成方法和消力池底板骨料检测的方法的有益效果是：
首先，利用水下机器人采集消力池底板的原始图像，避免人工采集图像，提高采集效率，降低人力成本；
其次，对所述原始图像进行增广处理，形成图像数据集，能够提高骨料检测模型的训练量，提高模型的精度；
最后，形成骨料检测模型，能够自动识别磨损的裸露骨料，并具有较高的检测精度和效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的骨料检测模型的形成方法的流程图。
图2为卷积神经网络的框架图。
图3为卷积神经网络的详细结构。
图4为注意力门的框架图。
图5为本发明实施例提供的消力池底板骨料检测的方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
目前，国内外虽然设计了多种水下机器人用于消力池底板缺陷检测，但用于识别磨损的裸露骨料检测往往是手工完成的，检测精度和效率都较低。同时，图像样本的稀缺和含有的较多噪声也成为了自动检测所面临的主要难点。
本实施例提供一种骨料检测模型的形成方法和消力池底板骨料检测的方法，其能够自动识别磨损的裸露骨料，并具有较高的检测精度和效率。
请参阅图1，本实施例提供的骨料检测模型的形成方法，包括以下步骤：
S1：利用水下机器人采集消力池底板的原始图像。
其中，水下机器人的框架由铝合金型材制成，水下机器人包含四个水平推进器和四个垂直推进器，便于水下机器人全方位运动自如，并采用电池供电。水下机器人的浮力模块用来平衡水下机器人在水中的重量；水下机器人的除淤模块可部分去除消力池底板表面的泥沙和砂石沉积，便于水下机器人采集到清晰的原始图像；水下机器人的图像采集模块由LED灯和水下摄像机组成，水下摄像机分辨率为 1920×1080像素、焦距2.8mm。
为了充分获取消力池底板的损伤状态，水下机器人对消力池底板进行全覆盖式采集，首先，在所述消力池底板上按矩阵的形式标记多个采样点，例如64个采样点，采用8行8列的形式排布；然后，利用所述水下机器人采集每个所述采样点的所述原始图像。
S2：对所述原始图像进行增广处理，形成图像数据集。
将所述原始图像按照预定比例随机分为训练图像、验证图像和测试图像，所述训练图像、所述验证图像和所述测试图像均加入所述图像数据集。本实施例中，将128张原始图像随机分为102张训练图像、13张验证图像和13张测试图像。为了给网络训练提供数据，每张原始图像在中心点裁剪成4张512×512的图像。因此，训练图像的数量则为408张，验证图像的数量则为52张，测试图像的数量则为52 张。
为了增加训练图像的多样性，防止过拟合，随机选取训练图像进行数据扩充。本实施例中，对所述训练图像进行增广处理，形成增广图像，所述增广图像加入所述图像数据集。例如，对每张所述训练图像分别进行水平翻转变换、垂直翻转变换、亮度变换、旋转变换，形成四张所述增广图像。对于水平翻转变换，则是图像和标签同时水平旋转180度。对于垂直翻转变换，则是图像和标签同时垂直旋转180 度。对于亮度变换，则是图像的RGB值乘以从0到1的随机亮度系数。对于旋转变换，则是图像和标签都在图像中心随机旋转一个角度。
S3：采用卷积神经网络对所述图像数据集进行像素级的缺陷检测，得出损失预测值Pn。
其中，请参阅图2和图 3，卷积神经网络(U-Net网络)是一个基于语义分割的端到端的网络，并将CNN的全连接分类层替换为反卷积层，以实现像素级别的检测。
请参阅图2和图4，本实施例中的卷积神经网络包括注意力门，例如图2中G1、G2、G3和G4。所述注意力门用于对每个像素生成注意力系数，并针对每个特征图输出所述注意力系数与像素的乘积，以此来表征该区域需要关注的程度。注意力门是提高模型灵敏度和预测精度的整体结构的核心部分。注意力门是一种自我注意机制，允许通过全局特征计算出的注意系数来过滤局部特征中不相关的部分。
注意力门能够使整个网络的注意力集中到对特定任务有用的显著特征，抑制输入图像中的不相关区域。通过简化注意力门模块，对网络进行微调，构建全卷积网络。整个神经网络的结构是基于U-Net 构建的，但是为了克服U-Net网络在预测骨料尺寸和形状方面的不足，本实施例中使用注意力门来抑制无关特征，从而提高整个网络对骨料的检测精度。
所述卷积神经网络的输入是512×512×3的RGB三通道彩色图像，输出是512×512×2的图像，最后两个输出通道将指示像素是背景或暴露的聚合的概率。网络是一个编译码结构，分为编码器和解码器部分。编码器部分由多层卷积和池化层组成，作用是降低分辨率，从原始图像中提取出骨料的抽象特征。解码部分则使用多个反卷积层对低分辨率特征图进行上采样，得到与输入图像大小相同的分割结果。所述卷积神经网络还包括级联模块，在残差连接(skip connction)的过程中，所述注意力门与所述级联模块将图像的局部特征有选择地组合到全局特征中，以恢复图像的细节。
S4：采用所述损失预测值Pn和损失函数对所述卷积神经网络进行训练，得出骨料检测模型。
其中，将两个函数式采用交叉熵加入所述损失函数中，对所述卷积神经网络进行训练，得出骨料检测模型。两个所述函数式包括：
函数式一：
Figure RE-GDA0002431720840000101
函数式二：
Figure RE-GDA0002431720840000102
其中，DL2和CE均为损失函数，N为像素个数，Pn为损失预测值，rn为地面真值，ε＝10-5为人为设置的小数值。
在训练过程中，计算损失函数来评估损失预测值Pn与地面真值rn的偏差程度。本场景采集到的数据正负样本是不平衡的，在大多数图像中负样本比正样本(骨料)要多，其中，负样本相当于背景，正样本相当于骨料。为形成训练良好的模型，本实施例中，使用diceloss 和交叉熵相结合的方式来构建损耗函数。其中，dice loss可以用来评估损失预测值Pn与地面真值rn之间的相似性；而将交叉熵加入损失函数中可以加速整个网络的收敛速度。
经过良好训练形成的骨料检测模型能够自动识别磨损的裸露骨料，并具有较高的检测精度和效率。
请参阅图5，本实施例还提供一种消力池底板骨料检测的方法，包括以下步骤：
S21：采用骨料检测模型对骨料图片进行检测，得到预测图像。
其中，所述骨料检测模型由上述的骨料检测模型的形成方法形成。利用迭代训练得到的骨料检测模型对骨料图片进行检测，得到预测图像。
S22：通过遍历所述预测图像的每个像素，计算骨料比。
其中，通过遍历预测图像的每个像素，计算骨料比，骨料比为露骨料占整个图像的比例。
S23：若所述骨料比超过预设值，则判定骨料损失。
其中，骨料比作为底板的骨料是否损失的依据。若所述骨料比超过预设值，则判定骨料损失；若所述骨料比未超过预设值，则判定骨料未损失。预设值可以是30％。
本实施例提供的骨料检测模型的形成方法和消力池底板骨料检测的方法的有益效果是：
首先，利用水下机器人采集消力池底板的原始图像，避免人工采集图像，提高采集效率，降低人力成本；
其次，对所述原始图像进行增广处理，形成图像数据集，能够提高骨料检测模型的训练量，提高模型的精度；
最后，形成骨料检测模型，能够自动识别磨损的裸露骨料，并具有较高的检测精度和效率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种骨料检测模型的形成方法，其特征在于，包括：
利用水下机器人采集消力池底板的原始图像；
对所述原始图像进行增广处理，形成图像数据集；
采用卷积神经网络对所述图像数据集进行像素级的缺陷检测，得出损失预测值Pn，所述卷积神经网络是一个编译码结构，分为编码器和解码器，所述编码器由多层卷积和池化层组成，作用是降低分辨率，从原始图像中提取出骨料的抽象特征，所述解码器则使用多个反卷积层对特征图进行采样，得到与输入图像大小相同的分割结果，所述卷积神经网络还包括级联模块和注意力门，所述注意力门用于对每个像素生成注意力系数，并针对每个特征图输出所述注意力系数与像素的乘积，以此来表征该区域需要关注的程度，所述注意力门与所述级联模块将图像的局部特征有选择地组合到全局特征中，以恢复图像的细节；
采用所述损失预测值Pn和损失函数对所述卷积神经网络进行训练，得出骨料检测模型，包括：将两个函数式结合构建为所述损失函数，对所述卷积神经网络进行训练，得出骨料检测模型，两个所述函数式包括：
函数式一：
Figure FDA0003956946220000011
函数式二：
Figure FDA0003956946220000021
其中，DL2和CE均为损失函数，N为像素个数，Pn为损失预测值，rn为地面真值，ε＝10-5为人为设置的小数值。
2.根据权利要求1所述的骨料检测模型的形成方法，其特征在于，所述利用水下机器人采集消力池底板的原始图像的步骤，包括：
在所述消力池底板上按矩阵的形式标记多个采样点；
利用所述水下机器人采集每个所述采样点的所述原始图像。
3.一种消力池底板骨料检测的方法，其特征在于，包括：
采用骨料检测模型对骨料图片进行检测，得到预测图像；
通过遍历所述预测图像的每个像素，计算骨料比；
若所述骨料比超过预设值，则判定骨料损失；
其中，所述骨料检测模型由权利要求1或2所述的骨料检测模型的形成方法形成。
CN202010064100.6A 2020-01-20 2020-01-20 一种骨料检测模型的形成方法和消力池底板骨料检测的方法 Active CN111311548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010064100.6A CN111311548B (zh) 2020-01-20 2020-01-20 一种骨料检测模型的形成方法和消力池底板骨料检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010064100.6A CN111311548B (zh) 2020-01-20 2020-01-20 一种骨料检测模型的形成方法和消力池底板骨料检测的方法

Publications (2)

Publication Number Publication Date
CN111311548A CN111311548A (zh) 2020-06-19
CN111311548B true CN111311548B (zh) 2023-01-31

Family

ID=71161503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010064100.6A Active CN111311548B (zh) 2020-01-20 2020-01-20 一种骨料检测模型的形成方法和消力池底板骨料检测的方法

Country Status (1)

Country Link
CN (1) CN111311548B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907578A (zh) * 2021-03-25 2021-06-04 清华四川能源互联网研究院 水下混凝土磨损的评估方法
CN114723763B (zh) * 2022-05-24 2022-09-02 博志生物科技(深圳)有限公司 一种医学图像分割方法、装置、设备及存储介质
CN116678885B (zh) * 2023-08-03 2023-12-19 福建南方路面机械股份有限公司 基于深度学习的水洗粗骨料含泥检测控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621725B2 (en) * 2017-04-12 2020-04-14 Here Global B.V. Small object detection from a large image
CN107480611B (zh) * 2017-07-31 2020-06-30 浙江大学 一种基于深度学习卷积神经网络的裂缝识别方法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN110007307A (zh) * 2019-06-05 2019-07-12 清华四川能源互联网研究院 一种检测装置及检测系统
CN110570396B (zh) * 2019-08-07 2022-03-15 华中科技大学 一种基于深度学习的工业产品缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双注意力编码-解码器架构的视网膜血管分割;李天培等;《计算机科学》;20191225(第05期);166-171 *

Also Published As

Publication number Publication date
CN111311548A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111311548B (zh) 一种骨料检测模型的形成方法和消力池底板骨料检测的方法
CN110503112B (zh) 一种增强特征学习的小目标检测及识别方法
CN111179229B (zh) 一种基于深度学习的工业ct缺陷检测方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111242185A (zh) 一种基于深度学习的缺陷快速初筛方法及系统
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN111597941B (zh) 一种面向大坝缺陷图像的目标检测方法
CN113392960A (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN113343822B (zh) 一种基于3d卷积的光场显著性目标检测方法
CN115861281A (zh) 一种基于多尺度特征的免锚框表面缺陷检测方法
CN114973032A (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN116485709A (zh) 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法
CN117078943A (zh) 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN114021741A (zh) 一种基于深度学习的光伏电池板巡检方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
Chindarkkar et al. Deep learning based detection of cracks in electroluminescence images of fielded PV modules
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
CN113205502A (zh) 一种基于深度学习的绝缘子缺陷检测方法及其系统
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
CN116523875A (zh) 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法
CN114373109B (zh) 一种基于深度学习的自然图像抠图方法及抠图装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant