CN110909657A - 一种隧道表观病害图像识别的方法 - Google Patents

一种隧道表观病害图像识别的方法 Download PDF

Info

Publication number
CN110909657A
CN110909657A CN201911131351.5A CN201911131351A CN110909657A CN 110909657 A CN110909657 A CN 110909657A CN 201911131351 A CN201911131351 A CN 201911131351A CN 110909657 A CN110909657 A CN 110909657A
Authority
CN
China
Prior art keywords
tunnel
image
apparent
diseases
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911131351.5A
Other languages
English (en)
Inventor
郭春生
刘蝶
程胜一
王维
王吉
袁钊
徐艺文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SGIDI Engineering Consulting Group Co Ltd
Original Assignee
SGIDI Engineering Consulting Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SGIDI Engineering Consulting Group Co Ltd filed Critical SGIDI Engineering Consulting Group Co Ltd
Priority to CN201911131351.5A priority Critical patent/CN110909657A/zh
Publication of CN110909657A publication Critical patent/CN110909657A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种隧道表观病害图像识别的方法,解决了目前人工检测工作量大且易干扰检测结果的弊端,其技术方案要点是包括有以下步骤:获取若干隧道影像并进行隧道表观病害标记,形成标记样本;搭建识别模型,通过标记样本对识别模型进行训练、测试;识别模型的图像分类模型对输入的隧道影像进行识别,根据是否存在表观病害进行分类;识别模型的图像分割模型对图像分类模型判断存在表观病害的隧道影像进行分割,并对表观病害存在的类别进行预测识别,输出病害识别结果;存储病害识别结果,本发明的一种隧道表观病害图像识别的方法,能够快速并且高效的进行隧道表观病害的预测识别,受人为干扰因素小,预测识别快速且精度高。

Description

一种隧道表观病害图像识别的方法
技术领域
本发明涉及隧道病害检测,特别涉及一种隧道表观病害图像识别的方法。
背景技术
随着隧道服役时间的增加,隧道结构安全与病害检测变得日趋重要。隧道突出的表观病害问题主要有渗漏水(包括湿迹、渗水、滴漏、漏泥沙等)、管片损伤(包括裂缝、缺角、缺损等)。目前主要是采用人工检测的方法记录表观病害,通过拍照、钢尺量测、温度测设等手段进行,工作量大且受人为因素干扰大。
发明内容
本发明的目的是提供一种隧道表观病害图像识别的方法,能够快速并且高效的进行隧道表观病害的预测识别,受人为干扰因素小,预测识别快速且精度高。
本发明的上述技术目的是通过以下技术方案得以实现的:
一种隧道表观病害图像识别的方法,包括有以下步骤:
采用三维激光扫描仪采集获取若干隧道影像;
对隧道影像进行隧道表观病害标记,以形成标记样本;
搭建隧道表观病害的识别模型,通过标记样本对识别模型进行训练、测试;
所述识别模型包括的图像分类模型对输入的隧道影像是否存在表观病害进行识别,根据是否存在表观病害进行分类;
所述识别模型包括的图像分割模型对图像分类模型判断存在表观病害的隧道影像进行分割,并对表观病害存在的类别进行预测识别,输出病害识别结果;
存储病害识别结果。
作为优选,所述隧道影像的表观病害标记具体为:
对隧道影像的表观病害根据像素区域进行标记,分别对存在湿迹、渗水、滴漏、漏泥沙、裂缝、缺角、缺损的区域像素及不存在病害的区域像素进行一一类别标记,获得隧道影像上各像素进行表观病害标记的标记样本;
根据标记对标记样本及其对应的隧道影像进行分类标记,对完成标记的标记样本及其对应的隧道影像为第一样本集,标记存在表观病害的标记样本及其对应的隧道影像为第二样本集。
作为优选,通过标记样本对识别模型的训练、测试具体包括有:
将第一样本集划分为第一训练集及第一测试集,将第二样本集划分为第二训练集及第二测试集;
通过第一训练集对图像分类模型进行训练,使用学习率自适应的随机梯度算法进行参数优化;
采用第一测试集对图像分类模型进行测试,对测试精确率进行判断,若精确率高于设定的阈值,则图像分类模型可用于预测,反之调整超参数并继续训练;所述精确率公式如下:
Figure BDA0002278383510000021
其中,TP=True Positive,为将病害预测成病害的数量,FP=False Positive,为将背景预测成病害的数量;
通过第二训练集对图像分割模型进行训练,使用学习率自适应的随机梯度算法进行参数优化;
采用第二测试集对图像分割模型进行测试,对平均交并比作为测试精度进行判断,若平均交并比满足设定的阈值,则判断图像分割模型可用于预测,反之调整超参数并继续训练;所述平均交并比的公式如下:
Figure BDA0002278383510000031
其中area(Tc)代表测试集预测结果的像素面积,area(Tg)代表测试集真值的像素面积。
作为优选,所述识别模型的预测识别具体为:
选取在第一样本集及第二样本集之外的隧道影像作为输入,输入至图像分类模型进行分类判别;
若识别到所有的区域像素均为背景像素时,则分类判定为不存在表观病害,输出对应隧道影像不存在表观病害的识别结果;
若识别到存在区域像素存在表观病害时,则输入至图像分割模型进行分割识别,根据区域像素所对应的病害类别,输出存在表观病害的识别结果。
综上所述,本发明具有以下有益效果:
通过识别模型分为两阶段的图像分类模型和图像分割模型,对隧道表观病害的识别分步骤进行,能够加快模型对表观病害的识别预测;避免人为参与的干扰,预测结果更加的准确。
具体实施方式
以下结合附图对本发明作进一步详细说明。
根据一个或多个实施例,本实施例公开的一种隧道表观病害图像识别的方法,包括以下步骤:
采用三维激光扫描仪采集获取若干隧道影像;
对隧道影像进行隧道表观病害标记,以形成标记样本;
搭建隧道表观病害的识别模型,通过标记样本对识别模型进行训练、测试;
识别模型包括的图像分类模型对输入的隧道影像是否存在表观病害进行识别,根据是否存在表观病害进行分类;
识别模型包括的图像分割模型对图像分类模型判断存在表观病害的隧道影像进行分割,并对表观病害存在的类别进行预测识别,输出病害识别结果;
存储病害识别结果。
具体的:
1、制作用于卷积神经网络训练的隧道表观病害样本集,制作方法如下:
隧道影像获取:采用搭载三维激光扫描仪的装置采集隧道影像。其中装置可以是静止的三脚架或平台,也可以是以人力或电机带动的检测车;采集的隧道影像可包括灰度影像,还可包括隧道的彩色影像。
隧道表观病害标记:使用标记程序标记隧道表观病害情况,形成标记样本。其中标记程序可本地运行或在线运行;所需标记的隧道表观病害包括湿迹、渗水、滴漏、漏泥沙、裂缝、缺角、缺损,标记区域像素的代码分别以1-7表示,0代表背景像素。
样本处理:记原始隧道影像集合为S,标记文件集合为L,两者总量相等并且一一对应,每幅原始隧道影像Si对应的标记文件Li中若全部为背景像素,则该标记文件记为0,若有表观病害代码则记为1,最终形成新的标记集合T,定义为标记集合T及原始的隧道影像为第一样本集;其中将L中有表观病害的标记文件及其对应的原始隧道影像形成新的数据集合M,定义为第二样本集;
样本集划分:将第一样本集(原始影像S、标记文件T)划分为训练集C1和测试集T1,其中训练集占样本总数的70%,测试集占样本总数的30%;同样地,将M划分为训练集C2和测试集T2
2、搭建隧道表观病害识别模型,包括图像分类模型和图像分割模型,其中图像分类模型主要用于直接判断原始隧道影像是否具有病害特征,图像分割模型用于直接获取病害真实范围,具体操作如下:
2.1、搭建图像分类模型Model1,具体操作如下:
选择深度学习框架:使用深度学习框架,如TensorFlow、PyTorch等;
模型搭建:通过对VGG11网络改进来实现,每个卷积层参数均减少一半,减少1个全连接层,最终的网络结构为输入层(224,224,3),卷积层依次是(3,3,32)、(3,3,64)、(3,3,128)、(3,3,128)、(3,3,256)、(3,3,256)、(3,3,256)、(3,3,256),全连接层依次是256、2。其中池化层据采用2×2最大池化,全连接层后采用Softmax分类。
2.2、搭建图像分割模型Model2,具体操作如下:
选择深度学习框架:使用深度学习框架,如TensorFlow、PyTorch等;
模型搭建:通过对U-Net网络架构改进来实现,以DenseNets的5层dense block替代原来的卷积操作。其中一个dense block单元包括4次卷积操作,最终的网络结构为输入层、卷积层、重复dense block和最大池化层5次,此时图像已缩小为原来的1/32,最后采样反卷积层上采样,恢复原图大小。
3、识别模型训练、测试、预测,本方法为两阶段方法,先对原始隧道影像做图像分类,判断图像中是否存在病害,若为是的情况下对图像做图像分割,精确到每一个像素的分类,具体步骤如下:
图像分类训练:数据集为C1,训练次数至少是C1总量大小的10000倍,使用学习率自适应的随机梯度算法进行参数优化,为了加速学习采用批归一化方法(缓解梯度消散)和GPU硬件加速(加快计算);
图像分类测试:数据集为T1,采用精确率作为测试数据的精度指标,当精确率满足一定阈值(>=0.95),则模型可用来预测,否则调整超参数并继续训练;
精确率公式如下:
Figure BDA0002278383510000061
其中,TP=True Positive,将病害预测成病害的数量,FP=False Positive,将背景预测成病害的数量。
图像分割训练:数据集为C2,同样地,训练次数至少是C2总量大小的10000倍,使用学习率自适应的随机梯度算法进行参数优化,为了加速学习采用批归一化方法(缓解梯度消散)和GPU硬件加速(加快计算);
图像分割测试:数据集为T2,采用平均交并比作为测试数据的精度指标,当平均交并比满足一定阈值(>=0.7),则模型可用来预测,否则调整超参数并继续训练;
平均交并比公式如下:
Figure BDA0002278383510000062
其中area(Tc)代表测试数据预测结果的像素面积,area(Tg)代表测试数据真值的像素面积。
图像表观病害预测:选取不在训练集和测试集中的隧道影像作为输入,首先经过Model1,若结果为0,则输出全为0的背景图像,若结果为1,则进入Model2,输出预测标签文件,其中标签代码与表观病害类型一一对应。
4、存储病害识别结果。根据预测结果得到隧道表观结果,结合隧道区间的相关数据建立数据库,用户可以查看相应的隧道结构的表观病害结果。
制作隧道病害样本集:将原始影像按病害类型分别标注形成有多类型的标记文件,后根据标注文件判断是否含有病害,又形成新的单一类型的标记文件;
搭建了两阶段的卷积神经网络模型,第一步是图像分类,第二步是图像分割,图像分类用于预判断是否存在病害,存在病害才会采用图像分割,此举可以加快预测。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (4)

1.一种隧道表观病害图像识别的方法,其特征是,包括有以下步骤:
采用三维激光扫描仪采集获取若干隧道影像;
对隧道影像进行隧道表观病害标记,以形成标记样本;
搭建隧道表观病害的识别模型,通过标记样本对识别模型进行训练、测试;
所述识别模型包括的图像分类模型对输入的隧道影像是否存在表观病害进行识别,根据是否存在表观病害进行分类;
所述识别模型包括的图像分割模型对图像分类模型判断存在表观病害的隧道影像进行分割,并对表观病害存在的类别进行预测识别,输出病害识别结果;
存储病害识别结果。
2.根据权利要求1所述的隧道表观病害图像识别的方法,其特征是,所述隧道影像的表观病害标记具体为:
对隧道影像的表观病害根据像素区域进行标记,分别对存在湿迹、渗水、滴漏、漏泥沙、裂缝、缺角、缺损的区域像素及不存在病害的区域像素进行一一类别标记,获得隧道影像上各像素进行表观病害标记的标记样本;
根据标记对标记样本及其对应的隧道影像进行分类标记,对完成标记的标记样本及其对应的隧道影像为第一样本集,标记存在表观病害的标记样本及其对应的隧道影像为第二样本集。
3.根据权利要求2所述的隧道表观病害图像识别的方法,其特征是,通过标记样本对识别模型的训练、测试具体包括有:
将第一样本集划分为第一训练集及第一测试集,将第二样本集划分为第二训练集及第二测试集;
通过第一训练集对图像分类模型进行训练,使用学习率自适应的随机梯度算法进行参数优化;
采用第一测试集对图像分类模型进行测试,对测试精确率进行判断,若精确率高于设定的阈值,则图像分类模型可用于预测,反之调整超参数并继续训练;所述精确率公式如下:
Figure FDA0002278383500000021
其中,TP=True Positive,为将病害预测成病害的数量,FP=False Positive,为将背景预测成病害的数量;
通过第二训练集对图像分割模型进行训练,使用学习率自适应的随机梯度算法进行参数优化;
采用第二测试集对图像分割模型进行测试,对平均交并比作为测试精度进行判断,若平均交并比满足设定的阈值,则判断图像分割模型可用于预测,反之调整超参数并继续训练;所述平均交并比的公式如下:
Figure FDA0002278383500000022
其中area(Tc)代表测试集预测结果的像素面积,area(Tg)代表测试集真值的像素面积。
4.根据权利要求3所述的隧道表观病害图像识别的方法,其特征是,所述识别模型的预测识别具体为:
选取在第一样本集及第二样本集之外的隧道影像作为输入,输入至图像分类模型进行分类判别;
若识别到所有的区域像素均为背景像素时,则分类判定为不存在表观病害,输出对应隧道影像不存在表观病害的识别结果;
若识别到存在区域像素存在表观病害时,则输入至图像分割模型进行分割识别,根据区域像素所对应的病害类别,输出存在表观病害的识别结果。
CN201911131351.5A 2019-11-19 2019-11-19 一种隧道表观病害图像识别的方法 Pending CN110909657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911131351.5A CN110909657A (zh) 2019-11-19 2019-11-19 一种隧道表观病害图像识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911131351.5A CN110909657A (zh) 2019-11-19 2019-11-19 一种隧道表观病害图像识别的方法

Publications (1)

Publication Number Publication Date
CN110909657A true CN110909657A (zh) 2020-03-24

Family

ID=69818201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911131351.5A Pending CN110909657A (zh) 2019-11-19 2019-11-19 一种隧道表观病害图像识别的方法

Country Status (1)

Country Link
CN (1) CN110909657A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639203A (zh) * 2020-05-28 2020-09-08 神华包神铁路集团有限责任公司 隧道病害定位方法、装置、计算机设备和存储介质
CN112036425A (zh) * 2020-05-09 2020-12-04 中铁四局集团有限公司 一种隧道空洞状态雷达波谱图像识别模型构建方法及隧道空洞状态雷达波谱图像识别方法
CN113033702A (zh) * 2021-04-21 2021-06-25 上海勘察设计研究院(集团)有限公司 一种基于时空数据的结构安全预警方法
CN113538385A (zh) * 2021-07-21 2021-10-22 上海勘察设计研究院(集团)有限公司 基于深度学习的隧道表观病害类型及等级判别方法
CN114266716A (zh) * 2020-09-15 2022-04-01 复旦大学 基于深度学习的盾构隧道墙面渗漏水风险检测的方法
CN116342556A (zh) * 2023-03-30 2023-06-27 中国自然资源航空物探遥感中心 一种基于热红外遥感的高原隧道安全隐患识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337687A1 (en) * 2015-11-30 2017-11-23 Shanghai United Imaging Healthcare Co., Ltd. System and method for computer aided diagnosis
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN108230344A (zh) * 2018-01-24 2018-06-29 上海岩土工程勘察设计研究院有限公司 一种隧道渗漏水病害自动识别方法
CN108335291A (zh) * 2018-01-24 2018-07-27 上海岩土工程勘察设计研究院有限公司 一种隧道病害影像预处理方法
CN109615653A (zh) * 2018-12-19 2019-04-12 上海大学 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
CN109712148A (zh) * 2018-12-19 2019-05-03 上海勘察设计研究院(集团)有限公司 基于盾构隧道影像的管片接缝位置自动识别方法
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
CN110349122A (zh) * 2019-06-10 2019-10-18 长安大学 一种基于深度卷积融合神经网络的路面裂缝识别方法
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337687A1 (en) * 2015-11-30 2017-11-23 Shanghai United Imaging Healthcare Co., Ltd. System and method for computer aided diagnosis
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN108230344A (zh) * 2018-01-24 2018-06-29 上海岩土工程勘察设计研究院有限公司 一种隧道渗漏水病害自动识别方法
CN108335291A (zh) * 2018-01-24 2018-07-27 上海岩土工程勘察设计研究院有限公司 一种隧道病害影像预处理方法
CN109615653A (zh) * 2018-12-19 2019-04-12 上海大学 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
CN109712148A (zh) * 2018-12-19 2019-05-03 上海勘察设计研究院(集团)有限公司 基于盾构隧道影像的管片接缝位置自动识别方法
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
CN110349122A (zh) * 2019-06-10 2019-10-18 长安大学 一种基于深度卷积融合神经网络的路面裂缝识别方法
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036425A (zh) * 2020-05-09 2020-12-04 中铁四局集团有限公司 一种隧道空洞状态雷达波谱图像识别模型构建方法及隧道空洞状态雷达波谱图像识别方法
CN111639203A (zh) * 2020-05-28 2020-09-08 神华包神铁路集团有限责任公司 隧道病害定位方法、装置、计算机设备和存储介质
CN114266716A (zh) * 2020-09-15 2022-04-01 复旦大学 基于深度学习的盾构隧道墙面渗漏水风险检测的方法
CN114266716B (zh) * 2020-09-15 2024-04-02 复旦大学 基于深度学习的盾构隧道墙面渗漏水风险检测的方法
CN113033702A (zh) * 2021-04-21 2021-06-25 上海勘察设计研究院(集团)有限公司 一种基于时空数据的结构安全预警方法
CN113538385A (zh) * 2021-07-21 2021-10-22 上海勘察设计研究院(集团)有限公司 基于深度学习的隧道表观病害类型及等级判别方法
CN113538385B (zh) * 2021-07-21 2022-10-25 上海勘察设计研究院(集团)有限公司 基于深度学习的隧道表观病害类型及等级判别方法
CN116342556A (zh) * 2023-03-30 2023-06-27 中国自然资源航空物探遥感中心 一种基于热红外遥感的高原隧道安全隐患识别方法

Similar Documents

Publication Publication Date Title
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN108961235A (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
Ni et al. A generative adversarial learning strategy for enhanced lightweight crack delineation networks
CN111241994B (zh) 一种深度学习的遥感影像农村公路砂化路段的提取方法
US20170308768A1 (en) Character information recognition method based on image processing
CN109657600B (zh) 一种视频区域移除篡改检测方法和装置
CN110751644B (zh) 道路表面裂纹检测方法
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN108681689B (zh) 基于生成对抗网络的帧率增强步态识别方法及装置
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN115719475B (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
CN117745708A (zh) 基于深度学习算法的木地板表面瑕疵检测方法
CN113837154A (zh) 一种基于多任务辅助的开放集过滤系统及方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN118072193A (zh) 一种基于无人机图像和深度学习的堤坝裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324

RJ01 Rejection of invention patent application after publication