CN111091552A - 铁路货车折角塞门把手关闭故障图像识别方法 - Google Patents

铁路货车折角塞门把手关闭故障图像识别方法 Download PDF

Info

Publication number
CN111091552A
CN111091552A CN201911278016.8A CN201911278016A CN111091552A CN 111091552 A CN111091552 A CN 111091552A CN 201911278016 A CN201911278016 A CN 201911278016A CN 111091552 A CN111091552 A CN 111091552A
Authority
CN
China
Prior art keywords
image
angle cock
fault
training
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911278016.8A
Other languages
English (en)
Inventor
庞博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN201911278016.8A priority Critical patent/CN111091552A/zh
Publication of CN111091552A publication Critical patent/CN111091552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

铁路货车折角塞门把手关闭故障图像识别方法,属于铁路图像处理领域,本发明为解决现有货车折角塞门故障检测方法存在误检、漏检的问题。本发明方法包括以下步骤:步骤一、建立折角塞门把手图像数据训练集;步骤二、搭建Faster RCNN网络模型;步骤三、网络模型训练:将步骤一的训练集输入至步骤二的Faster RCNN网络模块中进行训练;步骤四、利用训练后的Faster RCNN网络模型对货车折角塞门把手的过车图像进行故障预测。

Description

铁路货车折角塞门把手关闭故障图像识别方法
技术领域
本发明属于铁路图像处理领域,涉及货车的折角塞门把手的故障检测。
背景技术
折角塞门是铁路机车与机车、机车与车辆、车辆与车辆之间空气连通与切断的控制阀,折角塞门关闭会造成货车的排风时间短,制动力弱。同一列车折角塞门关闭的位置越是靠近机车,其危险性也就越大;牵引重量越大,危险性越大;运行速度越高,危险性越大;下坡道越长大,危险性也越大。以往针对此故障检测方式有人工检测和传统图像处理两种检测方式。人工检测方式会存在疲劳现象导致注意力不集中造成误检、漏检现象,这样会极大的影响行车安全。传统的图像处理检测方法针对列车中折角塞门受天气影响和部件本身泥渍、油渍影响,算法本身鲁棒性差,也会造成误检、漏检现象。
发明内容
本发明目的是为了解决现有货车折角塞门故障检测方法存在误检、漏检的问题,提供了一种铁路货车折角塞门把手关闭故障图像识别方法。
本发明所述铁路货车折角塞门把手关闭故障图像识别方法,该方法包括以下步骤:
步骤一、建立折角塞门把手图像数据训练集;
步骤二、搭建Faster RCNN(Faster Region Convolutional Neural Networks,更快的区域卷积神经网络)网络模型:首先使用VGG16(VGG为Visual Geometry Group的简写,视觉几何组)作为基础网络,利用13个卷积层、13个relu激活函数层、4个池化层提取图像的特征层,所述特征层被共享用于后续的区域建议网络和全连接层;
然后在RPN层通过多任务损失softmax函数判断锚点属于前景或者背景,再利用边框回归损失函数修正锚点获得精确的图像平移、缩放偏移量,通过前面得到的特征层和图像平移、缩放偏移量获取建议特征,送入后续的全连接层判定目标类别;
再次利用边框回归损失函数获得检验框的最终精确地位置;
步骤三、网络模型训练:将步骤一的训练集输入至步骤二的Faster RCNN网络模块中进行训练;
步骤四、利用训练后的Faster RCNN网络模型对货车折角塞门把手的过车图像进行故障预测。
优选地,步骤一中建立折角塞门把手图像数据训练集的过程为:
步骤一一、收集折角塞门把手图像数据,所述图像数据为包括雨渍、泥渍和阳光干扰的正常图像和故障图像;
步骤一二、对收集的图像进行图像增强处理以实现图像数据扩增;
步骤一三、利用LabelImg标注工具对全部图像进行标注,标注类型为正常和故障两类;
步骤一四、标注后的图像数据转换为VOC2007数据集作为训练集。
优选地,所述增强处理包括旋转、平移和加噪声。
优选地,步骤二中的获取图像平移、缩放偏移量的过程为:
通过卷积层处理获取的特征层图像作为初始检测框;
初始检测框经过两次修正确定最终精确位置作为预测框,并通过下述公式获取图像平移偏移量(Tx,Ty)、图像缩放偏移量(Tw,Th):
Figure BDA0002314510550000021
Figure BDA0002314510550000022
式中,(x,y)为预测框的中心坐标,(w,h)为预测框的宽和高,(x0,y0)为实际框的中心坐标,(w0,h0)为实际框的宽高。
优选地,通过卷积层处理获取的特征层图像的每一锚点都有9个矩形,所述9个矩形包括3种形状,分别为长宽比{1:1,1:2,2:1}。
优选地,步骤三中网络模型训练的过程为:
步骤三一、下载VGG16预训练权重,并初始化;
步骤三二、将步骤一的训练集输入至步骤二的Faster RCNN网络模块中;
步骤三三、训练集中的图像数据通过卷积层得到特征层;
步骤三四、在RPN层通过softmax函数判断特征层图像锚点属于前景或者背景,再利用边框回归损失函数修正锚点获得精确的图像平移、缩放偏移量,通过前面得到的特征层和图像平移、缩放偏移量获取建议特征,以确定预测框位置;
将训练集的大量数据输入模型中进行训练,调整参数至模型收敛,获取参数权重。
优选地,步骤四中利用训练后的Faster RCNN网络模型对货车折角塞门把手的过车图像进行故障预测的过程为:
步骤四一、连续采集货车折角塞门把手的过车图像;
步骤四二、将步骤四一的采集的图像依次输入训练后的Faster RCNN网络模型中,判断是否为关闭故障图像,
若是关闭故障图像,上传服务器报警;若是正常图像,判断下一张图像,直到将连续采集到的图像处理完毕。
本发明的有益效果:
本发明采用深度学习把目标检测和分类进行优化。与传统图像算法不同,本发明方法根据输入到网络的数据自动地生成相应特征的描述,具有较高的灵活性和普适性。利用深度学习技术可以大大提高检测效率、准确性,鲁棒性高,误检漏检的可能性大幅度降低。同时也减少用人成本,能够实现“减员增效”的目的。
附图说明
图1是本发明所述铁路货车折角塞门把手关闭故障图像识别方法的流程图;
图2是Faster RCNN网络模型。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
具体实施方式一:下面结合图1和图2说明本实施方式,本实施方式所述铁路货车折角塞门把手关闭故障图像识别方法包括以下步骤:
步骤一、建立折角塞门把手图像数据训练集;
由于货车行驶时条件的恶劣性,部件会受到雨水,泥水等自然条件的影响以及车身油渍等对折角塞门把手在图像中灰度、形态变化的影响,所以采集图像时要保证部件图像的多样性和复杂性,以便在模型训练时找出更加稳定的特征,能够提高模型的泛化能力,以及准确性。并根据折角塞门把手不正位的故障在图像中状态进行相应的数据扩增,因为在网络训练过程中,神经网络都是需要大量的参数,许许多多的神经网路的参数都是数以百万计,而使得这些参数可以正确工作则需要大量的数据进行训练,而实际情况中数据并没有我们想象中的那么多,因此在前期数据准备阶段,仍需对数据样本进行数据增强工作包括图像平移、旋转、加噪声等,这样不仅增加训练的数据量,提高模型的泛化能力,而且通过增加噪声数据,还可以提升模型的鲁棒性。
在数据收集以及图像扩增后采用LabelImg标注工具对图像进行标注,在折角的塞门把手部位仅存在故障和正常两种形式,因此在图像标注时,作为两类进行图像标注得到每个样本数据的XML标注文件,并将标注图像以及相应的XML文件转换为VOC2007数据集格式。
步骤二、搭建Faster RCNN网络模型:首先使用VGG16作为基础网络,利用13个卷积层、13个relu激活函数层、4个池化层提取图像的特征层,所述特征层被共享用于后续的区域建议网络和全连接层;
然后在RPN层通过softmax函数(多任务损失函数)判断锚点属于前景或者背景,再利用边框回归损失函数修正锚点获得精确的图像平移、缩放偏移量,通过前面得到的特征层和图像平移、缩放偏移量获取建议特征,送入后续的全连接层判定目标类别;
再次利用边框回归损失函数获得检验框的最终精确地位置;
具体为:在Faster RCNN网络中,首先使用VGG16作为基础网络前期使用13个conv层(卷积层)、13个relu激活函数层、4个pooling层(池化层)提取图像的feature map(特征层)。该feature map(特征层)被共享用于后续的RPN层(Region Proposal Network,区域建议网络)和全连接层。其次在RPN层通过softmax函数判断anchors(锚点)属于前景或者背景,再利用bounding box regression(边框回归)损失函数修正anchors获得精确的propocals(建议),所述propocals指预测框与实际框之间的图像平移、缩放偏移量,通过前面得到的feature map(特征层)和propocals(建议)综合这些信息提取proposal featuremap(建议特征),送入后续的全连接层判定目标类别。同时再次bounding box regression获得检验框的最终精确地位置,网络模型如图2所示。
在RPN网络的构建中一个很重要的参数为anchors,它引入了此检测算法中多尺度方法。通过卷积层后得到的特征图每一点都会有9个矩形,3种形状,长宽比都为{1:1,1:2,2:1},作为初始的检测框,然后通过2次的修正确定预测框位置。同时通过平移和缩放尺度公式,得出实际框(即标注时候的框)与预测框的位置关系,进而更加准确的输出预测框,具体公式如下:
Tx=(x-x0)/w0
Ty=(y-y0)/h0
Tw=log(w/w0)
Th=log(h/h0)
其中,(x,y)为预测框的中心坐标,(w,h)为预测框的宽和高,(x0,y0)为实际框的中心坐标,(w0,h0)为实际框的宽高,(Tx,Ty)表示预测框横纵平移尺度,(Tw,Th)表示预测框宽高的缩放尺度。
步骤三、网络模型训练:将步骤一的训练集输入至步骤二的Faster RCNN网络模块中进行训练;
首先把VGG预训练权重作为本图像的初始权重,对标注的数据按照反向传播方式进行训练,在训练开始之前选取损失函数和优化器。
损失函数的意义在于它能计算模型输出(预测的结果)与图像的真实标签的误差值,这个值越小说明误差越小,那么预测值和真实值也就越接近,即准确率越高。
步骤四、利用训练后的Faster RCNN网络模型对货车折角塞门把手的过车图像进行故障预测。
通过获取到的高清线阵灰度图像,定位到检测折角塞门部件区域,加载FasterRCNN模型权重,进行预测。可自行设定置信度阈值,当模型预测到部件某个区域可能为故障时,若低于阈值,不报警;高于阈值则直接将信息上传到报警平台。当然所设定的阈值,必须通过大量的预测试验得出,才会有代表性。选择出最合适的阈值,才能保证最高的识别准确率。
应用训练后的Faster RCNN网络模型对运行中的铁路货车折角塞门把手进行故障预测的具体过程为:在货车行驶轨道两侧以及内侧搭建高清图像采集设备,货车通过时将会触发图像采集设备完成整列车的图像采集。根据图像信息可定位到折角塞门部件区域,进行折角塞门图像进行收集建立训练所用的原始数据集,并将原始数据集进行数据扩增增大数据集通过图像标注工具完成图像正常和故障两类标注进入已经搭建好的神经网络模型内进行训练、调参至模型收敛,获得参数权重。根据权重信息对部件进行检测,若发现折角塞门把手不正位故障则上传故障报警平台。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.铁路货车折角塞门把手关闭故障图像识别方法,其特征在于,该方法包括以下步骤:
步骤一、建立折角塞门把手图像数据训练集;
步骤二、搭建Faster RCNN网络模型:首先使用VGG16作为基础网络,利用13个卷积层、13个激活函数层、4个池化层提取图像的特征层,所述特征层被共享用于后续的区域建议网络和全连接层;
然后在RPN层通过多任务损失函数判断锚点属于前景或者背景,再利用边框回归损失函数修正锚点获得精确的图像平移、缩放偏移量,通过前面得到的特征层和图像平移、缩放偏移量获取建议特征,送入后续的全连接层判定目标类别;
再次利用边框回归损失函数获得检验框的最终精确地位置;
步骤三、网络模型训练:将步骤一的训练集输入至步骤二的Faster RCNN网络模块中进行训练;
步骤四、利用训练后的Faster RCNN网络模型对货车折角塞门把手过车图像进行故障预测。
2.根据权利要求1所述铁路货车折角塞门把手关闭故障图像识别方法,其特征在于,步骤一中建立折角塞门把手图像数据训练集的过程为:
步骤一一、收集折角塞门把手图像数据,所述图像数据为包括雨渍、泥渍和阳光干扰的正常图像和故障图像;
步骤一二、对收集的图像进行图像增强处理以实现图像数据扩增;
步骤一三、利用标签标注工具对全部图像进行标注,标注类型为正常和故障两类;
步骤一四、标注后的图像数据转换为VOC2007数据集作为训练集。
3.根据权利要求2所述铁路货车折角塞门把手关闭故障图像识别方法,其特征在于,所述增强处理包括旋转、平移和加噪声。
4.根据权利要求1所述铁路货车折角塞门把手关闭故障图像识别方法,其特征在于,步骤二中的获取图像平移、缩放偏移量的过程为:
通过卷积层处理获取的特征层图像作为初始检测框;
初始检测框经过两次修正确定最终精确位置作为预测框,并通过下述公式获取图像平移偏移量(Tx,Ty)、图像缩放偏移量(Tw,Th):
Figure FDA0002314510540000011
Figure FDA0002314510540000021
式中,(x,y)为预测框的中心坐标,(w,h)为预测框的宽和高,(x0,y0)为实际框的中心坐标,(w0,h0)为实际框的宽高。
5.根据权利要求4所述铁路货车折角塞门把手关闭故障图像识别方法,其特征在于,通过卷积层处理获取的特征层图像的每一锚点都有9个矩形,所述9个矩形包括3种形状,分别为长宽比{1:1,1:2,2:1}。
6.根据权利要求1所述铁路货车折角塞门把手关闭故障图像识别方法,其特征在于,步骤三中网络模型训练的过程为:
步骤三一、下载VGG16预训练权重,并初始化;
步骤三二、将步骤一的训练集输入至步骤二的Faster RCNN网络模块中;
步骤三三、训练集中的图像数据通过卷积层得到特征层;
步骤三四、在RPN层通过多任务损失函数判断特征层图像锚点属于前景或者背景,再利用边框回归损失函数修正锚点获得精确的图像平移、缩放偏移量,通过前面得到的特征层和图像平移、缩放偏移量获取建议特征,以确定预测框位置;
将训练集的大量数据输入模型中进行训练,调整参数至模型收敛,获取参数权重。
7.根据权利要求1所述铁路货车折角塞门把手关闭故障图像识别方法,其特征在于,步骤四中利用训练后的Faster RCNN网络模型对货车折角塞门把手过车图像进行故障预测的过程为:
步骤四一、连续采集货车折角塞门把手的过车图像;
步骤四二、将步骤四一的采集的图像依次输入训练后的Faster RCNN网络模型中,判断是否为关闭故障图像,
若是关闭故障图像,上传服务器报警;若是正常图像,判断下一张图像,直到将连续采集到的图像处理完毕。
CN201911278016.8A 2019-12-12 2019-12-12 铁路货车折角塞门把手关闭故障图像识别方法 Pending CN111091552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911278016.8A CN111091552A (zh) 2019-12-12 2019-12-12 铁路货车折角塞门把手关闭故障图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911278016.8A CN111091552A (zh) 2019-12-12 2019-12-12 铁路货车折角塞门把手关闭故障图像识别方法

Publications (1)

Publication Number Publication Date
CN111091552A true CN111091552A (zh) 2020-05-01

Family

ID=70395584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911278016.8A Pending CN111091552A (zh) 2019-12-12 2019-12-12 铁路货车折角塞门把手关闭故障图像识别方法

Country Status (1)

Country Link
CN (1) CN111091552A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907534A (zh) * 2021-02-18 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于关门车部件位置图像的故障检测方法及装置
CN113830136A (zh) * 2021-10-20 2021-12-24 哈尔滨市科佳通用机电股份有限公司 一种铁路货车折角塞门手把不正位故障的识别方法
CN115527170A (zh) * 2022-10-14 2022-12-27 哈尔滨市科佳通用机电股份有限公司 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500347A (zh) * 2013-10-16 2014-01-08 北京航空航天大学 铁路货车折角塞门把手丢失故障的自动检测方法
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN108596883A (zh) * 2018-04-12 2018-09-28 福州大学 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN109765462A (zh) * 2019-03-05 2019-05-17 国家电网有限公司 输电线路的故障检测方法、装置和终端设备
KR20190115542A (ko) * 2018-04-02 2019-10-14 동국대학교 산학협력단 보행자 검출 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500347A (zh) * 2013-10-16 2014-01-08 北京航空航天大学 铁路货车折角塞门把手丢失故障的自动检测方法
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备
KR20190115542A (ko) * 2018-04-02 2019-10-14 동국대학교 산학협력단 보행자 검출 장치 및 방법
CN108596883A (zh) * 2018-04-12 2018-09-28 福州大学 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN109765462A (zh) * 2019-03-05 2019-05-17 国家电网有限公司 输电线路的故障检测方法、装置和终端设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907534A (zh) * 2021-02-18 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于关门车部件位置图像的故障检测方法及装置
CN113830136A (zh) * 2021-10-20 2021-12-24 哈尔滨市科佳通用机电股份有限公司 一种铁路货车折角塞门手把不正位故障的识别方法
CN113830136B (zh) * 2021-10-20 2022-04-19 哈尔滨市科佳通用机电股份有限公司 一种铁路货车折角塞门手把不正位故障的识别方法
CN115527170A (zh) * 2022-10-14 2022-12-27 哈尔滨市科佳通用机电股份有限公司 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统

Similar Documents

Publication Publication Date Title
CN104392212B (zh) 一种基于视觉的道路信息检测及前方车辆识别方法
CN109800658B (zh) 基于神经网络的泊车位类型在线识别与定位系统及方法
CN111091552A (zh) 铁路货车折角塞门把手关闭故障图像识别方法
CN111091545B (zh) 铁路货车滚动轴承轴端螺栓丢失故障的检测方法
CN111080617B (zh) 一种铁路货车制动梁支柱圆销丢失故障识别方法
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN105787482A (zh) 一种基于深度卷积神经网络的特定目标轮廓图像分割方法
CN107316010A (zh) 一种识别前方车辆尾灯及判断其状态的方法
CN103577809B (zh) 一种基于智能驾驶的地面交通标志实时检测的方法
CN111091543B (zh) 铁路货车摇枕弹簧丢失故障目标检测方法
CN110458050B (zh) 基于车载视频的车辆切入检测方法及装置
CN111862029A (zh) 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN110502971B (zh) 基于单目视觉的道路车辆识别方法及系统
CN110599497A (zh) 一种基于深度神经网络的可行驶区域分割方法
CN111994129A (zh) 一种轮轨列车防滑控制方法及系统
US11270164B1 (en) Vehicle neural network
CN111161160A (zh) 一种雾天障碍物检测方法、装置、电子设备和存储介质
CN111091551A (zh) 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN112733747A (zh) 一种缓解阀拉杆脱落故障的识别方法、系统及装置
CN114235679B (zh) 一种基于激光雷达的路面附着系数估计方法及系统
CN113657305B (zh) 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法
CN107506753A (zh) 一种面向动态视频监控的多车辆跟踪方法
CN107247967A (zh) 一种基于r‑cnn的车窗年检标检测方法
CN117351298A (zh) 一种基于深度学习的矿山作业车辆检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200501