CN110717873A - 一种基于多尺度残差的交通标识去模糊检测识别算法 - Google Patents
一种基于多尺度残差的交通标识去模糊检测识别算法 Download PDFInfo
- Publication number
- CN110717873A CN110717873A CN201910953475.5A CN201910953475A CN110717873A CN 110717873 A CN110717873 A CN 110717873A CN 201910953475 A CN201910953475 A CN 201910953475A CN 110717873 A CN110717873 A CN 110717873A
- Authority
- CN
- China
- Prior art keywords
- scale
- deblurring
- image
- weight layer
- convolution kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 239000002356 single layer Substances 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 16
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000012905 input function Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 20
- 230000007547 defect Effects 0.000 abstract description 4
- 239000006185 dispersion Substances 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000258957 Asteroidea Species 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明涉及图像去模糊，具体涉及一种基于多尺度残差的交通标识去模糊检测识别算法，将待识别图像输入多尺度特征提取单元，由多尺度特征提取单元对待识别图像提取多尺度特征，将多尺度特征进行拼接，并通过卷积核进行特征融合，在单一层次上提取多尺度特征，配置残差单元消除增加网络深度带来的梯度弥散问题；本发明提供的技术方案能够有效克服现有技术所存在的图像去模糊效果较差的缺陷。
Description
技术领域
本发明涉及图像去模糊，具体涉及一种基于多尺度残差的交通标识去模糊检测识别算法。
背景技术
摄像机在成像时会受到光学系统的电噪声、传感器的误差或抖动引起的模糊效应，严重影响成像质量。图像在获取的过程中，总是会受到外界条件和周围环境的影响，导致图像质量下降。随着数字图像处理技术在军事、工业、医学界的广泛应用，图像模糊恢复的问题成为一个研究热点。
针对图像的模糊恢复问题，人们开展了大量研究。图像去模糊中最经典的方法是基于正则化的方法，该方法虽然可以有效抑制噪声，但是对于模糊核的估计会有不准确性。为了克服这些固有缺陷，Xu L提出了基于卷积神经网络的图像去模糊方法，该方法利用卷积操作强大的特征提取能力，通过非线性的映射函数将图像的模糊像素映射为清晰的细节纹理信息，克服了传统正则方法的阶梯效应。但是该网络的层次较浅，难以有效去除模糊。当前大多数基于深度学习的方法会在图像模糊去除的过程中丢失图像的细节信息，容易给图像带来振铃效应。
去模糊的方法可以分为两类：非盲去模糊和盲去模糊。非盲去模糊是在模糊核已知的情况下进行图像恢复的过程；而盲去模糊是在模糊核未知的情况下进行图像恢复的过程。
近年来随着深度学习的发展，非盲去模糊算法和盲去模糊算法都得到了很好的发展，而绝大多数盲去模糊算法都是依据图像的先验分布信息，再对单一的清晰图像或者模糊核进行估计。《高速运动目标的运动模糊图像复原研究》中利用图像先验分布的信息来描述清晰图像和模糊核，但是无法对清晰图像获得极小值。《运动模糊图像检测分割盲复原》中提出了基于MAP的方法来估计非参数模糊核，利用模糊核和清晰图像的稀疏特性来盲复原，但是这种方法容易产生不准确的结果。
图像的去模糊过程在数学上可以看成清晰的图像与模糊核卷积，加上噪声，模型可以表示为
式中B为模糊图像，L为要复原的目标清晰图像，K为模糊核，
为二维卷积算子，N为引入的随机噪声。
Xu L等提出基于L0范数的盲去模糊算法，该算法在保证精度和运算速度的同时，能够较好的恢复图像，但是需要设置更多的参数，使得整个过程显得更为复杂。
另一类是通过获得的先验信息来恢复图像。Xu L等利用两个子网络，中间没有非线性激活函数，来进行图像去卷积。但该算法复杂程度较高。Nah S等提出了一种用于动态场景的多尺度卷积神经网络去模糊算法，利用多尺度方式由粗到细训练网络架构，极大提高了网络的收敛性。但是，网络模型过大，加大了训练难度，难以达到实时性要求。
综上，统计先验模型的方法对图像的精度估计不足，图像细节恢复也很有限，而目前大多数基于先验学习的方法仅适用于特定参数。基于此，提出一种基于多尺度残差的交通标识去模糊检测识别算法。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种基于多尺度残差的交通标识去模糊检测识别算法，能够有效克服现有技术所存在的图像去模糊效果较差的缺陷。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于多尺度残差的交通标识去模糊检测识别算法，包括以下步骤：
S1、将待识别图像输入多尺度特征提取单元，由多尺度特征提取单元对待识别图像提取多尺度特征；
S2、将多尺度特征进行拼接，并通过卷积核进行特征融合，在单一层次上提取多尺度特征；
S3、配置残差单元消除增加网络深度带来的梯度弥散问题。
优选地，所述多尺度特征提取单元包括1×1卷积核、3×3卷积核、5×5卷积核。
优选地，所述1×1卷积核、3×3卷积核、5×5卷积核的卷积核数量均为64个，并统一配置ReLU激活函数。
优选地，所述特征融合在1×1卷积核上完成。
优选地，所述残差单元包括第一权重层、第二权重层、ReLU激活函数、shortcut连接，所述第一权重层的输出函数通过所述ReLU激活函数后输入所述第二权重层，所述第二权重层的输出函数经过所述shortcut连接后，再通过所述ReLU激活函数得到输出结果。
优选地，若所述第一权重层的输入为x，则所述第二权重层的输入函数为σ(F(W1,x))，所述第二权重层的输出函数为F(W2,σ(F(W1,x)))，所述残差单元的输出结果为σ(F(W2,σ(F(W1,x)))+x)；
其中，W1、W2分别为所述第一权重层、第二权重层的权重，σ表示所述ReLU激活函数。
(三)有益效果
与现有技术相比，本发明所提供的一种基于多尺度残差的交通标识去模糊检测识别算法分别使用多尺度特征提取单元中1×1、3×3、5×5三种尺度的卷积核进行特征提取，并将提取出的多尺度特征进行拼接，然后使用1×1卷积核进行特征融合，使得在单一层次上可以提取多尺度特征，增加了网络的表达能力，调高了网络的去模糊性能，在另一方面也增加了网络对不同尺度图像的适应性，同时引入残差单元消除增加网络深度带来的梯度弥散问题，来提高网络性能；多尺度特征提取单元与残差单元相结合，并将网络模型优化和网络加深同时考虑进去，进一步进行图像的模糊去除，有效提高了图像去模糊效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明多尺度特征提取单元示意图；
图2为本发明残差单元运行流程示意图；
图3为在大小为3×3，方差为10高斯模糊的情况下对比实验效果图；
图4为在大小为5×5，方差为15的高斯模糊的情况下对比实验效果图；
图5为在大小为7×7，方差为20的高斯模糊的情况下对比实验效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于多尺度残差的交通标识去模糊检测识别算法，如图1和图2所示，包括以下步骤：
S1、将待识别图像输入多尺度特征提取单元，由多尺度特征提取单元对待识别图像提取多尺度特征；
S2、将多尺度特征进行拼接，并通过卷积核进行特征融合，在单一层次上提取多尺度特征；
S3、配置残差单元消除增加网络深度带来的梯度弥散问题。
多尺度特征提取单元包括1×1卷积核、3×3卷积核、5×5卷积核。
1×1卷积核、3×3卷积核、5×5卷积核的卷积核数量均为64个，并统一配置ReLU激活函数。
特征融合在1×1卷积核上完成。
残差单元包括第一权重层、第二权重层、ReLU激活函数、shortcut连接，第一权重层的输出函数通过ReLU激活函数后输入第二权重层，第二权重层的输出函数经过shortcut连接后，再通过ReLU激活函数得到输出结果。
若第一权重层的输入为x，则第二权重层的输入函数为σ(F(W1,x))，第二权重层的输出函数为F(W2,σ(F(W1,x)))，残差单元的输出结果为σ(F(W2,σ(F(W1,x)))+x)；
其中，W1、W2分别为第一权重层、第二权重层的权重，σ表示ReLU激活函数。
分别使用多尺度特征提取单元中1×1、3×3、5×5三种尺度的卷积核进行特征提取，并将提取出的多尺度特征进行拼接，然后使用1×1卷积核进行特征融合，使得在单一层次上可以提取多尺度特征，增加了网络的表达能力，调高了网络的去模糊性能，在另一方面也增加了网络对不同尺度图像的适应性，同时引入残差单元消除增加网络深度带来的梯度弥散问题，来提高网络性能。多尺度特征提取单元与残差单元相结合，并将网络模型优化和网络加深同时考虑进去，进一步进行图像的模糊去除，有效提高了图像去模糊效果。
多尺度特征提取单元的网络配置如表1所示：
表1多尺度特征提取单元的网络配置
采用不同大小的卷积核意味着不同大小的感受视野，多尺度的卷积相融合有利于网络在捕捉局部信息的同时考虑到更多的全局信息，从而恢复图像中更多的细节信息。
为了验证本申请算法的去模糊效果，与目前的主流算法进行对比实验。对比算法包括：基于L1正则化算法的图像去模糊，基于维纳滤波的图像去模糊和卷积神经网络(CNN)图像去模糊，并利用PSNR和SSIM对本申请算法进行综合全面的评价。
从Set5数据集中选取了Starfish、butterfly、parrot三张测试图，并加入了大小为3×3、5×5、7×7，方差为10、15、20的高斯模糊，四种不同方法对模糊图像的去模糊效果如图3至图5所示。
可以看到，基于L1正则化的算法难以移除强度较大的模糊；基于维纳滤波的算法去模糊效果与实际图像对比相差较大；CNN方法在一定程度上抑制了大多数模糊效果，但部分细节模糊的去除不明显；而本申请算法在噪声大小为7×7，方差为20高斯模糊的情况下，对图像的去模糊效果更明显。
图3为噪声强度1(大小为3×3，方差为10的高斯模糊)的去模糊效果；图4为噪声强度2(大小为5×5，方差为15的高斯模糊)的去模糊效果；图5为噪声强度3(大小为7×7，方差为20的高斯模糊)的去模糊效果。
对比实验的客观指标如表2和表3所示，可以看到相较于其他三种方法，本申请算法取得了最高的PSNR和SSIM，取得了优秀的去模糊效果。
表2各算法的PSNR对比
表3各算法的SSIM对比
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于多尺度残差的交通标识去模糊检测识别算法，其特征在于：包括以下步骤：
S1、将待识别图像输入多尺度特征提取单元，由多尺度特征提取单元对待识别图像提取多尺度特征；
S2、将多尺度特征进行拼接，并通过卷积核进行特征融合，在单一层次上提取多尺度特征；
S3、配置残差单元消除增加网络深度带来的梯度弥散问题。
2.根据权利要求1所述的基于多尺度残差的交通标识去模糊检测识别算法，其特征在于：所述多尺度特征提取单元包括1×1卷积核、3×3卷积核、5×5卷积核。
3.根据权利要求2所述的基于多尺度残差的交通标识去模糊检测识别算法，其特征在于：所述1×1卷积核、3×3卷积核、5×5卷积核的卷积核数量均为64个，并统一配置ReLU激活函数。
4.根据权利要求1所述的基于多尺度残差的交通标识去模糊检测识别算法，其特征在于：所述特征融合在1×1卷积核上完成。
5.根据权利要求1所述的基于多尺度残差的交通标识去模糊检测识别算法，其特征在于：所述残差单元包括第一权重层、第二权重层、ReLU激活函数、shortcut连接，所述第一权重层的输出函数通过所述ReLU激活函数后输入所述第二权重层，所述第二权重层的输出函数经过所述shortcut连接后，再通过所述ReLU激活函数得到输出结果。
6.根据权利要求5所述的基于多尺度残差的交通标识去模糊检测识别算法，其特征在于：若所述第一权重层的输入为x，则所述第二权重层的输入函数为σ(F(W1,x))，所述第二权重层的输出函数为F(W2,σ(F(W1,x)))，所述残差单元的输出结果为σ(F(W2,σ(F(W1,x)))+x)；
其中，W1、W2分别为所述第一权重层、第二权重层的权重，σ表示所述ReLU激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910953475.5A CN110717873A (zh) | 2019-10-09 | 2019-10-09 | 一种基于多尺度残差的交通标识去模糊检测识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910953475.5A CN110717873A (zh) | 2019-10-09 | 2019-10-09 | 一种基于多尺度残差的交通标识去模糊检测识别算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717873A true CN110717873A (zh) | 2020-01-21 |
Family
ID=69212339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910953475.5A Pending CN110717873A (zh) | 2019-10-09 | 2019-10-09 | 一种基于多尺度残差的交通标识去模糊检测识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717873A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801128A (zh) * | 2020-12-14 | 2021-05-14 | 深圳云天励飞技术股份有限公司 | 非机动车识别方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316552A1 (en) * | 2016-04-27 | 2017-11-02 | Ramot At Tel-Aviv University Ltd. | Blind image deblurring via progressive removal of blur residual |
| CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN109903237A (zh) * | 2019-01-23 | 2019-06-18 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊算法 |
| CN109948524A (zh) * | 2019-03-18 | 2019-06-28 | 北京航空航天大学 | 一种基于空基监视的交通车辆密度估计方法 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
-
2019
- 2019-10-09 CN CN201910953475.5A patent/CN110717873A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316552A1 (en) * | 2016-04-27 | 2017-11-02 | Ramot At Tel-Aviv University Ltd. | Blind image deblurring via progressive removal of blur residual |
| CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN109903237A (zh) * | 2019-01-23 | 2019-06-18 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊算法 |
| CN109948524A (zh) * | 2019-03-18 | 2019-06-28 | 北京航空航天大学 | 一种基于空基监视的交通车辆密度估计方法 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
Non-Patent Citations (1)
| Title |
|---|
| KAIMING HE: "Deep Residual Learning for Image Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801128A (zh) * | 2020-12-14 | 2021-05-14 | 深圳云天励飞技术股份有限公司 | 非机动车识别方法、装置、电子设备及存储介质 |
| CN112801128B (zh) * | 2020-12-14 | 2023-10-13 | 深圳云天励飞技术股份有限公司 | 非机动车识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111209952A (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| WO2020087607A1 (zh) | 一种基于Bi-Skip-Net的图像去模糊方法 | |
| CN110782399A (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN109345474A (zh) | 基于梯度域和深度学习的图像运动模糊盲去除方法 | |
| CN113592736B (zh) | 一种基于融合注意力机制的半监督图像去模糊方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN106709879A (zh) | 一种基于简单透镜计算成像的空间变化点扩散函数平滑方法 | |
| CN109345609B (zh) | 基于卷积神经网络进行壁画图像去噪和线描画生成的方法 | |
| Li | A survey on image deblurring | |
| Fu et al. | An anisotropic Gaussian filtering model for image de-hazing | |
| CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN110717873A (zh) | 一种基于多尺度残差的交通标识去模糊检测识别算法 | |
| CN113012071B (zh) | 一种基于深度感知网络的图像失焦去模糊方法 | |
| CN112381725B (zh) | 基于深度卷积对抗生成网络的图像修复方法及装置 | |
| Zeng et al. | Single image motion deblurring based on modified denseNet | |
| Shibata et al. | Reflection removal using RGB-D images | |
| Yi et al. | Attention-model guided image enhancement for robotic vision applications | |
| Akintoye et al. | Enhancement of Finger Vein Image Using Multifiltering Algorithm | |
| Narasimharao et al. | Advanced Techniques for Color Image Blind Deconvolution to Restore Blurred Images | |
| Zhang et al. | Single-image rain removal via multi-scale cascading image generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |