CN111523493A - 一种针对雾天影像的目标检测算法 - Google Patents
一种针对雾天影像的目标检测算法 Download PDFInfo
- Publication number
- CN111523493A CN111523493A CN202010341674.3A CN202010341674A CN111523493A CN 111523493 A CN111523493 A CN 111523493A CN 202010341674 A CN202010341674 A CN 202010341674A CN 111523493 A CN111523493 A CN 111523493A
- Authority
- CN
- China
- Prior art keywords
- target detection
- data
- model
- foggy
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种针对雾天影像的目标检测方法,它解决了现有技术对雾天影像目标检测模型识别准确率不高和操作步骤繁杂的问题。其方法包括:S1:采集雾天和非雾天的图像数据;S2:训练去雾模型;S3:训练目标检测模型;S4:将去雾模型的输出和原始图片进行融合,并利用降维模块对数据降维,输入到目标检测模型中,并对去雾模型和目标检测模型进行微调,成为端到端的针对雾天影像的目标检测模型。本发明具有以下优点:识别准确率高,识别步骤便利,端到端识别。
Description
技术领域
本发明涉及计算机视觉人工智能技术领域。特别涉及一种针对雾天影像的目标检测方法。
技术背景
随着人工智能领域深度学习的快速发展,计算机视觉越来越多的领域受到了巨大的机遇和挑战。很多计算机视觉任务如分类,检测等在性能上取得了巨大的进步和提高,如在图像分类任务中,神经网络的识别准确率已经超过人类。在目标检测领域,深度学习的算法性能也远超传统的目标检测方法。
尽管目前基于深度学习的目标检测算法性能上得到了巨大的提升,但是这些目标检测算法并不能通用的应用在所有的场景之中,并获得令人满意的表现。随着无人机的普及,无人机在农业,林业,测绘等领起着越来越关键的作用。在使用无人机获取航拍影像的过程中,航拍影像的成像质量,易受到天气因素的影响,如阴天,雾天等。而影像的质量直接影响着检测的准确率,因此我们需要对图像进行处理,以此减轻这些因素的影响。在图像去雾领域,有很多算法可以有进行有效的去雾。针对雾天航拍影像的目标检测,常规的处理方法是先用去雾算法进行去雾然后对去雾后的图片进行检测。可是由于航怕区域往往比较宽阔,不是所有的图片都包含雾,如果将不包含雾的图片进行去雾处理,那么不包含雾的图片的分布将会发生变化,将会影响检测的准确性;如果人工将图片分为包含雾的图片和不包含雾的图片,将是非常耗时耗力的工作,而使用分类网络来区分,分类网络无法保证完全预测准确,还是存在将不含雾的图片分类为含有雾的图片,并进行去雾操作。
综上所述,在航拍影像的目标检测过程中,如何有效的去雾,提高检测的准确性是十分重要的研究内容。
发明内容
为解决在雾天环境下,影像检测识别准确率不高的问题,针对现有技术不足,本发明提出级联(cascade)的目标检测方法,通过将去雾算法整合到检测框架中,以此来保证识别的准确性和便利性。
本发明解决其技术问题所采用的的技术方案是:一种针对雾天影像的目标检测算法。所述的方法包括以下步骤:
S1:数据集采集及划分,包括雾天影像和非雾天的影像数据
S2:对含有雾天的图像数据进行训练得到去雾模型。
S3:对包含雾天和非雾天的图像数据进行训练得到目标检测模型。
S4:将图像数据输入到步骤S2的去雾模型中得到输出结果并将其和与之对应的原始图片进行融合,将融合数据进行降维输入到步骤S3的目标检测模型得到最终的检测结果。
通过上述的技术方案,将雾天影像的结果进行预测,从而提高对雾天影像的检测准确性和便利性。
在上述方法中,步骤S1中,数据集的划分的具体步骤包括:
验证集用于模型选择,在数据集制作过程中需要对有雾图像和无雾图像分别进行验证集合训练集的划分。
在上述方法中,步骤S2中,去雾模型的训练的具体步骤包括:
对雾天数据集进行数据增强操作,使用深度学习算法对增强后的雾天数据用去雾网络进行训练,得到去雾模型,并根据验证集上的验证结果,选取最有的模型权值。
在上述方法中,步骤S3中,目标检测模型训练的具体步骤包括:
对采集到图片数据集进行数据增强操作,提高网络的泛化能力。使用目标检测算法对增强后的数据对进行训练,得到目标检测模型,根据在验证集上的结果,选取最优的网络权值。
在上述方法中,步骤S4中,端到端的雾天影像目标检测模型的具体步骤包括:
采集的图像进行数据增强操作,提高网络的泛化能力。利用降维模块对去雾模型的输出数据和原始图像数据进行降维输入到目标检测网络中,同时对步骤S2的去雾模型和步骤S3的目标检测模型中进行微调训练,根据在验证集上的性能表现,得到最终的模型。
其中,上述步骤S3,S4和S5的数据增强操作包括图片的旋转、平移、刚体变形、对比度增强、直方图均衡化、颜色抖动中的一种或多种相结合
本发明的有益效果表现:在雾天影像的目标检测任务中,利用端到端的系统,进行全自动的预测,并且将图像对进行融合从而提升深度神经网络的性能。
附图说明
图1为去雾航拍影像的整体的流程图
图2为网络框架图
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方案并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
参照图1和图2,一种针对雾天影像的目标检测方法的具体流程:
S1:数据集采集及划分,包括雾天影像和非雾天的影像数据
S2:对含有雾天的图像数据进行训练得到去雾模型。
S3:对包含雾天和非雾天的图像数据进行训练得到目标检测模型。
S4:将图像数据输入到步骤S2的去雾模型中得到输出结果并将其和与之对应的原始图片进行融合,将融合数据进行降维输入到步骤S3的目标检测模型得到最终的检测结果。
步骤S1中,数据集的划分的具体步骤包括:
验证集用于模型选择,在数据集制作过程中需要对有雾图像和无雾图像分别进行验证集合训练集的划分。
在上述方法中,步骤S2中,去雾模型的训练的具体步骤包括:
对雾天数据集进行数据增强操作,使用深度学习算法对增强后的雾天数据用去雾网络进行训练,得到去雾模型,并根据验证集上的验证结果,选取最有的模型权值。对含有雾天的图像数据进行训练得到去雾模型。对雾天数据集进行数据增强操作,使用深度学习算法对增强后的雾天数据用去雾网络进行训练,得到去雾模型,并根据验证集上的验证结果,选取最有的模型权值。利用深度学习算法对数据集进行训练,输入到去雾网络中,去雾网络包括DehazeNet、Cycle-Dehaze等,具体采用何种类型的去雾网络,本发明实施不做唯一性限定。利用收集到的雾天图像数据对的去雾网络进行训练,优化的损失函数为均方误差(Mean Square Error,MSE),其具体定义如下:
l(x,y)=L={l1,....,ln} (1)
ln=(xn-yn)2 (2)
上式中x当为雾天图片,y为去雾之后的标签图片,n为图像中像素点的个数。验证集的损失函数达到稳定之后,训练结束,保存对应的模型权值,此操作的目的是为了可以微调(fine-tuning)去雾网络。此时去雾模型,就可整合到目标检测的框架之中,进行端到端(end-to-end)的训练。
在上述方法中,步骤S3中,目标检测模型训练的具体步骤包括:
对采集到图片数据集进行数据增强操作,提高网络的泛化能力。使用目标检测算法对增强后的数据对进行训练,得到目标检测模型,根据在验证集上的结果,选取最优的网络权值。对包含雾天和非雾天的图像数据进行训练得到目标检测模型,对采集到图片数据集进行数据增强操作,提高网络的泛化能力。使用目标检测算法对增强后的数据对进行训练,得到目标检测模型,根据在验证集上的结果,选取最优的网络权值。将采集到的整个影像数据集输入到目标检测网络中进行训练,进行数据增强,以此提高网络的泛化能力。将得到的数据集输入到目标检测网络中进行训练,目标检测网络包括基于鉴于区域提取的二阶段目标检测算法和基于回归的一阶段目标检测算法,具体采用何种类型的目标检测网络,本发明实施例不做唯一性限定,保存训练过程中,在验证集上性能表现良好的模型权值。
在上述方法中,步骤S4中,端到端的雾天影像目标检测模型的具体步骤包括:
采集的图像进行数据增强操作,提高网络的泛化能力。利用降维模块对去雾模型的输出数据和原始图像数据进行降维输入到目标检测网络中,同时对步骤S2的去雾模型和步骤S3的目标检测模型中进行微调训练,根据在验证集上的性能表现,得到最终的模型。将图像数据输入到步骤S2的去雾模型中得到输出结果并将其和与之对应的原始图片进行融合,将融合数据进行降维输入到步骤S3的目标检测模型得到最终的检测结果,采集的图像进行数据增强操作,提高网络的泛化能力。利用降维模块对去雾模型的输出数据和原始图像数据进行降维输入到目标检测网络中,同时对步骤S2的去雾模型和步骤S3的目标检测模型中进行微调训练,根据在验证集上的性能表现,得到最终的模型。如图2所示的深度网络之中,由于在之前的步骤之中,我们已经得到训练好的去雾模型权值和目标检测模型权值。因此我们可以得到较为精确的去雾结果输出图。获得较为精确的去雾模型输出图之后,将原始的图像和去雾图进行融合,得到6维的数据,其实质是大小为{N,6,H,W}的矩阵,其中N是每次网络训练迭代,图片的数量(即batch-size),H为图片的高度,W为图片的宽度,由于该6维的数据包含着两个部分,一部分为原始图片,另一部分为经过去雾模型得到图片,当原始图片为有雾图片时,另一部分则是去雾之后的图片;当原始图片为不含雾的图片时,尽管经过了去雾模型得到去雾生成图会对结果产生不好的影响,但是由于该数据包含原始的图片,网络可以有效的学习来消除不利的影响。因此可以帮助目标检测模型的性能进行有效的提升。
随后我们将图片利用两个卷积块对6维的数据进行降维,卷积块由3X3大小的卷积(Conv),修正线性单元(ReLU)和批标准化(Batch Normalization)构成。将卷积块的权值用MSRA进行初始化,其是一个均值为0,方差为的高斯分布:
其中Fin为成待初始化矩阵的行。
得到降维的数据后,我们将其输入到上述步骤得到的检测模型中进行训练,,深度神经网络整体的优化损失函数为:
ldetection(x,ydetection)=lcls(x,yclassification)+lloc(x,ylocation) (4)
其中x为网络输入的图片,ydetection为目标检测的标签,其包含两部分,一部分为分类标签yclassification,另一部分为位置信息ylocation。损失函数也是分类损失函数和定位损失函数两大部分构成。在训练过程中,我们冻结(freeze)去雾网络模型,进行训练,直至神经网络达到收敛,之后解冻(unfreeze)去雾网络模型,对整个网络模型进行微调(fine-tuning),直至网络达到收敛,至此整个网络训练完成,保存整个模型的权值。在使用过程中网络加载该保存的模型权值进行预测,可以得到准确的目标检测算法。
其中,上述步骤S3,S4和S5的数据增强操作包括图片的旋转、平移、刚体变形、对比度增强、直方图均衡化、颜色抖动中的一种或多种相结合
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所做的的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种针对雾天影像的目标检测算法,其特征在于,包括以下步骤:
S1:数据集采集及划分,包括雾天影像和非雾天的影像数据
S2:对含有雾天的图像数据进行训练得到去雾模型。
S3:对包含雾天和非雾天的图像数据进行训练得到目标检测模型。
S4:将图像数据输入到步骤S2的去雾模型中得到输出结果并将其和与之对应的原始图片进行融合,将融合数据进行降维输入到步骤S3的目标检测模型得到最终的检测结果。
2.根据权利要求1所述的针对雾天影像的目标检测算法,其特征在于,在步骤S1中,数据集的划分的具体步骤包括:
验证集用于模型选择,在数据集制作过程中需要对有雾图像和无雾图像分别进行验证集合训练集的划分。
3.根据权利要求1所述的针对雾天影像的目标检测算法,其特征在于,在步骤S2中,去雾模型的训练的具体步骤包括:
对雾天数据集进行数据增强操作,使用深度学习算法对增强后的雾天数据用去雾网络进行训练,得到去雾模型,并根据验证集上的验证结果,选取最有的模型权值。
4.根据权利要求1所述的针对雾天影像的目标检测算法,其特征在于,在步骤S3中,目标检测模型的训练的具体步骤包括:
对采集到图片数据集进行数据增强操作,提高网络的泛化能力。使用目标检测算法对增强后的数据对进行训练,得到目标检测模型,根据在验证集上的结果,选取最优的网络权值。
5.根据权利要求1所述的针对雾天影像的目标检测算法,其特征在于,在步骤S4中,端到端的雾天影像目标检测模型的具体步骤包括:
采集的图像进行数据增强操作,利用降维模块对去雾模型的输出数据和原始图像数据进行降维输入到目标检测网络中,同时对步骤S2的去雾模型和步骤S3的目标检测模型中进行微调训练,根据在验证集上的性能表现,得到最终的模型。
6.根据权利要求3或4或5所述的针对雾天影像的目标检测算法,其特征在于,所述的数据增强操作包括图片的旋转、平移、刚体变形、对比度增强、直方图均衡化、颜色抖动中的一种或多种相结合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010341674.3A CN111523493A (zh) | 2020-04-27 | 2020-04-27 | 一种针对雾天影像的目标检测算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010341674.3A CN111523493A (zh) | 2020-04-27 | 2020-04-27 | 一种针对雾天影像的目标检测算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111523493A true CN111523493A (zh) | 2020-08-11 |
Family
ID=71904654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010341674.3A Pending CN111523493A (zh) | 2020-04-27 | 2020-04-27 | 一种针对雾天影像的目标检测算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111523493A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814753A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 针对雾天条件下的目标检测方法和装置 |
CN112070701A (zh) * | 2020-09-08 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
CN113705380A (zh) * | 2021-08-11 | 2021-11-26 | 北京百度网讯科技有限公司 | 雾天的目标检测方法、装置、电子设备以及存储介质 |
CN115641584A (zh) * | 2022-12-26 | 2023-01-24 | 武汉深图智航科技有限公司 | 一种雾天图像识别方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065133A (zh) * | 2013-01-21 | 2013-04-24 | 信帧电子技术(北京)有限公司 | 雾天行人检测方法及装置 |
CN110210354A (zh) * | 2019-05-23 | 2019-09-06 | 南京邮电大学 | 一种雾霾天气交通标识检测与识别的方法 |
CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
CN110458029A (zh) * | 2019-07-15 | 2019-11-15 | 佛山科学技术学院 | 一种雾天环境中的车辆检测方法及装置 |
WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
US20200082151A1 (en) * | 2018-09-06 | 2020-03-12 | National Central University | Method of Top-of-Atmosphere Reflectance-Based Spatiotemporal Image Fusion Using Aerosol Optical Depth |
-
2020
- 2020-04-27 CN CN202010341674.3A patent/CN111523493A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065133A (zh) * | 2013-01-21 | 2013-04-24 | 信帧电子技术(北京)有限公司 | 雾天行人检测方法及装置 |
WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
US20200082151A1 (en) * | 2018-09-06 | 2020-03-12 | National Central University | Method of Top-of-Atmosphere Reflectance-Based Spatiotemporal Image Fusion Using Aerosol Optical Depth |
CN110210354A (zh) * | 2019-05-23 | 2019-09-06 | 南京邮电大学 | 一种雾霾天气交通标识检测与识别的方法 |
CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
CN110458029A (zh) * | 2019-07-15 | 2019-11-15 | 佛山科学技术学院 | 一种雾天环境中的车辆检测方法及装置 |
Non-Patent Citations (4)
Title |
---|
XIAOYAN WANG,XINGYU ZHONG, ET AL.: "Automatic Carotid Artery Detection Using Attention Layer Region-Based Convolution Neural Network", 《INTERNATIONAL JOURNAL OF HUMANOID ROBOTICS》 * |
吴双忱等: "基于深度卷积神经网络的红外小目标检测", 《红外与毫米波学报》 * |
张彬等: "《图像复原优化算法》", 31 August 2019 * |
郭青山: "基于卷积神经网络的航拍车辆检测与跟踪", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814753A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 针对雾天条件下的目标检测方法和装置 |
CN112070701A (zh) * | 2020-09-08 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
CN113705380A (zh) * | 2021-08-11 | 2021-11-26 | 北京百度网讯科技有限公司 | 雾天的目标检测方法、装置、电子设备以及存储介质 |
CN113705380B (zh) * | 2021-08-11 | 2023-08-01 | 北京百度网讯科技有限公司 | 雾天的目标检测方法、装置、电子设备以及存储介质 |
CN115641584A (zh) * | 2022-12-26 | 2023-01-24 | 武汉深图智航科技有限公司 | 一种雾天图像识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111768432B (zh) | 基于孪生深度神经网络的动目标分割方法及系统 | |
CN111523493A (zh) | 一种针对雾天影像的目标检测算法 | |
US11734786B2 (en) | Low- and high-fidelity classifiers applied to road-scene images | |
US10839543B2 (en) | Systems and methods for depth estimation using convolutional spatial propagation networks | |
CN109241817B (zh) | 一种无人机拍摄的农作物图像识别方法 | |
CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
CN110781262B (zh) | 基于视觉slam的语义地图的构建方法 | |
CN112528059A (zh) | 基于深度学习的交通目标图像检索方法、装置及可读介质 | |
US20220230282A1 (en) | Image processing method, image processing apparatus, electronic device and computer-readable storage medium | |
Yang et al. | Real-time pedestrian and vehicle detection for autonomous driving | |
Chen et al. | 3D neighborhood convolution: Learning depth-aware features for RGB-D and RGB semantic segmentation | |
CN114764868A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
Kwan et al. | Compressive vehicle tracking using deep learning | |
de Carvalho et al. | Bounding box-free instance segmentation using semi-supervised iterative learning for vehicle detection | |
CN113962281A (zh) | 基于Siamese-RFB的无人机目标跟踪方法 | |
Cheng et al. | Joint image enhancement learning for marine object detection in natural scene | |
CN113627481A (zh) | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 | |
CN113177956A (zh) | 一种面向无人机遥感影像的语义分割方法 | |
CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
CN112686247A (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
CN116630610A (zh) | 基于语义分割模型和条件随机场的roi区域提取方法 | |
Wei et al. | A universal remote sensing image quality improvement method with deep learning | |
CN114972748B (zh) | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200811 |