CN110751155A - 一种新的基于Faster R-CNN的目标检测方法 - Google Patents
一种新的基于Faster R-CNN的目标检测方法 Download PDFInfo
- Publication number
- CN110751155A CN110751155A CN201910970704.4A CN201910970704A CN110751155A CN 110751155 A CN110751155 A CN 110751155A CN 201910970704 A CN201910970704 A CN 201910970704A CN 110751155 A CN110751155 A CN 110751155A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- color
- cnn
- faster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种新的基于Faster R‑CNN的目标检测方法。首先,对图像进行图像分割,并利用不同区域对比度进行显著性计算,得到显著图;然后,采用传统卷积神经网络对图像进行特征提取,得到特征图像;接着,将显著图与特征图像进行Concat拼接;最后,将拼接后的特征图像输入Faster R‑CNN网络,得到最终的目标检测结果。本发明通过将图像的显著性信息引入Faster R‑CNN目标检测网络,可以大大提升目标检测的精度。
Description
技术领域
本发明属图像处理技术领域,具体涉及一种新的基于Faster R-CNN的目标检测方法。
背景技术
传统的基于深度学习的目标检测方法,会将被处理区域以方框、椭圆、不规则多边形等方式勾勒出来,称为感兴趣区域ROI(region of interest),从而使人可以容易地判断出图像中的目标区域,注意到图像的重要部分,也称为基于候选区域的目标检测方法,Faster R-CNN就属于这一类目标检测方法。Faster R-CNN网络由两个模块组成,第一模块是生成候选区域的深度全卷积网络,第二模块是使用候选区域的检测器,是目标检测的经典算法之一,检测精度很高,但是由于生成候选区域需耗费大量计算资源,检测速度有待提升。
近年来,出现了大量基于卷积神经网络的目标检测方法,其主要通过增加网络结构的深度或者通过合理利用上下文信息来提升检测精度。2017年huang等人提出一种具有密集连接的卷积神经网络——DenseNet网络,网络每一层的输入都是前面所有层输出的并集,而该层所学习的特征图也会被直接传给其后面所有层作为输入,该网络中任何两层之间都有直接的连接。卷积网络使用密集连接的方式增强了特征信息的传播,对上下文的信息进行了更合理的利用。但这类方法由于盲目的加深或改变网络结构,或通过密集连接增强上下文信息的利用,使神经网络的结构越来越复杂,计算量增大,甚至造成检测精度的下降。
对图像进行显著性检测,也称为视觉注意机制,在进行图像分析与合成时,这种方式有助于进行计算资源优先分配,对于目标检测方法具有重要意义。而上述基于候选区域的目标检测方法和基于卷积神经网络的目标检测方法都没有能很好地利用图像的显著性特征。
发明内容
为了克服现有技术的不足,本发明提供一种新的基于Faster R-CNN的目标检测方法。首先,对图像进行图像分割,并利用不同区域对比度进行显著性计算,得到显著图;然后,采用传统卷积神经网络对图像进行特征提取,得到特征图像;接着,将显著图与特征图进行Concat拼接;最后,将拼接后的特征图像输入Faster R-CNN网络,得到最终的目标检测结果。本发明通过将图像的显著性信息引入Faster R-CNN目标检测网络,可以大大提升目标检测的精度。
一种新的基于Faster R-CNN的目标检测方法,其特征在于步骤如下:
步骤1:利用基于图的图像分割方法将图像分为K个区域,对于每一个区域rk,k=1,…,K,按下式计算其显著性S(rk):
其中,rk表示第k个区域,ri表示第i个区域,Ds(rk,ri)表示第k个区域与第i个区域重心的欧式距离,σs为空间强度权值,取值在[0,1]之间,ω(ri)表示第i个区域包含的像素总数,Dr(rk,ri)表示第k个区域与第i个区域的颜色距离,其计算公式如下:
其中,n1表示第k个区域中包含像素的颜色总数,n2表示第i个区域中包含的像素颜色总数,f(ck,x)为第x种颜色在第k个区域的所有n1种颜色中出现的频率,f(ci,y)为第y种颜色在第i个区域的所有n2种颜色中出现的频率,D(ck,x,ci,y)表示第k个区域中的第x种颜色与第i个区域中的第y种颜色的Lab空间距离;
用所有区域的显著性值表示的图像即为显著图。
步骤2:利用VGG16网络对原图像进行特征提取,得到特征图像;
步骤3:利用Concat连接将步骤1得到的显著图和步骤2得到的特征图像进行拼接,得到拼接后的特征图像;
步骤4:将拼接后的特征图像输入Faster R-CNN的RPN网络模块得到候选区域,其中,RPN网络的损失函数设置如下:
其中,L(pj,tj)表示网络的损失函数,pj表示第j个Anchor为目标的预测概率,是ground truth的类别标签,若第j个Anchor是目标,则否则,tj为表示预测目标框参数坐标向量,是一个正样本的Anchor对应的标注目标框的参数坐标向量;为Anchor是否为目标的分类误差,表示计算预测框是目标Anchor的回归损失,Ncls表示每个批次预测出的目标数量,Nreg表示预测Anchor位置的数量,λ为权重,取值范围为[0,100]。
将生成的候选区域输入Faster R-CNN的候选区域检测器网络,得到最终检测结果,即带有类别标签目标框的检测图。
本发明的有益效果是:由于对图像首先进行图像分割,利用不同区域来对比产生显著性,便于检测网络筛选图像特征;由于采用了Concat操作将显著图和特征图拼接在一起,得到的特征图既包含了经过多次传统卷积操作后具有丰富语义特征的深层特征图,又包含了经过显著性检测的显著图,充分利用了上下文信息;由于将图像的显著性特征引入到目标检测网络中,能够显著提升目标检测的精度。本发明方法可以充分利用图像信息,使计算资源得到合理分配,是一种高效的目标检测方法。
附图说明
图1是本发明的一种新的基于Faster R-CNN的目标检测方法流程图
图2是Faster R-CNN结构示意图
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
如图1所示,本发明提供了一种新的基于Faster R-CNN的目标检测方法,其实现过程如下:
1、基于区域对比度的显著性区域检测
(1)图像分割:图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程,传统图像分割方法主要有基于阈值的分割方法、基于图的分割方法、基于区域的分割方法、基于边缘的分割方法和基于特定理论的分割方法等。可以采用任一种图像分割方法,对待检测图像进行处理。本实施例采用基于图的图像分割方法将图像分为若干区域,然后再为每个区域建立颜色直方图。
(2)计算图像显著性:计算各个区域之间的颜色对比度,用每个区域和其他区域的对比度加权和来定义其显著性,其中权值由两个区域的空间距离决定。在没有加入空间关系时,每个区域的显著性按下式进行计算:
其中,rk表示第k个区域,ri表示第i个区域,S(rk)表示第k个区域的显著性,K为区域总数,ω(ri)表示第i个区域包含的像素总数,用来增大区域的颜色对比度,Dr(rk,ri)表示第k个区域与第i个区域的颜色距离。
两个区域的颜色距离Dr定义如下式:
其中,n1表示第k个区域中包含像素的颜色总数,n2表示第i个区域中包含的像素颜色总数,f(ck,x)为第x种颜色在第k个区域的所有n1种颜色中出现的频率,f(ci,y)为第y种颜色在第i个区域的所有n2种颜色中出现的频率,颜色出现的频率越高,对颜色距离Dr的影响越大;D(ck,x,ci,y)表示第k个区域中的第x种颜色与第i个区域中的第y种颜色的Lab空间距离。
两种颜色的Lab空间距离计算公式如下:
其中,c1表示颜色一,c2表示颜色二,D(c1,c2)表示颜色一和颜色二的Lab空间距离,L1表示颜色一属于从纯黑到纯白的亮度分量,L2表示颜色二属于从纯黑到纯白的亮度分量,L1和L2的值的范围为[0,100],a1表示颜色一属于从红色到绿色的亮度分量,a2表示颜色二属于从红色到绿色的亮度分量,a1和a2的值的范围为[-128,127],b1表示颜色一属于从黄色到蓝色的亮度分量,b2表示颜色二属于从黄色到蓝色的亮度分量,b1和b2的值的范围为[-128,127]。
由于只有每个区域与相邻区域对比有不同的显著性值,才能区分该区域是否为显著性区域,一幅图像可以有不相邻的多个显著性区域,不能根据较远区域的对比来判定哪个区域是显著的(因为他们可能都显著),因此,为了进一步利用空间信息特征,本发明在上述显著性定义中引入空间信息,以此来增加距离较近区域间对显著性值的影响并减少距离较远区域的对显著性值的影响。即构造下式计算每个区域的显著性:
其中,Ds(rk,ri)为两个区域重心的欧式距离。σs为空间强度权值,其决定了空间距离对显著性值的影响程度,本实施例中,σs=0.2。
对于图像分割得到的每一个区域rk,k=1,…,K,按公式(7)计算得到其显著性S(rk)后,不同的显著值就有不同的特征反映到图像上,生成的图像就是与原图像对应的显著图。
2、显著图和特征图拼接
首先,利用VGG16模型对原图进行处理,得到特征图像。VGG16网络包括13个conv层,13个relu层和4个pooling层。然后,采用Concat连接的方式将步骤1得到的显著图和这里得到的特征图像进行拼接。由于Concat连接是将两幅图像进行通道维度上的拼接,采用这种方式得到的拼接后的图像既包含了经过多次传统卷积操作后具有丰富语义特征的深层特征图,又包含了经过显著性检测后的显著图,充分利用了图像的上下文信息。
3、基于候选区域的目标检测
图2给出了Faster R-CNN结构示意图。首先,将拼接后的特征图输入Faster R-CNN的RPN网络模块得到候选区域,RPN网络模块的本质是滑动窗口,只需在最后的卷积层上滑动一遍,利用候选窗口(anchor)机制和边框回归,即可得到多尺度多长宽比的候选区域。
为了将网络的分类误差和定位误差都包含在内,设计RPN网络的损失函数如下:
其中,L(pj,tj)表示网络的损失函数,pj表示第j个Anchor为目标的预测概率,是ground truth的类别标签,若第j个Anchor是目标,则否则,tj为表示预测目标框4个参数坐标向量,是一个正样本的Anchor对应的标注目标框的参数坐标向量;为Anchor是否为目标的分类误差,表示计算预测框是目标Anchor的回归损失,Ncls表示每个批次预测出的目标数量,Nreg表示预测Anchor位置的数量,λ为权重,平衡类别损失和定位损失,本实施例中设置其值为10。
将RPN网络生成的候选区域输入Faster R-CNN的后续候选区域检测器,检测器类似于“大脑”,会判断RPN给出的候选区域是否为目标,是哪一类目标,即得到带有类别标签目标框的检测图,即最终的目标检测结果。
为验证本发明方法的有效性,在以下软、硬件环境下,分别利用Faster R-CNN网络和本发明方法在coco数据集上进行训练和测试实验:
硬件环境为:GPU:Intel(R)Core(TM),内存:8G,硬盘:1T机械硬盘,独立显卡:NVIDIA GeForce GTX 1050Ti,11G;系统环境为Ubuntu 16.0.4;软件环境为python3.6,OpenCV3.4.1。
以常用的检测精度(AP)评估不同方法的检测效果,计算结果如表1所示。可以看出,本发明方法可以有效地提高检测精度。
表1
方法 | AP |
Faster R-CNN | 34.9 |
本发明方法 | 35.2 |
Claims (1)
1.一种新的基于Faster R-CNN的目标检测方法,其特征在于步骤如下:
步骤1:利用基于图的图像分割方法将图像分为K个区域,对于每一个区域rk,k=1,…,K,按下式计算其显著性S(rk):
其中,rk表示第k个区域,ri表示第i个区域,Ds(rk,ri)表示第k个区域与第i个区域重心的欧式距离,σs为空间强度权值,取值在[0,1]之间,ω(ri)表示第i个区域包含的像素总数,Dr(rk,ri)表示第k个区域与第i个区域的颜色距离,其计算公式如下:
其中,n1表示第k个区域中包含像素的颜色总数,n2表示第i个区域中包含的像素颜色总数,f(ck,x)为第x种颜色在第k个区域的所有n1种颜色中出现的频率,f(ci,y)为第y种颜色在第i个区域的所有n2种颜色中出现的频率,D(ck,x,ci,y)表示第k个区域中的第x种颜色与第i个区域中的第y种颜色的Lab空间距离;
用所有区域的显著性值表示的图像即为显著图;
步骤2:利用VGG16网络对原图像进行特征提取,得到特征图像;
步骤3:利用Concat连接将步骤1得到的显著图和步骤2得到的特征图像进行拼接,得到拼接后的特征图像;
步骤4:将拼接后的特征图像输入Faster R-CNN的RPN网络模块得到候选区域,其中,RPN网络的损失函数设置如下:
其中,L(pj,tj)表示网络的损失函数,pj表示第j个Anchor为目标的预测概率,是ground truth的类别标签,若第j个Anchor是目标,则否则,tj为表示预测目标框参数坐标向量,是一个正样本的Anchor对应的标注目标框的参数坐标向量;为Anchor是否为目标的分类误差,表示计算预测框是目标Anchor的回归损失,Ncls表示每个批次预测出的目标数量,Nreg表示预测Anchor位置的数量,λ为权重,取值范围为[0,100];
将生成的候选区域输入Faster R-CNN的候选区域检测器网络,得到最终检测结果,即带有类别标签目标框的检测图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910970704.4A CN110751155A (zh) | 2019-10-14 | 2019-10-14 | 一种新的基于Faster R-CNN的目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910970704.4A CN110751155A (zh) | 2019-10-14 | 2019-10-14 | 一种新的基于Faster R-CNN的目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110751155A true CN110751155A (zh) | 2020-02-04 |
Family
ID=69278083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910970704.4A Pending CN110751155A (zh) | 2019-10-14 | 2019-10-14 | 一种新的基于Faster R-CNN的目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751155A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105930868A (zh) * | 2016-04-20 | 2016-09-07 | 北京航空航天大学 | 一种基于层次化增强学习的低分辨率机场目标检测方法 |
CN107203781A (zh) * | 2017-05-22 | 2017-09-26 | 浙江大学 | 一种基于显著性指导的端到端的弱监督目标检测方法 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN107680106A (zh) * | 2017-10-13 | 2018-02-09 | 南京航空航天大学 | 一种基于Faster R‑CNN的显著性目标检测方法 |
CN107729799A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统 |
CN107729801A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 |
CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108460758A (zh) * | 2018-02-09 | 2018-08-28 | 河南工业大学 | 肺结节检测模型的构建方法 |
CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
CN109086777A (zh) * | 2018-07-09 | 2018-12-25 | 南京师范大学 | 一种基于全局像素特征的显著图精细化方法 |
CN109447168A (zh) * | 2018-11-05 | 2019-03-08 | 江苏德劭信息科技有限公司 | 一种基于深度特征和视频目标检测的安全帽佩戴检测方法 |
-
2019
- 2019-10-14 CN CN201910970704.4A patent/CN110751155A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105930868A (zh) * | 2016-04-20 | 2016-09-07 | 北京航空航天大学 | 一种基于层次化增强学习的低分辨率机场目标检测方法 |
CN107203781A (zh) * | 2017-05-22 | 2017-09-26 | 浙江大学 | 一种基于显著性指导的端到端的弱监督目标检测方法 |
CN107729799A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN107729801A (zh) * | 2017-07-11 | 2018-02-23 | 银江股份有限公司 | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 |
CN107680106A (zh) * | 2017-10-13 | 2018-02-09 | 南京航空航天大学 | 一种基于Faster R‑CNN的显著性目标检测方法 |
CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
CN108460758A (zh) * | 2018-02-09 | 2018-08-28 | 河南工业大学 | 肺结节检测模型的构建方法 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN109086777A (zh) * | 2018-07-09 | 2018-12-25 | 南京师范大学 | 一种基于全局像素特征的显著图精细化方法 |
CN109447168A (zh) * | 2018-11-05 | 2019-03-08 | 江苏德劭信息科技有限公司 | 一种基于深度特征和视频目标检测的安全帽佩戴检测方法 |
Non-Patent Citations (1)
Title |
---|
李然等: "《基于显著性检测的协同图像分割研究》", 《现代计算机》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108549891B (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
CN111612763B (zh) | 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 | |
Shan | Image segmentation method based on K-mean algorithm | |
US10445557B2 (en) | Learning pixel visual context from object characteristics to generate rich semantic images | |
EP2161555B1 (en) | Coating color database creating method, search method using the database, their system, program, and recording medium | |
CN104966085B (zh) | 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 | |
WO2019238126A1 (zh) | 图像分割及分割网络训练方法和装置、设备、介质、产品 | |
CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
CN105893925A (zh) | 基于肤色的人手检测方法及装置 | |
CN108765386A (zh) | 一种隧道裂缝检测方法、装置、电子设备及存储介质 | |
Fan et al. | A novel automatic dam crack detection algorithm based on local-global clustering | |
CN106096542A (zh) | 基于距离预测信息的图像视频场景识别方法 | |
CN113420643B (zh) | 基于深度可分离空洞卷积的轻量级水下目标检测方法 | |
CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
CN109961437B (zh) | 一种基于机器教学模式下的显著性织物疵点检测方法 | |
WO2022199710A1 (zh) | 图像融合方法、装置、计算机设备和存储介质 | |
CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
CN111079807B (zh) | 一种地物分类方法及装置 | |
He et al. | An automated three-dimensional detection and segmentation method for touching cells by integrating concave points clustering and random walker algorithm | |
CN117152484A (zh) | 改进YOLOv5s的小目标布匹瑕疵检测方法 | |
CN106960188B (zh) | 天气图像分类方法及装置 | |
CN111368625B (zh) | 一种基于级联优化的行人目标检测方法 | |
CN110751155A (zh) | 一种新的基于Faster R-CNN的目标检测方法 | |
Liang et al. | Relative saliency model over multiple images with an application to yarn surface evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200204 |