CN111325710A - 一种基于双边注意力机制的rgb-d显著性物体检测方法 - Google Patents

一种基于双边注意力机制的rgb-d显著性物体检测方法 Download PDF

Info

Publication number
CN111325710A
CN111325710A CN202010031055.4A CN202010031055A CN111325710A CN 111325710 A CN111325710 A CN 111325710A CN 202010031055 A CN202010031055 A CN 202010031055A CN 111325710 A CN111325710 A CN 111325710A
Authority
CN
China
Prior art keywords
bilateral
map
rgb
attention
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010031055.4A
Other languages
English (en)
Inventor
程明明
张钊
范登平
林铮
金闻达
徐君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjiang Youtong Intelligent Technology Co ltd
Original Assignee
Zhenjiang Youtong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenjiang Youtong Intelligent Technology Co ltd filed Critical Zhenjiang Youtong Intelligent Technology Co ltd
Priority to CN202010031055.4A priority Critical patent/CN111325710A/zh
Publication of CN111325710A publication Critical patent/CN111325710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,尤其为一种基于双边注意力机制的RGB‑D显著性物体检测方法,步骤如下;S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50,自顶向下地得到最终的预测结果,所述S10跨模态特征提取包括,使用神经网络提取RGB图像和深度图不同层级的特征。本发明的目的是解决基于深度学习的RGB‑D方法无差别地从前景背景中学习所致的性能瓶颈问题,设计了一种基于双边注意力机制的RGB‑D显著性物体检测方法(BiANet),本发明提出的BiANet通过双边注意力机制有效地从前景背景中学习到了显著性物体的特性,经实验,本发明在公开的6个数据集上均超越最前沿的RGB‑D显著性物体检测方法。

Description

一种基于双边注意力机制的RGB-D显著性物体检测方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于双边注意力机制的 RGB-D显著性物体检测方法。
背景技术
显著性检测的目的是检测出一个场景中最吸引人类注意力的物体,在视觉追踪、图像分分割等很多视觉任务上有广泛的应用;目前大多方法重点考虑从RGB图像中预测显著物体,这些方法很容易受到前景与背景相似颜色和前景物体内部强烈颜色对比度等因素的干扰,导致检测的错误;随着低成本深度传感器的普及,场景的深度图越来越容易被捕获;深度图提供了场景三维的空间关系,可以有效地辅助显著性物体检测算法避免由前景和背景颜色带来歧义;因此越来越多工作开始研究如何更好地借助深度图来进行显著性物体检测任务,即RGB-D显著性物体检测。
之前的RGB-D显著性物体的方法,常常使用深度对比度作为重要的先验;近期,Zhao等人在工作“Contrast prior and fluid pyramid integration for RGBD salientobject detection”中将深度对比度先验引入到深度学习方法中有效地提升了检测精度;这些方法实际上是利用深度信息将注意力关注于前景区域;但是,理解什么是背景对显著性检测任务也十分重要;前景和背景的分布存在巨大差异,无差别地从其中学习显著性的线索较为困难;传统方法中有一些方法提出分别从前景和背景推理显著性区域的策略,但是在基于深度学习的方法中,这个朴素而有效的思想并未被重视。
发明内容
本发明的目的在于提供一种基于双边注意力机制的RGB-D显著性物体检测方法,以解决上述背景技术中提出的现有的前景和背景的分布存在巨大差异,无差别地从其中学习显著性的线索较为困难以及传统方法中有一些方法提出分别从前景和背景推理显著性区域的策略,但是在基于深度学习的方法中,这个朴素而有效的思想并未被重视的问题。
为了实现以上目的,本发明采用的技术方案为:一种基于双边注意力机制的RGB-D显著性物体检测方法,步骤如下;S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50,自顶向下地得到最终的预测结果,其中;
所述S10跨模态特征提取包括,使用神经网络提取RGB图像和深度图不同层级的特征,并将相同层级的两个模态特征融合,所述S20显著区域初步预测包括,联合最高层级的RGB图像特征和深度图特征预测显著区域,预测大致的前景背景区域,所述S30预测图上采样包括,将当前预测的显著图上采样,使之与前一层级特征的分辨率相同,所述S40基于双边注意力的残差生成包括,将得到的显著图使用Sigmoid函数激活作为前景注意力图,取反作为背景注意力图,分别从两个支路增强前一层级的特征,并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差,所述S50残差补偿包括,将S40中预测的残差与S30中上采样得到显著图相加,得到修正后的显著图。
进一步的,所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。
进一步的,所述S10跨模态特征提取中所述的不同层级特征是VGG-16网络各个池化层前的最后一层特征。
进一步的,所述S10跨模态特征提取中所述的两个模态特征融合的操作可以是拼接操作。
进一步的,所述S20显著区域初步预测中所述的联合方法可以是将特征拼接后使用一组卷积层和非线性激活层实现预测。
进一步的,所述S30预测图上采样中所述的上采样方法可以是双线性插值。
进一步的,所述S40基于双边注意力的残差生成中所述的第i层的前景注意力图
Figure RE-GDA0002490930780000031
和背景注意力图
Figure RE-GDA0002490930780000032
可以通过如下方式获得:
Figure RE-GDA0002490930780000033
其中σ(·)是Sigmoid激活函数,E为全1矩阵 U(Si+1)代表i+1层上采样后的显著图。
进一步的,所述S40基于双边注意力的残差生成中所述的两个支路可以由多个卷积层和非线性激活层构成。
本发明的有益效果为:
本发明的目的是解决基于深度学习的RGB-D方法无差别地从前景背景中学习所致的性能瓶颈问题,设计了一种基于双边注意力机制的RGB-D显著性物体检测方法(BiANet),本发明提出的BiANet通过双边注意力机制有效地从前景背景中学习到了显著性物体的特性,经实验,本发明在公开的6个数据集上均超越最前沿的RGB-D显著性物体检测方法。
附图说明
图1为一种基于双边注意力机制的RGB-D显著性物体检测方法的流程结构示意图。
图2为一种基于双边注意力机制的RGB-D显著性物体检测方法的BiANet 方法的具体实施框架结构示意图。
图3为一种基于双边注意力机制的RGB-D显著性物体检测方法的双边注意力机制结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案,下面结合附图对本发明进行详细描述,本部分的描述仅是示范性和解释性,不应对本发明的保护范围有任何的限制作用。
如图1-图3所示,本发明的具体结构为:一种基于双边注意力机制的RGB-D显著性物体检测方法,步骤如下;S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50,自顶向下地得到最终的预测结果,其中;
所述S10跨模态特征提取包括,使用神经网络提取RGB图像和深度图不同层级的特征,并将相同层级的两个模态特征融合,所述S20显著区域初步预测包括,联合最高层级的RGB图像特征和深度图特征预测显著区域,预测大致的前景背景区域,所述S30预测图上采样包括,将当前预测的显著图上采样,使之与前一层级特征的分辨率相同,所述S40基于双边注意力的残差生成包括,将得到的显著图使用Sigmoid函数激活作为前景注意力图,取反作为背景注意力图,分别从两个支路增强前一层级的特征,并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差,所述S50残差补偿包括,将S40中预测的残差与S30中上采样得到显著图相加,得到修正后的显著图。
优选的,所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。
优选的,所述S10跨模态特征提取中所述的不同层级特征是VGG-16网络各个池化层前的最后一层特征。
优选的,所述S10跨模态特征提取中所述的两个模态特征融合的操作可以是拼接操作。
优选的,所述S20显著区域初步预测中所述的联合方法可以是将特征拼接后使用一组卷积层和非线性激活层实现预测。
优选的,所述S30预测图上采样中所述的上采样方法可以是双线性插值。
优选的,所述S40基于双边注意力的残差生成中所述的第i层的前景注意力图
Figure RE-GDA0002490930780000051
和背景注意力图
Figure RE-GDA0002490930780000052
可以通过如下方式获得:
Figure RE-GDA0002490930780000053
Figure RE-GDA0002490930780000054
其中σ(·)是Sigmoid激活函数,E为全1矩阵U(Si+1)代表i+1 层上采样后的显著图。
优选的,所述S40基于双边注意力的残差生成中所述的两个支路可以由多个卷积层和非线性激活层构成。
参考图1,本发明提出的BiANet模型由跨模态特征提取,显著性区域初步预测,基于双边注意力的预测图修正三个主要步骤完成,具体实施过程如下:
1.跨模态特征提取
使用两路神经网络提取RGB图像和深度图不同层级的特征,可选地,可以使用VGG-16等基础模型;第i层级的RGB图像特征
Figure RE-GDA0002490930780000055
和第i层级的深度图特征
Figure RE-GDA0002490930780000056
融合为Fi,可选地,可以简单地使用拼接操作来完成融合;在本发明的具体实现中,F6是由
Figure RE-GDA0002490930780000057
Figure RE-GDA0002490930780000058
融合而成,其中M(·)代表着最大池化。
2.显著性区域初步预测
使用一个卷积组从F6预测出初始粗糙的显著图S6,S6的分辨率较低,上采样后边缘等区域较为粗糙,需要使用特征{F1,F2,…,F5}来进一步的修正。
3.基于双边注意力的预测图修正
本发明由高层到低层逐层修正显著图,具体地,基于双边注意力的预测图修正由预测图上采样,基于双边注意力的残差生成和残差补偿三个循环的步骤构成。
预测图上采样:第i+1层的显著图Si+1可以通过双线性插值得到插值后的显著图U(Si+1),其中U(·)代表上采样。
基于双边注意力的残差生成:
Figure RE-GDA0002490930780000061
Figure RE-GDA0002490930780000062
为前景和背景的注意力图,具体的获得方法如下:
Figure RE-GDA0002490930780000063
其中σ(·)是Sigmoid 激活函数,E为全1矩阵。因此第i个残差Ri可以由下式获得:
Figure RE-GDA0002490930780000064
(2)其中,
Figure RE-GDA0002490930780000065
是Fi经过1×1卷积缩减通道的特征,[·,·]代表拼接操作,P和 PR为不同的卷积组,⊙为对应元素相乘。
残差补偿:将i+1上采样后的显著图U(Si+1)和第i层特征生成的残差Ri相加得到第i层的预测Si,具体如下:
Si=Ri+U(Si+1),i∈{1,...,5},
(1)由此可以修正上采样后的高层粗糙预测,逐步得到精细的预测结果。
本发明的效果通过以下仿真实验进一步说明:
表1展示了本发明(BiANet)在NJU(2K)、STERE、DES、NLPR、SSD和SIP 数据集上与其他14个RGB-D显著性物体检测方法的对比实验。该实验选用 S-Measure(Sα)、MaxF-Measure(Fβ)、MaxE-Measure(Eξ)和MAE(M) 4项指标全面评估各方法。结果如下:
表1
Figure RE-GDA0002490930780000071
可以看到本发明(BiANet)取得了最优的检测效果。
综上所述,本发明设计新颖,同时取得了较高的检测精度,具有较强实际应用价值。
具体使用时,首先将需要,这就是该装置的工作流程。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式,应当指出,由于文字表达的有限性,而客观上存在无限的具体结构,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进、润饰或变化,也可以将上述技术特征以适当的方式进行组合;这些改进润饰、变化或组合,或未经改进将发明的构思和技术方案直接应用于其它场合的,均应视为本发明的保护范围。

Claims (8)

1.一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:步骤如下;S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50,自顶向下地得到最终的预测结果,其中;
所述S10跨模态特征提取包括,使用神经网络提取RGB图像和深度图不同层级的特征,并将相同层级的两个模态特征融合,所述S20显著区域初步预测包括,联合最高层级的RGB图像特征和深度图特征预测显著区域,预测大致的前景背景区域,所述S30预测图上采样包括,将当前预测的显著图上采样,使之与前一层级特征的分辨率相同,所述S40基于双边注意力的残差生成包括,将得到的显著图使用Sigmoid函数激活作为前景注意力图,取反作为背景注意力图,分别从两个支路增强前一层级的特征,并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差,所述S50残差补偿包括,将S40中预测的残差与S30中上采样得到显著图相加,得到修正后的显著图。
2.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。
3.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:所述S10跨模态特征提取中所述的不同层级特征是VGG-16网络各个池化层前的最后一层特征。
4.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:所述S10跨模态特征提取中所述的两个模态特征融合的操作可以是拼接操作。
5.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:所述S20显著区域初步预测中所述的联合方法可以是将特征拼接后使用一组卷积层和非线性激活层实现预测。
6.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:所述S30预测图上采样中所述的上采样方法可以是双线性插值。
7.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:所述S40基于双边注意力的残差生成中所述的第i层的前景注意力图
Figure FDA0002364309430000021
和背景注意力图
Figure FDA0002364309430000022
可以通过如下方式获得:
Figure FDA0002364309430000023
其中σ(·)是Sigmoid激活函数,E为全1矩阵U(Si+1)代表i+1层上采样后的显著图。
8.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法,其特征在于:所述S40基于双边注意力的残差生成中所述的两个支路可以由多个卷积层和非线性激活层构成。
CN202010031055.4A 2020-01-13 2020-01-13 一种基于双边注意力机制的rgb-d显著性物体检测方法 Pending CN111325710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010031055.4A CN111325710A (zh) 2020-01-13 2020-01-13 一种基于双边注意力机制的rgb-d显著性物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010031055.4A CN111325710A (zh) 2020-01-13 2020-01-13 一种基于双边注意力机制的rgb-d显著性物体检测方法

Publications (1)

Publication Number Publication Date
CN111325710A true CN111325710A (zh) 2020-06-23

Family

ID=71172516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010031055.4A Pending CN111325710A (zh) 2020-01-13 2020-01-13 一种基于双边注意力机制的rgb-d显著性物体检测方法

Country Status (1)

Country Link
CN (1) CN111325710A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163498A (zh) * 2020-09-23 2021-01-01 华中科技大学 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN113658134A (zh) * 2021-08-13 2021-11-16 安徽大学 一种多模态对齐校准的rgb-d图像显著目标检测方法
CN114677571A (zh) * 2022-03-29 2022-06-28 东南大学 一种基于双边注意力机制的复杂背景下目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204088A1 (en) * 2017-01-13 2018-07-19 Beihang University Method for salient object segmentation of image by aggregating multi-linear exemplar regressors
CN108846416A (zh) * 2018-05-23 2018-11-20 北京市新技术应用研究所 显著图像的提取处理方法及系统
CN109165660A (zh) * 2018-06-20 2019-01-08 扬州大学 一种基于卷积神经网络的显著物体检测方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204088A1 (en) * 2017-01-13 2018-07-19 Beihang University Method for salient object segmentation of image by aggregating multi-linear exemplar regressors
CN108846416A (zh) * 2018-05-23 2018-11-20 北京市新技术应用研究所 显著图像的提取处理方法及系统
CN109165660A (zh) * 2018-06-20 2019-01-08 扬州大学 一种基于卷积神经网络的显著物体检测方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163498A (zh) * 2020-09-23 2021-01-01 华中科技大学 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN112163498B (zh) * 2020-09-23 2022-05-27 华中科技大学 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN113658134A (zh) * 2021-08-13 2021-11-16 安徽大学 一种多模态对齐校准的rgb-d图像显著目标检测方法
CN114677571A (zh) * 2022-03-29 2022-06-28 东南大学 一种基于双边注意力机制的复杂背景下目标检测方法

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN110020989B (zh) 一种基于深度学习的深度图像超分辨率重建方法
CN111325710A (zh) 一种基于双边注意力机制的rgb-d显著性物体检测方法
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN115601549B (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN113870422B (zh) 一种点云重建方法、装置、设备及介质
CN107066916B (zh) 基于反卷积神经网络的场景语义分割方法
CN112767466B (zh) 一种基于多模态信息的光场深度估计方法
WO2023212997A1 (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN111784762B (zh) X光造影图像血管中心线提取方法及装置
CN114936605A (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN117058160B (zh) 基于自适应特征融合网络的三维医学图像分割方法及系统
CN112381716A (zh) 一种基于生成式对抗网络的图像增强方法
CN114638842B (zh) 一种基于mlp的医学图像分割方法
CN116934592A (zh) 一种基于深度学习的图像拼接方法、系统、设备及介质
CN113034388B (zh) 一种古代绘画虚拟修复方法及修复模型的构建方法
CN113240584B (zh) 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN117173412A (zh) 一种基于CNN和Transformer融合网络的医学图像分割方法
CN116681621A (zh) 一种基于特征融合及复用的人脸图像修复方法
CN116681978A (zh) 一种基于注意力机制和多尺度特征融合的显著性目标检测方法
CN116229104A (zh) 一种基于边缘特征引导的显著性目标检测方法
CN111080533A (zh) 一种基于自监督残差感知网络的数码变焦方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200623

WD01 Invention patent application deemed withdrawn after publication