CN112598115A - 一种基于非局部邻关系学习的深度神经网络层次分析方法 - Google Patents
一种基于非局部邻关系学习的深度神经网络层次分析方法 Download PDFInfo
- Publication number
- CN112598115A CN112598115A CN202011515028.0A CN202011515028A CN112598115A CN 112598115 A CN112598115 A CN 112598115A CN 202011515028 A CN202011515028 A CN 202011515028A CN 112598115 A CN112598115 A CN 112598115A
- Authority
- CN
- China
- Prior art keywords
- network
- sample
- analyzed
- layer
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于非局部邻关系学习的深度神经网络层次分析方法,包括以下步骤:构建待分析的深度神经网络;输入数据集样本,获取深度网络相邻两层的特征图样本对;利用空间金字塔池化网络对相邻层特征图样本对进行变换组合;将变换后的相邻层特征图样本对输入孪生变分自编码器,训练非局部邻关系学习模型;利用训练好的非局部邻关系学习模型获得相邻层特征图样本对的隐空间向量对;利用同一样本的所有隐空间向量对计算深度网络在该样本识别时的各层级贡献度,进而计算所有样本的平均层级贡献度。本发明提出的非局部邻关系学习方法,可以在不影响深度网络本身决策的前提下进行层次化分析,并且可以应用于不同的深度神经网络模型。
Description
技术领域
本发明属于深度神经网络可解释性研究领域,具体涉及一种基于非局部邻关系学习的深度神经网络层次分析方法。
背景技术
由于训练数据规模的增大、硬件计算能力的提升以及相关算法的不断创新等原因,以深度学习为主的人工智能技术取得了突破性的进展。深度学习已经成功运用在自然语言、多媒体、计算机视觉等领域。
然而,深度学习网络具有黑盒特性,其透明性、可解释性、可信性不足。而在医疗诊断、智能决策、无人驾驶等安全攸关领域,利用深度学习进行决策时,往往需要知晓算法所给出结果的依据。因此,透明化深度学习的“黑盒子”,使其具有可解释性,具有重要意义。
目前研究人员在关于深度学习透明性、可理解性以及可解释性问题上已经取得了一些进展,不同的学者解决问题的角度不同,对可解释性赋予的含义也不同,所提出的解释方法也各有侧重。但是该领域依然有许多科学问题尚待解决,其中之一便是深度神经网络层次规模庞大导致网络难以分析的问题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足,提供一种基于非局部邻关系学习的深度神经网络层次分析方法,解决深度神经网络层次规模庞大导致网络难以分析的问题,增强深度神经网络的可解释性,帮助理解深度神经网络模型,提高深度学习算法的可信性。
为解决上述技术问题,本发明采用的技术方案是:一种基于非局部邻关系学习的深度神经网络层次分析方法,其特征在于,包括以下步骤:
步骤一、构建待分析的深度神经网络:
步骤101、构建待分析的某一深度神经网络的模型架构;
步骤102、利用某一数据集对构建的深度神经网络模型进行训练,获得训练好的网络权重;
步骤二、输入数据集样本,获取深度网络相邻两层的特征图样本对:
步骤201、将数据集样本依次输入到待分析的深度神经网络,获得样本在待分析网络各中间隐藏层所对应的特征图;
步骤202、同一输入样本在待分析网络相邻两层输出的特征图组成一个相邻层特征图样本对,若输入样本为n个,待分析网络共选定l个中间层,则最终获取共n×(l-1)个相邻层特征图样本对;
步骤三、利用空间金字塔池化网络对相邻层特征图样本对进行变换组合:
步骤301、将相邻层特征图样本对(Xi-1,Xi)依次输入k个不同尺度的自适应池化层进行特征变换,得到k个不同尺度池化后输出的样本对(Xi-1,Xi)1,(Xi-1,Xi)2,…,(Xi-1,Xi)k,同一输出样本对中的两个样本的数据尺寸相同。这k个输出样本对的样本,在数据的通道维度上尺寸相同,尺寸记为c,在数据的高、宽两个维度上尺寸不同,尺寸分别记为h1,h2,…,hk、w1,w2,…,wk;
步骤302、将(Xi-1,Xi)1,(Xi-1,Xi)2,…,(Xi-1,Xi)k数据在各自的高、宽两个维度上展平为一维,即将c×h1×w1,c×h2×w2,…,c×hk×wk尺寸的三维数据展平为c×(h1w1),c×(h2w2),…,c×(hkwk)尺寸的二维数据;
步骤四、将变换后的相邻层特征图样本对输入孪生变分自编码器,训练非局部邻关系学习模型:
步骤401、将样本对(Xi-1′,Xi′)输入孪生变分自编码器网络,计算孪生变分自编码器网络的总损失函数LT;
步骤402、利用孪生变分自编码器网络的总损失函数LT进行反向传递,调整优化孪生变分自编码器网络的参数,从而对由空间金字塔池化网络和孪生变分自编码器网络共同组成的非局部邻关系学习模型进行训练;
步骤五、利用训练好的非局部邻关系学习模型获得相邻层特征图样本对的隐空间向量对:
步骤501、将相邻层特征图样本对(Xi-1,Xi)输入已训练的非局部邻关系学习模型,通过其中的空间金字塔池化网络得到特征变化并展平后的一维向量对(Xi-1′,Xi′);
步骤502、将一维向量对(Xi-1′,Xi′)输入已训练的孪生变分自编码网络,得到编码后对应的隐空间向量对(Vi1,Vi2);
步骤六、利用同一样本的所有隐空间向量对计算深度网络在该样本识别时的各层级贡献度,进而计算所有样本的平均层级贡献度:
步骤601、利用隐空间向量对(Vi1,Vi2)来度量对应的相邻层特征图样本对(Xi-1,Xi)之间的信息增量Ri:
其中,n为向量Vi1、Vi2的长度,vi1j∈Vi1,j=1,2,…,n,vi2j∈Vi2,j=1,2,…,n;
步骤602、根据同一输入样本在待分析网络中所有相邻层特征图样本对之间的信息增量,计算得到待分析网络对该输入样本各层级贡献度,第i层网络的层级贡献度Ci为:
其中,l为待分析网络选定的中间层级数,Ri为第i层网络的特征图相比于前一层网络特征图的信息增量;
步骤603、将待分析网络第i层在数据集所有样本上的层级贡献度取平均值,便得到第i层的平均层级贡献度,进而可以获得待分析深度网络各层的平均层级贡献度。
上述的一种基于非局部邻关系学习的深度神经网络层次分析方法,其特征在于:步骤401中孪生变分自编码器网络的总损失函数LT的计算公式为LT=LTVAE+γLTCA+κLTDA,其中,为变分自编码器的基本损失,其中,β表示KL散度项的权重系数;LTCA为孪生变分自编码器的跨层对齐损失,LTCA=|Xi-1′-D2(E1(Xi-1′))|+|Xi′-D1(E2(Xi′))|,E和D分别表示变分自编码器中的编码器和解码器;LTDA为两个变分自编码器潜在多元高斯分布的Wasserstein距离,
本发明与现有技术相比具有以下优点:
第一,本发明提出了基于非局部邻关系学习的深度神经网络层次分析方法,通过孪生变分自编码器来学习度量网络识别输入样本时的各层级贡献度,解决了深度神经网络层次规模庞大导致网络难以分析的问题;
第二,本发明通过深度神经网络各中间层特征图的邻关系学习,在实现网络层次分析的同时,不会影响网络本身的决策结果;
第三,本发明采用了空间金字塔池化网络对深度神经网络各中间层的特征图进行特征聚合与尺寸统一,使得该发明不受限于深度神经网络的模型结构与尺寸,适用范围广。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图。
图2为本发明非局部邻关系学习模型的结构示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、组件和/或它们的组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。
如图1所示,以公开的大规模场景分类数据ImageNet2012和ResNet18网络为例,本发明公开一种基于非局部邻关系学习的深度神经网络层次分析方法,包含具体步骤如下:
步骤一、构建待分析的深度神经网络:
步骤101、构建一个ResNet18网络模型,ResNet网络架构模型都是由输入层、残差模块、全连接层共同组成,ResNet18网络共包含8个残差模块;
步骤102、用构建的ResNet18网络模型加载对于ImageNet2012数据集的预训练权重;
步骤二、输入数据集样本,获取深度网络相邻两层的特征图样本对:
步骤201、将ImageNet2012验证集的样本依次输入ResNet18网络,获得样本在网络各中间隐藏层所对应的特征图。在ResNet18的输入层以及8个残差模块输出处采集特征图,分别记为X1、X2、X3、X4、X5、X6、X7、X8、X9;
步骤202、将ImageNet2012验证集下同一输入样本在ResNet18网络相邻两层输出的特征图组成一个相邻层特征图样本对,ImageNet2012验证集共50000张样本,最终获取共50000×(9-1)个相邻层特征图样本对;
步骤三、利用空间金字塔池化网络对相邻层特征图样本对进行变换组合:
步骤301、将相邻层特征图样本对(Xi-1,Xi)输入相同的空间金字塔池化网络进行特征变换。图2中空间金字塔池化网络对输入的特征映射按照5种不同尺度进行自适应池化,用(Xi-1,Xi)1,(Xi-1,Xi)2,…,(Xi-1,Xi)5表示5种池化后的输出样本对,同一输出样本对中的两个样本的数据尺寸相同,这5个输出样本对的样本尺寸分别为64×1×1、64×2×2、64×3×3、64×4×4、64×7×7;
步骤302、将(Xi-1,Xi)1,(Xi-1,Xi)2,…,(Xi-1,Xi)5数据在各自的高、宽两个维度上展平为一维,即将64×1×1、64×2×2、64×3×3、64×4×4、64×7×7尺寸的三维数据展平为64×12、64×22、64×32、64×42、64×72尺寸的二维数据;
步骤四、将变换后的相邻层特征图样本对输入孪生变分自编码器,训练非局部邻关系学习模型:
步骤401、将样本对(Xi-1′,Xi′)输入孪生变分自编码器网络,计算孪生变分自编码器网络的总损失函数LT,LT=LTVAE+γLTCA+κLTDA,其中,LTVAE为变分自编码器的基本损失,其中,β表示KL散度项的权重系数;LTCA为孪生变分自编码器的跨层对齐损失,LTCA=|Xi-1′-D2(E1(Xi-1′))|+|Xi′-D1(E2(Xi′))|,E和D分别表示变分自编码器中的编码器和解码器;LTDA为两个变分自编码器潜在多元高斯分布的Wasserstein距离,
步骤402、利用孪生变分自编码器网络的总损失函数LT进行反向传递,利用Adam优化算法调整孪生变分自编码器网络的参数,从而对由空间金字塔池化网络和孪生变分自编码器网络共同组成的非局部邻关系学习模型进行训练;
步骤五、利用训练好的非局部邻关系学习模型获得相邻层特征图样本对的隐空间向量对:
步骤501、将ImageNet2012验证集的所有相邻层特征图样本对(Xi-1,Xi)依次输入已训练的非局部邻关系学习模型,通过其中的空间金字塔池化网络得到特征变化并展平后的一维向量对(Xi-1′,Xi′);
步骤502、将一维向量对(Xi-1′,Xi′)输入已训练的孪生变分自编码网络,得到编码后对应的隐空间向量对(Vi1,Vi2),该实施例中向量Vi1、Vi2的长度为64;
步骤六、利用同一样本的所有隐空间向量对计算深度网络在该样本识别时的各层级贡献度,进而计算所有样本的平均层级贡献度:
步骤601、利用隐空间向量对(Vi1,Vi2)来度量对应的相邻层特征图样本对(Xi-1,Xi)之间的信息增量Ri:
其中n为向量Vi1、Vi2的长度,vi1j∈Vi1,j=1,2,…,n,vi2j∈Vi2,j=1,2,…,n,该实施例中n=64;
步骤602、根据ImageNet2012验证集同一输入样本在ResNet18网络中所有相邻层特征图样本对之间的信息增量,计算得到ResNet18网络对该输入样本进行识别的各层级贡献度,第i层网络的层级贡献度Ci为:
其中l为待分析网络选定的中间层级数,ResNet18网络中l=9,Ri为第i层网络的特征图相比于前一层网络特征图的信息增量。
步骤603、将ResNet18网络的第i层对ImageNet2012验证集所有样本的层级贡献度取平均值,便得到ResNet18网络的第i层对ImageNet2012验证集整体平均的层级贡献度,进而可以获得ResNet18网络各层的平均层级贡献度。
以上所述,仅是本发明的实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (2)
1.一种基于非局部邻关系学习的深度神经网络层次分析方法,其特征在于,包括以下步骤:
步骤一、构建待分析的深度神经网络:
步骤101、构建待分析的某一深度神经网络的模型架构;
步骤102、利用某一数据集对构建的深度神经网络模型进行训练,获得训练好的网络权重;
步骤二、输入数据集样本,获取深度网络相邻两层的特征图样本对:
步骤201、将数据集样本依次输入到待分析的深度神经网络,获得样本在待分析网络各中间隐藏层所对应的特征图;
步骤202、同一输入样本在待分析网络相邻两层输出的特征图组成一个相邻层特征图样本对,若输入样本为n个,待分析网络共选定l个中间层,则最终获取共n×(l-1)个相邻层特征图样本对;
步骤三、利用空间金字塔池化网络对相邻层特征图样本对进行变换组合:
步骤301、将相邻层特征图样本对(Xi-1,Xi)依次输入k个不同尺度的自适应池化层进行特征变换,得到k个不同尺度池化后输出的样本对同一输出样本对中的两个样本的数据尺寸相同。这k个输出样本对的样本,在数据的通道维度上尺寸相同,尺寸记为c,在数据的高、宽两个维度上尺寸不同,尺寸分别记为h1,h2,…,hk、w1,w2,…,wk;
步骤302、将数据在各自的高、宽两个维度上展平为一维,即将c×h1×w1,c×h2×w2,…,c×hk×wk尺寸的三维数据展平为c×(h1w1),c×(h2w2),…,c×(hkwk)尺寸的二维数据;
步骤四、将变换后的相邻层特征图样本对输入孪生变分自编码器,训练非局部邻关系学习模型:
步骤401、将样本对(Xi-1′,Xi′)输入孪生变分自编码器,计算孪生变分自编码器的总损失函数LT;
步骤402、利用孪生变分自编码器的总损失函数LT进行反向传递,调整优化孪生变分自编码器的参数,从而对由空间金字塔池化网络和孪生变分自编码器共同组成的非局部邻关系学习模型进行训练;
步骤五、利用训练好的非局部邻关系学习模型获得相邻层特征图样本对的隐空间向量对:
步骤501、将相邻层特征图样本对(Xi-1,Xi)输入已训练的非局部邻关系学习模型,通过其中的空间金字塔池化网络得到特征变化并展平后的一维向量对(Xi-1′,Xi′);
步骤502、将一维向量对(Xi-1′,Xi′)输入已训练的孪生变分自编码,得到编码后对应的隐空间向量对(Vi1,Vi2);
步骤六、利用同一样本的所有隐空间向量对计算深度网络在该样本识别时的各层级贡献度,进而计算所有样本的平均层级贡献度:
步骤601、利用隐空间向量对(Vi1,Vi2)来度量对应的相邻层特征图样本对(Xi-1,Xi)之间的信息增量Ri:
其中,n为向量Vi1、Vi2的长度,vi1j∈Vi1,j=1,2,…,n,vi2j∈Vi2,j=1,2,…,n;
步骤602、根据同一输入样本在待分析网络中所有相邻层特征图样本对之间的信息增量,计算得到待分析网络对该输入样本各层级贡献度,第i层网络的层级贡献度Ci为:
其中,l为待分析网络选定的中间层级数,Ri为第i层网络的特征图相比于前一层网络特征图的信息增量;
步骤603、将待分析网络第i层在数据集所有样本上的层级贡献度取平均值,便得到第i层的平均层级贡献度,进而可以获得待分析深度网络各层的平均层级贡献度。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011515028.0A CN112598115A (zh) | 2020-12-21 | 2020-12-21 | 一种基于非局部邻关系学习的深度神经网络层次分析方法 |
CN202111475292.0A CN113935473A (zh) | 2020-12-21 | 2021-12-06 | 深度学习神经网络的优化方法及应用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011515028.0A CN112598115A (zh) | 2020-12-21 | 2020-12-21 | 一种基于非局部邻关系学习的深度神经网络层次分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112598115A true CN112598115A (zh) | 2021-04-02 |
Family
ID=75199761
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011515028.0A Pending CN112598115A (zh) | 2020-12-21 | 2020-12-21 | 一种基于非局部邻关系学习的深度神经网络层次分析方法 |
CN202111475292.0A Pending CN113935473A (zh) | 2020-12-21 | 2021-12-06 | 深度学习神经网络的优化方法及应用方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111475292.0A Pending CN113935473A (zh) | 2020-12-21 | 2021-12-06 | 深度学习神经网络的优化方法及应用方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112598115A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115935279A (zh) * | 2023-03-14 | 2023-04-07 | 有米科技股份有限公司 | 一种层级分类模型的训练、层级分类的方法及装置 |
-
2020
- 2020-12-21 CN CN202011515028.0A patent/CN112598115A/zh active Pending
-
2021
- 2021-12-06 CN CN202111475292.0A patent/CN113935473A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115935279A (zh) * | 2023-03-14 | 2023-04-07 | 有米科技股份有限公司 | 一种层级分类模型的训练、层级分类的方法及装置 |
CN115935279B (zh) * | 2023-03-14 | 2023-07-21 | 有米科技股份有限公司 | 一种层级分类模型的训练、层级分类的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113935473A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111612066B (zh) | 基于深度融合的卷积神经网络的遥感图像分类方法 | |
CN111291212A (zh) | 基于图卷积神经网络的零样本草图图像检索方法和系统 | |
CN112926641B (zh) | 基于多模态数据的三阶段特征融合旋转机械故障诊断方法 | |
Furukawa | SOM of SOMs | |
CN112132149B (zh) | 一种遥感影像语义分割方法及装置 | |
CN110674323B (zh) | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 | |
CN110941734B (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
CN113780292A (zh) | 一种基于证据推理的语义分割网络模型不确定性量化方法 | |
CN112164067A (zh) | 一种基于多模态子空间聚类的医学图像分割方法及装置 | |
CN111667483A (zh) | 多模态图像的分割模型的训练方法、图像处理方法和装置 | |
CN112560948B (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
CN111832637B (zh) | 基于交替方向乘子法admm的分布式深度学习分类方法 | |
CN113627093A (zh) | 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法 | |
CN112926696A (zh) | 一种基于注意力图的可解释局部迁移互学习方法 | |
CN116485839A (zh) | 一种基于注意力自适应选择Transformer的视觉跟踪方法 | |
CN117036760A (zh) | 一种基于图对比学习的多视图聚类模型实现方法 | |
CN112598115A (zh) | 一种基于非局部邻关系学习的深度神经网络层次分析方法 | |
CN113870312A (zh) | 基于孪生网络的单目标跟踪方法 | |
Tao et al. | Chaotic time series prediction based on radial basis function network | |
CN116170746B (zh) | 基于深度注意力机制和几何信息的超宽带室内定位方法 | |
CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
CN116935126A (zh) | 一种基于经典—量子混合机器学习的医学图像分类方法 | |
CN116012903A (zh) | 一种人脸表情自动标注的方法及系统 | |
CN114689351A (zh) | 一种设备故障预测性诊断系统及方法 | |
CN113450313A (zh) | 一种基于区域对比学习的图像显著性可视化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210402 |
|
WD01 | Invention patent application deemed withdrawn after publication |