CN113392901A - 一种基于深度学习模型神经通路激活特征的对抗样本检测方法 - Google Patents

一种基于深度学习模型神经通路激活特征的对抗样本检测方法 Download PDF

Info

Publication number
CN113392901A
CN113392901A CN202110652918.4A CN202110652918A CN113392901A CN 113392901 A CN113392901 A CN 113392901A CN 202110652918 A CN202110652918 A CN 202110652918A CN 113392901 A CN113392901 A CN 113392901A
Authority
CN
China
Prior art keywords
model
sample
neurons
samples
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110652918.4A
Other languages
English (en)
Inventor
陈晋音
吴长安
金海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110652918.4A priority Critical patent/CN113392901A/zh
Publication of CN113392901A publication Critical patent/CN113392901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习模型神经通路激活特征的对抗样本检测方法，包括：(1)获取图像数据集；(2)构建基于深度学习网络的检测模型并进行训练；(3)将Top‑k(x,i)表示给定的一个输入样本在第i层中最大的k个神经元，并将每一层激活值最大的k个神经元的集合定义Top‑k神经通路；(4)随机选择图像数据集各个类别的测试集中k张样本，输入训练好的检测模型中，将每一层的Top‑k的神经元依次连接作为该样本在模型中的神经通路；(5)统计大量良性样本的神经通路，作为对抗样本神经通路的对比通路；(6)输入待测样本，若产生的神经通路不满足良性样本通路范围，则判定为攻击样本。利用本发明，达到对抗样本检测和剔除的目的，检测率高。

Description

一种基于深度学习模型神经通路激活特征的对抗样本检测 方法
技术领域
本发明属于人工智能安全领域，尤其是涉及一种基于深度学习模型神经通路激活特征的对抗样本检测方法。
背景技术
深度神经网络(DNN)是一种机器学习技术，是人工智能技术快速发展的关键，凭借其强大的特征提取能力，深度神经网络得到广泛的应用。近年来，DNN在包括图像处理，语音识别、自然语言处理、药物发现以及生物基因科学等领域的各种生成性和区分性学习任务中取得了巨大成功。
在许多安全关键的场景中，我们已经看到了DNN的广泛应用。但是，大量研究表明，最新的深度学习系统存在各种漏洞，当应用于实际应用时，这些漏洞可能导致严重的后果。考虑到可访问的高质量测试数据的局限性，测试数据的良好准确性性能无法为深度学习系统的安全性和通用性提供支持。与具有清晰和可控逻辑的传统软件系统不同，深度学习系统缺乏可解释性，从而阻碍其实际部署。
最近的研究表明，DNN容易被对抗样本所迷惑，对深度学习系统造成巨大的安全威胁。由于人类的感知系统与神经网络之间存在明显的差异。因此通过添加精心设计的微小但微不足道的扰动可以轻松地愚弄神经网络，这样的扰动是人眼无法察觉的，因此不会对人的正确分类产生任何疑问。对抗样本还具有迁移性性，例如，由模型A生成的对抗样本可以对其他模型保持有效的攻击。这使得攻击者可以在不了解模型细节的情况下成功攻击模型，从而降低了实施攻击的难度。
目前针对对抗样本的攻击，已经提出了许多防御的策略，其中通过对抗训练来增强训练数据的方法，以提高神经网络对对抗样本的鲁棒性是目前效果最显著的方法。然而，无论模型多么健壮，总会有新的攻击能够成功地欺骗它。当应用训练有素的模型时，重新训练它以应对新攻击的代价是巨大的。因此，必须有方便灵活的方法来对抗对抗样本。
对于对抗样本的检测，目前已有通过对神经元激活值的大小以及固定神经元激活阈值下的神经元覆盖率进行检测，通过定量的分析，达到对对抗样本的检测和模深度学习模型保护的目的，但是没有对模型层之间的神经元激活传递联系进行的进一步研究。
发明内容
提高深度模型的安全性，防止对抗样本对深度模型进行干扰和威胁，本发明提供了一种基于深度学习模型神经通路激活特征的对抗样本检测方法，根据深度学习模型内部神经元的激活传递规律，达到对抗样本检测和剔除的目的。
一种基于深度学习模型神经通路激活特征的对抗样本检测方法，包括以下步骤：
(1)获取图像数据集，按比例分成训练集和测试集，对数据的类别进行onehot编码，获取对应的类别标签序列；
(2)构建基于深度学习网络的检测模型，并利用训练集对检测模型进行训练，训练结束后保存模型参数；
(3)对于检测模型的网络结构，以输入的某个神经元为起始节点，每层中间运算层的某个神经元为中间节点，最后输出的某个神经元为末节点，节点间串联构成一条有向无环图；将Top-k(x,i)表示给定的一个输入样本在第i层中最大的k个神经元，并将每一层激活值最大的k个神经元的集合定义Top-k神经通路；
(4)随机选择图像数据集各个类别的测试集中k张样本，输入训练好的检测模型中，设定神经元激活阈值Thd，输出检测模型中每一层的神经元输出值，并获取每层中输出值最大的神经元；
将每一层的Top-k的神经元依次连接作为该样本在模型中的神经通路；
(5)统计大量良性样本的神经通路，得到良性样本通路范围，作为对抗样本的神经通路的对比通路；
(6)输入待测样本，若产生的神经通路不满足良性样本通路范围，则判定为攻击样本。
进一步地，步骤(2)中，针对不同的图像数据集，构建不同网络结构的检测模型，所述检测模型的网络结构包括但不限于Lenet模型、VGG16模型或ResNet-34模型。
进一步地，所述检测模型采用随机梯度下降训练方法，训练采用adam优化器，学习率为0.2；训练中使用交叉熵作为损失函数：
Figure BDA0003112453460000031
其中，yi是类别i的真实标签，pi是softmax函数计算出来的类别i的概率值；M是类别数，N是样本总数；其状态Softmax的计算公式:
Figure BDA0003112453460000032
其中，分子是要计算的类别i的预测输出的指数，分母是所有类别预测输出的指数和，zi表示网络的节点预测输出值。。
进一步地，步骤(3)中，Top-k的神经元定义如下：
对于给定的输入Xinput和同一层上的神经元n1和n2，如果
Figure BDA0003112453460000033
则n1比给定的n2更活跃，其中，
Figure BDA0003112453460000034
表示神经元的激活值计算功能函数。
Top-k神经通路定义如下：
NUPathactivate(T,N)＝Ux∈T,n∈N(U1＜i＜l maxk(fi(x,n)))
N＝{n1,n2,...nn}为检测模型的一组神经元，T＝{x1,x2,...xn}为一组测试集的输入，fi(x,n)表示在给定输入x∈T，n∈N时，第i层所得到的神经元输出值，maxk(·)表示该层激活值最大的k个神经元，U表示集合，神经通路是每一层激活最大值的集合。
进一步地，步骤(4)中，神经元激活值输出大于等于阈值Thd时输出，否则不输出。
与现有技术相比，本发明具有以下有益效果：
本发明针对对抗样本对深度学习模型的安全威胁，通过定义神经通路，在测试阶段对良性样本的神经通路激活特征进行提取，根据模型内部神经元与神经元、层与层之间存在的规律性联系，对对抗样本进行检测和甄别，达到滤除对抗样本，保护深度学习模型的目的。经过测试，具有较高的对抗样本检测率，较低的误检率和漏检率。
附图说明
图1为本发明方法中的神经通路示意图；
图2为本发明方法中的神经通路获取示意图；
图3为本发明的检测流程示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
参照图1、图2和图3，本发明提出了一种基于深度学习模型神经通路激活特征的对抗样本检测方法，步骤如下：
1)数据处理
本发明中，使用图像数据集进行性能验证，包括小数据集MNIST数据集和CIFAR-10数据集，大数据集选用ImageNet数据集。数据集的具体介绍：MNIST数据集的训练集共十类，每类6000张样本，训练集十类，每类1000张样本，每张样本的像素为28×28，每张样本都是单通道；CIFAR-10数据集的训练集共十类，每类5000张样本，训练集十类，每类1000张样本，每张样本的像素为32×32，每张样本都是三通道；ImageNet数据集共1000类，每类包含1000张样本，每张样本的像素为224×224，每张样本都是三通道，从每类中随机抽取30％的图片作为测试集，其余图片作为训练集。对数据的类别进行onehot编码，获取对应的类别标签序列，便于训练和测试。
2)模型训练
针对不同的数据集使用不同的模型结构进行训练，其中MNIST数据集使用Lenet模型，CIFAR10数据集使用VGG16模型，ImageNet数据集使用预训练的ResNet-34模型，训练设置统一的超参数：采用随机梯度下降(SGD)、adam优化器、学习率为0.2、epoch数为numepoch、批次大小为numbatch。
训练中使用交叉熵作为损失函数：
Figure BDA0003112453460000051
其中，yi是类别i的真实标签，pi是softmax函数计算出来的类别i的概率值；M是类别数，N是样本总数。其状态Softmax的计算公式:
Figure BDA0003112453460000052
其中，分子是要计算的类别i的预测输出的指数，分母是所有类别预测输出的指数和，训练结束后保存模型参数。
3)获取神经通路
3.1)定义神经通路
将神经网络的前向传播过程表示为f:RD→RC，其中D表示输入的维度，C表示输出的维度。对于一个L层的网络结构，以输入的某个神经元为起始节点，每层中间运算层的某个神经元为中间节点，最后输出的某个神经元为末节点，节点间串联构成一条有向无环图(参见图1所示)，这就是主要研究的第L-1级神经通路，定义为集合PL-1＝{pL-1(1,·,...,·)}。对集合中所有神经通路的计算构成了神经网络的前向传播过程，并且决定了最后的输出结果。
3.2)定义Top-k神经通路
对于同一层神经元，其激活值的输出越大，则表明该神经元越活越。对与深度神经网络可解释性的一些研究表明，活跃的神经元能够在深度神经网络内传递有用的学习模式，对深度学习模型的最终决策起到主导作用。
Top-k的神经元定义如下：
对于给定的输入Xinput和同一层上的神经元n1和n2，如果
Figure BDA0003112453460000061
则n1比给定的n2更活跃，其中
Figure BDA0003112453460000062
表示神经元的激活值计算功能函数。
将Top-k(x,i)表示给定的一个输入样本在第i层中最大的k个神经元。
Top-k神经通路定义如下：
NUPathactivate(T,N)＝Ux∈T,n∈N(U1＜i＜lmaxk(fi(x,n)))
N＝{n1,n2,...nn}为深度学习模型的一组神经元，T＝{x1,x2,...xn}为一组测试集的输入，fi(x,n)表示在给定输入x∈T，n∈N时，第i层所得到的神经元输出值，maxk(·)表示该层激活值最大的k个神经元，U表示集合，神经通路是每一层激活最大值的集合。
4)生成对抗样本
对不同的数据集和对应的模型，使用多种方法进行攻击，生成对应的对抗样本Sadv，具体的攻击方法包括：
FGSM：使用损失函数J(Θ,x,y)对输入特征向量进行对抗攻击，对抗样本的生成表示为：
Figure BDA0003112453460000071
其中ε是一个调节系数，sign()是一个符号函数，θ是模型参数，x表示模型输入的样本，y表示样本x的输出类标，当
Figure BDA0003112453460000072
的值大于0时取1，等于0时取0，小于0时取-1，
Figure BDA0003112453460000073
表示求x的梯度，J(.)表示训练模型的损失函数。
PGD：PGD是一种多次迭代攻击，每次迭代都会将扰动限制到规定范围内。PGD的攻击表达式如下：
Figure BDA0003112453460000074
其中α是一个调节系数，xt是神经网络模型的初始输入值，xt+1是添加扰动后的结果。sign()是一个符号函数，当
Figure BDA0003112453460000075
的值大于0时取1，等于0时取0，小于0时取-1，
Figure BDA0003112453460000076
表示求x的梯度，J(θ,x,y)表示训练模型的损失函数。
CW：CW攻击是基于优化的对抗攻击技术，通过近似解决以下优化问题完成攻击：
Figure BDA0003112453460000077
该算法设计了一个损失函数，它在对抗样本中有较小的值，但在原始样本中有较大的值，因此通过最小化该损失函数即可搜寻到对抗样本。其中，L是一个损失函数，用于测量预测值与真实值之间的距离，常数λ用于平衡两个损失比例。
针对不同的数据集合模型，将生成的对抗样本依次保存。
5)对抗样本的检测及评价指标
5.1)对抗样本检测
针对不同的数据集，分别选取数据Xi＝[x1,x2,…,xm](包含N个类别数，m个样本数)，类标分别为0,1,2,...,N-1，不同的数据集分别对应各自的模型；
随机选择数据集X1各个类标的测试集中k张样本输入训练好的模型中，设定神经元激活阈值Thd，输出模型中每一层的神经元输出值(神经元激活值输出大于等于阈值Thd时输出，否则不输出)，并获取每层中输出值最大的神经元。将每一层的Top-k的神经元依次连接作为该样本在模型中的神经通路。
统计大量良性样本的神经通路，作为对抗样本的神经通路的对比通路，如图2所示。
当输入未知样本产生的神经通路与不满足统计的良性通路所表征的激活通路范围，则判定为攻击样本。
5.2)评价指标
对抗样本检测率：
Figure BDA0003112453460000081
这个公式衡量的是对于对抗样本的检测水平，numadv表示成功检测出的对抗样本的数量，numall表示所有的输入的待检测样本的数量。对抗样本检测率是最直观的衡量检测方法效果的指标，对抗样本检测率越高，说明检测算法越好。
误检率：
Figure BDA0003112453460000091
numerr表示的是将对抗样本检测为良性样本或者将良性样本检测为对抗样本的总数。
对抗样本漏检率：
Figure BDA0003112453460000092
numomiss表示将对抗样本检测为良性样本的数量。
本发明的主要内容是针对对抗样本对深度学习模型的安全威胁，提出了一种基于神经通路的对抗样本检测方法，通过定义神经通路，在测试阶段对良性样本的神经通路激活特征进行提取，根据模型内部神经元与神经元、层与层之间存在的规律性联系，对对抗样本进行检测和甄别，达到滤除对抗样本，保护深度学习模型的目的。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习模型神经通路激活特征的对抗样本检测方法，其特征在于，包括以下步骤：
(1)获取图像数据集，按比例分成训练集和测试集，对数据的类别进行onehot编码，获取对应的类别标签序列；
(2)构建基于深度学习网络的检测模型，并利用训练集对检测模型进行训练，训练结束后保存模型参数；
(3)对于检测模型的网络结构，以输入的某个神经元为起始节点，每层中间运算层的某个神经元为中间节点，最后输出的某个神经元为末节点，节点间串联构成一条有向无环图；将Top-k(x,i)表示给定的一个输入样本在第i层中最大的k个神经元，并将每一层激活值最大的k个神经元的集合定义Top-k神经通路；
(4)随机选择图像数据集各个类别的测试集中k张样本，输入训练好的检测模型中，设定神经元激活阈值Thd，输出检测模型中每一层的神经元输出值，并获取每层中输出值最大的神经元；
将每一层的Top-k的神经元依次连接作为该样本在模型中的神经通路；
(5)统计大量良性样本的神经通路，得到良性样本通路范围，作为对抗样本的神经通路的对比通路；
(6)输入待测样本，若产生的神经通路不满足良性样本通路范围，则判定为攻击样本。
2.根据权利要求1所述的基于深度学习模型神经通路激活特征的对抗样本检测方法，其特征在于，步骤(2)中，针对不同的图像数据集，构建不同网络结构的检测模型，所述检测模型的网络结构包括但不限于Lenet模型、VGG16模型或ResNet-34模型。
3.根据权利要求1或2所述的基于深度学习模型神经通路激活特征的对抗样本检测方法，其特征在于，所述检测模型采用随机梯度下降训练方法，训练采用adam优化器，学习率为0.2；训练中使用交叉熵作为损失函数：
Figure FDA0003112453450000021
其中，yi是类别i的真实标签，pi是softmax函数计算出来的类别i的概率值；M是类别数，N是样本总数；其状态Softmax的计算公式:
Figure FDA0003112453450000022
其中，分子是要计算的类别i的预测输出的指数，分母是所有类别预测输出的指数和，zi表示网络的节点预测输出值。
4.根据权利要求1所述的基于深度学习模型神经通路激活特征的对抗样本检测方法，其特征在于，步骤(3)中，Top-k的神经元定义如下：
对于给定的输入Xinput和同一层上的神经元n1和n2，如果
Figure FDA0003112453450000023
则n1比给定的n2更活跃，其中，
Figure FDA0003112453450000024
表示神经元的激活值计算功能函数。
5.根据权利要求4所述的基于深度学习模型神经通路激活特征的对抗样本检测方法，其特征在于，Top-k神经通路定义如下：
NUPathactivate(T,N)＝Ux∈T,n∈N(U1＜i＜lmaxk(fi(x,n)))
N＝{n1,n2,...nn}为检测模型的一组神经元，T＝{x1,x2,...xn}为一组测试集的输入，fi(x,n)表示在给定输入x∈T，n∈N时，第i层所得到的神经元输出值，maxk(·)表示该层激活值最大的k个神经元，U表示集合，神经通路是每一层激活最大值的集合。
6.根据权利要求1所述的基于深度学习模型神经通路激活特征的对抗样本检测方法，其特征在于，步骤(4)中，神经元激活值输出大于等于阈值Thd时输出，否则不输出。
CN202110652918.4A 2021-06-11 2021-06-11 一种基于深度学习模型神经通路激活特征的对抗样本检测方法 Pending CN113392901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110652918.4A CN113392901A (zh) 2021-06-11 2021-06-11 一种基于深度学习模型神经通路激活特征的对抗样本检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110652918.4A CN113392901A (zh) 2021-06-11 2021-06-11 一种基于深度学习模型神经通路激活特征的对抗样本检测方法

Publications (1)

Publication Number Publication Date
CN113392901A true CN113392901A (zh) 2021-09-14

Family

ID=77620562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110652918.4A Pending CN113392901A (zh) 2021-06-11 2021-06-11 一种基于深度学习模型神经通路激活特征的对抗样本检测方法

Country Status (1)

Country Link
CN (1) CN113392901A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254274A (zh) * 2021-11-16 2022-03-29 浙江大学 一种基于神经元输出的白盒深度学习模型版权保护方法
CN114254274B (zh) * 2021-11-16 2024-05-31 浙江大学 一种基于神经元输出的白盒深度学习模型版权保护方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254274A (zh) * 2021-11-16 2022-03-29 浙江大学 一种基于神经元输出的白盒深度学习模型版权保护方法
CN114254274B (zh) * 2021-11-16 2024-05-31 浙江大学 一种基于神经元输出的白盒深度学习模型版权保护方法

Similar Documents

Publication Publication Date Title
CN108712404B (zh) 一种基于机器学习的物联网入侵检测方法
CN105224872B (zh) 一种基于神经网络聚类的用户异常行为检测方法
CN111753881B (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN112165485A (zh) 一种大规模网络安全态势智能预测方法
CN112019651B (zh) 利用深度残差网络和字符级滑动窗口的dga域名检测方法
CN111901340B (zh) 一种面向能源互联网的入侵检测系统及其方法
CN111404911B (zh) 一种网络攻击检测方法、装置及电子设备
CN113297572B (zh) 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN112073551B (zh) 基于字符级滑动窗口和深度残差网络的dga域名检测系统
CN115580445A (zh) 一种未知攻击入侵检测方法、装置和计算机可读存储介质
CN114863226A (zh) 一种网络物理系统入侵检测方法
CN113901448A (zh) 基于卷积神经网络和轻量级梯度提升机的入侵检测方法
CN112926661A (zh) 一种增强图像分类鲁棒性的方法
CN113627543A (zh) 一种对抗攻击检测方法
CN116248392A (zh) 一种基于多头注意力机制的网络恶意流量检测系统及方法
CN113361611B (zh) 一种众包任务下的鲁棒分类器训练方法
CN115081618A (zh) 一种提升深度神经网络模型鲁棒性的方法及装置
CN105721467A (zh) 社交网络Sybil群体检测方法
CN117152486A (zh) 一种基于可解释性的图像对抗样本检测方法
Xue Research on network security intrusion detection with an extreme learning machine algorithm
He Identification and Processing of Network Abnormal Events Based on Network Intrusion Detection Algorithm.
CN113947579B (zh) 一种针对图像目标探测神经网络的对抗样本检测方法
CN113392901A (zh) 一种基于深度学习模型神经通路激活特征的对抗样本检测方法
CN116318845A (zh) 一种正负样本比例不平衡条件下的dga域名检测方法
CN113378985A (zh) 一种基于逐层相关性传播的对抗样本检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210914