CN106339628A - 基于微体系结构级别的硬件反病毒装置 - Google Patents
基于微体系结构级别的硬件反病毒装置 Download PDFInfo
- Publication number
- CN106339628A CN106339628A CN201610682919.2A CN201610682919A CN106339628A CN 106339628 A CN106339628 A CN 106339628A CN 201610682919 A CN201610682919 A CN 201610682919A CN 106339628 A CN106339628 A CN 106339628A
- Authority
- CN
- China
- Prior art keywords
- hardware
- module
- machine learning
- level
- hard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及到信息安全、大数据、机器学习及微处理器设计领域,为实现从硬件的角度提升反病毒引擎的计算效率并进一步节省计算资源,从根本上大大减少了软件反病毒引擎带来的性能开销。由于引入了机器学习加大数据的概念,此硬件反病毒引擎还可能检测出未知的恶意软件,进一步提升了此硬件反病毒引擎方案的健壮性。本发明采用的技术方案是,基于微体系结构级别的硬件反病毒装置,是在处理器的流水线的最后一级设置的一个恶意软件检测单元MDU(Malware Detection Unit)模块,MDU模块包括三个子模块。本发明主要应用于微处理器设计场合。
Description
技术领域
本发明涉及到信息安全、大数据、机器学习及微处理器设计领域,特别涉及一种基于微体系结构级别的硬件反病毒引擎方案。
背景技术
传统的软件反病毒引擎只是使用简单的签名验证方法来识别恶意软件,这种方法是将待检测的软件通过哈希算法生成一个校验码与病毒库中校验码进行匹配,这就需要病毒库存储所有已经出现过的恶意软件和病毒的校验码,因此需要很大的存储空间开销,存储空间面临严峻的挑战。即使有足够的存储空间来存储这些病毒软件的校验码,病毒软件的制作者还是有其他方法来躲避静态签名验证的检查,恶意软件制作者们开始使用代码混淆技术,例如打包技术,加密技术和代码变形技术等等来躲避签名验证技术的检查。
病毒软件制作者和反病毒引擎开发者之间是一场持久的战争,为了应对病毒软件制作者的挑战,反病毒引擎开发者们又开发出一种基于行为的检测技术来替代静态的签名验证技术,该技术能有效的检测出逃避静态签名验证技术检测的病毒软件。基于行为的检测技术特点是关注恶意软件与操作系统的交互,例如软件运行过程中使用了哪些文件、系统调用、调用了哪些功能函数和内存地址变化等,因为不管怎么打包或者对代码进行加密,恶意软件为了实现攻击目的,它与操作系统的交互是不会改变的,利用这些恶意软件行为信息,可以构建一个分类器模型来区分正常软件和恶意软件,这些模型通常是使用机器学习的方法从大量的数据集中训练得来的。
尽管基于行为的动态检测技术相对于基于签名的静态检测技术表现出良好的优势,但是由于对效率需求的标准和处理器的要求让它带来了更多的性能开销代价。因为这种性能开销的代价,使得这种检测技术不能应用于终端机,只有恶意软件检测厂商使用这种技术来分析恶意软件,这些技术都是用软件来实现的,例如百度公司根据不同种类恶意软件的特点,建立了一种混合型的恶意软件检测模型应用在他们的产品上。
发明内容
为克服现有技术的不足,本发明旨在针对软件反病毒引擎计算资源开销大的问题而设计的一种新的基于微体系结构级别的硬件反病毒引擎方案。在不影响反病毒引擎准确率的前提下,从硬件的角度提升反病毒引擎的计算效率并进一步节省计算资源,从根本上大大减少了软件反病毒引擎带来的性能开销。由于引入了机器学习加大数据的概念,此硬件反病毒引擎还可能检测出未知的恶意软件,进一步提升了此硬件反病毒引擎方案的健壮性。本发明采用的技术方案是,基于微体系结构级别的硬件反病毒装置,是在处理器的流水线的最后一级设置的一个恶意软件检测单元MDU(Malware Detection Unit)模块,MDU模块包括三个子模块:微体系结构特征收集模块,机器学习算法硬件实现的预测模块和硬件实现的检测模块;
微体系结构特征收集模块是一组寄存器,通过配置寄存器收集微体系结构级别的性能事件;所述特征收集模块的配置是固化在硬件中的,不能被系同级别的软件读写、控制和配置;
机器学习算法硬件实现的预测模块是机器学习算法实现的硬件分类器,用于根据微体系结构特征收集模块收集的特征数据做出判断,将输入的特征数据分类,给出预测结果;
硬件实现的检测模块,用于使用统计学方法对所述预测结果进行分析,给出决策。
机器学习算法是逻辑回归,决策树,支持向量机和人工神经网络中的一种。
工作的流程如下:微体系结构特征收集模块收集特征数据,每运行10K条指令后将数据发送给机器学习算法硬件实现的预测模块,机器学习算法硬件实现的预测模块对发送来的特征向量数据进行一次分类预测运算,预测的结果发送给硬件实现的检测模块,硬件实现的检测模块结合最近几次的预测结果给出决策,决策的结果返回给处理器流水线。
本发明的特点及有益效果是:
本发明提出了一种硬件反病毒引擎方案设计,不同于软件反病毒引擎,我们的设计方案是基于微体系结构级别的硬件模块,可以有效的解决软件反病毒引擎计算资源开销大的问题。我们的硬件反病毒引擎可以应用在不同的领域,手机的SOC设计中,例如ARM处理器可以包含我们这个IP模块,提供低功耗设计的方案,保证手机病毒的检测和防御;普通PC机上例如Intel处理器加入此硬件模块,在底层硬件上先对运行的程序有一个初步的判断,然后将决策的结果反馈上层软件反病毒引擎,硬件层引入反病毒的概念,加快了病毒的检测,及早地在硬件底层终止恶意软件的运行,另外也减轻了上层软件反病毒引擎的计算负担;云计算系统中也可以引入硬件反病毒引擎方案,当硬件反病毒引擎检测到某一用户虚拟机受到恶意软件攻击,系统应将此用户的虚拟机与其他的虚拟机隔离,防止该虚拟机对其他用户造成影响。硬件反病毒引擎方案是一种先进的设计,将会给计算机系统带来更高的可靠性和更好的安全保证。
附图说明:
图1恶意软件检测单元(Malware Detection Unit)总体架构图。
图2 Decision Tree(决策树)模型实现的Prediction Unit(预测单元)。
图3 Logistic Regression(逻辑回归)模型实现的Prediction Unit(预测单元)。
图4 EWMA(Exponentially Weighted Moving-Average,指数加权平均值)模型实现的Decision Unit(决策单元)。
图中,
Pipeline-流水线
MDU(malware detection unit)-恶意软件检测单元
Feature Collection-特征收集
Prediction unit-预测单元
Decision unit-决策单元
Decision Tree-决策树
Malware-恶意软件
Normal-正常的软件
Logistic Regression-逻辑回归
Threshold-阈值
EWMA(Exponentially Weighted Moving-Average)-指数加权平均值。
具体实施方式
本发明设计了一种基于微体系结构级别的硬件反病毒引擎方案。设计借鉴了微体系结构特征参数采集寄存器(hardware performance counters,硬件性能计数器)实现,设计包括三个硬件部分,1)微体系结构特征收集的硬件模块,2)机器学习算法硬件实现的预测模块,3)硬件实现的检测模块。由于采用的是微体系结构级别的特征进行恶意软件分析,对于上层恶意软件程序制作者来说,很难通过软件设计来逃避微体系结构级别的分析。在硬件上设计反病毒引擎的优势是可以减少资源的开销,并且可以尽可能早的在微体系结构层发现软件的恶意意图,从而阻止恶意软件对上层操作系统的危害。
本发明旨在针对软件反病毒引擎计算资源开销大的问题而设计的一种新的基于微体系结构级别的硬件反病毒引擎方案。在不影响反病毒引擎准确率的前提下,从硬件的角度提升反病毒引擎的计算效率并进一步节省计算资源,从根本上大大减少了软件反病毒引擎带来的性能开销。由于引入了机器学习加大数据的概念,此硬件反病毒引擎还可能检测出未知的恶意软件,进一步提升了此硬件反病毒引擎方案的健壮性。
本发明设计的是一种高效安全基于微体系结构级别硬件反病毒引擎方案,本硬件设计包括三个模块1)微体系结构级别特征收集模块,2)分类和预测模块,3)决策模块。本发明用于输入的特征数据是微体系结构级别的性能事件,微体系结构级别的性能事件是软件在运行过程中在硬件层产生的微体系结构级别的行为,例如cache命中率,分支预测和内存读写产生的一些性能特征等等。通过收集,处理和分析这些数据有助于我们对运行的软件的行为进行检测。常用的处理器或者嵌入式处理器上都会有一个性能事件收集器模块(hardware performance counters),它是一组寄存器,通过配置寄存器可以收集我们想要的微体系结构级别的性能事件。因此,我们的性能事件收集硬件模块也是借鉴这些寄存器实现的,不同于hardware performance counters,我们设计的特征收集模块的配置是固化在硬件中的,不能被系同级别的软件读写、控制和配置。
硬件反病毒引擎的核心是一种机器学习算法实现的硬件分类器,机器学习算法被广泛的应用在分类和预测的实际问题上。常用的机器学习算法有很多种,在我们的研究中,我们对四种机器学习算法做了评估,它们分别是逻辑回归(Logistic regression),决策树(Decision tree),支持向量机(Support vector machines)和人工神经网络(Artificialneural)。
逻辑回归是一种简单高效的线性分类算法,它的计算复杂度低,而且易于硬件实现;决策树是一种树形模型,它的计算复杂度也相对低,并且它的输出结果易于理解,硬件实现难度也小。支持向量机和人工神经网络属于较高级的分类算法,它的分类的准确率相对于逻辑回归和决策树要好,但是计算复杂度相对会提高一些,因此硬件实现也会有点难度。从以上分析看,可以用来实现的分类器模块的算法分为两种,一种是计算复杂度低,易于硬件实现的,另一种是计算复杂度高,硬件实现稍微复杂的,但是分类的准确率却高。因此,在实现的应用中,可以根据应用案例的具体需求,选择硬件实现的分类算法。
硬件实现的第三个模块是决策模块,它的目的是为了防止异常值的出现。例如当系统正在运行的是恶意软件,特征收集器收集的某次数据发生了异常或者恶意软件此时表现出来的是正常的软件行为,那么分类器模块就有很大的可能将它判断为正常软件。为了避免出现这种情况,我们要对最近几次收集的数据综合起来分析,因此决策模块可以使用统计学EWMA的方法,根据需要还可以使用其他统计学的方法。EWMA(ExponentiallyWeighted Moving-Average)指数加权平均值的控制图,每个EWMA点都结合了来自之前所有子组或者观测值的信息,使用了该统计模型可以有效的避免异常值的出现,提高了硬件反病毒引擎的灵活性。
下面结合附图及实例,对本发明进行进一步详细说明。应该指出,此处所描述的具体实施实例仅仅用以解释本发明,并不用于限定本发明。为了使本发明的目的、技术方案和优点更加清晰,本实例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。
本发明是在处理器的流水线的最后一级添加一个MDU(Malware Detection Unit)模块,如图1所示。MDU硬件设计模块包括三个子模块Feature Collection(特征收集),Prediction Unit(预测单元)和Decision Unit(决策单元)。
Feature Collection:
当前的处理器中包含硬件性能计数器(hardware performance counters)用来监测程序的运行和分析程序的性能,我们的硬件反病毒引擎方案中也使用了相似的结构,我们叫它feature collection,但是不同于硬件性能计数器,我们的设计中不允许软件去修改和控制FC模块。FC模块只允许硬件反病毒模块控制,相关配置参数固化在硬件中,并且收集的数据只发送给Prediction unit。因此,相对于软件,FC模块不仅消除了数据收集的性能开销,而且保证恶意软件不能逃避检测。
Prediction Unit:
为了保证流水线的正常执行和预测的准确率,预测的周期必须设置的合理,通过研究我们发现每运行10K条指令做一次分类预测运算的结果比较理想。Prediction unit的核心是一个机器学习的分类算法,我们最理想的分类器算法是决策树和逻辑回归,决策树和逻辑回归算法的硬件实现简单,但是准确率可能达不到最理想的效果。为了防止数据被篡改,决策树和逻辑回归运算的特征数据必须保存在隔离的内存空间中。图2和图3分别是决策树和逻辑回归的硬件设计模型图。
决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其中每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。可以看到,决策树的决策过程非常直观,容易被人理解。图2是决策树的一种实现模型,具体的硬件设计要对应实际问题中训练出来的实际的决策树模型。图2中收集了四种特征的数据,分别根据特征数据的信息做出判断,将输入的特征数据分为了normal和malware两类。
逻辑回归分类器(Logistic Regression Classifier),在分类情形下,经过学习之后的LR分类器其实就是一组权值w0,w1,w2,...,wm.当测试样本集中的测试数据来到时,这一组权值按照与测试数据线性加和的方式,求出一个z值:z=w0+w1*x1+w2*x2+...+wm*xm。(其中x1,x2,...,xm是样本数据的各个特征,维度为m)之后按照sigmoid函数的形式求出:sigma(z)=1/(1+exp(z))。
由于sigmoid函数的定义域是(-inf,inf),而值域为(0,1)。因此最基本的LR分类器适合对两类目标进行分类。图3是一种逻辑回归模型的硬件设计方案,Theta表示每一个特征的权值,这个权值是浮点数,是通过机器学习方法训练得到的,+和Sum两个步骤计算逻辑回归的预测值,最后>步骤根据阈值做出基本的判断,输出结果提交给决策单元模块。
Decision Unit:
1)在特征收集过程中某一次收集数据可能是异常的值,2)运行恶意软件时,恶意软件在某些时间段内表现的行为可能是正常的操作行为,在这两种情况下,Predictionunit很有可能会将它们预测为正常的行为,从而产生漏判。因此为了解决漏判或者误判的行为,引入了统计学方法EWMA。EWMA对历史数据具有“记忆能力”,对不同时期的数据加不同的权,权系数Wi随着时间的增长而变大。离现在越久的数据,所加的权越小;离现在越近的数据,所加的权越大。显然,当前的EWMA值就包括了整个过程的历史信息。EWMA图上的一点,就绘出了一个较长的记忆,它能考虑过程历史信息的影响,反映过程趋势性变化,起到预报作用,在我们的设计中我们需要设置一个宽口大小,这个宽口大小的参数是我们分析历史数据的个数。图4是EWMA硬件设计方案。
MDU工作的流程如下:Feature collection(特征收集)收集特征数据,每运行10K条指令后将数据发送给Prediction unit,Prediction unit对发送来的特征向量数据进行一次分类预测运算,预测的结果发送给Decision unit,Decision unit结合最近几次的预测结果给出一个决策,最后决策的结果返回给处理器流水线。
Claims (3)
1.一种基于微体系结构级别的硬件反病毒装置,其特征是,在处理器的流水线的最后一级设置的一个恶意软件检测单元MDU(Malware Detection Unit)模块,MDU模块包括三个子模块:微体系结构特征收集模块,机器学习算法硬件实现的预测模块和硬件实现的检测模块;
微体系结构特征收集模块是一组寄存器,通过配置寄存器收集微体系结构级别的性能事件;所述特征收集模块的配置是固化在硬件中的,不能被系同级别的软件读写、控制和配置;
机器学习算法硬件实现的预测模块是机器学习算法实现的硬件分类器,用于根据微体系结构特征收集模块收集的特征数据做出判断,将输入的特征数据分类,给出预测结果;
硬件实现的检测模块,用于使用统计学方法对所述预测结果进行分析,给出决策。
2.如权利要求1所述的基于微体系结构级别的硬件反病毒装置,其特征是,机器学习算法是逻辑回归,决策树,支持向量机和人工神经网络中的一种。
3.如权利要求1所述的基于微体系结构级别的硬件反病毒装置,其特征是,工作的流程如下:微体系结构特征收集模块收集特征数据,每运行10K条指令后将数据发送给机器学习算法硬件实现的预测模块,机器学习算法硬件实现的预测模块对发送来的特征向量数据进行一次分类预测运算,预测的结果发送给硬件实现的检测模块,硬件实现的检测模块结合最近几次的预测结果给出决策,决策的结果返回给处理器流水线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610682919.2A CN106339628A (zh) | 2016-08-16 | 2016-08-16 | 基于微体系结构级别的硬件反病毒装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610682919.2A CN106339628A (zh) | 2016-08-16 | 2016-08-16 | 基于微体系结构级别的硬件反病毒装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106339628A true CN106339628A (zh) | 2017-01-18 |
Family
ID=57824747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610682919.2A Pending CN106339628A (zh) | 2016-08-16 | 2016-08-16 | 基于微体系结构级别的硬件反病毒装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106339628A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875964A (zh) * | 2017-05-12 | 2018-11-23 | 深圳烟草工业有限责任公司 | 一种卷烟制造设备点检分析方法及系统 |
CN109800886A (zh) * | 2017-11-17 | 2019-05-24 | 松下知识产权经营株式会社 | 信息处理方法以及信息处理系统 |
CN117688558A (zh) * | 2024-02-01 | 2024-03-12 | 杭州海康威视数字技术股份有限公司 | 基于微结构异常事件的终端攻击轻量检测方法及设备 |
EP3918500B1 (en) * | 2019-03-05 | 2024-04-24 | Siemens Industry Software Inc. | Machine learning-based anomaly detections for embedded software applications |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140351936A1 (en) * | 2011-12-19 | 2014-11-27 | Beijing Rising Information Technology Co., Ltd. | Frequency-variable anti-virus technology |
CN105117649A (zh) * | 2015-07-30 | 2015-12-02 | 中国科学院计算技术研究所 | 一种用于虚拟机的防病毒方法与系统 |
-
2016
- 2016-08-16 CN CN201610682919.2A patent/CN106339628A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140351936A1 (en) * | 2011-12-19 | 2014-11-27 | Beijing Rising Information Technology Co., Ltd. | Frequency-variable anti-virus technology |
CN105117649A (zh) * | 2015-07-30 | 2015-12-02 | 中国科学院计算技术研究所 | 一种用于虚拟机的防病毒方法与系统 |
Non-Patent Citations (1)
Title |
---|
彭会成等: "用于病毒检测的微体系结构", 《计算机与信息科学中的通信》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875964A (zh) * | 2017-05-12 | 2018-11-23 | 深圳烟草工业有限责任公司 | 一种卷烟制造设备点检分析方法及系统 |
CN109800886A (zh) * | 2017-11-17 | 2019-05-24 | 松下知识产权经营株式会社 | 信息处理方法以及信息处理系统 |
CN109800886B (zh) * | 2017-11-17 | 2024-04-26 | 松下知识产权经营株式会社 | 信息处理方法以及信息处理系统 |
EP3918500B1 (en) * | 2019-03-05 | 2024-04-24 | Siemens Industry Software Inc. | Machine learning-based anomaly detections for embedded software applications |
CN117688558A (zh) * | 2024-02-01 | 2024-03-12 | 杭州海康威视数字技术股份有限公司 | 基于微结构异常事件的终端攻击轻量检测方法及设备 |
CN117688558B (zh) * | 2024-02-01 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 基于微结构异常事件的终端攻击轻量检测方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aslan et al. | A new malware classification framework based on deep learning algorithms | |
Lin | Deep learning for IoT | |
Siracusano et al. | Re-architecting traffic analysis with neural network interface cards | |
Pirscoveanu et al. | Analysis of malware behavior: Type classification using machine learning | |
Yewale et al. | Malware detection based on opcode frequency | |
Medeiros et al. | Software metrics as indicators of security vulnerabilities | |
Gu et al. | Leaps: Detecting camouflaged attacks with statistical learning guided by program analysis | |
CN106339628A (zh) | 基于微体系结构级别的硬件反病毒装置 | |
WO2017014896A1 (en) | Memory hierarchy monitoring systems and methods | |
Eceiza et al. | Fuzzing the internet of things: A review on the techniques and challenges for efficient vulnerability discovery in embedded systems | |
TW201533604A (zh) | 產生候選鈎點以偵測惡意程式之方法及其系統 | |
Salem et al. | Baaan: Backdoor attacks against autoencoder and gan-based machine learning models | |
Bhatt et al. | Exploitability prediction of software vulnerabilities | |
Kuruvila et al. | Defending hardware-based malware detectors against adversarial attacks | |
Prechtel et al. | Evaluating spread of ‘gasless send’in ethereum smart contracts | |
CN111859394A (zh) | 基于tee的软件行为主动度量方法及系统 | |
Silva et al. | Attackers are not stealthy: Statistical analysis of the well-known and infamous KDD network security dataset | |
CN111309589A (zh) | 一种基于代码动态分析的代码安全扫描系统及方法 | |
Arregoces et al. | Network-based intrusion detection: A one-class classification approach | |
Almogahed et al. | Software security measurements: A survey | |
Cai et al. | Automatic software vulnerability detection based on guided deep fuzzing | |
Gan et al. | Combining traditional machine learning and anomaly detection for several imbalanced Android malware dataset's classification | |
CN115795483A (zh) | 一种基于人工鱼群算法的软件漏洞检测方法 | |
Li et al. | A Detection Algorithm of Malicious Code Variants based on Extreme Learning | |
Jia et al. | Machine learning for software vulnerability analysis: A survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170118 |