CN110401649A - 基于态势感知学习的信息安全风险评估方法和系统 - Google Patents

基于态势感知学习的信息安全风险评估方法和系统 Download PDF

Info

Publication number
CN110401649A
CN110401649A CN201910644332.6A CN201910644332A CN110401649A CN 110401649 A CN110401649 A CN 110401649A CN 201910644332 A CN201910644332 A CN 201910644332A CN 110401649 A CN110401649 A CN 110401649A
Authority
CN
China
Prior art keywords
information
data
security
collected
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910644332.6A
Other languages
English (en)
Inventor
洪健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Yangzhong Jushi Information Technology Co Ltd
Original Assignee
Hubei Yangzhong Jushi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Yangzhong Jushi Information Technology Co Ltd filed Critical Hubei Yangzhong Jushi Information Technology Co Ltd
Priority to CN201910644332.6A priority Critical patent/CN110401649A/zh
Publication of CN110401649A publication Critical patent/CN110401649A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于态势感知学习的信息安全风险评估方法和系统，该方法包括：首先收集网络安全资产防御信息和部门人员组织信息，然后将收集到的信息进行预处理，将数据进行格式统一化、无用数据过滤、重复数据归并等处理，之后结合已有的信息安全风险评估标准及信息安全风险评估模型，系统性建立风险评估模型的条目信息，最后利用贝叶斯网络机器学习算法，根据所采集的信息对网络安全进行分级；该系统包括：资产防御信息收集模块、统计人员组织信息模块、数据集预处理模块、风险评估模型建立模块和网络安全综合评定模块。本发明多方面、多途径构建了一套更完备的风险评估体系，并进行安全评估分级，从而针对性的选择风险措施来降低和控制风险。

Description

基于态势感知学习的信息安全风险评估方法和系统
技术领域
本发明涉及信息安全领域，具体涉及一种基于态势感知学习的信息安全风险评估方法和系统。
背景技术
随着计算机技术和通信技术高速发展，网络攻防技术不断革新，网络威胁加剧，信息系统安全受到严重挑战，网络安全风险评估为解决网络中的安全威胁提供了新的解决思路，是实现网络安全可控的基础。
但是，现有的网络安全风险评估仍处在发展阶段，没有形成统一的评估指标体系，由于评估的侧重点不同，导致评估结果可能会出现较大的差异，例如：基于指标体系的风险评估方法虽然能够将抽象问题的简单化过程抽象出来，但是存在一定的主观性，受到专家自身知识经验和知识领域的限制及影响，缺乏统一的度量标准和权重确定方法；基于模型的风险评估体系指标运用比较单一、盲目，没有提出有层次性、多角度有说服力的指标体系模型，由此建立的网络态势预测模型也只能根据网络日志来分析整个网络的安全状况，不能有效的反映未来网络安全的变化趋势来做出针对性的防御。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于：通过一种基于态势感知学习的信息安全风险评估方法和系统，对安全风险进行全面的认知和确认，帮助管理人员全面、深入的了解风险产生的原因，从而有针对性的选择风险措施来降低和控制风险。由于机器学习是人工智能的一类重要方法，也是目前发展最迅速、效果最显著的方法，因此本发明利用贝叶斯网络，这一机器学习领域重要的分支，结合图论和概率理论方面的知识，来表达随机变量之间复杂的不确定性关系，并提供了一种自然的表示因果关联的方法，能用于发现数据间的潜在关系，并根据发现的数据划分安全防护等级，进而更好的对网络安全的变化趋势来做出针对性的防御。
为实现上述目的，本发明提供的技术方案是：基于态势感知学习的信息安全风险评估方法，包括以下步骤：
S1、资产防御信息收集：基于大数据态势感知技术收集系统网络安全资产防御情况；
S2、统计部门人员组织信息：收集所在部门人员的管理制度、部门人员的技术能力、部门人员的意识水平以及相应的监督与审核机制，核查部门人员是否是信息安全专业出身，是否具有基本的安全意识，核查部门的系统监督与审核机制是否完善；
S3、数据集预处理：对步骤S1和S2中采集到的资产防御信息和部门人员组织信息进行预处理，具体包括数据格式统一化、无用数据事件过滤及重复数据信息归并等步骤；
S4、建立风险评估模型：结合已有的信息安全风险评估标准和信息安全风险评估模型，系统性建立风险评估模型的条目信息，便于为后期基于机器学习算法的评估操作，提供系统、可靠的模型；
S5、网络安全综合评定：利用贝叶斯网络机器学习算法，基于已有的数据集和建立的风险评估模型，根据所采集的信息，对网络安全进行评估打分。
在上述基于态势感知学习的信息安全风险评估方法的基础上，步骤S1具体包括以下步骤：
S101、在应用系统层，收集是否使用防火墙、入侵检测系统和入侵防御系统被动和主动防御系统的信息；其中具体包括防火墙安全日志记录信息、防火墙访问控制信息、应用通信加密信息和通讯访问控制与认证信息；
S102、在数据库系统层，收集前台访问数据库等安全机制的信息，具体包括数据库访问控制程度信息、数据保密性信息、数据库安全审计信息、数据库人员管理信息；
S103、在操作系统层，通过对操作系统的漏洞检测完成安全资产防御信息；其中，对操作系统的漏洞检测是由安装的主机发起和进行的，收集到的安全资产防御信息包括系统更新维护信息、系统安全日志信息、系统访问控制信息和系统补丁修复信息；
S104、在网络系统层，采用模拟攻击的形式对网络可能存在的已知安全漏洞进行逐项检查和扫描，收集安全资产防御信息，并根据扫描结果向系统管理员提供周密可靠的安全性分析报告，其中，收集到的安全资产防御信息包括攻击防护信息、信息流控制信息、通信平台安全信息和通信加密信息。
在上述基于态势感知学习的信息安全风险评估方法的基础上，步骤S3具体包括以下几个步骤：
S301、对通常的系统环境下采集到的部分不完整的、有噪声的或有偏差的数据进行数据清洗，并对源数据进行处理，填充缺失值、光滑噪声并识别离群点，纠正原始数据，将完整、正确、一致的数据集重新存入数据仓库中；
S302、对来源于不同的网络安全设备的安全防护配置信息，进行数据集成操作，将不同结构的源数据集成到一个数据仓库中，通过光滑聚集、数据规范化、以及属性构造操作，将源数据转换成适用于机器学习识别的数据集；
S303、对大数据环境下采集到具有大规模、高维度、低质量的特征的数据，进行数据规约，得到数据集的归约表示，在保证源数据信息完整性的前提下，尽量缩小数据集大小，规约后的数据集可在保证与原有数据具有近似分析结果的前提下，尽量缩小计算时间；
常用的数据规约的方法采用主成分分析法，所述主成分分析法具体方法如下：
A、先假定需要收集的数据元素的个数为P，则收集到的数据集合可表示为X1，X2，…Xp；
B、当收集n次数据后，则需要处理的数据集的矩阵可表示为：
C、在将数据进行中心标准化后，得到的数据相关系数矩阵如下公式(2)所示：
R＝(rij)p×p (1)
其中，公式(1)中rij的值由以下公式(2)计算得到：
公式(2)中rij＝rji，rii＝1，xki以及xkj为数据矩阵中对应的数据，表示某一个评价条目对应的值；
D、根据通过A～C，推导出主成分Zi如下公式(3)所示：
Zi＝β1iX1+β2iX2+...βpiXp (3)
其中，β为上述关系矩阵公式所计算出的单位特征向量。
在上述基于态势感知学习的信息安全风险评估方法的基础上，所述步骤S302中，数据仓库中的存储方式包括分布式文件系统存储、列式存储和结构化存储。
在上述基于态势感知学习的信息安全风险评估方法的基础上，步骤S5具体包括以下步骤：
S501：分类级别的定义：包含A，B，C，D，E五种等级，其中A等级所代表的安全防护程度最高，E等级所代表的安全防护程度最低，根据贝叶斯定理可知，所采集的信息属于某一等级的概率为：
其中，向量X为某一环境下所采集的事件集合，变量c以及k为某一特定风险等级，具体而言，P(C＝c|X＝x)为所采集事件集合的风险等级的条件概率，P(C＝c)为风险等级的先验概率，P(X＝x|C＝c)为根据所采集事件计算的不同等级的概率，分母为所采集事件本身的先验概率；
S502：借助朴素贝叶斯的思想，对特征向量X进行假设：即假设X中每一维的特征都是相互独立的，特征与特征之间不存在任何联系，得到公式(5)：
其中，向量X为所采集所有事件的集合，xk为具体某一事件元素，n为所有元素的数量；
S503：将步骤501中的公式(4)代入到步骤502中的公式(5)中，得拥有特征向量X的未知样本所属等级概率，且公式表示如下：
其中，拥有特征向量X的未知样本的所属等级即为此时网络安全的风险等级。
一种基于态势感知学习的信息安全风险评估系统，包括资产防御信息收集模块、统计人员组织信息模块、数据集预处理模块、风险评估模型建立模块和网络安全综合评定模块，其中：
所述资产防御信息收集模块，用于基于大数据态势感知技术收集系统网络安全资产防御情况；
所述统计人员组织信息模块，用于收集所在部分人员的管理制度，人员的技术能力，人员的意识水平以及相应的监督与审核机制，判断部分人员是否是信息安全专业出身，是否具有基本的安全意识，判断部分的核查部门的系统监督与审核机制是否完善；
所述数据集预处理模块，用于对资产防御信息收集模块和统计人员组织信息模块中采集到的资产防御信息和部门人员组织信息进行预处理工作，包括使得数据格式统一化、无用数据事件过滤、重复数据信息归并；
所述风险评估模型建立模块，用于结合已有的信息安全风险评估标准和信息安全风险评估模型，系统性建立风险评估模型的条目信息，便于为后期基于机器学习算法的评估操作，提供系统、可靠的模型；
所述网络安全综合评定模块，用于利用贝叶斯网络机器学习算法，基于已有的数据集和建立的风险评估模型，根据所采集的信息，对网络安全进行评估打分。
在上述基于态势感知学习的信息安全风险评估系统的基础上，所述资产防御信息收集模块包含分别在应用系统层、数据库系统层、操作系统层和网络系统层中收集相应的资产防御信息，具体包括以下步骤：
在应用系统层，收集是否使用防火墙、入侵检测系统和入侵防御系统被动和主动防御系统的信息；具体包括收集防火墙安全日志记录信息、防火墙访问控制信息、应用通信加密信息和通讯访问控制与认证信息；
在数据库系统层，收集前台访问数据库等安全机制的信息；
具体包括收集数据库访问控制程度信息、数据保密性信息、数据库安全审计信息及数据库人员管理信息；
在操作系统层，通过对操作系统的漏洞检测完成安全资产防御信息；
其中，收集到的安全资产防御信息包括系统更新维护信息、系统安全日志信息、系统访问控制信息和系统补丁修复信息；
在网络系统层，采用模拟攻击的形式对网络可能存在的已知安全漏洞进行逐项检查和扫描，收集安全资产防御信息，并根据扫描结果向系统管理员提供周密可靠的安全性分析报告；
其中，收集到安全资产防御信息包括攻击防护信息、信息流控制信息、通信平台安全信息和通信加密信息。
一种基于态势感知学习的信息安全风险评估方法的工作原理为：首先收集网络安全资产防御信息和部门人员组织信息；然后将收集到的信息进行预处理，将数据格式统一化、无用数据事件过滤、重复数据信息归并等；之后结合已有的信息安全风险评估标准及信息建立安全风险评估模型，系统性建立风险评估模型的条目信息；最后利用贝叶斯网络机器学习算法，根据所采集的信息，对网络安全进行评估打分。
与现有技术相比，本发明的优点是：
本发明基于大数据态势感知机制的优势，结合多种已有的信息安全风险评估标准及信息安全风险评估的模型构建风险评估条目，多方面、多途径构建了一套更完备的风险评估体系，并使用机器学习的方法，对所测系统进行安全评估分级，可有效的认知被评估系统所面临的风险，以及这些风险的严重程度，可帮助管理人员全面、深入的了解风险产生的原因，从而针对性的选择风险措施来降低和控制风险，除此之外，本专利可为科学建设信息安全保障管理机制提供更有利的支持，从而更有效的管理、规避可能存在的风险。
附图说明
图1为本发明基于态势感知学习的信息安全风险评估方法的流程图；
图2为本发明基于态势感知学习的信息安全风险评估系统的示意图；
图3为图1中统计部门人员组织信息的具体信息列表。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参阅图1所示，本发明实施例中的基于态势感知学习的信息安全风险评估方法，包括以下步骤：
S1、资产防御信息收集：基于大数据态势感知技术收集系统网络安全资产防御情况；
S2、统计部门人员组织信息：包括收集所在部门人员的管理制度、部门人员的技术能力、部门人员的意识水平以及相应的监督与审核机制，核查是否是信息安全专业出身，是否具有基本的安全意识，核查部门的系统监督与审核机制是否完善；
S3、数据集预处理：对步骤S1和S2中采集到的资产防御信息和部门人员组织信息进行预处理工作，包括使得数据格式统一化、无用数据事件过滤、重复数据信息归并；
S4、建立风险评估模型：并结合已有的信息安全风险评估标准和信息安全风险评估模型，系统性建立风险评估模型的条目信息，便于为后期基于机器学习算评估操作，提供系统、可靠的模型；
S5、网络安全综合评定：利用贝叶斯网络机器学习算法，基于已有的数据集和建立的风险评估模型，根据所采集的信息，对网络安全进行评估打分。
更具体的说，在本发明基于态势感知学习的信息安全风险评估方法实施例中，S1根据所在政府、银行、学校系统安全防护配置信息，通过应用系统层、数据库系统层、操作系统层以及网络系统层面收集必要的安全防护配置信息，其中包括所在系统认证授权机制，是否加密通讯，加密通讯强度、入侵检测系统配置信息，具体包括以下步骤：
S101、在应用系统层，收集是否使用防火墙、入侵检测系统和入侵防御系统被动和主动防御系统的信息；其中具体包括防火墙安全日志记录信息、防火墙访问控制信息、应用通信加密信息和通讯访问控制与认证信息，防火墙、入侵检测系统和入侵防御系统等被动和主动防御系统的使用，可显著增强系统的防御能力和安全性；
S102、在数据库系统层，收集前台访问数据库等安全机制的信息，具体包括数据库访问控制程度信息、数据保密性信息、数据库安全审计信息、数据库人员管理信息，采用数据库安全机制可提高系统安全性；
S103、在操作系统层，通过对操作系统的漏洞检测完成安全资产防御信息；其中，安装的主机具有特权身份能遍历操作系统的内部，并检査配置、寻找漏洞、搜集信息，根据漏洞知识库检査安全隐患，提供周密可靠的安全性分析报告，以收集安全资产防御信息，其中搜集到的信息包括系统更新维护信息、系统安全日志信息、系统访问控制信息和系统补丁修复信息；
S104、在网络系统层，采用模拟攻击的形式对网络可能存在的已知安全漏洞进行逐项检查和扫描，其中，收集到的安全资产防御信息，根据扫描结果向系统管理员提供周密可靠的安全性分析报告，可在攻击发生前发现网络隐患、修补网络漏洞、提供网络防护水平，其中收集到的安全资产防御信息包括攻击防护信息、信息流控制信息、通信平台安全信息和通信加密信息。
更具体的说，在本发明基于态势感知学习的信息安全风险评估方法实施例中，S3具体包括以下几个步骤：
S301、对通常的系统环境下采集到的部分不完整的、有噪声的或有偏差的数据进行数据清洗，并对源数据进行处理，填充缺失值、光滑噪声并识别离群点，纠正原始数据，将完整、正确、一致的数据集重新存入数据仓库中；
S302、对来源于不同的网络安全设备的安全防护配置信息，进行数据集成操作，将不同结构的源数据集成到一个数据仓库中，通过光滑聚集、数据规范化、属性构造操作将源数据转换成适用于机器学习识别的数据集；
S303、对大数据环境下采集到具有大规模、高维度、低质量的特征的数据，直接分析会消耗大量的系统资源，因此需要进行数据规约，数据规约技术能得到数据集的归约表示，在保证源数据信息完整性的前提下，尽量缩小数据集大小，规约后的数据集可在保证与原有数据具有近似分析结果的前提下，尽量缩小计算时间，常用的数据规约的方法采用主成分分析法，其具体方法为：
常用的数据规约的方法采用主成分分析法，所述主成分分析法具体方法如下：
A、先假定需要收集的数据元素的个数为P，则收集到的数据集合可表示为X1，X2，…Xp；
B、当收集n次数据后，则需要处理的数据集的矩阵可表示为：
C、在将数据进行中心标准化后，得到的数据相关系数矩阵如下公式(2所示：
R＝(rij)p×p (1)
其中，公式(1)中rij的值由以下公式(2)计算得到：
公式(2)中rij＝rji，rii＝1，xki以及xkj为数据矩阵中对应的数据，表示某一个评价条目对应的值；
D、根据通过A～C，推导出主成分Zi如下公式(3)所示：
Zi＝β1iX1+β2iX2+...βpiXp (3)
其中，β为上述关系矩阵公式所计算出的单位特征向量；
由于S3中大数据态势感知的数据来自不同的网络安全设备，包括防火墙、入侵检测系统、防病毒系统、Web应用防火墙、流量控制与物联网传感器等，对各种安全设备上收集格式多样的数据，对其进行整理和存储在数据仓库后发现，这些系统日志与配置信息具有截然不同的数据内容和数据格式，因此需要对数据集进行必要的预处理，为后续基于机器学习算法的智能化异常行为检测机制提供精确的数据集，进而得到准确的用户异常行为检测结果；
更具体的说，在本发明基于态势感知学习的信息安全风险评估方法实施例中，步骤S302中数据仓库的存储方式包括分布式文件系统存储、列式存储和结构化存储；
更具体的说，在本发明基于态势感知学习的信息安全风险评估方法实施例中，风险评估模型中的信息安全风险评估标准包括《信息安全通用评估准则》CC、ISO/IEC17799：2005--《信息技术—安全技术—信息安全管理实施细则》、OCTAVE、NISTSP800-53--美国联邦信息系统最低安全控制标准，信息安全风险评估模型包括RMCF、WPDRRC。
更具体的说，在本发明基于态势感知学习的信息安全风险评估方法步骤S5具体流程如下：
S501：分类级别的定义包含A，B，C，D，E五种等级，其中A等级所代表的安全防护程度最高，E等级所代表的安全防护程度最低，根据贝叶斯定理可知，所采集的信息属于某一等级的概率为：
其中，向量X为某一环境下所采集的事件集合，变量c以及k为某一特定风险等级，具体而言，P(C＝c|X＝x)为所采集事件集合的风险等级的条件概率，P(C＝c)为风险等级的先验概率，P(X＝x|C＝c)为根据所采集事件计算的不同等级的概率，分母为所采集事件本身的先验概率。
S502：借助朴素贝叶斯的思想，对特征向量X进行假设，即假设X中每一维的特征都是相互独立的，特征与特征之间不存在任何联系，得到公式(5)：
其中，向量X为所采集所有事件的集合，xk为具体某一事件元素，n为所有元素的数量；
S503：将步骤501中的公式(4)代入到步骤502中的公式(5)中，得拥有特征向量X的未知样本所属等级概率，且公式表示如下：
其中，拥有特征向量X的未知样本的所属等级即为此时网络安全的风险等级。
参阅图2所示，本发明实施例中的基于态势感知学习的信息安全风险评估系统，包括资产防御信息收集模块1、统计人员组织信息模块2、数据集预处理模块3、风险评估模型建立模块4和网络安全综合评定模块5，其中：
资产防御信息收集模块1，用于基于大数据态势感知技术收集系统网络安全资产防御情况，包括应用系统层、数据库系统层、操作系统层、网络系统层配置数量以及配置参数；
统计人员组织信息模块2，用于收集所在部分人员的管理制度，人员的技术能力，人员的意识水平以及相应的监督与审核机制，判断部门人员信息安全专业出身，部分人员是否具有基本的安全意识，判断部门系统监督与审核机制是否完善；
数据集预处理模块3，用于对资产防御信息收集模块1和统计人员组织信息模块2中采集到的资产防御信息和部门人员组织信息进行预处理工作，包括使得数据格式统一化、无用数据事件过滤、重复数据信息归并；
风险评估模型建立模块4，用于结合已有的信息安全风险评估标准和信息安全风险评估模型，系统性建立风险评估模型的条目信息，便于为后期基于机器学习算评估操作，提供系统、可靠的模型；
网络安全综合评定模块5，用于利用贝叶斯网络机器学习算法，基于已有的数据集和建立的风险评估模型，根据所采集的信息，对网络安全进行评估打分。
更具体的说，在本发明基于态势感知学习的信息安全风险评估系统实施例中，资产防御信息收集模块1根据所在政府、银行、学校系统安全防护配置信息，包括分别在应用系统层、数据库系统层、操作系统层以及网络系统层面中收集必要的相应的资产防御信息，其中包括所在系统认证授权机制，是否加密通讯，加密通讯强度、入侵检测系统配置信息，具体包括以下步骤：
1、在应用系统层，收集是否使用防火墙、入侵检测系统和入侵防御系统被动和主动防御系统的信息；
其中包括防火墙安全日志记录信息、防火墙访问控制信息、应用通信加密信息和通讯访问控制与认证信息，防火墙、入侵检测系统和入侵防御系统等被动和主动防御系统的使用，可显著增强系统的防御能力和安全性；
2、在数据库系统层，收集前台访问数据库等安全机制的信息；
其中包括数据库访问控制程度信息、数据保密性信息、数据库安全审计信息、数据库人员管理信息，采用数据库安全机制可提高系统安全性；
3、在操作系统层，对操作系统的漏洞检测是由安装的主机发起和进行的，安装的主机具有特权身份能遍历操作系统的内部，并检査配置、寻找漏洞、搜集信息，根据漏洞知识库检査安全隐患，提供周密可靠的安全性分析报告，以收集安全资产防御信息；
其中搜集到的信息包括系统更新维护信息、系统安全日志信息、系统访问控制信息和系统补丁修复信息；
4、在网络系统层，采用模拟攻击的形式对网络可能存在的已知安全漏洞进行逐项检查和扫描，收集安全资产防御信息，并根据扫描结果向系统管理员提供周密可靠的安全性分析报告，可在攻击发生前发现网络隐患、修补网络漏洞、提供网络防护水平；
其中收集安全资产防御信息包括攻击防护信息、信息流控制信息、通信平台安全信息和通信加密信息。
更具体的说，在本发明基于态势感知学习的信息安全风险评估系统实施例中，其中数据集预处理模块3包括以下几个方面：
一、对通常系统环境下采集到的部分不完整的、有噪声的或有偏差的数据进行数据清洗，并对源数据进行处理，填充缺失值、光滑噪声并识别离群点，纠正原始数据，将完整、正确、一致的数据集重新存入数据仓库中；
二、对来源于不用的网络安全设备的安全防护配置信息，进行数据集成操作，将不同的结构源数据集成到一个数据仓库中，通过光滑聚集、数据规范化、属性构造操作将源数据转换成适用于机器学习识别的数据集；
三、对大数据环境下采集到具有大规模、高维度、低质量的特征的数据，直接分析会消耗大量的系统资源，因此需要进行数据规约，数据规约技术能得到数据集的归约表示，在保证源数据信息完整性的前提下，尽量缩小数据集大小，规约后的数据集可在保证与原有数据具有近似分析结果的前提下，尽量缩小计算时间，常用的数据规约的方法采用主成分分析法；
基于态势感知学习的信息安全风险评估方法的工作原理为：首先收集网络安全资产防御信息和部门人员组织信息，然后将收集到的信息进行预处理，将数据格式统一化、无用数据过滤、重复数据信息归并等，之后结合已有的信息安全风险评估标准及信息安全风险评估模型，系统性建立风险评估模型的条目信息，最后利用贝叶斯网络机器学习算法，根据所采集的信息，对网络安全进行评估打分。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，上述实施例的技术特征可进行任意组合，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于态势感知学习的信息安全风险评估方法，其特征在于，包括以下步骤：
S1、资产防御信息收集：基于大数据态势感知技术收集系统网络安全资产防御情况；
S2、统计部门人员组织信息：收集所在部门人员的管理制度、部门人员的技术能力、部门人员的意识水平以及相应的监督与审核机制，核查部门人员是否是信息安全专业出身，是否具有基本的安全意识，核查部门的核查部门的系统监督与审核机制是否完善；
S3、数据集预处理：对步骤S1和S2中采集到的资产防御信息和部门人员组织信息进行预处理，具体包括使得数据格式统一化、无用数据事件过滤及重复数据信息归并等步骤；
S4、建立风险评估模型：结合已有的信息安全风险评估标准和信息安全风险评估模型，系统性建立风险评估模型的条目信息，便于为后期基于机器学习算法的评估操作，提供系统、可靠的模型；
S5、网络安全综合评定：利用贝叶斯网络机器学习算法，基于已有的数据集和建立的风险评估模型，根据所采集的信息，对网络安全进行评估打分。
2.如权利要求1所述的基于态势感知学习的信息安全风险评估方法，其特征在于，步骤S1具体包括以下步骤：
S101、在应用系统层，收集是否使用防火墙、入侵检测系统和入侵防御系统被动和主动防御系统的信息；其中具体包括防火墙安全日志记录信息、防火墙访问控制信息、应用通信加密信息和通讯访问控制与认证信息；
S102、在数据库系统层，收集前台访问数据库等安全机制的信息，具体包括数据库访问控制程度信息、数据保密性信息、数据库安全审计信息、数据库人员管理信息；
S103、在操作系统层，通过对操作系统的漏洞检测完成安全资产防御信息；其中，对操作系统的漏洞检测是由安装的主机发起和进行的，收集到的安全资产防御信息包括系统更新维护信息、系统安全日志信息、系统访问控制信息和系统补丁修复信息；
S104、在网络系统层，采用模拟攻击的形式对网络可能存在的已知安全漏洞进行逐项检查和扫描，收集安全资产防御信息，并根据扫描结果向系统管理员提供周密可靠的安全性分析报告，其中，收集到的安全资产防御信息包括攻击防护信息、信息流控制信息、通信平台安全信息和通信加密信息。
3.如权利要求1所述的基于态势感知学习的信息安全风险评估方法，其特征在于，步骤S3具体包括以下几个步骤：
S301、对通常的系统环境下采集到的部分不完整的、有噪声的或有偏差的数据进行数据清洗，并对源数据进行处理，填充缺失值、光滑噪声并识别离群点，纠正原始数据，将完整、正确、一致的数据集重新存入数据仓库中；
S302、对来源于不同的网络安全设备的安全防护配置信息，进行数据集成操作，将不同结构的源数据集成到一个数据仓库中，通过光滑聚集、数据规范化、以及属性构造操作，将源数据转换成适用于机器学习识别的数据集；
S303、对大数据环境下采集到具有大规模、高维度、低质量的特征的数据，进行数据规约，得到数据集的归约表示，在保证源数据信息完整性的前提下，尽量缩小数据集大小，规约后的数据集可在保证与原有数据具有近似分析结果的前提下，尽量缩小计算时间；
常用的数据规约的方法采用主成分分析法，所述主成分分析法具体方法如下：
A、先假定需要收集的数据元素的个数为P，则收集到的数据集合可表示为X1，X2，…Xp；
B、当收集n次数据后，则需要处理的数据集的矩阵可表示为：
C、在将数据进行中心标准化后，得到的数据相关系数矩阵如下公式(2)所示：
R＝(rij)p×p (1)
其中，公式(1)中rij的值由以下公式(2)计算得到：
公式(2)中rιj＝rji，rii＝1，xki以及xkj为数据矩阵中对应的数据，表示某一个评价条目对应的值；
D、根据通过A～C，推导出主成分Zi如下公式(3)所示：
Zi＝β1iX1+β2iX2+…+βpiXp (3)
其中，β为上述关系矩阵公式所计算出的单位特征向量。
4.如权利要求3所述的基于态势感知学习的信息安全风险评估方法，其特征在于，所述步骤S302中，数据仓库中的存储方式包括分布式文件系统存储、列式存储和结构化存储。
5.如权利要求1所述的基于态势感知学习的信息安全风险评估方法，其特征在于，步骤S5具体包括以下步骤：
S501：分类级别的定义：包含A，B，C，D，E五种等级，其中A等级所代表的安全防护程度最高，E等级所代表的安全防护程度最低，根据贝叶斯定理可知，所采集的信息属于某一等级的概率为：
其中，向量X为某一环境下所采集的事件集合，变量c以及k为某一特定风险等级，具体而言，P(C＝c|X＝x)为所采集事件集合的风险等级的条件概率，P(C＝c)为风险等级的先验概率，P(X＝x|C＝c)为根据所采集事件计算的不同等级的概率，分母为所采集事件本身的先验概率；
S502：借助朴素贝叶斯的思想，对特征向量X进行假设：即假设X中每一维的特征都是相互独立的，特征与特征之间不存在任何联系，得到公式(5)：
其中，向量X为所采集所有事件的集合，xk为具体某一事件元素，n为所有元素的数量；
S503：将步骤501中的公式(4)代入到步骤502中的公式(5)中，得拥有特征向量X的未知样本所属等级概率，且公式表示如下：
其中，拥有特征向量X的未知样本的所属等级即为此时网络安全的风险等级。
6.基于态势感知学习的信息安全风险评估系统，其特征在于：包括资产防御信息收集模块(1)、统计人员组织信息模块(2)、数据集预处理模块(3)、风险评估模型建立模块(4)和网络安全综合评定模块(5)，其中：
所述资产防御信息收集模块(1)，用于基于大数据态势感知技术收集系统网络安全资产防御情况；
所述统计人员组织信息模块(2)，用于收集所在部分人员的管理制度，人员的技术能力，人员的意识水平以及相应的监督与审核机制，判断部分人员是否是信息安全专业出身，是否具有基本的安全意识，判断部分的核查部门的系统监督与审核机制是否完善；
所述数据集预处理模块(3)，用于对资产防御信息收集模块(1)和统计人员组织信息模块(2)中采集到的资产防御信息和部门人员组织信息进行预处理工作，包括使得数据格式统一化、无用数据事件过滤、重复数据信息归并；
所述风险评估模型建立模块(4)，用于结合已有的信息安全风险评估标准和信息安全风险评估模型，系统性建立风险评估模型的条目信息，便于为后期基于机器学习算法的评估操作，提供系统、可靠的模型；
所述网络安全综合评定模块(5)，用于利用贝叶斯网络机器学习算法，基于已有的数据集和建立的风险评估模型，根据所采集的信息，对网络安全进行评估打分。
7.如权利要求6所述的基于态势感知学习的信息安全风险评估系统，其特征在于，所述资产防御信息收集模块(1)包含分别在应用系统层、数据库系统层、操作系统层和网络系统层中收集相应的资产防御信息，具体包括以下步骤：
(1)在应用系统层，收集是否使用防火墙、入侵检测系统和入侵防御系统被动和主动防御系统的信息；具体包括收集防火墙安全日志记录信息、防火墙访问控制信息、应用通信加密信息和通讯访问控制与认证信息；
(2)在数据库系统层，收集前台访问数据库等安全机制的信息；
具体包括收集数据库访问控制程度信息、数据保密性信息、数据库安全审计信息及数据库人员管理信息；
(3)在操作系统层，通过对操作系统的漏洞检测完成安全资产防御信息；
其中，收集到的安全资产防御信息包括系统更新维护信息、系统安全日志信息、系统访问控制信息和系统补丁修复信息；
(4)在网络系统层，采用模拟攻击的形式对网络可能存在的已知安全漏洞进行逐项检查和扫描，收集安全资产防御信息，并根据扫描结果向系统管理员提供周密可靠的安全性分析报告；
其中，收集到安全资产防御信息包括攻击防护信息、信息流控制信息、通信平台安全信息和通信加密信息。
CN201910644332.6A 2019-07-17 2019-07-17 基于态势感知学习的信息安全风险评估方法和系统 Withdrawn CN110401649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910644332.6A CN110401649A (zh) 2019-07-17 2019-07-17 基于态势感知学习的信息安全风险评估方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910644332.6A CN110401649A (zh) 2019-07-17 2019-07-17 基于态势感知学习的信息安全风险评估方法和系统

Publications (1)

Publication Number Publication Date
CN110401649A true CN110401649A (zh) 2019-11-01

Family

ID=68324530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910644332.6A Withdrawn CN110401649A (zh) 2019-07-17 2019-07-17 基于态势感知学习的信息安全风险评估方法和系统

Country Status (1)

Country Link
CN (1) CN110401649A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046019A (zh) * 2019-11-22 2020-04-21 北京网聘咨询有限公司 数据库安全隐患排查方法及装置
CN111291801A (zh) * 2020-01-21 2020-06-16 深圳前海微众银行股份有限公司 一种数据处理方法及装置
CN111402205A (zh) * 2020-02-27 2020-07-10 华南理工大学 一种基于多层感知机的乳腺肿瘤数据清洗方法
CN111431924A (zh) * 2020-04-01 2020-07-17 杭州云梯科技有限公司 一种网络安全分析评估系统
CN112291199A (zh) * 2020-09-30 2021-01-29 新华三信息安全技术有限公司 一种报文处理方法、装置、电子设备及存储介质
CN112633763A (zh) * 2020-12-31 2021-04-09 上海三零卫士信息安全有限公司 一种基于人工神经网络ANNs的等级保护风险研判方法
CN112995019A (zh) * 2021-03-23 2021-06-18 上海纽盾科技股份有限公司 网络安全态势感知信息的显示方法及客户端
CN113225358A (zh) * 2021-07-09 2021-08-06 四川大学 网络安全风险评估系统
CN113497802A (zh) * 2021-02-04 2021-10-12 重庆大学 一种基于机器学习算法的车载ecu安全风险评估系统
CN114491554A (zh) * 2022-01-14 2022-05-13 北京国信网联科技有限公司 一种信息安全态势分析方法
CN114629674A (zh) * 2021-11-11 2022-06-14 北京计算机技术及应用研究所 一种基于注意力机制的工业控制网络安全风险评估方法
CN115001940A (zh) * 2022-05-27 2022-09-02 北京双湃智安科技有限公司 一种基于人工智能的关联性安全态势分析方法
CN115174420A (zh) * 2022-07-05 2022-10-11 中信百信银行股份有限公司 基于指标测量的安全运营方法、系统、终端设备及存储介质
CN115290286A (zh) * 2022-10-10 2022-11-04 中国空气动力研究与发展中心高速空气动力研究所 一种亚跨超声速风洞流场稳定性的集成学习评估系统
CN115442270A (zh) * 2022-09-02 2022-12-06 南京信易达计算技术有限公司 全栈式高性能计算集群监控系统
CN115776411A (zh) * 2023-01-30 2023-03-10 网思科技股份有限公司 数据安全分析方法、系统和可读存储介质
CN116775751A (zh) * 2023-08-17 2023-09-19 北京华源芯电科技有限公司 一种基于数据建模实现智能预测分析系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436967A (zh) * 2008-12-23 2009-05-20 北京邮电大学 一种网络安全态势评估方法及其系统
CN105426762A (zh) * 2015-12-28 2016-03-23 重庆邮电大学 一种android应用程序恶意性的静态检测方法
CN106411854A (zh) * 2016-09-06 2017-02-15 中国电子技术标准化研究院 一种基于模糊贝叶斯的网络安全风险评估方法
CN106778253A (zh) * 2016-11-24 2017-05-31 国家电网公司 基于大数据的威胁情景感知信息安全主动防御模型
CN106951778A (zh) * 2017-03-13 2017-07-14 步步高电子商务有限责任公司 一种面向复杂流数据事件分析的入侵检测方法
US9942250B2 (en) * 2014-08-06 2018-04-10 Norse Networks, Inc. Network appliance for dynamic protection from risky network activities

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436967A (zh) * 2008-12-23 2009-05-20 北京邮电大学 一种网络安全态势评估方法及其系统
US9942250B2 (en) * 2014-08-06 2018-04-10 Norse Networks, Inc. Network appliance for dynamic protection from risky network activities
CN105426762A (zh) * 2015-12-28 2016-03-23 重庆邮电大学 一种android应用程序恶意性的静态检测方法
CN106411854A (zh) * 2016-09-06 2017-02-15 中国电子技术标准化研究院 一种基于模糊贝叶斯的网络安全风险评估方法
CN106778253A (zh) * 2016-11-24 2017-05-31 国家电网公司 基于大数据的威胁情景感知信息安全主动防御模型
CN106951778A (zh) * 2017-03-13 2017-07-14 步步高电子商务有限责任公司 一种面向复杂流数据事件分析的入侵检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙海燕，周梦，李卫国，冯伟: "《数理统计》", 31 October 2016, 北京航空航天大学出版社 *
许伟，梁循，杨小平: "《金融数据挖掘 基于大数据视角的展望》", 30 June 2013, 知识产权出版社 *
黄玉洁，唐作其: "基于改进贝叶斯模型的信息安全风险评估", 《计算机与现代化》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046019A (zh) * 2019-11-22 2020-04-21 北京网聘咨询有限公司 数据库安全隐患排查方法及装置
CN111291801A (zh) * 2020-01-21 2020-06-16 深圳前海微众银行股份有限公司 一种数据处理方法及装置
CN111402205A (zh) * 2020-02-27 2020-07-10 华南理工大学 一种基于多层感知机的乳腺肿瘤数据清洗方法
CN111402205B (zh) * 2020-02-27 2023-06-23 华南理工大学 一种基于多层感知机的乳腺肿瘤数据清洗方法
CN111431924A (zh) * 2020-04-01 2020-07-17 杭州云梯科技有限公司 一种网络安全分析评估系统
CN112291199B (zh) * 2020-09-30 2022-02-22 新华三信息安全技术有限公司 一种报文处理方法、装置、电子设备及存储介质
CN112291199A (zh) * 2020-09-30 2021-01-29 新华三信息安全技术有限公司 一种报文处理方法、装置、电子设备及存储介质
CN112633763A (zh) * 2020-12-31 2021-04-09 上海三零卫士信息安全有限公司 一种基于人工神经网络ANNs的等级保护风险研判方法
CN112633763B (zh) * 2020-12-31 2024-04-12 上海三零卫士信息安全有限公司 一种基于人工神经网络ANNs的等级保护风险研判方法
CN113497802A (zh) * 2021-02-04 2021-10-12 重庆大学 一种基于机器学习算法的车载ecu安全风险评估系统
CN113497802B (zh) * 2021-02-04 2022-03-08 重庆大学 一种基于机器学习算法的车载ecu安全风险评估系统
CN112995019B (zh) * 2021-03-23 2023-04-07 上海纽盾科技股份有限公司 网络安全态势感知信息的显示方法及客户端
CN112995019A (zh) * 2021-03-23 2021-06-18 上海纽盾科技股份有限公司 网络安全态势感知信息的显示方法及客户端
CN113225358A (zh) * 2021-07-09 2021-08-06 四川大学 网络安全风险评估系统
CN113225358B (zh) * 2021-07-09 2021-09-03 四川大学 网络安全风险评估系统
CN114629674A (zh) * 2021-11-11 2022-06-14 北京计算机技术及应用研究所 一种基于注意力机制的工业控制网络安全风险评估方法
CN114491554A (zh) * 2022-01-14 2022-05-13 北京国信网联科技有限公司 一种信息安全态势分析方法
CN115001940A (zh) * 2022-05-27 2022-09-02 北京双湃智安科技有限公司 一种基于人工智能的关联性安全态势分析方法
CN115174420A (zh) * 2022-07-05 2022-10-11 中信百信银行股份有限公司 基于指标测量的安全运营方法、系统、终端设备及存储介质
CN115442270A (zh) * 2022-09-02 2022-12-06 南京信易达计算技术有限公司 全栈式高性能计算集群监控系统
CN115290286A (zh) * 2022-10-10 2022-11-04 中国空气动力研究与发展中心高速空气动力研究所 一种亚跨超声速风洞流场稳定性的集成学习评估系统
CN115776411A (zh) * 2023-01-30 2023-03-10 网思科技股份有限公司 数据安全分析方法、系统和可读存储介质
CN116775751A (zh) * 2023-08-17 2023-09-19 北京华源芯电科技有限公司 一种基于数据建模实现智能预测分析系统

Similar Documents

Publication Publication Date Title
CN110401649A (zh) 基于态势感知学习的信息安全风险评估方法和系统
Khan et al. Malicious insider attack detection in IoTs using data analytics
CN109347801B (zh) 一种基于多源词嵌入和知识图谱的漏洞利用风险评估方法
Guezzaz et al. Mathematical validation of proposed machine learning classifier for heterogeneous traffic and anomaly detection
CN111914256B (zh) 一种机器学习训练数据受投毒攻击的防御方法
CN103870751B (zh) 入侵检测方法及系统
Selim et al. Anomaly events classification and detection system in critical industrial internet of things infrastructure using machine learning algorithms
CN105681298A (zh) 公共信息平台中的数据安全异常监测方法及系统
Hosseini et al. Anomaly process detection using negative selection algorithm and classification techniques
CN100414868C (zh) 大规模分布式入侵检测系统的实时数据融合方法
Chen et al. Multi-level adaptive coupled method for industrial control networks safety based on machine learning
Yong et al. A novel approach to network security situation awareness based on multi-perspective analysis
Alshammari Design of capability maturity model integration with cybersecurity risk severity complex prediction using bayesian-based machine learning models
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
Yakymchuk et al. Information safety of Ukraine: Integral assessment and taxonomic analysis
Kaiser et al. Attack Forecast and Prediction
Guo et al. Research on network security situation awareness and dynamic game based on deep Q learning network
Brahma et al. A new approach to intrusion detection in databases by using artificial neuro fuzzy inference system
Qi et al. Dynamic Assessment and VaR-Based Quantification of Information Security Risk
Al-Nafjan et al. Intrusion detection using PCA based modular neural network
MacDermott et al. Privacy preserving issues in the dynamic internet of things (IoT)
Lu et al. An Ensemble Learning-Based Cyber-Attacks Detection Method of Cyber-Physical Power Systems
Madhavarapu et al. A generative model for evasion attacks in smart grid
Patel et al. A technical review on intrusion detection system
Tewari Decoding the Black Box: Interpretable Methods for Post-Incident Counter-terrorism Investigations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191101