CN109586282B - 一种电网未知威胁检测系统及方法 - Google Patents
一种电网未知威胁检测系统及方法 Download PDFInfo
- Publication number
- CN109586282B CN109586282B CN201811447468.XA CN201811447468A CN109586282B CN 109586282 B CN109586282 B CN 109586282B CN 201811447468 A CN201811447468 A CN 201811447468A CN 109586282 B CN109586282 B CN 109586282B
- Authority
- CN
- China
- Prior art keywords
- sandbox
- suspicious
- power grid
- file
- virtual environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 244000035744 Hura crepitans Species 0.000 claims abstract description 159
- 238000004458 analytical method Methods 0.000 claims abstract description 74
- 230000008569 process Effects 0.000 claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 32
- 238000012423 maintenance Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 230000008447 perception Effects 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000007405 data analysis Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 23
- 230000007123 defense Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- KKIMDKMETPPURN-UHFFFAOYSA-N 1-(3-(trifluoromethyl)phenyl)piperazine Chemical compound FC(F)(F)C1=CC=CC(N2CCNCC2)=C1 KKIMDKMETPPURN-UHFFFAOYSA-N 0.000 description 1
- 101100217298 Mus musculus Aspm gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/001—Methods to deal with contingencies, e.g. abnormalities, faults or failures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
- Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Computer And Data Communications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种电网未知威胁检测系统及方法,系统包括电网安全态势感知平台、未知威胁分析系统、云沙箱系统以及电网安全运维系统;未知威胁分析系统用于接收电网安全态势感知平台发送的异常网络流量并对其进行检测,对无法识别的可疑流量进行文件提取,将提取出的可疑文件提交至云沙箱系统;云沙箱系统用于将可疑文件运行在操作受限的自定义虚拟环境中,监控并记录可疑文件的运行过程,生成分析结果,并将分析结果提交至电网安全运维系统,以使电网安全运维系统基于分析结果进行未知威胁的预警和管控。本发明实施例提供的系统和方法能够对电网环境中的未知威胁进行及时、准确地检测,保障电网系统的稳定运行。
Description
技术领域
本发明涉及电网安全技术领域,具体而言,涉及一种电网未知威胁检测系统及方法。
背景技术
电网作为国家关键基础设施,面临安全形势日益严峻。互联网安全中心平均每天截获PC端新增恶意程序样本近百万个,此外还有大量恶意代码未能被及时检测出来,这些未被及时发现、检测的未知攻击威胁(包括高级可持续威胁(Advanced PersistentThreat,APT)攻击、定向攻击等)已经成为电网的最主要安全威胁,一旦攻击得逞,极有可能导致大规模乃至全网停电事件,给国家、社会和企业带来巨大经济损失并造成恶劣的社会影响。
发明内容
本发明的目的在于提供一种电网未知威胁检测系统及方法,能有效对未知威胁进行及时、准确地检测,主动分析、判断、感知网络安全态势,保障电网系统的稳定运行。
第一方面,本发明提供一种电网未知威胁检测系统,包括电网安全态势感知平台、未知威胁分析系统、云沙箱系统以及电网安全运维系统;
所述未知威胁分析系统用于接收所述电网安全态势感知平台发送的异常网络流量并对所述异常网络流量进行检测,对所述异常网络流量中无法识别的可疑流量进行文件提取,将提取出的可疑文件提交至云沙箱系统;
所述云沙箱系统用于将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,生成分析结果,并将所述分析结果提交至所述电网安全运维系统,以使所述电网安全运维系统基于所述分析结果进行未知威胁的预警和管控。
在第一方面的一种可能的设计中,所述未知威胁分析系统具体用于:
在用户态接收所述电网安全态势感知平台发送的异常网络流量的数据包,并对所述数据包进行IP检测、端口检测、应用协议检测;
从所述数据包中分离出应用层数据包,将所述应用层数据包的特征值与特征库进行匹配,识别出已知恶意程序,并确定无法识别的可疑流量。
在第一方面的一种可能的设计中,所述云沙箱系统具体用于:
构建自定义虚拟环境,所述自定义虚拟环境包括已知系统或软件漏洞、电网环境中桌面和服务器的配置信息,将所述可疑文件运行在所述自定义虚拟环境中;
对所述可疑文件的运行进行监控,并记录所述可疑文件的所有行为,包括API调用和文件系统、注册表、进程和网络访问的变化。
在第一方面的一种可能的设计中,所述云沙箱系统还用于:
根据未知威胁分析系统提交的可疑文件及所述可疑文件对应的运行设定信息,确定与所述可疑文件匹配的沙箱镜像,所述沙箱镜像为根据所述自定义虚拟环境所配置的,每个沙箱镜像包括多个运行实例;
在匹配成功后,确定所述沙箱镜像是否存在处于空闲的运行实例;
若存在,则将所述处于空闲的运行实例还原到初始状态,并将所述可疑文件发送至所述运行实例中进行监测。
在第一方面的一种可能的设计中,所述云沙箱系统还用于:
在云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中时,利用SSDTHook技术对所述自定义虚拟环境的文件系统、注册表、进程、驱动程序、网络访问进行监控,在捕捉到可疑文件的虚拟机环境检测行为后,返回给所述可疑文件虚假系统信息,以使所述可疑文件无法检测出当前的虚拟环境。
第二方面,本发明提供一种电网未知威胁检测方法,所述方法包括:
未知威胁分析系统接收电网安全态势感知平台发送的异常网络流量并对所述异常网络流量进行检测,对所述异常网络流量中无法识别的可疑流量进行文件提取,将提取出的可疑文件提交至云沙箱系统;
云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,生成分析结果,并将所述分析结果提交至电网安全运维系统,以使所述电网安全运维系统基于所述分析结果进行未知威胁的预警和管控。
在第二方面的一种可能的设计中,未知威胁分析系统接收电网安全态势感知平台发送的异常网络流量并对所述异常网络流量进行检测,具体为:
未知威胁分析系统在用户态接收所述电网安全态势感知平台发送的异常网络流量的数据包,并对所述数据包进行IP检测、端口检测、应用协议检测;
从所述数据包中分离出应用层数据包,将所述应用层数据包的特征值与特征库进行匹配,识别出已知恶意程序,并确定无法识别的可疑流量。
在第二方面的一种可能的设计中,云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,具体为:
云沙箱系统构建自定义虚拟环境,所述自定义虚拟环境包括已知系统或软件漏洞、电网环境中桌面和服务器的配置信息,将所述可疑文件运行在所述自定义虚拟环境中;
对所述可疑文件的运行进行监控,并记录所述可疑文件的所有行为,包括API调用和文件系统、注册表、进程和网络访问的变化。
在第二方面的一种可能的设计中,所述方法还包括:
云沙箱系统根据未知威胁分析系统提交的可疑文件及所述可疑文件对应的运行设定信息,确定与所述可疑文件匹配的沙箱镜像,所述沙箱镜像为根据所述自定义虚拟环境所配置的,每个沙箱镜像包括多个运行实例;
在匹配成功后,确定所述沙箱镜像是否存在处于空闲的运行实例;
若存在,则将所述处于空闲的运行实例还原到初始状态,并将所述可疑文件发送至所述运行实例中进行监测。
在第二方面的一种可能的设计中,所述方法还包括:
在云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中时,云沙箱系统利用SSDT Hook技术对所述自定义虚拟环境的文件系统、注册表、进程、驱动程序、网络访问进行监控,在捕捉到可疑文件的虚拟机环境检测行为后,返回给所述可疑文件虚假系统信息,以使所述可疑文件无法检测出当前的虚拟环境。
相比现有技术,本发明实施例提供的电网未知威胁检测系统及方法,针对电力网络环境中的APT等未知威胁攻击,建立了一整套基于云沙箱系统的未知威胁的分析防御平台,整个分析防御平台与电网现有大数据分析平台和安全运维系统紧密集成,有效保障电网信息安全和稳定运行。
为使本发明的上述目的、技术方案和有益效果能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例中电网未知威胁检测方法的流程图;
图2示出了云沙箱系统的预处理阶段的示意图;
图3示出了本发明实施例中电网未知威胁检测系统的流程图。
图标:200-电网未知威胁检测系统;201-电网安全态势感知平台;202-未知威胁分析系统;203-云沙箱系统;204-电网安全运维系统。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来,而不能理解为指示或暗示相对重要性,也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
第一实施例
电网现有的安全防护体系可以有效地监测到一般的已知网络攻击,如:蠕虫、特洛伊木马、间谍软件、BOTNET及基本的电脑病毒等,但针对现今最具威胁的APT等未知攻击,却无法有效解决。由于APT利用先进的攻击手段,对特定目标进行长期持续的网络攻击,目的性强,隐蔽性高,攻击者渗透到网络内部后长期蛰伏,不断尝试各种攻击手段,最终达到控制企业网络与窃取数据等破坏行为,目前已成为电网的最主要安全威胁。
本实施例提供一种电网未知威胁检测方法,能够提高电网系统对恶意代码或未知攻击的捕获能力,进一步识别未知攻击的攻击意图,以便于电网安全运维系统及时进行阻止,保障电力网络的信息安全,可参阅图1,该方法包括:
步骤101:电网安全态势感知平台对电网数据流量进行大数据分析,识别出异常网络流量,发送至未知威胁分析系统。
电网安全态势感知平台是电力系统的大数据分析平台,基于大数据分析,能够有效识别出异常行为数据流,将分析获得的行为异常的数据流量提交至未知威胁分析系统,以便于进一步判断该异常的数据流量是否为正常文件或恶意程序。
步骤102:未知威胁分析系统接收该异常网络流量并对其进行检测,对异常网络流量中无法识别的可疑流量进行文件提取,将提取出的可疑文件提交至云沙箱系统。
步骤103:云沙箱系统将可疑文件运行在操作受限的自定义虚拟环境中,监控并记录可疑文件的运行过程,生成分析结果,并将分析结果提交至电网安全运维系统。
步骤104:电网安全运维系统基于该分析结果进行未知威胁的预警和管控。
上述方案中,电网安全态势感知平台对电网数据流量进行大数据分析,识别出行为异常的网络流量,未知威胁分析系统获取大数据分析的异常网络流量,将可疑样本从流量数据中进行文件提取及扫描,再提交至云沙箱系统进行深度检测与分析,云沙箱系统通过监控可疑文件(程序)的进程、注册表、驱动和网络行为,有效地甄别和捕获未知威胁,并将分析结果和电网安全运维系统进行实时数据交互,最终实现多层次立体化的未知威胁风险预警和管控,为电网网络安全防御提供了基础。
接下来对上述方案的可选实施方式进行具体的说明。
对于步骤102未知威胁分析系统针对基于大数据分析识别出的异常行为数据流量,具体的,在电力网络环境中,首先会侦测并阻止网络流量中存在的已知威胁(包括已知恶意网站、邮件、软件、病毒、木马、蠕虫等),利用深度包检测(Deep Packet Inspection,DPI)技术和深度流检测(Deep Flow Inspection,DFI)技术,进行应用协议检测,应用内容分析,行为模式识别。由于不同的应用通常依赖于不同的协议,而不同的协议都有其“特征值”,这些“特征值”可能是特定的端口、特定的字符串或者特定的字节序列,DPI技术通过对IP数据包内容进行分析,对业务流中数据报文中的“特征值”进行检测,来确定业务流承载的应用类型;而DFI采用的是一种基于流量行为的应用识别技术,即不同的应用类型体现在会话连接或数据流上的状态各有不同。
因此,在一种可选的实施例中,未知威胁分析系统在用户态进行异常流量数据包的获取,首先从该数据包中分离出IP数据包,获取数据包的源/目的IP地址;再从IP数据包中分离传输层数据包,获取端口地址;从传输层数据包中再分离出应用层数据包,即可提取出协议类型(如HTTP、SMTP、TFTP);再通过对应用层数据包内容进行读取,提取出数据包内容的特征值,对于压缩的数据包则需要解压才能获取数据包内容,将特征值与特征库进行匹配,进行应用和已知恶意程序的识别,并依据系统设定的规则对数据包进行禁止访问、丢弃后续报文、重定向连接、生成攻击日志告警、提交可疑样本至云沙箱系统等动作。
该未知威胁分析系统作为整个电网未知威胁防御的前置部分,获取电网环境中大数据分析识别出的异常行为数据流量,通过特征库和黑白名单匹配恶意应用及其行为,侦测流量中存在的已知威胁,避免恶意通讯对主机、网络设备的威胁攻击,为电力网络提供全面的网络威胁侦测,对于包含传统防御无法识别或不确定的可疑流量,进行应用层文件的分类和提取,再将提取出的可疑文件提交至云沙箱系统进行进一步的检测和分析。
进一步地,对于步骤103云沙箱系统可对未知威胁分析系统提交的可疑文件进行动态检测分析。云沙箱(Cloud SandBox)是一种采用虚拟化技术的沙箱模型,本实施例中利用云沙箱系统,通过建立操作受限的应用程序执行环境,将可疑文件放置在云沙箱中运行,监控其对沙箱系统资源的访问和操作行为,及时发现恶意行为,并限制其对系统可能造成的破坏。
具体的,云沙箱系统主要划分为虚拟层和控制层,其中虚拟层与真实物理资源进行对接,将处理器、内存、存储进行虚拟化,提供给上层沙箱子系统用作计算和存储,控制层主要包含:管理子系统和沙箱子系统,沙箱子系统通过使用虚拟化资源创建和运行应用程序执行环境,并监控可疑文件在虚拟环境中运行时对系统文件、注册表、内存、网络、进程的访问和操作,进行记录和分析。
在云沙箱系统的动态检测过程中,初始阶段是没有沙箱运行的,需要导入沙箱镜像模板,通过虚拟机软件创建虚拟机,例如可以为Virtual Box、VMware Workstation、VmwareESXi,根据当前电网特定的桌面和服务器环境,来制作自定义的镜像环境,再在其基础上修改镜像配置,如修改系统管理员密码、启用硬件虚拟化、音频驱动等,使其更精准的模拟真实操作系统环境,也便于沙箱平台加载调用,最后将创建的虚拟机导出成OVA文件,并导入到沙箱镜像库中。
云沙箱系统中的沙箱控制器通过设定的配置文件将沙箱镜像ID、镜像文件位置、还原脚本进行映射,当云沙箱系统接收到可疑文件后,会根据调度规则创建一个新的沙箱实例或还原一个旧的沙箱实例,来进行可疑文件的检测分析。
云沙箱系统关于整个未知威胁的检测流程可以分为三个阶段:预处理阶段、沙箱模拟分析阶段、分析和报表生成阶段。
未知威胁网络分析系统在发送可疑样本文件至云沙箱系统时,也会发送该可疑样本文件相应的运行设定条件信息,图2中示出了预处理阶段的过程示意图,样本接受器接收到样本文件及其信息后,将其加入到样本队列中进行排队等待处理,待系统有空闲能力处理该样本文件时,样本派发器会通知沙箱控制器进行处理;沙箱控制器根据样本文件的设定条件将其与系统的沙箱镜像进行匹配,如果发现没有匹配的沙箱镜像,则根据系统设定的规则选择一个默认镜像;若镜像匹配成功,继续查看该镜像是否有处于空闲状态的运行实例,如果有空闲沙箱实例,根据配置文件调用还原脚本将实例进行还原,再将样本发送到该实例中进行动态检测;如果没有空闲实例,且该沙箱镜像对应的沙箱实例数已经达到最大值,则沙箱控制器会等待其中某个沙箱实例之前的样本检测处理完毕后,再进行检测;如果实例数小于设定的最大值,则加载对应的沙箱镜像文件,创建沙箱实例进行样本检测。
在启动沙箱环境对可疑样本文件进行模拟分析时,通过沙箱平台传感器,来完成对虚拟环境中执行的恶意程序的监控和分析,该沙箱平台传感器理解为一系列用于在沙箱平台中执行和检测恶意软件并记录所有行为的实用程序,主要通过APIHook来记录用户态API调用行为,以及通过内核态Hook监控恶意软件对文件系统、注册表、进程的变化。
API Hook也可称为应用层Hook,Windows操作系统有许多API函数供应用程序调用,在用户空间通过API Hook截获进程对某个Windows API函数的调用,改变它的地址指向自定义Hook函数,在Hook函数中记录API的调用情况和参数信息,再跳转到原程序的起始位置继续执行,从而实现对可疑文件的行为监控,同时不影响原始的执行流程。
但是,在Windows操作系统环境下,常用的API函数的数量较多,存在几千个,若是对所有的API函数进行监控,会严重影响沙箱的性能,若只监控其中一部分重要的API函数,则会产生行为监控遗漏的问题,因此本实施例通过将内核态Hook与用户态API Hook相结合,直接监控该可疑文件对内核服务调用,实现更底层的行为监控。
具体的,在Windows操作系统中,默认存在两个系统服务描述表SSDT(SystemServices Descriptor Table):KeServiceDescriptorTable和KeServiceDescriptorTableShadow,在前者中记录的是常用的系统服务,包括内核服务函数地址索引的基地址、服务函数个数等有用信息,任何涉及到对系统资源的访问和操作都需要调用内核服务函数来实现,而从用户态函数转入内核函数必须经过SSDT进行转换,因此通过对SSDT表的Hook可以监控且拦截恶意程序对系统资源(文件系统、注册表、进程、内存等)的各种操作。需要说明的是,对KeServiceDecriptorTable结构体的定义可以简单的理解为一个数组,其基本结构如表1所示:
索引0 | 索引1 | 索引2 | ....... | ....... | 索引n |
服务0 | 服务1 | 服务2 | ....... | ....... | 服务n |
表1
在将可疑文件运行在虚拟环境中时,本实施例利用SSDT Hook技术,通过将SSDT表中的函数映射地址替换成自定义的Hook处理函数的地址,以后每次应用程序调用函数都会调用相应的自定义Hook处理函数,从而对系统资源调用进行监控和虚拟执行。
可选地,由于实际情况中,许多恶意代码都是在特定版本的应用或操作系统中利用特定漏洞执行的,若沙箱没有安装特定版本的应用,那么有些恶意的Flash文件或PDF文件等就不会下载,此时沙箱就无法检测到恶意行为。
一种可选的实施方式为,通过收集大量的当前已知的系统或软件漏洞,在虚拟环境中提前安装此类版本的软件,结合电网环境中桌面和服务器系统特殊的配置信息,对虚拟环境进行自定义,充分模拟针对电网APT攻击的目标环境,来诱导APT在环境中执行恶意代码,使其暴露恶意行为。
目前,存在很多APT攻击,其恶意代码通过寻找沙箱在系统内存、运行时加载的程序、文件系统和注册表中留下的典型特征来判断是否是在沙箱中运行,从而采取相应的手段逃避沙箱的检测,类似技术可称之为“沙箱逃逸技术”,本实施例可针对以下沙箱逃逸方式提供解决的方案:
第一,沙箱在对真实系统的模拟过程中会留下许多虚拟机的指纹信息,恶意程序会通过对虚拟层、虚拟装置、网络位址、BIOS、虚拟驱动程序、CPU等众多信息的检测,判定自己是否处于虚拟的沙箱环境中,从而不会执行恶意代码。
针对该种沙箱逃逸技术,沙箱平台传感器通过SSDT Hook技术对操作系统中的文件系统、注册表、进程、驱动程序、网络访问进行监控,一旦捕捉到恶意软件的上述检测行为,返回给恶意程序虚假系统信息。例如通过在SSDT表中Hook注册表读取的系统API,重定向到Hook函数,返回真实操作系统的注册表信息来迷惑恶意程序;通过对虚拟进程检测的监视,发现有程序在检测VBoxTray.exe等程序即可判定该程序行为可疑;通过对网卡地址和系统环境信息的随机化,规避恶意程序检测。
第二,恶意程序通过判断入侵系统中有无鼠标点击和对话框弹出,判断自身是否处于沙箱环境中,该类APT在入侵到目标系统后会一直处于潜伏状态,直到他们检测到目标系统中有鼠标移动、点击以及对话框等人机交互情况时,才会开始执行恶意代码。
针对该种沙箱逃逸技术,沙箱平台传感器通过对人机交互能力的仿真,在系统中加入移动鼠标、点击鼠标、点击对话框等模块,使恶意代码无法察觉当前的虚拟环境。
第三,越来越多的未知攻击开始利用沙箱的配置参数进行针对性逃避检测,例如“睡眠时钟”方法,该方法针对沙箱会检测大量加载文件,因此对单一文件的检测时间是有限的检测特征,延时执行恶意行为从而避免沙箱的检测。
针对该种沙箱逃逸技术,沙箱平台传感器不会仅对文件进行一次检测,可通过设置多次返回检测的方式有效的解决恶意代码通过设置睡眠逃过检测的问题。
当可疑样本文件在沙箱实例分析结束后,可获得结果分析文件,包括系统API调用及参数的日志记录文件、网络访问的记录数据包、详细的行为分析文件、统计信息文件、添加和修改的文件等。
详细的行为分析文件记录了可疑样本文件运行过程中的程序调用,包括可疑样本执行过程中每个进程调用开始和结束的时间、运行时的进程ID、调用的原因和结束执行的原因,以及进程和进程之间的父子关系,使可疑样本的整个执行过程清楚透明;统计信息文件主要记录了样本文件的基本信息和沙箱环境信息,包括:名称、ID、文件类型、MD5/SHA1值、分析时长、沙箱操作系统版本、应用软件信息、IP、MAC地址等;添加和修改的文件是可疑样本文件在加载执行过程中对沙箱环境中添加和修改的文件,通过对产生的文件字节比对和特征值匹配可以知道执行过程中是否生成恶意文件。
最后,将云沙箱系统获得的分析结果与电网安全运维系统进行数据交互,电网安全运维系统可根据该分析结果,及时发现未知威胁行为并及时推动应急响应流程,保障电网的信息安全和稳定运行。
综上所述,本实施例中的电网未知威胁检测方法,针对电力网络环境中的APT等未知威胁攻击,建立了一整套基于云沙箱系统的未知威胁的分析防御平台,整个分析防御平台与电网现有大数据分析平台和电网安全运维系统紧密集成,与电力网络系统中原有的防火墙等被动防御措施一同构筑起电网的安全保障体系。
第二实施例
本实施例提供一种电网未知威胁检测系统200,参阅图3,包括电网安全态势感知平台201、未知威胁分析系统202、云沙箱系统203以及电网安全运维系统204;
未知威胁分析系统202用于接收所述电网安全态势感知平台201发送的异常网络流量并对所述异常网络流量进行检测,对所述异常网络流量中无法识别的可疑流量进行文件提取,将提取出的可疑文件提交至云沙箱系统;
云沙箱系统203用于将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,生成分析结果,并将所述分析结果提交至所述电网安全运维系统,以使所述电网安全运维系统204基于所述分析结果进行未知威胁的预警和管控。
可选地,未知威胁分析系统202具体用于:在用户态接收所述电网安全态势感知平台发送的异常网络流量的数据包,并对所述数据包进行IP检测、端口检测、应用协议检测;从所述数据包中分离出应用层数据包,将所述应用层数据包的特征值与特征库进行匹配,识别出已知恶意程序,并确定无法识别的可疑流量。
可选地,云沙箱系统203具体用于:构建自定义虚拟环境,所述自定义虚拟环境包括已知系统或软件漏洞、电网环境中桌面和服务器的配置信息,将所述可疑文件运行在所述自定义虚拟环境中;对所述可疑文件的运行进行监控,并记录所述可疑文件的所有行为,包括API调用和文件系统、注册表、进程和网络访问的变化。
可选地,云沙箱系统203还用于:根据未知威胁分析系统提交的可疑文件及所述可疑文件对应的运行设定信息,确定与所述可疑文件匹配的沙箱镜像,所述沙箱镜像为根据所述自定义虚拟环境所配置的,每个沙箱镜像包括多个运行实例;在匹配成功后,确定所述沙箱镜像是否存在处于空闲的运行实例;若存在,则将所述处于空闲的运行实例还原到初始状态,并将所述可疑文件发送至所述运行实例中进行监测。
可选地,云沙箱系统203还用于:在云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中时,利用SSDT Hook技术对所述自定义虚拟环境的文件系统、注册表、进程、驱动程序、网络访问进行监控,在捕捉到可疑文件的虚拟机环境检测行为后,返回给所述可疑文件虚假系统信息,以使所述可疑文件无法检测出当前的虚拟环境。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,也可以通过其他的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得计算机设备执行本发明各个实施例所述方法的全部或部分步骤。前述的计算机设备包括:个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备,前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种电网未知威胁检测系统,其特征在于,包括电网安全态势感知平台、未知威胁分析系统、云沙箱系统以及电网安全运维系统;
所述未知威胁分析系统用于接收所述电网安全态势感知平台发送的异常网络流量并对所述异常网络流量进行检测,对所述异常网络流量中无法识别的可疑流量进行文件提取,将提取出的可疑文件提交至云沙箱系统;所述电网安全态势感知平台为电网现有大数据分析平台;
所述云沙箱系统用于将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,生成分析结果,并将所述分析结果提交至所述电网安全运维系统,以使所述电网安全运维系统基于所述分析结果进行未知威胁的预警和管控;
其中,通过收集大量的当前已知的系统或软件漏洞,在虚拟环境中提前安装具有所述漏洞的版本的软件,结合电网环境中桌面和服务器系统的配置信息,对虚拟环境进行自定义,模拟针对电网APT攻击的目标环境,获得所述自定义虚拟环境;
在云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中时,云沙箱系统中的沙箱平台传感器用于利用SSDT Hook技术对所述自定义虚拟环境的文件系统、注册表、进程、驱动程序、网络访问进行监控,在捕捉到可疑文件的虚拟机环境检测行为后,返回给所述可疑文件虚假系统信息,以使所述可疑文件无法检测出当前的虚拟环境;其中,沙箱平台传感器不会仅对所述可疑文件进行一次检测,而是设置为多次返回检测;
沙箱平台传感器用于通过对人机交互能力的仿真,使恶意代码无法察觉当前的虚拟环境;
所述云沙箱系统用于将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,包括:云沙箱系统中的样本接收器接收未知威胁分析系统发送的可疑文件以及相应的运行设定条件信息,并将所述可疑文件加入到样本队列中排队;云沙箱系统中的样本派发器在可处理所述可疑文件时通知沙箱控制器对所述可疑文件进行处理;所述沙箱控制器根据所述可疑文件的运行设定条件信息,将所述可疑文件与不同的沙箱镜像进行匹配,若未发现匹配的沙箱镜像,则选择一个默认镜像,并利用所述默认镜像对所述可疑文件进行检测;若发现匹配的沙箱镜像,则查询所述匹配的沙箱镜像是否有处于空闲状态的运行实例,若有处于空闲状态的运行实例,则将所述处于空闲状态的运行实例还原,并利用还原后的运行实例对可疑样本进行检测,若没有处于空闲状态的运行实例,则判断所述匹配的沙箱镜像对应的沙箱实例数是否已达到最大值,若达到最大值,则所述沙箱控制器等待所述匹配的沙箱镜像对应的任一运行实例处于空闲状态,若未达到最大值,则加载对应的沙箱镜像文件,创建新的运行实例,并利用所述新的运行实例对所述可疑样本进行检测。
2.根据权利要求1所述的系统,其特征在于,所述未知威胁分析系统具体用于:
在用户态接收所述电网安全态势感知平台发送的异常网络流量的数据包,并对所述数据包进行IP检测、端口检测、应用协议检测;
从所述数据包中分离出应用层数据包,将所述应用层数据包的特征值与特征库进行匹配,识别出已知恶意程序,并确定无法识别的可疑流量。
3.根据权利要求2所述的系统,其特征在于,所述云沙箱系统具体用于:
构建自定义虚拟环境,所述自定义虚拟环境包括已知系统或软件漏洞、电网环境中桌面和服务器的配置信息,将所述可疑文件运行在所述自定义虚拟环境中;
对所述可疑文件的运行进行监控,并记录所述可疑文件的所有行为,包括API调用和文件系统、注册表、进程和网络访问的变化。
4.一种电网未知威胁检测方法,其特征在于,所述方法包括:
未知威胁分析系统接收电网安全态势感知平台发送的异常网络流量并对所述异常网络流量进行检测,对所述异常网络流量中无法识别的可疑流量进行文件提取,将提取出的可疑文件提交至云沙箱系统;所述电网安全态势感知平台为电网现有大数据分析平台;
云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,生成分析结果,并将所述分析结果提交至电网安全运维系统,以使所述电网安全运维系统基于所述分析结果进行未知威胁的预警和管控;
其中,通过收集大量的当前已知的系统或软件漏洞,在虚拟环境中提前安装具有所述漏洞的版本的软件,结合电网环境中桌面和服务器系统的配置信息,对虚拟环境进行自定义,模拟针对电网APT攻击的目标环境,获得所述自定义虚拟环境;
在云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中时,云沙箱系统中的沙箱平台传感器利用SSDT Hook技术对所述自定义虚拟环境的文件系统、注册表、进程、驱动程序、网络访问进行监控,在捕捉到可疑文件的虚拟机环境检测行为后,返回给所述可疑文件虚假系统信息,以使所述可疑文件无法检测出当前的虚拟环境;其中,沙箱平台传感器不会仅对所述可疑文件进行一次检测,而是设置为多次返回检测;
在云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中时,所述沙箱平台传感器通过对人机交互能力的仿真,使恶意代码无法察觉当前的虚拟环境;
所述云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程包括:
云沙箱系统中的样本接收器接收未知威胁分析系统发送的可疑文件以及相应的运行设定条件信息,并将所述可疑文件加入到样本队列中排队;
云沙箱系统中的样本派发器在可处理所述可疑文件时通知沙箱控制器对所述可疑文件进行处理;
所述沙箱控制器根据所述可疑文件的运行设定条件信息,将所述可疑文件与不同的沙箱镜像进行匹配,若未发现匹配的沙箱镜像,则选择一个默认镜像,并利用所述默认镜像对所述可疑文件进行检测;若发现匹配的沙箱镜像,则查询所述匹配的沙箱镜像是否有处于空闲状态的运行实例,若有处于空闲状态的运行实例,则将所述处于空闲状态的运行实例还原,并利用还原后的运行实例对可疑样本进行检测,若没有处于空闲状态的运行实例,则判断所述匹配的沙箱镜像对应的沙箱实例数是否已达到最大值,若达到最大值,则所述沙箱控制器等待所述匹配的沙箱镜像对应的任一运行实例处于空闲状态,若未达到最大值,则加载对应的沙箱镜像文件,创建新的运行实例,并利用所述新的运行实例对所述可疑样本进行检测。
5.根据权利要求4所述的方法,其特征在于,未知威胁分析系统接收电网安全态势感知平台发送的异常网络流量并对所述异常网络流量进行检测,具体为:
未知威胁分析系统在用户态接收所述电网安全态势感知平台发送的异常网络流量的数据包,并对所述数据包进行IP检测、端口检测、应用协议检测;
从所述数据包中分离出应用层数据包,将所述应用层数据包的特征值与特征库进行匹配,识别出已知恶意程序,并确定无法识别的可疑流量。
6.根据权利要求5所述的方法,其特征在于,云沙箱系统将所述可疑文件运行在操作受限的自定义虚拟环境中,监控并记录所述可疑文件的运行过程,具体为:
云沙箱系统构建自定义虚拟环境,所述自定义虚拟环境包括已知系统或软件漏洞、电网环境中桌面和服务器的配置信息,将所述可疑文件运行在所述自定义虚拟环境中;
对所述可疑文件的运行进行监控,并记录所述可疑文件的所有行为,包括API调用和文件系统、注册表、进程和网络访问的变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811447468.XA CN109586282B (zh) | 2018-11-29 | 2018-11-29 | 一种电网未知威胁检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811447468.XA CN109586282B (zh) | 2018-11-29 | 2018-11-29 | 一种电网未知威胁检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109586282A CN109586282A (zh) | 2019-04-05 |
CN109586282B true CN109586282B (zh) | 2021-03-09 |
Family
ID=65925198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811447468.XA Active CN109586282B (zh) | 2018-11-29 | 2018-11-29 | 一种电网未知威胁检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109586282B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532768A (zh) * | 2019-08-21 | 2019-12-03 | 东软医疗系统股份有限公司 | 系统安全加固方法及装置 |
CN110751570A (zh) * | 2019-09-16 | 2020-02-04 | 中国电力科学研究院有限公司 | 一种基于业务逻辑的电力业务报文攻击识别方法及系统 |
CN110597690A (zh) * | 2019-09-16 | 2019-12-20 | 深圳力维智联技术有限公司 | 系统行为态势感知方法、系统及设备 |
CN110868421A (zh) * | 2019-11-19 | 2020-03-06 | 泰康保险集团股份有限公司 | 恶意代码的识别方法、装置、设备及存储介质 |
CN111147491B (zh) * | 2019-12-26 | 2022-11-22 | 深信服科技股份有限公司 | 一种漏洞修复方法、装置、设备及存储介质 |
CN111177765A (zh) * | 2020-01-06 | 2020-05-19 | 广州知弘科技有限公司 | 金融大数据处理方法、存储介质和系统 |
CN111464526A (zh) * | 2020-03-30 | 2020-07-28 | 深信服科技股份有限公司 | 一种网络入侵检测方法、装置、设备及可读存储介质 |
US11941710B2 (en) | 2021-01-14 | 2024-03-26 | Cisco Technology, Inc. | Behavioral modeling for power utility automation networks |
CN112784270A (zh) * | 2021-01-18 | 2021-05-11 | 仙境文化传媒(武汉)有限公司 | 一种使用注解方式加载代码文件的系统及方法 |
CN117235712B (zh) * | 2023-11-14 | 2024-02-02 | 北京网藤科技有限公司 | 一种沙箱检测勒索病毒的方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4705563B2 (ja) * | 2006-12-20 | 2011-06-22 | 株式会社日立製作所 | 配電系統の状態推定装置、状態推定方法及びそのプログラム |
CN106341282A (zh) * | 2016-11-10 | 2017-01-18 | 广东电网有限责任公司电力科学研究院 | 一种恶意代码行为分析装置 |
CN106341426A (zh) * | 2016-11-11 | 2017-01-18 | 中国南方电网有限责任公司 | 一种防御apt攻击的方法及安全控制器 |
-
2018
- 2018-11-29 CN CN201811447468.XA patent/CN109586282B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109586282A (zh) | 2019-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109586282B (zh) | 一种电网未知威胁检测系统及方法 | |
US11936666B1 (en) | Risk analyzer for ascertaining a risk of harm to a network and generating alerts regarding the ascertained risk | |
Arshad et al. | SAMADroid: a novel 3-level hybrid malware detection model for android operating system | |
US11240262B1 (en) | Malware detection verification and enhancement by coordinating endpoint and malware detection systems | |
US10581879B1 (en) | Enhanced malware detection for generated objects | |
US10657251B1 (en) | Multistage system and method for analyzing obfuscated content for malware | |
US10169585B1 (en) | System and methods for advanced malware detection through placement of transition events | |
US20210064751A1 (en) | Provenance-based threat detection tools and stealthy malware detection | |
Bayer et al. | Scalable, behavior-based malware clustering. | |
US9781144B1 (en) | Determining duplicate objects for malware analysis using environmental/context information | |
CN111274583A (zh) | 一种大数据计算机网络安全防护装置及其控制方法 | |
US9158915B1 (en) | Systems and methods for analyzing zero-day attacks | |
JP6400758B2 (ja) | 不正リモート管理からのコンピュータを保護するためのシステム及び方法 | |
KR101132197B1 (ko) | 악성 코드 자동 판별 장치 및 방법 | |
US9239922B1 (en) | Document exploit detection using baseline comparison | |
KR101043299B1 (ko) | 악성 코드 탐지 방법, 시스템 및 컴퓨터 판독 가능한 저장매체 | |
US11019096B2 (en) | Combining apparatus, combining method, and combining program | |
CN110188538B (zh) | 采用沙箱集群检测数据的方法及装置 | |
CN108369541B (zh) | 用于安全威胁的威胁风险评分的系统和方法 | |
US10645099B1 (en) | Malware detection facilitated by copying a memory range from an emulator for analysis and signature generation | |
CN106415577B (zh) | 用于识别可疑事件来源的系统和方法 | |
CN111464526A (zh) | 一种网络入侵检测方法、装置、设备及可读存储介质 | |
CN110855649A (zh) | 一种检测服务器中异常进程的方法与装置 | |
CN103942491A (zh) | 一种互联网恶意代码处置方法 | |
CN108156127B (zh) | 网络攻击模式的判断装置、判断方法及其计算机可读取储存媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |