CN106687974B - 攻击观察装置以及攻击观察方法 - Google Patents

攻击观察装置以及攻击观察方法 Download PDF

Info

Publication number
CN106687974B
CN106687974B CN201480082071.9A CN201480082071A CN106687974B CN 106687974 B CN106687974 B CN 106687974B CN 201480082071 A CN201480082071 A CN 201480082071A CN 106687974 B CN106687974 B CN 106687974B
Authority
CN
China
Prior art keywords
simulated environment
communication
state
malware
attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480082071.9A
Other languages
English (en)
Other versions
CN106687974A (zh
Inventor
河内清人
樱井钟治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN106687974A publication Critical patent/CN106687974A/zh
Application granted granted Critical
Publication of CN106687974B publication Critical patent/CN106687974B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/145Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1491Countermeasures against malicious traffic using deception as countermeasure, e.g. honeypots, honeynets, decoys or entrapment

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Virology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及作为模拟环境的攻击观察装置以及攻击观察方法,其构建为使攻击者创建的恶意软件等恶意程序动作并观察其行为和攻击方法。攻击观察装置具有:低交互型模拟环境,其在终端上对来自恶意软件的通信,执行预先确定的响应;高交互型模拟环境,其通过模拟终端的虚拟机,对来自恶意软件的通信执行响应;以及通信管理部,其监视低交互型模拟环境针对来自恶意软件的通信的执行状态,根据低交互型模拟环境的执行状态,将来自恶意软件的通信切换到高交互型模拟环境。

Description

攻击观察装置以及攻击观察方法
技术领域
本发明涉及作为模拟环境的攻击观察装置,其构建为使攻击者创建的恶意软件等恶意程序动作并观察其行为和攻击方法。
背景技术
以往,已知有如下方式(以下称作模拟环境):在构建为使攻击者创建的恶意软件等恶意程序动作并观察其行为和攻击方法的模拟网络系统中,对在网络系统内动作的终端或服务器进行模拟。例如专利文献1记载的那样,已知有通过模拟程序进行仿真的方式,该模拟程序将从恶意软件的感染终端发送的通信数据作为输入,根据其内容确定并回送响应数据。以下,将这样的模拟环境称作低交互型蜜罐(honeypot)(低交互型模拟环境的一例)。
并且例如,如专利文献2和非专利文献1记载的那样,还已知有如下方式:使虚拟机在利用市场售卖的产品的虚拟化环境上运转,将其用作模拟环境。以下,将这样的模拟环境称作高交互型蜜罐(高交互型模拟环境的一例)。
现有技术文献
专利文献
专利文献1:日本特开2009-181335号公报
专利文献2:日本特开2012-212391号公报
非专利文献
非专利文献1:笠間貴弘、他、“疑似クライアントを用いたサーバ応答蓄積型マルウェア動的解析システム、”情報処理学会、マルウェア対策研究人材ワークショップ2009(MWS2009)A7-2、(2009年10月).
发明内容
发明要解决的课题
在低交互型蜜罐中,各模拟终端和服务器利用预先通过程序确定的方法,对接收到的通信分组的内容回送响应。由于仅对从恶意软件发送的分组回送已确定的响应即可,因此有处理的负荷轻、能够同时模拟大量的终端和服务器的优点,但相反地,在接收到包含程序无法处理的内容(例如,未知的攻击)的分组的情况下,存在无法与实物同样地进行响应的问题。此外,存在如下问题:即使受到了伴随恶意软件感染的攻击,也无法在模拟环境内使恶意软件动作。
另一方面,在高交互型蜜罐中,还能够应对未知的攻击、恶意软件的感染这些之前的课题。但是,在使用这些高交互型蜜罐的模拟环境中,为了模拟1台终端或服务器,需要与实物同等的资源(CPU、存储器、HDD等),因此存在如下问题:例如在要对整个业务系统进行模拟时,必须准备大量的终端和服务器。
如上所述,在现有技术中,存在无法精巧地模拟大规模的系统的课题。
本发明正是为了解决上述问题而完成的,其目的在于,实现一种即使是业务系统等大的网络系统,也能够利用较少的计算机资源精巧地进行模拟的攻击观察装置。
用于解决课题的手段
为了解决上述课题,本发明的攻击观察装置是使恶意软件动作来观察所述恶意软件的攻击的环境,所述攻击观察装置具有:低交互型模拟环境,其在终端上对来自所述恶意软件的通信,执行预先确定的响应;高交互型模拟环境,其通过模拟所述终端的虚拟机,对来自所述恶意软件的通信执行响应;以及通信管理部,其监视所述低交互型模拟环境针对来自所述恶意软件的通信的执行状态,根据所述低交互型模拟环境的所述执行状态,将来自所述恶意软件的通信切换到所述高交互型模拟环境。
发明效果
根据本发明,最初通过低交互型蜜罐处理通信,仅在必要的情况下切换到高交互型蜜罐,从而能够抑制高交互型蜜罐的使用,因此具有如下效果:能够利用较少的计算机资源实现模拟了大规模的系统的攻击观察装置。
附图说明
图1是示出实施方式1的攻击观察装置的一个结构例的结构图。
图2是详细说明通信管理部112和网络111的结构的图。
图3是详细说明低交互型蜜罐部106的结构的图。
图4是示出蜜罐执行状态管理部115中存储的蜜罐执行状态数据的一例的图。
图5是示出终端状态转变场景蓄积部110中存储的终端状态转变场景的一例的图。
图6是示出高交互型蜜罐执行指令蓄积部116中存储的高交互型蜜罐执行指令定义表的一例的图。
图7是示出终端状态蓄积部109的一个结构例的图。
图8是示出通信管理部112与其它终端之间进行的通信和在通信管理部112内执行的处理的序列图。
图9是示出通信协议的状态转变的一例的图。
图10是示出低交互型蜜罐802的动作流程的流程图。
图11是示出通信处理程序303内的动作流程的流程图。
图12是示出终端状态管理部108的动作流程的流程图。
图13是示出能够在终端状态管理部112中执行的指令的例子的图。
图14是示出终端状态转变场景执行部107的动作流程的流程图。
图15是示出实施方式2的通信管理部112外围的系统结构的一例的图。
图16是示出本实施方式3的通信管理部112外围的系统结构的一例的图。
图17是示出ARP响应分组的一例的图。
图18是示出本实施方式4的通信管理部112外围的系统结构的一例的图。
图19是示出本实施方式4的低交互型蜜罐部106的结构的一例的图。
图20是示出实施方式4的低交互型蜜罐部106的动作流程的流程图。
图21是示出实施方式4的通信处理程序的动作流程的流程图。
图22是示出实施方式5的通信管理部112外围的系统结构的一例的图。
具体实施方式
实施方式1
图1是示出实施方式1的攻击观察装置的一个结构例的结构图。
在图1中,作为攻击观察装置的蜜罐系统101由以下部件构成:作为高交互型模拟环境的高交互型蜜罐部103、作为低交互型模拟环境的低交互型蜜罐部106、终端状态转变场景执行部107、终端状态管理部108、终端状态蓄积部109、终端状态转变场景蓄积部110、通信管理部112、作为执行状态管理部的蜜罐执行状态管理部115以及作为执行指令蓄积部的高交互型蜜罐执行指令蓄积部116。以下,将高交互型蜜罐部103和低交互型蜜罐部106统称作蜜罐。
高交互型蜜罐部103存储作为高交互型蜜罐发挥功能的虚拟机组104以及执行该虚拟机组104的虚拟机执行环境105。低交互型蜜罐部106作为低交互型蜜罐进行动作。终端状态转变场景执行部107将在蜜罐系统101内模拟的各终端内自发地产生的文件等的状态变化,命令给终端状态管理部108。终端状态管理部108按照来自终端状态转变场景执行部107或低交互型蜜罐部106的指令,取得和变更各终端内的文件等的状态。终端状态转变场景蓄积部110蓄积终端状态转变场景,该终端状态转变场景表示各终端的状态转变的场景。通信管理部112对蜜罐间或蜜罐与外部网络102之间的通信进行中继和管理。蜜罐执行状态管理部115管理蜜罐执行状态数据,该蜜罐执行状态数据表示蜜罐的当前执行状态。高交互型蜜罐执行指令蓄积部116蓄积高交互型蜜罐执行指令定义表,该高交互型蜜罐执行指令定义表对在高交互型蜜罐部103上再现终端状态转变场景时起动的指令等进行定义。通信管理部112通过网络111与虚拟机组104连接,通过网络113与低交互型蜜罐部106连接。还通过网络114与外部网络102连接。
图2是详细说明通信管理部112和网络111的结构的图。
在图2中,通信管理部112由以下部件构成:分组接收部207,其接收发往通信管理部112的分组;从通信管理部112发送分组的分组发送部208;回送针对ARP(AddressResolution Protocol:地址解析协议)的伪装响应的ARP响应部209;对通信进行中继的网关部210;以及通信恢复用数据蓄积部211,其蓄积在模拟终端的执行状态转变时,在转变后的模拟终端上重新构建转变前的通信状态所需的数据。此外,通信管理部112通过网络113与低交互型蜜罐106连接,通过网络114与蜜罐系统外连接。
图1中的网络111在图2中由以下部分构成:高交互型蜜罐部103内的虚拟交换机205、按照每个虚拟机201~202而在与虚拟交换机205之间铺设的VLAN(Virtual LocalArea Network:虚拟局域网)203~204以及对虚拟交换机205和通信管理部112进行trunk(中继)连接的网络206。
图3是详细说明低交互型蜜罐部106的结构的图。
在图3中,低交互型蜜罐部106具有通信处理程序执行部301、通信处理程序蓄积部302。通信处理程序执行部301进行TCP/IP(Transmission Control Protocol/InternetProtocol:传输控制协议/网际协议)或TLS(Transport Layer Security:传输层安全性)这样的公共的通信协议的处理、以及对应用层通信进行处理的通信处理程序的执行。通信处理程序蓄积部302存储一个以上的通信处理程序303。另外,各通信处理程序303能够按照程序名称进行识别。
图4是示出蜜罐执行状态管理部115中存储的蜜罐执行状态数据的一例的图。
在图4中,蜜罐执行状态数据由终端ID 401、通信处理程序名称402、文件系统名称403、IP地址404、执行状态405、VLAN ID 406构成。
图5是示出终端状态转变场景蓄积部110中存储的终端状态转变场景的一例的图。
在图5中,终端状态转变场景由场景的实施时刻501、表示作为实施对象的模拟终端的ID的终端ID 502以及为了产生状态转变而实施的指令503构成。
图6是示出高交互型蜜罐执行指令蓄积部116中存储的高交互型蜜罐执行指令定义表的一例的图。
在图6中,高交互型蜜罐执行指令定义表由如下部分构成:指令名称601、实施指令的终端的终端ID 602、在实施指令时起动的起动程序603以及具有实施操作时的用户权限的用户ID 604。在起动程序603中,如605所示,能够指定参照由起动程序603的指令给出的自变量的变量(图6中,为$1)。
图7是示出终端状态蓄积部109的一个结构例的图。
图7中,在终端状态蓄积部109中存储有各模拟终端的虚拟机镜像701~702。虚拟机镜像将各模拟终端的文件系统的镜像作为文件进行保存。将这样的文件系统的镜像作为文件进行保存的方法能够如下容易地实现:例如基本OS的dd指令那样,依次读取HDD内的各扇区并保存到文件中等。
接着,对实施方式1的攻击观察装置的动作进行说明。
首先,说明整体的动作概要。在本实施方式1的蜜罐系统101内被模拟的终端在低交互型蜜罐状态、高交互型蜜罐状态的两种执行状态之间转变。
在发生了以在本系统内模拟的对象的终端为发送目的地的通信的情况下,通信管理部112根据该终端的执行状态,将通信数据中继到低交互型蜜罐部106或高交互型蜜罐部103内的虚拟机组104。
在低交互型蜜罐部106中,按照通信处理程序303,回送针对发送来的通信数据的响应。在由于发生了对处理方法未定义的通信的情况等理由,通信处理程序303判断为需要切换到高交互型蜜罐的情况下,在高交互型蜜罐部103内起动模拟发送目的地终端的虚拟机,该终端的执行状态转变成高交互型蜜罐状态。之后的通信被通信管理部112传送到虚拟机。
终端状态转变场景执行部107通过操作终端状态管理部108,按照场景实施各模拟终端内的自发的状态变更。自发的状态变更是指与向模拟终端的通信无关地发生的状态变化即文件的变更,其目的是为了看起来好像正规的用户正在模拟终端上进行活动那样。
接着,说明攻击观察装置的各部的详细动作。首先,参照图8说明通信管理部112的动作。
图8是示出通信管理部112与其它终端之间进行的通信和在通信管理部112内执行的处理的序列图。
在图8中,首先,在终端1(801)向模拟终端(IP地址为IP2)进行通信的情况下,终端1以IP2为发送目的地而发送连接请求(803)。连接请求被通信管理部112的分组接收部207接收,并转交给网关部210。在网关部210中,建立与发送方之间的连接。以发送目的地IP地址为关键字,检索蜜罐执行状态管理部115内的蜜罐执行状态数据(图4),在确认该终端是模拟终端时,从通信管理部112对低交互型蜜罐802进行连接请求,建立连接(804)。即,从终端向另一终端的连接被通信管理部112内的网关部210终止,成为2根的连接。不仅在TCP构建的会话中,而且在TLS(Transport Layer Security:传输层安全性)等更上层的协议构建的会话中,也由通信管理部112终止。
然后,终端1(801)与低交互型蜜罐(802)在被通信管理部112中继通信的同时进行通信(805~815)。通信管理部112对通信进行中继,并且监视正在中继的通信的应用层的通信状态变化,将发生了状态转变时的通信保存到通信恢复用数据蓄积部211。
例如,设图8中例示的通信对应用层协议进行了中继,该应用层协议进行由图9所示的状态转变图表示的状态转变。
图9是示出通信协议的状态转变的一例的图。
在图9的状态转变的情况下发生了登录(904)通信时,可知通信状态从已连接(903)转变成已登录(905)。因此,在808中登录成功后,在809中将登录数据保存到通信恢复用数据蓄积部211。另外,在登录后中继的指令符合图9的906的转变,由于不引起状态转变,因此不被保存到通信恢复用数据蓄积部211中。
接着,在815中向低交互型蜜罐802传送指令#n的通信后,当从低交互型蜜罐802送来蜜罐的切换请求816时,通信管理部112将蜜罐执行状态管理部115内的蜜罐执行状态数据(图4)内的模拟终端的执行状态变更成高交互型蜜罐状态(817)。然后,在高交互型蜜罐部103内起动新的虚拟机,使用与其它虚拟机独立的VLAN,与虚拟交换机连接(819)。
然后,通信管理部112对已起动的虚拟机进行连接(820),为了使通信状态恢复至紧前在低交互型蜜罐802与终端1(801)之间进行的通信的状态,使用保存在通信恢复用数据蓄积部211中的登录数据,发送登录请求(821)并接收登录响应(822)。另外,在821~822的通信状态恢复中,恢复蜜罐切换紧前的通信状态,因此不将指令#1~指令#n-1作为恢复对象。然后,发送最后发送到低交互型蜜罐802的指令#n(823),将作为其响应的指令#n结果(824)传送到终端1(801)(825)。
这样,虽然作为配置于两终端间,与各个终端进行独立的连接并在两个连接之间传送数据的装置,已知代理服务器等,但是,作为本实施方式1与这些公知的实施例的不同点,可列举以下一点:本实施方式1中的通信管理部112伪装IP地址,由此不论从哪个终端都无法识别通信对方是通信管理部112。该动作如下实现:在开始对各模拟终端的通信时,针对通信方终端广播对方的MAC(Media Access Control:介质访问控制)地址的ARP(AddressResolution Protocol:地址解析协议)请求,通信管理部112的ARP响应部209响应通信管理部112的MAC地址。
在本实施方式1中,通信管理部112的分组发送部208需要决定必须将分组传播到哪个网络上。因此,分组发送部208参照蜜罐执行状态管理部115中存储的蜜罐执行状态数据,确认与发送目的地IP对应的模拟终端的执行状态。如果执行状态是低交互型,则将分组发送到与低交互型蜜罐802连接的网络(图2中,是113)上,如果是高交互型,则从蜜罐执行状态数据中取得连接有该模拟终端的VLAN ID,为了到达该VLAN,将VLAN ID作为标签而存储到L2帧(标签VLAN)并发送分组。
接着,参照图10说明低交互型蜜罐802的动作。
图10是示出低交互型蜜罐802的动作流程的流程图。
首先,在步骤S101中,低交互型蜜罐802等待分组的到达。
接着,在步骤S102中,在分组到达低交互型蜜罐802时,低交互型蜜罐802取得发送目的地IP。
然后,在步骤S103中,低交互型蜜罐802将已取得的发送目的地IP作为关键字,检索执行状态管理部115中存储的蜜罐执行状态数据,取得登记在该数据中的终端ID和通信处理程序名称。
接着,在步骤S104中,低交互型蜜罐802将已取得的终端ID作为参数给出,执行通信处理程序303。
这里,通信处理程序303内的处理详情根据该程序模拟的协议而变化,但是,处理流程如图11的流程图所示。
图11是示出通信处理程序303内的动作流程的流程图。
首先,在步骤S201中,通信处理程序303从通信处理程序执行部301接收到达的分组的数据。
接着,在步骤S202中,通信处理程序303进行接收到的数据的分析,决定是回送响应、是结束处理、还是切换到高交互型蜜罐。
然后,在步骤S202中分析数据的结果是需要切换到高交互型蜜罐这样的结果的情况下,在步骤S203中,通信处理程序303分支到步骤S204,对执行结果设置“切换请求”而结束程序。
接着,在步骤S202中分析数据的结果是决定结束处理的情况下,在步骤S205中,通信处理程序303分支到步骤S206,对执行结果设置“结束”而结束程序。此外,在步骤S202中分析数据的结果是回送响应的情况下,分支到步骤S207。
接着,在步骤S207中,通信处理程序303在生成对接收到的数据的响应后,判定是否需要参照或变更终端状态。例如,符合的有如下情况等:需要在响应中存储模拟终端内的某些文件的内容,或者接收到的数据是请求变更某些文件的指令。在判断为需要参照或变更终端状态的情况下,分支到步骤S208,终端状态管理部108调用终端ID和指令作为参数,实施必要的参照或变更。
最后,在步骤S209中,通信处理程序303生成响应数据并发送到通信管理部112。发送的数据通过通信管理部112的网关部210被传送到发送目的地终端。然后,通信处理程序303再次返回步骤S201,等待下一数据到达。
在通信处理程序结束后,处理返回到图10的步骤S105。
在步骤S105中,低交互型蜜罐802确认通信处理程序的执行结果,在是“切换请求”的情况下分支到步骤S106,向通信管理部112通知蜜罐切换请求。然后,低交互型蜜罐802再次返回到步骤S101。
接着,参照图12说明终端状态管理部108的动作。
图12是示出终端状态管理部108的动作流程的流程图。
首先,在步骤S301中,终端状态管理部108接收终端ID和指令。
接着,在步骤S302中,终端状态管理部108将接收到的该终端ID作为关键字,取得执行状态管理部115中存储的文件系统名称。
接着,在步骤S303中,终端状态管理部108根据已取得的文件系统名称,选择并调用如下函数,该函数用于执行在存储有该文件系统的虚拟机镜像上给出的指令。例如基本OS的mount指令那样,如果使用将文件应用于能够作为虚拟的文件系统进行操作的指令的技术,则能够生成这样的函数。
另外,在本实施方式1中,对于函数,作为函数被安装到终端状态管理部108,但是,还能够划分成模块,并按照文件系统名称对要加载的模块进行切换。
此外,在本实施方式1中,说明能够在终端状态管理部112中执行的指令的例子。
图13是示出能够在终端状态管理部112中执行的指令的例子的图。
如图13所示,有的指令需要作为操作对象的文件名称等参数。该情况下,指令名称和所需的参数成为一个完整的指令。另外,能够在终端状态管理部112中执行的指令不限于图13示出的例子。
最后,在步骤S304中,终端状态管理部108将执行函数的处理结果回送到调用方而结束处理。
接着,参照图14说明终端状态转变场景执行部107的处理。
图14是示出终端状态转变场景执行部107的动作流程的流程图。
首先,在步骤S401中,终端状态转变场景执行部107在系统起动时,从终端状态转变场景蓄积部110加载终端状态转变场景。如图5所示,终端状态转变场景由表形式构成,该表形式将实施时刻501、终端ID 502、指令503作为要素。
接着,在步骤S402中,终端状态转变场景执行部107取得当前的时刻。
然后,在步骤S403中,终端状态转变场景执行部107调查在终端状态转变场景中是否存在记载有与在步骤S402中取得的时刻一致的实施时刻501的实施场景。如果没有,则返回步骤S402。
接着,在步骤S404中,终端状态转变场景执行部107取得该场景的终端ID 502和指令503。
然后,在步骤S405中,终端状态转变场景执行部107将已取得的终端ID作为关键字来检索执行状态管理部115,取得该ID的终端的执行状态。
接着,在步骤S406中,终端状态转变场景执行部107确认由该终端ID表示的模拟终端的执行状态是否是高交互型蜜罐。如果是高交互型蜜罐,则分支到步骤S407。
接着,在步骤S407中,终端状态转变场景执行部107将指令名称和终端ID作为关键字,对高交互型蜜罐执行指令蓄积部116中存储的高交互型蜜罐执行指令定义表(图6)进行检索,取得符合操作的起动程序603和用户ID 604。在起动程序603中,记载有在虚拟机上起动的程序名称和在起动时给出的自变量。图6中被记作$1的部分是指令包含的参数中的、指示第一个值的变量。在该虚拟机上,通过已取得的用户ID的权限,起动已取得的起动程序603。这样的虚拟机内的程序起动是在已有的虚拟机执行环境的产品中也已提供的功能,容易实现。
最后,在步骤S408中,终端状态转变场景执行部107向终端状态管理部108转交终端ID和从场景取得的指令,并返回到步骤S402。
如上所述,在本实施方式1的发明中,由通信管理部112切换传送目的地蜜罐,由此,最初通过低交互型蜜罐处理通信,仅在必要的情况下切换到高交互型蜜罐,从而能够抑制高交互型蜜罐的使用,因此具有如下效果:能够利用较少的计算机资源实现模拟了大规模的系统的攻击观察装置。
此外,作为存储于终端状态蓄积部109的终端状态,使用虚拟机的镜像文件,进而由终端状态管理部108对该文件进行操作,由此,能够使低交互型蜜罐和高交互型蜜罐的执行状态同步。
此外,由通信管理部112追踪应用层的协议状态转变,蓄积状态恢复所需的数据,在切换蜜罐时进行用于恢复通信状态的通信,由此,能够在不引起通信的状态不匹配等的情况下切换蜜罐。
此外,在通信管理部112内终止通信,由此,即使是使用了TCP或TLS这些协议的通信,也能够切换蜜罐。
此外,通信管理部112对针对全部模拟终端IP的ARP请求回送ARP响应,进而在将虚拟机连接到各自不同的VLAN上的状态下进行起动,由此,能够保证全部通信经由通信管理部112。
此外,按照终端状态转变场景变更终端状态,由此,能够在模拟终端内再现好像用户正在执行业务那样的状态。
此外,在使高交互型蜜罐进行按照终端状态转变场景的状态转变时,在虚拟机内起动进程,由此,能够进一步伪装成好像用户正在执行业务。
实施方式2
在以上的实施方式1中,是通信管理部112向低交互型蜜罐和高交互型蜜罐传送通信,接着,在本实施方式2中,说明利用通信管理部112的网关部210使低交互型蜜罐进行动作的情况。
图15是示出实施方式2的通信管理部112外围的系统结构的一例的图。
将图15与图2比较可知,不再有低交互型蜜罐部106,取而代之,网关部210成为网关部兼低交互型蜜罐部1501。
接着,说明本实施方式2中的网关部兼低交互型蜜罐部1501的动作。网关部兼低交互型蜜罐部1501在接收到来自终端的通信时,与实施方式1的网关部210同样地保存通信恢复用的数据,并且利用低交互型蜜罐部处理通信。这样的处理能够如下容易地实现:替代在实施方式1的网关部210上传送通信,而是向实施方式1中公开的通信处理程序303输入数据。在通信处理程序303回送了蜜罐的切换请求的情况下,利用与实施方式1相同的方法,进行高交互型蜜罐的起动以及通信状态的恢复。之后与实施方式1同样,向已起动的高交互型蜜罐传送通信。
如上所述,在本实施方式2的发明中,在通信管理部112上实施低交互型蜜罐的处理,由此具有以下效果:不再有向低交互型蜜罐传送通信的开销,能够降低针对通信的响应延迟。
实施方式3
在以上的实施方式1、2中,使高交互型蜜罐部103内的各虚拟机分别与独立的VLAN连接,接着,在本实施方式3中说明如下情况:不使用VLAN而在通信管理部112上设定各虚拟机的ARP高速缓存,由此能够得到同等的效果。
图16是示出本实施方式3的通信管理部112外围的系统结构的一例的图。
将图16与图2比较可知,虚拟机201、202以及通信管理部112被连接到同一LAN。此外,将在实施方式1的通信管理部112内为ARP响应部209的结构置换成ARP高速缓存设定部1601。
接着,说明本实施方式3中的通信管理部112的动作。在本实施方式3中,通信管理部112对起动中的各虚拟机定期地发送ARP响应分组,该ARP响应分组表示与全部模拟终端的IP对应的MAC地址是分配给与网络206连接的通信管理部112的接口的MAC地址。
图17是示出ARP响应分组的一例的图。
如图17所示,在分组中,使用通信管理部112的MAC地址,作为针对各虚拟机IP(1702)的MAC地址(1701)。由此,对于各虚拟机,即使通信对方是相邻的虚拟机,也不直接向该虚拟机发送通信而向通信管理部112发送分组。
如上所述,在本实施方式3的发明中,通过伪装ARP响应并发送到各虚拟机,不再需要通过VLAN分离各虚拟机,存在能够简化系统结构的效果。
另外,本实施方式3中公开的方式不仅能够适用于实施方式1,当然也同样能够适用于实施方式2。
实施方式4
在以上的实施方式1~3中,是将通信状态恢复所需的数据全部保存到通信管理部112中,在通信状态恢复时,通信管理部112与已起动的虚拟机进行通信,接着,在本实施方式4中,说明针对应用层的通信状态恢复使用低交互型蜜罐的情况。
图18是示出本实施方式4的通信管理部112外围的系统结构的一例的图。
图18与实施方式1的图2相比,不再有通信恢复用数据蓄积部211,并且附加有应用层恢复用通信传送部1801,该应用层恢复用通信传送部1801将来自低交互型蜜罐的用于恢复应用层通信状态的通信传送到虚拟机。
图19是示出本实施方式4的攻击观察装置的低交互型蜜罐部106的结构的一例的图。
图19与表示实施方式1的低交互型蜜罐部106的结构的图3相比,附加有如下部件:应用层通信恢复用数据蓄积部1901,其蓄积用于恢复应用层通信的数据;以及通信状态恢复用程序蓄积部1902,其蓄积用于恢复应用层的通信的恢复程序1903。
接着,对实施方式4的攻击观察装置的动作进行说明。在实施方式4中,如图20那样进行低交互型蜜罐部106的动作。
图20是示出实施方式4的低交互型蜜罐部106的动作流程的流程图。
在图20的流程图中,到步骤S506之前与实施方式1相同,但是,在步骤S506中执行蜜罐切换请求后,在步骤S507中取得通信恢复程序,使用该程序,在步骤S508中恢复应用层的通信状态。
在步骤S508中蓄积用于恢复应用层的通信状态所需的数据,因此,本实施方式4中的通信处理程序如图21所示的流程图那样进行动作。
图21是示出实施方式4的通信处理程序的动作流程的流程图。
在图21的流程图中,对实施方式1中示出的流程图附加有步骤S607以及步骤S608。即,在通信处理程序内判断出为了恢复通信状态而需要保存数据的情况下(例如,在实施方式1的图8中,接收到应用层协议上的登录请求时等),追加保存所需的数据的处理。
当通信管理部112接收到蜜罐切换请求时,与实施方式1同样地起动虚拟机,恢复下位层的通信(例如TCP或TLS会话等)。然后,将从低交互型蜜罐内的通信恢复程序发送来的通信恢复用应用层数据在已恢复的通信连接上传送到虚拟机。同样,将来自虚拟机的响应传送到通信恢复程序。执行以上的通信,直到通信恢复程序结束为止,从而通信的恢复结束。
如上所述,在本实施方式4的发明中,在通信管理部112中,负责至TCP或TLS这些应用层以下的协议的恢复为止,应用层的通信状态恢复利用低交互型蜜罐上的通信恢复程序来执行,由此具有如下效果:能够使得通信管理部112不受到应用层的协议变更的影响。另外,如在实施方式2中叙述的那样,本实施方式4当然也能够在通信管理部112上进行动作。
实施方式5
在以上的实施方式1~4中,是根据来自低交互型蜜罐的请求切换到高交互型蜜罐,接着,在本实施方式5中说明如下情况:在低交互型蜜罐内或连接低交互型蜜罐与通信管理部112的网络上设置入侵检测装置(IDS:Intrusion Detection System),将IDS检测到攻击作为蜜罐切换的条件。
图22是示出实施方式5的通信管理部112外围的系统结构的一例的图。
在图22中,IDS 2201监视向低交互型蜜罐的通信,在检测到攻击的时刻通知给通信管理部112,执行向高交互型蜜罐的切换。蜜罐的切换以及切换后的通信状态恢复与实施方式1~4相同。
如上所述,本实施方式5的发明通过将IDS检测到攻击作为蜜罐切换的条件,不仅可以将未定义的通信到来的情况作为对象,而且可以将IDS能够检测的攻击整体作为对象,网罗性地切换蜜罐,具有能够更精巧地模拟大规模系统的效果。
标号说明
101:蜜罐系统(攻击观察装置);102:外部网络;103:高交互型蜜罐部;104:虚拟机组;105:虚拟机执行环境;106:低交互型蜜罐部;107:终端状态转变场景执行部;108:终端状态管理部;109:终端状态蓄积部;110:终端状态转变场景蓄积部;112:通信管理部;115:蜜罐执行状态管理部;116:高交互型蜜罐执行指令蓄积部;201~202:虚拟机;205:虚拟交换机;207:分组接收部;208:分组发送部;209:ARP响应部;210:网关部;211:通信恢复用数据蓄积部;301:通信处理程序执行部;302:通信处理程序蓄积部;303:通信处理程序;701~702:虚拟机镜像;1501:网关部兼低交互型蜜罐部;1601:ARP高速缓存设定部;1801:应用层恢复用通信传送部;1901:应用层通信恢复用数据蓄积部;1902:通信状态恢复用程序蓄积部;1903:恢复程序;2201:IDS。

Claims (11)

1.一种攻击观察装置,其是使恶意软件动作来观察所述恶意软件的攻击的环境,所述攻击观察装置具有:
低交互型模拟环境,其在终端上对来自所述恶意软件的通信执行响应;
高交互型模拟环境,其通过模拟所述终端的虚拟机,对来自所述恶意软件的通信执行响应;
终端状态转变场景蓄积部,其蓄积表示所述终端的状态转变的场景的终端状态转变场景;
终端状态转变场景执行部,其按照所述终端状态转变场景蓄积部中蓄积的所述终端状态转变场景,输出用于变更所述终端的状态的命令;
终端状态管理部,其按照所述终端状态转变场景执行部输出的所述命令,变更所述终端的状态;以及
通信管理部,其监视所述低交互型模拟环境针对来自所述恶意软件的通信的执行状态,根据所述低交互型模拟环境的执行状态,将执行针对来自所述恶意软件的通信的响应的模拟环境从所述低交互型模拟环境切换到所述高交互型模拟环境。
2.根据权利要求1所述的攻击观察装置,其中,
所述低交互型模拟环境根据所述低交互型模拟环境的执行状态,向所述通信管理部发送将执行针对来自所述恶意软件的通信的响应的模拟环境从所述低交互型模拟环境切换到所述高交互型模拟环境的切换请求,
所述通信管理部在接收到从所述低交互型模拟环境发送的所述切换请求的情况下,将执行针对来自所述恶意软件的通信的响应的模拟环境从所述低交互型模拟环境切换到所述高交互型模拟环境。
3.根据权利要求1所述的攻击观察装置,其中,
所述攻击观察装置具有执行状态管理部,该执行状态管理部存储表示所述低交互型模拟环境的执行状态和所述高交互型模拟环境的执行状态的执行状态数据,
所述通信管理部根据所述执行状态管理部中存储的所述执行状态数据所示的执行状态,将执行针对来自所述恶意软件的通信的响应的模拟环境从所述低交互型模拟环境切换到所述高交互型模拟环境。
4.根据权利要求1所述的攻击观察装置,其中,
所述攻击观察装置具有执行指令蓄积部,该执行指令蓄积部蓄积在所述高交互型模拟环境上执行所述终端状态转变场景的指令,
所述终端状态转变场景执行部根据所述执行指令蓄积部中蓄积的所述指令输出所述命令。
5.根据权利要求1所述的攻击观察装置,其中,
所述攻击观察装置具有通信恢复用数据蓄积部,该通信恢复用数据蓄积部蓄积恢复所述终端的通信状态所需的恢复用数据,
所述通信管理部使用所述通信恢复用数据蓄积部中蓄积的所述恢复用数据,在将执行针对来自所述恶意软件的通信的响应的模拟环境从所述低交互型模拟环境切换到所述高交互型模拟环境时,进行恢复所述终端的通信状态的通信。
6.根据权利要求1所述的攻击观察装置,其中,
所述通信管理部使来自所述终端的通信终止,并将来自所述终端的通信中继到别的终端。
7.根据权利要求1所述的攻击观察装置,其中,
所述通信管理部通过所述通信管理部的内部具备的所述低交互型模拟环境,执行所述低交互型模拟环境的处理。
8.根据权利要求1所述的攻击观察装置,其中,
所述攻击观察装置具有存储地址解析协议高速缓存的地址解析协议高速缓存设定部,所述地址解析协议高速缓存是针对地址解析协议的伪装响应的设定,
所述通信管理部向所述高交互型模拟环境的所述虚拟机发送所述地址解析协议高速缓存设定部中存储的所述地址解析协议高速缓存。
9.根据权利要求1所述的攻击观察装置,其中,
所述低交互型模拟环境将恢复所述终端的应用层的通信状态的通信恢复用应用层数据发送到所述通信管理部,
所述通信管理部将所述通信恢复用应用层数据传送到所述高交互型模拟环境的所述虚拟机。
10.根据权利要求1所述的攻击观察装置,其中,
所述通信管理部根据检测所述恶意软件的入侵的入侵检测装置的检测结果,将执行针对来自所述恶意软件的通信的响应的模拟环境从所述低交互型模拟环境切换到所述高交互型模拟环境。
11.一种攻击观察装置的攻击观察方法,该攻击观察装置是使恶意软件动作来观察所述恶意软件的攻击的环境,所述攻击观察方法具有以下步骤:
低交互型模拟环境步骤,低交互型模拟环境在终端上对来自所述恶意软件的通信执行响应;
高交互型模拟环境步骤,高交互型模拟环境通过模拟所述终端的虚拟机,对来自所述恶意软件的通信执行响应;
终端状态转变场景执行步骤,终端状态转变场景执行部按照表示所述终端的状态转变的场景的终端状态转变场景,输出用于变更所述终端的状态的命令;
终端状态管理步骤,终端状态管理部按照所述命令,变更所述终端的状态;以及通信管理步骤,通信管理部监视所述低交互型模拟环境针对来自所述恶意软件的通信的执行状态,根据所述低交互型模拟环境的执行状态,将执行针对来自所述恶意软件的通信的响应的模拟环境从所述低交互型模拟环境切换到所述高交互型模拟环境。
CN201480082071.9A 2014-09-17 2014-09-17 攻击观察装置以及攻击观察方法 Expired - Fee Related CN106687974B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/004773 WO2016042587A1 (ja) 2014-09-17 2014-09-17 攻撃観察装置、及び攻撃観察方法

Publications (2)

Publication Number Publication Date
CN106687974A CN106687974A (zh) 2017-05-17
CN106687974B true CN106687974B (zh) 2019-06-04

Family

ID=55532659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082071.9A Expired - Fee Related CN106687974B (zh) 2014-09-17 2014-09-17 攻击观察装置以及攻击观察方法

Country Status (4)

Country Link
US (1) US10491628B2 (zh)
JP (1) JP6081031B2 (zh)
CN (1) CN106687974B (zh)
WO (1) WO2016042587A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11134095B2 (en) * 2016-02-24 2021-09-28 Fireeye, Inc. Systems and methods for attack simulation on a production network
US20230275920A1 (en) * 2016-02-24 2023-08-31 Google Llc Systems and Methods for Attack Simulation on a Production Network
US10462181B2 (en) * 2016-05-10 2019-10-29 Quadrant Information Security Method, system, and apparatus to identify and study advanced threat tactics, techniques and procedures
US10715533B2 (en) * 2016-07-26 2020-07-14 Microsoft Technology Licensing, Llc. Remediation for ransomware attacks on cloud drive folders
US10628585B2 (en) 2017-01-23 2020-04-21 Microsoft Technology Licensing, Llc Ransomware resilient databases
JP6834688B2 (ja) * 2017-03-30 2021-02-24 日本電気株式会社 マルウェア解析方法、マルウェア解析装置およびマルウェア解析システム
US10826939B2 (en) 2018-01-19 2020-11-03 Rapid7, Inc. Blended honeypot
WO2019220480A1 (ja) * 2018-05-14 2019-11-21 日本電気株式会社 監視装置、監視方法及びプログラム
US10979448B2 (en) * 2018-11-02 2021-04-13 KnowBe4, Inc. Systems and methods of cybersecurity attack simulation for incident response training and awareness
CN109302426B (zh) * 2018-11-30 2021-04-13 东软集团股份有限公司 未知漏洞攻击检测方法、装置、设备及存储介质
US11750651B2 (en) * 2019-09-04 2023-09-05 Oracle International Corporation Honeypots for infrastructure-as-a-service security
US11233823B1 (en) * 2019-12-09 2022-01-25 Amazon Technologies, Inc. Efficient implementation of honeypot devices to detect wide-scale network attacks
CN112165483B (zh) * 2020-09-24 2022-09-09 Oppo(重庆)智能科技有限公司 一种arp攻击防御方法、装置、设备及存储介质
CN114650153B (zh) * 2020-12-17 2024-04-05 浙江宇视科技有限公司 一种视频网络安全风险防范系统及防范方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020046351A1 (en) 2000-09-29 2002-04-18 Keisuke Takemori Intrusion preventing system
JP3687782B2 (ja) 2000-09-29 2005-08-24 Kddi株式会社 不正侵入防止システム
CN101087196B (zh) * 2006-12-27 2011-01-26 北京大学 多层次蜜网数据传输方法及系统
JP4780413B2 (ja) 2007-01-12 2011-09-28 横河電機株式会社 不正アクセス情報収集システム
JP2008306610A (ja) * 2007-06-11 2008-12-18 Hitachi Ltd 不正侵入・不正ソフトウェア調査システム、および通信振分装置
US9843596B1 (en) * 2007-11-02 2017-12-12 ThetaRay Ltd. Anomaly detection in dynamically evolving data and systems
JP4755658B2 (ja) 2008-01-30 2011-08-24 日本電信電話株式会社 解析システム、解析方法および解析プログラム
US7865795B2 (en) * 2008-02-28 2011-01-04 Qimonda Ag Methods and apparatuses for generating a random sequence of commands for a semiconductor device
JP5009244B2 (ja) 2008-07-07 2012-08-22 日本電信電話株式会社 マルウェア検知システム、マルウェア検知方法及びマルウェア検知プログラム
CN101567887B (zh) * 2008-12-25 2012-05-23 中国人民解放军总参谋部第五十四研究所 一种漏洞拟真超载蜜罐方法
JP2010186427A (ja) 2009-02-13 2010-08-26 Kddi Corp 情報処理装置およびプログラム
JP5389739B2 (ja) 2010-06-08 2014-01-15 日本電信電話株式会社 解析システム、解析装置、解析方法及び解析プログラム
JP5385867B2 (ja) 2010-06-30 2014-01-08 日本電信電話株式会社 データ転送装置及びアクセス解析方法
JP5456636B2 (ja) 2010-10-06 2014-04-02 日本電信電話株式会社 ファイル収集監視方法、ファイル収集監視装置及びファイル収集監視プログラム
JP5697206B2 (ja) 2011-03-31 2015-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 不正アクセスに対する防御をするシステム、方法およびプログラム
JP5713445B2 (ja) 2011-06-24 2015-05-07 日本電信電話株式会社 通信監視システム及び方法及び通信監視装置及び仮想ホスト装置及び通信監視プログラム
JP5650617B2 (ja) 2011-10-11 2015-01-07 日本電信電話株式会社 攻撃情報管理システム、攻撃情報管理装置、攻撃情報管理方法及びプログラム
US10417227B2 (en) * 2012-04-27 2019-09-17 Hitachi, Ltd. Database management system, computer, and database management method
CN102739647A (zh) * 2012-05-23 2012-10-17 国家计算机网络与信息安全管理中心 基于高交互蜜罐的网络安全系统及实现方法
US9338819B2 (en) * 2013-05-29 2016-05-10 Medtronic Minimed, Inc. Variable data usage personal medical system and method
TWI626547B (zh) * 2014-03-03 2018-06-11 國立清華大學 於分散式資料庫中將系統狀態一致地還原至欲還原時間點之方法及系統

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Data Reduction for the Scalable Automated Analysis of Distributed Darknet Traffic;Michael Bailey, Evan Cooke, etc;《Internet Measurement Conference 2005》;20051031;第239-252页
Distributed Honeynet System Using Gen III Virtual Honeynet;Sanjeev Kumar, Paramdeep Singh, etc;《International Journal of Computer Theory and Engineering》;20120831;第4卷(第4期);第537-541页

Also Published As

Publication number Publication date
US10491628B2 (en) 2019-11-26
US20170302683A1 (en) 2017-10-19
JPWO2016042587A1 (ja) 2017-04-27
JP6081031B2 (ja) 2017-02-15
CN106687974A (zh) 2017-05-17
WO2016042587A1 (ja) 2016-03-24

Similar Documents

Publication Publication Date Title
CN106687974B (zh) 攻击观察装置以及攻击观察方法
EP2979180B1 (en) Methods, systems, and computer readable media for emulating virtualization resources
CN110247784B (zh) 确定网络拓扑结构的方法和装置
Wang et al. SDN-based hybrid honeypot for attack capture
Schwerdel et al. Future Internet research and experimentation: The G-Lab approach
CN110933043B (zh) 一种基于软件定义网络的虚拟防火墙优化方法及系统
CN109240796A (zh) 虚拟机信息获取方法及装置
KR20190029486A (ko) 탄력적 허니넷 시스템 및 그 동작 방법
CN109088957B (zh) Nat规则管理的方法、装置和设备
CN106605390B (zh) 控制装置、控制系统、控制方法和控制程序
CN115914042A (zh) 用于使用机器学习进行网络流量生成的方法、系统和计算机可读介质
US20220103415A1 (en) Remote network and cloud infrastructure management
WO2018046985A1 (en) Techniques for policy-controlled analytic data collection in large-scale systems
US8707100B2 (en) Testing a network using randomly distributed commands
Li et al. SDN based intelligent Honeynet network model design and verification
CN102904776B (zh) 一种虚拟局域网中的探测方法、装置和设备
Ji et al. Container Networking Performance Analysis for Large-Scale User Behavior Simulation
Nashnosh et al. Design and implementation of a forensic logger for software defined networks
JP2019121910A (ja) マルウェア検査支援プログラム、マルウェア検査支援方法および通信装置
JP6215144B2 (ja) 制御装置、制御方法、および、制御プログラム
Gabert et al. Firewheel-A Platform for Cyber Analysis.
Kumar Inter-Docker Cluster Communication Across Different Network Regions Using EVPN
Von Solms et al. Integration of a network aware traffic generation device into a computer network emulation platform
Xu et al. A SDN Based Scalable Layer 2 Network for Next Generation Internet Testbed
Noora et al. DESIGN OF DIFFERENT TOPOLOGIES IN SDN CONTROLLER

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190604

Termination date: 20210917

CF01 Termination of patent right due to non-payment of annual fee