CN114128215A - 异常检测装置、异常检测方法以及异常检测程序 - Google Patents

异常检测装置、异常检测方法以及异常检测程序 Download PDF

Info

Publication number
CN114128215A
CN114128215A CN201980098551.7A CN201980098551A CN114128215A CN 114128215 A CN114128215 A CN 114128215A CN 201980098551 A CN201980098551 A CN 201980098551A CN 114128215 A CN114128215 A CN 114128215A
Authority
CN
China
Prior art keywords
communication
data
abnormality detection
feature amount
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980098551.7A
Other languages
English (en)
Other versions
CN114128215B (zh
Inventor
藤木直人
南拓也
篠原正纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN114128215A publication Critical patent/CN114128215A/zh
Application granted granted Critical
Publication of CN114128215B publication Critical patent/CN114128215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/103—Active monitoring, e.g. heartbeat, ping or trace-route with adaptive polling, i.e. dynamically adapting the polling rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Monitoring And Testing Of Transmission In General (AREA)

Abstract

取得部(15a)取得通信设备的正常通信的通信特征量。在所取得的通信特征量的数据数或数据取得期间超过了规定值的情况下，放大部(15c)根据5元组相等的每个组的数据数，以多个规定的方式放大通信特征量的数据数。生成部(15d)按照每个规定的方式，通过使用了放大后的通信特征量的学习，生成通信设备的正常通信的基准值信息。判定部(15e)使用表示测试数据与基准值信息的偏差的异常得分，来判定每个规定方式的异常检测的精度，该测试数据表示异常通信的通信特征量。选定部(15f)选定以判定的精度最高的方式生成的基准值信息。

Description

异常检测装置、异常检测方法以及异常检测程序
技术领域
本发明涉及异常检测装置、异常检测方法以及异常检测程序。
背景技术
作为监视在网络中流过的通信量来检测与安全有关的非法访问等异常的技术，已知有异常型的异常检测技术(参照非专利文献1)。异常型的异常检测技术通过机器学习来学习正常的通信信息的统计倾向，生成并保持基准值信息，通过与流过网络的通信信息进行比较来检测异常。
即，异常型的异常检测技术利用与正常状态的偏差来判定异常状态。因此，在比较预先登记的非法访问时的模式(签名)和在网络中流过的分组来检测非法访问的签名型中，需要签名文件的最新化，与此相对，异常型能够检测未知的非法访问。
现有技术文献
非专利文献
非专利文献1：D.P.Kingma et al.，“Auto－EncodingVariational Bayes”，[online]，2014年，ICLR，[2019年6月20日检索]，互联网<URL：https：//arxiv.org/abs/1312.6114>
发明内容
发明要解决的课题
但是，根据现有技术，有时难以进行异常型的异常检测。例如，在异常型的异常检测技术中，需要预先收集正常动作时的一定量的通信信息并求出基准值信息，难以将通信设备与网络连接而立即进行监视。另外，当收集到的通信信息量少，或通信模式存在偏差时，无法得到适当的基准值信息，异常检测的精度降低。另外，一般由于每个通信设备的通信模式不同，所以在单一的基准值信息中，异常检测的精度降低。另外，在生成了基准值信息之后，难以容易地判定是否能够准确地进行异常检测。
本发明是鉴于上述情况而完成的，其目的在于能够容易地进行异常检测。
解决课题的手段
为了解决上述课题并达到目的，本发明的异常检测装置的特征在于，具有：取得部，其取得通信设备的正常通信的通信特征量；放大部，在所取得的上所述通信特征量的数据数或数据取得期间超过了规定值的情况下，该放大部根据5元组相等的每个组的数据数，以多个规定的方式放大通信特征量的数据数；生成部，其按照每个所述规定的方式，通过使用了放大后的所述通信特征量的学习，生成所述通信设备的正常通信的基准值信息；判定部，其使用表示测试数据与所述基准值信息的偏差的异常得分，判定每个所述规定的方式的异常检测的精度，该测试数据表示异常通信的通信特征量；以及选定部，其选定以判定的精度最高的方式生成的基准值信息。
发明的效果
根据本发明，能够容易地进行异常型异常检测。
附图说明
图1是用于说明包括本实施方式的异常检测装置的系统的图。
图2是例示本实施方式的异常检测装置的概略结构的示意图。
图3是用于说明通信特征量的图。
图4是用于说明合计组单位通信特征量的图。
图5是用于说明放大部的处理的图。
图6是表示异常检测处理步骤的流程图。
图7是表示异常检测处理步骤的流程图。
图8是表示异常检测处理步骤的流程图。
图9是表示执行异常检测程序的计算机的一例的图。
具体实施方式
以下，参照附图详细说明本发明的一实施方式。另外，本发明并不限定于该实施方式。另外，在附图的记载中，对同一部分标注同一符号来表示。
[系统的结构]
图1是用于说明包括本实施方式的异常检测装置的系统的图。如图1所示，系统1具有作为异常检测处理的对象的通信设备2、网关装置3、层2交换机4以及异常检测装置10。
网关装置3设置在通信设备2与互联网等网络N之间边界。网关装置3关于通信设备2和与同一LAN(Local Area Network)连接的其他通信设备2或与网络N连接的服务器装置等通信设备2之间的通信，取得通信数据或动作日志。层2交换机4进行分组捕获，通过镜像端口向网关装置3输出通信数据。
异常检测装置10从网关装置3取得各通信设备2的统计数据，进行后述的异常检测处理。例如，异常检测装置10使用通信设备2正常动作时的通信特征量、动作日志来学习正常动作的行为，生成基准值信息。另外，异常检测装置10经由监视网络Nm监视通信设备2的通信特征量，进行检测非法访问、病毒感染等异常的异常监视处理。
[异常检测装置的结构]
图2是例示本实施方式的异常检测装置的概略结构的示意图。如图2所例示，本实施方式的异常检测装置10由个人计算机等通用计算机实现，具备输入部11、输出部12、通信控制部13、存储部14以及控制部15。
输入部11使用键盘、鼠标等输入设备来实现，对应于操作者的输入操作，对控制部15输入处理开始等各种指示信息。输出部12通过液晶显示器等显示装置、打印机等印刷装置等来实现。例如，在输出部12显示后述的异常检测处理、异常监视处理的结果。
通信控制部13由NIC(Network Interface Card)等实现，控制经由LAN或互联网等电通信线路进行的网关装置3等外部装置与控制部15的通信。
存储部14通过RAM(Random Access Memory)、闪存(Flash Memory)等半导体存储元件，或者硬盘、光盘等存储装置来实现。在存储部14中，预先存储使异常检测装置10动作的处理程序、在处理程序的执行中使用的数据等，或者每次处理时临时存储。另外，存储部14也可以是经由通信控制部13与控制部15进行通信的结构。
在本实施方式中，存储部14存储通信特征量14a、基准值信息14b、异常检测结果14c、设定信息14d、合计组单位通信特征量14e以及测试数据14f等。这些信息在后述的异常检测处理中生成，并存储在存储部14中。
这里，图3是用于说明通信特征14a的图。通信特征量14a是后述的取得部15a取得处理对象的通信设备2的通信特征量并存储在存储部14中的通信特征量。如图3所示，通信特征14a包括5元组的信息。5元组是指发送源IP地址、发送源端口编号、发送目的地IP地址、发送目的地端口编号以及协议。此外，通信特征14a包括上行总分组数、上行平均分组数等各种分组数、上行总字节数、上行平均字节数等各种字节数的信息。
回到图2的说明。控制部15使用CPU(Central Processing Unit)等实现，执行存储在存储器中的处理程序。由此，如图2所例示，控制部15作为取得部15a、计数部15b、放大部15c、生成部15d、判定部15e、选定部15f、第二生成部15g、第二判定部15h以及第二选定部15i发挥功能。
此外，这些功能部也可以分别或一部分安装于不同的硬件。例如，执行后述的第二学习的第二生成部15g、第二判定部15h以及第二选定部15i也可以安装在与除此以外的功能部不同的硬件中。另外，控制部15也可以具备其他功能部。例如，也可以具备进行异常监视处理的异常监视部。
取得部15a取得通信设备2的正常通信的通信特征量。例如，取得部15a经由输入部11或通信控制部13，从网关装置3取得监视对象的通信设备2的通信数据的通信特征量，并存储在存储部14的通信特征量14a中。
另外，取得部15a在识别出监视对象的通信设备2与哪个网关装置3的哪个端口连接，与哪个层2交换机4连接的情况下，开始取得所连接的通信设备2的通信特征量。
计数部15b对合计组单位通信特征量14e进行计数并存储。具体而言，在取得部15a取得的通信特征量的数据数超过了规定值N1的情况下，计数部15b以5元组对通信特征量进行分类，对5元组相等的各组的数据数进行计数，并存储为合计组单位通信特征量14e。其中，在许多IP通信的情况下，发送源端口编号使用临时端口(例如，在许多Linux(注册商标)系统中为32768～61000号端口)。在该情况下，将发送源端口编号作为任意的值(any)来处理，any也包含在5元组相等的组中。
这里，图4是用于说明合计组单位通信特征量的图。在图4中，例如示出了被分类为组1的通信特征量的5元组是发送源IP地址[10.1.1.1]、发送源端口编号[any]、发送目的地IP地址[10.10.10.1]、发送目的地端口编号[80]、协议[6]。另外，表示该组1的数据数为10。
在所取得的通信特征量的数据数或数据取得期间超过了规定值的情况下，放大部15c根据每5元组相等的组的数据数，以多个规定的方式放大通信特征量的数据数。
具体地说，放大部15c以与各组的数据数对应的多个规定的前处理方式，对通信特征量的数据数进行放大。例如，放大部15c通过维持每个组的数据数的构成比率来进行放大的方式或者以使每个组的数据数均等的方式进行放大的方式中的任意1个、和复制并放大所取得的通信特征量的值的方式或者在规定的范围内变更通信特征量的5元组以外的值来进行放大的方式中的任意1个的组合来决定前处理方式。
在此，图5是用于说明放大部15c的处理的图。图5例示了4种前处理方式A～D。如图5所示，各前处理方式是通过简单放大模式或均等放大模式中的任意一方与复制方式或调整方式中的2个方式中的任意一方的组合而决定的方式。
简单放大模式是维持每个组的数据数的构成比率来进行放大的方式。与此相对，均等放大模式是按照使每个组的数据数均等的方式进行放大的方式。
另外，复制方式是对所取得的通信特征量的值进行复制并放大的方式。与此相对，调整方式是以在规定的范围内变更了通信特征量的5元组以外的值的类似数据进行放大的方式。
具体地，在前处理方式A中，放大部15c维持5元组相等的每个组的数据数的构成比率，复制并放大所取得的通信特征量的值，使得规定数N1的通信特征量变成规定数N2。此外，规定数N2是指在后述的第二学习的开始时机参照的数据数。
另外，放大部15c在前处理方式B中，维持5元组相等的每个组的数据数的构成比率，将规定数N1的通信特征量在规定的增减范围A内变更5元组以外的分组数，字节数，分组尺寸，流量或通信时间的值并放大，直到成为规定数N2为止。
此外，在前处理方式C中，放大部15c以使5元组相等的每个组的数据数均等的方式复制并放大所取得的通信特征量的值，直到规定数N1的通信特征量变成规定数N2为止。
另外，在前处理方式D中，放大部15c以使5元组相等的每个组的数据数均等的方式，在规定的增减范围B内变更5元组以外的分组数、字节数、分组尺寸、流量或通信时间的值来进行放大，直到规定数N1的通信特征量变成规定数N2为止。
另外，放大部15c也可以取代通信特征量的数据数N1，而在通信特征量的数据取得期间超过了规定值T1的情况下，对通信特征量的数据数进行放大。在这种情况下，根据5元组相等的每个组的数据数，在上述的前处理方式A～D中，对通信特征值的数据数进行放大，直到变成相当于规定的数据取得期间T2的数据数为止。此外，规定的数据取得期间T2是指在后述的第二学习的开始时机参照的值。
回到图2的说明。生成部15d按照每个规定的方式，通过使用了放大后的通信特征量的学习，生成通信设备2的正常通信的基准值信息。例如，生成部15d按照每个前处理方式，使用从规定数N1放大到规定数N2的通信特征量，通过机器学习来学习正常通信信息的统计倾向，进行生成基准值信息的第一学习。
生成部15d将生成的每个方式的基准值信息存储在存储部14的基准值信息14b中。另外，生成部15d决定异常得分的异常/正常判定的阈值，例如作为设定信息14d存储在存储部14中。
判定部15e使用表示测试数据与基准值信息的偏差的异常得分，判定每个规定方式的异常检测的精度，该测试数据表示异常通信的通信特征量。例如，判定部15e判定可否进行基于测试数据的异常得分的异常检测。
这里，判定部15e作为测试数据，使用5元组相等的每个组的数据生成由多个测试数据构成的数据集，所述多个测试数据是通过改变使该5元组以外的通信特征量变化的组以及该通信特征量的值而生成的。例如，判定部15e根据计数部15b统计的合计组单位通信特征量14e，阶段性地增减分组数、字节数、分组尺寸、流量或通信时间的值，生成各通信设备2的多个异常通信特征量的测试数据，并作为测试数据14f进行存储。
例如，判定部15e使用计数部15b统计的合计组单位通信特征量14e，如下那样，改变分组数、字节数、分组尺寸、流量或通信时间来生成测试数据，该合计组单位通信特征量14e是正常的通信特征量的统计值。
计数部15b针对各组单位计算并存储上行总分组数、上行总字节数、上行平均分组尺寸、上行平均流量、下行总分组数、下行总字节数、下行平均分组尺寸、下行平均流量和通信时间的各项目的平均值，将该平均值作为用于生成测试数据的数据集存储为合计组单位通信特征量列表。
这里，参照图4说明使用合计组单位通信特征量的数据来生成测试数据的方法。测试数据的生成通过A)变化的组的选择方法和B)变更数据的生成方法的2个组合来生成。
A)变化的组的选择方法
A－1)合计组单位通信特征量的项目编号17：着眼于计数的数据，选择计数数最多的组。
A－2)合计组单位通信特征量的项目编号17：着眼于计数的数据，选择计数数最少的组。
A－3)选择全部合计组单位通信特征量的组数。
A－4)与平均值一起计算方差并存储，作为发生异常通信时的典型例子，着眼于上行总分组数、上行总字节数、下行总分组数、下行总字节数，选择方差值小的组。
A－5)与平均值一起计算方差并存储，作为发生异常通信时的典型例子，着眼于上行总分组数、上行总字节数、下行总分组数、下行总字节数，选择方差值大的组。
A－6)运用者按照运用者的想法有意图地决定。
B)变更数据的生成方法
接着，作为发生异常通信时的典型例子，说明生成着眼于上行总分组数、上行总字节数、下行总分组数、下行总字节数的测试数据的方法。
B－1)使上行总分组数变化的情况：假设在发送源的终端发生了与通常时不同的上行的分组数的情况，对于上行总分组数的平均值，以10％、20％、50％、100％、200％的比例增加。另外，对于上行总分组数的平均值，以10％、20％、50％、100％、200％的比例减少。由此，生成共计10个数据，生成在上述A)中选择的组的项目编号8：将对于上行总分组数的平均值的数据改写的数据集作为测试数据。例如，在选择了组1的情况下，对于组1的数据，选择项目编号8：生成10个仅上行总分组数的平均数据不同的数据。
B－2)使上行总字节数变化的情况：假设在发送源的终端发生了与通常时不同的上行数据量的情况，对于上行总字节数的平均值，以10％、20％、50％、100％、200％的比例增加。另外，对于上行总字节数的平均值，以10％、20％、50％、100％、200％的比例减少。由此，生成共计10个数据作为测试数据。具体生成的测试数据如上述B－1中说明的那样生成。
B－3)使下行总分组数变化的情况：假设在发送源的终端发生了与通常时不同的下行的分组数的情况，对于下行总分组数的平均值，以10％、20％、50％、100％、200％的比例增加。另外，对于下行总分组数的平均值，以10％、20％、50％、100％、200％的比例减少。由此，生成共计10个数据作为测试数据。具体生成的测试数据如在B－1中说明的那样生成。
B－4)使下行总字节数变化的情况：假设在发送源的终端发生了与通常时不同的下行数据量的情况，对于下行总字节数的平均值，以10％、20％、50％、100％、200％的比例增加。另外，对于下行总字节数的平均值，以10％、20％、50％、100％、200％的比例减少。由此，生成共计10个数据作为测试数据。具体生成的测试数据如在B－1中说明的那样生成。
可以全部使用上述B－1)～B－4)这40个数据，也可以选择性地使用，但对所生成的测试数据赋予生成条件，能够评价作为与基准值信息的偏差的得分的妥当性。例如，可以识别将组1的上行总分组数增加10％而生成的数据的得分是否超过阈值。由此，异常检测装置10能够识别精度的好坏。另外，精度的好坏可以自动地判定，也可以由运用者判定。
另外，判定部15e也可以使用关于异常通信公开的数据库来生成测试数据。
另外，判定部15e计算所生成的各测试数据的异常得分，作为各方式的异常检测的精度，判定能否作为异常进行检测。
或者，判定部15e也可以将基于多个测试数据的异常得分的可异常检测的程度判定为精度。例如，也可以将生成的100个异常的通信特征量的测试数据中能够作为异常检测的比例作为该方式中的异常检测的精度。
另外，判定部15e将判定的异常检测结果存储在存储部14的异常检测结果14c中。
选定部15f选定以判定的精度最高的方式生成的基准值信息。例如，在判定部15e判定可否进行异常检测作为异常检测的精度的情况下，选定部15f将在上述4个前处理方式A～D中的可异常检测的前处理方式的任意一个中生成的基准值信息选定为异常监视处理的基准值信息。
另外，选定部15f在通过任意前处理方式的基准值信息都不能可异常检测的情况下，例如，将各方式的多个测试数据中能够检测出异常的比例最高的测试数据选定为异常监视处理的基准值信息。
或者，在判定部15e将在各方式中多个测试数据中能够检测为异常的比例作为异常检测的精度的情况下，选定部15f将以精度最高的方式生成的基准值信息选定为异常监视处理的基准值信息。异常检测装置10通过这样的第一学习，即使收集到的通信信息量少或者通信模式存在偏差，也能够得到适当的基准值信息。
第二生成部15g在所取得的通信特征量的数据数或数据取得期间超过比规定值(N1或T1)大的第二规定值(N2或T2)的情况下，通过使用了该通信特征量的学习，生成通信设备2的正常通信的基准值信息。即，第二生成部15g在所取得的通信特征量的数据数超过了规定值N2的情况下，或者数据取得期间超过了规定值T2的情况下，与上述生成部15d同样地，使用通信特征量，通过机器学习来学习正常的通信信息的统计倾向，进行生成基准值信息的第二学习。
第二生成部15g与上述生成部15d同样，将生成的基准值信息存储在存储部14的基准值信息14b中。另外，第二生成部15g决定异常得分的异常/正常判定的阈值，并将其存储在例如存储部14的设定信息14d中。
第二判定部15h利用表示测试数据与基准值信息的偏差的异常得分来判定异常检测的精度，该测试数据表示异常通信的通信特征量。例如，第二判定部15h与上述判定部15e同样，判定能否通过测试数据的异常得分进行异常检测。
或者，第二判定部15h也可以与上述判定部15e同样地，作为测试数据，使用5元组相等的每个组的数据，生成由改变使该5元组以外的通信特征量变化的组和该通信特征量的值而生成的多个测试数据构成的数据集。例如，第二判定部15h根据取得部15a取得的各通信设备2的正常的通信特征量，阶段性地增减分组数、字节数、分组尺寸、流量或通信时间的值，生成各通信设备2的多个异常的通信特征量的测试数据。并且，第二判定部15h也可以将基于多个测试数据的异常得分的可检测异常的程度判定为精度。
另外，第二判定部15h也可以使用关于异常通信公开的数据库来生成测试数据。另外，第二判定部15h将判定的异常检测结果存储在存储部14的异常检测结果14c中。
第二选定部15i在由第二判定部15h判定的精度为规定的阈值以上的情况下，选定由第二生成部15g生成的基准值信息，在该精度小于规定的阈值的情况下，变更第二生成部15g在学习中使用的数据数或数据取得期间。
例如，在第二判定部15h判定能否异常检测作为检测的精度的情况下，第二选定部15i将可检测异常时的基准值信息选定为异常监视处理的基准值信息。
或者，在第二判定部15h将多个测试数据中能够检测为异常的比例作为异常检测的精度的情况下，第二选定部15i将精度为规定的阈值以上的基准值信息选定为异常监视处理的基准值信息。
另一方面，在由第二判定部15h判定的精度不能检测出异常或者小于规定的阈值的情况下，第二选定部15i变更第二生成部15g在学习中使用的数据数或者数据取得期间。例如，第二选定部15i将数据数减少到小于N2，将数据数提供给第二生成部15g，再次执行第二学习。或者，第二选定部15i将数据取得期间减少到小于T2，提供给第二生成部15g，再次执行第二学习。由此，第二学习的处理负荷减轻。
另外，第二选定部15i也可以使第二生成部15g在再次的第二学习中使用的数据数或数据取得期间增加。例如，上述第二生成部15g在开始执行最初的第二学习之前，取得进一步增加的范围的数据数或相当于数据取得期间的数据数，并蓄积在存储部14的通信特征量14a中即可。
即，第二生成部15g也可以在所取得的通信特征量的数据数或数据取得期间超过比规定值(N1或T1)大的第二规定值(N2或T2)，进而取得了规定的数据数或数据取得期间的通信特征量的情况下，通过使用了第二规定值的通信特征量的学习，生成通信设备2的正常通信的基准值信息。这样，在异常检测的精度小于规定的阈值的情况下，第二选定部15i能够增加第二生成部15g在学习中使用的数据数或数据取得期间。异常检测装置10通过这样的第二学习，能够进一步提高基准值信息的精度。
[异常检测处理]
接下来，参照图6～图8，对本实施方式所涉及的异常检测装置10的异常检测处理进行说明。图6～图8是表示异常检测处理步骤的流程图。首先，图6的流程图例如在异常检测装置10检测到异常监视对象的通信设备2的连接的时机开始。
首先，取得部15a取得通信设备2的正常通信的通信特征量(步骤S1)。例如，取得部15a经由输入部11或通信控制部13，从网关装置3取得监视对象的通信设备2的通信数据的通信特征量，并存储在存储部14的通信特征量14a中。
另外，在该通信设备2被连接后，在最初取得的情况下(步骤S2，“是”)，计数部15b进行初始化(步骤S3)，对所取得的通信特征量进行计数，并与该通信设备2的通信特征量数相加(步骤S4～S5)。初始化是指将后述的通信特征量数量和组单位通信特征量数量设为0的处理。
在除此以外的情况下(步骤S2，“否”)，计数部15b不进行步骤S3的处理，而对所取得的通信特征量进行计数，并与该通信设备2的通信特征量数相加(步骤S4～S5)。
另外，计数部15b以5元组对通信特征量进行分类，计算每5元组的数据数，与5元组相等的组单位通信特征量数相加，存储到存储部14的合计组单位通信特征量14e中(步骤S6～S7)。
取得部15a继续取得该通信设备2的通信特征量(步骤S8，否)，在通信特征量超过了规定值N1的情况下(步骤S8，是)，执行第一学习(步骤S9，否→步骤S20)。
另外，在第一学习执行完成的情况下(步骤S9，“是”)，取得部15a继续取得该通信设备2的通信特征量(步骤S10，“否”)，在通信特征量数量超过了规定值N2的情况下(步骤S10，“是”)，执行第二学习(步骤S30)。由此，一系列的异常检测处理结束。
接着，图7表示上述步骤S20的第一学习的处理过程。首先，放大部15c参照上述的合计组单位通信特征量14e，选择与各组的数据数对应的前处理方式A～D中的任意一个，以所选择的前处理方式放大通信特征量的数据数(步骤S21～S22)。
另外，生成部15d通过使用了放大后的通信特征量的学习，生成所选择的前处理方式中的通信设备2的正常通信的基准值信息(步骤S23～S24)。
接着，判定部15e生成多个测试数据，将各测试数据与基准值信息进行比较，计算异常得分，作为所选择的前处理方式的异常检测的精度，执行判定是否能够检测为异常的测试(步骤S25～S26)。
选定部15f在对于所有测试数据都不能实现可异常检测的情况下(步骤S27，否)，将处理返回到步骤S21，变更前处理方式。另一方面，在对于所有测试数据都能够检测出异常的情况下，选定部15f将该前处理方式的基准值信息选定为异常监视处理的基准值信息(步骤S27，是)。在该情况下，例如，异常监视部开始异常监视处理(步骤S28)。由此，结束一连串的第一学习。
另外，选定部15f在任意前处理方式的基准值信息都不能实现可异常检测的情况下，例如，也可以将各前处理方式的多个测试数据中，作为异常而检测出的比例最高的数据选定为异常监视处理的基准值信息。
或者，在判定部15e将多个测试数据中能够检测为异常的比例作为各前处理方式的异常检测的精度的情况下，选定部15f也可以将以精度最高的方式生成的基准值信息选定为异常监视处理的基准值信息。
这样，选定部15f选定以所判定的精度最高的前处理方式生成的基准值信息。
接着，图8表示上述步骤S30的第二学习的处理过程。首先，第二生成部15g通过使用了通信特征量的学习，生成通信设备2的正常通信的基准值信息(步骤S33～S34)。
接着，第二判定部15h生成多个测试数据，将各测试数据与基准值信息进行比较，计算出异常得分，作为异常检测的精度，执行判定是否能够检测为异常的测试(步骤S35～S36)。
第二选定部15i在针对所有测试数据都不能实现可异常检测的情况下(步骤S37，“否”)，变更第二生成部15g在学习中使用的数据数或数据取得期间(步骤S39)，使处理返回到图6的步骤S10。
例如，第二选定部15i将数据数减少到小于N2，或者将数据取得期间减少到小于T2，再次执行第二学习。
另外，第二选定部15i也可以使第二生成部15g在再次的第二学习中使用的数据数或数据取得期间增加。例如，上述第二生成部15g在上述步骤S10的处理之后，在执行最初的第二学习之前，使处理返回到步骤S1，进一步取得增加的范围的数据数或相当于数据取得期间的数据数即可。
即，第二生成部15g在所取得的通信特征量的数据数或数据取得期间超过比规定值(N1或T1)大的第二规定值(N2或T2)，进而取得了规定的数据数或数据取得期间的通信特征量的情况下，开始第二学习。在该情况下，第二选定部15i能够增加第二生成部15g在再次的第二学习中使用的数据数或者数据取得期间。
另一方面，在对于所有测试数据都能够检测出异常的情况下，选定部15f将该前处理方式的基准值信息选定为异常监视处理的基准值信息(步骤S37，是)。在该情况下，例如，异常监视部开始异常监视处理(步骤S38)。由此，结束一连串的第二学习。
此外，在第二判定部15h将多个测试数据中能够检测为异常的比例作为异常检测的精度的情况下，在该精度为规定的阈值以上的情况下，第二选定部15i也可以选定由第二生成部15g生成的基准值信息。
如上所述，在本实施方式的异常检测装置10中，取得部15a取得通信设备2的正常通信的通信特征量。在所取得的通信特征量的数据数或数据取得期间超过了规定值的情况下，放大部15c根据5元组相等的每个组的数据数，以多个规定的方式放大通信特征量的数据数。生成部15d按照每个规定的方式，通过使用了放大后的通信特征量的学习，生成通信设备2的正常通信的基准值信息。判定部15e使用表示测试数据与基准值信息的偏差的异常得分，来判定每个规定方式的异常检测的精度，该测试数据表示异常通信的通信特征量。选定部15f选定以判定的精度最高的方式生成的基准值信息。
由此，异常检测装置10即使为了生成基准值信息而收集到的通信信息量少，或者通信模式存在偏差，也能够通过使用了以最佳方式放大后的数据的学习来生成基准值信息。因此，如果使用由异常检测装置10生成的基准值信息，则能够提前开始异常监视。这样，根据异常检测装置10，能够容易地将异常型应用于异常检测。
此外，在异常检测装置10中，第二生成部15g在所取得的通信特征量的数据数或数据取得期间超过比规定值(N1或T1)大的第二规定值(N2或T2)的情况下，通过使用了该通信特征量的学习，生成通信设备2的正常通信的基准值信息。第二判定部15h利用表示测试数据与所述基准值信息的偏差异常得分来判定异常检测的精度，该测试数据表示异常通信的通信特征量。第二选定部15i在由第二判定部15h判定的精度为规定的阈值以上的情况下，选定由第二生成部15g生成的基准值信息，在该精度小于规定的阈值的情况下，第二生成部15g变更学习中使用的数据数或数据取得期间。
通过这样的第二学习，异常检测装置10能够选定精度更高的基准值信息。
另外，判定部15e将基于多个测试数据的异常得分的可检测异常的程度判定为异常检测的精度。另外，第二判定部15h将基于多个测试数据的异常得分的异常可检测的程度判定为精度。由此，异常检测装置10能够选定精度更高的基准值信息。
另外，第二生成部15g在所取得的通信特征量的数据数或数据取得期间超过比预定值(N1或T1)大的第二预定值(N2或T2)，进而取得了预定的数据数或数据取得期间的通信特征量的情况下，通过使用了第二预定值的通信特征量的学习，生成通信设备的正常通信的基准值信息。在该情况下，在第二判定部15h判定出的精度小于规定的阈值的情况下，第二选定部15i能够增加第二生成部15g在学习中使用的数据数或数据取得期间。这样，通过从由多种前处理方式生成的基准值信息中选定精度最高的基准值信息，异常检测装置10能够选定精度更高的基准值信息。
另外，放大部15c通过维持5元组相等的每个组的数据数的构成比率来进行放大的方式或按照使每个组的数据数均等的方式进行放大的方式中的任意1个、和复制所取得的通信特征量的值并进行放大的方式或在规定的范围内变更通信特征量的5元组以外的值并进行放大的方式中的任意1个的组合来决定前处理方式。由此，异常检测装置10能够选定精度更高的基准值信息。
[程序]
也可以生成以计算机可执行的语言记述了上述实施方式的异常检测装置10执行的处理的程序。作为一个实施方式，异常检测装置10可以通过将执行上述异常检测处理的异常检测程序作为封装软件或在线软件安装到所希望的计算机中来安装。例如，通过使信息处理装置执行上述异常检测程序，能够使信息处理装置作为异常检测装置10发挥功能。信息处理设备包括台式或笔记本个人计算机。另外，除此之外，信息处理装置还包括智能手机、移动电话或PHS(Personal Handyphone System)等移动通信终端、以及PDA(PersonalDigital Assistant)等平板终端等。另外，也可以将异常检测装置10的功能安装于云服务器。
图9是表示执行异常检测程序的计算机的一例的图。计算机1000例如具有存储器1010、CPU1020、硬盘驱动器接口1030、盘驱动器接口1040、串行端口接口1050、视频适配器1060和网络接口1070。这些各部通过总线1080连接。
存储器1010包括ROM(Read Only Memory)1011以及RAM1012。ROM1011存储例如BIOS(Basic Input Output System)等引导程序。硬盘驱动器接口1030与硬盘驱动器1031连接。盘驱动器接口1040连接到盘驱动器1041。在盘驱动器1041中插入例如磁盘或光盘等可装卸的存储介质。例如，鼠标1051和键盘1052连接到串行端口接口1050。例如，显示器1061连接到视频适配器1060。
在此，硬盘驱动器1031例如存储OS1091、应用程序1092、程序模块1093以及程序数据1094。在上述实施方式中说明的各信息例如存储在硬盘驱动器1031或存储器1010中。
此外，异常检测程序例如作为记述了由计算机1000执行的指令的程序模块1093，存储在硬盘驱动器1031中。具体地说，记述了在上述实施方式中说明的异常检测装置10执行的各处理的程序模块1093存储在硬盘驱动器1031中。
另外，用于异常检测程序的信息处理的数据，作为程序数据1094，例如存储在硬盘驱动器1031中。然后，CPU1020根据需要将存储在硬盘驱动器1031中的程序模块1093、程序数据1094读出到RAM1012，执行上述的各步骤。
此外，与异常检测程序相关的程序模块1093或程序数据1094不限于存储在硬盘驱动器1031中的情况，例如，也可以存储在可装卸的存储介质中，通过盘驱动器1041等由CPU1020读出。或者，有关异常检测程序的程序模块1093或程序数据1094也可以存储在经由LAN或WAN(Wide Area Network)等网络连接的其他计算机中，经由网络接口1070由CPU1020读出。
以上，对应用了由本发明人完成的发明的实施方式进行了说明，但本发明并不限定于构成本实施方式的本发明的公开的一部分的记述和附图。即，本领域技术人员等基于本实施方式做出的其他实施方式，实施例以及运用技术等全部包含在本发明的范畴内。
符号说明
1 系统
2 通信设备
3 网关装置
4 层2交换机
10 异常检测装置
11 输入部
12 输出部
13 通信控制部
14 存储部
14a 通信特征量
14b 基准值信息
14c 异常检测结果
14d 设定信息
14e 合计组单位通信特征量
14f 测试数据
15 控制部
15a 取得部
15b 计数部
15c 放大部
15d 生成部
15e 判定部
15f 选定部
15g 第二生成部
15h 第二判定部
15i 第二选定部

Claims (8)

1.一种异常检测装置，其特征在于，具有：
取得部，其取得通信设备的正常通信的通信特征量；
放大部，在所取得的所述通信特征量的数据数或数据取得期间超过了规定值的情况下，该放大部根据5元组相等的每个组的数据数，以多个规定的方式放大通信特征量的数据数；
生成部，其按照每个所述规定的方式，通过使用了放大后的所述通信特征量的学习，生成所述通信设备的正常通信的基准值信息；
判定部，其使用表示测试数据与所述基准值信息的偏差的异常得分，判定每个所述规定的方式的异常检测的精度，该测试数据表示异常通信的通信特征量；以及
选定部，其选定以所判定的精度最高的方式生成的基准值信息。
2.根据权利要求1所述的异常检测装置，其特征在于，
所述判定部将基于多个所述测试数据的异常得分的可异常检测的程度判定为所述精度。
3.根据权利要求1所述的异常检测装置，其特征在于，
所述判定部作为所述测试数据，使用5元组相等的每个组的数据生成由多个测试数据构成的数据集，所述多个测试数据是改变使该5元组以外的所述通信特征量变化的组和该通信特征量的值而生成的。
4.根据权利要求1所述的异常检测装置，其特征在于，还具有：
第二生成部，在所取得的所述通信特征量的数据数或数据取得期间超过比所述规定值大的第二规定值的情况下，该第二生成部通过使用了该通信特征量的学习，生成所述通信设备的正常通信的基准值信息；
第二判定部，其使用表示测试数据与所述基准值信息的偏差的异常得分，判定异常检测的精度，该测试数据表示异常通信的通信特征量；以及
第二选定部，在由所述第二判定部判定的精度为规定的阈值以上的情况下，该第二选定部选定由所述第二生成部生成的所述基准值信息，在该精度小于规定的阈值的情况下，该第二选定部变更所述第二生成部在学习中使用的数据数或数据取得期间。
5.根据权利要求4所述的异常检测装置，其特征在于，
在所取得的所述通信特征量的数据数或数据取得期间超过比所述规定值大的第二规定值，进而取得了规定的数据数或数据取得期间的所述通信特征量的情况下，所述第二生成部通过使用了所述第二规定值的通信特征量的学习，生成所述通信设备的正常通信的基准值信息，
在所述精度小于规定的阈值的情况下，所述第二选定部增加所述第二生成部在学习中使用的数据数或数据取得期间。
6.根据权利要求1所述的异常检测装置，其特征在于，
所述放大部通过维持每个所述组的数据数的构成比率来进行放大的方式或按照使每个所述组的数据数均等的方式进行放大的方式中的任意1个、和复制所取得的所述通信特征量的值来进行放大的方式或在规定的范围内变更所述通信特征量的5元组以外的值来进行放大的方式中的任意1个的组合，决定所述方式。
7.一种异常检测方法，由异常检测装置执行，该异常检测方法的特征在于，包括：
取得步骤，取得通信设备的正常通信的通信特征量；
放大步骤，在所取得的所述通信特征量的数据数或数据取得期间超过了规定值的情况下，根据5元组相等的每个组的数据数，以多个规定的方式放大通信特征量的数据数；
生成步骤，按每个所述规定的方式，通过使用了放大后的所述通信特征量的学习，生成所述通信设备的正常通信的基准值信息；
判定步骤，使用表示测试数据与所述基准值信息的偏差的异常得分，判定每个所述规定的方式的异常检测的精度，该测试数据表示异常通信的通信特征量；以及
选定步骤，选定以所判定的精度最高的方式生成的基准值信息。
8.一种异常检测程序，其用于使计算机执行如下步骤：
取得步骤，取得通信设备的正常通信的通信特征量；
放大步骤，在所取得的所述通信特征量的数据数或数据取得期间超过了规定值的情况下，根据5元组相等的每个组的数据数，以多个规定的方式放大通信特征量的数据数；
生成步骤，按照每个所述规定的方式，通过使用了放大后的所述通信特征量的学习，生成所述通信设备的正常通信的基准值信息；
判定步骤，使用表示测试数据与所述基准值信息的偏差的异常得分，判定每个所述规定的方式的异常检测的精度，该测试数据表示异常通信的通信特征量；以及
选定步骤，选定以所判定的精度最高的方式生成的基准值信息。
CN201980098551.7A 2019-07-23 2019-07-23 异常检测装置、异常检测方法以及记录介质 Active CN114128215B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028912 WO2021014592A1 (ja) 2019-07-23 2019-07-23 異常検出装置、異常検出方法および異常検出プログラム

Publications (2)

Publication Number Publication Date
CN114128215A true CN114128215A (zh) 2022-03-01
CN114128215B CN114128215B (zh) 2023-05-12

Family

ID=74193564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098551.7A Active CN114128215B (zh) 2019-07-23 2019-07-23 异常检测装置、异常检测方法以及记录介质

Country Status (6)

Country Link
US (1) US20220263737A1 (zh)
EP (1) EP3989492B1 (zh)
JP (1) JP7184197B2 (zh)
CN (1) CN114128215B (zh)
AU (1) AU2019457781B2 (zh)
WO (1) WO2021014592A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7483664B2 (ja) 2021-07-28 2024-05-15 Kddi株式会社 通信解析システム、通信解析方法及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339634A (zh) * 2011-01-27 2013-10-02 株式会社Ntt都科摩 移动信息终端、把持特征学习方法、以及把持特征认证方法
CN103348352A (zh) * 2011-01-28 2013-10-09 株式会社Ntt都科摩 移动信息终端以及抓握特征学习方法
CN108183917A (zh) * 2018-01-16 2018-06-19 中国人民解放军国防科技大学 基于软件定义网络的DDoS攻击跨层协同检测方法
CN109040141A (zh) * 2018-10-17 2018-12-18 腾讯科技（深圳）有限公司 异常流量的检测方法、装置、计算机设备和存储介质
CN109922038A (zh) * 2018-12-29 2019-06-21 中国电力科学研究院有限公司 一种用于电力终端的异常数据的检测方法及装置
JP2019102011A (ja) * 2017-12-08 2019-06-24 日本電信電話株式会社 学習装置、学習方法及び学習プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219697A (ja) * 1996-02-09 1997-08-19 Sharp Corp 無線通信装置
JP6666872B2 (ja) * 2017-03-17 2020-03-18 Kddi株式会社 情報処理装置、情報処理方法およびプログラム
JP6734228B2 (ja) * 2017-06-14 2020-08-05 日本電信電話株式会社 異常検出装置、および、異常検出方法
JP6864610B2 (ja) * 2017-12-06 2021-04-28 日本電信電話株式会社 特定システム、特定方法及び特定プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339634A (zh) * 2011-01-27 2013-10-02 株式会社Ntt都科摩 移动信息终端、把持特征学习方法、以及把持特征认证方法
CN103348352A (zh) * 2011-01-28 2013-10-09 株式会社Ntt都科摩 移动信息终端以及抓握特征学习方法
JP2019102011A (ja) * 2017-12-08 2019-06-24 日本電信電話株式会社 学習装置、学習方法及び学習プログラム
CN108183917A (zh) * 2018-01-16 2018-06-19 中国人民解放军国防科技大学 基于软件定义网络的DDoS攻击跨层协同检测方法
CN109040141A (zh) * 2018-10-17 2018-12-18 腾讯科技（深圳）有限公司 异常流量的检测方法、装置、计算机设备和存储介质
CN109922038A (zh) * 2018-12-29 2019-06-21 中国电力科学研究院有限公司 一种用于电力终端的异常数据的检测方法及装置

Also Published As

Publication number Publication date
CN114128215B (zh) 2023-05-12
EP3989492B1 (en) 2024-01-03
US20220263737A1 (en) 2022-08-18
EP3989492A4 (en) 2023-01-25
JPWO2021014592A1 (zh) 2021-01-28
EP3989492A1 (en) 2022-04-27
JP7184197B2 (ja) 2022-12-06
AU2019457781B2 (en) 2023-04-06
WO2021014592A1 (ja) 2021-01-28
AU2019457781A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
US9830252B2 (en) System, method and non-transitory computer readable medium for software testing
CN109997139B (zh) 利用基于散列的指纹检测恶意软件
US20120110667A1 (en) System and Method for Server-Based Antivirus Scan of Data Downloaded From a Network
US20230362182A1 (en) Abnormality sensing device and abnormality sensing method
US11470097B2 (en) Profile generation device, attack detection device, profile generation method, and profile generation computer program
KR20160119678A (ko) 기계 학습을 이용한 웹 공격 탐지방법 및 장치
JP6864610B2 (ja) 特定システム、特定方法及び特定プログラム
CN114128215A (zh) 异常检测装置、异常检测方法以及异常检测程序
JP6845125B2 (ja) 学習装置、学習方法及び学習プログラム
US10984105B2 (en) Using a machine learning model in quantized steps for malware detection
US11863416B2 (en) Imparting device, imparting method, and imparting program
US11201874B2 (en) Information processing apparatus, control method, and program
US20230351251A1 (en) Determination device, determination method, and determination program
EP4333377A1 (en) Analysis device, analysis method, and analysis program
WO2017104284A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
US20230334361A1 (en) Training device, training method, and training program
US20200279174A1 (en) Attack detection apparatus, attack detection method, and computer readable medium
CN116342297A (zh) 金融代金券的风险账号数据拦截方法及系统
CN115694944A (zh) 攻击防御方法、装置、防护设备及可读存储介质
CN117370192A (zh) 界面适配性测试方法、装置、电子设备以及存储介质
CN114127698A (zh) 学习装置、检测系统、学习方法以及学习程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant