CN112425123A - 评价装置和评价方法 - Google Patents

评价装置和评价方法 Download PDF

Info

Publication number
CN112425123A
CN112425123A CN201980040020.2A CN201980040020A CN112425123A CN 112425123 A CN112425123 A CN 112425123A CN 201980040020 A CN201980040020 A CN 201980040020A CN 112425123 A CN112425123 A CN 112425123A
Authority
CN
China
Prior art keywords
data
evaluation
model
learning
probability density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980040020.2A
Other languages
English (en)
Other versions
CN112425123B (zh
Inventor
山中友贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN112425123A publication Critical patent/CN112425123A/zh
Application granted granted Critical
Publication of CN112425123B publication Critical patent/CN112425123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors

Abstract

评价装置(1)具有：受理部(120)，其受理评价对象的通信数据的输入；以及评价部(123)，其使用学习正常初始学习数据的概率密度的特征而得到的学习数据用VAE模型(111)和学习在评价处理的过程中被检测为异常的正常过检测数据的概率密度的特征而得到的过检测用VAE模型(112)来估计评价对象的通信数据的概率密度，根据估计出的概率密度来对评价对象的通信数据是否存在异常进行评价。

Description

评价装置和评价方法
技术领域
本发明涉及评价装置和评价方法。
背景技术
随着IoT(Internet of Things：物联网)时代的到来，多种器件(IoT设备)与互联网连接，并以各种方式被使用。随之而来，正期待面向IoT设备的业务会话异常检测系统或入侵检测系统(IDS：Intrusion Detection System)等IoT设备的安全措施。
作为这样的技术，例如，存在使用VAE(Variational Auto Encoder：可变自动编码器)等基于无教师学习的概率密度估计器的技术。在该技术中，在学习正常通信数据的概率密度之后，将概率密度较低的通信检测为异常。因此，在该技术中，仅知道正常的通信数据即可，即使不学习全部恶性数据，也能够检测异常。因此，该技术对于检测针对仍处于过渡期且不知道所有威胁信息的IoT设备的威胁是有效的。
现有技术文献
非专利文献
非特許文献1：Diederik P Kingma,Max Welling，“Auto-Encoding VariationalBayes”，[平成30年6月7日検索]，インターネット<URL：https://arxiv.org/abs/1312.6114>
发明内容
发明所要解决的课题
此处，VAE根据概率进行异常检测，因此，可能产生错误检测。例如，作为错误检测，存在将正常通信错误地判断为异常的过检测。作为可能成为过检测的数据，存在每年仅发生几次的维护用的通信或奥运会时的异常数量的业务数据。为了获得实用的异常检测系统，需要在注意到过检测的发生时反馈该过检测数据并改善检测精度的功能。
以往，为了反馈过检测数据，使用了如下方法：生成将在初始学习中所使用的数据集与产生了过检测的数据集混合而成的数据集，再次重新学习VAE的模型。
但是，现有的方法存在以下的两个问题。首先，作为第1问题，存在需要也在生成模型之后预先保存在初始学习中所使用的初始学习数据集的问题。然后，作为第2问题，存在在过检测数据集与初始学习数据集相比非常少时无法高精度地学习过检测数据的问题。
一般而言，几乎不发生过检测，多数情况下难以大量地收集过检测数据。因此，上述问题中的特别是第2问题较深刻。因此，要求建立如下技术：即使是少量的过检测数据，也能够高效且高精度地进行反馈并改善评价精度。
本发明是鉴于上述情况而完成的，其目的在于提供高精度地执行通信数据是否存在异常的评价的评价装置和评价方法。
用于解决问题的手段
为了解决上述课题，达成目的，本发明的评价装置的特征在于，具有：受理部，其受理评价对象的通信数据的输入；以及评价部，其使用第1模型和第2模型来估计所述评价对象的通信数据的概率密度，根据估计出的概率密度来对所述评价对象的通信数据是否存在异常进行评价，其中，该第1模型对正常的初始学习数据的概率密度的特征进行了学习，该第2模型对在评价处理的过程中被检测为异常的正常的过检测数据的概率密度的特征进行了学习。
发明效果
根据本发明，能够高精度地执行通信数据是否存在异常的评价。
附图说明
图1是示出实施方式的评价装置的结构的一例的图。
图2是说明图1所示的模型生成部的处理的图。
图3是说明图1所示的模型生成部的处理的图。
图4是说明图1所示的评价装置中的反馈学习的图。
图5是说明图1所示的模型生成部所生成的模型的图。
图6是说明图1所示的模型生成部所生成的模型的图。
图7是说明图1所示的评价部的处理的图。
图8是示出图1所示的评价装置在初始阶段进行的学习处理的处理过程的流程图。
图9是示出图1所示的评价装置1进行的评价处理的处理过程的流程图。
图10是说明实施方式的评价装置的应用例的图。
图11是说明图1所示的评价部的处理的其他例子的图。
图12是说明现有的评价方法的反馈学习的图。
图13是说明在现有的评价方法中使用的模型的图。
图14是说明在现有的评价方法中使用的模型的图。
图15是示出通过执行程序来实现评价装置的计算机的一例的图。
具体实施方式
以下，参考附图详细地说明本发明的一个实施方式。另外，本发明不受本实施方式的限定。此外，在附图的记载中，对相同部分标注相同标记来示出。
[实施方式]
对本发明的实施方式进行说明。实施方式的评价装置除了学习正常学习数据而得到的学习数据用VAE模型以外，还生成仅学习过检测数据而得到的过检测用VAE模型。过检测数据是在评价处理的过程中被评价为异常的正常通信数据，仅产生少量。本实施方式的评价装置根据将所生成的两个VAE模型按照模型级别结合所得到的概率密度来进行评价，因此，实现过检测数据的反馈和检测的高精度化。
另外，VAE在受理到某一数据点xi的输入时，输出与该数据对应的异常分数(score)(异常度)。当设概率密度的估计值为p(xi)时，异常分数为-logp(xi)的近似值。因此，VAE输出的异常分数表示值越高，该通信数据的异常度越高。
[评价装置的结构]
因此，对实施方式的评价装置的结构具体地进行说明。图1是示出实施方式的评价装置的结构的一例的图。如图1所示，评价装置1具有通信部10、存储部11和控制部12。
通信部10是与经由网络等而连接的其他装置之间收发各种信息的通信接口。通信部10通过NIC(Network Interface Card：网络接口卡)等来实现，经由LAN(Local AreaNetwork：局域网)或互联网等电气通信线路进行其他装置与控制部12(后述)之间的通信。通信部10经由例如网络等与外部装置连接，受理评价对象的通信数据的输入。
存储部11通过RAM(Random Access Memory：随机存取存储器)、闪存(FlashMemory)等半导体存储器元件或硬盘、光盘等存储装置来实现，存储有使评价装置1工作的处理程序或在处理程序的执行中所使用的数据等。存储部11具有学习数据用VAE模型111和过检测用VAE模型112。
学习数据用VAE模型111是学习正常学习数据而得到的学习数据用VAE模型(第1模型)，且是学习正常初始学习数据的概率密度的特征而得到的模型。过检测用VAE模型112是仅学习过检测数据而得到的过检测用VAE模型(第2模型)，且是学习在评价处理的过程中被评价为异常的正常过检测数据的概率密度的特征而得到的模型。各模型具有学习完成的VAE的模型参数。
控制部12具有用于存储规定了各种处理过程等的程序和所需数据的内部存储器，由此执行各种处理。例如，控制部12是CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理单元)等电子电路。控制部12具有受理部120、模型生成部121(生成部)和评价部123。
模型生成部121具有VAE122作为概率密度估计器，学习所输入的数据，进行VAE模型的生成或者VAE模型参数的更新。模型生成部121将所生成的VAE模型的模型参数或者所更新的VAE模型的模型参数存储到存储部11中。
图2和图3是说明图1所示的模型生成部121的处理的图。首先，如图2所示，在初始阶段中，模型生成部121将正常的大量学习数据Ds(例如，HTTP通信)作为初始学习数据进行学习，生成学习数据用VAE模型111。
然后，如图3所示，模型生成部121学习在评价处理的过程中收集到的少量的过检测数据De(例如，FTP通信)，新生成过检测用VAE模型112。或者，模型生成部121学习所反馈的过检测数据。
此处，模型生成部121在接收到过检测数据的学习指示时，学习所输入的过检测数据而生成过检测用VAE模型112，或对过检测用VAE模型112的参数进行更新。由此，过检测数据被反馈到评价装置1中。
图4是说明图1所示的评价装置中的反馈学习的图。图5和图6是说明图1所示的模型生成部121所生成的模型的图。具体而言，如图4所示，在过检测数据的反馈学习时，模型生成部121使用初始的学习数据Ds的件数和所反馈的少量的过检测数据De来高精度地学习过检测数据De。然后，模型生成部121生成过检测用VAE模型112，或者对过检测用VAE模型112的模型参数进行更新。
因此，评价装置1仅预先保存初始的学习数据Ds的件数以进行过检测数据的反馈学习即可。此外，评价装置1仅学习少量的过检测数据，因此，能够比学习大量的初始的学习数据更缩短学习时间。此外，评价装置1仅学习过检测数据，因此，能够执行高精度的学习。
而且，学习数据用VAE模型111是在初始阶段中高精度地学习正常学习数据而得到的模型(参照图4的(1a))，且是过去根据初始的学习数据Ds已生成的模型(参照图4的(1b))。该学习数据用VAE模型111针对通常时的正常通信数据表示较低的异常分数(参照图5)。而且，过检测用VAE模型112是高精度地学习过检测数据而得到的模型，针对过检测数据表示较低的异常分数(参照图6)。
评价部123使用学习数据用VAE模型111和过检测用VAE模型112来估计评价对象的通信数据的概率密度，根据估计出的概率密度来对评价对象的通信数据是否存在异常进行评价。评价部123根据将应用学习数据用VAE模型111而估计出的概率密度与应用过检测用VAE模型112而估计出的概率密度结合而得到的概率密度来对评价对象的通信数据是否存在异常进行评价。在所结合的概率密度比规定值低的情况下，评价部123检测出评价对象的通信数据处于异常，向外部的处理装置等通知通信数据发生异常。评价部123具有结合部124和是否存在异常评价部126。
结合部124例如具有应用学习数据用VAE模型111的模型参数的第1VAE1251、和应用过检测用VAE模型112的模型参数的第2VAE1252。结合部124将应用学习数据用VAE模型111而估计出的概率密度与应用过检测用VAE模型112而估计出的概率密度结合。
在通过过检测数据的反馈而生成或更新过检测用VAE模型112的情况下，结合部124将过检测用VAE模型112与学习数据用VAE模型111按照模型级别结合。按照模型级别的结合表示根据以下的(1)式来结合作为各个VAE模型的输出的分数。换言之，结合部124将应用了学习数据用VAE模型111的第1VAE1251所估计出的异常分数和应用了过检测用VAE模型112的第2VAE1252所估计出的异常分数应用于(1)式，计算结合异常分数。
[式1]
Figure BDA0002836371350000061
在(1)式中，scoren是应用了学习初始的学习数据Ds而得到的学习数据用VAE模型111的第1VAE1251所输出的异常分数。scoreod是应用了学习过检测数据De而得到的过检测用VAE模型112的第2VAE1252所输出的异常分数。scoreconcat是结合异常分数。此外，Nn是学习数据的件数。Nod是过检测数据的件数。
是否存在异常评价部126根据由结合部124结合后的概率密度来对评价对象的通信数据是否存在异常进行评价。是否存在异常评价部126根据由结合部124计算出的结合异常分数来检测评价对象的通信数据是否存在异常。具体而言，在结合异常分数比规定值高的情况下，是否存在异常评价部126评价为评价对象的通信数据处于异常。此外，在结合异常分数为规定值以下的情况下，是否存在异常评价部126评价为评价对象的通信数据处于正常。
图7是说明图1所示的评价部123的处理的图。评价部123输入学习完成的学习数据用VAE模型111和过检测用VAE模型112(参照箭头Y1、Y2)，对从网络得到的评价用的通信数据(评价数据)Dt进行评价。这时，评价部123通过将第1VAE1251针对评价数据Dt输出的异常分数和第2VAE1252针对评价数据Dt输出的异常分数应用于(1)式，得到结合异常分数。然后，在结合异常分数比规定值高的情况下，评价部123评价为评价对象的通信数据处于异常，将该评价结果Dr输出到处理装置等。
[初始的学习处理]
接着，对评价装置1在初始阶段进行的学习处理进行说明。图8是示出图1所示的评价装置1在初始阶段进行的学习处理的处理过程的流程图。
如图8所示，在初始阶段中，模型生成部121接收到作为初始模型的学习数据用VAE模型111的生成指示时(步骤S1)，受理初始的学习数据的输入(步骤S2)。然后，模型生成部121学习该初始的学习数据，生成学习数据用VAE模型111(步骤S3)。模型生成部121将所生成的学习数据用VAE模型111的模型参数存储到存储部11中。
[评价处理]
接着，对评价装置1的评价处理进行说明。图9是示出图1所示的评价装置1进行的评价处理的处理过程的流程图。
如图9所示，当受理部120受理到评价数据的输入时(步骤S11)，评价部123应用学习完成的模型(步骤S12)，来估计评价对象数据的概率密度(步骤S13)。
此处，在反馈过检测数据之前的情况下，在存储部11中仅存储有学习数据用VAE模型111。在该情况下，评价部123将学习数据用VAE模型111应用于第1VAE，来估计评价数据的概率密度。此外，在已反馈过检测数据的情况下，在存储部11中存储有学习数据用VAE模型111和过检测用VAE模型112双方。在该情况下，评价部123将学习数据用VAE模型111应用于第1VAE1251，将过检测用VAE模型112应用于第2VAE1252，在各个VAE中，估计评价数据的概率密度。
接下来，评价部123计算将应用学习数据用VAE模型111而估计出的概率密度与应用过检测用VAE模型112而估计出的概率密度结合所得的概率密度(步骤S14)。具体而言，在评价部123中，结合部124将应用了学习数据用VAE模型111的第1VAE1251所估计出的异常分数和应用了过检测用VAE模型112的第2VAE1252所估计出的异常分数应用于(1)式，计算结合异常分数。
然后，在评价部123中，是否存在异常评价部126根据在步骤S14中计算出的概率密度来对评价对象的通信数据是否存在异常进行评价，输出评价结果(步骤S15)。在由结合部124计算出的结合异常分数比规定值高的情况下，是否存在异常评价部126评价为评价对象的通信数据处于异常。
接下来，控制部12判定是否接收到过检测数据学习指示(步骤S16)。例如，管理者分析从评价部123输出的检测结果，在具有被检测为异常但实际上处于正常的通信数据的情况下，将该通信数据分类为过检测数据。然后，管理者在收集到规定数量的过检测数据时，向评价装置1反馈所收集到的过检测数据，指示该过检测数据的学习。或者，在外部装置中，分析从评价部123输出的检测结果，在存储有规定数量的被分类为过检测数据的通信数据时，从外部装置反馈学习对象的过检测数据并且输入过检测数据的学习指示。
在控制部12判定为接收到过检测数据的学习指示的情况下(步骤S16：是)，受理部120受理学习对象的过检测数据的输入(步骤S17)。接下来，模型生成部121学习所输入的过检测数据，新生成过检测用VAE模型112(步骤S18)。或者，模型生成部121学习所反馈的过检测数据，对过检测用VAE模型112的模型参数进行更新(步骤S18)。
控制部12在判定为未接收到过检测数据学习指示的情况下(步骤S16：否)，或者在步骤S18的处理结束之后，判定是否接收到评价处理的结束指示(步骤S19)。控制部12在判定为未接收到评价处理的结束指示的情况下(步骤S19：否)，返回步骤S11，受理下一个评价数据的输入。控制部12在判定为受理到评价处理的结束指示的情况下(步骤S19：是)，结束评价处理。
[实施例]
例如，本实施方式的评价装置1能够应用于IoT设备的异常检测。图10是说明实施方式的评价装置1的应用例的图。如图10所示，在与多个IoT设备2连接的网络3上设置评价装置1。在该情况下，评价装置1收集由IoT设备2收发的业务会话信息，进行正常业务会话的概率密度的学习和异常业务会话的检测。
在评价装置1中，模型生成部121接收作为学习对象的初始学习用数据集或过检测数据集，将学习所接收到的数据集而得到的学习完成模型存储到存储部11中。
图11是说明图1所示的评价部123的处理的其他例子的图。在评价部123中，结合部124接收一个或多个学习完成模型的模型参数，将应用了各学习完成模型的各VAE所估计出的异常分数结合。结合部124的VAE具有输出针对所输入的每个评价数据的估计结果的功能。在图1中，以结合部124具有两个VAE的结构为例进行了说明，但是，不限于此。结合部124也可以是具有与所应用的模型的数量相同数量的VAE的结构。或者，结合部124也可以对一个VAE依次应用学习完成模型，取得使用各学习完成模型而估计出的各异常分数。
此处，应用于结合部124的学习完成模型可以是学习初始的学习数据而得到的学习数据用VAE模型111，也可以是学习过检测数据而得到的过检测用VAE模型112。此外，也可以对结合部124应用学习相互不同的学习数据而得到的多个学习数据用VAE模型111-1、111-2(参照箭头Y11)。当然，也可以对结合部124仅应用一个学习数据用VAE模型。
而且，也可以对结合部124应用学习相互不同的过检测数据而得到的多个过检测用VAE模型112-1、112-2(参照箭头Y12)。当然，如果是反馈过检测数据之前，则未生成过检测用VAE模型，因此，也可以不将过检测用VAE模型应用于结合部124。此外，如上所述，也可以对结合部124仅应用一个过检测用VAE模型。
在应用了多个模型的情况下，结合部124根据以下的式(2)来结合基于所应用的多个模型的异常分数。
[式2]
Figure BDA0002836371350000091
此处，scorek是第k个模型所输出的分数，Nk是第k个模型所学习的数据的件数。换言之，是否存在异常评价部126在对评价数据进行评价时，得到(2)式的值作为结合异常分数。这样，结合部124还能够将2以上的模型按照模型级别结合。
如上所述，在评价装置1中，在初始学习时，向模型生成部121输入初始的学习用数据而得到学习数据用VAE模型111。然后，评价装置1在评价处理的过程中，在发觉若干个过检测之前，向结合部124仅输入学习数据用VAE模型111，对从网络而得到到的业务信息依次进行持续评价。
然后，在评价装置1中，在发觉到过检测的情况下，向模型生成部121输入过检测数据的数据集，生成学习过检测数据而得到的过检测用VAE模型112。然后，在评价装置1中，向结合部124输入学习数据用VAE模型111和过检测用VAE模型112，同样地对从网络而得到到的业务信息依次进行持续评价。
在评价装置1中，通过依次反复这些过检测发觉、过检测数据学习、模型结合的处理，持续改善检测精度。
[现有方法]
接着，对现有的评价方法进行说明。图12是说明现有的评价方法的反馈学习的图。图13和图14是在现有的评价方法中使用的模型的图。
如图12所示，在现有的评价方法中，在过检测数据的反馈学习时，除了所反馈的少量的过检测数据以外，还学习了大量的初始学习数据双方。其结果，在现有的评价方法中，VAE模型是能够高精度地学习大量的初始学习数据的模型(参照图12的(1a))，忽略少量的过检测数据而进行了学习(参照图12的(1b))。
因此，现有的VAE模型在评价时，针对相当于大量的学习数据的通信数据表示较低的异常分数(参照图13)，但是针对过检测数据表示较高的异常分数(参照图14)。这样，在现有的评价方法中，数据数量存在偏差，因此未能高精度地学习过检测数据。并且，在现有的评价方法中，需要预先保存大量的初始学习数据以进行过检测数据的反馈学习，此外，重新生成VAE模型，因此，需要多于初始学习时的时间。
[评价实验]
因此，示出使用现有的评价方法和本实施方式的评价方法来针对实际的IoT设备间的业务会话数据分别进行评价后的结果。学习数据是照相机通信(369数据)，过检测数据是SSH通信(10数据)。
对作为初始学习来学习照相机通信而生成VAE模型的情况下的评价结果进行说明。即，是过检测数据的反馈前，且是使用仅学习作为初始的学习数据的照相机通信而得到的VAE模型来进行评价后的结果。在该情况下，学习数据的平均分数为-25.2625。未学习过检测数据，因此，过检测数据的平均分数成为高至268.530的分数。然后，学习所需的时间成为13.452(sec，秒)。
接下来，对使用现有的评价方法来对过检测数据进行反馈学习后的评价结果进行说明。在该情况下，学习数据的平均分数为-16.3808。过检测数据的平均分数与过检测数据反馈前相比稍微改善，但是示出依然高至44.6441的分数，维持精度较低的状态。然后，重新学习所需的时间为14.157(sec)，比初始学习时长。
与此相对，对使用本实施方式的评价方法来对过检测数据进行反馈学习之后的评价结果进行说明。在该情况下，学习数据的平均分数为-25.2625。而且，过检测数据的平均分数与现有的评价方法相比，大幅度地改善为-24.0182。并且，重新学习所需的时间与现有的评价方法相比大幅度缩短为3.937(sec)。
[实施方式的效果]
这样，在本实施方式中，使用学习正常学习数据而得到的学习数据用VAE模型和学习过检测数据而得到的过检测用VAE模型来估计评价数据的概率密度，根据估计出的概率密度来对评价数据是否存在异常进行评价。即，在本实施方式中，与学习正常学习数据而得到的学习数据用VAE模型分开地生成仅反馈学习过检测数据而得到的过检测用VAE模型，根据将生成的两个VAE模型所估计出的概率密度结合而得到的概率密度来进行评价。
在现有的评价方法中，在无法高精度地学习过检测数据之后，需要预先保存大量的初始学习数据以进行过检测数据的反馈学习，重新生成VAE模型，因此，需要多于初始学习时的时间。
与此相对，在本实施方式的评价装置1中，仅保存初始的学习数据Ds的件数以进行过检测数据的反馈学习即可。而且，在评价装置1中，也如上述的评价实验结果所示，在评价处理的过程中，仅学习少量的过检测数据即可，能够比学习大量的初始的学习数据较大缩短学习时间。此外，在评价装置1中，也如上述的评价实验结果所示，即使在过检测数据与学习数据之间存在数量的偏差，也能够高精度地评价过检测数据。
因此，根据本实施方式，能够高效地反馈少量的过检测数据，减少过检测数据的产生，从而高精度地执行通信数据是否存在异常的评价。
[系统结构等]
图示的各装置的各结构要素是功能概念性的，在物理上不一定需要如图所示那样构成。即，各装置的分散/结合的具体方式不限于图示，能够根据各种负荷和使用状况等，以任意的单位在功能或物理上分散/结合构成其全部或一部分来构成。并且，在各装置中进行的各处理功能的全部或一部分能够通过CPU和由该CPU分析执行的程序来实现，或者作为基于有线逻辑的硬件来实现。
此外，还能够手动地进行在本实施方式中所说明的各处理中的、作为自动地进行的处理而说明的处理的全部或一部分，或者，还能够通过公知的方法自动地进行作为手动地进行的处理而说明的处理的全部或一部分。此外，除非另外指定，否则可以任意地变更上述文档中、附图中所示的处理过程、控制过程、具体名称、包含各种数据或参数的信息。
[程序]
图15是示出通过执行程序来实现评价装置1的计算机的一例的图。计算机1000例如具有存储器1010、CPU 1020。此外，计算机1000具有硬盘驱动器接口1030、盘驱动器接口1040、串行端口接口1050、视频适配器1060和网络接口1070。这些各部件通过总线1080连接。
存储器1010包含ROM(Read Only Memory：只读存储器)1011和RAM 1012。ROM 1011存储例如BIOS(Basic Input Output System：基本输入输出系统)等引导程序。硬盘驱动器接口1030与硬盘驱动器1090连接。盘驱动器接口1040与盘驱动器1100连接。例如，磁盘、光盘等可装卸的存储介质插入到盘驱动器1100中。串行端口接口1050例如与鼠标1110、键盘1120连接。视频适配器1060例如与显示器1130连接。
硬盘驱动器1090例如存储OS(Operating System：操作系统)1091、应用程序1092、程序模块1093和程序数据1094。即，规定评价装置1的各处理的程序被作为记述有可由计算机执行的代码的程序模块1093来安装。程序模块1093例如存储到硬盘驱动器1090中。例如，用于执行与评价装置1中的功能结构相同的处理的程序模块1093存储到硬盘驱动器1090中。另外，硬盘驱动器1090也可以通过SSD(Solid State Drive：固态硬盘)代替。
此外，在上述实施方式的处理中使用的设定数据作为程序数据1094存储到例如存储器1010、硬盘驱动器1090中。而且，CPU 1020根据需要将存储器1010、硬盘驱动器1090所存储的程序模块1093或程序数据1094读出到RAM 1012中并执行。
另外，程序模块1093或程序数据1094不限于存储到硬盘驱动器1090中的情况，例如也可以存储到可装卸的存储介质中，经由盘驱动器1100等被CPU 1020读出。或者，程序模块1093和程序数据1094也可以存储到经由网络(LAN、WAN(Wide Area Network：广域网)等)而连接的其它计算机中。而且，程序模块1093和程序数据1094也可以从其它计算机中经由网络接口1070被CPU 1020读出。
以上，对应用了由本发明者完成的发明的实施方式进行了说明，但是，本发明不受本实施方式的构成本发明的公开的一部分的记载和附图的限定。即，根据本实施方式来由本领域技术人员等完成的其他实施方式、实施例和运用技术等也全部包含在本发明的范畴中。
标号说明
1：评价装置；
2：IoT设备；
3：网络；
10：通信部；
11：存储部；
12：控制部；
111：学习数据用VAE模型；
112：过检测用VAE模型；
120：受理部；
121：模型生成部；
122：VAE；
123：评价部；
124：结合部；
1251：第1VAE；
1252：第2VAE；
126：是否存在异常评价部。

Claims (3)

1.一种评价装置，其特征在于，具有：
受理部，其受理评价对象的通信数据的输入；以及
评价部，其使用第1模型和第2模型来估计所述评价对象的通信数据的概率密度，根据估计出的概率密度来对所述评价对象的通信数据是否存在异常进行评价，其中，该第1模型对正常的初始学习数据的概率密度的特征进行了学习，该第2模型对在评价处理的过程中被检测为异常的正常的过检测数据的概率密度的特征进行了学习。
2.根据权利要求1所述的评价装置，其特征在于，
所述评价装置还具有生成部，在输入了所述正常的初始学习数据的情况下，所述生成部对所述正常的初始学习数据的概率密度的特征进行学习而生成所述第1模型，在输入了在所述评价处理的过程中收集到的所述过检测数据的情况下，所述生成部对所述过检测数据的概率密度的特征进行学习而生成所述第2模型，
所述评价部根据将应用所述第1模型而估计出的概率密度和应用所述第2模型而估计出的概率密度结合得到的概率密度来对所述评价对象的通信数据是否存在异常进行评价。
3.一种评价方法，通过评价装置执行，所述评价方法的特征在于包含以下工序：
受理评价对象的通信数据的输入；以及
使用第1模型和第2模型来估计所述评价对象的通信数据的概率密度，根据估计出的概率密度来对所述评价对象的通信数据是否存在异常进行评价，其中，该第1模型对正常的初始学习数据的概率密度的特征进行了学习，该第2模型对在评价处理的过程中被检测为异常的正常的过检测数据的概率密度的特征进行了学习。
CN201980040020.2A 2018-06-20 2019-06-18 评价装置和评价方法 Active CN112425123B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018117456A JP6767434B2 (ja) 2018-06-20 2018-06-20 評価装置及び評価方法
JP2018-117456 2018-06-20
PCT/JP2019/024167 WO2019244902A1 (ja) 2018-06-20 2019-06-18 評価装置及び評価方法

Publications (2)

Publication Number Publication Date
CN112425123A true CN112425123A (zh) 2021-02-26
CN112425123B CN112425123B (zh) 2023-10-27

Family

ID=68984033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980040020.2A Active CN112425123B (zh) 2018-06-20 2019-06-18 评价装置和评价方法

Country Status (6)

Country Link
US (1) US20210256402A1 (zh)
EP (1) EP3796599B1 (zh)
JP (1) JP6767434B2 (zh)
CN (1) CN112425123B (zh)
AU (1) AU2019288014B2 (zh)
WO (1) WO2019244902A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006805B2 (ja) * 2018-10-02 2022-01-24 日本電信電話株式会社 算出装置、算出方法及び算出プログラム
WO2021149225A1 (ja) * 2020-01-23 2021-07-29 三菱電機株式会社 モデル生成装置、モデル生成方法及びモデル生成プログラム
US20230351251A1 (en) 2020-09-18 2023-11-02 Nippon Telegraph And Telephone Corporation Determination device, determination method, and determination program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235879A (ja) * 2006-03-03 2007-09-13 Mitsubishi Electric Corp 学習能力評価装置、学習能力評価方法及び学習能力評価プログラム
JP2009070071A (ja) * 2007-09-12 2009-04-02 Toshiba Corp 学習型プロセス異常診断装置、およびオペレータ判断推測結果収集装置
JP2010097342A (ja) * 2008-10-15 2010-04-30 Toshiba Corp 異常動作検出装置及びプログラム
CN102814340A (zh) * 2011-06-08 2012-12-12 鞍钢股份有限公司 热轧带钢宽度控制模型智能学习系统及计算学习方法
JP2015026252A (ja) * 2013-07-26 2015-02-05 株式会社豊田中央研究所 異常検知装置及びプログラム
CN106790008A (zh) * 2016-12-13 2017-05-31 浙江中都信息技术有限公司 用于在企业网络中检测异常主机的机器学习系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
US10635565B2 (en) * 2017-10-04 2020-04-28 Servicenow, Inc. Systems and methods for robust anomaly detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235879A (ja) * 2006-03-03 2007-09-13 Mitsubishi Electric Corp 学習能力評価装置、学習能力評価方法及び学習能力評価プログラム
JP2009070071A (ja) * 2007-09-12 2009-04-02 Toshiba Corp 学習型プロセス異常診断装置、およびオペレータ判断推測結果収集装置
JP2010097342A (ja) * 2008-10-15 2010-04-30 Toshiba Corp 異常動作検出装置及びプログラム
CN102814340A (zh) * 2011-06-08 2012-12-12 鞍钢股份有限公司 热轧带钢宽度控制模型智能学习系统及计算学习方法
JP2015026252A (ja) * 2013-07-26 2015-02-05 株式会社豊田中央研究所 異常検知装置及びプログラム
CN106790008A (zh) * 2016-12-13 2017-05-31 浙江中都信息技术有限公司 用于在企业网络中检测异常主机的机器学习系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIEDERIK P KINGMA,MAX WELLING: ""Auto-Encoding Variational Bayes"" *
张玉清;董颖;柳彩云;雷柯楠;孙鸿宇;: "深度学习应用于网络空间安全的现状、趋势与展望" *

Also Published As

Publication number Publication date
US20210256402A1 (en) 2021-08-19
CN112425123B (zh) 2023-10-27
AU2019288014B2 (en) 2022-03-17
JP6767434B2 (ja) 2020-10-14
EP3796599A1 (en) 2021-03-24
EP3796599A4 (en) 2022-03-16
JP2019220866A (ja) 2019-12-26
EP3796599B1 (en) 2023-10-04
WO2019244902A1 (ja) 2019-12-26
AU2019288014A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US11481684B2 (en) System and method for machine learning model determination and malware identification
CN112425123B (zh) 评价装置和评价方法
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
US9781139B2 (en) Identifying malware communications with DGA generated domains by discriminative learning
US11757931B2 (en) Detection of brute force attacks
JP6691094B2 (ja) 学習装置、検知システム、学習方法及び学習プログラム
JP2016184412A (ja) １つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム
US10127385B2 (en) Automated security vulnerability exploit tracking on social media
US10417422B2 (en) Method and apparatus for detecting application
JP6845125B2 (ja) 学習装置、学習方法及び学習プログラム
CN105808422B (zh) 一种基于网络的软件测试方法、客户端及待测试设备
JP2023078085A (ja) 顔認識敵対的パッチ調整
Yu-Ting et al. Real-time risk assessment based on hidden Markov model and security configuration
CN110929663B (zh) 一种场景预测方法及终端、存储介质
EP3602326A1 (en) Decision based re-processing framework for radar technology
CN115730205A (zh) 一种配置决策装置的方法、装置及相关设备
AU2020428327B2 (en) Learning device, learning method, and learning program
US20230177151A1 (en) System and method of microcontroller security
CN110896388B (zh) 网络流量分析方法、装置、计算机可读介质
CN113592285A (zh) 一种物业管理系统的控制方法及装置
CN116610734A (zh) 基于etl的数据处理方法、装置、存储介质以及电子设备
CN116113960A (zh) 学习装置、学习方法以及学习程序
CN116132197A (zh) 一种基于功能码的网络同源攻击分析方法及系统
CN114139017A (zh) 一种智慧小区的安全防范方法及系统
Tekampe et al. D4. 5: Description of metrics for the evaluation of vulnerabilities to direct attacks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant