CN116134393A - 异常检测模型的评估系统及评估方法 - Google Patents

Abstract

评估系统包括：模型制作部(1)，制作将作为时间序列数据的说明变量数据与目标变量数据的正常范围的关系模型化而成的异常检测模型(2)；评估值计算部(3)，基于在将验证用的说明变量输入异常检测模型(2)时从异常检测模型(2)输出的目标变量的正常范围的推测结果、及与验证用的说明变量相对应的目标变量的实测数据，算出异常检测模型(2)的评估值；及评估部(4)，基于评估值来评估异常检测模型(2)。

Description

异常检测模型的评估系统及评估方法

技术领域

本发明涉及一种通过推测异常检测对象的正常范围进行的异常检测技术，尤其涉及一种推测正常范围的异常检测模型的评估系统及评估方法。

背景技术

在如化学工厂那样的工厂中，安装有用来在线计测工艺的状态的传感器，从这些传感器等获得的时间序列数据日益累积。有如下一种方法：使用所述累积的时间序列数据，构建推测异常检测对象的正常范围的模型，从而检测对象的异常(例如参照专利文献1)。

图9是对现有的异常检测方法进行说明的图。将成为异常检测模型100的输入的多个时间序列数据称为说明变量，将成为异常检测对象的时间序列数据称为目标变量。在图9的例子中，流量、压力、温度等为说明变量，阀开度为目标变量。而且，将为了制作异常检测模型100所使用的数据称为学习数据，将用来评估异常检测模型100的性能的数据称为验证数据。作为学习数据，使用异常检测对象未发生异常期间的数据。所述期间可存在多个。作为验证数据，通常使用学习数据未使用的数据，也可以使用学习数据。

异常检测模型100根据所输入的说明变量推测目标变量的正常值的范围。所述正常值的范围有上限值与下限值。上限值与下限值并不限定于一组。例如，在专利文献1中，如图10所示，可使用取0～1的范围的值的可靠度，输出多组上下限。在图10的例子中，可靠度0对应于最外侧的上下限值，1对应于最内侧的上下限值。

如图9所示，异常的检测可根据目标变量的值是否落入从异常检测模型100输出的上下限值的范围内而实施。但关于异常检测方法，有时也使用更复杂的方法(参照专利文献1)。

使用从传感器等获得的时间序列数据来推测目标变量的正常范围(的时间序列)的专利文献1中的现有的异常检测方法是推测正常范围的模型，以时间轴观察存在精度良好之处与精度不良之处，因此难以将异常检测模型的评估指标定量化，人通过目视观察目标变量与推测值的形式来判断异常检测模型的优劣，因此存在如以下的课题。

(I)异常检测模型的优劣的评估依赖于人，不明确。

(II)如何改良异常检测模型的基准不明确。

由于存在如所述(II)那样的课题，故而负责人反复进行不必要的试误，或者由于不知道做到什么程度才可以，故而成为负责人的心理负担。

现有技术文献

专利文献

专利文献1：日本专利特开2016-081352号公报

发明内容

发明所要解决的问题

本发明是为了解决所述课题而完成，其目的在于提供一种能够算出异常检测模型的评估值而减少异常检测模型的制作的浪费的异常检测模型的评估系统及评估方法。

解决问题的技术手段

本发明的异常检测模型的评估系统的特征在于包括：模型制作部，构成为，制作异常检测模型，所述异常检测模型是将作为时间序列数据的说明变量数据与目标变量数据的正常范围的关系模型化而成；评估值计算部，构成为，基于在将验证用的说明变量输入所述异常检测模型时从所述异常检测模型输出的目标变量的正常范围的推测结果及与所述验证用的说明变量相对应的目标变量的实测数据，将推测结果与实测数据的时间序列数据的各时刻下的差异汇集，由此算出所述异常检测模型的评估值；以及评估部，构成为，基于所述评估值来评估所述异常检测模型。

而且，本发明的异常检测模型的评估方法的特征在于包括：第一工序，制作将作为时间序列数据的说明变量数据与目标变量数据的正常范围的关系模型化而成的异常检测模型；第二工序，基于在将验证用的说明变量输入所述异常检测模型时从所述异常检测模型输出的目标变量的正常范围的推测结果及与所述验证用的说明变量相对应的目标变量的实测数据，将推测结果与实测数据的时间序列数据的各时刻下的差异汇集，由此算出所述异常检测模型的评估值；以及第三工序，基于所述评估值来评估所述异常检测模型。

发明的效果

根据本发明，通过设置评估值计算部与评估部，可算出异常检测模型的定量的评估值而评估异常检测模型，从而可减少异常检测模型的制作的浪费。

附图说明

[图1]图1是表示本发明的第一实施例的异常检测模型的评估系统的结构的框图。

[图2]图2是对本发明的第一实施例的异常检测模型的评估系统的动作进行说明的流程图。

[图3]图3是对本发明的第一实施例中作为评估值的一例的包含率进行说明的图。

[图4A-4B]图4A-图4B是对本发明的第一实施例中作为评估值的一例的追随度进行说明的图。

[图5A-5B]图5A-图5B是对本发明的第一实施例中作为评估值的一例的推测值的范围进行说明的图。

[图6]图6是表示本发明的第二实施例的异常检测模型的评估系统的结构的框图。

[图7]图7是对本发明的第二实施例的异常检测模型的评估系统的动作进行说明的流程图。

[图8]图8是表示实现本发明的第一实施例、第二实施例的异常检测模型的评估系统的计算机的结构例的框图。

图9]图9是对现有的异常检测方法进行说明的图。

[图10]图10是表示利用现有的异常检测模型获得的目标变量的推测值与实际的目标变量的图。

具体实施方式

[发明的原理]

在本发明中，作为异常检测模型的评估系统，而假定模型修正型与模型选择型这两种。在模型修正型中，算出下文关于异常检测模型所说明的三个评估值，并基于整合了三个评估值中的多个评估值的综合评估值或一个评估值与所对应的阈值的比较结果，对异常检测模型进行评估。通过评估异常检测模型，可判断是对异常检测模型进行修正还是结束模型的构建。

在模型选择型中，预先改变异常检测模型参数(说明变量、学习参数等)而制作多个异常检测模型，对于每个异常检测模型算出三个评估值，基于整合了三个评估值中的多个评估值的综合评估值或一个评估值，分别对异常检测模型进行评估。通过评估多个异常检测模型，可选择最佳的异常检测模型。

[第一实施例]

以下，参照附图对本发明的实施例进行说明。图1是表示本发明的第一实施例的异常检测模型的评估系统的结构的框图。本实施例是表示模型修正型例的例子。本实施例的评估系统包括：模型制作部1，制作将说明变量与目标变量的正常范围的关系模型化而成的异常检测模型2；评估值计算部3，基于在将验证用的说明变量输入异常检测模型2时从异常检测模型2输出的目标变量的正常范围的推测结果及与验证用的说明变量相对应的目标变量的实测数据，算出异常检测模型2的评估值；评估部4，基于评估值来评估异常检测模型2；及模型参数修正部5，基于评估结果，修正异常检测模型参数。

图2是对评估系统的动作进行说明的流程图。异常检测模型2是以软件方式构建的数学模型。模型制作部1是使用包括学习用的说明变量X在内的大量学习数据，通过已知的模型化技术来制作异常检测模型2(图2工序S100)。对学习数据赋予与说明变量X相对应的目标变量Y的实测数据(异常检测对象的工厂正常的状态下相对于说明变量X的目标变量Y的实测值)。

作为异常检测模型2的例子，有模糊神经网络(Fuzzy Neural Network，FNN)、回归模型等。如图9所说明那样，作为成为异常检测模型2的输入的说明变量X，例如有流量、压力、温度等。而且，作为成为异常检测模型2的输出的目标变量Y，例如有阀开度。当然，说明变量X与目标变量Y并不限于这些例子。利用模型制作部1的异常检测模型2的制作方法(回归模型的制作方法、FNN的学习方法)是周知的技术，因此省略详细的说明。

评估值计算部3使用包括验证用的说明变量X在内的验证数据算出异常检测模型2的评估值(图2工序S101)。对验证数据赋予与说明变量X相对应的目标变量Y的实测数据。

评估值计算部3算出包含率、追随度、推测值的范围这三者作为评估值。包含率表示由从异常检测模型2输出的目标变量Y的上限值的推测值与下限值的推测值所规定的正常范围中包括目标变量Y的实测数据的比例。包含率是基于如下考虑所算出的评估值：理想的是目标变量Y的实测数据包含于由异常检测模型2所推测的目标变量Y的正常范围内。

追随度表示目标变量Y的实测数据与由异常检测模型2所推测的目标变量Y的正常范围的变动的类似度。追随度是基于如下考虑所算出的评估值：理想的是目标变量Y的实测数据的变动与异常检测模型2的推测值的变动相似。

而且，可认为从异常检测模型2输出的目标变量Y的上限值的推测值与下限值的推测值的范围小的异常检测模型2的精度更高。推测值的范围是基于如下考虑所算出的评估值：异常检测模型2的上下限的推测值的范围宜尽量小(即为高精度的模型)。

首先，对包含率的算出方法进行说明。图3表示目标变量Y的实测数据Ya的一部分(虚线30、虚线31的部分数据)脱离由上限值的推测值U与下限值的推测值L所规定的正常范围的例子。尽量不脱离正常范围地包含目标变量Y的实测数据Ya者为合适的异常检测模型。

评估值计算部3在将与验证用的说明变量X相对应的目标变量Y的实测数据Ya相对于验证用的说明变量X的输入而脱离由从异常检测模型2输出的目标变量Y的正常范围的上下限值中最外侧的上下限值所规定的范围的数量设为n0，将总验证数据数量设为N时，根据下式算出包含率I[％]。

I＝(1-n0/N)×100…(1)

将验证数据(说明变量X)输入异常检测模型2后，针对每个验证数据获得目标变量Y的正常范围的上下限值的推测值。式(1)表示目标变量Y的实测数据Ya包括于由最外侧的上下限值所规定的范围(由最高的上限值与最低的下限值所规定的范围)中的比例。

此外，说明变量X中有时包括如所述流量、压力、温度等那样多种数据，但所述总验证数据数量N是将这些多种数据计为一个数据所得的验证数据数量。

而且，评估值计算部3也可以在将目标变量Y的实测数据Ya脱离由从异常检测模型2输出的目标变量Y的正常范围的上下限值中的最内侧的上下限值所规定的范围的数量设为n1时，根据下式算出包含率I[％]。

1＝(1-n1/N)×100…(2)

式(2)表示目标变量Y的实测数据Ya包括于由最内侧的上下限值所规定的范围(由最低的上限值与最高的下限值所规定的范围)中的比例。根据式(2)，与式(1)的情况相比，可算出严格一些的值作为异常检测模型2的评估值。

其次，对追随度的算出方法进行说明。图4A表示目标变量Y的正常范围的上限值的推测值U与下限值的推测值L未追随目标变量Y的实测数据Ya的变动的例子。图4B表示上限值的推测值U与下限值的推测值L追随目标变量Y的实测数据Ya的变动的例子。上限值的推测值U与下限值的推测值L追随目标变量Y的实测数据Ya者为合适的异常检测模型。

评估值计算部3在将时刻t下的目标变量Y的实测数据设为Ya(t)，将时刻t下的目标变量Y的正常范围的上限值的推测值U与下限值的推测值L中最内侧的上限值的推测值U1(t)与最内侧的下限值的推测值L1(t)的平均值(U1(t)+L1(t))/2设为E(t)时，根据下式算出追随度F。

F＝Corr(Ya(t)，E(t))…(3)

式(3)的Corr()为相关系数。式(3)以相关系数对目标变量Y的实测数据Ya的波形与由最内侧的上下限值所规定的正常范围的波形相似的程度进行评估。

而且，评估值计算部3也可以根据下式算出追随度F。

F＝1/SUM((Ya(t)-E(t))²)…(4)

式(4)的SUM()是一定期间内的合计值。式(4)是以误差平方和对目标变量Y的实测数据Ya的波形与由最内侧的上下限值所规定的正常范围的波形相似的程度进行评估。

接着，对推测值的范围的算出方法进行说明。图5A表示相对于目标变量Y的实测数据Ya而目标变量Y的正常范围的上限值的推测值U与下限值的推测值L的范围大的例子。图5B表示相对于目标变量Y的实测数据Ya而上限值的推测值U与下限值的推测值L的范围小的例子。上限值的推测值U与下限值的推测值L的范围小者为合适的异常检测模型。当然，此时理想的是实测数据Ya处于上限值的推测值U与下限值的推测值L之间。

评估值计算部3在将时刻t下的目标变量Y的实测数据设为Ya(t)，将时刻t下的目标变量Y的正常范围的上限值的推测值U与下限值的推测值L中最外侧的上限值的推测值设为U0(t)，将最外侧的下限值的推测值设为L0(t)，将计测目标变量Y的计测器的范围设为W时，根据下式算出推测值的范围B。

B＝Mean((|U0(t)-Ya(t)|+|Ya(t)-L0(t)|)/W)…(5)

式(5)的Mean()是一定期间内的平均值。式(5)表示在目标变量的实测数据Ya处于上限值的推测值U与下限值的推测值L之间时目标变量Y的正常范围的上下限值的推测值平均具有多大范围。

而且，评估值计算部3也可以根据下式算出推测值的范围B。

B＝Max((|U0(t)-Ya(t)|+|Ya(t)-L0(t)|)/W)…(6)

式(5)的Mean()的内侧的(|U0(t)-Ya(t)|+|Ya(t)-L0(t)|)/W也可以根据下式而简单地算出。这种情况在式(6)中也是同样。

(U0(t)-L0(t))/W…(7)

式(6)的Max()是一定期间内的最大值。式(6)是对目标变量Y的正常范围的上下限值的推测值的范围最大的部分进行评估。

这样，评估值计算部3算出包含率I、追随度F、推测值的范围B。

此外，在所述说明中，设验证数据不同于学习数据而进行说明，但也可以使用学习数据作为验证数据。

接着，评估部4基于由评估值计算部3所算出的评估值来评估异常检测模型2(图2工序S102)。具体而言，评估部4通过将包含率I、追随度F、推测值的范围B分别与所对应的阈值进行比较，而对异常检测模型2进行评估。

在本实施例中，评估部4在包含率I为阈值Ith以上的情况下判定为良(○)，在包含率I小于阈值Ith的情况下判定为稍有不良(△)。阈值Ith例如为100％。

而且，评估部4在追随度F为阈值Fth1以上的情况下判定为良(○)，在追随度F小于阈值Fth1且为阈值Fth2(Fth1＞Fth2)以上的情况下判定为稍有不良(△)，在追随度F小于阈值Fth2的情况下判定为不良(×)。阈值Fth1例如为0.8，阈值Fth2例如为0.6。

而且，评估部4在推测值的范围B小于阈值Bth1的情况下判定为良(○)，在推测值的范围B为阈值Bth1以上且小于阈值Bth2(Bth1＜Bth2)的情况下判定为稍有不良(△)，在推测值的范围B为阈值Bth2以上的情况下判定为不良(×)。阈值Bth1例如为0.05，阈值Bth2例如为0.2。

并且，评估部4在评估值与阈值的比较结果满足规定的评估基准的情况下，将异常检测模型2判定为良(无需改善)，在评估值与阈值的比较结果不满足规定的评估基准的情况下，将异常检测模型2判定为不良(需要改善)，并输出评估结果(图2工序S103)。

例如可以评估值与阈值的比较结果全部为良的条件作为评估基准，也可以追随度F与阈值Fth1、阈值Fth2的比较结果为良且推测值的范围B与阈值Bth1、阈值Bth2的比较结果为良的条件作为评估基准。而且，也可以包含率I、追随度F及推测值的范围B中任一者与所对应的阈值的比较结果为良的条件作为评估基准。根据异常检测对象适当设定设为何种评估基准即可。

作为评估结果(良/不良)的输出方法，有显示评估结果、输出表示评估结果的信号等。

模型参数修正部5在异常检测模型2的评估结果为不良(需要改善)的情况下(图2工序S104中为否)，对异常检测模型参数进行修正(图2工序S105)。然后，模型制作部1重新制作异常检测模型(图2工序S100)。作为异常检测模型参数的修正方法，例如有应用贝叶斯优化算法(Bayesian Optimization algorithm)等的方法。

这样，重复实施工序S100～工序S105的处理直至异常检测模型2的评估结果成为良为止(图2工序S104中为是)。

利用异常检测模型2检测工厂的异常的异常检测系统(未图示)与以往同样地判定由计测器所计测的目标变量Y的值是否处于由从异常检测模型2输出的上下限值的推测值所规定的正常范围内且检测对象是否正常即可。

如以上所述，在本实施例中，异常检测模型2的优劣的基准被定量化，因此可排除属人性。而且，在本实施例中，通过对评估值设置阈值进行判定，而能够决定停止异常检测模型2的修正的基准。

而且，在本实施例中，异常检测模型2的优劣的基准被定量化，因此能够自动修正异常检测模型2。但在本发明中，模型的自动修正并非必需的结构要素，也可以由操作员手动修正模型。

[第二实施例]

接着，对本发明的第二实施例进行说明。图6是表示本发明的第二实施例的异常检测模型的评估系统的结构的框图。本实施例是表示模型选择型例的例子。本实施例的评估系统包括制作条件不同的多个异常检测模型2a的模型制作部1a、评估值计算部3a、评估部4a、及基于评估结果选择最佳的异常检测模型2a的模型选择部6。

图7是对本实施例的评估系统的动作进行说明的流程图。模型制作部1a是使用包括学习用的说明变量X在内的大量学习数据，通过已知的模型化技术来制作异常检测模型2a(图7工序S200)。此时，模型制作部1a通过使用说明变量X的种类不同的学习数据、或使用说明变量X的选择范围不同的学习数据、或改变异常检测模型参数，来制作多个条件不同的异常检测模型2a。

评估值计算部3a使用包括验证用的说明变量X在内的验证数据，对每个异常检测模型2a算出评估值(图7工序S201)。评估值的算出方法与第一实施例相同。但在本实施例中，是对条件(说明变量X的种类或说明变量X的范围)不同的异常检测模型2a分别算出评估值，因此当然需要使用如异常检测模型2a所要求的验证数据。

接着，评估部4a基于由评估值计算部3a所算出的评估值来评估各异常检测模型2a(图7工序S202)。具体而言，评估部4a对每个异常检测模型2a算出整合了评估值的综合评估值(例如包含率I、追随度F及推测值的范围B的加权和)，并比较综合评估值的大小，由此对各异常检测模型2a进行评估。

将包含率I的预先确定的权重设为w1，将追随度F的预先确定的权重设为w2，将推测值的范围B的预先确定的权重设为w3，评估部4a根据下式算出加权和S。

S＝I×w1+F×w2+B×w3…(8)

然后，评估部4a将加权和S最大的异常检测模型2a判定为最佳的异常检测模型2a，并输出评估结果(图7工序S203)。此外，使用加权和S作为综合评估值，在比较加权和S的大小的情况下，将权重w1、权重w2设为正值，将权重w3设为负值，算出加权和S即可。

而且，在所述例子中，将三个评估值的加权和设为综合评估值，但也可以将包含率I、追随度F及推测值的范围B中的两个评估值的加权和设为综合评估值。而且，评估部4a也可以基于一个评估值来分别评估异常检测模型2a。在使用包含率I的情况下，将包含率I最大的异常检测模型2a判定为最佳的异常检测模型2a即可。同样地，在使用追随度F的情况下，将追随度F最大的异常检测模型2a判定为最佳的异常检测模型2a即可。在使用推测值的范围B的情况下，将推测值的范围B最小的异常检测模型2a判定为最佳的异常检测模型2a即可。

模型选择部6将评估结果最佳的异常检测模型2a设定为异常检测系统所使用的异常检测模型(图7工序S204)。

这样，在本实施例中，可获得与第一实施例同样的效果。在本实施例中，异常检测模型2a的优劣的基准被定量化，因此可自动选择异常检测系统所使用的最佳的异常检测模型2a。但在本发明中，模型的自动选择并非必需的结构要素，也可以由操作员手动选择模型。

此外，在第一实施例中，基于三个评估值中的至少一个评估值与所对应的阈值的比较结果来评估异常检测模型2，但第一实施例的评估部4也可以如本实施例那样，算出整合了三个评估值中的多个评估值的综合评估值，并基于所述综合评估值与所对应的阈值的比较结果，评估异常检测模型2。例如在以三个评估值的加权和作为综合评估值的情况下，评估部4在综合评估值为阈值Sth1以上的情况下判定为良(○)，在综合评估值小于阈值Sth1且为阈值Sth2(Sth1＞Sth2)以上的情况下判定为稍有不良(△)，在综合评估值小于阈值Sth2的情况下判定为不良(×)即可。

第一实施例、第二实施例中所说明的评估系统可通过包括中央处理器(CentralProcessing Unit，CPU)、存储装置及接口的计算机、以及控制这些硬件资源的程序来实现。将所述计算机的结构例示于图8。

计算机包括CPU200、存储装置201、及接口装置(I/F)202。在I/F202连接异常检测系统等。在这种计算机中，将用来实现本发明的评估方法的程序储存于存储装置201中。CPU200依照储存于存储装置201中的程序来执行第一实施例、第二实施例中所说明的处理。

产业上的可利用性

本发明可应用于制作用来检测工厂的异常的模型的技术。

符号的说明

1、1a：模型制作部

2、2a：异常检测模型

3、3a：评估值计算部

4、4a：评估部

5：模型参数修正部

6：模型选择部

Claims (12)

1.一种异常检测模型的评估系统，其特征在于包括：

模型制作部，构成为，制作异常检测模型，所述异常检测模型是将作为时间序列数据的说明变量数据与目标变量数据的正常范围的关系模型化而成；

评估值计算部，构成为，基于在将验证用的说明变量输入所述异常检测模型时从所述异常检测模型输出的目标变量的正常范围的推测结果及与所述验证用的说明变量相对应的目标变量的实测数据，将推测结果与实测数据的时间序列数据的各时刻下的差异汇集，由此算出所述异常检测模型的评估值；以及

评估部，构成为，基于所述评估值来评估所述异常检测模型。

2.根据权利要求1所述的异常检测模型的评估系统，其特征在于：

所述评估部通过将所述评估值与预先确定的阈值进行比较，来评估所述异常检测模型。

3.根据权利要求2所述的异常检测模型的评估系统，其特征在于：

所述评估值计算部算出表示如下比例，即由从所述异常检测模型输出的目标变量的上限值的推测值与下限值的推测值所规定的正常范围中包括所述目标变量的实测数据的比例的包含率；表示所述目标变量的实测数据与所述正常范围的变动的类似度的追随度；以及所述上限值的推测值与所述下限值的推测值的范围这三者作为所述评估值，

所述评估部基于整合了三个所述评估值中的多个评估值的综合评估值或一个评估值，对所述异常检测模型进行评估。

4.根据权利要求1所述的异常检测模型的评估系统，其特征在于：

所述模型制作部制作多个不同的异常检测模型，

所述评估值计算部对每个所述异常检测模型算出所述评估值，

所述评估部通过将每个所述异常检测模型的评估值进行比较，而分别评估所述异常检测模型。

5.根据权利要求4所述的异常检测模型的评估系统，其特征在于：

所述评估值计算部算出表示如下比例，即由从所述异常检测模型输出的目标变量的上限值的推测值与下限值的推测值所规定的正常范围中包括所述目标变量的实测数据的比例的包含率；表示所述目标变量的实测数据与所述正常范围的变动的类似度的追随度；以及所述上限值的推测值与所述下限值的推测值的范围这三者作为所述评估值，

所述评估部基于整合了三个所述评估值中的多个评估值的综合评估值或一个评估值，而分别评估所述异常检测模型。

6.根据权利要求1至5中任一项所述的异常检测模型的评估系统，其特征在于：

所述异常检测模型为神经网络。

7.一种异常检测模型的评估方法，其特征在于包括：

第一工序，制作将作为时间序列数据的说明变量数据与目标变量数据的正常范围的关系模型化而成的异常检测模型；

第二工序，基于在将验证用的说明变量输入所述异常检测模型时从所述异常检测模型输出的目标变量的正常范围的推测结果及与所述验证用的说明变量相对应的目标变量的实测数据，将推测结果与实测数据的时间序列数据的各时刻下的差异汇集，由此算出所述异常检测模型的评估值；以及

第三工序，基于所述评估值来评估所述异常检测模型。

8.根据权利要求7所述的异常检测模型的评估方法，其特征在于：

所述第三工序包括通过将所述评估值与预先确定的阈值进行比较，来评估所述异常检测模型的工序。

9.根据权利要求8所述的异常检测模型的评估方法，其特征在于：

所述第二工序包括算出表示如下比例，即由从所述异常检测模型输出的目标变量的上限值的推测值与下限值的推测值所规定的正常范围中包括所述目标变量的实测数据的比例的包含率；表示所述目标变量的实测数据与所述正常范围的变动的类似度的追随度；以及所述上限值的推测值与所述下限值的推测值的范围这三者作为所述评估值的工序，

所述第三工序包括基于整合了三个所述评估值中的多个评估值的综合评估值或一个评估值，对所述异常检测模型进行评估的工序。

10.根据权利要求7所述的异常检测模型的评估方法，其特征在于：

所述第一工序包括制作多个不同的异常检测模型的工序，

所述第二工序包括对每个所述异常检测模型算出所述评估值的工序，

所述第三工序包括通过将每个所述异常检测模型的评估值进行比较，而分别评估所述异常检测模型的工序。

11.根据权利要求10所述的异常检测模型的评估方法，其特征在于：

所述第二工序包括算出表示如下比例，即由从所述异常检测模型输出的目标变量的上限值的推测值与下限值的推测值所规定的正常范围中包括所述目标变量的实测数据的比例的包含率；表示所述目标变量的实测数据与所述正常范围的变动的类似度的追随度；以及所述上限值的推测值与所述下限值的推测值的范围这三者作为所述评估值的工序，

所述第三工序包括基于整合了三个所述评估值中的多个评估值的综合评估值或一个评估值，而分别评估所述异常检测模型的工序。

12.根据权利要求7至11中任一项所述的异常检测模型的评估方法，其特征在于：

所述异常检测模型为神经网络。

Images