CN112204586A - 推定系统、推定方法和推定程序 - Google Patents

Abstract

本发明提供一种能够得到推定值所对应的准确度信息的推定系统、推定方法以及推定程序。具备：学习部(3)，根据第一输入数据与第一输出数据的对应关系，利用机器学习来制作推定模型；推定部(8)，将对由学习部(3)制作的推定模型输入推定用数据而得到的输出值推定为第二推定值，所述第二推定值是推定用数据所对应的输出值；精度推定信息制作部(5)，求出将第一输入数据输入到推定模型而得到的第一推定值的准确度基准信息，制作作为第一推定值与准确度基准信息的对应关系的精度推定信息(T)；以及精度推定部(9)，基于第二推定值和精度推定信息(T)，求出第二推定值所对应的准确度基准信息，基于该准确度基准信息求出作为第二推定值的推定精度的准确度信息。

Description

推定系统、推定方法和推定程序

技术领域

本发明的实施方式涉及推定系统、推定方法和推定程序。

背景技术

近年来，作为推定模型的构建方法，机器学习备受瞩目。特别是，由于作为机器学习之一的模仿了脑神经系统的构造的神经网络能够进行非线性的模型化，并能够将输入数据和与输入数据对应的输出数据的对应关系作为材料源来准确地进行学习，因此能够期待推定精度高的模型化。

而另一方面，推定精度取决于学习时所使用的数据，在因环境、状态的变化而产生了学习时本不存在的新的输入输出关系情况等，存在推定精度恶化的问题。

现有技术文献

专利文献

专利文献1：国际公开第2016/152053号公报。

发明内容

发明所要解决的问题

在如上所述因环境、状态的变化使推定精度因学习时本不存在的新的输入输出关系而恶化的情况下，能够考虑将新的输入输出关系作为材料源进行学习，更新推定模型。但是，即使推定模型的推定值与实际成果值的差变大，但只要该现象是暂时性的，就不能说推定模型的精度劣化了，在这种情况下也更新推定模型，会导致运用者的负担变大。

针对该问题，设计了能够适当地对推定模型的精度进行推定的精度推定系统，该精度推定系统针对因环境随时间经过而变化等因素导致规定时间后的将来值的推定精度劣化，提供了一种对推定模型的精度进行推定的结构。

但是，该精度推定系统是根据推定后的将来得到的实测值来对推定模型的精度进行推定的，无法针对推定模型的各个推定值来得到其精度或准确度信息，无法适用于成套设备设施、机器的运用等要求可靠性的领域。

本发明的实施方式是为了解决上述这样的问题而做出的，其目的在于提供能够得到推定值所对应的准确度信息的推定系统、推定方法和推定程序。

用于解决问题的方案

为了实现上述目的，本实施方式的推定系统的特征在于，具备：学习部，根据第一输入数据与第一输出数据的对应关系，利用机器学习来制作推定模型；推定部，将对所述推定模型输入第二输入数据而得到的输出值推定为第二推定值，所述第二推定值是所述第二输入数据所对应的输出值；精度推定信息制作部，求出将所述第一输入数据输入到所述推定模型而得到的第一推定值的准确度基准信息，制作精度推定信息，该精度推定信息是所述第一推定值与所述准确度基准信息的对应关系；以及精度推定部，基于所述第二推定值和所述精度推定信息，求出所述第二推定值所对应的所述准确度基准信息，基于该准确度基准信息求出作为所述第二推定值的推定精度的准确度信息。

此外，本方式也能理解为通过计算机或电子电路实现上述各部的处理的方法、使计算机执行上述各部的处理的程序。

即，本实施方式的推定方法的特征在于，具备：学习处理，根据第一输入数据与第一输出数据的对应关系，利用机器学习来制作推定模型；推定处理，将对所述推定模型输入第二输入数据而得到的输出值推定为第二推定值，所述第二推定值是所述第二输入数据所对应的输出值；精度推定信息制作处理，制作精度推定信息，该精度推定信息是将所述第一输入数据输入到所述推定模型而得到的第一推定值与所述第一推定值所对应的准确度基准信息的对应关系；精度推定处理，基于所述第二推定值和所述精度推定信息，求出所述第二推定值所对应的所述准确度基准信息，将该准确度基准信息用作作为所述第二推定值的推定精度的准确度信息来求出所述第二推定值所对应的所述准确度信息；以及输出处理，输出由所述推定处理得到的所述第二推定值、以及针对所述第二推定值由所述精度推定处理得到的所述准确度信息。

本实施方式的推定程序的特征在于，使计算机执行以下处理：学习处理，根据第一输入数据与第一输出数据的对应关系，利用机器学习来制作推定模型；推定处理，将对所述推定模型输入第二输入数据而得到的输出值推定为第二推定值，所述第二推定值是所述第二输入数据所对应的输出值；精度推定信息制作处理，制作精度推定信息，该精度推定信息是将所述第一输入数据输入到所述推定模型而得到的第一推定值与所述第一推定值所对应的准确度基准信息的对应关系；精度推定处理，基于所述第二推定值和所述精度推定信息，求出所述第二推定值所对应的所述准确度基准信息，将该准确度基准信息用作作为所述第二推定值的推定精度的准确度信息来求出所述第二推定值所对应的所述准确度信息；以及输出处理，输出由所述推定处理得到的所述第二推定值、以及针对所述第二推定值由所述精度推定处理得到的所述准确度信息。

附图说明

图1是表示应用于成套设备的第一实施方式的推定系统的结构的图。

图2是精度推定信息制作部的处理框图。

图3是用于说明精度推定信息制作部的图。

图4是对频度分布的制作进行说明的图。

图5是示意性地示出对推定值的可取范围进行划分后训练数据值{b₁，b₂，…，b_N}针对各推定值a_i(i＝1，2，…，N)所属的区间的频度分布的图。

图6是表示精度推定信息的图。

图7是表示精度推定部中的推定值所对应的准确度信息的决定动作的流程图。

图8是精度推定部中的通过插补来决定推定值所对应的准确度信息的决定的动作流程图。

图9是表示应用于成套设备的第二实施方式的推定系统的结构的图。

图10是表示应用于成套设备的第四实施方式的推定系统的结构的图。

具体实施方式

(第一实施方式)

(基本结构)

图1是表示应用于成套设备的第一实施方式的推定系统的结构的图。如图1所示，本实施方式的推定系统1经由数据收集部200和数据存储部300与成套设备100连接。

成套设备100是生成推定所需的输入数据和输出数据的设备或者机器的集合体。作为成套设备100，可举出电力系统、自来水设备等要求可靠性、安全性的装置。数据收集部200按预先设定的时间间隔来利用无线或有线收集送往成套设备100的设备或者机器的输入数据、以及作为其输出结果的输出数据，并存储在数据存储部300中。

数据存储部300按预先设定的时间间隔将输入数据和输出数据建立对应而存储。此外，数据存储部300将在后文记述的机器学习中使用的输入数据(以下称为学习数据)和与学习数据对应的输出数据(以下称为训练数据)建立对应而存储。该学习数据和训练数据是经由数据收集部200收集到的成套设备100的过去的部分的数据。

推定系统1通过使用存储在数据存储单元300中的数据进行机器学习来制作推定模型，并按照该推定模型来对设为目标的项目进行推定。推定项目例如能够举例有成套设备100的设备或者机器在规定时间后输出的预测值、或本来应收集的数据但因数据通信等的不良而没能收集到的缺测数据的推定等。

推定系统1构成为包括单台计算机或进行了网络连接的多台计算机和显示装置。推定系统1将程序和数据库存储在HDD、SSD等中，在RAM中适当扩展开，由CPU进行处理，由此进行后文记述的推定模型的制作、精度推定信息的制作等必要的运算。

具体而言，推定系统1具备学习用数据输入部2、学习部3、推定模型储存部4、精度推定信息制作部5、精度推定信息储存部6、推定用数据输入部7、推定部8、精度推定部9以及用户接口10。

学习用数据输入部2构成为包括CPU和内存，从数据存储部30取得并存储学习数据和与学习数据对应的训练数据。学习数据和训练数据的维数为1维以上，学习中使用的记录数能够根据取得完毕的记录数、推定项目来设定。

学习部3构成为包括CPU，根据从学习用数据输入部2取得的学习数据和训练数据的对应关系，利用机器学习来制作推定模型。机器学习能够使用神经网络、决策树、随机森林等各种方式。

在本实施方式中，学习部3具有学习用数据预处理单元31和学习单元32。学习用数据预处理单元31构成为包括CPU，检查学习数据或者训练数据中是否不包含缺损等异常，在检测到异常的情况下，将学习数据或者训练数据的记录从学习对象中排除。或者，进行通过前值进行增补等处理。此外，为了高效地制作推定模型，学习用数据预处理单元31例如也可以进行将学习数据和训练数据标准化为均值0、方差1等处理。

学习单元32构成为包括CPU，基于从学习用数据预处理单元31得到的预处理完毕的学习数据以及预处理完毕的训练数据，利用机器学习来制作推定模型。在机器学习中，以推定模型的输出(后面也称为推定值)与训练数据的误差成为最小的方式，反复调整推定模型所包含的参数。在参数的调整中，例如在机器学习为神经网络的情况下，能够使用误差反向传播算法。

学习部3在推定模型的推定值与训练数据的误差成为预先设定的基准值以下的情况下或学习的重复次数达到了规定次数的情况下，设为学习完成，将所制作的推定模型输出到推定模型储存部4。此外，学习部3将推定模型所使用的训练数据、以及在输入与该训练数据对应的学习数据到推定模型时得到的推定值输出到精度推定信息制作部5。

推定模型储存部4构成为包括内存或存储器，存储由学习单元3制作的推定模型。

精度推定信息制作部5构成为包括CPU，求出将学习数据输入到推定模型而得到的推定值的准确度基准信息。该推定值是向学习部3中的学习阶段的推定模型输入学习数据而从该推定模型输出的值。以下将该学习阶段的推定值也称为第一推定值。准确度基准信息是成为推定值的确定程度的基准的信息，例如是标准偏差、方差。此外，精度推定信息制作部5制作精度推定信息，该精度推定信息是将学习数据输入到推定模型而得到的推定值与推定值所对应的准确度基准信息的对应关系。该精度推定信息制作部5的细节将在后文记述。

精度推定信息储存部6构成为包括内存或存储器，存储由精度推定信息制作部5制作的精度推定信息。

推定用数据输入部7构成为包括CPU和内存，以预先设定的时间间隔从数据存储部300取得并存储推定所需的输入数据(后面也称为推定用数据)。然后，将所存储的推定用数据输出到推定部8。

推定部8构成为包括CPU，使用推定用数据和推定模型来推定输出结果。即，推定部8从推定模型储存部4取得推定中使用的推定模型。然后，将向推定模型输入推定用数据而得到的输出值作为与推定用数据对应的输出值即推定值来输出。以下也将该推定部8的推定阶段中的与推定用数据对应的推定值称为第二推定值。

本实施方式的推定部8具有推定用数据预处理单元81和推定单元82。推定用数据预处理单元81构成为包括CPU，对推定用数据检查有无缺损等异常，在检测到异常的情况下，不进行推定，进行用前置的推定值来置换等处理。此外，在用标准化后的学习数据和训练数据制作了推定模型的情况下，进行与由学习用数据预处理单元31进行的处理相对应的处理。例如，在学习时对学习数据已经进行了均值0、方差1的标准化处理的情况下，利用此时使用的学习数据的均值和方差进行标准化。

推定单元82构成为包括CPU，从推定模型储存部4取得推定模型，将从推定用数据预处理单元81输出的预处理完毕的推定用数据输入到推定模型，并将该推定结果作为推定值输出到精度推定部9。

精度推定部9构成为包括CPU，求出推定部8的推定值所对应的准确度信息。准确度信息是指表示推定部8的推定值所对应的确定程度(准确度)的信息，基于准确度基准信息来求出。

具体而言，精度推定部9从精度推定信息储存部6取得精度推定信息，并求出推定阶段的推定值即第二推定值所对应的准确度基准信息，基于该准确度基准信息，求出推定部8得到的推定模型的推定值的推定精度即准确度信息。精度推定部9将所求出的准确度信息和与该准确度信息对应的推定值输出到用户接口10。该精度推定部9的细节将在后文记述。

用户接口10输出由推定部8得到的推定值和针对该推定值由精度推定部9得到的准确度信息。虽然在这里，由推定部8得到的推定值是从精度推定部9输入的推定值，但也可以是从推定部8直接输入的推定值。用户接口10例如是有机EL或液晶显示器等显示装置，将由推定部8得到的推定值和针对该推定值由精度推定部9得到的准确度信息作为一对数据进行显示。用户接口10除了显示该一对数据之外，还可以显示与由推定部8得到的推定值对应的训练数据的频度分布。

(详细结构)

对精度推定信息制作部5和精度推定部9更详细地进行说明。图2是精度推定信息制作部5的处理框图。图3是用于说明精度推定信息制作部5的图。如图2所示，精度推定信息制作部5具有分布制作部51、准确度基准信息计算部52。

分布制作部51构成为包括CPU和内存，如图3所示，将针对学习数据的推定模型的推定值(第一推定值)的可取范围分割为区段，将与该推定值对应的训练数据的值与区间建立对应，按每个区间制作与该推定值对应的训练数据的值的频度分布。此外，第一推定值是向推定模型输入学习数据而输出的值，因此与学习数据存在对应关系，此外该学习数据还与训练数据有对应关系。因此，对于共同的学习数据而对应的第一推定值和训练数据存在对应关系。

在图3中，推定值的可取范围为0～129，将该范围进行13等分，示出了以0～9、10～19、…、120～129的区间来划分的例子。在该例子中，在推定值为85的情况下，该推定值与区间80～89对应。此外，在推定值小于0或者为130以上的情况下，分别作为小于0、130以上的区间进行处理。需要说明的是，推定值的可取范围例如根据成套设备100的设备或机器的数据规格来预先决定。

分布制作部51针对对应于学习数据的推定值与训练数据的对应关系，对于推定值的各个分割区间，将训练数据值所对应的累积信息记录到对应的区间。例如，如图4所示，在将学习数据输入至推定模型而输出的推定值为85、与推定值对应的训练数据为79的情况下，将与推定范围的区间80～89对应的训练数据的区间70～79的累积信息A更新为A+1并记录下来。换言之，如图4所示，在各推定值的区间中的训练数据值的各区间的方格中写入作为与推定值对应的训练数据的值的数量的累计信息的数值。

这样，分布制作部51将累积信息的更新反复进行推定值和与该推定值对应的训练数据值的组合的部分，如图5所示那样制作频度分布。图5是示意性地示出对推定值的可取范围进行划分，训练数据值{b₁，b₂，…，b_N}针对各推定值a_i(i＝1，2，…，N)所属的区间的频度分布的图。这样，频度分布是横轴为训练数据的值、纵轴为与推定值对应的训练数据的数量的分布，针对各推定值的区间分别制作。此外，这里所说的N是推定值的区间的数量。

准确度基准信息计算部52构成为包括CPU，根据由分布制作部51制作出的频度分布来计算出标准偏差。即，准确度基准信息在此是指频度分布的标准偏差，准确度基准信息计算部52例如根据频度分布按照式(1)来计算出标准偏差σ(a_i)(i＝1，2，…，N)。

[数式1]

b_k(a_i)表示推定值a_i所对应的训练数据b_k。L表示推定值a_i所属的区间中的训练数据的数量。

这样，精度推定信息制作部5通过准确度基准信息计算部52分别求出各推定值a_i所对应的准确度基准信息σ(a_i)(i＝1，2，…，N)，如图6所示，制作作为推定值a_i与推定值a_i所对应的准确度基准信息σ(a_i)的对应关系的精度推定信息T。精度推定信息T例如是表示推定值a_i与准确度基准信息σ(a_i)的对应关系的表。这里的N是推定值的区间的数目。因此，准确度基准信息σ(a_i)与推定值a_i所属的区间对应，可求出该区间的数量(i＝1，2，…，N)。

精度推定部9从精度推定信息储存部6参照精度推定信息T，求出与从推定部8输入的推定值对应的准确度基准信息，基于该准确度基准信息求出该推定值所对应的准确度信息。

图7是表示精度推定部9中的推定值所对应的准确度信息的决定动作的流程图。如图7所示，精度推定部9从推定部8接受推定值x的输入(步骤S01)，确定推定值x所属的区间，检测成为a_i≤x＜a_i+1的a_i、a_i+1(步骤S02)。然后，判定(x-a_i)＜(a_i+1-x)是否成立(步骤S03)。

在(x－a_i)＜(a_i+1-x)成立的情况下(步骤S03的“是”)，将准确度基准信息σ(a_i)作为准确度信息输出到用户接口10(步骤S04)。另一方面，在(x-a_i)≥(a_i+1-x)的情况下(步骤S03的“否”)，将σ(a_i+1)作为准确度信息输出到用户接口10(步骤S05)。

此外，虽然如上所述，精度推定部9将推定值x与精度推定信息T的推定值最接近的推定值所对应的准确度基准信息作为了准确度信息，但也可以如下所示，将基于针对精度推定信息T中的推定值的精度基准信息的插补得到的信息作为准确度信息。

即，如图8所示，精度推定部9从推定部8接受推定值x的输入(步骤S11)，确定推定值x所属的区间，检测成为a_i≤x＜a_i+1的a_i、a_i+1(步骤S12)。然后，从精度推定信息T中检索推定值a_i、a_i+1所对应的准确度基准信息σ(a_i)、σ(a_i+1)，按照式(2)计算出线性插值y(步骤S13)。

[数式2]

式(2)的x是推定值。

进而，精度推定部9对线性插值y乘以权重系数W(步骤S14)，将所得到的值作为准确度信息输出到用户接口10(步骤S15)。此外，权重系数W是实数，被进行了预先设定。在准确度基准信息σ(a_i)、σ(a_i+1)的计算时所使用的数据的参数在与准确度基准信息σ(a_i)对应的推定值a_i所属的区间、以及与准确度基准信息σ(a_i+1)对应的推定值a_i+1所属的区间不同时，权重系数W决定为对参数多的一方进行加权，对线性插值y进行校正。

(作用、效果)

(1)使本实施方式的推定系统1具备：学习部3，根据学习数据与训练数据的对应关系，利用机械学习来制作推定模型；推定部8，将对由学习部3制作的推定模型输入推定用数据而得到的输出值推定为第二推定值，所述第二推定值是推定用数据所对应的输出值；精度推定信息制作部5，求出将学习数据输入到推定模型而得到的第一推定值的准确度基准信息，制作作为第一推定值与准确度基准信息的对应关系的精度推定信息T；以及精度推定部9，基于第二推定值和精度推定信息T，求出第二推定值所对应的准确度基准信息，基于该准确度基准信息求出作为第二推定值的推定精度的准确度信息。

由此，能够与利用机器学习制作的推定模型所输出的推定值一起得到该推定值所对应的准确度信息，因此能够评价推定值所对应的准确度。因此，能够将推定值适当地运用于被要求可靠性、安全性的成套设备的设施、机器等中。例如，推定系统1具备输出由推定部8得到的第二推定值、以及针对第二推定值由精度推定部9得到的准确度信息的用户接口10，从而用户能够得到第二推定值和该第二推定值所对应的准确度信息，并能够评价第二推定值的准确度。

(2)使精度推定信息制作部5具有：分布制作部51，将推定模型的第一推定值的可取范围分割为区间，将对应于第一推定值的训练数据的值与上述区间建立对应，按每个上述区间来制作与第一推定值对应的训练数据的值的频度分布；以及准确度基准信息计算部52，根据频度分布计算出标准偏差来作为准确度基准信息。

由此，能够根据在制作推定模型时所使用的数据来推定潜在地包含在第二推定值中的误差。即，由于学习数据和训练数据的样本被用于制作推定模型，所以该样本潜在的误差会被反映到推定模型中。因此，在向推定模型输入学习数据而得到的第一推定值中，会包含误差，该误差是所述第一推定值与针对学习数据的实际成果值即训练数据的差分。同样地，在向推定模型输入推定用数据而得到的第二推定值中也会包含误差，但可以认为该第二推定值中潜在包含的误差是反映了推定模型的制作时、即学习时所使用的样本潜在的误差。因此，根据在学习时所使用的训练数据、第一推定值来制作频度分布，计算出标准偏差来作为评价误差的指标，因此能够以标准偏差为基准来评价第二推定值的准确度。

这样，在利用机器学习进行的推定模型的学习时，求出推定模型的推定值和与该推定值对应的训练数据的值的频度分布、以及根据所求出的频度分布得到的准确度基准信息，在推定时，通过基于准确度基准信息求出准确度信息，能够将概率性地包含于第二推定值的误差作为准确度信息进行给出，并能够评价第二推定值所对应的准确度。

(3)精度推定部9将与第二推定值最接近的精度推定信息T的推定值所对应的标准偏差(准确度基准信息)设为准确度信息。由此，能够简便地得到准确度信息。

(4)精度推定部9将标准偏差(准确度基准信息)的线性插值乘以权重系数得出的值设为准确度信息，所述标准偏差是包含第二推定值的精度推定信息T中的推定值所对应的标准偏差。由此，能够提高准确度信息的推定值所对应的推定精度。

(5)用户接口10是显示装置，显示第一推定值所对应的训练数据的值的频度分布。由此，用户不仅能够确认推定值及其准确度信息，还能够确认频度分布，并能够根据频度分布的形状确认学习数据是否没有偏差。例如，如果能够在学习数据中没有偏差而进行了充分的学习，则能够期待频度分布是以均值为中心的正态分布那样的形状，此外，如果能够高精度地进行学习，则能够期待方差变小、分布形状变得尖锐。

(第二实施方式)

(结构)

使用图9对第二实施方式进行说明。第二实施方式与第一实施方式的基本结构相同。以下，仅对与第一实施方式的不同点进行说明，对与第一实施方式相同的部分标注相同的附图标记并省略详细的说明。

图9是表示应用于成套设备的第二实施方式的推定系统的结构的图。如图9所示，推定系统1具备准确度判定部11。

准确度判定部11构成为包括CPU，对准确度信息设置阈值，判定准确度是否低于阈值。具体而言，准确度判定部11将上述阈值与精度推定部9输出的准确度信息进行比较，在准确度信息比阈值低的情况下，制作表示判定为准确度低的区间的信息，并将表示该区间的信息输出到学习部3。此外，准确度判定部11通过阈值与准确度信息的比较，在准确度信息在阈值以上的情况下，制作表示判定为准确度高的区间的信息，并将表示该区间的信息输出到学习部3。

需要说明的是，准确度判定部11按如下方式来确定判定为准确度低的区间或判定为准确度高的区间。以判定为准确度低的区间为例进行说明的话，由于在判定为比阈值低的准确度信息中存在对应的第二推定值，所以准确度判定部11从精度推定部9接受该第二推定值的输入，此外，从精度推定部9取得精度推定信息T，参照该精度推定信息T来确定该第二推定值所属的区间。

此外，也可以按如下方式来确定准确度高的区间或准确度低的区间的确定。即，由于精度推定部9根据第二推定值并参照精度推定信息T来确定第二推定值所属的区间a_i～a_i+1，所以准确度判定部11取得由精度推定部9确定出的区间a_i～a_i+1。另一方面，由于准确度判定部11通过将从精度推定部9取得的准确度信息与阈值进行比较，来判定准确度信息在阈值以上而准确度高、或者准确度信息小于阈值而准确度低，所以基于共同的第二推定值来将该判定结果和所取得的区间a_i～a_i+1建立关联，由此来确定准确度高的区间或准确度低的区间。

学习部3利用机器学习使推定模型进行追加学习来更新推定模型。在使该推定模型中追加学习的新的学习数据以及训练数据是准确度低的结果的推定用数据、以及推定模型的制作之后产生的准确度低的结果的推定用数据所对应的实际成果值。准确度低的结果的推定用数据是指，用于求出准确度信息而在精度推定部9中使用的第二推定值所对应的输入数据，该准确度信息是被准确度判定部11判定为比阈值低的准确度信息。推定模型的制作之后产生的准确度低的结果的推定用数据所对应的实际成果值是指，推定模型的制作之后从成套设备100的设备或机器产生的输出数据值中的、准确度低的结果的推定用数据所对应的输出数据值。

即，推定部8的第二推定值是从推定时起经过规定时间后的预测值，在推定时的规定时间后能够取得实际成果值的情况下，判定为准确度低的该第二推定值所对应的推定用数据成为学习数据，从推定时起经过规定时间后的实际成果值成为训练数据。这些学习数据和训练数据是被确定为准确度低的区间的采样，例如存储于学习用数据输入部2。此外，判定为准确度低的第二推定值是指，由准确度判定部11判定为准确度低的准确度信息所对应的第二推定值。

这样，学习部3将在推定模型的制作之后新产生的被确定为准确度低的区间的采样作为材料源，利用机器学习使推定模型进行追加学习，由此针对准确度判定部11确定为准确度低的区间，更新推定模型。

并且，由准确度判定部11判定为准确度低的准确度信息中存在对应的第二推定值，针对该第二推定值存在推定用数据。因此，可确定准确度低的结果的推定用数据。此外，同样地，由准确度判定部11判定为准确度高的准确度信息中存在对应的第二推定值，针对该第二推定值存在推定用数据。因此，可确定准确度高的结果的推定用数据。

例如，若推定用数据I_j被输入到推定部8并从推定部8输出了第二推定值a_j，则精度推定部9求出与取得的第二推定值a_j对应的准确度信息K_j，并输出到准确度判定部11。准确度判定部11通过对取得的准确度信息K_j比较阈值，对准确度信息K_j判定准确度的高低。例如，推定部8预先将推定用数据I_j和第二推定值a_j建立关联地储存在推定系统1内的内存中，精度推定部9预先将第二推定值a_j和准确度信息K_j建立关联地储存在推定系统1内的内存中，在判定为准确度信息K_j的准确度低的情况下，通过由精度推定部9从所储存的内存中取出该准确度信息K_j和第二推定值a_j，由推定部8从所储存的内存中取出第二推定值aj和推定用数据I_j，从而准确度判定部11确定被判定为准确度低的准确度信息K_j所对应的推定用数据I_j。

此外，使用了该推定用数据I_j的推定后的规定时间后的实际成果值b_j由数据收集部200收集，经由数据存储部300存储于例如学习用数据输入部2。因此，通过将推定用数据与从推定起经过规定时间后的实际成果值建立关联，得到被判定为准确度低的区间中的追加学习的新的采样。例如，推定部8预先将推定出第二推定值a_j时的时刻t_j和与该第二推定值a_j对应的推定用数据I_j建立关联,储存在推定系统1内的内存中，若第二推定值a_j设为从推定时刻t_j起经过了规定时间Δt后的预测值，则准确度判定部11从学习用数据输入部2取得在时刻t_j+Δt产生的实际成果值b_j，将确定出的推定用数据I_j与实际成果值b_j建立对应，存储到学习用数据输入部2。

(作用、效果)

(1)本实施方式的推定系统具备对准确度信息设置阈值并判定准确度是否低于阈值的准确度判定部11。由此，能够知道准确度低的区间。即，作为准确度低的主要原因，可以考虑采样数少是一个原因，在推定模型的学习时，推定模型所包含的参数仅被调整为推定模型的推定值与训练数据的误差成为最小，区间是否采样数不足并不清楚，但通过准确度判定部11能够知道被推定为采样数不足的区间。

(2)学习部3针对由准确度判定部11确定为准确度低的区间，利用机器学习使推定模型进行追加学习来更新推定模型。由此，能够提高准确度低的区间中的推定值的推定精度。换言之，各区间中的准确度的高低是相对的，通过在准确度高的区间中，不追加学习由新的输入数据和针对该数据的实际成果值构成的新的采样，能够使准确度低的区间中的推定值的推定精度相对于准确度高的区间的推定值的推定精度相对地提高。

此外，通过追加学习由新的输入数据和针对该数据的实际成果值构成的新的采样，与以前学习的采样所对应的推定精度相比，容易提高针对新采样的推定精度。即，由于以针对新的采样的推定精度变高的方式进行强调并反映于推定模型中，所以能够提供追随于成套设备100的设备、机器的经时变化等的推定模型，并能够对输出相对于输入的趋势持续变化的推定对象提高推定精度。

(第三实施方式)

对第三实施方式进行说明。第三实施方式与第二实施方式的基本结构相同。以下，仅对与第二实施方式的不同点进行说明，对与第二实施方式相同的部分标注相同的附图标记并省略详细的说明。

在本实施方式中，学习部3进行再学习而重新制作推定模型。即，学习部3针对由准确度判定部11确定为准确度低的区间，根据在制作推定模型时所使用的过去的学习数据和训练数据的对应关系、以及推定模型制作之后的新的学习数据和与该学习数据对应的实际成果数据的对应关系，利用机器学习来重新制作推定模型。

这样，学习部3针对由准确度判定部11确定为准确度低的区间，根据学习数据和训练数据的对应关系、以及新的学习数据和与该数据对应的实际成果数据的对应关系，利用机器学习进行再学习来重新制作推定模型。由此，能够得到不论对于以前学习过的采样还是对于新学习的采样都能够高精度地进行推定的推定模型。换言之，能够得到对于所有的输入都能够得到高精度的推定值的推定模型，能够提高针对推定的可靠性。

(第四实施方式)

使用图10对第四实施方式进行说明。第四实施方式与第二实施方式的基本结构相同。以下，仅对与第二实施方式的不同点进行说明，对与第二实施方式相同的部分标注相同的附图标记并省略详细的说明。

图10是表示应用于成套设备的第四实施方式的推定系统的结构的图。如图10所示，本实施方式的推定系统具备高准确度存储部12。

高准确度存储部12构成为包括内存或存储器，将被判定为准确度高的第二推定值和推定部8进行该推定的时刻建立对应而存储。在此所说的被判定为准确度高的第二推定值是指用于精度推定部9求出准确度判定部11确定为准确度高的区间中的准确度信息的推定值。

精度推定部9在由准确度判定部11判定为推定出的第二推定值的准确度低的情况下，从高准确度存储部12取得距推定的时间点最接近的被判定为准确度高的第二推定值，将判定为准确度低的第二推定值置换为所取得的所述第二推定值并输出到用户接口10。

例如，精度推定部9预先将由准确度判定部11判定为准确度高的第二推定值和由推定部8输出该第二推定值的时刻建立关联，存储于高准确度存储部12。然后，在精度推定部9中，从推定部8输入推定部8推定出的其他第二推定值，在由准确度判定部11判定为所求出的准确度信息的准确度低的情况下，精度推定部9取得推定部8推定出上述其他第二推定值的时刻之前的最接近的时刻的高准确度存储部12中存储的第二推定值。然后，按照所取得的第二推定值，求出准确度信息。

这样，本实施方式的推定系统具备高准确度存储部12，该高准确度存储部12将由准确度判定部11判定为准确度高的第二推定值、以及推定部8进行该推定的时刻建立对应而存储，精度推定部9在由准确度判定部11判定为推定出的第二推定值的准确度低的情况下，从高准确度存储部12取得被判定为距推定的时间点最接近的准确度高的第二推定值，将被判定为准确度低的第二推定值置换为所取得的第二推定值并输出到用户接口10。

例如，在推定对象是用于控制成套设备的设备、机器的控制值的情况下，在成套设备的设备、机器要求可靠性的情况下将准确度低的推定值用作控制值是不优选的。与此相比，通过将准确度低的推定值置换为准确度高的最接近的推定值，即使在判定为准确度低的情况下，也能够不进行追加学习或再学习就迅速进行应对。即使判明了准确度低的区间，追加学习或再学习也是蓄积一定程度的新的采样(实际成果值)之后进行学习，因此导致准确度被矫正的跨度变得比较长。与此相比，即使判定为准确度低，在该推定以前判定为准确度高的情况下，通过使用该推定值，就能够迅速地处理被判定为准确度低的区间。

(其他实施方式)

在本说明书中，对本发明所涉及的多个实施方式进行了说明，但这些实施方式是作为例子而提示出的，并不意在限定发明的范围。以上那样的实施方式能够以其他各种方式实施，在不脱离发明的范围的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形与包含在发明的范围或主旨中同样地，也包含在权利要求书所记载的发明及其均等的范围内。

在第一至第四实施方式中，具有用户接口10，但也可以不必须具有。例如，推定系统1也可以根据来自外部的请求，将由精度推定部9求出的准确度信息和与该准确度信息对应的推定值输出到外部。这样的推定系统1例如是由单台或多台计算机构成的服务器。

在第一至第四实施方式中，针对学习数据、训练数据、推定用数据，由学习用数据预处理单元31、推定用数据预处理单元81进行了预处理，但也可以不必须进行。

在第二实施方式、第三实施方式中，针对准确度低的区间，进行了追加学习、再学习，但也可以对准确度高的区间进行追加学习、再学习。由此，对于准确度高的区间，能够进一步提高推定值的推定精度，并能够使用该推定值在要求可靠性、安全性的成套设备的设备、机器等中适当地加以运用。

在第一至第四实施方式中，将准确度基准信息设为了频度分布的标准偏差，但也可以设为可靠区间。即，准确度基准信息计算部52根据频度分布计算出可靠区间。可按照样本平均±t×样本标准差/

(样本数)来计算出可靠区间。t可以根据t分布表和自由度(＝样本数-1)来求出。例如，在将可靠区间设为99.7％可靠区间的情况下，t＝3。精度推定信息制作部5求出作为推定值与所求出的可靠区间的对应关系的精度推定信息T。然后，精度推定部9根据推定值和精度推定信息T求出与推定值对应的可靠区间，基于可靠区间来求出准确度信息。例如，精度推定部9能够将│可靠区间-样本平均│作为准确度信息。

附图标记说明

1 推定系统

2 学习用数据输入部

3 学习部

31 学习用数据预处理单元

32 学习单元

4 推定模型储存部

5 精度推定信息制作部

51 分布制作部

52 准确度基准信息计算部

6 精度推定信息储存部

7 推定用数据输入部

8 推定部

81 推定用数据预处理单元

82 推定单元

9 精度推定部

10 用户接口

11 准确度判定部

12 高准确度存储部

T 精度推定信息

100 成套设备

200 数据收集部

300 数据存储部。

Claims (12)

1.一种推定系统，具备：

学习部，根据第一输入数据与第一输出数据的对应关系，利用机器学习来制作推定模型；

推定部，将对所述推定模型输入第二输入数据而得到的输出值推定为第二推定值，所述第二推定值是所述第二输入数据所对应的输出值；

精度推定信息制作部，求出将所述第一输入数据输入到所述推定模型而得到的第一推定值的准确度基准信息，制作作为所述第一推定值与所述准确度基准信息的对应关系的精度推定信息；以及

精度推定部，基于所述第二推定值和所述精度推定信息，求出所述第二推定值所对应的所述准确度基准信息，基于该准确度基准信息求出作为所述第二推定值的推定精度的准确度信息。

2.根据权利要求1所述的推定系统，其中，

所述精度推定信息制作部具有：

分布制作部，将所述推定模型的所述第一推定值的可取范围分割为区间，将与所述第一推定值对应的所述第一输出数据的值与所述区间建立对应，按每个所述区间来制作与所述第一推定值对应的所述第一输出数据的值的频度分布；以及

准确度基准信息计算部，根据所述频度分布计算出标准偏差作为所述准确度基准信息。

3.根据权利要求2所述的推定系统，其中，

所述精度推定部将与所述第二推定值最接近的精度推定信息的推定值所对应的所述标准偏差设为准确度信息。

4.根据权利要求2所述的推定系统，其中，

所述精度推定部将对所述标准偏差的线性插值乘以权重系数得出的值设为准确度信息，所述标准偏差是包含所述第二推定值的所述精度推定信息中的推定值所对应的标准偏差。

5.根据权利要求1至4中的任一项所述的推定系统，其中，

所述推定系统具备用户接口，所述用户接口输出由所述推定部得到的所述第二推定值、以及针对所述第二推定值由所述精度推定部得到的所述准确度信息。

6.根据权利要求5所述的推定系统，其中，

所述用户接口是显示装置，显示所述第一输出数据的值相对于所述第一推定值的频度分布。

7.根据权利要求5或6所述的推定系统，其中，

所述推定系统具备准确度判定部，所述准确度判定部对所述准确度信息设置阈值，并判定准确度是否比所述阈值低。

8.根据权利要求7所述的推定系统，其中，

所述学习部针对所述准确度判定部确定为所述准确度低的所述区间，利用机器学习使所述推定模型进行追加学习而更新所述推定模型。

9.根据权利要求7所述的推定系统，其中，

所述学习部针对由所述准确度判定部确定为所述准确度低的所述区间，根据所述第一输入数据与所述第一输出数据的对应关系、以及新的输入数据与对应于该数据的实际成果数据的对应关系，利用机器学习进行再学习而重新制作推定模型。

10.根据权利要求7所述的推定系统，其中，

所述推定系统具备高准确度存储部，所述高准确度存储部将由所述准确度判定部判定为所述准确度高的所述第二推定值和所述推定部进行该推定的时刻建立对应而存储，

在由所述准确度判定部判定为推定出的所述第二推定值的所述准确度低的情况下，所述精度推定部从所述高准确度存储部取得所述推定的时间点的最接近的被判定为所述准确度高的所述第二推定值，将被判定为所述准确度低的所述第二推定值置换为所述取得的所述第二推定值并输出到所述用户接口。

11.一种推定方法，具备：

学习处理，根据第一输入数据与第一输出数据的对应关系，利用机器学习来制作推定模型；

推定处理，将对所述推定模型输入第二输入数据而得到的输出值推定为第二推定值，所述第二推定值是所述第二输入数据所对应的输出值；

精度推定信息制作处理，制作精度推定信息，该精度推定信息是将所述第一输入数据输入到所述推定模型而得到的第一推定值与所述第一推定值所对应的准确度基准信息的对应关系；

精度推定处理，基于所述第二推定值和所述精度推定信息，求出所述第二推定值所对应的所述准确度基准信息，将该准确度基准信息用作作为所述第二推定值的推定精度的准确度信息来求出所述第二推定值所对应的所述准确度信息；以及

输出处理，输出由所述推定处理得到的所述第二推定值、以及针对所述第二推定值由所述精度推定处理得到的所述准确度信息。

12.一种推定程序，使计算机执行以下处理：

学习处理，根据第一输入数据与第一输出数据的对应关系，利用机器学习来制作推定模型；

推定处理，将对所述推定模型输入第二输入数据而得到的输出值推定为第二推定值，所述第二推定值是与所述第二输入数据对应的输出值；

精度推定信息制作处理，制作精度推定信息，所述精度推定信息是将所述第一输入数据输入到所述推定模型而得到的第一推定值与所述第一推定值所对应的准确度基准信息的对应关系；

精度推定处理，基于所述第二推定值和所述精度推定信息，求出所述第二推定值所对应的所述准确度基准信息，将该准确度基准信息用作作为所述第二推定值的推定精度的准确度信息来求出所述第二推定值所对应的所述准确度信息；以及

输出处理，输出由所述推定处理得到的所述第二推定值、以及针对所述第二推定值由所述精度推定处理得到的所述准确度信息。

Images