CN110580518A - 监督数据生成装置以及监督数据生成方法 - Google Patents

Abstract

本发明提供一种监督数据生成装置以及监督数据生成方法，开始基于人工智能的设备的控制而能够从早期阶段实现高精度的控制。根据设备运行实绩数据，计算与从预定开始时刻(t1)起在预定的提取时间宽度(tband)的期间进行的操作相对应的结果的评价值即操作结果评价值(Tv)。使用操作结果评价值(Tv)判断是否能够生成新监督数据(Tnew)。在判断为能够生成监督数据(T)时，提取包含根据开始时刻(t1)的板形状状态量S(t)计算出的监督数据输入部(Tin)和根据从开始时刻(t1)起在预定的提取时间宽度tband的期间中的操作机器状态量O(t)计算出的监督数据输出部(Tout)的监督数据(T)，将提取出的监督数据(T)存储到神经网络学习用监督数据数据库(DB2)。

Description

监督数据生成装置以及监督数据生成方法

技术领域

本发明涉及一种生成监督数据的技术，该监督数据使用于进行实时的反馈控制的神经网络等的人工智能的机器学习中。

背景技术

在各种设备中，为了得到期望的控制结果而实施基于各种控制理论实施设备控制。

作为设备的一例可举出轧制机。在轧制机的控制中，例如作为以控制板的波动状态的形状控制为对象的控制理论，应用模糊控制和神经模糊控制。模糊控制应用于使用了冷却剂的形状控制。神经模糊控制应用于森吉米尔轧制机的形状控制。

在专利文献1中公开了一种应用神经模糊控制的形状控制。在专利文献1中公开了以下技术：求出由形状检测器检测出的实绩形状图案和目标形状图案的差与预先设定的基准形状图案的类似比，根据该类似比，通过由与预先设定的基准形状图案相对应的控制操作端操作量来表现的控制规则来求出与操作端相对应的控制输出量。

图14是表示实现专利文献1所公开的森吉米尔轧制机的形状控制的结构的框图。本图相当于专利文献1的图1。

如上所述，在森吉米尔轧制机的形状控制中使用神经模糊控制。在图14的示例中，控制轧制机的控制机构具有图案识别机构51和控制运算机构53。在轧制机上设置有形状检测器52。

形状检测器52检测成为轧制对象的板的实际形状。预先规定了多个基准形状图案，图案识别机构51对由形状检测器52检测出的实际形状进行图案识别，判断实际形状最接近哪一种基准形状图案。

图15是表示专利文献1所公开的确定了形状图案和与该形状图案对应的控制图案及控制方法的关系的控制规则的一例的图。本图相当于专利文献1的图9。

形状检测器52例如判断板的实际形状最接近图15示出的哪一种形状图案(基准形状图案)。控制运算机构53参照图15示出的控制规则，基于与板的实际形状最接近的形状图案对应的控制图案和控制方法来决定控制操作端操作量，通过该操作量对轧制机实施控制。

具体地说，图案识别机构51通过运算求出由形状检测器52检测出的实际形状与目标形状(εref)之间的差分(Δε)最接近于图15的1～8的哪一种形状图案(ε)。控制运算机构53选择并执行与最接近于由形状检测器52求出的实际形状的形状图案对应的控制方法。

在专利文献1的方法中，有时在轧制中使操作员进行手动操作，利用该手动操作来验证控制规则是否适当。但是，在控制规则未依据现实的情况下，由轧制机进行轧制的板有时出现意想不到的形状变化。这是由于机器特性的研究不足、轧制机的作业状态或机器条件的变化的一个以上为原因造成的。

在验证预先设定的控制规则是否是适当的规则时需要考虑各种条件，考虑到这些条件的基于手动控制的控制规则的验证并不容易。因此，一旦设定控制规则，只要在轧制机的控制中不会产生明显的不良状况，则在很多情况下不需要验证或修正而直接继续使用。

有时由于作业条件的变化等，使控制规则变得不依据现实。在控制规则变得不依据现实时，如果不对控制规则进行试验并改善，则难以达到一定程度以上的控制精度。

但是，一旦形状控制进行动作，则操作员的手动操作对控制而言成为干扰，因此操作员不进行手动操作。因此，难以通过操作员的手动控制的介入来找到新的控制规则。

另外，在使用轧制机对目前并未处理过的新规格的轧制材料进行轧制的情况下，难以按着其材料设定控制规则。

如上所述，在以往的形状控制中，难以对预先设定的控制规则进行修正。与此相对，考虑将神经网络等的人工智能(Artificial Intelligence，以下还称为“AI”)应用于轧制机的控制，通过机器学习自动地修正形状图案与操作方法的控制规则。

专利文献1：日本专利2804161号公报

发明内容

然而，在一边通过AI来控制设备一边通过使用其结果的机器学习来改善控制规则的方法中，在从开始基于AI的控制起至充分改善控制规则的期间中，控制变得不完整，存在给设备带来不良影响的风险。

即使将现有的控制规则作为监督数据而使AI进行学习或要通过控制模拟来改善控制规则，也无法期待像人通过经验判断并应对时得到的充分的性能改善。

本发明的一个目的在于，提供一种开始基于人工智能的设备的控制并能够从早期阶段实现高精度的控制的技术。

本发明的一个方式所涉及的监督数据生成装置对设备运行实绩数据进行分析，生成在进行上述设备控制的人工智能的学习中使用的监督数据，上述设备运行实绩数据包含与根据关于设备的状态对上述设备进行操作的设备控制有关的状态量和控制机构的操作量，该监督数据生成装置具有：新监督数据提取装置，其根据上述设备运行实绩数据，计算与从预定的开始时刻起在预定的提取时间宽度的期间进行的操作相对应的结果的评价值，使用上述评价值来判断是否能够生成监督数据，在判断为能够生成上述监督数据时，提取包含根据上述开始时刻的上述状态量计算出的监督数据的输入部和根据从上述开始时刻起在预定的提取时间宽度的期间中的上述操作量计算出的监督数据的输出部的监督数据；以及监督数据数据库更新装置，其将由上述新监督数据提取装置提取出的上述监督数据存储到数据库。

根据上述方式，根据设备的运行实绩数据，能够构建人工智能的学习用监督数据数据库。因此，能够使实时的设备的控制中适用的AI在离线状态下使用过去的设备运行实绩数据来学习控制规则，也能够通过离线来验证其性能。由此，提高控制的可靠性，从而能够实现使用了AI的实时控制的应用。

另外，由于以预定的提取时间宽度来评价操作结果，因此降低设备控制的运行实绩数据内包含的噪声以及与操作相对应的状态检测的延迟的影响而能够生成监督数据。因此，使用从大量累积的运行实绩数据中得到的监督数据来进行神经网络等的AI的机器学习，由此从基于AI的设备控制开始早期阶段能够实现高精度的控制。

附图说明

图1是表示实施例所涉及的设备控制装置的概要的图。

图2是表示图1的设备控制装置所具有的新监督数据提取装置的结构的一例的图。

图3是表示图1的设备控制装置所具有的监督数据数据库更新装置的结构的一例的图。

图4是表示设备运行速度模式的图。

图5是表示板形状状态量的一例的图。

图6是表示操作机器状态量Pj(t)的时间变化的一例的图。

图7是说明操作后状态变化的时间延迟的图。

图8是表示形状评价值V(t)的时间变化的一例的图。

图9是使用图表示意性地示出监督数据价值的运算的方式的一例的图。

图10是表示根据监督数据价值Val(n)从大开始依次重新排列监督数据T(n)的方式的一例的表。

图11是说明更新监督数据计数器Nud的决定方法的图。

图12是示意性地示出时间延迟的图。

图13是示意性地示出操作量收集区间与形状评价区间的图。

图14是表示以往的森吉米尔轧制机的形状控制的图。

图15是表示图14的森吉米尔轧制机的形状控制中的控制规则的图。

具体实施方式

首先，说明本实施方式中包含的基本概念。

在设备控制中，无法模型化的实际现象或基于过去经验的操作员的技巧等包含在设备过去的运行实绩数据中。因此，收集过去设备的运行实绩数据并以离线方式提取控制规则而将提取出的控制规则用作监督数据进行学习这一情况对最佳设备控制是有效的。控制规则是将形状输出(状态量)与操作(操作量)相关联起来的信息。在此，以下示出实施步骤，该实施步骤为将使用基于预先累积的过去的设备运行实绩数据而生成的监督数据以离线方式使AI进行机器学习的结果应用于实际机器。

(1)收集设备的运行实绩数据。

(2)从设备的运行实绩数据中提取AI的机器学习中使用的监督数据。

(3)实施使用了监督数据的AI的机器学习。

(4)验证使用了试验用监督数据的AI的机器学习的结果。

(5)验证基于模拟等的学习完成的AI的控制性能。

(6)验证基于设备实际机器的实时控制性能。

本实施方式关注上述(2)。之后，通过实施(3)～(6)，能够在应用于实际设备的前阶段中验证控制性能。

在本实施方式中，根据设备的运行实绩数据生成控制规则，并评价所生成的控制规则。而且，根据评价结果良好的控制规则来生成新监督数据。

在设备的运行实绩数据中包含噪声，常常存在干扰对控制系统的影响。本实施方式能够抑制这些噪声、干扰的影响，有效地通过运行实绩数据生成监督数据。

在本实施方式中，从设备的运行实绩数据中具有一定的操作量的数据中提取评价结果良好的控制规则，生成监督数据。在本实施方式中，能够抑制控制结果的时间延迟的偏差的影响，适当地评价基于控制的设备状态的变化，提取评价良好的控制规则。

在本实施方式中，使用从设备的运行实绩数据生成的控制规则，对保管有AI的机器学习中使用的监督数据的学习用监督数据数据库进行构建。在本实施方式中，能够通过基于控制规则而生成的新的监督数据来更新现有的学习用监督数据数据库。

基于从使用了神经网络等的AI的实绩数据中进行了学习的结果的控制是基于学习过的数据的归纳方法，因此，在学习过的数据能够对应的范围以外，控制的可靠性下降。本发明具有以下功能：为了扩展控制的可对应范围，以扩大AI的学习用监督数据数据库的能够对应的状态的幅度且根据与更多的状态对应的控制规则来构建学习用监督数据数据库的方式，来运算各个控制规则的价值。

若在学习用监督数据数据库中保管的监督数据数量增加，则使用了监督数据的机器学习的计算量增加，计算时间也延长。在本实施方式中，为了使该学习所需的计算量和计算时间保持固定，对学习用监督数据数据库的监督数据数量进行管理，并且在超过一定数量之后，在追加新监督数据时，以新的监督数据来更新价值最低的监督数据。即，在本实施方式中，能够将监督数据数量保持为一定数量。

在本实施方式中，作为使设备的运行实绩数据中包含的噪声的影响以及操作与状态变化的时间延迟的偏差影响降低的措施，对测量操作与状态变化的值的时间进行扩展。

考虑到噪声的影响，形状控制的控制周期为0.5秒～几秒的范围，每个周期可控制的形状控制机构的动作范围并不那么大。轧制机的形状控制机构(AS-U、IMR)的可动作范围为几mm。另一方面，即使是固定的轧制状态，形状也继续变化固定量。这是由于材料与轧制机之间的力的传递、油的引入、材料的质量偏差等，产品的伸长程度始终持续变动。将其考虑为进行形状评价时的噪声。因此，对由控制一个周期的小的操作引起的形状的较小的变化，始终产生的变化有时更大，难以仅提取与操作相对的纯粹形状变化成分。作为针对这些问题的方法，考虑作为某个固定期间的操作结果的总和而评价形状，将评价出的结果分配给在该期间内实施的操作。此时，为了消除噪声影响，在形状评价中设置死区(评价对象外的范围)，在死区中包含的情况下视为不会形状变化。

考虑时间延迟，在轧制机中，周期性地进行形状控制，直到检测在进行形状控制之后实际产生的形状变化为止发生时间延迟。并且，在固定周期以后进行新的控制，因此实际发生的形状变化不仅为某一周期的形状变化，考虑为基于由一系列的操作产生的效果的重叠的形状变化。作为这种时间延迟的理由，考虑直到由形状控制机构轧制的部位到达测量位置为止的延迟(移动延迟)、从向形状控制机构的操作输入到形状控制机构动作完成为止的延迟(动作延迟)、从形状控制机构动作完成起至轧制状态处于稳定为止的延迟(轧制稳定延迟)等。图12示出这些延迟的图像。上述移动延迟由轧制钢板等的轧制对象物的移动速度决定。上述动作延迟需要考虑形状控制机构的动作中的形状变化。上述轧制稳定延迟为不确定要素。因此，与形状控制机构的操作相应的形状变化从操作输入起以某一延迟阶段性地产生。

在本实施方式中，从离线的运行实绩数据中仅提取包含对控制有效的操作的控制规则而用于监督数据的生成。此时，若控制周期内的操作机器(即形状控制机构)的动作量小，则操作量本身具有噪声，在状态变化量中也存在噪声影响，操作的评价变得不可靠。另外，操作与状态变化的时间关系也有可能不正确，从而提取出错误的关系的可能性较高。与此相对，并不以一个周期来对数据进行比较，而设定为包含多个周期的形状评价区间(图13)，由此能够评价与大的操作相对应的大的状态量的变化，另外，时间延迟的偏差的影响也仅在提取时间的开始和结束，因此作为比例而能够抑制。

另外，作为监督数据的更新方法，考虑使用在包含多个周期的操作量收集区间中产生的操作量的总和来生成控制规则，作为新的监督数据而追加到数据库中。在该情况下，需要用于将操作量的总和设为一个周期的控制规则的归一化。也就是说，以使操作量的总和包括在一个周期内移动的机构的动作范围内的方式进行归一化即可。另外，考虑到形状变化的时间延迟，认为降低紧接着在形状变化之前的操作的权重，均等地分配至其它操作为较适当。使形状的评价区间和操作量的收集区间偏移时间延迟量。图13示出形状评价区间与操作收集区间的图像。

为了构建以有限的实绩数据的集合能够对应于很多状态的AI而提高监督数据的网罗性。因此，根据价值将监督数据进行排序，从顺序低的数据删除监督数据。此时，作为排序基准而测量监督数据间的近似度，认为监督数据的近似度越高则价值越低，从而能够实施与尽可能多的状态对应的学习用监督数据数据库的制作。

在追加新监督数据时，根据包含现有的监督数据的价值进行排序，删除顺序低的数据。此时，作为监督数据的价值设为不具有其它类似的规则(近似度)以及与操作相对的效果较大(有效度)。计算近似度即监督数据之间的距离作为排序的指标，根据计算出的距离来提取距离最近的两个监督数据，将作为这两个监督数据的有效度的各监督数据的操作结果评价值进行比较，决定要删除的监督数据。

就监督数据之间的距离而言，针对在学习用监督数据数据库中保管的一个监督数据，计算与其它所有监督数据之间的距离而设为其最小值(最小距离d)。监督数据之间的距离通过取得监督数据的输入数据(形状偏差)和输出数据(操作量)的偏差的平方并分别进行加权并相加而得到。根据上述计算出的最小距离d将监督数据进行排序，从学习用监督数据数据库中删除最下位的监督数据。此时，由于成为最小距离d的监督数据必存在两个，因此删除操作结果评价值更低的一个。并且，在上述方法中，偶然地错误判断为操作结果评价值为良好的监督数据有时不被删除而继续残留。为了防止这种情况，每当将新监督数据更新一定次数时，也可以乘以预定系数K(0<K<1)来减少操作结果评价值。

在上述示例中，采用为新监督数据的控制规则例如能够表现为(状态量)|(操作量)。此时，也可以根据操作结果评价值来校正操作量，并追加为学习用数据。即，也可设为

在操作结果评价值为良好的情况下：(状态量)|(操作量)×α(α>1)

在操作结果评价值为普通的情况下：(状态量)|(操作量)×β(0<β<1)

在操作结果评价值为不良的情况下：(状态量)|(操作量)×γ(0<γ<<1)。

在设备控制中，即使输入状态大致相同，也有时输出发生变化，在接近最佳状态时也是相同的。为了保持最佳状态，应对在最佳状态附近的小区域中的精细输出变化较重要。因此，在本实施方式中，能够进行以下管理：通过距最佳状态的距离对监督数据的价值进行加权，由此提高接近最佳状态的监督数据的密度，减小偏离最佳状态之处的监督数据的密度。

本实施方式涉及一种根据从具备如上所述功能的收集到的设备运行实绩数据而生成的控制规则，来生成AI的机器学习中使用的监督数据的方法。

根据本实施方式，能够根据设备的运行实绩数据，构建人工智能的学习用监督数据数据库。因此，能够使应用于实时地设备控制的AI以离线状态的方式使用过去的设备运行实绩数据学习控制规则，针对其性能也能够以离线方式验证其性能。由此，提高控制的可靠性，并且能够实现使用了AI的实时控制的应用。

另外，根据本实施方式，能够提取具有良好的控制规则的新监督数据，该良好的控制规则能够期望根据包含噪声且在操作和操作的结果的时间延迟中存在偏差的设备的运行实绩数据，适当地评价操作结果，通过使AI进行学习来实施有效的控制。能够通过庞大的设备运行实绩数据构建AI学习用的监督数据数据库，设备运行实绩数据的数据越多则使用了AI的控制精度越高。另外，能够使监督数据数量保持为一定，因此能够抑制AI的学习所需的计算时间膨胀。

(实施例)

以下，参照各图说明实施例所涉及的监督数据生成装置的结构。

本实施例所涉及的监督数据生成装置将设备运行实绩数据进行分析，生成进行上述设备控制的人工智能的的学习中使用的监督数据，上述设备运行实绩数据包含根据与关于设备的状态对上述设备进行操作的设备控制有关的状态量和控制机构的操作量。

图1示出实施例所涉及的监督数据生成装置的概要功能块。图1的监督数据生成装置具有新监督数据提取装置20和监督数据数据库更新装置31。监督数据生成装置构成为具有计算机，该计算机执行存储于存储装置的程序，由此该计算机作为新监督数据提取装置20和监督数据数据库更新装置31而发挥功能。由监督数据生成装置生成的监督数据在作为AI的具有神经网络的设备控制装置的学习中使用。

新监督数据提取装置20参照在设备运行实绩数据数据库DB5(以下简称为“运行实绩DB5”)中保管的作为设备运行实绩数据的运行速度v(t)、板形状状态量S(t)和操作机器状态量O(t)，制作新监督数据Tnew。t表示时刻或基于时刻的参数。

监督数据数据库更新装置31从新监督数据提取装置20中获取新监督数据Tnew。另外，监督数据数据库更新装置31获取在神经网络学习用监督数据数据库DB2(以下简称为“监督DB2”)中保管的监督数据数量计数器N以及监督数据T(1)，···，T(N)。而且，监督数据数据库更新装置31对获取到的监督数据数量计数器N和监督数据T(1)，···，T(N)进行更新，在监督DB2中进行覆盖。在每次追加监督数据T时，监督数据数量计数器N从1起依次计数直到监督数据保管最大数NMAX。

图2示出新监督数据提取装置20的概要功能块。新监督数据提取装置20作为主要要素而构成实绩数据读取速度条件设定部200、实绩数据读取计数器设定部201、监督数据输入部状态量读取部202、实绩数据噪声对策提取时间宽度设定部203、监督数据输出部操作量读取部204、操作后状态量变化延迟时间设定部205、操作结果评价部206、新监督数据生成条件设定部207、新监督数据生成判断部208以及新监督数据生成部209。

实绩数据读取计数器设定部201从运行实绩DB5获取运行速度v(t)，设定实绩数据读取计数器t。具体地说，实绩数据读取计数器设定部201从头推进实绩数据读取计数器t的同时依次读取在运行实绩DB5中保管的运行速度v(t)。即，从时刻最早的部分(时间上较早的)依次读取运行速度v(t)。而且，在满足以下的读取条件时，输出此时的实绩数据读取计数器t。

图4示出在本实施例中作为对象的森吉米尔轧制机的运行速度模式。实绩数据读取计数器设定部201以由实绩数据读取速度条件设定部200设定的实绩数据读取速度条件THv(即，作为监督数据而提取的条件速度即监督数据提取速度THv)以上且运行速度保持固定期间这一情况作为上述读取条件，输出实绩数据读取计数器t。

监督数据输入部状态量读取部202使用由实绩数据读取计数器设定部201输出的实绩数据读取计数器t，从运行实绩DB5读取板形状状态量S(t)。在本实施例中，板形状状态量S(t)包含在时刻t由形状检测器检测出的板形状实绩值spfb和目标板形状spref。

图5示出实绩数据读取计数器t(t＝开始时刻t1)中的板形状状态量S(t1)的一例。在图5中，DS表示驱动侧，WS表示工件侧。在上级的图表中，横轴表示板宽方向的形状检测器的位置i{i＝1，…，Ch}，纵轴表示由形状检测器检测出的板形状实绩值spfb(i)和目标板形状spref(i)。在此，Ch表示在板宽方向上使用的形状检测器的总数。在下级的图表中，横轴表示板宽方向的形状检测器的位置i，纵轴表示形状偏差spdev(i)。通过以下式(1)求出形状偏差spdev(i)。以下式(2)示出时刻t1的、板宽方向的形状偏差spdev(i)的集合即监督数据输入部Tin(t1)。

[式1]

spdev(i)＝spfb(i)-spref(i)…(1)

Tin(t1)＝{spdev(1)，spdev(2)，...，spdev(Ch)}…(2)

监督数据输出部操作量读取部204使用来自实绩数据读取计数器设定部201的实绩数据读取计数器t和从实绩数据噪声对策提取时间宽度设定部203获取的提取时间宽度tband[sec]，从运行实绩DB5读取操作机器状态量O(t)～O(t+tband)。在本实施例中，操作机器状态量O(t)包含时刻t中的各操作机器的操作机器状态量Pj(t){j表示形状控制机构的编号、j＝1，…，10}。

图6示出操作机器状态量Pj(t)的时间变化的一例。Pj(t)表示时刻t的形状控制机构(编号j)的操作量。在本实施例中，各编号j如下级图表的横轴所示对应于各形状操作机构。即，使用编号1～7表示的形状操作机构为“AS-U#1”～“AS-U#7”。使用编号8表示的形状操作机构为“Top IMR shift”，使用编号9表示的形状操作机构为“Bot IMR shift”。使用编号10表示的形状操作机构“Leveling”。

根据由实绩数据噪声对策提取时间宽度设定部203设定的提取时间宽度tband和Pj(t)，通过以下式(3)求出时刻t的形状控制机构(编号j)的形状控制机构操作量Oj(t)。在此，tcyc表示实绩数据采样周期。

[式2]

Oj(t1)＝(Pj(t2)-Pj(t1))/tband*tcyc…(3)

其中，t2＝t1+tband

在此，提取时间宽度tband设定改善形状的操作所需的平均时间。能够判断为形状并非是噪声影响而通过操作能够改善时，基准为±5[I-unit]左右，使用以下参数，能够通过式(4)～(6)求出为此所需的各形状控制机构的操作时间tj。

CA：AS-U基准操作量[mm/I-unit]

VA：AS-U动作速度[mm/sec]

CI：IMR shift基准操作量[mm/I-unit]

VI：IMR shift动作速度[mm/sec]

CL：Leveling基准操作量[mm/I-unit]

VL：Leveling动作速度[mm/sec]

[式3]

tj＝(5×CA)/VA(j＝1，...，/)…(4)

tj＝(5×CI)/VI(j＝8，9) …(5)

tj＝(5×CL)/VL(j＝10)…(6)

在此，各形状控制机构的基准操作量为对形状(状态量)的影响变得相等的各形状控制机构的操作量，通过试验形状相对于各形状控制机构的操作量的变化量来能够决定。提取时间宽度tband设定tj的最大时间，但是实际上考虑操作的效果偏差、多次操作的间隔，因此如以下式(7)所示，设定几倍的时间(乘以系数β的时间)。

[式4]

β＝2～3倍

在此，将能够判断为可通过操作来改善的基准设为5[I-unit]，但是也可以根据实际轧制状况来适当地变更。另外，关于tband，固定以上的操作持续期间等根据需要还能够通过与本例以外的其它方法选择其值。

形状控制机构操作量Oj(t)使用上述CA、CI和CL，通过以下式(8)求出监督数据输出部Tout(t1)。

[式5]

Tout(t1)＝{O1(t1)/CA，...，O7(t1)/CA，O8(t1)/CI，O9(t1)/CI，O10(t1)/CL}…(8)

通过使用CA、CI和CL，能够使各操作量的权重标准化(归一化)而使用。

操作结果评价部206使用来自实绩数据读取计数器设定部201的实绩数据读取计数器t、来自实绩数据噪声对策提取时间宽度设定部203的提取时间宽度tband、来自操作后状态量变化延迟时间设定部205的延迟时间Δt，从运行实绩DB5读取板形状状态量S(t)。

图7示出轧制的钢板的板形状检测的时间延迟。通过在轧制方向上位于行进距离L的位置的形状检测器3检测使用上作业辊1与下作业辊2进行轧制的被轧制材料4的板形状。因此，通过操作后状态量变化延迟时间设定部205，使用作为被轧制材料4行进速度的运行速度v(t)，通过以下式(9)求出被轧制材料4中的轧制过的部位的形状被由形状检测器检测出为止的延迟时间Δt。

[式6]

Δt＝L/v(t)…(9)

根据操作前后的板形状状态量来求出操作结果评价。板形状状态量设为根据形状偏差spdev(i)进行评价，例如通过以下式对实绩数据读取计数器t示出的时刻t的形状评价值V(t)进行运算。

[式7]

V(t)＝∑|spdev(i)|/Ch…(10)

图8的图表表示形状评价值V(t)的时间变化。根据形状评价值V(t1)、提取时间宽度tband、延迟时间Δt，通过以下式(11)求出实绩数据读取计数器t(t＝t1)中的操作结果评价值Tv(t1)。

[式8]

Tv(t1)＝(V(t4)-V(t3))/V(t3)/tband*tcyc…(11)

其中，t3＝t1+Δt、t4＝t1+Δt+tband

在新监督数据生成判断部208中，根据来自操作结果评价部206的操作结果评价值Tv(t)、来自新监督数据生成条件设定部207的新监督数据生成形状评价值条件THT以及新监督数据生成操作量条件THO，通过以下式(12)决定新监督数据生成标志fT。

[式9]

fT＝0(Tv(t1)＜THT)V

MAX{O1(t1)/CA，...，O7(t1)/CA，O8(t1)/CI，O9(t1)/CI，O10(t1)/CL}＜THO)

fT＝1(Tv(t1)≥THT∧

MAX{O1(t1)/CA，...，O7(t1)/CA，O8(t1)/CI，O9(t1)/CI，O10(t1)/CL}≥THO)…(12)

在操作结果评价值Tv(t1)小于新监督数据生成形状评价值条件THT或各形状控制机构的形状控制机构操作量Oj(t1)的最大值小于THO时，设为新监督数据生成标志fT＝0。也就是说，在轧制的形状变化小或形状控制机构的操作量小时，不会作为新监督数据生成标志fT＝0而生成新监督数据Tnew。

在操作结果评价值Tv(t1)为新监督数据生成形状评价值条件THT以上且各形状控制机构的形状控制机构操作量Oj(t1)的最大值为THO以上时，设为新监督数据生成标志fT＝1。也就是说，在轧制的形状变化大且形状控制机构的操作量大时，作为新监督数据生成标志fT＝而生成新监督数据Tnew。

此外，也可以仅判断操作结果评价值Tv(t1)而设定新监督数据生成标志fT。也就是说，也可以是fT＝0(Tv(t1)＜THT时)、fT＝1(Tv(t1)≥THT时)。

在此，新监督数据生成形状评价值条件THT为用于提取板形状状态量改善后的情况的条件，设定能够判断为并非是由噪声等引起的临时变化而是通过操作而形状明显改善的基准。根据经验，认为每个形状检测器为土5[I-unit]的变化、作为形状评价值V(t)而10/Ch[I-unit]左右为适当。考虑这些情况，使用以下式(13)来表示新监督数据生成形状评价值条件THT。

[式10]

THT＝10/Ch…(13)

另外，新监督数据生成操作量条件THO设定成用于排除尽管实际上几乎没有进行操作而由于操作以外的影响使形状评价值发生变化的情况。将每个形状检测器相当于±5[I-unit]的变化的操作量设为判断的基准。

[式11]

THO＝5/tband*tcyc…(14)

如上所述，新监督数据生成形状评价值条件THT和新监督数据生成操作量条件THO使用10/Ch[I-unit]、每个形状检测器为土5[I-unit]等的数值，但是也可以根据轧制状态而适当地变更这些数值。

新监督数据生成部209根据来自新监督数据生成判断部208的新监督数据生成标志fT、来自监督数据输入部状态量读取部202的监督数据输入部Tin(t)、来自监督数据输出部操作量读取部204的监督数据输出部Tout(t)以及来自操作结果评价部206的操作结果评价值Tv(t)，生成新监督数据Tnew。

在新监督数据生成标志fT为0的情况下，作为并未生成新监督数据Tnew，对实绩数据读取计数器设定部201请求下一实绩数据读取。

在新监督数据生成标志fT为1的情况下，作为生成新监督数据Tnew，根据以下式来制作新监督数据Thew。

[式12]

Tnew＝{Tin(t1)，Tout(t1)，Tv(t1)}…(15)

图3示出监督数据数据库更新装置31的概要功能块。监督数据数据库更新装置31作为主要要素而构成监督数据数据库数据读取部311、监督数据数量据保管数设定部312、监督数据数据库更新方法判断部313、监督数据更新部314、监督数据价值运算部315、更新监督数据决定部316。

在监督数据数量据保管数设定部312中设定在监督DB2中保管的监督数据保管最大数NMAX。

监督数据数据库数据读取部311读取在监督DB2中保管的监督数据数量计数器N和监督数据T(n)。

监督数据数据库更新方法判断部313通过来自监督数据数量据保管数设定部312的监督数据保管最大数NMAX、来自监督数据数据库数据读取部311的监督数据数量计数器N，设定更新方法标志flagud。

[式13]

flgud＝1 (N＜NMAX)…(16)

flgud＝2 (N＝NMAX)…(17)

监督数据更新部314根据来自监督数据数据库数据读取部311的监督数据T(1)，…，T(N)、来自监督数据数据库更新方法判断部313的更新方法标志flagud、来自新监督数据提取装置20的新监督数据Tnew，来制作更新后的监督数据T’(1)，…，T’(N)和监督数据数量计数器N’，在监督DB2中进行覆盖。

在更新方法标志flagud为1的情况下，也就是说，在监督DB2中保管的监督数据T的数N小于监督数据保管最大数NMAX的情况下，使用以下式(18)～(20)求出更新后的监督数据T’(1)，…，T’(N)和监督数据数量计数器N’。

[式14]

T’(n)＝T(n) (n＝1，...，N)…(18)

T’(N+1)＝Tnew…(19)

N’＝N+1…(20)

即，在更新方法标志flagud为1的情况下，将监督数据T(1)，…，T(N)直接作为更新后的监督数据T’(1)，…，T’(N)，作为更新后的监督数据T’(N+1)而追加新监督数据Tnew，存储到监督DB2。

在更新方法标志flagud为2的情况下，也就是说，在监督DB2中保管的监督数据T的数N与监督数据保管最大数NMAX相等而并不增加更多监督数据T的数的情况下，通过来自更新监督数据决定部316的更新监督数据计数器Nud，使用以下式(21)～(24)求出更新后的监督数据T’(1)，…，T’(N)和监督数据数量计数器N’。

[式15]

T(N+1)＝Tnew…(21)

T’(n)＝T(n) (n≠Nud)…(22)

T’(Nud)＝Tnew…(23)

N’＝N…(24)

在该情况下，首先，监督数据价值运算部315对从监督数据更新部314读出的监督数据T(1)，…，T(N)追加T(N+1)(＝Tnew)(式(21))，根据这些监督数据T将监督数据价值Val(1)，…，Val(N+1)进行运算。监督数据价值运算部315根据有限的监督数据T来扩展可对应的输入状态的区域，因此将监督数据输入部Tin的状态量与其它不同这一情况设为价值较高(好的评价)，将相似的情况设为价值较差(差的评价)而求出监督数据的价值。

图9是使用图表而示意性地示出监督数据价值Val的运算的方式。如上述式(2)所示，监督数据输入部Tin(n)为形状检测器的总数(即检测区域数)即Ch次元的值，但是在此为了进行说明而设为二维(sp(1)和sp(2))的值。在此，作为与其它监督数据T之间的距离中的最小值，使用以下式(25)～(28)求出监督数据T(m)的监督数据价值Val(m)。

[式16]

在此，sp(i)n表示第n个监督数据的第i区域(与第i个形状检测器对应的检测区域)中的形状偏差spdev(i)。din(n，m)表示第n个监督数据和第m个监督数据的输入部状态量的距离。din0(n)表示第n个监督数据与最佳状态0(即为sp(i)坐标系的原点，是形状偏差spdev(i)为0的目标值)之间的距离。din0(m)表示第m个监督数据和最佳状态0之间的距离。能够考虑将各监督数据之间的距离除以各监督数据与最佳状态0之间的距离，从而在最佳状态0的附近，监督数据输出部Tout的操作量的方向精细地变化。

而且，更新监督数据决定部316根据来自监督数据更新部314的监督数据T(1)，···，T(N+1)、来自监督数据价值运算部315的监督数据价值Val(1)，···，Val(N+1)来决定更新监督数据计数器Nud。更新监督数据计数器Nud为用于确定应更新的监督数据T(价值最低的监督数据T)的计数器。

图10、图11是说明更新监督数据计数器Nud的决定方法的图。如图10示出的表所示，根据监督数据价值Val(n)，从大开始按顺序重新排列监督数据T(n)。在此，将重新排序后第k个监督数据编号设为n(k)。在这样重新排列时，决定如图11所示价值最小的两个监督数据的组。将这样得到的、第N与第N+1的监督数据的操作结果评价值Tv进行比较，由此以下那样决定更新监督数据计数器Nud。

[式17]

Nud＝n(N) (Tv(n(N))＜Tv(n(N+1))…(29)

Nud＝n(N+1) (Tv(n(N))≥Tv(n(N+1))…(30)

根据新监督数据Tnew对由这样决定的更新监督数据计数器Nud确定的监督数据T’(Nud)进行更新，将其余的监督数据T’(n)，作为从监督数据更新部314读出的监督数据T(n)(其中，n≠Nud)那样，在监督DB2中进行覆盖。最初追加的监督数据T(N+1)为仅使用于监督数据价值Val的重新排列，因此并不在监督DB2中覆盖而进行作废。

如上所述，本实施例的监督数据生成装置构建和更新监督DB2。

如上所述，根据本实施方式，基于设备运行实绩数据，计算与从预定开始时刻t1起在预定的提取时间宽度tband的期间进行的操作对应的结果的评价值即操作结果评价值Tv。使用操作结果评价值Tv来判断是否能够生成新监督数据Tnew。在判断为能够生成监督数据T时，提取包含根据开始时刻t1中的板形状状态量S(t)计算出的监督数据输入部Tin以及根据从开始时刻t1起在预定的提取时间宽度tband的期间的操作机器状态量O(t)而计算出的监督数据输出部Tout的监督数据T，将提取出的监督数据T存储到监督DB2。通过设为这种结构，根据设备的运行实绩数据，能够构建AI的监督DB2。因此，能够使在实时的设备控制中应用的AI在离线状态下使用过去的设备运行实绩数据来学习控制规则，还能够以离线方式验证其性能。由此，提高控制的可靠性，从而能够实现使用了AI的实时控制的应用。

通过预定的提取时间宽度tband来评价操作结果，因此降低设备控制的运行实绩数据中包含的噪声以及状态检测相对于操作的延迟的影响而能够生成监督数据T。因此，使用从累积的庞大的运行实绩数据得到的监督数据T来进行神经网络等的AI的机器学习，由此从基于AI的设备控制的开始早期阶段起能够实现高精度的控制。

另外，监督数据数据库更新装置31将预定监督数据保管最大数NMAX作为上限而将监督数据T存储到监督DB2。通过设为这种结构，能够使监督数据的个数保持固定。因此，将AI的机器学习所需的时间抑制为固定，从而能够抑制该时间膨胀。

另外，监督数据数据库更新装置31在监督DB2内的监督数据T的个数达到监督数据保管最大数NMAX的情况下，从将监督DB2内的监督数据T与由新监督数据提取装置20新提取的一个新监督数据Tnew进行组合而得到的监督数据的集合中确定与其它监督数据之间的输入部之间的距离最小的两个监督数据。而且，在这两个监督数据中去除操作结果评价值Tv更差的一个，将剩余的监督数据T存储到监督DB2。通过设为这种结构，能够优先地去除输入部的距离接近的监督数据、即相互相似的监督数据。因此，剩余相互并不相似的监督数据，因此能够生成以下AI：根据与各种状态对应的监督数据来进行机器学习，在大范围中进行理想控制。

另外，监督数据数据库更新装置31以优先剩余与监督数据输入部Tin的目标值之间的距离小的监督数据T的方式对与其它监督数据之间的输入部之间的距离进行加权，确定加权后的距离最小的两个监督数据T。通过设为这种结构，在监督数据输入部Tin的目标值(也就是说，最佳操作状态)的附近要求高精度的精细的控制，结果是，通过监督数据输入部Tin的距离加权，在目标值附近优先地剩余监督数据，由此能够提高AI的目标值附近的控制精度。

另外，提取时间宽度tband为根据使用对每个形状控制机构设定的基准操作量CA、CI、CL和形状控制机构的动作速度VA、VI、VL计算出的操作时间tj来决定的时间宽度。通过设为这种结构，对提取时间宽度tband能够设定改善形状的操作所需的平均时间，因此能够有效地降低噪声和时间延迟相对于操作的影响。

另外，设备为轧制机，设备运行实绩数据的状态量为由设置于轧制机的形状检测器检测出的板形状状态量，操作量为设置于轧制机的形状控制机构的操作量。通过设为这种结构，能够生成控制作为设备的轧制机的AI的机器学习中使用的监督数据T。

另外，新监督数据提取装置20使用设备运行实绩数据中的、轧制机的运行速度v为预定实绩数据读取速度条件THv以上时的数据来生成监督数据T。通过设为这种结构，使用轧制机运营时的运行实绩数据，能够生成适当的监督数据。

另外，新监督数据提取装置20在操作结果评价值Tv为预定评价阈值的新监督数据生成形状评价值条件THT以上并且形状控制机构操作量Oj为预定操作阈值的新监督数据生成操作量条件THO以上时，判断为能够生成监督数据T。通过设为这种结构，使用由轧制引起的形状变化较大并且形状控制机构的操作量较大时的运行实绩数据来生成监督数据，因此能够生成降低噪声影响而适当地反映由设备的操作引起的状态变化的监督数据。此外，新监督数据提取装置20在操作结果评价值Tv为预定评价阈值的新监督数据生成形状评价值条件THT以上时，也可以判断为能够生成监督数据T。通过设为这种结构，能够更简单地判断是否能够生成监督数据T。

此外，本发明并不限定于上述实施方式，能够在实施阶段在不脱离其宗旨的范围内使结构要素变形而具体地说明。另外，能够通过上述实施方式所公开的多个结构要素的适当的组合来形成各种发明。例如也可以从实施方式示出的所有结构要素中删除几个结构要素。并且，也可以适当地组合不同实施方式所涉及的结构要素。

附图标记说明

20：新监督数据提取装置；200：实绩数据读取速度条件设定部；201：实绩数据读取计数器设定部；202：监督数据输入部状态量读取部；203：实绩数据噪声对策提取时间宽度设定部；204：监督数据输出部操作量读取部；205：操作后状态量变化延迟时间设定部；206：操作结果评价部；207：新监督数据生成条件设定部；208：新监督数据生成判断部；209：新监督数据生成部；31：监督数据数据库更新装置；311：监督数据数据库数据读取部；312：监督数据数量据保管数设定部；313：监督数据数据库更新方法判断部；314：监督数据更新部；315：监督数据价值运算部；316：更新监督数据决定部；DB2：神经网络学习用监督数据数据库；DB5：设备运行实绩数据数据库；N、N’：监督数据数量计数器；NMAX：监督数据保管最大数；Nud：更新监督数据计数器；T、T’：监督数据；Tnew：新监督数据；Val：监督数据价值；flgud：更新方法标志；fT：新监督数据生成标志；Tin：监督数据输入部；Tout：监督数据输出部；v：运行速度；S：板形状状态量；O：操作机器状态量；tband：提取时间宽度；V：形状评价值；Tv：操作结果评价值；THT：新监督数据生成形状评价值条件；THO：新监督数据生成操作量条件。

Claims (10)

1.一种监督数据生成装置，其对设备运行实绩数据进行分析，生成在进行上述设备控制的人工智能的学习中使用的监督数据，上述设备运行实绩数据包含与根据关于设备的状态对上述设备进行操作的设备控制有关的状态量和控制机构的操作量，其特征在于，

上述监督数据生成装置具有：

新监督数据提取装置，其根据上述设备运行实绩数据，计算与从预定的开始时刻起在预定的提取时间宽度的期间进行的操作相对应的结果的评价值，使用上述评价值来判断是否能够生成监督数据，在判断为能够生成上述监督数据时，提取包含根据上述开始时刻的上述状态量计算出的监督数据的输入部和根据从上述开始时刻起在预定的提取时间宽度的期间中的上述操作量计算出的监督数据的输出部的监督数据；以及

监督数据数据库更新装置，其将由上述新监督数据提取装置提取出的上述监督数据存储到数据库。

2.根据权利要求1所述的监督数据生成装置，其特征在于，

上述监督数据数据库更新装置将预定的监督数据保管最大数设为上限而将上述监督数据存储到上述数据库。

3.根据权利要求2所述的监督数据生成装置，其特征在于，

上述监督数据数据库更新装置在上述数据库内的监督数据的个数达到上述监督数据保管最大数的情况下，从将上述数据库内的监督数据与由上述新监督数据提取装置新提取出的一个监督数据进行组合而得到的监督数据集合中确定与其它的监督数据之间的输入部相互之间的距离最短的两个监督数据，这两个监督数据中去除上述评价值较差的数据，将剩余的监督数据存储到上述数据库。

4.根据权利要求3所述的监督数据生成装置，其特征在于，

上述监督数据数据库更新装置以针对与上述其它监督数据之间的输入部相互之间的距离而优先剩余与上述输入部的目标值之间的距离小的监督数据的方式进行加权，确定加权后的上述距离最短的两个监督数据。

5.根据权利要求1所述的监督数据生成装置，其特征在于，

上述提取时间宽度为根据操作时间来决定的时间宽度，该操作时间使用对每个上述控制机构设定的基准操作量和上述控制机构的动作速度计算出。

6.根据权利要求1所述的监督数据生成装置，其特征在于，

上述设备为轧制机，

上述状态量为由设置于上述轧制机的形状检测器检测的板形状状态量，

上述操作量为设置于上述轧制机的形状控制机构的操作量。

7.根据权利要求6所述的监督数据生成装置，其特征在于，

上述新监督数据提取装置使用上述设备运行实绩数据中的上述轧制机的运行速度为预定速度以上时的数据来生成上述监督数据。

8.根据权利要求1所述的监督数据生成装置，其特征在于，

上述新监督数据提取装置在上述评价值为预定的评价阈值以上时，判断为能够生成上述监督数据。

9.根据权利要求1所述的监督数据生成装置，其特征在于，

上述新监督数据提取装置在上述评价值为预定的评价阈值以上且上述操作量为预定的操作阈值以上时，判断为能够生成监督数据。

10.一种监督数据生成方法，其对设备运行实绩数据进行分析，生成在进行上述设备控制的人工智能的学习中使用的监督数据，上述设备运行实绩数据包含与根据关于设备的状态对上述设备进行操作的设备控制有关的状态量和控制机构的操作量，其特征在于，

根据上述设备运行实绩数据，计算与从预定的开始时刻起在预定的提取时间宽度的期间进行的操作相对应的结果的评价值，

使用上述评价值来判断是否能够生成监督数据，

在判断为能够生成上述监督数据时，提取包含根据上述开始时刻的上述状态量计算出的监督数据的输入部和根据从上述开始时刻起在预定的提取时间宽度的期间中的上述操作量计算出的监督数据的输出部的监督数据，

将提取出的上述监督数据存储到数据库。