CN113168589B - 数据生成装置、预测器学习装置、数据生成方法和学习方法 - Google Patents
数据生成装置、预测器学习装置、数据生成方法和学习方法 Download PDFInfo
- Publication number
- CN113168589B CN113168589B CN201980078575.6A CN201980078575A CN113168589B CN 113168589 B CN113168589 B CN 113168589B CN 201980078575 A CN201980078575 A CN 201980078575A CN 113168589 B CN113168589 B CN 113168589B
- Authority
- CN
- China
- Prior art keywords
- disturbance
- data
- data set
- training data
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000012549 training Methods 0.000 claims abstract description 114
- 238000009826 distribution Methods 0.000 claims abstract description 57
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 230000008439 repair process Effects 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000010485 coping Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 16
- 238000013523 data management Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000011157 data evaluation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种生成数据集合的数据生成装置，其包括：扰动生成部，其基于训练数据集合的各元素的输入和关于所述训练数据集合的信息这两者中的至少一者，来生成用于使所述元素变形的扰动集合；伪数据合成部，其根据所述训练数据集合和所述扰动集合，来生成与所述训练数据集合不同的新的伪数据集合；评价部，其计算所述训练数据集合和所述伪数据集合的分布间距离或关于其的推算量，以及从所述扰动集合得到的伪数据相对于训练数据的扰动的大小；和参数更新部，其更新所述扰动生成部生成所述扰动集合时所使用的参数，以使所述训练数据集合与所述伪数据集合的分布间距离相接近，使扰动的大小或期待值成为预定的目标值。
Description
本申请主张平成31年(2019年)1月10日申请的日本申请即特愿2019-2436的优先权，通过参照其内容，编入本申请。
技术领域
本发明涉及生成机器学习中使用的数据的数据生成装置。
背景技术
目前，应用了机器学习的系统、服务正在普及。例如，许多企业通过运用装置、设备、车辆等多种多样的物理的资产(asset)，来进行经济活动。这些资产由于电气的或机械的原因而有时不正常或发生故障。因此，适当通过预测的或应对措施即零件及消耗品的更换、单元的更换及修缮等而在运用上不会产生大的故障是重要的。但是，由于资产的复杂化、以及熟练的保养员或修理工的短缺等，有时无法采取适当的措施。因此，正在研究一种系统，其通过基于过去的运转实绩及修理历史等信息来推荐适当的措施，补充保养员或操作员的作业，能够实现资产稳定地运转。
在上述的应用了机器学习的系统及服务中，预测器是根据关于输入及输出的训练数据集合，基于学习其输入输出的关系性的被称为监督学习或半监督学习的框架来构建的。该预测器对于训练数据集合中未包含的数据要求高的预测性能(通用性能)。因此，目前提出了以神经网络为代表的预测器的各种模型。
另一方面，作为另一种方法，有通过使将训练数据集合适当地变形或变换而得到的伪数据集合与原始的训练数据集合一起用于学习，以实现通用性能提高的方法。将这种伪数据生成称为数据扩充。例如，通常来说，如果为图像，则可以通过对训练数据集合进行旋转、扩大、缩小、移动等变形来扩充数据。然而，就上述的运转实绩及修理历史等在产业上处理的大多数据而言，如图像那种有效起作用的启发式的数据扩充方法不清楚的情况也有很多。因此，采用通过将根据参数的分布的标本和原始的训练数据集合混合来扩充数据的方法。例如，通过将遵循小的标准偏差的正态分布的标本的元素添加到原始数据的元素中，能够进行数据扩充。然而，在数据扩充后的训练数据集合的分布与原始的训练数据集合的分布大不相同的情况下，性能有时降低。
作为本技术领域的背景技术，有以下的现有技术。在日本特开2006-343124号中，作为根据传感器响应来推算化学物质浓度的技术，公开了以下技术，即：“掌握化学数据的插值误差作为随机变量，推算插值误差的概率密度函数。通过反复多次生成遵循插值误差的推算概率密度函数的伪随机数矢量，并将伪插值误差矢量与从插值曲面上的矢量随机选出的矢量相加而生成新的数据矢量，生成反映了插值曲面及插值误差的特征的多个数据矢量即伪数据。使神经网络学习伪数据。将传感器应用于未知的受验试样，测定传感器响应。在学习完成后的神经网络中输入传感器响应，根据神经网络的输出来推算多个化学物质的未知浓度。”。
发明内容
发明要解决的问题
但是，在日本特开2006-343124号中记载的技术中，对输入数据集合相对于输出数据集合的回归模型，进行通过核密度推算法来推算关于误差的分布，并将遵循所推算出的误差分布的标本的元素添加到推算量的操作，因此，与单纯地在输入数据集合的元素中添加从正态分布得到的集合的元素的方法相比，虽然实现了复杂的数据扩充，但是有时生成与原始的输入数据集合的分布大不相同的伪数据集合。特别是，在存在输入数据相对于输出数据成为一对一的部位(单峰的部位)和成为一对多的部位(多峰的部位)的情况下，在上述技术中，基于相同的分布进行变形，因此，在一对一的部位，在应施加小的变形的部位进行较大的变形，在一对多的部位，在应施加大的变形的部位，进行较小的变形，从而有可能成为与原始的分布大不相同的伪数据集合。另外，核密度推算法存在相对于训练数据需要选择多种核和核参数(如果为高斯核，则为带宽)等的应选择的要素多的这一问题。
本发明是鉴于上述问题而开发的，其目的在于，提供一种生成与原始的分布没有大的差异且与训练数据不同的伪数据集合的方法。
用于解决问题的技术方案
本申请中公开的发明的代表的一例如下述。即，一种数据生成装置，其生成数据集合，其特征在于，包括：扰动生成部，其基于训练数据集合的各元素的输入和关于所述训练数据集合的信息这两者中的至少一者，来生成用于使所述元素变形的扰动集合；伪数据合成部，其根据所述训练数据集合和所述扰动集合，来生成与所述训练数据集合不同的新的伪数据集合；评价部，其计算所述训练数据集合和所述伪数据集合的分布间距离或关于其的推算量，以及从所述扰动集合得到的伪数据相对于训练数据的扰动的大小；和参数更新部，其更新所述扰动生成部生成所述扰动集合时所使用的参数，以使所述训练数据集合与所述伪数据集合的分布间距离相接近，使扰动的大小或期待值成为预定的目标值。
发明效果
根据本发明的一方式，能够生成可取得分布间距离和扰动大小的平衡的、在目标扰动量以上不会与训练数据的分布不同的伪数据。通过以下的实施例的说明来明确上述以外的问题、结构及效果。
附图说明
图1是表示本实施例的推荐系统的结构的图。
图2是表示本实施例的数据生成及预测器学习部的操作的图。
图3是表示构成本实施例的推荐系统的计算机的硬件结构的图。
图4是表示本实施例的实绩数据的一例的图。
图5是表示本实施例的修理作业数据的一例的图。
图6是表示本实施例的训练数据集合的一例的图。
图7是本实施例中的建模阶段的处理的流程图。
图8是本实施例中的建模阶段的学习处理的流程图。
图9是本实施例中的推荐处理的流程图。
图10是表示本实施例的训练数据选择画面的图。
图11是表示本实施例的伪数据确认画面的图。
具体实施方式
以下，适当参照附图，对用于实施本发明的代表的方式进行说明。
＜概述＞
本发明涉及基于数据的机器学习装置，特别是涉及基于已知的数据生成其他伪数据，并运用其学习保持高的通用性能的预测器的装置。在本实施例中，对在上述的资产不正常或成为故障的情况下，基于资产的运转实绩、修理历史等信息来推荐适当的措施的推荐系统中所使用的与预测器的学习相关的数据生成及预测器学习装置的概略进行说明。
首先，参照图1对推荐系统整体的处理的流程进行说明。首先，说明从运转实绩、修理历史的收集到预测器学习的流程(称为建模阶段)。推荐系统11从资产13、且经由资产13从操作员16、并且经由修理工终端14从修理工17，收集运转实绩、不良情况状况、修理历史等，并且对将收集到的信息结合而得的实绩数据进行收集。在此，实绩数据是例如资产13的运转时间、来自安装于资产13的传感器的信息、操作员16输入的不良情况状况(例如，杂音的产生)、对资产13实施的修理作业的信息等。接着，管理者15经由管理终端12选择推荐系统11收集的实绩数据中的用于数据生成及预测器的学习的数据。推荐系统11根据该选择提取数据，并将提取的数据作为训练数据向数据生成及预测器学习装置10发送。数据生成及预测器学习装置10使用接收到的训练数据生成数据，制作学习完成后的模型。而且，数据生成及预测器学习装置10将学习后的模型(学习完成后的模型)送回推荐系统。
接着，对修理内容的推荐的流程(称为推荐阶段)进行说明。推荐系统11从资产13、且经由资产13从操作员16、并且经由修理工终端14从修理工17收集除修理作业的信息以外的实绩数据。接着，推荐系统11根据上述的学习完成后的模型和除上述修理作业的信息以外的实绩数据，计算所推荐的一个或多个修理作业。然后，将其结果经由修理工终端14提示给修理工17。
接着，对数据生成及预测器学习装置10的处理的概略进行说明。数据生成及预测器学习装置10接收训练数据，制作学习完成后的模型。在该过程中，为了构建拥有高的通用性能的预测器，基于深度学习(Deep Learning)的一种，即GAN(Generative AdversarialNetworks，生成式对抗网络)的框架，学习数据生成、数据评价、预测器的三个构成要素。此时，通常的GAN中直接生成伪数据，但在本实施例中，暂且生成扰动，并将所生成的扰动添加到原始的训练数据中，来生成伪数据。
其结果，能够追加相对于扰动的目标函数并学习，制作学习完成后的模型。特别是，在本实施例中，以小批量学习为前提，给予与数据生成相关的限制，以使在其小批量内的扰动的总和成为恒定。由此，能够实现使伪数据在分布间距离的观点上接近训练数据和伪数据从训练数据变形的平衡。其结果，伪数据与以正态分布等扰动的情况不同，例如当稍微移动时，训练数据不会成为不可能的变数，并且，几乎不会使训练数据的元素变形，因此，能够抑制数据扩充导致的性能劣化。此时，数据扩充的程度能够通过改变上述的常数来控制。
另一方面，预测器的简单的学习方法是指，将在训练数据中混合了伪数据的数据作为新的训练数据集来学习。除此以外，因为获得对训练数据的某个元素给予扰动的伪数据，所以如果将它们看作无标签的数据，则可以应用半监督学习的各种手法。例如，通过添加使输入于神经网络时的中间层的输出一致的处理(本说明书中参考ImprovedTechniques for Training GANs(训练GANs的改进技术)中的表达，称为特征匹配)，能够获得通用性能更高的预测器。
另外，通过使用上述的特征匹配、共用数据评价和预测器的一部分或全部的神经网络的Tiple GAN等方法来使预测器参加GAN的敌对的学习等方法，能够有效利用无标签的训练数据。此外，在本实施例中，以始终使用GAN的数据生成为前提进行说明，但也可以使用其他方法。
＜系统构成＞
参照图1对本实施例的系统构成进行说明。本实施例的系统具有数据生成及预测器学习装置10、推荐系统11、管理者15所操作的管理终端12、操作员16所操作的资产13、修理工17所操作的修理工终端14。这些系统的构成要素通过网络18相互连接。网络18本身可以由LAN(Local Area Network)或WAN(Wide Area Network)等构成。此外，上述的系统构成为一例，构成要素不限于图示。例如，数据生成及预测器学习装置10和推荐系统11可以构成为一个装置，也可以将用于分散处理的预测器学习装置10划分成多个而构成。
接着，参照图2对数据生成及预测器学习部101的详情进行说明。数据生成及预测器学习部101包括扰动生成部1011、伪数据合成部1012、评价部1013、预测部1014和参数更新部1015。
此外，由数据生成及预测器学习部101中的扰动生成部1011、伪数据合成部1012、评价部1013、参数更新部1015构成数据生成装置，由预测部1014和参数更新部1015构成预测器学习装置。
＜功能和硬件＞
接着，参照图1和图3对功能和硬件的对应进行说明。
数据生成及预测器学习装置10所具有的数据生成及预测器学习部101、前处理部102、学习用数据管理部103通过CPU(Central Processing Unit)1H101在RAM(Read AccessMemory)1H103中读入存储于ROM(Read Only Memory)1H102或外部存储装置1H104中的程序，并控制通信I/F(Interface)1H105、鼠标及键盘等输入装置1H106、可视数据终端等输出装置1H107来实现。
推荐系统11所具有的推荐部111、数据管理部112、集散部113通过CPU(CentralProcessing Unit)1H101在RAM(Read Access Memory)1H103中读入存储于ROM(Read OnlyMemory)1H102或外部存储装置1H104中的程序，并控制通信I/F(Interface)1H105、鼠标及键盘等输入装置1H106、可视数据终端等输出装置1H107来实现。
管理终端12所具有的操作部121通过CPU(Central Processing Unit)1H101在RAM(Read Access Memory)1H103中读入存储于ROM(Read Only Memory)1H102或外部存储装置1H104中的程序，并控制通信I/F(Interface)1H105、鼠标及键盘等输入装置1H106、可视数据终端等输出装置1H107来实现。
也可以通过由硬件构成的运算装置(ASIC、FPGA等)执行CPU1H101执行的处理的一部分或全部。
CPU1H101执行的程序经由可移动介质(CD－ROM、闪光存储器等)或网络提供给数据生成及预测器学习装置10、推荐系统11及管理终端12，并存储于作为非临时性存储介质的非易失性的存储装置。因此，计算机系统也可以具有从可移动介质读入数据的接口。
数据生成及预测器学习装置10、推荐系统11及管理终端12各自为物理上在一个计算机上、或者在逻辑或物理上构成的多个计算机上构成的计算机系统，也可以在构建于多个物理的计算机资源上的虚拟计算机上动作。
＜数据构造＞
接着，参照图4，对推荐系统11的数据管理部112所管理的实绩数据1D1进行说明。实绩数据1D1是指：从资产13、且经由资产13从操作员16、并且经由修理工终端14从修理工17，收集运转实绩、不良情况和修理历史等，使所收集的数据结合，在资产的每次修理时汇总而得的数据。实绩数据1D1包含：用于特定修理单位的修理ID 1D101、实施修理的日期和时间1D102、自资产的设置及检修起的运转时间1D103、运转时的平均温度1D104、运转时的振动等级1D105、不良情况状况1D106、用于特定所实施的修理作业的修理作业ID 1D107。修理作业ID如后述，与实施了的作业内容及更换零件等相关联。
此外，在本实施例中，实绩数据1D1包含上述的项目，但也可以包含与资产相关的其他数据，还可以包含上述项目中的一部分的项目。
接着，参照图5对推荐系统11的数据管理部112所管理的修理作业数据1D2进行说明。修理作业数据1D2包含：特定修理作业的修理作业ID 1D201、作业内容1D202、更换零件1D203～1D205。此外，在图5所示的例中，更换零件记录至最大三个，但更换零件的记录数可以比3大也可以比其小。另外，修理作业数据1D2除作业内容及更换零件以外，也可以包含与修理作业相关的信息，例如所使用的工具及消耗品等的信息。
接着，参照图6对数据生成及预测器学习装置10的学习用数据管理部103所管理的训练数据集合1D3进行说明。训练数据集合1D3是前处理部102对基于管理者15的指定而选定的实绩数据1D1的日期时间1D102及运转时间1D103等实施前处理而得的数据，包含：用于识别数据的编号1D301、实绩数据被数值化后的成为预测器的输入的输入1～输入1000(1D302-1～1D302-1000)；和与修理作业ID对应的成为预测器的输出的输出y1D303。此外，在本实施例中，输入为1000个，但输入数据的数量可以比1000多也可以比其少。
＜处理流程＞
接着，参照图7、图8，对本实施例中的建模阶段的处理进行说明。
参照图7对整体的流程进行说明。首先，推荐系统11的集散部113从资产13及修理工终端14收集实绩数据1D1，并蓄积于数据管理部112(步骤1F101)。
接着，管理终端12的操作部121从管理者15接收从实绩数据1D1用于数据生成及预测器学习的数据的条件(期间)和扰动参数探索范围。而且，集散部113根据所接收的探索条件，从数据管理部112选择符合条件的实绩数据1D1，并与扰动参数探索范围一起存储于数据生成及预测器学习装置10的学习用数据管理部103(步骤1F102)。此外，扰动参数探索范围为后述的式(5)的γ的范围。
接着，数据生成及预测器学习装置10的前处理部102对存储于学习用数据管理部103中的完成选择的实绩数据1D1实施字符串、分类变量的数值化、量的变量的标准化、正规化等前处理，生成训练数据集合1D3，并存储于学习用数据管理部103(步骤1F103)。
接着，数据生成及预测器学习装置10的数据生成及预测器学习部101基于训练数据集合1D3执行与数据生成及预测相关的学习处理，并将所制作的模型(称为学习完成后的模型)存储于学习用数据管理部103(步骤1F104)。此外，参照图8对学习处理进行详细叙述。
接着，数据生成及预测器学习装置10的学习用数据管理部103将所制作的模型分发(存储复制)到推荐系统11的数据管理部112(步骤1F105)。
最后，管理终端12的操作部121将通过学习完成后的模型而生成的伪数据集合、训练数据集合与伪数据集合的分布间距离等提示给管理者15，从而结束处理。管理者15根据这种提示信息变更后述的学习参数，或能够判断是采用新学习的学习完成后的模型还是继续利用现有的模型。
接着，参照图8，对本实施例中的学习处理进行详细说明。此外，在本实施例中，表示使用作为GAN之一的Wasserstein GAN(Generative Adversarial Networks)的方式。首先，对记号和与其相关的条件进行说明。此外，也可以不使用Wasserstein GAN，而使用Triple GAN等其他的GAN的方法，也可以对分布间距离及与其相关的量使用MMD(MaximumMean Discrepancy)等其他方法。另外，对于实际上指定的扰动参数探索范围，可以通过对γ的指定范围进行10等分来进行线性搜索等，从而进行囊括性探索，并选择通用性能最高的学习完成后的模型作为最终的学习完成后的模型，以下，为了便于说明，对γ为0.2时的处理的流程进行说明。此外，后述的其他参数也可以与γ同样地探索。
将与训练数据集合1D3的输入相关的集合记为X，将该集合的元素x所模仿的分布记为Pr。另外，将伪数据集合记为Xg，将该集合的元素xg所模仿的分布记为Pg。将Pr和Pg的Wasserstein距离记为W(Pr、Pg)。此时，W(Pr、Pg)由式(1)来表示。
【式(1)】
式(1)中，||fw||≤1表示函数fw为利普希茨连续(Lipschitz continuity)。另外，E[·]表示期待值。另外，函数fw由神经网络构成，w为其神经网络的参数。
xg是对x加上扰动Δx而得到的，满足以下关系。
【式(2)】
xg＝x+Ax＝x+gθ(x、z)
该扰动Δx遵循带x和噪声z的条件的概率分布Pp(Δx|x、z)。在此，噪声z遵循正态分布及均匀分布。另外，gθ为根据某x和z生成遵循Pp的扰动Δx的函数。此外，函数gθ由神经网络构成，θ为该神经网络的参数。
接着，将相对于输入x计算输出的推算值yp的函数记为此外，函数/>由神经网络构成，/>为该神经网络的参数。使用上述的记号对处理进行说明。
首先，数据生成及预测器学习部101的扰动生成部1011从训练数据集合中提取采样的部分集合X＝{xm：m＝1、2、3、……M}(小批量集合，在本实施例中设为M＝100，但也可以为其他值)，从正态分布中采样尺寸M的集合Z，将函数gθ应用于它们，生成扰动集合ΔX(步骤1F201)。
接着，伪数据合成部1012通过获取上述X和ΔX的各元素之和，生成伪数据集合Xg＝{xgm：m＝1、2、3、……M}(步骤1F202)。
接着，评价部1013将函数fw应用于上述Xg，通过下式，获得作为分布间距离的一种的Wasserstein距离的推算量Wasserstein～作为评价数据之一(步骤1F203)。
【式(3)】
接着，数据生成及预测器学习部101的预测部1014将函数应用于上述X和Xg，生成与X相关的预测数据集合Y'＝{y'm、c：m＝1、2、3、……M}和与Xg相关的预测输出Y'g＝{yg'm、c：m＝1、2、3、……M}(步骤1F204)。在此，c表示类别的索引，在本实施例中，与修理作业ID对应。
接着，数据生成及预测器学习部101的参数更新部1015在将由数式(3)表示的推算量Wasserstein～进行最大化的方向上通过逆误差传播法更新参数w。同样，在将由数式(4)表示的函数Cross Entorpy Loss进行最小化的方向上通过逆误差传播法更新参数(步骤1F205)。数式(4)的第一项及第二项表示交叉熵。在此，ym、c与上述同样，为与X对应的训练数据的输出数据集合Y＝{ym、c：m＝1、2、3、……M}的元素，索引与y'm、c、yg'm、c相同。另外，α为调整衍生自训练数据集合的参数更新和衍生自伪数据集合的参数更新的平衡的参数，在本实施例中，设为0.5，但也可以为其他值。此外，数式(4)的第三项给予使给予扰动的网络的内部状态(中间层的输出)接近的限制。在此，/> c及ugp m、c分别为最终层(输出层)之前的中间层相对于训练数据集合和伪数据集合的输入的输出。β为调整该限制的影响的参数，在本实施例中设为0.5，但也可以为其他值。通过第三项，与仅使用数据扩充的数据进行学习相比，能够获得具有高的通用性能的模型。此外，在执行该步骤中的逆误差传播法时，扰动生成部1011也可以不更新参数θ。
【式(4)】
接着，数据生成及预测器学习部101的扰动生成部1011按与步骤1F201相同的步骤，生成扰动集合(步骤1F206)。
接着，数据生成及预测器学习部101的伪数据合成部1012按与步骤1F202相同的步骤，生成伪数据集合(步骤1F207)。
接着，数据生成及预测器学习部101的评价部1013将函数fw应用于上述Xg，通过数式(5)得到与函数gθ相关的损失Adversarial作为评价数据的另一个(步骤1F208)。在此，为gθ(xm、z)＝Δxm＝xgm－xm。另外，数式(5)的第一项为通常的Wasserstein GAN的产生器的损失函数所具有的项，使伪数据集合和训练数据集合的分布间距离接近。另一方面，第二项为本发明中所采用的项，以小批量内的扰动的大小(绝对值的总和)成为一定值γ·M的方式给予限制。即，限制扰动的大小的期待值。其结果，在训练数据和伪数据中产生差异。通过这些两个项的作用，能够生成作为本发明的目的的与原始的分布没有大的不同，但与输入数据不同的伪数据集合。这种伪数据集合不会与元素的分布完全不同，而能够抑制数据扩充导致的通用性能的降低，能够生成可以利用原始的数据的标签等的实用性好的伪数据。此外，通过λ，能够控制最终生成多少与原始的训练数据大不相同的伪数据。在本实施例中，λ设为1.0，但也可以为其他值。此外，如上述，γ设为0.2。另外，使用绝对值的总和作为扰动的大小，但也可以使用L2标准等其他大小的指标。
【式(5)】
接着，数据生成及预测器学习部101的参数更新部1015在将由数式(5)表示的Generator Loss进行最小化的方向上通过逆误差传播法更新参数θ(步骤1F209)。
接着，数据生成及预测器学习部101的参数更新部1015确认是否满足结束条件。在本实施例中，在将参数更新了规定次数(例如10000次)时，满足结束条件。在不满足结束条件的情况下，返回步骤1F201，继续处理。另一方面，在满足结束条件的情况下，结束模型的学习的处理(步骤1F210)。此外，作为结束条件，也可以在由数式(4)表示的所谓的损失函数的大小没有减少的时刻判定为结束。
另外，扰动生成部1011使用与训练数据集合的输入相关的部分集合X和从正态分布采样的集合Z，生成扰动集合ΔX，但也可以将与训练数据集合的输出相关的部分集合添加到输入中。由此，由于考虑了输出的分布，因此，能够生成更妥当的伪数据作为输入和输出的结合分布。
另外，也可以将与训练数据集合的输入相关的k近邻密度推算等概率密度函数的推算量添加到输入中。由此，能够使扰动生成部1011的学习高速化且稳定化。
另外，在以上记载中，对不假设特定的分布构造而生成扰动的方法进行了说明，但也可以在扰动中假设特定的分布构造(例如，表示扰动集合的事后分布的正态分布构造等参数的分布的参量)。该情况下。如果该分布的参数，例如平均为0的正态分布，则能够将分散设为数据生成的对象。通过低密度的部分处的扰动，能够提高预测性能，能够使扰动生成部1011的学习高速化且稳定化。
另外，在将目标扰动量从小的值变更成大的值的情况下，能够通过与目标扰动量的变化相应地在通用性能开始下降之前停止的线形探索，来获得良好的扰动量。
另外，在本实施例中，在伪数据和扰动前的数据中能够共用标签，因此，能够使将两个数据输入于预测器时的中间层的输出接近，能够进行利用上述特征匹配的学习。
另外，本实施例的训练数据集合带标签，但在包含一部分没有标签的数据的情况下，即使关于没有标签的数据，也能够通过与有标签的数据相同的步骤来学习利用参数θ(扰动生成部1011)、参数w(评价部1013)，并且，关于数式(4)的第三项，通过与有标签的数据相同的步骤的学习，通过利用参数θ(预测部1014)，能够进行半监督学习。此外，如上述的Tripe GAN，也可以定义目标函数来进行半监督学习，以使预测器参加到敌对的学习中。
接着，参照图9对推荐处理的流程进行说明。
首先，推荐系统11的集散部113对于修理前(将来成为修理对象)的资产13，从资产13及修理工终端14收集修理作业ID未记载(None)的实绩数据1D1(步骤1F301)。
接着，推荐系统11的推荐部111在实施了与数据生成及预测器学习装置10的前处理部102同样的前处理之后，使用学习完成后的模型，生成修理作业ID的预测值(称为推荐)(步骤1F302)。
接着，推荐系统11的推荐部111及集散部113将推荐发送到资产13及修理工终端14(步骤1F203)。
最后，资产13将推荐提示给操作员16，修理工终端14将推荐提示给修理工17，从而结束处理(步骤1F204)。
如以上所说明，推荐系统11通过从资产13及修理工终端14收集适当信息，并提示修理的推荐，能够快速应对不合适及故障。此外，在本实施例中，示出了推荐系统11能动地生成推荐并进行提示的方式，但也可以执行根据操作员16及修理工17的要求生成推荐并进行提示的处理。
＜用户接口＞
接着，参照图10，说明管理者15为了选择数据生成及预测器学习中所使用的实绩数据1D1而使用的训练数据选择画面1G1。训练数据选择画面1G1显示在管理终端12的操作部121上。
训练数据选择画面1G1包含期间开始日设定框1G101、期间结束日设定框1G102、扰动参数探索范围下限设定框1G103、扰动参数探索范围上限设定框1G104、设定按钮1G105。
通过在期间开始日设定框1G101指定开始日，在期间结束日设定框1G102指定结束日，选择从开始日到结束日的期间的实绩数据1D1作为训练数据。
通过在扰动参数探索范围下限设定框1G103设定扰动参数探索范围的下限，在扰动参数探索范围上限设定框1G104设定扰动参数探索范围的上限，可以改变扰动的总量，学习最好的模型。此外，如图示，也可以设置用于设定扰动参数的设定框，而不是设定扰动参数探索范围的下限及上限。
如果操作(例如，单击)设定按钮1G105，则上述的学习所使用的实绩数据1D1的期间和扰动参数探索范围存储于数据生成及预测器学习装置10的学习用数据管理部103。
接着，参照图11，说明管理者15为了目视确认通过学习完成后的模型生成的伪数据而使用的伪数据确认画面1G2。伪数据确认画面1G2显示在管理终端12的操作部121上。
伪数据确认画面1G2包含X轴分量指定表格框1G201、Y轴分量指定表格框1G202、比较视图1G203、分布间距离框1G204。
在X轴分量指定表格框1G201设定分配至比较视图1G203的X轴的预处理结束的训练数据1D3的输入(例如输入1)。同样，在Y轴分量指定表格框1G202设定分配至比较视图1G203的Y轴的预处理结束的训练数据1D3的输入(例如输入3)。其结果，与所设定的两个输入相关的预处理结束的训练数据1D3(图中原始数据)和所生成的伪数据作为散点图显示在比较视图1G203上。管理者15通过观察比较视图1G203，能够通过目视确认出所输入的数据以何种方式扩充。这能够用来判断例如在少数的数据较分散的部位是否应追加收集数据。
另一方面，在分布间距离框1G204上显示通过MMD算出的与全输入相关的分布间距离。这为了确认伪数据与原始的预处理结束的训练数据1D3不同的程度而使用。在此，也可以使用评价部1013的评价结果，但由于通过学习条件学习的Wasserstein距离的推算量不同，因此，在本实施例中使用MMD。
如以上说明，根据本发明的实施例，参数更新部1015更新扰动生成部1011生成扰动集合时所使用的参数，以使训练数据集合和伪数据集合的分布间距离接近，且使扰动的大小或期待值成为预定的目标值，因此，能够在考虑了所给予的训练数据集合的各元素的特征的基础上，作为伪数据整体，对训练数据集合加入使分布间距离或关于该分布间距离的推算量变小的扰动，从而能够生成不会在目标扰动量以上与训练数据的分布不同的伪数据。
另外，扰动生成部1011基于与训练数据集合的各元素的输入或训练数据集合相关的信息、以及训练数据集合的各元素的输出或关于该输出的信息，来生成扰动集合，因此，在分布间距离和扰动的大小的平衡的观点上，作为考虑了输出的分布的输入和输出的结合分布，能够生成更妥当的伪数据。
另外，扰动生成部1011除与上述训练数据集合的各元素的输入或关于上述训练数据集合的信息之外，还基于与上述训练数据集合的输入相关的概率密度函数(例如k近邻密度推算)的推算量，来生成扰动集合，因此，能够使扰动生成部1011的学习高速化且稳定化。
另外，扰动生成部1011通过生成表示扰动集合的事后分布的参数的分布(例如正态分布)的参量，来生成扰动集合，因此，通过低密度的部分处的扰动，能够提高预测性能，能够使学习高速化且稳定化。
另外，扰动生成部1011生成可输入所使用的参数值或其范围的接口画面的显示数据(训练数据选择画面1G1)，所以能够改变扰动量来赋予用于学习最好的模型的条件。
另外，因为生成训练数据集合的各元素和伪数据集合的各元素所表示的散点图的显示数据，所以能够确认所输入的数据以何种方式扩充。
另外，预测部1014使用上述数据生成装置所生成的伪数据及训练数据进行学习，因此，能够提高预测性能，能够使学习高速化且稳定化。
另外，预测部1014由神经网络构成，追加可以使在输入训练数据时和输入伪数据时的内部状态之差变小的目标函数(例如数式(4)的第三项)，因此能够获得具有更高的通用性能的模型。此外，也可以为可以使从某个训练数据生成的两个伪数据的内部状态之差变小的目标函数。
此外，本发明不限定于上述的实施例，包含附加的权利要求书的宗旨内的各种变形例及同等的构成。例如，上述实施例是为了容易理解本发明的说明而详细说明的内容，本发明未必限定于具有所说明的全部结构的内容。另外，也可以将某个实施例的结构的一部分替换为其他实施例的结构。另外，也可以在某个实施例的结构中添加其他实施例的结构。另外，也可以对各实施例的结构的一部分进行其他结构的追加、删除、替换。
另外，上述各结构、功能、处理部、处理方法等可以例如通过由集成电路设计等，由硬件实现它们的一部分或全部，也可以通过处理器解释实现各个功能的程序并执行，由软件来实现。
实现各功能的程序、目录、文件夹等信息能够存储于存储器、硬盘、SSD(SolidState Drive)等存储装置、或IC卡、SD卡、DVD等记录介质。
另外，控制线及信息线表示认为在说明上所需要的，不局限于表示在安装上所需的全部的控制线及信息线。实际上，可以认为几乎全部的结构相互连接。
Claims (13)
1.一种预测器学习装置，其是在推荐系统中使用的，所述推荐系统基于包含资产的运转实绩、修理历史的实绩数据，来推荐用于应对所述资产的不正常或故障的措施，所述预测器学习装置的特征在于：
包括预测部，其根据未包含于训练数据集合中的数据的输入来预测输出，其中，所述训练数据集合是由所述推荐系统收集的所述实绩数据中的用于数据生成及预测器的学习的训练数据的集合，
所述推荐系统根据所述预测部的所述输出来推荐所述措施，
所述预测部使用由数据生成装置生成的伪数据和所述训练数据来进行学习，
所述数据生成装置包括：
扰动生成部，其基于所述训练数据集合的各元素的输入和关于所述训练数据集合的信息这两者中的至少一者，来生成用于使所述元素变形的扰动集合；
伪数据合成部，其根据所述训练数据集合和所述扰动集合，来生成与所述训练数据集合不同的新的伪数据集合；
评价部，其计算所述训练数据集合和所述伪数据集合的分布间距离，以及从所述扰动集合得到的伪数据相对于训练数据的扰动的大小；和
参数更新部，其更新所述扰动生成部生成所述扰动集合时所使用的参数，以使所述训练数据集合与所述伪数据集合的分布间距离相接近，使扰动的大小或期待值成为预定的目标值。
2.根据权利要求1所述的预测器学习装置，其特征在于：
所述扰动生成部，除所述训练数据集合的各元素的输入或关于所述训练数据集合的信息之外，还基于所述训练数据集合的各元素的输出或关于该输出的信息，来生成所述扰动集合。
3.根据权利要求1所述的预测器学习装置，其特征在于：
所述扰动生成部，除所述训练数据集合的各元素的输入或关于所述训练数据集合的信息之外，还基于与所述训练数据集合的输入相关的概率密度函数的推算量，来生成所述扰动集合。
4.根据权利要求1所述的预测器学习装置，其特征在于：
所述扰动生成部，通过生成表示所述扰动集合的事后分布的参数分布的参量，来生成所述扰动集合。
5.根据权利要求1所述的预测器学习装置，其特征在于：
生成可输入所述扰动生成部所使用的参数值或其范围的接口画面的显示数据。
6.根据权利要求1所述的预测器学习装置，其特征在于：
生成表示了所述训练数据集合的各元素和所述伪数据集合的各元素的散点图的显示数据。
7.根据权利要求1所述的预测器学习装置，其特征在于：
所述预测部由神经网络构成，
追加可以使输入所述训练数据时和输入所述伪数据时的内部状态之差，或者从所述训练数据生成的两个伪数据的内部状态之差变小的目标函数。
8.一种计算机对数据集合进行学习的学习方法，其是在推荐系统中使用的，所述推荐系统基于包含资产的运转实绩、修理历史的实绩数据，来推荐用于应对所述资产的不正常或故障的措施，所述学习方法的特征在于：
所述计算机具有执行运算处理的运算装置和所述运算装置可访问的存储装置，
所述运算装置使用由数据生成方法来生成的伪数据和由所述推荐系统收集的所述实绩数据中的用于数据生成及预测器的学习的训练数据，来执行预测部中的学习，其中，所述预测部根据未包含于所述训练数据的集合即训练数据集合中的数据的输入来预测输出，所述推荐系统基于所述预测部的所述输出来推荐所述措施，
所述数据生成方法包含：
扰动生成步骤，所述运算装置基于训练数据集合的各元素的输入和关于所述训练数据集合的信息这两者中的至少一者，来生成用于使所述元素变形的扰动集合；
伪数据合成步骤，所述运算装置根据所述训练数据集合和所述扰动集合，来生成与所述训练数据集合不同的新的伪数据集合；
评价步骤，所述运算装置计算所述训练数据集合和所述伪数据集合的分布间距离，以及从所述扰动集合得到的伪数据相对于训练数据的扰动的大小；和
参数更新步骤，更新在所述扰动生成步骤中生成所述扰动集合时所使用的参数，以使所述训练数据集合与所述伪数据集合的分布间距离相接近，使扰动的大小或期待值成为预定的目标值。
9.根据权利要求8所述的计算机对数据集合进行学习的学习方法，其特征在于：
在所述扰动生成步骤中，所述运算装置除所述训练数据集合的各元素的输入或关于所述训练数据集合的信息之外，还基于所述训练数据集合的各元素的输出或关于该输出的信息，来生成所述扰动集合。
10.根据权利要求8所述的计算机对数据集合进行学习的学习方法，其特征在于：
在所述扰动生成步骤中，所述运算装置通过生成表示所述扰动集合的事后分布的参数分布的参量，来生成所述扰动集合。
11.根据权利要求8所述的计算机对数据集合进行学习的学习方法，其特征在于：
包含所述运算装置生成可输入所述扰动生成步骤中所使用的参数值或其范围的接口画面的显示数据的步骤。
12.根据权利要求8所述的计算机对数据集合进行学习的学习方法，其特征在于：
包含所述运算装置生成表示了所述训练数据集合的各元素和所述伪数据集合的各元素的散点图的显示数据的步骤。
13.根据权利要求8所述的计算机对数据集合进行学习的学习方法，其特征在于：
追加可以使输入所述训练数据时和输入所述伪数据时的内部状态之差，或者从所述训练数据生成的两个伪数据的内部状态之差变小的目标函数。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019002436A JP7073286B2 (ja) | 2019-01-10 | 2019-01-10 | データ生成装置、予測器学習装置、データ生成方法、及び学習方法 |
| JP2019-002436 | 2019-01-10 | ||
| PCT/JP2019/049023 WO2020145039A1 (ja) | 2019-01-10 | 2019-12-13 | データ生成装置、予測器学習装置、データ生成方法、及び学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113168589A CN113168589A (zh) | 2021-07-23 |
| CN113168589B true CN113168589B (zh) | 2024-06-04 |
Family
ID=71521271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980078575.6A Active CN113168589B (zh) | 2019-01-10 | 2019-12-13 | 数据生成装置、预测器学习装置、数据生成方法和学习方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220058485A1 (zh) |
| JP (1) | JP7073286B2 (zh) |
| CN (1) | CN113168589B (zh) |
| WO (1) | WO2020145039A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7438932B2 (ja) | 2020-12-25 | 2024-02-27 | 株式会社日立製作所 | 訓練データセット生成システム、訓練データセット生成方法、およびリペアリコメンドシステム |
| KR20220120052A (ko) * | 2021-02-22 | 2022-08-30 | 삼성전자주식회사 | 데이터를 생성하는 전자 장치 및 그 동작 방법 |
| CN114896024B (zh) * | 2022-03-28 | 2022-11-22 | 同方威视技术股份有限公司 | 基于核密度估计的虚拟机运行状态检测方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009181508A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| CN107403446A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 用于使用智能人工代理的图像配准的方法和系统 |
| CN108197700A (zh) * | 2018-01-12 | 2018-06-22 | 广州视声智能科技有限公司 | 一种生成式对抗网络建模方法及装置 |
| WO2019001418A1 (zh) * | 2017-06-26 | 2019-01-03 | 上海寒武纪信息科技有限公司 | 数据共享系统及其数据共享方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6234060B2 (ja) * | 2013-05-09 | 2017-11-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | ターゲットドメインの学習用音声データの生成方法、生成装置、および生成プログラム |
-
2019
- 2019-01-10 JP JP2019002436A patent/JP7073286B2/ja active Active
- 2019-12-13 CN CN201980078575.6A patent/CN113168589B/zh active Active
- 2019-12-13 WO PCT/JP2019/049023 patent/WO2020145039A1/ja active Application Filing
- 2019-12-13 US US17/414,705 patent/US20220058485A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009181508A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| CN107403446A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 用于使用智能人工代理的图像配准的方法和系统 |
| WO2019001418A1 (zh) * | 2017-06-26 | 2019-01-03 | 上海寒武纪信息科技有限公司 | 数据共享系统及其数据共享方法 |
| CN108197700A (zh) * | 2018-01-12 | 2018-06-22 | 广州视声智能科技有限公司 | 一种生成式对抗网络建模方法及装置 |
Non-Patent Citations (10)
| Title |
|---|
| Ape-gan: Adversarial perturbation elimination with gan;Shen S, et al;arxiv preprint arxiv:1707.05474;20170926;第1-14页 * |
| EEG data augmentation for emotion recognition using a conditional Wasserstein GAN;Luo Y, et al;2018 40th annual international conference of the IEEE engineering in medicine and biology society (EMBC). IEEE;20181028;第2535-2538页 * |
| Improved techniques for training gans;Salimans T, et al;Advances in neural information processing systems;20160610;第1-10页 * |
| Lou H, et al.One-dimensional data augmentation using a Wasserstein generative adversarial network with supervised signal.2018 Chinese Control And Decision Conference (CCDC). IEEE.2018,第1896-1901页. * |
| Luo Y, et al.EEG data augmentation for emotion recognition using a conditional Wasserstein GAN.2018 40th annual international conference of the IEEE engineering in medicine and biology society (EMBC). IEEE.2018,第2535-2538页. * |
| Petzka H, et al.On the regularization of wasserstein gans.arxiv preprint arxiv:1709.08894.2018,第1-24页. * |
| Salimans T, et al.Improved techniques for training gans.Advances in neural information processing systems.2016,第1-10页. * |
| Shen S, et al.Ape-gan: Adversarial perturbation elimination with gan.arxiv preprint arxiv:1707.05474.2017,第1-14页. * |
| 刘芳.基于深度学习的极化SAR图像分类和变化检测.西安电子科技大学.2018,第1-186页. * |
| 基于深度学习的极化SAR图像分类和变化检测;刘芳;西安电子科技大学;20181215;第1-186页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020112967A (ja) | 2020-07-27 |
| WO2020145039A1 (ja) | 2020-07-16 |
| JP7073286B2 (ja) | 2022-05-23 |
| US20220058485A1 (en) | 2022-02-24 |
| CN113168589A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113168589B (zh) | 数据生成装置、预测器学习装置、数据生成方法和学习方法 | |
| Chang et al. | Applying DEA to enhance assessment capability of FMEA | |
| Singal et al. | Estimation of software development effort: A Differential Evolution Approach | |
| JP7242508B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US10963802B1 (en) | Distributed decision variable tuning system for machine learning | |
| US11416007B2 (en) | Computer-implemented method and system for evaluating uncertainty in trajectory prediction | |
| Xue et al. | An instance-based method for remaining useful life estimation for aircraft engines | |
| Levorato et al. | Exact solutions for the two-machine robust flow shop with budgeted uncertainty | |
| Soni et al. | Digital twin: intersection of mind and machine | |
| CN112633461A (zh) | 应用辅助系统和方法以及计算机可读记录介质 | |
| Jiménez et al. | A closed-loop data-driven optimization framework for the unit commitment problem: A Q-learning approach under real-time operation | |
| JPWO2015146100A1 (ja) | 負荷推定システム、情報処理装置、負荷推定方法、及び、コンピュータ・プログラム | |
| JP2019101681A (ja) | 見積り取得装置、見積り取得方法およびプログラム | |
| Bolin et al. | Scale dependence: Why the average CRPS often is inappropriate for ranking probabilistic forecasts | |
| US20230004870A1 (en) | Machine learning model determination system and machine learning model determination method | |
| Meller et al. | Prescriptive analytics for inventory management: A comparison of new approaches | |
| CN112119466A (zh) | 电子密度推定方法、电子密度推定装置及电子密度推定程序 | |
| EP4383157A1 (en) | Layout analysis device and layout analysis method | |
| JP7088427B1 (ja) | 運転支援装置、運転支援方法及びプログラム | |
| WO2020225959A1 (ja) | 設計支援システム、設計支援方法および設計支援プログラム | |
| US20140236667A1 (en) | Estimating, learning, and enhancing project risk | |
| Kovacs et al. | A metamodel-based adaptive sampling approach for efficient failure region characterization of integrated circuits | |
| CN115943399A (zh) | 生成方法、生成装置、程序、信息处理方法及信息处理装置 | |
| JP4419814B2 (ja) | サービス品質評価支援装置 | |
| CN113689020A (zh) | 业务信息预测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |