CN113424221B - 模型生成装置、方法、程序以及预测装置 - Google Patents

模型生成装置、方法、程序以及预测装置 Download PDF

Info

Publication number
CN113424221B
CN113424221B CN202080013415.6A CN202080013415A CN113424221B CN 113424221 B CN113424221 B CN 113424221B CN 202080013415 A CN202080013415 A CN 202080013415A CN 113424221 B CN113424221 B CN 113424221B
Authority
CN
China
Prior art keywords
learning
data
inconsistency
prediction
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080013415.6A
Other languages
English (en)
Other versions
CN113424221A (zh
Inventor
桥本敦史
上川优太
牛久祥孝
饭山将晃
园头元春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Kyoto University NUC
Original Assignee
Omron Corp
Kyoto University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Kyoto University NUC filed Critical Omron Corp
Publication of CN113424221A publication Critical patent/CN113424221A/zh
Application granted granted Critical
Publication of CN113424221B publication Critical patent/CN113424221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的一个方面的模型生成装置取得由按时间序列得到的规定数据的第1时刻的第1样本、以及比第1时刻靠未来的第2时刻的规定数据的第2样本所包含的特征信息的组合分别构成的多个学习数据集，通过机器学习，针对各学习数据集训练预测模型，使其根据第1时刻的第1样本来预测第2时刻的特征信息。模型生成装置对各学习数据集设定稀有度，在机器学习中，越是稀有度高的学习数据集，模型生成装置越重点进行训练。

Description

模型生成装置、方法、程序以及预测装置
技术领域
本发明涉及模型生成装置、预测装置、模型生成方法以及模型生成程序。
背景技术
近年来，正在开发根据某时刻的图像来预测未来时刻的图像的技术。例如，在专利文献1中，提出了利用卷积神经网络根据某时刻的图像样本来预测未来时刻的图像样本的技术。具体来说，通过机器学习来训练卷积神经网络使得当输入视频序列(videosequence)的时刻t的帧时，输出时刻(t+1)的帧。由此，能够使卷积神经网络获得根据某时刻的输入帧来预测未来时刻的帧的能力。因此，如果利用学习完毕的卷积神经网络，则能够根据某时刻的图像样本来预测未来时刻的图像样本。
该图像的预测技术能够在各种领域中有益地利用。例如，在通过摄像机对汽车等车辆的外部状况进行监视的场景下，通过从由摄像机得到的车外的图像预测未来的状况，能够将与障碍物发生碰撞等车辆可能发生的事故防患于未然。并且，例如在通过摄像机对机器的状态进行监视的场景下，通过从由摄像机得到的图像预测机器的未来状态，能够事先检测机器可能发生的故障。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2018/0137389号说明书
发明内容
发明要解决的课题
本申请的发明人等发现了在上述那样的由神经网络等构成的预测模型中通过机器学习来掌握根据某时刻的图像样本来预测未来时刻的图像样本的能力的现有技术中存在如下的问题。即，在图像所显现的现象中，存在比较长期地持续的现象和比较短期地带来急剧的变化的现象。长期地持续的现象例如是人物向某个方向移动等有规则性的现象。短期地带来急剧的变化的现象例如是对象物从摄像机的拍摄范围外侵入到拍摄范围内、本来停止的对象物开始移动等可能不规则地产生的现象。关于比较长期地持续的现象，即使不利用上述那样的预测技术，也能够从该现象的规则性容易地预测该现象的未来。另一方面，由于比较短期地带来急剧的变化的现象可能不规则地产生，所以难以预测该现象的未来。因此，在上述那样的图像的预测技术中，与预测比较长期地持续的现象的未来相比，预测短期地带来急剧的变化的稀有现象是有益的。
但是，按时间序列得到的作为学习数据的图像数据几乎都是与持续现象相关的数据，难以大量取得与稀有现象相关的图像数据。因此，在使用得到的学习数据来执行机器学习的情况下，与稀有现象相关的学习数据埋没在与持续现象相关的多见的学习数据中，有可能无法使基于与稀有现象相关的学习数据的训练结果适当地反映在预测模型中。因此，本申请的发明人等发现在以往的方法中，虽然能够构建可高精度地预测持续现象的预测模型，但存在难以构建可高精度地预测稀有现象的预测模型的问题。
另外，该问题并不是在根据按时间序列得到的图像数据的某时刻的图像样本来预测可能在未来时刻产生的现象的场景下特有的。在根据按时间序列得到的规定数据的某时刻的样本来预测可能在未来时刻产生的现象的所有场景下产生同样的问题。从某时刻的样本预测可能在未来时刻产生的现象的场景例如是从生命数据预测对象者的状态的场景、从人流数据预测人的流动的量的场景、从通过观测栽培状况的传感器得到的感测数据预测栽培状况的场景、从与气象相关的数据预测发电装置的发电量的场景等。在这些场景下得到的规定数据例如是图像数据、声音数据、数值数据、文本数据、通过其他传感器得到的测定数据等。在这些场景下，也难以取得大量与稀有现象相关的学习数据。因此，难以构建能够高精度地预测稀有现象的预测模型。
本发明的一个方面是鉴于这样的实际情况而完成的，其目的在于，提供用于提高针对稀有现象的预测精度的技术。
用于解决课题的手段
为了解决上述课题，本发明采用以下结构。
即，本发明的一个方面的模型生成装置具有：数据取得部，其取得多个学习数据集，所述多个学习数据集是由按时间序列得到的规定数据的第1时刻的第1样本、和比所述第1时刻靠未来的第2时刻的所述规定数据的第2样本所包含的特征信息的组合分别构成的，各所述学习数据集中设定有表示各所述学习数据集的稀有性的程度的稀有度；以及学习处理部，其通过机器学习，针对各所述学习数据集构建被训练为根据所述第1时刻的所述第1样本来预测对应的所述第2时刻的所述特征信息的预测模型，在所述机器学习中，越是所述稀有度高的学习数据集，越重点进行训练。
在该结构中，对用于预测模型的机器学习的各学习数据集设定有稀有度。稀有度表示各学习数据集的稀有性的程度。根据该稀有度，调整各学习数据集的机器学习的程度。具体来说，在预测模型的机器学习中，越是稀有度高的学习数据集，越重点进行训练。由此，能够防止稀有度高的学习数据集埋没于稀有度低的学习数据集，能够将基于稀有度高的学习数据集的训练结果适当地反映在预测模型所学到的预测能力中。因此，根据该结构，能够提高预测模型针对稀有现象的预测精度。
另外，“按时间序列得到”表示在时间流逝中的多个时间点得到对象数据。得到数据的时机也可以没有特别限定，可以根据实施方式来适当选择。得到数据的时机可以是定期的，也可以是不定期的。“规定数据”只要是能够包含某些特征的数据，则其种类也可以没有特别限定，可以根据实施方式来适当选择。规定数据例如可以是图像数据、声音数据、数值数据、文本数据、其他由各种传感器所得到的测定数据等。以下，将由传感器得到的测定数据也称为“感测数据”。规定数据例如也可以是通过利用传感器观察某些对象而得到的感测数据。传感器例如可以是摄像机、麦克风、编码器、Lidar(light detection andranging)传感器、生命传感器、人感传感器、环境传感器等。摄像机例如可以是构成为取得RGB图像的通常的数码相机、构成为取得深度图像的深度摄像机、构成为使红外线量图像化的红外线摄像机等。生命传感器例如可以是体温计、血压计、脉搏计等。环境传感器例如可以是光度计、温度计、湿度计等。
“特征信息”只要是与可包含在规定数据中的特征相关的信息，则其种类及数据形式也可以分别没有特别限定，可以根据实施方式来适当选择。“特征”可以包含能够从规定数据推测的所有要素。在与移动体相关的预测中利用本发明的场景下，特征例如也可以是移动体行进的通路、在移动体的行进方向上存在的对象物等。移动体例如可以是飞行体(无人机等)、车辆(汽车等)等。移动体行进的通路例如可以是车辆能够行驶的道路。在移动体的行进方向上存在的对象物例如可以是信号机、障碍物(人、物体)等。此外，特征例如也可以与机器的状态(有无故障等)、对象者的状态(睡意度、疲劳度、从容度、健康状态等)、人的流动、物体的流动、栽培状况、发电量等相关。
“时刻”表示时间流逝中的任意的点。“第1时刻”和“第2时刻”分别用于表示时间流逝的前后关系。第1时刻和第2时刻各自的数据可以仅由对象时刻的数据构成，也可以由包含对象时刻的规定的时间区间的数据构成。“稀有度”既可以由操作员等手动地设定，也可以基于某些指标而自动地设定。“重点进行训练”表示以稀有度高的学习数据集对预测模型学到的预测能力带来影响的程度比稀有度低的学习数据集大的方式在机器学习中使用。
预测模型是能够通过机器学习获得某些能力的学习模型，其种类也可以没有特别限定，可以根据实施方式来适当选择。学习模型可以构成为包含在用于发挥规定能力的运算处理中利用的运算参数。预测模型例如可以使用神经网络等。在该情况下，运算参数例如是各神经元间的结合的权重、各神经元的阈值等。
在上述一个方面的模型生成装置中，也可以是，越是所述稀有度高的学习数据集，所述学习处理部越增多在所述机器学习中的采样次数，由此，越是所述稀有度高的学习数据集，越重点进行训练。也就是说，学习的程度可以基于取出各学习数据集的样本的频率来控制。在该情况下，越是稀有度高的学习数据集，越频繁地用于预测模型的运算参数的值的更新。根据该结构，能够适当地实现越是稀有度高的学习数据集越重点进行训练的处理，因此能够适当地提高预测模型对稀有现象的预测精度。
在上述一个方面的模型生成装置中，也可以是，越是所述稀有度高的学习数据集，所述学习处理部越增大在所述机器学习中的加权，由此，越是所述稀有度高的学习数据集，越重点进行训练。根据该结构，能够适当地实现越是稀有度高的学习数据集越重点进行训练的处理，因此能够适当地提高预测模型对稀有现象的预测精度。另外，机器学习中的加权例如可以通过学习率进行控制。学习率确定在机器学习中更新预测模型的运算参数的值的程度。学习率越大，运算参数的更新量越大，学习率越小，运算参数的更新量越小。在该情况下，也可以是，稀有度越高，学习率越高，稀有度越低，学习率越低，由此，越是稀有度高的学习数据集，越重点进行训练。
在上述一个方面的模型生成装置中，各所述学习数据集的所述稀有度可以根据所述特征信息在所述规定数据中出现的不规则性的程度来设定。根据该结构，能够准确地设定各学习数据集的稀有度，因此能够适当地提高预测模型对稀有现象的预测精度。另外，不规则性可以通过对象特征在规定数据中出现的程度来表现，例如，可以通过出现频率、出现概率等指标来评价。
上述一个方面的模型生成装置还可以具有设定各所述学习数据集的所述稀有度的稀有度设定部。而且，所述稀有度设定部可以包含不一致性预测器，该不一致性预测器构成为针对各所述学习数据集，根据所述第1时刻的所述第1样本来预测基于所述预测模型的所述预测的不一致性，所述稀有度设定部也可以根据通过所述不一致性预测器对基于所述预测模型的所述预测的不一致性进行预测而得的结果来设定各所述学习数据集的所述稀有度。通过利用不一致性预测器，能够减少设定各学习数据集的稀有度的工夫。另外，不一致性表示预测模型对第1样本的预测的偏差。作为评价该不一致性的指标，例如可以使用预测模型的输出值与正确解的差分值、用于调整预测模型的运算参数的误差等。
上述一个方面的模型生成装置还可以具有：不一致性数据取得部，其取得由各所述学习数据集的所述第1时刻的所述第1样本以及基于所述预测模型的所述预测的不一致性的组合分别构成的多个不一致性学习数据集；以及不一致性学习处理部，其通过机器学习，针对所述各不一致性学习数据集构建所述不一致性预测器，所述不一致性预测器被训练为根据所述第1时刻的所述第1样本来预测对应的基于所述预测模型的所述预测的不一致性。而且，所述学习处理部对所述预测模型的训练和所述不一致性学习处理部对所述不一致性预测器的训练可以交替地执行。根据该结构，能够适当地提高预测模型对稀有现象的预测精度。
在上述一个方面的模型生成装置中，也可以是，所述不一致性学习处理部在所述不一致性预测器的所述机器学习中与所述稀有度无关地均匀地训练所述各不一致性学习数据集。当均匀地训练学习数据时，基于与稀有现象相关的学习数据的训练结果可能被埋没在基于与多见现象(例如持续现象)相关的学习数据的训练结果中。因此，当与稀有度无关地均匀地训练各不一致性学习数据集时，学习完毕的不一致性预测器构建为越是稀有度高的样本，不一致性的预测的精度越差。即，学习完毕的不一致性预测器构建为越是稀有性高的样本，预测模型越误预测，换言之，预测为不一致性越大。因此，根据该结构，通过所构建的学习完毕的不一致性预测器，能够适当地设定各学习数据集的稀有度。
在上述一个方面的模型生成装置中，也可以是，所述特征信息包含所述第2样本的特征量。根据该结构，能够构建根据任意时刻的规定数据来高精度地预测未来时刻的规定数据的特征量的预测模型。另外，特征量通过将从规定数据中提取的特征数值化而得到。成为对象的特征以及数值化的方法也可以没有特别限定，可以根据实施方式来适当选择。
上述一个方面的模型生成装置也可以保持推测器，该推测器具有编码器和解码器，该编码器构成为将所述规定数据的第3样本变换为特征量，该解码器构成为根据所述特征量来复原所述第3样本，并且推测所述第3样本中包含的特征。所述特征信息的所述特征量也可以通过由所述推测器的所述编码器变换所述第2样本来提供。根据该结构，能够通过预测模型和解码器，构建能够根据任意时刻的规定数据来高精度地预测未来时刻的规定数据中包含的稀有的特征的预测推测器。
在上述各方式中，预测模型被训练为根据第1时刻的第1样本来预测比第1时刻靠未来的第2时刻的第2样本中包含的特征信息。但是，预测模型所学习的预测的能力也可以不限定于这样的例子。上述各方式也可以被修正为对预测模型进行训练，使得根据第1时刻的第1样本来预测第2时刻的第2样本和特征信息中的至少一方。
例如，本发明的一个方面的模型生成装置也可以具有：数据取得部，其取得由按时间序列得到的规定数据的第1时刻的第1样本、和比所述第1时刻靠未来的第2时刻的所述规定数据的第2样本及该第2样本所包含的特征信息的至少任意一方的组合分别构成的多个学习数据集，各所述学习数据集中设定有表示各所述学习数据集的稀有性的程度的稀有度；以及学习处理部，其通过机器学习，针对各所述学习数据集构建预测模型，该预测模型被训练为根据所述第1时刻的所述第1样本来预测对应的所述第2时刻的所述第2样本以及所述特征信息中的至少任意一方，并且在所述机器学习中，越是所述稀有度高的学习数据集，越重点进行训练。
上述各方式能够应用在根据按时间序列得到的规定数据的某时刻的样本来预测可能在未来时刻产生的现象的所有场景中。规定数据例如可以是图像数据、声音数据、数值数据、文本数据、其他由各种传感器得到的测定数据等。根据某时刻的样本来预测可能在未来时刻产生的现象的场景例如可以是根据车辆的感测数据来预测车辆的外部状况的场景、根据机器的感测数据来预测机器的状态的场景、根据图像数据和生命数据中的至少一方来预测对象者的状态的场景、根据人流数据来预测人的流动的量的场景、根据观测栽培状况的传感器所得到的感测数据来预测栽培状况的场景、根据与气象相关的数据来预测发电装置的发电量的场景等。上述各方式也可以应用于这些场景。
例如，在上述一个方面的模型生成装置中，所述规定数据可以是图像数据，所述特征信息可以与包含在所述图像数据中的特征相关。图像数据中包含的特征例如可以是在图像数据中呈现的对象物的属性等的推测结果。根据该结构，可以构建能够高精度地预测可能在图像数据中出现的未来的稀有现象的预测模型。
另外，例如，在上述一个方面的模型生成装置中，所述规定数据可以是由传感器得到的感测数据，所述特征信息可以与包含在所述感测数据中的特征相关。根据该结构，可以构建能够高精度地预测可能在感测数据中出现的未来的稀有现象的预测模型。
另外，例如，在上述一个方面的模型生成装置中，所述规定数据可以是通过配置为监视车辆的外部状况的摄像机得到的图像数据，所述特征信息可以与在所述图像数据中呈现的对象物的属性相关。根据该结构，可以构建能够根据图像数据高精度地预测车辆外部的未来状况的预测模型。
另外，例如，在上述一个方面的模型生成装置中，所述规定数据可以是通过对构成生产线的机器的状态进行监视的传感器得到的感测数据，所述特征信息可以与所述机器的状态相关。根据该结构，可以构建能够根据感测数据高精度地预测机器的未来状态的预测模型。
另外，例如，在上述一个方面的模型生成装置中，所述规定数据可以是对象者的生命数据和拍摄有对象者的图像数据中的至少任意一个，所述特征信息可以与所述对象者的状态相关。根据该结构，可以构建能够根据生命数据和图像数据中的至少任意一个来高精度地预测对象者的未来的状态的预测模型。
另外，例如，在上述一个方面的模型生成装置中，所述规定数据可以是与人的流动相关联的人流数据，所述特征信息可以与所述人的流动的量相关。根据该结构，可以构建能够根据人流数据高精度地预测未来的人的流动的量的预测模型。
另外，“人的流动”可以包含行人的流动以及人能够乘坐的移动体的流动中的至少一方。行人的流动例如也可以通过存在于规定区域内的人物的流动(作为一个例子，某个会场内的参加者的流动)来表现。另外，移动体的流动例如也可以通过车辆等交通工具的流动来表现。人流数据只要能够与人的流动相关联即可，其种类也可以没有特别限定，可以根据实施方式来适当选择。人流数据例如可以通过构成为检测通过任意场所的人物的人感传感器、构成为检测门的开闭的传感器、构成为检测通过门的人的传感器、构成为检测车辆的通行量的传感器、设置为测定与移动的人和车辆中的至少任意一方相关的声音的麦克风、设置为拍摄移动的人和车辆中的至少任意一方的摄像机等得到。人感传感器例如可以是红外线传感器。门例如可以是自动检票机、设置于建筑物的门(房门等)、设置于高速道路的出入口的门、设置于停车场等规定的用地的出入口的门等。另外，人流数据例如也可以包含人或车辆所保持的装置的位置数据、该装置的通信数据等。位置数据例如可以通过GPS(GlobalPositioning System：全球定位系统)测定器等测定。另外，人流数据也可以包含与人的履历(例如店铺的购买履历)相关的数据。
另外，也可以构成如下的预测装置：该预测装置利用由上述各方式的模型生成装置构建的学习完毕的预测模型，根据任意时刻的规定数据来预测在未来时刻的规定数据中出现的各种特征。例如，本发明的一个方面的预测装置具有：对象数据取得部，其取得所述规定数据的对象样本；预测部，其使用由所述任意一个方式的模型生成装置构建的所述预测模型，根据所取得的所述对象样本来预测在比取得了所述对象样本的时刻靠未来的时刻出现在所述规定数据中的特征；以及输出部，其输出与预测所述特征得到的结果相关的信息。
作为上述各方式的模型生成装置和预测装置各自的其他方式，本发明的一个方面可以是实现以上各结构的信息处理方法，也可以是程序，还可以是存储了这样的程序的计算机等能够读取的存储介质。在此，计算机等可读取的存储介质是指通过电、磁、光学、机械或化学作用而蓄积程序等信息的介质。另外，本发明的一个方面的预测系统也可以由上述任意一个方式的模型生成装置和预测装置构成。
例如，本发明的一个方面的模型生成方法是如下的信息处理方法，即，计算机执行如下步骤：取得由按时间序列得到的规定数据的第1时刻的第1样本、以及比所述第1时刻靠未来的第2时刻的所述规定数据的第2样本所包含的特征信息的组合分别构成的多个学习数据集，各所述学习数据集中设定有表示各所述学习数据集的稀有性的程度的稀有度；以及通过机器学习，针对各所述学习数据集构建预测模型，该预测模型被训练为根据所述第1时刻的所述第1样本来预测对应的所述第2时刻的所述特征信息，并且在所述机器学习中，越是所述稀有度高的学习数据集，越重点进行训练。
另外，例如，本发明的一个方面的模型生成程序是用于使计算机执行如下步骤的程序：取得由按时间序列得到的规定数据的第1时刻的第1样本、以及比所述第1时刻靠未来的第2时刻的所述规定数据的第2样本所包含的特征信息的组合分别构成的多个学习数据集，各所述学习数据集中设定有表示各所述学习数据集的稀有性的程度的稀有度；以及通过机器学习，针对各所述学习数据集构建预测模型，该预测模型根据所述第1时刻的所述第1样本来预测对应的所述第2时刻的所述特征信息，并且在所述机器学习中，越是所述稀有度高的学习数据集，越重点进行训练。
发明效果
根据本发明，能够提高针对稀有现象的预测精度。
附图说明
图1示意性地例示应用本发明的场景的一例。
图2示意性地例示实施方式的模型生成装置的硬件结构的一例。
图3示意性地例示实施方式的预测装置的硬件结构的一例。
图4A示意性地例示实施方式的模型生成装置的软件结构的一例。
图4B示意性地例示实施方式的模型生成装置的软件结构的一例。
图4C示意性地例示实施方式的模型生成装置的软件结构的一例。
图5示意性地例示实施方式的预测装置的软件结构的一例。
图6例示与实施方式的模型生成装置所进行的推测器的机器学习相关的处理过程的一例。
图7例示与实施方式的模型生成装置所进行的预测模型的机器学习相关的处理过程的一例。
图8例示实施方式的预测装置的处理过程的一例。
图9示意性地例示应用本发明的其他场景的一例。
图10示意性地例示其他方式的监视装置的硬件结构的一例。
图11示意性地例示其他方式的监视装置的软件结构的一例。
图12示意性地例示应用本发明的其他场景的一例。
图13示意性地例示其他方式的故障预测装置的硬件结构的一例。
图14示意性地例示其他方式的故障预测装置的软件结构的一例。
图15示意性地例示应用本发明的其他场景的一例。
图16示意性地例示其他方式的状态预测装置的硬件结构的一例。
图17示意性地例示其他方式的状态预测装置的软件结构的一例。
图18示意性地例示应用本发明的其他场景的一例。
图19示意性地例示应用本发明的其他场景的一例。
图20示意性地例示其他方式的人流预测装置的硬件结构的一例。
图21示意性地例示其他方式的人流预测装置的软件结构的一例。
图22示意性地例示应用本发明的其他场景的一例。
图23示意性地例示其他方式的状况预测装置的硬件结构的一例。
图24示意性地例示其他方式的状况预测装置的软件结构的一例。
图25示意性地例示应用本发明的其他场景的一例。
图26示意性地例示其他方式的发电量预测装置的硬件结构的一例。
图27示意性地例示其他方式的发电量预测装置的软件结构的一例。
图28示意性地例示应用本发明的其他场景的一例。
具体实施方式
以下，基于附图对本发明的一个方面的实施方式(以下，也表述为“本实施方式”)进行说明。但是，以下说明的本实施方式在所有方面只不过是本发明的例示。当然能够在不脱离本发明的范围的情况下进行各种改良或变形。也就是说，在实施本发明时，也可以适当采用与实施方式对应的具体结构。另外，通过自然语言对在本实施方式中出现的数据进行了说明，但更具体来说，由计算机可识别的伪语言、命令、参数、机器语言等指定。
§1应用例
首先，使用图1对应用本发明的场景的一例进行说明。图1示意性地例示应用了本发明的场景的一例。如图1所示，本实施方式的预测系统100具有模型生成装置1和预测装置2。模型生成装置1和预测装置2可以经由网络相互连接。网络的种类例如可以从因特网、无线通信网、移动通信网、电话网、专用网等适当选择。
本实施方式的模型生成装置1是构成为通过机器学习来构建预测模型55的计算机，预测模型55被训练成能够根据任意时刻的规定数据来预测在比该任意时刻靠未来的时刻的规定数据中出现的特征。具体来说，模型生成装置1取得多个第2学习数据集32，多个第2学习数据集32分别通过按时间序列得到的规定数据的第1时刻的第1样本321及比第1时刻靠未来的时刻的规定数据的第2样本322中所包含的特征信息323的组合而构成。第2学习数据集32是本发明的“学习数据集”的一例。
“按时间序列得到”表示在时间流逝的多个时间点得到对象的数据。得到数据的时机没有特别限定，可以根据实施方式适当选择。得到数据的时机可以是定期的，也可以是不定期的。“时刻”表示时间的流逝中的任意点。在图1的例子中，时刻t是第1时刻的一例，时刻(t+a)是第2时刻的一例。并且，时刻(t-a)是第1时刻的一例，时刻t是第2时刻的一例。这样，“第1时刻”和“第2时刻”分别用于表示时间流逝的前后关系。另外，第1时刻与第2时刻的间隔a没有特别限定，可以根据实施方式适当设定。第1时刻和第2时刻各自的各样本(321、322)可以仅由第1时刻和第2时刻各自的时刻的数据构成，也可以由包含第1时刻和第2时刻各自的时刻在内的规定的时间区间的数据构成。
“规定数据”只要是能够包含某些特征的数据，则其种类没有特别限定，可以根据实施方式适当选择。规定数据例如可以是由图像数据、声音数据、数值数据、文本数据、其他由各种传感器得到的测定数据等。规定数据例如也可以是通过利用传感器观察某种对象而得到的数据。在本实施方式中，规定数据是能够由传感器S取得的感测数据。
特征信息323只要是能够包含在规定数据中的特征，则其种类及数据形式分别没有特别限定，可以根据实施方式适当选择。“特征”可以包含能够从规定数据推测的所有的要素。在与移动体相关的预测中利用本发明的场景下，特征例如可以与移动体行进的通路、在移动体的行进方向上存在的物体等对象物的属性相关。移动体例如可以是飞行体(无人机等)、车辆(汽车等)等。移动体行进的通路例如可以是车辆能够行驶的道路。在移动体的行进方向上存在的物体例如可以是信号机、障碍物(人、物体)等。此外，特征例如也可以与机器的状态(有无故障等)、对象者的状态(睡意度、疲劳度、从容度、健康状态等)、人的流动、物的流动、栽培状况、发电量等相关。
本实施方式的模型生成装置1通过机器学习，针对各第2学习数据集32，构建被训练为根据第1时刻的第1样本321来预测第2时刻的特征信息323的预测模型55。预测模型55由能够通过机器学习获得某种能力的学习模型构成。如后所述，在本实施方式中，预测模型55由神经网络构成。
在各第2学习数据集32中设定有稀有度325。稀有度325表示各第2学习数据集32的稀有性的程度。本实施方式的模型生成装置1根据该稀有度325，调整各第2学习数据集32的机器学习的程度。即，在机器学习中，越是稀有度325高的第2学习数据集32，越重点进行训练。“重点进行训练”表示以使稀有度325高的第2学习数据集32对预测模型55学到的预测能力带来影响的程度比稀有度325低的第2学习数据集32大的方式在机器学习中使用。
另一方面，本实施方式的预测装置2是计算机，其构成为利用由模型生成装置1构建的学习完毕的预测模型55，根据任意时刻的规定数据，预测在比该任意时刻靠未来的时刻的规定数据中出现的特征。具体来说，本实施方式的预测装置2取得规定数据的对象样本221。在本实施方式中，预测装置2与传感器S连接。预测装置2从传感器S取得规定数据的对象样本221。
传感器S的种类没有特别限定，可以根据实施方式适当选择。传感器S例如可以是摄像机、麦克风、编码器、Lidar传感器、生命传感器、人感传感器、环境传感器等。摄像机例如可以是构成为取得RGB图像的通常的数码相机、构成为取得深度图像的深度摄像机、构成为使红外线量图像化的红外线摄像机等。生命传感器例如可以是体温计、血压计、脉搏计等。环境传感器例如可以是光度计、温度计、湿度计等。
接着，本实施方式的预测装置2使用由上述模型生成装置1构建的学习完毕的预测模型55，根据所取得的对象样本221来预测在比取得了对象样本221的时刻靠未来的时刻出现在规定数据中的特征223。然后，预测装置2输出与预测了特征223的结果相关的信息。
如上所述，在本实施方式中，在预测模型55的机器学习中，越是稀有度325高的第2学习数据集32，越重点进行训练。由此，能够防止稀有度325高的第2学习数据集32埋没于稀有度325低的第2学习数据集32，能够将基于稀有度325高的第2学习数据集32的训练结果适当地反映在预测模型55所学到的预测能力中。因此，根据本实施方式，能够构建可高精度地预测稀有现象的预测模型55。并且，在预测装置2中，通过利用这样构建的预测模型55，能够提高特征223的预测精度。
§2结构例
[硬件结构]
＜模型生成装置＞
接着，使用图2对本实施方式的模型生成装置1的硬件结构的一例进行说明。图2示意性地例示本实施方式的模型生成装置1的硬件结构的一例。
如图2所示，本实施方式的模型生成装置1是控制部11、存储部12、通信接口13、输入装置14、输出装置15以及驱动器16电连接而成的计算机。另外，在图2中，将通信接口记载为“通信I/F”。
控制部11构成为包含作为硬件处理器的CPU(Central Processing Unit：中央处理单元)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等，并基于程序及各种数据来执行信息处理。存储部12是存储器的一例，例如由硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部12存储模型生成程序81、多个第1学习数据集31、多个第2学习数据集32、多个第3学习数据集33、第1学习结果数据121、第2学习结果数据123等各种信息。
模型生成程序81是用于使模型生成装置1执行与机器学习相关的后述的信息处理(图6、图7)的程序。模型生成程序81包含该信息处理的一系列的命令。多个第1学习数据集31用于后述的推测器的机器学习。多个第2学习数据集32用于预测模型55的机器学习。多个第3学习数据集33用于后述的不一致性预测器的机器学习。第1学习结果数据121表示与通过使用了多个第1学习数据集31的机器学习而构建的后述的推测器相关的信息。第2学习结果数据123表示与通过使用了多个第2学习数据集32的机器学习而构建的学习完毕的预测模型55相关的信息。第1学习结果数据121和第2学习结果数据123作为执行了模型生成程序81的结果而得到。详细内容后述。
通信接口13例如是有线LAN(Local Area Network：局域网)模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。模型生成装置1通过利用该通信接口13，能够与其他信息处理装置(例如，预测装置2)进行经由网络的数据通信。
输入装置14例如是鼠标、键盘等用于进行输入的装置。另外，输出装置15例如是显示器、扬声器等用于进行输出的装置。操作员通过利用输入装置14和输出装置15，能够操作模型生成装置1。
驱动器16例如是CD驱动器、DVD驱动器等，是用于读入存储介质91中所存储的程序的驱动器装置。驱动器16的种类可以根据存储介质91的种类来适当选择。上述模型生成程序81、多个第1学习数据集31、多个第2学习数据集32以及多个第3学习数据集33中的至少任意一个可以存储在该存储介质91中。
存储介质91是以计算机及其他装置、机器等能够读取所记录的程序等信息的方式通过电、磁、光学、机器或化学作用存储该程序等信息的介质。模型生成装置1也可以从该存储介质91取得上述模型生成程序81、多个第1学习数据集31、多个第2学习数据集32以及多个第3学习数据集33中的至少任意一个。
这里，在图2中，作为存储介质91的一例，例示了CD、DVD等盘型存储介质。但是，存储介质91的种类并不限定于盘型，也可以是盘型以外的种类。作为盘型以外的存储介质，例如可以举出闪存等半导体存储器。
另外，关于模型生成装置1的具体的硬件结构，能够根据实施方式来适当地省略、置换及追加构成要素。例如，控制部11也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA(field-programmable gate array：现场可编程门阵列)、DSP(digital signalprocessor：数字信号处理器)等构成。存储部12也可以由控制部11所包含的RAM和ROM构成。通信接口13、输入装置14、输出装置15以及驱动器16中的至少一个可以被省略。模型生成装置1也可以由多台计算机构成。在该情况下，各计算机的硬件结构既可以一致，也可以不一致。另外，模型生成装置1除了设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、PC(Personal Computer：个人计算机)等。
＜预测装置＞
接着，使用图3对本实施方式的预测装置2的硬件结构的一例进行说明。图3示意性地例示本实施方式的预测装置2的硬件结构的一例。
如图3所示，本实施方式的预测装置2是控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接而成的计算机。另外，在图3中，将通信接口和外部接口分别记载为“通信I/F”和“外部I/F”。
预测装置2的控制部21～驱动器26可以分别与上述模型生成装置1的控制部11～驱动器16分别同样地构成。即，控制部21构成为包含作为硬件处理器的CPU、RAM、ROM等，基于程序及数据来执行各种信息处理。存储部22例如由硬盘驱动器、固态驱动器等构成。存储部22存储预测程序82、第1学习结果数据121、第2学习结果数据123等各种信息。
预测程序82是用于使预测装置2执行利用了预测模型55的与规定数据中出现的特征的预测相关的后述的信息处理(图8)的程序。预测程序82包含该信息处理的一系列的命令。详细内容后述。
通信接口23例如是有线LAN模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。预测装置2通过利用该通信接口23，能够与其他信息处理装置(例如，模型生成装置1)进行经由网络的数据通信。
输入装置24例如是鼠标、键盘等用于进行输入的装置。另外，输出装置25例如是显示器、扬声器等用于进行输出的装置。操作员能够通过利用输入装置24和输出装置25来操作预测装置2。
驱动器26例如是CD驱动器、DVD驱动器等，是用于读入存储介质92中所存储的程序的驱动器装置。上述预测程序82、第1学习结果数据121以及第2学习结果数据123中的至少任意一个可以存储于存储介质92。另外，预测装置2也可以从存储介质92取得上述预测程序82、第1学习结果数据121以及第2学习结果数据123中的至少任意一个。
外部接口27例如是USB(Universal Serial Bus：通用串行总线)端口、专用端口等，是用于与外部装置连接的接口。外部接口27的种类及数量可以根据所连接的外部装置的种类及数量来适当选择。在本实施方式中，预测装置2经由外部接口27而与传感器S连接。由此，预测装置2构成为能够从传感器S取得作为执行预测处理的对象的感测数据(对象样本221)。但是，用于取得感测数据的结构也可以不限定于这样的例子，也可以根据实施方式来适当决定。例如，在传感器S具有通信接口的情况下，预测装置2也可以不经由外部接口27而经由通信接口23与传感器S连接。
另外，关于预测装置2的具体的硬件结构，能够根据实施方式来适当地省略、置换以及追加构成要素。例如，控制部21也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA、DSP等构成。存储部22也可以由控制部21所包含的RAM和ROM构成。通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27中的至少任一个也可以被省略。预测装置2也可以由多台计算机构成。在该情况下，各计算机的硬件结构既可以一致，也可以不一致。另外，预测装置2除了设计为所提供的服务专用的信息处理装置以外，还可以是通用的服务器装置、通用的PC等。
[软件结构]
＜模型生成装置＞
接着，使用图4A～图4C对本实施方式的模型生成装置1的软件结构的一例进行说明。图4A～图4C示意性地例示本实施方式的模型生成装置1的软件结构的一例。
模型生成装置1的控制部11将存储在存储部12中的模型生成程序81在RAM中展开。然后，控制部11通过CPU来解释和执行在RAM中展开的模型生成程序81，从而对各构成要素进行控制。由此，如图4A～图4C所示，本实施方式的模型生成装置1作为具有第1数据取得部111、第1学习处理部112、第1保存处理部113、第2数据取得部114、第2学习处理部115、第2保存处理部116、第3数据取得部117、第3学习处理部118以及稀有度设定部119作为软件模块的计算机来进行动作。即，在本实施方式中，模型生成装置1的各软件模块由控制部11(CPU)实现。
在本实施方式中，模型生成装置1将推测器51、预测模型55以及不一致性预测器57各自的数据保持在例如存储部12、RAM等存储器中。然后，模型生成装置1执行推测器51、预测模型55以及不一致性预测器57各自的机器学习。以下，关于模型生成装置1的各软件模块，与各机器学习相关联地进行说明。
(A)与推测器相关的模块
首先，参照图4A对与推测器51的机器学习相关的软件模块进行说明。在上述软件模块中，第1数据取得部111、第1学习处理部112以及第1保存处理部113与推测器51的机器学习相关联。
第1数据取得部111取得在推测器51的机器学习中使用的多个第1学习数据集31。在本实施方式中，各第1学习数据集31由规定数据的样本311以及表示在样本311中出现的特征(正确解)的正确解数据313的组合构成。样本311被用作机器学习的训练数据(输入数据)。正确解数据313被用作机器学习的教师数据。
第1学习处理部112通过使用了多个第1学习数据集31的机器学习，构建获得了推测在规定数据中出现的特征的能力的学习完毕的推测器51。在本实施方式中，第1学习处理部112通过机器学习，针对各第1学习数据集31训练推测器51，使得当输入样本311时，输出与对应的正确解数据313匹配(match)的输出值。由此，构建获得了对在规定数据中出现的特征进行推测的能力的学习完毕的推测器51。第1保存处理部113将与构建的学习完毕的推测器51相关的信息保存到规定的存储区域。
(推测器的结构)
接着，对推测器51的结构的一例进行说明。如图4A所示，推测器51由自编码器构成。即，推测器51具有编码器52和解码器53。编码器52构成为将被提供的输入数据转换为特征量。特征量是将可从规定数据中提取的特征数值化后的量。解码器53构成为从特征量复原输入数据，并且推测在输入数据中出现的特征。
在本实施方式中，编码器52和解码器53由用于深度学习的多层构造的神经网络构成。编码器52具有输入层521、中间(隐藏)层522以及输出层523。同样地，解码器53具有输入层531、中间(隐藏)层532以及输出层533。但是，编码器52和解码器53的构造不限定于这样的例子，也可以根据实施方式来适当决定。例如，编码器52和解码器53各自所具有的中间层的数量也可以不限定于1个，也可以为2个以上。
编码器52的各层521～523和解码器53的各层531～533中所包含的神经元(节点)的数量可以根据实施方式来适当选择。在图4A的例子中，编码器52和解码器53的各神经元与相邻的层的所有神经元结合。但是，编码器52和解码器53各自的神经元的结合也可以不限定于这样的例子，也可以根据实施方式来适当设定。
相邻的层的神经元彼此适当结合，在各结合中设定有权重(结合载荷)。对各神经元设定有阈值，基本上根据各输入与各权重之积的和是否超过阈值来决定各神经元的输出。编码器52的各层521～523所包含的各神经元间的结合的权重及各神经元的阈值是编码器52的运算参数的一例。解码器53的各层531～533中所包含的各神经元间的结合的权重及各神经元的阈值是解码器53的运算参数的一例。推测器51的运算参数由编码器52和解码器53各自的运算参数构成。
在本实施方式中，第1学习处理部112使用多个第1学习数据集31，执行由上述那样的神经网络构成的推测器51(编码器52和解码器53)的机器学习。即，第1学习处理部112通过调整推测器51的运算参数的值，针对各第1学习数据集31训练推测器51，使得在对编码器52的输入层521输入样本311时，从解码器53的输出层533输出与样本311和正确解数据313匹配的输出值。由此，第1学习处理部112构建获得了对在规定数据中出现的特征进行推测的能力的学习完毕的推测器51。另外，该“推测”例如可以是通过分组(分类、识别)来导出离散值(例如，与特定的特征对应的类别)、以及通过回归来导出连续值(例如，出现了特定的特征的概率)的任意方。第1保存处理部113生成表示所构建的学习完毕的推测器51的构造和运算参数的信息作为第1学习结果数据121。然后，第1保存处理部113将所生成的第1学习结果数据121保存到规定的存储区域。
(B)与预测模型相关的模块
接着，参照图4B对与预测模型55的机器学习相关的软件模块进行说明。在上述软件模块中，第2数据取得部114、第2学习处理部115、第2保存处理部116以及稀有度设定部119与预测模型55的机器学习相关联。第2数据取得部114是本发明的“数据取得部”的一例，第2学习处理部115是本发明的“学习处理部”的一例。
第2数据取得部114取得在预测模型55的机器学习中使用的多个第2学习数据集32。各第2学习数据集32由按时间序列得到的规定数据的第1时刻的第1样本321以及比第1时刻靠未来的第2时刻的规定数据的第2样本322中所包含的特征信息323的组合构成。在本实施方式中，特征信息323包含第2样本322的特征量。特征信息323的特征量是通过由推测器51的编码器52对第2样本322进行变换而赋予的。第1样本321被用作机器学习的训练数据(输入数据)。特征信息323被用作机器学习的教师数据(正确解数据)。
第2学习处理部115通过使用了多个第2学习数据集32的机器学习，构建被训练为根据第1时刻的第1样本321来预测第2时刻的特征信息323的预测模型55。在本实施方式中，第2学习处理部115通过机器学习，针对各第2学习数据集32训练预测模型55，使得当输入第1样本321时，输出与对应的特征信息323匹配的输出值。
在各第2学习数据集32中设定有表示各第2学习数据集32的稀有性的程度的稀有度325。第2学习处理部115根据该稀有度325，调整各第2学习数据集32的机器学习的程度。即，第2学习处理部115实施上述机器学习的处理，使得越是稀有度325高的第2学习数据集32，越重点进行训练。由此，针对各第2学习数据集32，构建被训练为根据第1时刻的第1样本321来预测第2时刻的特征信息323的预测模型55。换言之，构建获得了根据任意时刻的规定数据来预测比任意时刻靠未来的时刻的规定数据中所包含的特征信息的能力的学习完毕的预测模型55。第2保存处理部116将与所构建的学习完毕的预测模型55相关的信息保存到规定的存储区域。
稀有度设定部119设定各第2学习数据集32的稀有度325。稀有度325的设定方法可以根据实施方式来适当选择。在本实施方式中，稀有度设定部119包含后述的不一致性预测器57，该不一致性预测器57构成为根据第1时刻的第1样本321来预测基于预测模型55的预测的不一致性。稀有度设定部119根据由不一致性预测器57预测了基于预测模型55的预测的不一致性的结果，设定各第2学习数据集32的稀有度。
(预测模型的结构)
接着，对预测模型55的结构的一例进行说明。如图4B所示，与上述编码器52和解码器53同样地，预测模型55由用于深度学习的多层构造的神经网络构成。预测模型55具有输入层551、中间(隐藏)层552以及输出层553。但是，预测模型55的构造也可以不限定于这样的例子，也可以根据实施方式来适当决定。例如，预测模型55所具有的中间层的数量也可以不限定于1个，也可以为2个以上。
预测模型55的各层551～553中所包含的神经元(节点)的数量可以根据实施方式来适当选择。在图4B的例子中，预测模型55的各神经元与相邻的层的所有神经元结合。但是，预测模型55中的神经元的结合也可以不限定于这样的例子，也可以根据实施方式来适当设定。各层551～553中所包含的各神经元间的结合的权重及各神经元的阈值是预测模型55的运算参数的一例。
在本实施方式中，第2学习处理部115使用多个第2学习数据集32，执行由上述那样的神经网络构成的预测模型55的机器学习。即，第2学习处理部115通过调整预测模型55的运算参数的值，针对各第2学习数据集32训练预测模型55，使得当对输入层551输入第1样本321时，从输出层553输出与对应的特征信息323匹配的输出值。在该机器学习的处理中，越是稀有度325高的第2学习数据集32，越重点进行训练。由此，第2学习处理部115构建学习完毕的预测模型55，该学习完毕的预测模型55获得了根据任意时刻的规定数据来预测比任意时刻靠未来的时刻的规定数据中所包含的特征信息的能力。第2保存处理部116生成表示所构建的学习完毕的预测模型55的构造和运算参数的信息来作为第2学习结果数据123。然后，第2保存处理部116将所生成的第2学习结果数据123保存到规定的存储区域。
(C)与不一致性预测器相关的模块
接着，参照图4C对与不一致性预测器57的机器学习相关的软件模块进行说明。在上述软件模块中，第3数据取得部117和第3学习处理部118与不一致性预测器57的机器学习相关联。第3数据取得部117是本发明的“不一致性学习数据取得部”的一例，第3学习处理部118是本发明的“不一致性学习处理部”的一例。
第3数据取得部117取得在不一致性预测器57的机器学习中使用的多个第3学习数据集33。第3学习数据集33是本发明的“不一致性学习数据集”的一例。各第3学习数据集33分别通过各第2学习数据集32的第1时刻的第1样本321以及预测模型55对第1样本321的预测的不一致性333的组合来构成。第1样本321被用作机器学习的训练数据(输入数据)。不一致性333被用作机器学习的教师数据(正确解数据)。
第3学习处理部118通过使用了多个第3学习数据集33的机器学习，构建被训练为根据第1时刻的第1样本321来预测对应的基于预测模型55的预测的不一致性333的不一致性预测器57。在本实施方式中，第3学习处理部118通过机器学习，针对各第3学习数据集33训练不一致性预测器57，使得当输入第1样本321时，输出与对应的不一致性333匹配的输出值。
此时，与上述第2学习处理部115不同，在不一致性预测器57的机器学习中，无论稀有度325如何，本实施方式的第3学习处理部118都均匀地训练各第3学习数据集33。由此，针对各第3学习数据集33，构建被训练为根据第1时刻的第1样本321来预测对应的基于预测模型55的预测的不一致性333的不一致性预测器57。换言之，构建获得了对预测模型55针对任意时刻的规定数据的预测的不一致性进行预测的能力的学习完毕的不一致性预测器57。所构建的学习完毕的不一致性预测器57被上述稀有度设定部119利用。
(不一致性预测器的结构)
接着，对不一致性预测器57的结构的一例进行说明。如图4C所示，与上述预测模型55等同样地，不一致性预测器57由用于深度学习的多层构造的神经网络构成。不一致性预测器57具有输入层571、中间(隐藏)层572以及输出层573。但是，不一致性预测器57的构造也可以不限定于这样的例子，也可以根据实施方式来适当决定。例如，不一致性预测器57所具有的中间层的数量也可以不限定于1个，也可以是2个以上。
不一致性预测器57的各层571～573所包含的神经元(节点)的数量可以根据实施方式来适当选择。在图4C的例子中，不一致性预测器57的各神经元与相邻的层的所有神经元结合。但是，不一致性预测器57中的神经元的结合也可以不限定于这样的例子，也可以根据实施方式来适当设定。各层571～573所包含的各神经元间的结合的权重及各神经元的阈值是不一致性预测器57的运算参数的一例。
在本实施方式中，第3学习处理部118使用多个第3学习数据集33，执行由上述那样的神经网络构成的不一致性预测器57的机器学习。即，第3学习处理部118通过调整不一致性预测器57的运算参数的值，针对各第3学习数据集33训练不一致性预测器57，使得当对输入层571输入第1样本321时，从输出层573输出与对应的不一致性333匹配的输出值。在该机器学习的处理中，与预测模型55的机器学习不同，忽略稀有度325而均匀地训练各第3学习数据集33。“均匀地训练”是指不实施上述第2学习处理部115那样的根据稀有度325调整机器学习的程度。由此，第3学习处理部118构建学习完毕的不一致性预测器57，该学习完毕的不一致性预测器57获得了对预测模型55针对任意时刻的规定数据的预测的不一致性进行预测的能力。另外，上述预测模型55的训练和不一致性预测器57的训练可以交替地执行。
＜预测装置＞
接着，使用图5对本实施方式的预测装置2的软件结构的一例进行说明。图5示意性地例示本实施方式的预测装置2的软件结构的一例。
预测装置2的控制部21将存储在存储部22中的预测程序82在RAM中展开。然后，控制部21通过CPU来解释和执行在RAM中展开的预测程序82，从而对各构成要素进行控制。由此，如图5所示，本实施方式的预测装置2作为具有对象数据取得部211、预测部212以及输出部213作为软件模块的计算机来进行动作。即，在本实施方式中，预测装置2的各软件模块由控制部21(CPU)实现。
对象数据取得部211取得作为规定数据的对象样本221。在本实施方式中，对象数据取得部211从传感器S取得对象样本221。预测部212使用由模型生成装置1构建的学习完毕的预测模型55，根据所取得的对象样本221来预测在比取得了对象样本221的时刻靠未来的时刻出现在规定数据中的特征223。输出部213输出与预测了特征223的结果相关的信息。
另外，在本实施方式中，预测模型55通过机器学习而被训练为对包含由推测器51的编码器52得到的特征量在内的特征信息进行预测。因此，通过将预测模型55与推测器51的解码器53组合起来，能够构建可根据任意时刻的规定数据的样本来预测未来时刻的规定数据的样本及特征的预测推测器。
因此，在本实施方式中，预测部212通过保持第1学习结果数据121和第2学习结果数据123而包含推测器51的解码器53和预测模型55。预测部212利用预测模型55和解码器53，根据任意时刻的对象样本221来预测未来时刻的预测样本225及特征223。
具体来说，预测部212首先将对象样本221输入到预测模型55，执行预测模型55的运算处理。由此，预测部212利用预测模型55，根据对象样本221来预测未来时刻的规定数据的特征量。然后，预测部212将所预测的特征量输入到解码器53，执行解码器53的运算处理。由此，预测部212利用解码器53，根据所预测的特征量来复原预测样本225，并且预测在未来时刻出现在规定数据中的特征223。
＜其他＞
关于模型生成装置1以及预测装置2的各软件模块，在后述的动作例中详细地进行说明。另外，在本实施方式中，对模型生成装置1以及预测装置2的各软件模块均由通用的CPU实现的例子进行了说明。但是，以上的软件模块的一部分或全部也可以通过1个或多个专用的处理器来实现。另外，关于模型生成装置1以及预测装置2各自的软件结构，也可以根据实施方式，适当地进行软件模块的省略、置换以及追加。
§3动作例
[模型生成装置]
(A)推测器的机器学习
接着，使用图6对模型生成装置1的与推测器51的机器学习相关的动作例进行说明。图6是示出与模型生成装置1所进行的推测器51的机器学习相关的处理过程的一例的流程图。但是，以下说明的各处理过程只不过是一例，各步骤可以尽可能地变更。此外，关于以下说明的各处理过程，能够根据实施方式适当地进行步骤的省略、置换以及追加。
(步骤S101)
在步骤S101中，控制部11作为第1数据取得部111进行动作，取得在推测器51的机器学习中使用的多个第1学习数据集31。在本实施方式中，控制部11取得由样本311及正确解数据313的组合分别构成的多个第1学习数据集31。
取得各第1学习数据集31的方法没有特别限定，可以根据实施方式来适当选择。例如，准备与传感器S同种的传感器，通过准备的传感器在各种条件下进行观测，由此按时间序列取得规定数据。观察的对象可以根据从规定数据中推测的特征来适当选择。接着，从按时间序列得到的规定数据中适当提取样本311。然后，将表示在提取出的样本311中出现的特征的正确解数据313与该样本311建立关联。由此，能够生成各第1学习数据集31。
各第1学习数据集31既可以通过计算机的动作自动地生成，也可以通过操作员的操作手动地生成。另外，各第1学习数据集31的生成既可以由模型生成装置1进行，也可以由模型生成装置1以外的其他计算机进行。在模型生成装置1生成各第1学习数据集31的情况下，控制部11通过自动地或操作员经由输入装置14的操作来手动地执行上述一系列的处理，从而取得多个第1学习数据集31。另一方面，在其他计算机生成各第1学习数据集31的情况下，控制部11例如经由网络、存储介质91等取得由其他计算机生成的多个第1学习数据集31。也可以由模型生成装置1生成一部分的第1学习数据集31，由1个或多个其他计算机生成其他的第1学习数据集31。
所取得的第1学习数据集31的件数也可以没有特别限定，也可以根据实施方式来适当选择。当取得多个第1学习数据集31时，控制部11使处理进入到接下来的步骤S102。
(步骤S102)
在步骤S102中，控制部11作为第1学习处理部112进行动作，使用多个第1学习数据集31，执行推测器51的机器学习。在本实施方式中，控制部11通过机器学习，针对各第1学习数据集31训练推测器51，使得当对编码器52输入样本311时，从解码器53输出与样本311及正确解数据313匹配的输出值。由此，控制部11构建获得了对在规定数据中出现的特征进行推测的能力的学习完毕的推测器51。
作为机器学习的具体的处理过程的一例，控制部11首先准备成为处理对象的推测器51。准备的推测器51的构造(例如层的数量、各层所包含的神经元的数量、相邻的层的神经元彼此的结合关系等)、各神经元间的结合的权重的初始值、以及各神经元的阈值的初始值可以由模板赋予，也可以通过操作员的输入来赋予。另外，在进行再学习的情况下，控制部11也可以基于过去的通过进行机器学习而得到的学习结果数据，准备推测器51。
接着，控制部11利用各第1学习数据集31所包含的样本311作为输入数据，利用样本311及正确解数据313作为教师数据，执行构成推测器51的神经网络的学习处理。在该学习处理中，可以使用批量梯度下降法、随机梯度下降法、微批量梯度下降法等。
例如，在第1步骤中，控制部11针对各第1学习数据集31，向编码器52输入样本311，执行编码器52的运算处理。即，控制部11向编码器52的输入层521输入样本311，从输入侧依次进行各层521～523所包含的各神经元的激活判定。通过该运算处理，控制部11从编码器52的输出层523取得与将样本311变换为特征量的结果对应的输出值。
另外，控制部11将从编码器52取得的输出值输入到解码器53，执行解码器53的运算处理。即，控制部11将从编码器52取得的输出值输入到解码器53的输入层531，从输入侧依次进行各层531～533所包含的各神经元的激活判定。通过该运算处理，控制部11从解码器53的输出层533根据编码器52的输出值(特征量)来复原样本311，并且取得与对样本311中所包含的特征进行推测得到的结果对应的输出值。
在第2步骤中，控制部11基于损失函数来计算从输出层533取得的输出值与样本311及正确解数据313的误差。损失函数是评价学习模型的输出与正确解的差分的函数，从输出层533取得的输出值与样本311及正确解数据313的差分值越大，损失函数的值就越大。用于计算推测器51的误差的损失函数的种类没有特别限定，可以根据实施方式来适当选择。在第3步骤中，控制部11通过误差反向传播(Back propagation)法，使用计算出的输出值的误差，计算推测器51中的各神经元间的结合的权重及各神经元的阈值各自的误差。
在第4步骤中，控制部11基于计算出的各误差，进行推测器51的运算参数、即各神经元间的结合的权重及各神经元的阈值各自的值的更新。更新运算参数的值的程度可以通过学习率来调节。学习率确定在机器学习中更新运算参数的值的程度。学习率越大，运算参数的更新量越大，学习率越小，运算参数的更新量越小。在该情况下，控制部11根据将学习率乘以各误差而得到的值，进行各神经元间的结合的权重及各神经元的阈值各自的值的更新。在推测器51的机器学习中，学习率可以被适当赋予。例如，学习率可以由操作员的指定来赋予。
控制部11通过反复进行上述第1～第4步骤，针对各第1学习数据集31，调整推测器51的运算参数的值，以使从解码器53的输出层533输出的输出值与样本311及正确解数据313的误差之和变小。例如，控制部11也可以针对各第1学习数据集31，反复进行上述第1～第4步骤的运算参数的值的调整，直到从输出层533得到的输出值与样本311及正确解数据313的误差之和为阈值以下。阈值可以根据实施方式来适当设定。
该推测器51的运算参数的值的调整可以针对微批量(mini-batch)执行。在该情况下，在执行上述第1～第4步骤的处理之前，控制部11通过从多个第1学习数据集31提取任意数量的样本(第1学习数据集31)而生成微批量。然后，控制部11针对包含在所生成的微批量中的各第1学习数据集31，执行上述第1～第4步骤的处理。在反复进行第1～第4步骤的情况下，控制部11再次生成微批量，对所生成的新的微批量执行上述第1～第4步骤的处理。微批量的尺寸(即，样本数)可以根据实施方式来适当设定。另外，在推测器51的机器学习中，微批量的提取方法例如可以是随机等。
在该机器学习的过程中，编码器52被训练为将规定数据的样本311变换为特征量。并且，解码器53被训练成根据由编码器52得到的特征量来复原样本311，并且推测包含在样本311中的特征。样本311是本发明的“第3样本”的一例。其结果是，控制部11能够针对各第1学习数据集31构建推测器51，该推测器51被训练为针对样本311的输入而输出与样本311及正确解数据313匹配的输出值。该“匹配”也可以包括由于阈值等而在输出层533的输出值与教师数据(样本311及正确解数据313)之间产生能够容许的差异的情况。在后述的预测模型55及不一致性预测器57的机器学习中也同样如此。当推测器51的机器学习完成时，控制部11使处理进入到接下来的步骤S103。
另外，机器学习的具体的处理过程也可以不限定于这样的例子，也可以根据实施方式来适当决定。例如，在本实施方式中，推测器51由自编码器构成。因此，控制部11也可以进一步进行编码器52的输出值的标准化，以使从编码器52输出的特征量符合高斯分布等先验分布。例如，控制部11也可以在上述机器学习的过程中计算从编码器52输出的输出值与从先验分布中提取的值的误差，通过上述误差反向传播法，基于计算出的误差，进一步调整编码器52的运算参数的值。
(步骤S103)
在步骤S103中，控制部11作为第1保存处理部113进行动作，将与通过机器学习构建的学习完毕的推测器51相关的信息保存到规定的存储区域。在本实施方式中，控制部11生成表示通过步骤S102的机器学习而构建的学习完毕的推测器51(编码器52及解码器53)的构造和运算参数的信息作为第1学习结果数据121。与编码器52和解码器53分别相关的数据既可以作为同一文件来生成，也可以作为分开的文件来生成。然后，控制部11将所生成的第1学习结果数据121保存到规定的存储区域。
规定的存储区域例如可以是控制部11内的RAM、存储部12、外部存储装置、存储介质或它们的组合。存储介质例如可以是CD、DVD等，控制部11也可以经由驱动器16将第1学习结果数据121储存在存储介质中。外部存储装置例如可以是NAS(Network AttachedStorage：网络附加存储)等数据服务器。在该情况下，控制部11也可以利用通信接口13而经由网络将第1学习结果数据121储存到数据服务器。另外，外部存储装置例如也可以是与模型生成装置1连接的外置的存储装置。
由此，当第1学习结果数据121的保存完成时，控制部11结束与推测器51的机器学习相关的一系列的处理。
另外，在构建了学习完毕的推测器51之后，控制部11也可以将生成的第1学习结果数据121在任意的时机传送到预测装置2。预测装置2既可以通过从模型生成装置1接受传送而取得第1学习结果数据121，也可以通过访问模型生成装置1或者数据服务器而取得第1学习结果数据121。另外，第1学习结果数据121也可以预先组入到预测装置2。在预测装置2不利用编码器52的情况下，可以从预测装置2所保持的第1学习结果数据121中省略与编码器52相关的数据。
另外，控制部11也可以定期地反复进行上述步骤S101～103的处理，从而定期地更新第1学习结果数据121。在进行该反复时，可以适当执行第1学习数据集31的变更、修正、追加、删除等更新。而且，控制部11也可以在每次执行机器学习时将更新后的第1学习结果数据121传送到预测装置2，从而定期地更新预测装置2所保持的第1学习结果数据121。
(B)预测模型以及不一致性预测器的机器学习
接着，使用图7对模型生成装置1的与预测模型55以及不一致性预测器57的机器学习相关的动作例进行说明。图7是示出与模型生成装置1所进行的预测模型55以及不一致性预测器57的机器学习相关的处理过程的一例的流程图。以下说明的处理过程是本发明的“模型生成方法”的一例。但是，以下说明的各处理过程只不过是一例，各步骤可以尽可能地变更。此外，关于以下说明的各处理过程，能够根据实施方式来适当地进行步骤的省略、置换以及追加。
(步骤S201)
在步骤S201中，控制部11作为第2数据取得部114进行动作，取得多个第2学习数据集32，该多个第2学习数据集32各自由按时间序列得到的规定数据的第1时刻的第1样本321以及比第1时刻靠未来的第2时刻的第2样本322中所包含的特征信息323的组合构成的。
取得各第2学习数据集32的方法没有特别限定，可以根据实施方式来适当选择。例如，准备与传感器S同种的传感器，通过准备的传感器在各种条件下进行观测，由此按时间序列取得规定数据。接着，从按时间序列得到的规定数据中适当提取第1样本321和第2样本322。提取第1样本321和第2样本322得到的规定数据可以与在上述各第1学习数据集31的生成中利用的规定数据相同。
接着，从第2样本322取得特征信息323。在本实施方式中，特征信息323构成为包含第2样本322的特征量。从第2样本322计算特征量的方法没有特别限定，可以根据实施方式来适当选择。例如，也可以通过与特征量的提取相关的公知的运算方法，从第2样本322计算特征量。另外，在本实施方式中，通过上述推测器51的机器学习，构建了将规定数据的样本变换为特征量的学习完毕的编码器52。因此，构成特征信息323的特征量也可以通过由学习完毕的编码器52变换第2样本322来赋予。具体来说，向编码器52的输入层521输入第2样本322，从输入侧依次进行各层521～523所包含的各神经元的激活判定。通过该运算处理，取得从编码器52的输出层523输出的输出值(特征量)作为特征信息323。然后，将所得到的特征信息323与第1样本321建立关联。由此，能够生成各第2学习数据集32。
进而，对所生成的各第2学习数据集32设定表示各第2学习数据集32的稀有性的程度的稀有度325。稀有性是指从规定数据得到的程度少。在本实施方式中，如后所述，通过步骤S203的判定，在反复进行步骤S202的处理的过程中，稀有度325被更新为表示各第2学习数据集32的稀有性的程度。因此，在通过本步骤S201取得各第2学习数据集32的阶段中，稀有度325也可以随机、通过模板等适当地设定。另外，稀有度325也可以通过操作员的指定来设定。
各第2学习数据集32既可以通过计算机的动作而自动地生成，也可以通过操作员的操作而手动地生成。另外，各第2学习数据集32的生成既可以由模型生成装置1进行，也可以由模型生成装置1以外的其他计算机进行。在模型生成装置1生成各第2学习数据集32的情况下，控制部11通过自动或者通过操作员的经由输入装置14的操作而手动地执行上述一系列的处理，从而取得多个第2学习数据集32。另一方面，在其他计算机生成各第2学习数据集32的情况下，其他计算机也可以为了利用学习完毕的推测器51的编码器52，从模型生成装置1取得第1学习结果数据121。在不利用解码器53的情况下，可以从其他计算机所取得的第1学习结果数据121中省略与解码器53相关的数据。由此，其他计算机能够利用学习完毕的推测器51的编码器52自动或手动地执行上述一系列的处理，从而生成各第2学习数据集32。控制部11例如经由网络、存储介质91等取得由其他计算机生成的多个第2学习数据集32。也可以由模型生成装置1生成一部分的第2学习数据集32，由1个或多个其他计算机生成其他的第2学习数据集32。另外，各第2学习数据集32的生成及稀有度325的设定也可以由不同的计算机执行。
取得的第2学习数据集32的件数没有特别限定，可以根据实施方式来适当选择。当取得多个第2学习数据集32时，控制部11使处理进入到接下来的步骤S202。
(步骤S202)
在步骤S202中，控制部11作为第2学习处理部115进行动作，使用多个第2学习数据集32来执行预测模型55的机器学习。在本实施方式中，控制部11通过机器学习，针对各第2学习数据集32训练预测模型55，使得当输入第1样本321时，输出与对应的特征信息323匹配的输出值。由此，控制部11针对各第2学习数据集32，构建被训练为根据第1时刻的第1样本321来预测第2时刻的特征信息323的预测模型55。
机器学习的具体的处理过程基本上可以与推测器51的机器学习的处理过程相同。首先，控制部11准备成为处理对象的预测模型55。准备的预测模型55的构造、各神经元间的结合的权重的初始值以及各神经元的阈值的初始值可以通过模板来赋予，也可以通过操作员的输入来赋予。在进行再学习的情况下，控制部11也可以基于过去的通过进行机器学习而得到的学习结果数据，准备预测模型55。在由于后述的步骤S203的条件分支而再次执行步骤S202的情况下，控制部11基于之前的通过执行步骤S202的处理而得到的学习结果，准备成为处理对象的预测模型55。
接着，控制部11利用各第2学习数据集32所包含的第1样本321作为输入数据，利用特征信息323作为教师数据，执行构成预测模型55的神经网络的学习处理。在该学习处理中，可以使用批量梯度下降法、随机梯度下降法、微批量梯度下降法等。
例如，在第1步骤中，控制部11针对各第2学习数据集32，将第1样本321输入到预测模型55，执行预测模型55的运算处理。即，控制部11向预测模型55的输入层551输入第1样本321，从输入侧依次进行各层551～553所包含的各神经元的激活判定。通过该运算处理，控制部11从预测模型55的输出层553取得与从第1时刻的第1样本321预测第2时刻的特征信息323的结果对应的输出值。
在第2步骤中，控制部11基于损失函数来计算从输出层553取得的输出值与对应的特征信息323的误差。用于计算预测模型55的误差的损失函数的种类也可以没有特别限定，也可以根据实施方式来适当选择。在第3步骤中，控制部11通过误差反向传播法，使用计算出的输出值的误差，计算预测模型55中的各神经元间的结合的权重及各神经元的阈值各自的误差。在第4步骤中，控制部11基于计算出的各误差，进行预测模型55的运算参数、即各神经元间的结合的权重及各神经元的阈值各自的值的更新。更新运算参数的值的程度可以通过学习率进行调节。
控制部11通过反复进行上述第1～第4步骤，针对各第2学习数据集32，调整预测模型55的运算参数的值，以使从输出层553输出的输出值与特征信息323的误差之和变小。例如，控制部11也可以针对各第2学习数据集32，反复进行上述第1～第4步骤的运算参数的值的调整，直到从输出层553得到的输出值与特征信息323的误差之和为阈值以下。阈值可以根据实施方式来适当设定。
该预测模型55的运算参数的值的调整可以针对微批量执行。在该情况下，在执行上述第1～第4步骤的处理之前，控制部11通过从多个第2学习数据集32提取任意数量的样本(第2学习数据集32)来生成微批量。微批量的尺寸可以根据实施方式来适当设定。然后，控制部11针对所生成的微批量中所包含的各第2学习数据集32，执行上述第1～第4步骤的处理。在反复进行第1～第4步骤的情况下，控制部11再次生成微批量，对所生成的新的微批量执行上述第1～第4步骤的处理。
在本实施方式中，在各第2学习数据集32中设定有表示各第2学习数据集32的稀有性的程度的稀有度325。在上述预测模型55的机器学习中，越是稀有度325高的第2学习数据集32，控制部11越重点进行训练。重点进行训练的方法只要是在预测模型55所获得的预测能力中稀有度325高的第2学习数据集32的影响程度比稀有度325低的第2学习数据集32大的方法，则也可以没有特别限定，可以根据实施方式来适当选择。在本实施方式中，控制部11通过以下两种方法中的至少任意一种方法，在上述预测模型55的机器学习中，越是稀有度325高的第2学习数据集32，越重点进行训练。
(A)采样次数
在第1方法中，越是稀有度325高的第2学习数据集32，控制部11越增多在上述机器学习中的采样次数，由此，越是稀有度325高的第2学习数据集32，越重点进行训练。也就是说，在第1方法中，各第2学习数据集32的学习的程度基于将各第2学习数据集32作为样本而取出的频率来控制。
作为一例，控制部11在生成上述微批量时，与稀有度325低的第2学习数据集32相比，控制部11提高稀有度325高的第2学习数据集32被提取到微批量中的概率。即，与稀有度325低的第2学习数据集32相比，容易频繁地将稀有度325高的第2学习数据集32提取到微批量中。稀有度325与提取概率的具体的对应关系可以适当决定。
由此，与稀有度325低的第2学习数据集32相比，能够增多稀有度325高的第2学习数据集32的采样次数。如果该采样次数变多，则在预测模型55的运算参数的值的调整中被使用的次数变多。因此，根据该第1方法，在预测模型55的机器学习中，与稀有度325低的第2学习数据集32相比，能够增大稀有度325高的第2学习数据集32的影响程度。
(B)加权
在第2方法中，越是稀有度325高的第2学习数据集32，控制部11越增大在上述机器学习中的加权，由此，越是稀有度325高的第2学习数据集32，越重点进行训练。
作为一例，控制部11根据稀有度325来设定上述学习率的值。即，稀有度325越高，控制部11越将学习率设定为较大的值，稀有度325越低，越将学习率设定为较小的值。稀有度325与学习率的值的具体的对应关系可以根据实施方式来适当决定。
由此，与稀有度325低的第2学习数据集32相比，稀有度325高的第2学习数据集32的学习率的值被设定得较大。如果学习率的值变大，则在上述第4步骤中，针对作为对象的第2学习数据集32，调整预测模型55的运算参数的值时的更新量变大，即，在机器学习中的加权变大。因此，根据该第2方法，在预测模型55的机器学习中，与稀有度325低的第2学习数据集32相比，能够增大稀有度325高的第2学习数据集32的影响程度。
作为以上的机器学习的结果，控制部11能够针对各第2学习数据集32构建预测模型55，该预测模型55被训练为当输入第1时刻的第1样本321时，输出与第2时刻的特征信息323匹配的输出值。当预测模型55的机器学习完成时，控制部11使处理进入到接下来的步骤S203。
(步骤S203)
在步骤S203中，控制部11判定是否反复进行预测模型55(以及不一致性预测器57)的机器学习的处理。反复进行机器学习的基准可以根据实施方式来适当决定。
例如，可以设定实施预测模型55的机器学习的规定次数。该规定次数可以固有地设定在模型生成装置1中，也可以通过操作员的指定来设定。在该情况下，控制部11判定执行了上述步骤S202(或者后述的步骤S205)的机器学习的次数是否达到了规定次数。在判定为执行了上述步骤S202的机器学习的次数未达到规定次数的情况下，控制部11使处理进入到接下来的步骤S204。另一方面，在判定为执行了上述步骤S202的机器学习的次数达到了规定次数的情况下，控制部11结束步骤S202的机器学习的执行，使处理进入到接下来的步骤S207。
另外，例如，控制部11也可以利用评价用数据来评价预测模型55的预测的精度，并基于所评价的预测模型55的精度是否满足规定的基准来判定是否结束机器学习的处理。评价用数据可以包含与第2学习数据集32分别同样的多个数据集。也就是说，评价用的各数据集可以由第1时刻的样本及第2时刻的特征信息的正确解数据的组合构成。该评价用的各数据集可以从稀有度325高的第2学习数据集32中选择。或者，评价用的各数据集可以生成为能够作为稀有度325高的第2学习数据集32来利用。关于稀有度325是否高，例如可以基于与阈值的比较来评价。在该情况下，控制部11对通过步骤S202而学习完毕的预测模型55输入评价用的各数据集所包含的样本，执行预测模型55的运算处理。由此，控制部11取得与根据第1时刻的样本预测第2时刻的特征信息的结果对应的输出值。控制部11将得到的输出值与特征信息的正确解数据进行对照，判定预测模型55对评价用的各数据集的预测是否正确，由此评价预测模型55的预测精度。在该预测精度不满足规定的基准(例如预测精度为阈值以下)的情况下，控制部11判定为要反复进行机器学习的处理，使处理进入到接下来的步骤S204。另一方面，在预测精度满足规定的基准的情况下，控制部11判定为结束机器学习的处理，使处理进入到接下来的步骤S207。
另外，如图7所示，在使处理进入到步骤S204的情况下，在执行了步骤S204以后的处理之后，处理返回到步骤S202。因此，在选择了步骤S204的情况下，控制部11也可以将基于步骤S202的暂定的学习结果、即表示与学习完毕的预测模型55相关的信息的数据保存到规定的存储区域。规定的存储区域例如可以是控制部11内的RAM、存储部12、外部存储装置、存储介质或它们的组合。
(步骤S204)
在步骤S204中，控制部11作为第3数据取得部117进行动作，取得由各第2学习数据集32的第1时刻的第1样本321以及预测模型55对该第1样本321的预测的不一致性333的组合分别构成的多个第3学习数据集33。
各第3学习数据集33可以利用通过步骤S202构建的学习完毕的预测模型55和各第2学习数据集32而适当生成。例如，向通过步骤S202构建的学习完毕的预测模型55输入各第2学习数据集32的第1样本321，执行预测模型55的运算处理。由此，从预测模型55取得与根据第1时刻的第1样本321预测第2时刻的特征信息的结果对应的输出值。能够基于该预测模型55的输出值与对应的特征信息323(正确解数据)的比较，计算预测的不一致性333。例如，也可以通过损失函数来计算预测模型55的输出值与对应的特征信息323的误差，并取得计算出的误差作为不一致性333。也可以利用其他的误差的评价函数来计算不一致性333。另外，例如，也可以计算预测模型55的输出值与对应的特征信息323的差分值作为不一致性333。然后，将计算出的不一致性333与第1样本321建立关联。由此，能够生成各第3学习数据集33。通过上述步骤S203的判定，在反复进行步骤S204的处理的情况下，在每次反复进行该步骤S204时，可以执行各第3学习数据集33的生成。
各第3学习数据集33既可以通过计算机的动作而自动地生成，也可以通过操作员的操作而手动地生成。另外，各第3学习数据集33的生成既可以由模型生成装置1进行，也可以由模型生成装置1以外的其他计算机进行。在模型生成装置1生成各第3学习数据集33的情况下，控制部11通过自动地或通过操作员的经由输入装置14的操作而手动地执行上述一系列的处理，从而取得多个第3学习数据集33。另一方面，在其他计算机生成各第3学习数据集33的情况下，其他计算机为了利用学习完毕的预测模型55，从模型生成装置1取得步骤S202的学习结果的数据。例如，其他计算机也可以取得表示保存在规定的存储区域中的学习结果的数据。另外，其他计算机也可以适当取得各第2学习数据集32的第1样本321。由此，其他计算机利用预测模型55自动地或手动地执行上述一系列的处理，由此生成各第3学习数据集33。控制部11例如经由网络、存储介质91等取得由其他计算机生成的多个第3学习数据集33。也可以由模型生成装置1生成一部分的第3学习数据集33，由1个或多个其他计算机生成其他的第3学习数据集33。
取得的第3学习数据集33的件数也可以没有特别限定，可以根据实施方式来适当选择。当取得多个第3学习数据集33时，控制部11使处理进入到接下来的步骤S205。
(步骤S205)
在步骤S205中，控制部11作为第3学习处理部118进行动作，使用多个第3学习数据集33来执行不一致性预测器57的机器学习。在本实施方式中，控制部11通过机器学习，针对各第3学习数据集33训练不一致性预测器57，使得当输入第1样本321时，输出与对应的不一致性333匹配的输出值。由此，控制部11针对各第3学习数据集33，构建被训练为根据第1时刻的第1样本321来预测基于预测模型55的预测的不一致性333的不一致性预测器57。也就是说，不一致性预测器57构成为针对各第3学习数据集33，根据第1时刻的第1样本321来预测基于预测模型55的预测的不一致性。
机器学习的具体的处理过程基本上可以与推测器51的机器学习的处理过程相同。首先，控制部11准备成为处理对象的不一致性预测器57。准备的不一致性预测器57的构造、各神经元间的结合的权重的初始值以及各神经元的阈值的初始值可以通过模板来赋予，也可以通过操作员的输入来赋予。在得到了学习完毕的不一致性预测器57、即不一致性预测器57的机器学习已经被执行了的情况下，也可以基于从过去的机器学习的结果得到的学习结果数据，准备成为处理对象的不一致性预测器57。
接着，控制部11利用各第3学习数据集33所包含的第1样本321作为输入数据，利用不一致性333作为教师数据，执行构成不一致性预测器57的神经网络的学习处理。在该学习处理中，与上述推测器51等同样，可以使用批量梯度下降法、随机梯度下降法、微批量梯度下降法等。
例如，在第1步骤中，控制部11针对各第3学习数据集33，将第1样本321输入到不一致性预测器57，执行不一致性预测器57的运算处理。即，控制部11向不一致性预测器57的输入层571输入第1样本321，从输入侧依次进行各层571～573所包含的各神经元的激活判定。通过该运算处理，控制部11从不一致性预测器57的输出层573取得与预测了预测模型55对第1样本321的预测的不一致性的结果对应的输出值。
在第2步骤中，控制部11基于损失函数来计算从输出层573取得的输出值与对应的不一致性333(正确解数据)的误差。用于计算不一致性预测器57的误差的损失函数的种类也可以没有特别限定，可以根据实施方式来适当选择。在第3步骤中，控制部11通过误差反向传播法，使用计算出的输出值的误差来计算不一致性预测器57中的各神经元间的结合的权重及各神经元的阈值各自的误差。在第4步骤中，控制部11基于计算出的各误差，进行不一致性预测器57的运算参数、即各神经元间的结合的权重及各神经元的阈值各自的值的更新。更新运算参数的值的程度可以通过学习率进行调节。
控制部11通过反复进行上述第1～第4步骤，针对各第3学习数据集33，调整不一致性预测器57的运算参数的值，以使从输出层573输出的输出值与不一致性333的误差之和变小。例如，控制部11也可以针对各第3学习数据集33，反复进行上述第1～第4步骤的运算参数的值的调整，直到从输出层573输出的输出值与不一致性333的误差之和为阈值以下。阈值可以根据实施方式来适当设定。
该不一致性预测器57的运算参数的值的调整可以针对微批量执行。在该情况下，在执行上述第1～第4步骤的处理之前，控制部11通过从多个第3学习数据集33提取任意数量的样本(第3学习数据集33)而生成微批量。微批量的尺寸可以根据实施方式来适当设定。然后，控制部11针对所生成的微批量中包含的各第3学习数据集33，执行上述第1～第4步骤的处理。在反复进行第1～第4步骤的情况下，控制部11再次生成微批量，对所生成的新的微批量执行上述第1～第4步骤的处理。
在本实施方式中，与上述预测模型55的机器学习不同，在不一致性预测器57的机器学习中，无论稀有度325如何，控制部11都均匀地训练各第3学习数据集33。即，针对不一致性预测器57，控制部11不实施基于上述各方法的与稀有度325对应的机器学习的程度的调整。例如，在生成微批量的情况下，控制部11从多个第3学习数据集33无偏差地随机提取样本(第3学习数据集33)。另外，控制部11将针对各第3学习数据集33的学习率设定为相同的值。另外，“均匀地训练”是指以与被赋予的稀有度325无关地进行训练，例如可以包含通过随机地生成微批量等而最终产生预料之外的机器学习的不均匀性的情况。
作为以上的机器学习的结果，控制部11能够针对各第3学习数据集33构建不一致性预测器57，该不一致性预测器57被训练为当输入第1时刻的第1样本321时，输出与预测模型55对该第1样本321的预测的不一致性333匹配的输出值。当不一致性预测器57的机器学习完成时，控制部11使处理进入到接下来的步骤S206。
(步骤S206)
在步骤S206中，控制部11作为稀有度设定部119进行动作，设定(更新)各第2学习数据集32的稀有度325。在本实施方式中，控制部11利用通过步骤S205构建的学习完毕的不一致性预测器57，设定各第2学习数据集32的稀有度325。
控制部11将各第2学习数据集32的第1样本321输入到不一致性预测器57，执行不一致性预测器57的运算处理。由此，控制部11从不一致性预测器57取得与预测了预测模型55对该第1样本321的预测的不一致性的结果对应的输出值。控制部11根据该不一致性的预测的结果(即，所预测的不一致性)，设定各第2学习数据集32的稀有度325。具体来说，所预测的不一致性越大，控制部11将稀有度325设定得越高，所预测的不一致性越小，控制部11将稀有度325设定得越小。不一致性的预测的结果与稀有度325的具体的对应关系可以根据实施方式来适当决定。
在上述步骤S205的不一致性预测器57的机器学习中，控制部11与稀有度325无关地训练各第3学习数据集33。当均匀地训练学习数据时，与稀有现象相关的学习数据的训练结果可能被埋没在与多见现象(例如持续现象)相关的学习数据的训练结果中。因此，当与稀有度325无关地训练各第3学习数据集33时，在预测模型55根据第1样本321来预测稀有性高的第2样本322的特征信息323的场景下，学习完毕的不一致性预测器57构建为对预测模型55的预测的不一致性进行预测的精度变差。即，学习完毕的不一致性预测器57构建为：越是与稀有性高的特征信息323建立了关联的第1样本321，预测模型55越错误地预测，换言之，预测为不一致性变大。因此，根据通过上述步骤S205训练出的不一致性预测器57，能够适当地评价各第2学习数据集32的稀有性。
在本实施方式中，各第2学习数据集32的稀有度325根据不一致性预测器57预测的不一致性来设定，其结果是，对应的特征信息323根据在规定数据中出现的不规则性的程度来设定。也就是说，特征信息323所示的特征在规定数据中出现的不规则性越高，该现象发生的可能性越低，因此，在第2学习数据集32的数据群中，包含该不规则性高的特征信息323的第2学习数据集32的件数变少。与此相应地，包含与不规则性高的特征信息323关联的第1样本321的第3学习数据集33的件数也变少。因此，如上所述，被均匀地训练出的不一致性预测器57对该第1样本321的不一致性的预测的精度能够变差，换言之能够预测为不一致性变大。其结果是，包含不规则性高的特征信息323的第2学习数据集32的稀有度325被设定得较高。因此，在本实施方式中，控制部11通过利用被均匀地训练出的不一致性预测器57，根据特征信息323在规定数据中出现的不规则性的程度，设定各第2学习数据集32的稀有度325。当稀有度325的设定完成时，控制部11使处理返回到步骤S202。
另外，在由于步骤S203的条件分支而反复进行步骤S202及步骤S204～步骤S206的一系列的处理的情况下，交替地反复执行步骤S202的预测模型55的训练以及步骤S205的不一致性预测器57的训练。在该情况下，在步骤S204中，通过更新后的预测模型55得到各第3学习数据集33。另外，在步骤S206中，通过更新后的不一致性预测器57来设定(更新)各第2学习数据集32的稀有度325。
在该过程中，在预测模型55的机器学习中，越是稀有度325高的第2学习数据集32，控制部11越重点进行训练，另一方面，在不一致性预测器57的机器学习中，控制部11均匀地训练各第3学习数据集33。由此，在预测模型55中蓄积有较多的基于稀有度325高的第2学习数据集32的训练结果，与此相对，在不一致性预测器57中均匀地蓄积基于各第3学习数据集33的训练结果。其结果是，提高了预测模型55对稀有性高的样本的预测精度，与此相对，与预测模型55相比，不一致性预测器57对稀有性高的样本的预测精度不提高。因此，在反复进行上述一系列处理的过程中，能够利用不一致性预测器57适当地设定各第2学习数据集32的稀有度325，并且实现预测模型55对稀有性高的样本的预测精度的提高。
(步骤S207)
在步骤S207中，控制部11作为第2保存处理部116进行动作，将与通过机器学习而构建的学习完毕的预测模型55相关的信息保存到规定的存储区域。在本实施方式中，控制部11生成表示通过步骤S202的机器学习而构建的学习完毕的预测模型55的构造和运算参数的信息作为第2学习结果数据123。然后，控制部11将生成的第2学习结果数据123保存到规定的存储区域。控制部11也可以针对学习完毕的不一致性预测器57，生成学习结果数据，并将生成的学习结果数据保存到规定的存储区域。规定的存储区域例如可以是控制部11内的RAM、存储部12、外部存储装置、存储介质或它们的组合。当第2学习结果数据123的保存完成时，控制部11结束与预测模型55及不一致性预测器57的机器学习相关的一系列的处理。
另外，在构建了学习完毕的预测模型55之后，控制部11也可以将生成的第2学习结果数据123在任意的时机传送到预测装置2。预测装置2既可以通过从模型生成装置1接受传送而取得第2学习结果数据123，也可以通过访问模型生成装置1或者数据服务器来取得第2学习结果数据123。并且，第2学习结果数据123也可以预先组入到预测装置2。
另外，控制部11也可以定期地反复进行上述步骤S201～207的处理，从而定期地更新第2学习结果数据123。在该反复时，可以适当执行第2学习数据集32的变更、修正、追加、删除等更新。而且，控制部11也可以在每次执行机器学习时将更新后的第2学习结果数据123传送到预测装置2，从而定期地更新预测装置2所保持的第2学习结果数据123。
[预测装置]
接着，使用图8对利用学习完毕的预测模型55的预测装置2的动作例进行说明。图8是示出与预测装置2的预测处理相关的处理过程的一例的流程图。但是，以下说明的各处理过程只不过是一例，各步骤可以尽可能地变更。此外，关于以下说明的各处理过程，能够根据实施方式来适当地进行步骤的省略、置换以及追加。
(步骤S301)
在步骤S301中，控制部21作为对象数据取得部211进行动作，取得规定数据的对象样本221。在本实施方式中，预测装置2经由外部接口27而与传感器S连接。因此，控制部21经由外部接口27从传感器S取得对象样本221。
但是，取得对象样本221的路径也可以不限定于这样的例子，也可以根据实施方式来适当决定。例如，也可以在与预测装置2不同的其他计算机上连接传感器S。在该情况下，控制部21也可以通过从其他计算机受理对象样本221的发送来取得对象样本221。当取得对象样本221时，控制部21使处理进入到接下来的步骤S302。
(步骤S302)
在步骤S302中，控制部21作为预测部212进行动作，使用由模型生成装置1构建的学习完毕的预测模型55，根据取得的对象样本221来预测在比取得了对象样本221的时刻靠未来的时刻出现在规定数据中的特征223。
在本实施方式中，控制部21参照第2学习结果数据123来进行学习完毕的预测模型55的设定。另外，控制部21参照第1学习结果数据121来进行学习完毕的推测器51的解码器53的设定。接着，控制部21将所取得的对象样本221输入到预测模型55，执行预测模型55的运算处理。即，控制部21将对象样本221输入到预测模型55的输入层551，从输入侧依次进行各层551～553所包含的各神经元的激活判定。由此，控制部21根据对象样本221来预测未来时刻的规定数据的特征信息(特征量)。
同样地，控制部21将预测模型55的输出值输入到解码器53，执行解码器53的运算处理。即，控制部21将预测模型55的输出值输入到解码器53的输入层531，从输入侧起依次进行各层531～533所包含的各神经元的激活判定。由此，控制部21根据由预测模型55预测的特征量，复原预测样本225，并且从解码器53的输出层533取得与预测了在未来时刻出现在规定数据中的特征223的结果对应的输出值。在本实施方式中，得到该输出值的情况与对预测样本225及特征223进行预测的情况相对应。当根据对象样本221对未来的特征223的预测完成时，控制部21使处理进入到接下来的步骤S303。
(步骤S303)
在步骤S303中，控制部21作为输出部213进行动作，输出与预测的结果(特征223及预测样本225)相关的信息。
输出目的地及输出的信息的内容分别可以根据实施方式来适当决定。例如，控制部21也可以将根据对象样本221预测的、未来时刻的规定数据的特征223以及预测样本225直接输出到输出装置25。另外，例如，控制部21也可以基于预测的结果来执行某些信息处理。然后，控制部21也可以将执行了该信息处理的结果作为与预测的结果相关的信息来输出。在执行了该信息处理的结果的输出中，可以包括根据预测的结果而输出警告等特定的消息、根据预测的结果对控制对象装置的动作进行控制等。输出目的地例如可以是输出装置25、控制对象装置等。当与预测的结果相关的信息的输出完成时，控制部21结束与利用了学习完毕的预测模型55的预测处理相关的一系列的处理。
[特征]
如上所述，本实施方式的模型生成装置1在步骤S202的预测模型55的机器学习中越是稀有度325高的第2学习数据集32越重点进行训练。由此，能够防止稀有度325高的第2学习数据集32埋没于稀有度325低的第2学习数据集32，能够将基于稀有度325高的第2学习数据集32的训练结果适当地反映到预测模型55所学到的预测能力中。因此，根据本实施方式的模型生成装置1，能够构建可高精度地预测稀有现象的预测模型55。例如，能够构建能够以与具有规则性的持续现象等稀有性低的现象相同程度对比较短期地带来急剧变化的现象等稀有性高的现象进行预测的预测模型55。另外，在预测装置2中，通过利用这样构建的预测模型55，能够提高步骤S302中的特征223的预测的精度。
另外，本实施方式的模型生成装置1通过步骤S206的处理，利用不一致性预测器57来设定各第2学习数据集32的稀有度325。由此，能够使设定稀有度325的处理自动化，因此能够减少与预测模型55的机器学习相关的一系列处理的麻烦。此外，本实施方式的模型生成装置1通过步骤S203的条件分支，交替地反复执行步骤S202的预测模型55的训练以及步骤S205的不一致性预测器57的训练。在该过程中，在预测模型55的机器学习中，越是稀有度325高的第2学习数据集32，本实施方式的模型生成装置1越重点进行训练，另一方面，在不一致性预测器57的机器学习中，本实施方式的模型生成装置1均匀地训练各第3学习数据集33。由此，能够利用不一致性预测器57适当地设定各第2学习数据集32的稀有度325，并且实现预测模型55对稀有性高的样本的预测精度的提高。
§4变形例
以上，对本发明的实施方式进行了详细说明，但上述的说明在所有方面只不过是本发明的例示。当然能够在不脱离本发明的范围的情况下进行各种改良和变形。例如，能够进行以下的变更。另外，以下，对与上述实施方式相同的构成要素使用相同的标号，对与上述实施方式相同的方面适当省略说明。以下的变形例能够适当组合。
＜4.1＞
上述实施方式的预测系统100应用在对由传感器S得到的感测数据中包含的特征进行预测的场景中。但是，上述实施方式的应用范围并不限定于这样的例子。上述实施方式的预测系统100能够应用在根据按时间序列得到的规定数据的某时刻的样本来预测在未来时刻可能产生的现象的所有场景中。以下，例示限定了应用场景的6个变形例。
(A)监视移动体的周围环境的状况的场景
图9示意性地例示第1变形例的预测系统100A的应用场景的一例。本变形例是将上述实施方式应用于监视移动体的周围环境的状况的场景的例子。车辆VA是移动体的一例。具体来说，车辆VA是汽车。但是，移动体不限于车辆VA，例如也可以是无人机等飞行体等。如图9所示，本变形例的预测系统100A具有模型生成装置1和监视装置2A。与上述实施方式同样，模型生成装置1和监视装置2A可以经由网络而相互连接。
本变形例的预测系统100A除了处理的数据不同这一点以外，也可以与上述实施方式同样地构成。监视装置2A与上述预测装置2对应。监视装置2A可以与上述预测装置2同样地构成。模型生成装置1通过机器学习来构建预测模型55A，该预测模型55A被训练为能够根据用于监视移动体的周围环境的状况的监视传感器所得到的任意时刻的感测数据，预测在未来时刻的感测数据中出现的特征。另一方面，监视装置2A利用预测模型55A，根据由监视传感器得到的任意时刻的感测数据来预测未来时刻的周围环境的状况。按时间序列得到的上述规定数据可以是由监视传感器得到的感测数据，上述特征信息323可以与该感测数据体现的周围环境的状况相关。
在本变形例中，为了监视车辆VA周围的环境，车辆VA具有摄像机SA1和2个Lidar传感器(SA2、SA3)。摄像机SA1和2个Lidar传感器(SA2、SA3)分别是用于监视移动体的周围环境的状况的监视传感器的一例。摄像机SA1例如配置于车内后视镜附近等对车辆VA的外部的状况进行监视。摄像机SA1例如可以是通常的摄像机、深度摄像机、红外线摄像机等。
另外，2个Lidar传感器(SA2、SA3)以能够取得车辆VA前方的信息的方式配置于车辆VA的前部的左右两侧。在本变形例中，第一Lidar传感器SA2以能够取得车辆VA前方右侧的信息的方式配置于前部的右侧，第二Lidar传感器SA3以能够取得车辆VA前方左侧的信息的方式配置于前部的左侧。
在本变形例中，模型生成装置1通过机器学习来构建预测模型55A，该预测模型55A被训练为能够根据任意时刻的图像数据来预测与在未来时刻的图像数据中呈现的对象物的属性相关的特征。也就是说，在本变形例中，由摄像机SA1得到的图像数据是本发明的“按时间序列得到的规定数据”的一例，被当作成为对在未来时刻可能产生的现象进行预测的处理的对象的上述规定数据。在图像数据中呈现的对象物的属性是周围环境的状况的一例。
另一方面，监视装置2A与摄像机SA1和2个Lidar传感器(SA2、SA3)连接。监视装置2A通过利用摄像机SA1拍摄车辆VA前方的状况来取得图像数据。然后，监视装置2A利用学习完毕的预测模型55A，根据由摄像机SA1得到的任意时刻的图像数据来预测与在未来时刻的图像数据中呈现的对象物的属性相关的特征。进而，监视装置2A通过由2个Lidar传感器(SA2、SA3)分别得到的感测数据，监视车辆VA前方的状况。
但是，在本变形例的场景下，按时间序列得到的规定数据也可以不限于由摄像机SA1得到的图像数据。也可以将由两个Lidar传感器(SA2、SA3)中的至少任意一个得到的感测数据作为该规定数据来处理。另外，为了监视车辆VA周围的环境，车辆VA也可以与摄像机SA1和2个Lidar传感器(SA2、SA3)一起或者代替摄像机SA1和2个Lidar传感器(SA2、SA3)中的至少一个而具有毫米波雷达等其他监视传感器。在该情况下，也可以将由其他监视传感器得到的感测数据作为该规定数据来处理。
＜监视装置的硬件结构＞
接着，进一步使用图10对本变形例的监视装置2A的硬件结构的一例进行说明。图10示意性地例示本变形例的监视装置2A的硬件结构的一例。本变形例的监视装置2A与上述预测装置2同样，是控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接而成的计算机。监视装置2A经由外部接口27而与摄像机SA1和2个Lidar传感器(SA2、SA3)连接。但是，监视装置2A的硬件结构也可以不限定于这样的例子。关于监视装置2A的具体的硬件结构，能够根据实施方式来适当地省略、置换以及追加构成要素。监视装置2A除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的计算机、包括智能手机在内的移动电话、车载装置等。
本变形例的监视装置2A的存储部22存储监视程序82A、第1学习结果数据121A、第2学习结果数据123A等各种信息。监视程序82A、第1学习结果数据121A以及第2学习结果数据123A与上述实施方式的预测程序82、第1学习结果数据121以及第2学习结果数据123对应。监视程序82A、第1学习结果数据121A以及第2学习结果数据123A中的至少一个也可以存储于存储介质92。另外，监视装置2A也可以从存储介质92取得监视程序82A、第1学习结果数据121A以及第2学习结果数据123A中的至少一个。
＜推测器的机器学习＞
接着，对本变形例中的推测器51A的机器学习的处理过程的一例进行说明。如图9所示，在本变形例中，模型生成装置1除了将配置为监视车辆的外部状况的摄像机所得到的图像数据作为规定数据来处理这一点以外，与上述实施方式同样地执行与推测器51A的机器学习相关的一系列的处理。
即，在步骤S101中，模型生成装置1的控制部11取得在推测器51A的机器学习中利用的多个第1学习数据集31A。在本变形例中，推测器51A与上述实施方式的推测器51同样地具有编码器52A和解码器53A。编码器52A和解码器53A分别与上述实施方式同样地由神经网络构成，与上述编码器52和解码器53分别同样地进行动作。
各第1学习数据集31A与上述实施方式的各第1学习数据集31对应。在本变形例中，各第1学习数据集31A由被配置为监视车辆的外部状况的摄像机按时间序列得到的图像数据的样本311A以及表示在样本311A中出现的特征(正确解)的正确解数据313A的组合构成。正确解数据313A所示的特征例如可以是在样本311A中呈现的对象物的属性。对象物例如可以是移动体行进的通路、在移动体的行进方向上存在的物体等。移动体行进的通路例如可以是车辆VA能够行驶的道路。在移动体的行进方向上存在的物体例如可以是信号机、障碍物(人、物体)等。对象物的属性例如可以是通路的路面状态、信号机的点亮状态、障碍物的有无、障碍物的类别、障碍物的尺寸、障碍物的大小、障碍物的速度等。另外，对象物的属性也可以包含表示人或车辆的飞出、突然起动、急停车、车道变更等事件的事件信息。该事件信息也可以通过障碍物的有无、障碍物的速度等属性来表现。
与上述实施方式同样地，取得各第1学习数据集31A的方法可以适当选择。另外，各第1学习数据集31A可以适当生成。例如，准备与摄像机SA1相同种类的摄像机，通过准备的摄像机在各种条件下拍摄车辆外部的状况，由此按时间序列取得图像数据。接着，从按时间序列得到的图像数据中适当提取样本311A。然后，将提取出的样本311A与表示例如在该样本311A中呈现的对象物的属性等在该样本311A中出现的特征的正确解数据313A建立关联。由此，能够生成各第1学习数据集31A。当取得多个第1学习数据集31A时，控制部11使处理进入到接下来的步骤S102。
在步骤S102中，控制部11使用多个第1学习数据集31A来执行推测器51A的机器学习。在本变形例中，控制部11通过机器学习，针对各第1学习数据集31A将推测器51A训练为：当向编码器52A输入样本311A时，从解码器53A输出与样本311A和正确解数据313A匹配的输出值。机器学习的处理过程可以与上述实施方式相同。通过该机器学习的过程，编码器52A被训练为将图像数据的样本311A变换为特征量。并且，解码器53A被训练为根据由编码器52A得到的特征量来复原样本311A，并且推测样本311A中包含的特征。其结果是，控制部11能够针对各第1学习数据集31A构建推测器51A，该推测器51A被训练为针对样本311A的输入而输出与样本311A和正确解数据313A匹配的输出值。当推测器51A的机器学习完成时，控制部11使处理进入到接下来的步骤S103。
在步骤S103中，控制部11生成表示通过机器学习而构建的学习完毕的推测器51A的构造和运算参数的信息作为第1学习结果数据121A。然后，控制部11将生成的第1学习结果数据121A保存到规定的存储区域。由此，控制部11结束与推测器51A的机器学习相关的一系列的处理。另外，与上述实施方式同样地，与解码器53A相关的第1学习结果数据121A可以在任意的时机被提供给监视装置2A。
＜预测模型的机器学习＞
接下来，对本变形例中的预测模型55A以及不一致性预测器57A的机器学习的处理过程的一例进行说明。在本变形例中，模型生成装置1除了将配置为监视车辆的外部状况的摄像机所得到的图像数据作为规定数据进行处理这一点以外，与上述实施方式同样地执行与预测模型55A以及不一致性预测器57A的机器学习相关的一系列的处理。
即，在步骤S201中，控制部11取得由按时间序列得到的图像数据的第1时刻的第1样本321A以及比第1时刻靠未来的时刻的第2样本中所包含的特征信息323A的组合分别构成的多个第2学习数据集32A。取得各第2学习数据集32A的方法可以与上述实施方式同样地适当选择。另外，各第2学习数据集32A可以与上述实施方式同样地生成。提取了第1样本321A和第2样本的图像数据可以与在各第1学习数据集31A的生成中利用的图像数据相同。在本变形例中，特征信息323A也可以与在图像数据中呈现的对象物的属性相关。另外，特征信息323A也可以构成为包含第2样本的特征量。构成特征信息323A的特征量也可以通过由学习完毕的编码器52A变换第2样本来赋予。可以对各第2学习数据集32A适当设定稀有度325A。当取得多个第2学习数据集32A时，控制部11使处理进入到接下来的步骤S202。
在步骤S202中，控制部11使用多个第2学习数据集32A来执行预测模型55A的机器学习。预测模型55A可以与上述实施方式的预测模型55同样地由神经网络构成。控制部11通过机器学习，针对各第2学习数据集32A训练预测模型55A，使得当输入第1样本321A时，输出与对应的特征信息323A匹配的输出值。在该预测模型55A的机器学习中，越是稀有度325A高的第2学习数据集32A，控制部11越重点进行训练。重点进行训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第2学习数据集32A构建预测模型55A，该预测模型55A被训练为当输入第1时刻的第1样本321A时输出与第2时刻的特征信息323A匹配的输出值。当预测模型55A的机器学习完成时，控制部11使处理进入到接下来的步骤S203。
在步骤S203中，控制部11判定是否反复进行预测模型55A以及不一致性预测器57A的机器学习的处理。反复进行机器学习的基准可以与上述实施方式相同。在判定为反复进行机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S204。另一方面，在判定为结束机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S207。
在步骤S204中，控制部11取得由各第2学习数据集32A的第1时刻的第1样本321A以及预测模型55A对该第1样本321A的预测的不一致性333A的组合分别构成的多个第3学习数据集33A。取得各第3学习数据集33A的方法可以与上述实施方式相同。在各第3学习数据集33A的生成中，可以利用通过步骤S202构建的学习完毕的预测模型55A以及各第2学习数据集32A。当取得多个第3学习数据集33A时，控制部11使处理进入到接下来的步骤S205。
在步骤S205中，控制部11使用多个第3学习数据集33A来执行不一致性预测器57A的机器学习。控制部11通过机器学习，针对各第3学习数据集33A训练不一致性预测器57A，使得当输入第1样本321A时，输出与对应的不一致性333A匹配的输出值。与预测模型55A的机器学习不同，在该不一致性预测器57A的机器学习中，控制部11与稀有度325A无关地均匀地训练各第3学习数据集33A。均匀地训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第3学习数据集33A构建不一致性预测器57A，该不一致性预测器57A被训练为当输入第1时刻的第1样本321A时输出与预测模型55A对该第1样本321A的预测的不一致性333A匹配的输出值。当不一致性预测器57A的机器学习完成时，控制部11使处理进入到接下来的步骤S206。
在步骤S206中，控制部11利用通过步骤S205构建的学习完毕的不一致性预测器57A，设定(更新)各第2学习数据集32A的稀有度325A。设定稀有度325A的方法可以与上述实施方式相同。当稀有度325A的设定完成时，控制部11使处理返回到步骤S202。
在步骤S207中，控制部11生成表示通过机器学习而构建的学习完毕的预测模型55A的构造和运算参数的信息作为第2学习结果数据123A。然后，控制部11将生成的第2学习结果数据123A保存到规定的存储区域。由此，控制部11结束与预测模型55A及不一致性预测器57A的机器学习相关的一系列的处理。另外，与上述实施方式同样，第2学习结果数据123A也可以在任意的时机被提供给监视装置2A。
＜监视处理＞
接着，使用图11对监视装置2A的监视处理的一例进行说明。图11示意性地例示与本变形例的监视装置2A的监视处理相关的软件结构的一例。与上述实施方式同样，与监视装置2A的监视处理相关的软件结构通过控制部21对监视程序82A的执行来实现。如图11所示，除了将被配置为监视车辆的外部状况的摄像机所得到的图像数据作为规定数据进行处理这一点以外，与监视装置2A的监视处理相关的软件结构与上述预测装置2的软件结构相同。由此，监视装置2A与上述预测装置2同样地执行与监视处理相关的一系列的处理。
即，在步骤S301中，监视装置2A的控制部21从摄像机SA1取得图像数据的对象样本221A。在步骤S302中，控制部21参照第2学习结果数据123A来进行学习完毕的预测模型55A的设定。另外，控制部21参照第1学习结果数据121A来进行学习完毕的推测器51A的解码器53A的设定。接着，控制部21将所取得的对象样本221A输入到预测模型55A，执行预测模型55A的运算处理。作为该运算处理的结果，控制部21根据对象样本221A来预测未来时刻的图像数据的特征信息(特征量)。进而，控制部21将预测模型55A的输出值输入到解码器53A，执行解码器53A的运算处理。由此，控制部21根据由预测模型55A预测的特征量，复原预测样本225A，并且从解码器53A取得与预测了在未来时刻出现在图像数据中的特征的结果对应的输出值。在本变形例中，所预测的特征可包含表示在图像数据中呈现的对象物的属性的属性信息223A。当根据对象样本221A对未来的特征的预测完成时，控制部21使处理进入到接下来的步骤S303。
在步骤S303中，控制部21输出与预测的结果(属性信息223A及预测样本225A)相关的信息。输出目的地及输出的信息的内容分别可以根据实施方式来适当决定。例如，控制部21也可以将得到的属性信息223A及预测样本225A直接输出到输出装置25。另外，例如，控制部21也可以基于预测的结果来执行某些信息处理。而且，控制部21也可以将执行了该信息处理的结果作为与预测的结果相关的信息来输出。
作为该信息处理的一例，控制部21也可以基于预测的结果，判定车辆VA的行驶是否产生危险。作为具体例，也可以是，在根据属性信息223A预测到障碍物侵入车辆VA的行驶路径的情况下，控制部21判定为在车辆VA的行驶中产生危险。而且，在判定为在车辆VA的行驶中产生危险的情况下，控制部21也可以向输出装置25输出用于通知该危险的警告。另外，障碍物侵入车辆VA的行驶路径的场景例如可以是产生人或车辆的飞出、突然起动、急停车、车道变更等事件的场景。
另外，例如，在监视装置2A构成为能够控制移动体的动作的情况下，控制部21也可以根据预测的结果来决定移动体的动作方针，并按照所决定的动作方针来控制移动体的动作。在本变形例中，作为车辆VA的动作的一例，控制部21也可以控制油门的使用、制动器的使用、方向盘的转向角、灯的点亮、喇叭的使用等。作为具体例，在根据属性信息223A预测到障碍物侵入车辆VA的行驶路径的情况下，控制部21可以以鸣响喇叭、施加制动的方式控制车辆VA的动作。
另外，例如，控制部21也可以根据预测的结果来决定各监视传感器的控制方针，并按照所决定的控制方针来控制各监视传感器的动作。作为具体例，控制部21也可以根据预测的结果来设定各监视传感器所扫描的范围的优先级，并根据所设定的优先级来执行各监视传感器的扫描。在本变形例中，除了摄像机SA1以外，车辆VA还具有2个Lidar传感器(SA2、SA3)。因此，控制部21也可以根据预测的结果来设定各Lidar传感器(SA2、SA3)所扫描的范围的优先级，并根据所设定的优先级来执行各Lidar传感器(SA2、SA3)的扫描。优先级例如可以根据障碍物的有无来设定。作为一例，在根据属性信息223A预测到障碍物从车辆VA的前方右侧侵入的情况下，控制部21也可以将第一Lidar传感器SA2的测定区域中的右侧区域的优先级设定得较高，以优先扫描该右侧区域的方式控制第一Lidar传感器SA2的动作。
另外，作为具体例，控制部21也可以根据预测的结果来进行多个监视传感器间的数据的交接。作为一例，在根据属性信息223A预测到障碍物从车辆VA的前方右侧向前方左侧移动的情况下，控制部21也可以进行预测使第二Lidar传感器SA3观测由第一Lidar传感器SA2观测到的障碍物。由此，控制部21也可以从第一Lidar传感器SA2向第二Lidar传感器SA3延续障碍物的观测。
根据本变形例，在监视移动体的周围环境的场景下，能够构建可在该监视中利用且能够高精度地预测稀有现象的预测模型55A。通过利用了上述稀有度325A的机器学习，例如预测模型55A构建为能够以与在摄像机SA1的拍摄范围内人物向某方向移动等有规则性的现象相同程度的精度，预测障碍物从摄像机SA1的拍摄范围外侵入到拍摄范围内、本来停止的对象物突发性地开始移动等可能不规则地产生的现象。因此，监视装置2A通过利用该预测模型55A，能够高精度地预测上述那样的可能不规则地产生的现象。
由此，例如能够提高将移动体与障碍物碰撞等事故防患于未然的精度。另外，在监视装置2A中，根据预测的结果来决定各监视传感器的控制方针，并按照所决定的控制方针来控制各监视传感器的动作，由此能够适当地监视移动体的周围环境。在上述例子中，通过根据预测的结果来设定扫描的优先级，能够通过各Lidar传感器(SA2、SA3)迅速地检测障碍物。各监视传感器的时间分辨率越低，该作用效果越有益。
另外，车辆VA不限于汽车，例如也可以是电车等汽车以外的车辆。在车辆VA为电车的情况下，在正确解数据313A所示的特征中，除了上述之外，还可以包含表示人或妨碍行驶的物体从车站站台滚落等事件的事件信息。该事件信息也可以通过对象物的属性来表现。由此，在上述步骤S302中，监视装置2A能够预测人或妨碍行驶的物体从车站站台的滚落。在步骤S303中，为了避免与人或妨碍行驶的物体的碰撞，监视装置2A也可以根据该预测的结果对电车(车辆VA)的动作进行控制而停止行驶。
(B)监视机器状态的场景
图12示意性地例示第2变形例的预测系统100B的应用场景的一例。本变形例是将上述实施方式应用在对构成生产线的机器RB的状态进行监视的场景中的例子。机器RB的种类没有特别限定，可以根据实施方式来适当选择。机器RB例如可以是成型机、包装机、机器人装置、印刷机、安装机、基板检查装置等。如图12所示，本变形例的预测系统100B具有模型生成装置1和故障预测装置2B。与上述实施方式同样地，模型生成装置1和故障预测装置2B可以经由网络而相互连接。
本变形例的预测系统100B除了处理数据不同这一点以外，也可以与上述实施方式同样地构成。故障预测装置2B对应于上述预测装置2。故障预测装置2B可以与上述预测装置2同样地构成。模型生成装置1通过机器学习来构建预测模型55B，该预测模型55B被训练为能够根据对机器RB的状态进行监视的传感器所得到的任意时刻的感测数据，预测在未来时刻的感测数据中出现的特征。另一方面，故障预测装置2B利用预测模型55B，根据传感器所得到的任意时刻的感测数据来预测未来时刻的机器RB的状态。按时间序列得到的上述规定数据可以是该传感器所得到的感测数据，上述特征信息323可以与根据该感测数据确定的机器RB的状态相关。
在本变形例中，为了监视机器RB的状态而使用摄像机SB。摄像机SB是用于监视机器RB的状态的传感器的一例。摄像机SB以能够拍摄机器RB的方式配置在例如机器RB的附近。摄像机SB例如可以是通常的摄像机、深度摄像机、红外线摄像机等。
在本变形例中，模型生成装置1通过机器学习来构建预测模型55B，该预测模型55B被训练为能够根据任意时刻的图像数据来预测与在未来时刻的图像数据中呈现的机器RB的状态相关的特征。也就是说，在本变形例中，摄像机SB所得到的图像数据是本发明的“按时间序列得到的规定数据”的一例，被当作成为对可能在未来的时刻产生的现象进行预测的处理的对象的上述规定数据。
另一方面，故障预测装置2B与摄像机SB连接。故障预测装置2B通过利用摄像机SB拍摄机器RB来取得图像数据。而且，故障预测装置2B利用学习完毕的预测模型55B，根据摄像机SB所得到的任意时刻的图像数据来预测与在未来时刻的图像数据中呈现的机器RB的状态相关的特征。
但是，在本变形例的场景下，按时间序列得到的规定数据也可以不限于摄像机SB所得到的图像数据。为了监视机器RB的状态，也可以与摄像机SB一起或者代替摄像机SB而使用麦克风、旋转编码器等其他传感器。在该情况下，也可以将其他传感器所得到的感测数据(例如声音数据、转矩数据等)作为该规定数据来处理。
＜故障预测装置的硬件结构＞
接着，进一步使用图13对本变形例的故障预测装置2B的硬件结构的一例进行说明。图13示意性地例示本变形例的故障预测装置2B的硬件结构的一例。本变形例的故障预测装置2B与上述预测装置2同样是控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接而成的计算机。故障预测装置2B经由外部接口27而与摄像机SB连接。但是，故障预测装置2B的硬件结构也可以不限定于这样的例子。关于故障预测装置2B的具体的硬件结构，能够根据实施方式来适当地省略、置换以及追加构成要素。故障预测装置2B除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的计算机、PLC(programmable logic controller：可编程逻辑控制器)等。
本变形例的故障预测装置2B的存储部22存储故障预测程序82B、第1学习结果数据121B、第2学习结果数据123B等各种信息。故障预测程序82B、第1学习结果数据121B以及第2学习结果数据123B与上述实施方式的预测程序82、第1学习结果数据121以及第2学习结果数据123对应。故障预测程序82B、第1学习结果数据121B以及第2学习结果数据123B中的至少任意一个也可以存储于存储介质92。另外，故障预测装置2B也可以从存储介质92取得故障预测程序82B、第1学习结果数据121B以及第2学习结果数据123B中的至少任意一个。
＜推测器的机器学习＞
接着，对本变形例中的推测器51B的机器学习的处理过程的一例进行说明。如图12所示，在本变形例中，模型生成装置1除了将用于监视机器状态的传感器所得到的感测数据(具体来说是配置为监视机器状态的摄像机所得到的图像数据)作为规定数据进行处理这一点以外，与上述实施方式同样地执行与推测器51B的机器学习相关的一系列的处理。
即，在步骤S101中，模型生成装置1的控制部11取得在推测器51B的机器学习中利用的多个第1学习数据集31B。在本变形例中，推测器51B与上述实施方式的推测器51同样地具有编码器52B和解码器53B。编码器52B和解码器53B分别与上述实施方式同样地由神经网络构成，与上述编码器52和解码器53分别同样地动作。
各第1学习数据集31B与上述实施方式的各第1学习数据集31对应。在本变形例中，各第1学习数据集31B由被配置为监视机器状态的摄像机按时间序列得到的图像数据的样本311B以及表示在样本311B中出现的特征(正确解)的正确解数据313B的组合构成。正确解数据313B所示的特征例如可以是在样本311B中呈现的机器的状态。机器的状态例如可以由故障的有无、故障的类别等表示。
与上述实施方式同样地，取得各第1学习数据集31B的方法可以适当选择。另外，各第1学习数据集31B可以适当生成。例如，准备与摄像机SB同种的摄像机以及与机器RB同种的机器，利用摄像机以各种条件对准备好的机器进行拍摄，由此按时间序列取得图像数据。接着，从按时间序列得到的图像数据适当提取样本311B。然后，将提取出的样本311B与表示例如在该样本311B中呈现的机器状态等在该样本311B中出现的特征的正确解数据313B建立关联。由此，能够生成各第1学习数据集31B。当取得多个第1学习数据集31B时，控制部11使处理进入到接下来的步骤S102。
在步骤S102中，控制部11使用多个第1学习数据集31B来执行推测器51B的机器学习。在本变形例中，控制部11通过机器学习，针对各第1学习数据集31B训练推测器51B，使得当向编码器52B输入样本311B时，从解码器53B输出与样本311B和正确解数据313B匹配的输出值。机器学习的处理过程可以与上述实施方式相同。通过该机器学习的过程，编码器52B被训练为将图像数据的样本311B变换为特征量。并且，解码器53B被训练为根据编码器52B所得到的特征量来复原样本311B，并且推测样本311B所包含的特征。其结果是，控制部11能够针对各第1学习数据集31B构建推测器51B，该推测器51B被训练为针对样本311B的输入而输出与样本311B和正确解数据313B匹配的输出值。当推测器51B的机器学习完成时，控制部11使处理进入到接下来的步骤S103。
在步骤S103中，控制部11生成表示通过机器学习而构建的学习完毕的推测器51B的构造和运算参数的信息作为第1学习结果数据121B。然后，控制部11将生成的第1学习结果数据121B保存到规定的存储区域。由此，控制部11结束与推测器51B的机器学习相关的一系列的处理。另外，与上述实施方式同样地，与解码器53B相关的第1学习结果数据121B可以在任意的时机被提供给故障预测装置2B。
＜预测模型的机器学习＞
接着，对本变形例中的预测模型55B和不一致性预测器57B的机器学习的处理过程的一例进行说明。在本变形例中，模型生成装置1除了将被配置为用于监视机器状态的传感器所得到的感测数据(具体来说是配置为监视机器状态的摄像机所得到的图像数据)作为规定数据进行处理这一点以外，与上述实施方式同样地执行与预测模型55B和不一致性预测器57B的机器学习相关的一系列的处理。
即，在步骤S201中，控制部11取得由按时间序列得到的图像数据的第1时刻的第1样本321B以及比第1时刻靠未来的时刻的第2样本中所包含的特征信息323B的组合分别构成的多个第2学习数据集32B。取得各第2学习数据集32B的方法可以与上述实施方式同样地适当选择。另外，各第2学习数据集32B可以与上述实施方式同样地生成。提取了第1样本321B和第2样本的图像数据可以与在各第1学习数据集31B的生成中利用的图像数据相同。在本变形例中，特征信息323B也可以与在图像数据中呈现的机器的状态相关。另外，特征信息323B也可以构成为包含第2样本的特征量。构成特征信息323B的特征量也可以通过由学习完毕的编码器52B变换第2样本来赋予。在各第2学习数据集32B中，可以适当设定稀有度325B。当取得多个第2学习数据集32B时，控制部11使处理进入到接下来的步骤S202。
在步骤S202中，控制部11使用多个第2学习数据集32B来执行预测模型55B的机器学习。预测模型55B可以与上述实施方式的预测模型55同样地由神经网络构成。控制部11通过机器学习，针对各第2学习数据集32B训练预测模型55B，使得当输入第1样本321B时，输出与对应的特征信息323B匹配的输出值。在该预测模型55B的机器学习中，越是稀有度325B高的第2学习数据集32B，控制部11越重点进行训练。重点进行训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第2学习数据集32B构建预测模型55B，该预测模型55B被训练为当输入第1时刻的第1样本321B时输出与第2时刻的特征信息323B匹配的输出值。当预测模型55B的机器学习完成时，控制部11使处理进入到接下来的步骤S203。
在步骤S203中，控制部11判定是否反复进行预测模型55B和不一致性预测器57B的机器学习的处理。反复进行机器学习的基准可以与上述实施方式相同。在判定为反复进行机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S204。另一方面，在判定为结束机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S207。
在步骤S204中，控制部11取得由各第2学习数据集32B的第1时刻的第1样本321B以及预测模型55B对该第1样本321B的预测的不一致性333B的组合分别构成的多个第3学习数据集33B。取得各第3学习数据集33B的方法可以与上述实施方式相同。在各第3学习数据集33B的生成中，可以利用通过步骤S202构建的学习完毕的预测模型55B和各第2学习数据集32B。当取得多个第3学习数据集33B时，控制部11使处理进入到接下来的步骤S205。
在步骤S205中，控制部11使用多个第3学习数据集33B来执行不一致性预测器57B的机器学习。控制部11通过机器学习，针对各第3学习数据集33B训练不一致性预测器57B，使得当输入第1样本321B时，输出与对应的不一致性333B匹配的输出值。与预测模型55B的机器学习不同，在该不一致性预测器57B的机器学习中，控制部11与稀有度325B无关地均匀地训练各第3学习数据集33B。均匀地训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第3学习数据集33B构建不一致性预测器57B，该不一致性预测器57B被训练为当输入第1时刻的第1样本321B时输出与预测模型55B对该第1样本321B的预测的不一致性333B匹配的输出值。当不一致性预测器57B的机器学习完成时，控制部11使处理进入到接下来的步骤S206。
在步骤S206中，控制部11利用通过步骤S205构建的学习完毕的不一致性预测器57B，设定(更新)各第2学习数据集32B的稀有度325B。设定稀有度325B的方法可以与上述实施方式相同。当稀有度325B的设定完成时，控制部11使处理返回到步骤S202。
在步骤S207中，控制部11生成表示通过机器学习而构建的学习完毕的预测模型55B的构造和运算参数的信息作为第2学习结果数据123B。然后，控制部11将生成的第2学习结果数据123B保存到规定的存储区域。由此，控制部11结束与预测模型55B和不一致性预测器57B的机器学习相关的一系列的处理。另外，与上述实施方式同样地，第2学习结果数据123B可以在任意的时机被提供给故障预测装置2B。
＜预测处理＞
接着，使用图14对故障预测装置2B的预测处理的一例进行说明。图14示意性地例示与本变形例的故障预测装置2B的预测处理相关的软件结构的一例。与上述实施方式同样地，与故障预测装置2B的预测处理相关的软件结构通过控制部21对故障预测程序82B的执行来实现。如图14所示，除了将用于监视机器状态的传感器所得到的感测数据(具体来说是配置为监视机器状态的摄像机所得到的图像数据)作为规定数据进行处理这一点以外，与故障预测装置2B的预测处理相关的软件结构与上述预测装置2的软件结构相同。由此，故障预测装置2B与上述预测装置2同样地执行与预测处理相关的一系列的处理。
即，在步骤S301中，故障预测装置2B的控制部21从摄像机SB取得图像数据的对象样本221B。在步骤S302中，控制部21参照第2学习结果数据123B来进行学习完毕的预测模型55B的设定。另外，控制部21参照第1学习结果数据121B来进行学习完毕的推测器51B的解码器53B的设定。接着，控制部21将所取得的对象样本221B输入到预测模型55B，执行预测模型55B的运算处理。作为该运算处理的结果，控制部21根据对象样本221B来预测未来时刻的图像数据的特征信息(特征量)。进而，控制部21将预测模型55B的输出值输入到解码器53B，执行解码器53B的运算处理。由此，控制部21根据由预测模型55B预测的特征量来复原预测样本225B，并且从解码器53B取得与预测了在未来时刻出现在图像数据中的特征的结果对应的输出值。在本变形例中，所预测的特征能够包含表示在图像数据中呈现的机器RB的状态的状态信息223B。当来自对象样本221B的未来的特征的预测完成时，控制部21使处理进入到接下来的步骤S303。
在步骤S303中，控制部21输出与预测的结果(状态信息223B和预测样本225B)相关的信息。输出目的地及输出的信息的内容分别可以根据实施方式来适当决定。例如，控制部21也可以将得到的状态信息223B和预测样本225B直接输出到输出装置25。另外，例如，控制部21也可以基于预测的结果来执行某些信息处理。然后，控制部21也可以将执行了该信息处理的结果作为与预测的结果相关的信息来输出。
作为该信息处理的一例，控制部21也可以基于预测的结果(状态信息223B)来判定在机器RB中是否发生故障。而且，在判定为在机器RB中发生故障的情况下，控制部21也可以向输出装置25输出用于通知该故障的发生的警告。进而，在故障预测装置2B构成为能够控制机器RB的动作的情况下，控制部21也可以根据判定为在机器RB中发生故障的情况而使机器RB的动作停止。此外，控制部21也可以向输出装置25输出在机器RB中产生的故障的类别以及与故障对应的维护方法的信息。表示与故障对应的维护方法的信息也可以保存在存储部22、存储介质92、外部存储装置、存储介质等规定的存储区域中。控制部21也可以从规定的存储区域适当取得表示与故障对应的维护方法的信息。
根据本变形例，在监视机器RB的状态的场景中，可以构建能够在该监视中利用且能够高精度地预测稀有现象的预测模型55B。通过利用了上述稀有度325B的机器学习，例如，预测模型55B构建为能够以在机器RB中出现故障的前兆之后机器RB逐渐地达到故障等可能具有规则性的现象相同程度的精度，预测机器RB突发地发生故障等可能不规则地产生的现象。因此，故障预测装置2B通过利用该预测模型55B，能够高精度地预测上述那样的可能不规则地产生的故障。由此，例如能够以极力缩短机器RB停止的期间的方式在适当的时机实施机器RB的维护。因此，能够缩短因机器RB的故障而使生产线停止的期间，能够提高通过生产线制造产品的效率。
(C)预测对象者的状态的场景
图15示意性地例示第3变形例的预测系统100C的应用场景的一例。本变形例是将上述实施方式应用在预测对象者的状态的场景中的例子。在图15中，作为预测对象者的状态的场景的一例，例示了对车辆的驾驶员RC的状态进行监视的场景。驾驶员RC是对象者的一例。如图15所示，本变形例的预测系统100C具有模型生成装置1和状态预测装置2C。与上述实施方式同样地，模型生成装置1和状态预测装置2C可以经由网络相互连接。
本变形例的预测系统100C除了处理的数据不同这一点以外，也可以与上述实施方式同样地构成。状态预测装置2C对应于上述预测装置2。状态预测装置2C可以与上述预测装置2同样地构成。模型生成装置1通过机器学习来构建预测模型55C，该预测模型55C被训练为能够根据观测对象者的状态的传感器所得到的任意时刻的观测数据，预测在未来时刻的观测数据中出现的特征。另一方面，状态预测装置2C利用预测模型55C，根据传感器所得到的观测数据来预测未来时刻的对象者的状态。按时间序列得到的上述规定数据可以是通过该传感器得到的观测数据，上述特征信息323可以与根据该观测数据确定的对象者的状态相关。传感器例如可以是摄像机和生命传感器中的至少任意一个，观测数据例如可以是对象者的生命数据和对象者的图像数据中的至少任意一个。
在本变形例中，为了预测驾驶员RC的状态，使用了摄像机SC1和生命传感器SC2。摄像机SC1和生命传感器SC2是用于观测对象者的状态的传感器的一例。摄像机SC1可以以能够拍摄驾驶员RC的方式适当配置。摄像机SC1例如可以是通常的摄像机、深度摄像机、红外线摄像机等。另外，生命传感器SC2只要能够观测对象者的生命体征，则其种类没有特别限定，可以根据实施方式来适当选择。生命传感器SC2例如可以是体温计、血压计、脉搏计等。与此相应地，生命传感器SC2所得到的生命数据例如可以是体温、血压、脉搏等表示测定结果的数据。
在本变形例中，模型生成装置1通过机器学习来构建预测模型55C，该预测模型55C能够根据任意时刻的图像数据和生命数据来预测与根据未来时刻的图像数据和生命数据确定的驾驶员RC的状态相关的特征。也就是说，在本变形例中，摄像机SC1所得到的图像数据和生命传感器SC2所得到的生命数据是本发明的“按时间序列得到的规定数据”的一例，被当作成为对在未来时刻可能产生的现象进行预测的处理的对象的上述规定数据。
另一方面，状态预测装置2C与摄像机SC1和生命传感器SC2连接。状态预测装置2C通过利用摄像机SC1拍摄驾驶员RC来取得图像数据。另外，状态预测装置2C通过利用生命传感器SC2观测驾驶员RC的生命体征来取得生命数据。然后，状态预测装置2C利用学习完毕的预测模型55C，根据任意时刻的图像数据和生命数据来预测在未来时刻的图像数据和生命数据中出现的与驾驶员RC的状态相关的特征。
但是，在本变形例的场景下，按时间序列得到的规定数据也可以不限于摄像机SC1所得到的图像数据和生命传感器SC2所得到的生命数据。可以省略图像数据和生命数据中的至少一方，与此相应地，可以省略摄像机SC1和生命传感器SC2中的至少一方。
＜状态预测装置的硬件结构＞
接着，进一步使用图16对本变形例的状态预测装置2C的硬件结构的一例进行说明。图16示意性地例示本变形例的状态预测装置2C的硬件结构的一例。本变形例的状态预测装置2C与上述预测装置2同样地是控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接而成的计算机。状态预测装置2C经由外部接口27而与摄像机SC1和生命传感器SC2连接。但是，状态预测装置2C的硬件结构也可以不限定于这样的例子。关于状态预测装置2C的具体的硬件结构，能够根据实施方式来适当地省略、置换以及追加构成要素。状态预测装置2C除了设计为所提供的服务专用的信息处理装置以外，也可以是通用的计算机、包括智能手机在内的移动电话、车载装置等。
本变形例的状态预测装置2C的存储部22存储状态预测程序82C、第1学习结果数据121C、第2学习结果数据123C等各种信息。状态预测程序82C、第1学习结果数据121C以及第2学习结果数据123C与上述实施方式的预测程序82、第1学习结果数据121以及第2学习结果数据123对应。状态预测程序82C、第1学习结果数据121C以及第2学习结果数据123C中的至少任意一个也可以存储于存储介质92。另外，状态预测装置2C也可以从存储介质92取得状态预测程序82C、第1学习结果数据121C以及第2学习结果数据123C中的至少任意一个。
＜推测器的机器学习＞
接着，对本变形例中的推测器51C的机器学习的处理过程的一例进行说明。如图15所示，在本变形例中，模型生成装置1除了将观测对象者的状态的传感器所得到的观测数据(具体来说是图像数据和生命数据)作为规定数据进行处理这一点以外，与上述实施方式同样地执行与推测器51C的机器学习相关的一系列的处理。
即，在步骤S101中，模型生成装置1的控制部11取得在推测器51C的机器学习中利用的多个第1学习数据集31C。在本变形例中，推测器51C与上述实施方式的推测器51同样地具有编码器52C和解码器53C。编码器52C和解码器53C分别与上述实施方式同样地由神经网络构成，与上述编码器52和解码器53分别同样地动作。
各第1学习数据集31C对应于上述实施方式的各第1学习数据集31。在本变形例中，各第1学习数据集31C由观测驾驶员的状态的摄像机和生命传感器分别按时间序列得到的图像数据和生命数据的样本311C以及表示在样本311C中出现的特征(正确解)的正确解数据313C的组合构成。正确解数据313C所示的特征例如可以是驾驶员的状态。驾驶员的状态例如可以包含表示驾驶员的睡意程度的睡意度、表示驾驶员的疲劳程度的疲劳度、表示驾驶员对驾驶的从容程度的从容度、或者它们的组合。
与上述实施方式同样地，取得各第1学习数据集31C的方法可以适当选择。另外，各第1学习数据集31C可以适当生成。例如，准备与摄像机SC1和传感器SC2分别相同种类的摄像机和生命传感器，利用准备好的摄像机和生命传感器对各种属性和条件的驾驶员(被试验者)进行观测，从而按时间序列取得图像数据和生命数据。接着，从按时间序列得到的图像数据和生命数据中适当提取样本311C。然后，将提取出的样本311C与该被试验者的状态等表示在样本311C中出现的特征的正确解数据313C建立关联。由此，能够生成各第1学习数据集31C。当取得多个第1学习数据集31C时，控制部11使处理进入到接下来的步骤S102。
在步骤S102中，控制部11使用多个第1学习数据集31C来执行推测器51C的机器学习。在本变形例中，控制部11通过机器学习，针对各第1学习数据集31C训练推测器51C，使得当向编码器52C输入样本311C时，从解码器53C输出与样本311C和正确解数据313C匹配的输出值。机器学习的处理过程可以与上述实施方式相同。通过该机器学习的过程，编码器52C被训练为将图像数据和生命数据的样本311C变换为特征量。并且，解码器53C被训练为根据编码器52C所得到的特征量来复原样本311C，并且推测样本311C中包含的特征。其结果是，控制部11能够针对各第1学习数据集31C构建推测器51C，该推测器51C被训练为针对样本311C的输入而输出与样本311C和正确解数据313C匹配的输出值。当推测器51C的机器学习完成时，控制部11使处理进入到接下来的步骤S103。
在步骤S103中，控制部11生成表示通过机器学习而构建的学习完毕的推测器51C的构造和运算参数的信息作为第1学习结果数据121C。然后，控制部11将生成的第1学习结果数据121C保存到规定的存储区域。由此，控制部11结束与推测器51C的机器学习相关的一系列的处理。另外，与上述实施方式同样，与解码器53C相关的第1学习结果数据121C可以在任意的时机被提供给状态预测装置2C。
＜预测模型的机器学习＞
接着，对本变形例中的预测模型55C和不一致性预测器57C的机器学习的处理过程的一例进行说明。在本变形例中，模型生成装置1除了将观测对象者的状态的传感器所得到的观测数据(具体来说是图像数据和生命数据)作为规定数据进行处理这一点以外，与上述实施方式同样地执行与预测模型55C和不一致性预测器57C的机器学习相关的一系列的处理。
即，在步骤S201中，控制部11取得由按时间序列得到的图像数据和生命数据的第1时刻的第1样本321C以及比第1时刻靠未来的时刻的第2样本中包含的特征信息323C的组合分别构成的多个第2学习数据集32C。取得各第2学习数据集32C的方法可以与上述实施方式同样地适当选择。另外，各第2学习数据集32C可以与上述实施方式同样地生成。提取了第1样本321C和第2样本的图像数据和生命数据可以与在各第1学习数据集31C的生成中利用的图像数据和生命数据相同。在本变形例中，特征信息323C也可以与在图像数据和生命数据中出现的被试验者的状态相关。另外，特征信息323C可以构成为包含第2样本的特征量。构成特征信息323C的特征量也可以通过由学习完毕的编码器52C转换第2样本来赋予。在各第2学习数据集32C中，可以适当设定稀有度325C。当取得多个第2学习数据集32C时，控制部11使处理进入到接下来的步骤S202。
在步骤S202中，控制部11使用多个第2学习数据集32C来执行预测模型55C的机器学习。预测模型55C也可以与上述实施方式的预测模型55同样地由神经网络构成。控制部11通过机器学习，针对各第2学习数据集32C训练预测模型55C，使得当输入第1样本321C时，输出与对应的特征信息323C匹配的输出值。在该预测模型55C的机器学习中，越是稀有度325C高的第2学习数据集32C，控制部11越重点进行训练。重点进行训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第2学习数据集32C构建预测模型55C，该预测模型55C被训练为当输入第1时刻的第1样本321C时输出与第2时刻的特征信息323C匹配的输出值。当预测模型55C的机器学习完成时，控制部11使处理进入到接下来的步骤S203。
在步骤S203中，控制部11判定是否反复进行预测模型55C和不一致性预测器57C的机器学习的处理。反复进行机器学习的基准可以与上述实施方式相同。在判定为反复进行机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S204。另一方面，在判定为结束机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S207。
在步骤S204中，控制部11取得由各第2学习数据集32C的第1时刻的第1样本321C以及预测模型55C对该第1样本321C的预测的不一致性333C的组合分别构成的多个第3学习数据集33C。取得各第3学习数据集33C的方法可以与上述实施方式相同。在各第3学习数据集33C的生成中，可以利用通过步骤S202构建的学习完毕的预测模型55C和各第2学习数据集32C。当取得多个第3学习数据集33C时，控制部11使处理进入到接下来的步骤S205。
在步骤S205中，控制部11使用多个第3学习数据集33C来执行不一致性预测器57C的机器学习。控制部11通过机器学习，针对各第3学习数据集33C训练不一致性预测器57C，使得当输入第1样本321C时，输出与对应的不一致性333C匹配的输出值。与预测模型55C的机器学习不同，在该不一致性预测器57C的机器学习中，控制部11与稀有度325C无关地均匀地训练各第3学习数据集33C。均匀地训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第3学习数据集33C构建不一致性预测器57C，该不一致性预测器57C被训练为当输入第1时刻的第1样本321C时输出与预测模型55C对该第1样本321C的预测的不一致性333C匹配的输出值。当不一致性预测器57C的机器学习完成时，控制部11使处理进入到接下来的步骤S206。
在步骤S206中，控制部11利用通过步骤S205构建的学习完毕的不一致性预测器57C，设定(更新)各第2学习数据集32C的稀有度325C。设定稀有度325C的方法可以与上述实施方式相同。当稀有度325C的设定完成时，控制部11使处理返回到步骤S202。
在步骤S207中，控制部11生成表示通过机器学习而构建的学习完毕的预测模型55C的构造和运算参数的信息作为第2学习结果数据123C。然后，控制部11将生成的第2学习结果数据123C保存到规定的存储区域。由此，控制部11结束与预测模型55C和不一致性预测器57C的机器学习相关的一系列的处理。另外，与上述实施方式同样，第2学习结果数据123C可以在任意的时机被提供给状态预测装置2C。
＜预测处理＞
接着，使用图17对状态预测装置2C的预测处理的一例进行说明。图17示意性地例示与本变形例的状态预测装置2C的预测处理相关的软件结构的一例。与上述实施方式同样，与状态预测装置2C的预测处理相关的软件结构通过控制部21对状态预测程序82C的执行来实现。如图17所示，除了将观测对象者的状态的传感器所得到的观测数据(具体来说是图像数据和生命数据)作为规定数据进行处理这一点以外，与状态预测装置2C的预测处理相关的软件结构与上述预测装置2的软件结构相同。由此，状态预测装置2C与上述预测装置2同样地执行与预测处理相关的一系列的处理。
即，在步骤S301中，状态预测装置2C的控制部21从摄像机SC1和生命传感器SC2取得图像数据和生命数据的对象样本221C。在步骤S302中，控制部21参照第2学习结果数据123C来进行学习完毕的预测模型55C的设定。另外，控制部21参照第1学习结果数据121C来进行学习完毕的推测器51C的解码器53C的设定。接着，控制部21将所取得的对象样本221C输入到预测模型55C，并执行预测模型55C的运算处理。作为该运算处理的结果，控制部21根据对象样本221C来预测未来时刻的图像数据和生命数据的特征信息(特征量)。进而，控制部21将预测模型55C的输出值输入到解码器53C，并执行解码器53C的运算处理。由此，控制部21根据由预测模型55C预测的特征量来复原预测样本225C，并且从解码器53C取得与预测了在未来时刻出现在图像数据和生命数据中的特征的结果对应的输出值。在本变形例中，所预测的特征能够包含表示根据图像数据和生命数据确定的驾驶员RC的状态的状态信息223C。状态信息223C所示的驾驶员RC的状态可以包含驾驶员RC的睡意度、疲劳度、从容度或者它们的组合。当根据对象样本221C对未来的特征的预测完成时，控制部21使处理进入到接下来的步骤S303。
在步骤S303中，控制部21输出与预测的结果(状态信息223C和预测样本225C)相关的信息。输出目的地及输出的信息的内容分别可以根据实施方式来适当决定。例如，控制部21也可以将得到的状态信息223C和预测样本225C直接输出到输出装置25。另外，例如，控制部21也可以基于预测的结果来执行某些信息处理。然后，控制部21也可以将执行了该信息处理的结果作为与预测的结果相关的信息来输出。
作为该信息处理的一例，控制部21也可以根据状态信息223C所示的驾驶员RC的状态，向输出装置25输出警告等特定的消息。作为具体例，在状态信息223C表示驾驶员RC的睡意度和疲劳度中的至少一方的情况下，控制部21也可以判定预测出的睡意度和疲劳度中的至少一方是否超过阈值。阈值可以适当设定。并且，在睡意度和疲劳度中的至少一方超过了阈值的情况下，控制部21也可以向输出装置25输出催促驾驶员RC停车到停车场等并休息的警告。
另外，例如，在车辆构成为能够进行自动驾驶动作的情况下，控制部21也可以基于对驾驶员RC的状态进行预测而得到的结果来控制车辆的自动驾驶的动作。作为一例，假设车辆构成为能够切换通过系统来控制车辆的行驶的自动驾驶模式和通过驾驶员RC的转向来控制车辆的行驶的手动驾驶模式。
在该场景下，在自动驾驶模式下车辆正在行驶并从驾驶员RC或者系统受理了从自动驾驶模式向手动驾驶模式的切换时，控制部21也可以判定状态信息223C所示的驾驶员RC的从容度是否超过了阈值。并且，也可以是，在驾驶员RC的从容度超过了阈值的情况下，控制部21允许从自动驾驶模式向手动驾驶模式的切换。另一方面，也可以在驾驶员RC的从容度为阈值以下的情况下，控制部21不允许从自动驾驶模式向手动驾驶模式的切换，而是维持自动驾驶模式下的行驶。
另外，在车辆以手动驾驶模式行驶时，控制部21也可以判定状态信息223C所示的睡意度和疲劳度中的至少一方是否超过阈值。并且，在睡意度和疲劳度中的至少一方超过了阈值的情况下，控制部21也可以从手动驾驶模式切换为自动驾驶模式，并向车辆的系统发送指示停车到停车场等安全的场所的指令。另一方面，在不是这样的情况下，控制部21也可以维持基于手动驾驶模式的车辆的行驶。
另外，在车辆以手动驾驶模式行驶时，控制部21也可以判定状态信息223C所示的从容度是否为阈值以下。并且，在从容度为阈值以下的情况下，控制部21也可以向车辆的系统发送减速的指令。另一方面，在不是这样的情况下，控制部21也可以维持基于驾驶员RC的操作的车辆的行驶。
根据本变形例，在预测对象者的状态的场景中，可以构建能够高精度地预测稀有现象的预测模型55C。通过利用了上述稀有度325C的机器学习，例如，预测模型55C构建为能够以与对象者的状态逐渐变化等可能具有规则性的现象相同程度的精度，预测对象者的状态突发性地变化等可能不规则地产生的现象。因此，状态预测装置2C通过利用该预测模型55C，能够高精度地预测上述那样的可能不规则地产生的对象者的状态的变化。由此，在上述的场景下，例如能够将因驾驶员RC的状态骤变而可能产生的车辆的事故防患于未然。
另外，成为预测状态的对象的对象者也可以不限于图15所例示的车辆的驾驶员RC，也可以包含所有的人物。成为预测状态的对象的对象者例如也可以包含在办公室、工厂等进行作业的作业者、计测生命体征的被计测者等。
图18示意性地例示预测对象者的状态的其他场景的一例。图18所例示的预测系统100D具有模型生成装置1和健康预测装置2D。健康预测装置2D对应于上述状态预测装置2C。在图18的例子中，健康预测装置2D与生命传感器SC2连接，通过生命传感器SC2取得被计测者的生命数据。健康预测装置2D通过与上述状态预测装置2C同样的处理，根据任意时刻的生命数据来预测未来时刻的被计测者的健康状态。被计测者的健康状态是对象者的状态的一例。健康状态例如可以根据实施方式来适当决定，例如可以包含是否健康、是否有得病的预兆等。在本场景中，健康预测装置2D能够高精度地预测可能不规则地产生的被计测者的健康状态的变化。
另外，成为预测的对象的对象者的状态也可以不限定于上述例子，也可以包含对象者的所有状态。对象者的状态也可以通过对象者所产生的事件(例如发病)来表现。另外，成为预测状态的对象的对象者也可以不限于上述图15例示的驾驶员RC、上述图18例示的计测生命体征的人物等特定的人物，例如，也可以是摄像机拍到的不特定的人物。作为一例，摄像机也可以设置在车站站台、街头、店铺内等。上述预测系统100C也可以构成为处理由该摄像机得到的图像数据。在该情况下，在对象者的状态中，也可以包含人从车站站台滚落等事件。在上述步骤S303中，状态预测装置2C也可以在预测到这样的人从车站站台滚落等事件的情况下，根据预测出的事件的类别来输出警告消息。
(D)人的流动的预测
图19示意性地例示第4变形例的预测系统100E的应用场景的一例。本变形例是将上述实施方式应用在预测人的流动的场景中的例子。人的流动可以包含行人的流动以及人能够乘坐的移动体的流动中的至少一方。行人的流动例如也可以通过存在于规定的区域内的人物的流动(作为一例，某个会场内的参加者的流动)来表现。另外，移动体的流动例如也可以通过车辆等交通的流动来表现。如图19所示，本变形例的预测系统100E具有模型生成装置1和人流预测装置2E。与上述实施方式同样，模型生成装置1和人流预测装置2E可以经由网络相互连接。
本变形例的预测系统100E除了处理的数据不同这一点以外，也可以与上述实施方式同样地构成。人流预测装置2E对应于上述预测装置2。人流预测装置2E可以与上述预测装置2同样地构成。模型生成装置1通过机器学习，构建被训练为能够根据任意时刻的人流数据来预测在未来时刻的人流数据中出现的特征的预测模型55E。另一方面，人流预测装置2E利用预测模型55E，根据人流数据来预测未来时刻的人流动的量。按时间序列得到的上述规定数据可以是人流数据，上述特征信息323可以与从该人流数据确定的人的流动的量相关。
人流数据是本发明的“按时间序列得到的规定数据”的一例。人流数据只要是涉及人的流动、即能够推测人的流动的数据，则其种类也可以没有特别限定，可以根据实施方式来适当选择。在人流数据的取得中，也可以使用传感器。例如，人流数据可以通过构成为检测通过任意场所的人物的人感传感器、构成为检测门的开闭的传感器、构成为检测通过门的人的传感器、构成为检测车辆的通行量的传感器、设置为对与移动的人和车辆中的至少任意一方相关的声音进行测定的麦克风、设置为对移动的人和车辆中的至少任意一方进行拍摄的摄像机等得到。即，人流数据可以是由摄像机得到的图像数据、由麦克风得到的声音数据、由其他传感器得到的感测数据等。人感传感器例如可以是红外线传感器。门例如可以是自动检票机、设置于建筑物的门(房门等)、设置于高速道路的出入口的门、设置于停车场等规定的用地的出入口的门等。另外，人流数据例如也可以包含移动电话、车载装置等人或车辆所保持的装置的位置数据、该装置的通信数据等。位置数据例如可以通过GPS测定器等来测定。另外，人流数据例如也可以包含与表示在规定的场所购入了商品的POS(Point ofSaint：销售点)数据等人的履历相关的数据。此外，人流数据也可以包含气象数据等可能间接地参与人的流动的数据。
在本变形例中，为了计测人的流动，使用传感器SE。传感器SE也可以没有特别限定，可以从上述例子中适当选择。传感器SE可以以能够计测人的流动的方式适当配置。
模型生成装置1通过机器学习来构建预测模型55E，该预测模型55E被训练为能够根据传感器所得到的任意时刻的人流数据，预测与由未来时刻的人流数据确定的人流动的量相关的特征。也就是说，在本变形例中，将传感器SE所得到的人流数据作为成为对可能在未来时刻产生的现象进行预测的处理的对象的上述规定数据来处理。
另一方面，人流预测装置2E与传感器SE连接。人流预测装置2E通过由传感器SE计测人的流动来取得人流数据。然后，人流预测装置2E利用学习完毕的预测模型55E，根据任意时刻的人流数据来预测与在未来时刻的人流数据中出现的人流动的量相关的特征。
＜人流预测装置的硬件结构＞
接着，进一步使用图20对本变形例的人流预测装置2E的硬件结构的一例进行说明。图20示意性地例示本变形例的人流预测装置2E的硬件结构的一例。本变形例的人流预测装置2E与上述预测装置2同样地是控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接而成的计算机。人流预测装置2E经由外部接口27与传感器SE连接。但是，人流预测装置2E的硬件结构也可以不限定于这样的例子。关于人流预测装置2E的具体的硬件结构，能够根据实施方式来适当地省略、置换以及追加构成要素。人流预测装置2E除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。
本变形例的人流预测装置2E的存储部22存储人流预测程序82E、第1学习结果数据121E、第2学习结果数据123E等各种信息。人流预测程序82E、第1学习结果数据121E以及第2学习结果数据123E与上述实施方式的预测程序82、第1学习结果数据121以及第2学习结果数据123对应。人流预测程序82E、第1学习结果数据121E以及第2学习结果数据123E中的至少一个也可以存储于存储介质92。另外，人流预测装置2E也可以从存储介质92取得人流预测程序82E、第1学习结果数据121E以及第2学习结果数据123E中的至少任意一个。
＜推测器的机器学习＞
接着，对本变形例中的推测器51E的机器学习的处理过程的一例进行说明。如图19所示，在本变形例中，模型生成装置1除了将人流数据作为规定数据进行处理这一点以外，与上述实施方式同样地执行与推测器51E的机器学习相关的一系列的处理。
即，在步骤S101中，模型生成装置1的控制部11取得在推测器51E的机器学习中利用的多个第1学习数据集31E。在本变形例中，推测器51E与上述实施方式的推测器51同样地具有编码器52E和解码器53E。编码器52E和解码器53E分别与上述实施方式同样地由神经网络构成，与上述编码器52和解码器53分别同样地动作。
各第1学习数据集31E与上述实施方式的各第1学习数据集31对应。在本变形例中，各第1学习数据集31E由通过传感器按时间序列得到的人流数据的样本311E以及表示在样本311E中出现的特征(正确解)的正确解数据313E的组合构成。正确解数据313E所示的特征例如可以是人的流动的量。人的流动的量例如可以由通过规定的地点的人的数量或程度、存在于规定的范围的人的数量或程度、有无拥堵的产生等来表现。
与上述实施方式同样地，取得各第1学习数据集31E的方法可以适当选择。另外，各第1学习数据集31E可以适当生成。例如，准备与传感器SE相同种类的传感器，通过准备好的传感器在各种条件下观测人的流动，由此按时间序列取得人流数据。接着，从按时间序列得到的人流数据中适当提取样本311E。然后，将提取出的样本311E与表示观测到的人的流动的量等在样本311E中出现的特征的正确解数据313E建立关联。由此，能够生成各第1学习数据集31E。当取得多个第1学习数据集31E时，控制部11使处理进入到接下来的步骤S102。
在步骤S102中，控制部11使用多个第1学习数据集31E来执行推测器51E的机器学习。在本变形例中，控制部11通过机器学习，针对各第1学习数据集31E训练推测器51E，使得当向编码器52E输入样本311E时，从解码器53E输出与样本311E和正确解数据313E匹配的输出值。机器学习的处理过程可以与上述实施方式相同。通过该机器学习的过程，编码器52E被训练为将人流数据的样本311E变换为特征量。并且，解码器53E被训练为根据由编码器52E得到的特征量来复原样本311E，并且推测样本311E中包含的特征。其结果是，控制部11能够针对各第1学习数据集31E构建推测器51E，该推测器51E被训练为针对样本311E的输入而输出与样本311E和正确解数据313E匹配的输出值。当推测器51E的机器学习完成时，控制部11使处理进入到接下来的步骤S103。
在步骤S103中，控制部11生成表示通过机器学习而构建的学习完毕的推测器51E的构造和运算参数的信息作为第1学习结果数据121E。然后，控制部11将生成的第1学习结果数据121E保存到规定的存储区域。由此，控制部11结束与推测器51E的机器学习相关的一系列的处理。另外，与上述实施方式同样，与解码器53E相关的第1学习结果数据121E可以在任意的时机被提供给人流预测装置2E。
＜预测模型的机器学习＞
接着，对本变形例中的预测模型55E和不一致性预测器57E的机器学习的处理过程的一例进行说明。在本变形例中，模型生成装置1除了将人流数据作为规定数据进行处理这一点以外，与上述实施方式同样地执行与预测模型55E和不一致性预测器57E的机器学习相关的一系列的处理。
即，在步骤S201中，控制部11取得由按时间序列得到的人流数据的第1时刻的第1样本321E以及比第1时刻靠未来的时刻的第2样本中所包含的特征信息323E的组合分别构成的多个第2学习数据集32E。取得各第2学习数据集32E的方法可以与上述实施方式同样地适当选择。另外，各第2学习数据集32E可以与上述实施方式同样地生成。提取了第1样本321E和第2样本的人流数据可以与在各第1学习数据集31E的生成中利用的人流数据相同。在本变形例中，特征信息323E也可以与由人流数据确定的人的流动的量相关。另外，特征信息323E也可以构成为包含第2样本的特征量。构成特征信息323E的特征量也可以通过由学习完毕的编码器52E变换第2样本来赋予。在各第2学习数据集32E中，可以适当设定稀有度325E。当取得多个第2学习数据集32E时，控制部11使处理进入到接下来的步骤S202。
在步骤S202中，控制部11使用多个第2学习数据集32E来执行预测模型55E的机器学习。预测模型55E也可以与上述实施方式的预测模型55同样地由神经网络构成。控制部11通过机器学习，针对各第2学习数据集32E训练预测模型55E，使得当输入第1样本321E时，输出与对应的特征信息323E匹配的输出值。在该预测模型55E的机器学习中，越是稀有度325E高的第2学习数据集32E，控制部11越重点进行训练。重点进行训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第2学习数据集32E构建预测模型55E，该预测模型55E被训练为当输入第1时刻的第1样本321E时输出与第2时刻的特征信息323E匹配的输出值。当预测模型55E的机器学习完成时，控制部11使处理进入到接下来的步骤S203。
在步骤S203中，控制部11判定是否反复进行预测模型55E和不一致性预测器57E的机器学习的处理。反复进行机器学习的基准可以与上述实施方式相同。在判定为反复进行机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S204。另一方面，在判定为结束机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S207。
在步骤S204中，控制部11取得由各第2学习数据集32E的第1时刻的第1样本321E以及预测模型55E对该第1样本321E的预测的不一致性333E的组合分别构成的多个第3学习数据集33E。取得各第3学习数据集33E的方法可以与上述实施方式相同。在各第3学习数据集33E的生成中，可以利用通过步骤S202构建的学习完毕的预测模型55E和各第2学习数据集32E。当取得多个第3学习数据集33E时，控制部11使处理进入到接下来的步骤S205。
在步骤S205中，控制部11使用多个第3学习数据集33E来执行不一致性预测器57E的机器学习。控制部11通过机器学习，针对各第3学习数据集33E训练不一致性预测器57E，使得当输入第1样本321E时，输出与对应的不一致性333E匹配的输出值。与预测模型55E的机器学习不同，在该不一致性预测器57E的机器学习中，控制部11与稀有度325E无关地均匀地训练各第3学习数据集33E。均匀地训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第3学习数据集33E构建不一致性预测器57E，该不一致性预测器57E被训练为当输入第1时刻的第1样本321E时输出与预测模型55E对该第1样本321E的预测的不一致性333E匹配的输出值。当不一致性预测器57E的机器学习完成时，控制部11使处理进入到接下来的步骤S206。
在步骤S206中，控制部11利用通过步骤S205构建的学习完毕的不一致性预测器57E，设定(更新)各第2学习数据集32E的稀有度325E。设定稀有度325E的方法可以与上述实施方式相同。当稀有度325E的设定完成时，控制部11使处理返回到步骤S202。
在步骤S207中，控制部11生成表示通过机器学习而构建的学习完毕的预测模型55E的构造和运算参数的信息作为第2学习结果数据123E。然后，控制部11将生成的第2学习结果数据123E保存到规定的存储区域。由此，控制部11结束与预测模型55E和不一致性预测器57E的机器学习相关的一系列的处理。另外，与上述实施方式同样，第2学习结果数据123E可以在任意的时机被提供给人流预测装置2E。
＜预测处理＞
接着，使用图21对人流预测装置2E的预测处理的一例进行说明。图21示意性地例示与本变形例的人流预测装置2E的预测处理相关的软件结构的一例。与上述实施方式同样地，与人流预测装置2E的预测处理相关的软件结构通过控制部21对人流预测程序82E的执行来实现。如图21所示，除了将人流数据作为规定数据进行处理这一点以外，与人流预测装置2E的预测处理相关的软件结构与上述预测装置2的软件结构相同。由此，人流预测装置2E与上述预测装置2同样地执行与预测处理相关的一系列的处理。
即，在步骤S301中，人流预测装置2E的控制部21从传感器SE取得人流数据的对象样本221E。在步骤S302中，控制部21参照第2学习结果数据123E来进行学习完毕的预测模型55E的设定。另外，控制部21参照第1学习结果数据121E来进行学习完毕的推测器51E的解码器53E的设定。接着，控制部21将所取得的对象样本221E输入到预测模型55E，并执行预测模型55E的运算处理。作为该运算处理的结果，控制部21根据对象样本221E来预测未来时刻的人流数据的特征信息(特征量)。进而，控制部21将预测模型55E的输出值输入到解码器53E，并执行解码器53E的运算处理。由此，控制部21根据由预测模型55E预测的特征量来复原预测样本225E，并且从解码器53E取得与预测了在未来时刻出现在人流数据中的特征的结果对应的输出值。在本变形例中，所预测的特征能够包含表示从人流数据确定的人的流动的量的人流信息223E。当根据对象样本221E对未来的特征的预测完成时，控制部21使处理进入到接下来的步骤S303。
在步骤S303中，控制部21输出与预测的结果(人流信息223E和预测样本225E)相关的信息。输出目的地及输出的信息的内容分别可以根据实施方式来适当决定。例如，控制部21也可以将得到的人流信息223E和预测样本225E直接输出到输出装置25。另外，例如，控制部21也可以基于预测的结果来执行某些信息处理。然后，控制部21也可以将执行了该信息处理的结果作为与预测的结果相关的信息来输出。
作为该信息处理的一例，控制部21也可以根据人流信息223E所示的人的流动，向输出装置25输出发生拥堵、预想到拥挤等特定的消息。在该情况下，人流预测装置2E也可以进一步参照地图信息，向输出装置25输出避开预想到拥堵或拥挤的场所的迂回路线。地图信息也可以保存在存储部22、存储介质92、外部存储装置、存储介质等规定的存储区域中。控制部21也可以在执行该处理时从规定的存储区域适当地取得地图信息。
根据本变形例，在预测人的流动的场景中，可以构建能够高精度地预测稀有现象的预测模型55E。通过利用了上述稀有度325E的机器学习，例如，预测模型55E构建为能够以与人的流动逐渐变化等可能具有规则性的现象相同程度的精度，预测人的流动突发性地变化等可能不规则地产生的现象。因此，人流预测装置2E通过利用该预测模型55E，能够高精度地预测上述那样的可能不规则地产生的人的流动的变化。由此，能够适当地整理人的流动。
(E)预测栽培状况的场景
图22示意性地例示第5变形例的预测系统100F的应用场景的一例。本变形例是将上述实施方式应用在预测植物GF的栽培状况的场景中的例子。如图22所示，本变形例的预测系统100F具有模型生成装置1和状况预测装置2F。与上述实施方式同样地，模型生成装置1和状况预测装置2F可以经由网络相互连接。
本变形例的预测系统100F除了处理的数据不同这一点以外，也可以与上述实施方式同样地构成。状况预测装置2F对应于上述预测装置2。状况预测装置2F可以与上述预测装置2同样地构成。模型生成装置1通过机器学习来构建预测模型55F，该预测模型55F被训练为能够根据与任意时刻的植物的栽培状况相关的状况数据，预测在未来时刻的状况数据中出现的特征。另一方面，状况预测装置2F利用预测模型55F，根据状况数据来预测未来时刻的植物GF的栽培状况。按时间序列得到的上述规定数据可以是状况数据，上述特征信息323可以与由该状况数据确定的植物GF的栽培状况相关。
植物GF的栽培状况涉及栽培植物GF的所有要素，例如，可以根据到栽培时间点为止的生长环境、生长状态等来确定。生长环境涉及供植物GF生长的状况，例如是向植物GF照射光的时间、植物GF的周围的温度、赋予植物GF的水的量等。生长状态例如可以由植物GF的成长度等规定。状况数据只要是与植物GF的栽培状况相关的数据，则其种类没有特别限定，可以根据实施方式来适当选择。
在本变形例中，为了观测植物GF的栽培状况而使用传感器SF。传感器SF只要能够观测植物GF的栽培状况即可，其种类也可以没有特别限定，可以根据实施方式来适当选择。传感器SF例如可以是光度计、温度计、湿度计、摄像机等。摄像机例如可以是通常的摄像机、深度摄像机、红外线摄像机等。即，在本变形例中，传感器SF所得到的感测数据被用作状况数据的一例。
模型生成装置1通过机器学习来构建预测模型55F，该预测模型55F被训练为能够根据传感器所得到的任意时刻的状况数据，预测与由未来时刻的状况数据确定的植物的栽培状况相关的特征。也就是说，在本变形例中，传感器SF所得到的状况数据被当作成为对可能在未来时刻产生的现象进行预测的处理的对象的上述规定数据。
另一方面，状况预测装置2F与传感器SF连接。状况预测装置2F通过利用传感器SF观测植物GF的栽培状况而取得状况数据。然后，状况预测装置2F利用学习完毕的预测模型55F，根据任意时刻的状况数据来预测与在未来时刻的状况数据中出现的植物GF的栽培状况相关的特征。
另外，在本变形例中，状况预测装置2F还与栽培装置RF连接，构成为能够根据对植物GF的栽培状况进行预测而得的结果来控制栽培装置RF的动作。栽培装置RF构成为控制植物GF的生长环境来栽培植物GF。栽培装置RF只要能够控制植物GF的生长环境，则其种类也可以没有特别限定，可以根据实施方式来适当选择。栽培装置RF例如可以是窗帘装置、照明装置、空调设备、洒水装置等。窗帘装置构成为对安装于建筑物的窗户的窗帘进行开闭。照明装置例如是LED(light emitting diode：发光二极管)照明、荧光灯等。空调设备例如是空调器等。洒水装置例如为喷洒头等。窗帘装置和照明装置被用于控制向植物GF照射光的时间。空调设备被用于控制植物GF的周围的温度。洒水装置被用于控制赋予给植物GF的水量。
＜状况预测装置的硬件结构＞
接着，进一步使用图23对本变形例的状况预测装置2F的硬件结构的一例进行说明。图23示意性地例示本变形例的状况预测装置2F的硬件结构的一例。本变形例的状况预测装置2F与上述预测装置2同样地是控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接而成的计算机。状况预测装置2F经由外部接口27而与传感器SF和栽培装置RF连接。但是，状况预测装置2F的硬件结构也可以不限定于这样的例子。关于状况预测装置2F的具体的硬件结构，能够根据实施方式来适当地省略、置换以及追加构成要素。状况预测装置2F除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC、PLC等。
本变形例的状况预测装置2F的存储部22存储状况预测程序82F、第1学习结果数据121F、第2学习结果数据123F等各种信息。状况预测程序82F、第1学习结果数据121F以及第2学习结果数据123F与上述实施方式的预测程序82、第1学习结果数据121以及第2学习结果数据123对应。状况预测程序82F、第1学习结果数据121F以及第2学习结果数据123F中的至少任意一个也可以存储于存储介质92。另外，状况预测装置2F也可以从存储介质92取得状况预测程序82F、第1学习结果数据121F以及第2学习结果数据123F中的至少任意一个。
＜推测器的机器学习＞
接着，对本变形例中的推测器51F的机器学习的处理过程的一例进行说明。如图22所示，在本变形例中，模型生成装置1除了将与植物的栽培状况相关的状况数据作为规定数据进行处理这一点以外，与上述实施方式同样地执行与推测器51F的机器学习相关的一系列的处理。
即，在步骤S101中，模型生成装置1的控制部11取得在推测器51F的机器学习中利用的多个第1学习数据集31F。在本变形例中，推测器51F与上述实施方式的推测器51同样地具有编码器52F和解码器53F。编码器52F和解码器53F分别与上述实施方式同样地由神经网络构成，与上述编码器52和解码器53分别同样地动作。
各第1学习数据集31F与上述实施方式的各第1学习数据集31对应。在本变形例中，各第1学习数据集31F由通过传感器按时间序列得到的状况数据的样本311F以及表示在样本311F中出现的特征(正确解)的正确解数据313F的组合构成。正确解数据313F所示的特征例如可以是植物的栽培状况。
与上述实施方式同样地，取得各第1学习数据集31F的方法可以适当选择。另外，各第1学习数据集31F可以适当生成。例如，准备与传感器SF相同种类的传感器和与植物GF相同种类的植物，通过准备好的传感器观测各种栽培状况的植物，由此按时间序列取得状况数据。接着，从按时间序列得到的状况数据适当提取样本311F。然后，将提取出的样本311F与观测到的植物的栽培状况等表示在样本311F中出现的特征的正确解数据313F建立关联。由此，能够生成各第1学习数据集31F。当取得多个第1学习数据集31F时，控制部11使处理进入到接下来的步骤S102。
在步骤S102中，控制部11使用多个第1学习数据集31F来执行推测器51F的机器学习。在本变形例中，控制部11通过机器学习，针对各第1学习数据集31F训练推测器51F，使得当向编码器52F输入样本311F时，从解码器53F输出与样本311F和正确解数据313F匹配的输出值。机器学习的处理过程可以与上述实施方式相同。通过该机器学习的过程，编码器52F被训练为将状况数据的样本311F变换为特征量。并且，解码器53F被训练为根据由编码器52F得到的特征量来复原样本311F，并且推测样本311F中包含的特征。其结果是，控制部11能够针对各第1学习数据集31F构建推测器51F，该推测器51F被训练为针对样本311F的输入而输出与样本311F和正确解数据313F匹配的输出值。当推测器51F的机器学习完成时，控制部11使处理进入到接下来的步骤S103。
在步骤S103中，控制部11生成表示通过机器学习而构建的学习完毕的推测器51F的构造和运算参数的信息作为第1学习结果数据121F。然后，控制部11将生成的第1学习结果数据121F保存到规定的存储区域。由此，控制部11结束与推测器51F的机器学习相关的一系列的处理。另外，与上述实施方式同样，与解码器53F相关的第1学习结果数据121F可以在任意的时机被提供给状况预测装置2F。
＜预测模型的机器学习＞
接着，对本变形例中的预测模型55F和不一致性预测器57F的机器学习的处理过程的一例进行说明。在本变形例中，模型生成装置1除了将与植物的栽培状况相关的状况数据作为规定数据进行处理这一点以外，与上述实施方式同样地执行与预测模型55F和不一致性预测器57F的机器学习相关的一系列的处理。
即，在步骤S201中，控制部11取得由按时间序列得到的状况数据的第1时刻的第1样本321F以及比第1时刻靠未来的时刻的第2样本中所包含的特征信息323F的组合分别构成的多个第2学习数据集32F。取得各第2学习数据集32F的方法可以与上述实施方式同样地适当选择。另外，各第2学习数据集32F可以与上述实施方式同样地生成。提取了第1样本321F和第2样本的状况数据可以与在各第1学习数据集31F的生成中利用的状况数据相同。在本变形例中，特征信息323F也可以与从状况数据确定的植物的栽培状况相关。另外，特征信息323F也可以构成为包含第2样本的特征量。构成特征信息323F的特征量也可以通过由学习完毕的编码器52F变换第2样本来赋予。在各第2学习数据集32F中，可以适当设定稀有度325F。当取得多个第2学习数据集32F时，控制部11使处理进入到接下来的步骤S202。
在步骤S202中，控制部11使用多个第2学习数据集32F来执行预测模型55F的机器学习。预测模型55F也可以与上述实施方式的预测模型55同样地由神经网络构成。控制部11通过机器学习，针对各第2学习数据集32F训练预测模型55F，使得当输入第1样本321F时，输出与对应的特征信息323F匹配的输出值。在该预测模型55F的机器学习中，越是稀有度325F高的第2学习数据集32F，控制部11越重点进行训练。重点进行训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第2学习数据集32F构建预测模型55F，该预测模型55F被训练为当输入第1时刻的第1样本321F时输出与第2时刻的特征信息323F匹配的输出值。当预测模型55F的机器学习完成时，控制部11使处理进入到接下来的步骤S203。
在步骤S203中，控制部11判定是否反复进行预测模型55F和不一致性预测器57F的机器学习的处理。反复进行机器学习的基准可以与上述实施方式相同。在判定为反复进行机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S204。另一方面，在判定为结束机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S207。
在步骤S204中，控制部11取得由各第2学习数据集32F的第1时刻的第1样本321F以及预测模型55F对该第1样本321F的预测的不一致性333F的组合分别构成的多个第3学习数据集33F。取得各第3学习数据集33F的方法可以与上述实施方式相同。在各第3学习数据集33F的生成中，可以利用通过步骤S202构建的学习完毕的预测模型55F和各第2学习数据集32F。当取得多个第3学习数据集33F时，控制部11使处理进入到接下来的步骤S205。
在步骤S205中，控制部11使用多个第3学习数据集33F来执行不一致性预测器57F的机器学习。控制部11通过机器学习，针对各第3学习数据集33F训练不一致性预测器57F，使得当输入第1样本321F时，输出与对应的不一致性333F匹配的输出值。与预测模型55F的机器学习不同，在该不一致性预测器57F的机器学习中，控制部11与稀有度325F无关地均匀地训练各第3学习数据集33F。均匀地训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第3学习数据集33F构建不一致性预测器57F，该不一致性预测器57F被训练为当输入第1时刻的第1样本321F时，输出与预测模型55F对该第1样本321F的预测的不一致性333F匹配的输出值。当不一致性预测器57F的机器学习完成时，控制部11使处理进入到接下来的步骤S206。
在步骤S206中，控制部11利用通过步骤S205构建的学习完毕的不一致性预测器57F，设定(更新)各第2学习数据集32F的稀有度325F。设定稀有度325F的方法可以与上述实施方式相同。当稀有度325F的设定完成时，控制部11使处理返回到步骤S202。
在步骤S207中，控制部11生成表示通过机器学习而构建的学习完毕的预测模型55F的构造和运算参数的信息作为第2学习结果数据123F。然后，控制部11将生成的第2学习结果数据123F保存到规定的存储区域。由此，控制部11结束与预测模型55F和不一致性预测器57F的机器学习相关的一系列的处理。另外，与上述实施方式同样，第2学习结果数据123F可以在任意的时机被提供给状况预测装置2F。
＜预测处理＞
接着，使用图24对状况预测装置2F的预测处理的一例进行说明。图24示意性地例示与本变形例的状况预测装置2F的预测处理相关的软件结构的一例。与上述实施方式同样地，与状况预测装置2F的预测处理相关的软件结构通过控制部21对状况预测程序82F的执行来实现。如图24所示，除了将与植物的栽培状况相关的状况数据作为规定数据进行处理这一点以外，与状况预测装置2F的预测处理相关的软件结构与上述预测装置2的软件结构相同。由此，状况预测装置2F与上述预测装置2同样地执行与预测处理相关的一系列的处理。
即，在步骤S301中，状况预测装置2F的控制部21从传感器SF取得状况数据的对象样本221F。在步骤S302中，控制部21参照第2学习结果数据123F来进行学习完毕的预测模型55F的设定。另外，控制部21参照第1学习结果数据121F来进行学习完毕的推测器51F的解码器53F的设定。接着，控制部21将所取得的对象样本221F输入到预测模型55F，并执行预测模型55F的运算处理。作为该运算处理的结果，控制部21根据对象样本221F来预测未来时刻的状况数据的特征信息(特征量)。进而，控制部21将预测模型55F的输出值输入到解码器53F，并执行解码器53F的运算处理。由此，控制部21根据由预测模型55F预测的特征量来复原预测样本225F，并且从解码器53F取得与预测了在未来时刻出现在状况数据中的特征的结果对应的输出值。在本变形例中，所预测的特征能够包含表示从状况数据确定的植物GF的栽培状况的状况信息223F。当根据对象样本221F对未来的特征的预测完成时，控制部21使处理进入到接下来的步骤S303。
在步骤S303中，控制部21输出与预测的结果(状况信息223F和预测样本225F)相关的信息。输出目的地及输出的信息的内容分别可以根据实施方式来适当决定。例如，控制部21也可以将得到的状况信息223F和预测样本225F直接输出到输出装置25。另外，例如，控制部21也可以基于预测的结果来执行某些信息处理。然后，控制部21也可以将执行了该信息处理的结果作为与预测的结果相关的信息来输出。
作为该信息处理的一例，控制部21也可以根据状况信息223F所示的预测的栽培状况来决定赋予给栽培装置RF的控制指令。栽培状况与控制指令的对应关系也可以通过表形式等的参照信息来赋予。该参照信息也可以保存在存储部22、存储介质92、外部存储装置、存储介质等规定的存储区域中。控制部21也可以通过参照该参照信息并根据预测出的栽培状况来决定控制指令。而且，控制部21也可以通过将所决定的控制指令赋予给栽培装置RF来控制栽培装置RF的动作。另外，例如，控制部21也可以将表示所决定的控制指令的信息输出到输出装置25，促使植物GF的管理者控制栽培装置RF的动作。
根据本变形例，在预测植物GF的栽培状况的场景中，可以构建能够高精度地预测稀有现象的预测模型55F。通过利用了上述稀有度325F的机器学习，例如预测模型55F构建为能够以与植物GF的栽培状况逐渐变化等可能具有规则性的现象相同程度的精度，预测植物GF的栽培状况突发性地变化等可能不规则地产生的现象。因此，状况预测装置2F通过利用该预测模型55F，能够高精度地预测上述那样的可能不规则地产生的植物GF的栽培状况的变化。由此，能够适当地控制植物GF的生长环境。
(F)预测发电量的场景
图25示意性地例示第6变形例的预测系统100G的应用场景的一例。本变形例是将上述实施方式应用在预测发电设备RG中的发电量的场景中的例子。如图25所示，本变形例的预测系统100G具有模型生成装置1和发电量预测装置2G。与上述实施方式同样，模型生成装置1和发电量预测装置2G可以经由网络相互连接。
本变形例的预测系统100G除了处理的数据不同这一点以外，也可以与上述实施方式同样地构成。发电量预测装置2G对应于上述预测装置2。发电量预测装置2G可以与上述预测装置2同样地构成。发电设备RG的种类也可以没有特别限定，可以根据实施方式来适当选择。发电设备RG例如可以是太阳能发电设备。
在本变形例中，基于与发电设备RG的发电相关联的关联数据来预测该发电设备RG中的发电量。关联数据只要能够与发电设备RG的发电相关联，则其种类也可以没有特别限定，可以根据实施方式来适当选择。关联数据例如可以是天气、气温、降水量、湿度、风量等与气象相关的气象数据。
模型生成装置1通过机器学习来构建预测模型55G，该预测模型55G被训练为能够根据任意时刻的关联数据来预测与由未来时刻的关联数据确定的发电设备中的发电量相关的特征。也就是说，在本变形例中，与发电设备RG的发电相关联的关联数据是本发明的“按时间序列得到的规定数据”的一例，被当作成为对可能在未来时刻产生的现象进行预测的处理的对象的上述规定数据。
另一方面，发电量预测装置2G适当地取得与发电设备RG的发电相关联的关联数据。然后，发电量预测装置2G利用学习完毕的预测模型55G，根据任意时刻的关联数据来预测与在未来时刻的关联数据中出现的发电设备RG中的发电量相关的特征。
＜发电量预测装置的硬件结构＞
接着，进一步使用图26对本变形例的发电量预测装置2G的硬件结构的一例进行说明。图26示意性地例示本变形例的发电量预测装置2G的硬件结构的一例。本变形例的发电量预测装置2G与上述预测装置2同样地是控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接而成的计算机。但是，发电量预测装置2G的硬件结构也可以不限定于这样的例子。关于发电量预测装置2G的具体的硬件结构，能够根据实施方式来适当地省略、置换以及追加构成要素。发电量预测装置2G除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。
本变形例的发电量预测装置2G的存储部22存储预测程序82G、第1学习结果数据121G、第2学习结果数据123G等各种信息。预测程序82G、第1学习结果数据121G以及第2学习结果数据123G与上述实施方式的预测程序82、第1学习结果数据121以及第2学习结果数据123对应。预测程序82G、第1学习结果数据121G以及第2学习结果数据123G中的至少一个也可以存储于存储介质92。另外，发电量预测装置2G也可以从存储介质92取得预测程序82G、第1学习结果数据121G以及第2学习结果数据123G中的至少任意一个。
＜推测器的机器学习＞
接着，对本变形例中的推测器51G的机器学习的处理过程的一例进行说明。如图25所示，在本变形例中，模型生成装置1除了将与发电设备的发电相关联的关联数据作为规定数据进行处理这一点以外，与上述实施方式同样地执行与推测器51G的机器学习相关的一系列的处理。
即，在步骤S101中，模型生成装置1的控制部11取得在推测器51G的机器学习中利用的多个第1学习数据集31G。在本变形例中，推测器51G与上述实施方式的推测器51同样地具有编码器52G和解码器53G。编码器52G和解码器53G分别与上述实施方式同样地由神经网络构成，与上述编码器52和解码器53分别同样地动作。
各第1学习数据集31G与上述实施方式的各第1学习数据集31对应。在本变形例中，各第1学习数据集31G由按时间序列得到的关联数据的样本311G以及表示在样本311G中出现的特征(正确解)的正确解数据313G的组合构成。正确解数据313G所示的特征例如可以是发电设备中的发电量。
与上述实施方式同样地，取得各第1学习数据集31G的方法可以适当选择。另外，各第1学习数据集31G可以适当生成。例如，取得与发电设备RG相同种类的发电设备中的发电量，并且在各种发电条件下按时间序列取得关联数据。发电量可以通过发电设备的传感器、操作员的输入等来赋予。接着，从按时间序列得到的关联数据中适当提取样本311G。然后，将提取出的样本311G与发电设备中的发电量等表示在样本311G中出现的特征的正确解数据313G建立关联。由此，能够生成各第1学习数据集31G。当取得多个第1学习数据集31G时，控制部11使处理进入到接下来的步骤S102。
在步骤S102中，控制部11使用多个第1学习数据集31G来执行推测器51G的机器学习。在本变形例中，控制部11通过机器学习，针对各第1学习数据集31G训练推测器51G，使得当向编码器52G输入样本311G时，从解码器53G输出与样本311G和正确解数据313G匹配的输出值。机器学习的处理过程可以与上述实施方式相同。通过该机器学习的过程，编码器52G被训练为将关联数据的样本311G变换为特征量。并且，解码器53G被训练为根据由编码器52G得到的特征量来复原样本311G，并且推测样本311G中包含的特征。其结果是，控制部11能够针对各第1学习数据集31G构建推测器51G，该推测器51G被训练为针对样本311G的输入而输出与样本311G和正确解数据313G匹配的输出值。当推测器51G的机器学习完成时，控制部11使处理进入到接下来的步骤S103。
在步骤S103中，控制部11生成表示通过机器学习而构建的学习完毕的推测器51G的构造和运算参数的信息作为第1学习结果数据121G。然后，控制部11将生成的第1学习结果数据121G保存到规定的存储区域。由此，控制部11结束与推测器51G的机器学习相关的一系列的处理。另外，与上述实施方式同样地，与解码器53G相关的第1学习结果数据121G可以在任意的时机被提供给发电量预测装置2G。
＜预测模型的机器学习＞
接着，对本变形例中的预测模型55G和不一致性预测器57G的机器学习的处理过程的一例进行说明。在本变形例中，模型生成装置1除了将与发电设备的发电相关联的关联数据作为规定数据进行处理这一点以外，与上述实施方式同样地执行与预测模型55G和不一致性预测器57G的机器学习相关的一系列的处理。
即，在步骤S201中，控制部11取得由按时间序列得到的关联数据的第1时刻的第1样本321G以及比第1时刻靠未来的时刻的第2样本中所包含的特征信息323G的组合分别构成的多个第2学习数据集32G。取得各第2学习数据集32G的方法可以与上述实施方式同样地适当选择。另外，各第2学习数据集32G可以与上述实施方式同样地生成。提取了第1样本321G和第2样本的关联数据可以与在各第1学习数据集31G的生成中利用的关联数据相同。在本变形例中，特征信息323G也可以与从关联数据确定的发电设备的发电量相关。另外，特征信息323G可以构成为包含第2样本的特征量。构成特征信息323G的特征量也可以通过由学习完毕的编码器52G变换第2样本来赋予。在各第2学习数据集32G中，可以适当设定稀有度325G。当取得多个第2学习数据集32G时，控制部11使处理进入到接下来的步骤S202。
在步骤S202中，控制部11使用多个第2学习数据集32G来执行预测模型55G的机器学习。预测模型55G可以与上述实施方式的预测模型55同样地由神经网络构成。控制部11通过机器学习，针对各第2学习数据集32G训练预测模型55G，使得当输入第1样本321G时，输出与对应的特征信息323G匹配的输出值。在该预测模型55G的机器学习中，越是稀有度325G高的第2学习数据集32G，控制部11越重点进行训练。重点进行训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第2学习数据集32G构建预测模型55G，该预测模型55G被训练为当输入第1时刻的第1样本321G时，输出与第2时刻的特征信息323G匹配的输出值。当预测模型55G的机器学习完成时，控制部11使处理进入到接下来的步骤S203。
在步骤S203中，控制部11判定是否反复进行预测模型55G和不一致性预测器57G的机器学习的处理。反复进行机器学习的基准可以与上述实施方式相同。在判定为反复进行机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S204。另一方面，在判定为结束机器学习的处理的情况下，控制部11使处理进入到接下来的步骤S207。
在步骤S204中，控制部11取得由各第2学习数据集32G的第1时刻的第1样本321G以及预测模型55G对该第1样本321G的预测的不一致性333G的组合分别构成的多个第3学习数据集33G。取得各第3学习数据集33G的方法可以与上述实施方式相同。在各第3学习数据集33G的生成中，可以利用通过步骤S202构建的学习完毕的预测模型55G和各第2学习数据集32G。当取得多个第3学习数据集33G时，控制部11使处理进入到接下来的步骤S205。
在步骤S205中，控制部11使用多个第3学习数据集33G来执行不一致性预测器57G的机器学习。控制部11通过机器学习，针对各第3学习数据集33G训练不一致性预测器57G，使得当输入第1样本321G时，输出与对应的不一致性333G匹配的输出值。与预测模型55G的机器学习不同，在该不一致性预测器57G的机器学习中，控制部11与稀有度325G无关地均匀地训练各第3学习数据集33G。均匀地训练的方法可以与上述实施方式相同。由此，控制部11能够针对各第3学习数据集33G构建不一致性预测器57G，该不一致性预测器57G被训练为当输入第1时刻的第1样本321G时，输出与预测模型55G对该第1样本321G的预测的不一致性333G匹配的输出值。当不一致性预测器57G的机器学习完成时，控制部11使处理进入到接下来的步骤S206。
在步骤S206中，控制部11利用通过步骤S205构建的学习完毕的不一致性预测器57G，设定(更新)各第2学习数据集32G的稀有度325G。设定稀有度325G的方法可以与上述实施方式相同。当稀有度325G的设定完成时，控制部11使处理返回到步骤S202。
在步骤S207中，控制部11生成表示通过机器学习而构建的学习完毕的预测模型55G的构造和运算参数的信息作为第2学习结果数据123G。然后，控制部11将生成的第2学习结果数据123G保存到规定的存储区域。由此，控制部11结束与预测模型55G和不一致性预测器57G的机器学习相关的一系列的处理。另外，与上述实施方式同样地，第2学习结果数据123G可以在任意的时机被提供给发电量预测装置2G。
＜预测处理＞
接着，使用图27对发电量预测装置2G的预测处理的一例进行说明。图27示意性地例示与本变形例的发电量预测装置2G的预测处理相关的软件结构的一例。与上述实施方式同样，与发电量预测装置2G的预测处理相关的软件结构通过控制部21对预测程序82G的执行来实现。如图27所示，除了将与发电设备的发电相关联的关联数据作为规定数据进行处理这一点以外，与发电量预测装置2G的预测处理相关的软件结构与上述预测装置2的软件结构相同。由此，发电量预测装置2G与上述预测装置2同样地执行与预测处理相关的一系列的处理。
即，在步骤S301中，发电量预测装置2G的控制部21适当地取得关联数据的对象样本221G。取得关联数据的方法也可以没有特别限定，可以根据实施方式来适当选择。例如，在将气象数据作为关联数据进行处理的情况下，控制部21也可以从公知的气象数据服务器取得对象样本221G。当取得对象样本221G时，控制部21使处理进入到接下来的步骤S302。
在步骤S302中，控制部21参照第2学习结果数据123G来进行学习完毕的预测模型55G的设定。另外，控制部21参照第1学习结果数据121G来进行学习完毕的推测器51G的解码器53G的设定。接着，控制部21将所取得的对象样本221G输入到预测模型55G，并执行预测模型55G的运算处理。作为该运算处理的结果，控制部21根据对象样本221G来预测未来时刻的关联数据的特征信息(特征量)。进而，控制部21将预测模型55G的输出值输入到解码器53G，并执行解码器53G的运算处理。由此，控制部21根据由预测模型55G预测的特征量来复原预测样本225G，并且从解码器53G取得与预测了在未来时刻出现在关联数据中的特征的结果对应的输出值。在本变形例中，所预测的特征能够包含表示从关联数据确定的发电设备RG中的发电量的发电量信息223G。当根据对象样本221G对未来的特征的预测完成时，控制部21使处理进入到接下来的步骤S303。
在步骤S303中，控制部21输出与预测的结果(发电量信息223G和预测样本225G)相关的信息。输出目的地及输出的信息的内容分别可以根据实施方式来适当决定。例如，控制部21也可以将得到的发电量信息223G和预测样本225G直接输出到输出装置25。另外，例如，控制部21也可以基于预测的结果来执行某些信息处理。而且，控制部21也可以将执行了该信息处理的结果作为与预测的结果相关的信息来输出。
作为该信息处理的一例，控制部21也可以将发电量信息223G所示的在发电设备RG中预测的发电量与阈值进行比较。阈值可以适当设定。而且，控制部21也可以在所预测的发电量为阈值以下的情况下向输出装置25输出催促由其他发电设备进行发电的消息。
根据本变形例，在预测发电设备RG中的发电量的场景中，可以构建能够高精度地预测稀有现象的预测模型55G。通过利用了上述稀有度325G的机器学习，例如预测模型55G构建为能够以与发电设备RG中的发电量逐渐变化等可能具有规则性的现象相同程度的精度，预测因急剧的天气变化而导致发电量突发性地变化等可能不规则地产生的现象。因此，发电量预测装置2G通过利用该预测模型55G，能够高精度地预测上述那样的可能不规则地产生的发电设备RG中的发电量的变化。由此，能够适当地管理发电量。
＜4.2＞
在上述实施方式中，预测模型55构建为根据第1样本321来预测第2样本322的特征信息323。另外，特征信息323由通过学习完毕的编码器52变换第2样本322而得到的特征量构成。但是，预测模型55和特征信息323的结构也可以分别不限定于这样的例子，可以根据实施方式来适当选择。构成特征信息323的特征量也可以不是来自编码器52。特征信息323也可以以特征量以外的形式提供。例如，特征信息323也可以与正确解数据313同样地构成为直接表示在第2样本322中出现的特征。在该情况下，推测器51也可以不被分为编码器和解码器，可以在推测器51中省略样本的复原。也就是说，推测器51可以在上述步骤S102中针对各第1学习数据集31训练为当输入样本311时，输出与正确解数据313匹配的输出值。特征信息323也可以通过操作员的输入来提供。或者，特征信息323也可以通过对第2样本322的推测结果来提供。例如，特征信息323也可以由通过向学习完毕的推测器51输入第2样本322而从学习完毕的推测器51输出的输出值(推测结果)构成。另外，预测装置2也可以不利用解码器53，而是通过预测模型55直接导出特征223。也就是说，在上述步骤S302中，控制部21也可以取得通过向预测模型55输入对象样本221而从预测模型55输出的输出值作为预测结果。而且，在上述步骤S303中，控制部21也可以将该预测的结果直接输出到输出装置25。或者，在上述步骤S303中，控制部21也可以基于该预测的结果来执行某些信息处理，并将执行了该信息处理的结果作为与预测的结果相关的信息来输出。
另外，预测模型55也可以构建为根据第1样本321来预测第2样本322。在该情况下，各第2学习数据集32也可以代替特征信息323或者与特征信息323一起包含第2样本322作为教师数据。即，上述实施方式的模型生成装置1也可以取得分别由第1时刻的第1样本321、第2时刻的第2样本322以及第2样本322所包含的特征信息323的至少任意的组合构成的多个学习数据集。而且，模型生成装置1也可以通过机器学习，针对各学习数据集构建被训练为根据第1样本321来预测对应的第2样本322和特征信息323中的至少任意方的预测模型。这些变更也可以同样地应用在上述变形例的各预测系统100A～100G中。
图28示意性地示出将特征信息323置换为第2样本322的变形例。在该变形例中，模型生成装置1在上述步骤S201中取得由第1样本321和第2样本322的组合分别构成的多个学习数据集32H。各学习数据集32H与上述实施方式的各第2学习数据集32对应。在步骤S202中，模型生成装置1通过机器学习，针对各学习数据集32H训练预测模型55H，使得当输入第1样本321时，输出与对应的第2样本322匹配的输出值。预测模型55H也可以与上述实施方式的预测模型55同样地由神经网络构成。在该情况下，预测装置2在上述步骤S302中利用学习完毕的预测模型55H根据对象样本221对预测样本225进行预测。预测装置2也可以利用该预测样本225来推测未来的现象。
＜4.3＞
在上述实施方式中，推测器51、预测模型55以及不一致性预测器57的各机器学习的处理由同一计算机执行。但是，推测器51、预测模型55以及不一致性预测器57中的至少任意方的机器学习的处理也可以由与其他机器学习的处理不同的计算机来执行。在该情况下，也可以将执行预测模型55的机器学习的计算机称为“模型生成装置”。该变更可以同样地应用在上述变形例的各预测系统100A～100G中。
＜4.4＞
在上述实施方式中，在各第2学习数据集32的稀有度325的设定中利用了不一致性预测器57。由此，稀有度325根据特征信息323出现在规定数据中的不规则性的程度来设定。但是，稀有度325的设定方法也可以不限定于这样的例子。也可以在不利用不一致性预测器57的情况下设定稀有度325。例如，稀有度325可以由操作员等手动设定，也可以基于某些指标来自动设定。
在手动设定稀有度325的情况下，控制部11也可以在取得各第1样本321之后，在任意的时机受理对各第2学习数据集32设定的稀有度325的输入。操作员也可以基于步骤S202中的预测模型55的输出值与特征信息323的不一致性来决定各稀有度325的值。或者，操作员也可以根据在第2样本322中出现的特征来决定各稀有度325的值。在稀有度325的输入中可以使用文字输入、声音输入等公知的输入方法。输入装置14例如可以由麦克风、键盘等构成。
在自动地设定稀有度325的情况下，控制部11也可以在取得了各第1样本321之后，在任意的时机基于某些指标来决定设定在各第2学习数据集32中的稀有度325的值。作为基于指标自动地设定的方法的一例，稀有度325可以根据在第2样本322中出现的特征或特征信息323的出现频率、出现概率等来设定。例如，控制部11也可以基于得到的多个第2学习数据集32，计算在第2样本322中出现的特征或者特征信息323的出现频率或出现概率。然后，控制部11也可以根据计算出的出现频率或出现概率来设定各稀有度325的值。即，控制部11也可以设定为，计算出的出现频率或出现概率越低则稀有度325的值越高，计算出的出现频率或出现概率越高则稀有度325的值越小。或者，控制部11也可以根据在各第2样本322中出现的特征或特征信息323，推测其不规则性的程度，并根据推测的结果来设定各稀有度325的值。作为一例，设想在各第2样本322中出现的特征例如是表情、声音、动作等人物的反应的场景。在该场景中，在人物采取例如惊讶的表情、提高声音、突然跑起来等急剧变化的某个行动的情况下，能够推测为该特征的不规则性的程度高。另一方面，在人物的行动变化较少的情况下，能够推测为该特征的不规则性的程度低。因此，控制部11也可以通过图像传感器、声音传感器等传感器来观测人物的反应，并根据所得到的观测数据来计测例如表情的变化程度、声音的抑扬等人物的反应的推移。作为计测人物的反应的推移的方法，例如也可以采用基于图像解析的表情推测、基于声音解析的感情推测等公知的方法。而且，控制部11也可以基于计测的结果来推测该特征的不规则性的程度，并基于推测的结果来决定在各第2样本322中设定的各稀有度325的值。通过这些方法，能够根据特征或特征信息323在规定数据中出现的不规则性的程度来设定稀有度325。该变更也可以同样地应用在上述变形例的各预测系统100A～100G中。
＜4.5＞
推测器51(编码器52和解码器53)、预测模型55以及不一致性预测器57分别由多层构造的全结合神经网络构成。但是，分别构成推测器51、预测模型55以及不一致性预测器57的神经网络的构造及种类也可以不限定于这样的例子，可以根据实施方式来适当选择。例如，推测器51、预测模型55以及不一致性预测器57分别可以由具有卷积层、集中层以及全结合层的卷积神经网络构成。另外，例如，推测器51、预测模型55以及不一致性预测器57分别可以由递归型神经网络构成。另外，也可以在推测器51、预测模型55以及不一致性预测器57中的至少任意一个中利用神经网络以外的学习模型。
另外，也可以省略推测器51和不一致性预测器57中的至少一方。例如，如上述变形例那样，在特征信息323直接表示在第2样本322中出现的特征的情况下，可以省略推测器51。在省略推测器51的情况下，第1数据取得部111、第1学习处理部112以及第1保存处理部113也可以从模型生成装置1的软件结构中省略。另外，例如，如上述变形例那样，在不利用不一致性预测器57来设定稀有度325的情况下，可以省略不一致性预测器57。在省略不一致性预测器57的情况下，第3数据取得部117和第3学习处理部118也可以从模型生成装置1的软件结构中省略。在该情况下，稀有度设定部119也可以通过不利用不一致性预测器57的上述方法来设定各第2学习数据集32的稀有度325。另外，在预先设定了各第2学习数据集32的稀有度325的情况下，稀有度设定部119也可以从模型生成装置1的软件构成中省略。这些变更也可以同样地应用在上述变形例的各预测系统100A～100G中。
标号说明
1：模型生成装置；11：控制部；12：存储部；13：通信接口；14：输入装置；15：输出装置；16：驱动器；111：第1数据取得部；112：第1学习处理部；113：第1保存处理部；114：第2数据取得部；115：第2学习处理部；116：第2保存处理部；117：第3数据取得部；118：第3学习处理部；119：稀有度设定部；121：第1学习结果数据；123：第2学习结果数据；81：模型生成程序；91：存储介质；2：预测装置；21：控制部；22：存储部；23：通信接口；24：输入装置；25：输出装置；26：驱动器；27：外部接口；211：对象数据收集部；212：预测部；213：输出部；221：对象样本；223：特征；225：预测样本；82：预测程序；92：存储介质；S：传感器；31：第1学习数据集；311：样本；313：正确解数据；32：第2学习数据集；321：第1样本；322：第2样本；323：特征信息；325：稀有度；33：第3学习数据集；333：不一致性；51：推测器；52：编码器；521：输入层；522：中间(隐藏)层；523：输出层；53：解码器；531：输入层；532：中间(隐藏)层；533：输出层；55：预测模型；551：输入层；552：中间(隐藏)层；553：输出层；57：不一致性预测器；571：输入层；572：中间(隐藏)层；573：输出层。

Claims (8)

1.一种模型生成装置，其具有：
数据取得部，其取得多个学习数据集，所述多个学习数据集是由按时间序列得到的规定数据的第1时刻的第1样本、和比所述第1时刻靠未来的第2时刻的所述规定数据的第2样本所包含的特征信息的组合分别构成的，各所述学习数据集中设定有表示各所述学习数据集的稀有性的程度的稀有度；
学习处理部，其通过机器学习，针对各所述学习数据集构建预测模型，所述预测模型被训练为根据所述第1时刻的所述第1样本来预测对应的所述第2时刻的所述特征信息，在所述机器学习中，越是所述稀有度高的学习数据集，越重点进行训练；以及
稀有度设定部，其设定各所述学习数据集的所述稀有度，
所述稀有度设定部包含不一致性预测器，该不一致性预测器构成为针对各所述学习数据集，根据所述第1时刻的所述第1样本来预测基于所述预测模型的所述预测的不一致性，
所述稀有度设定部根据通过所述不一致性预测器对基于所述预测模型的所述预测的不一致性进行预测而得的结果，设定各所述学习数据集的所述稀有度，
该模型生成装置还具有：
不一致性数据取得部，其取得由各所述学习数据集的所述第1时刻的所述第1样本以及基于所述预测模型的所述预测的不一致性的组合分别构成的多个不一致性学习数据集；以及
不一致性学习处理部，其通过机器学习，针对各所述不一致性学习数据集构建所述不一致性预测器，所述不一致性预测器被训练为根据所述第1时刻的所述第1样本来预测对应的基于所述预测模型的所述预测的不一致性，
所述学习处理部对所述预测模型的训练和所述不一致性学习处理部对所述不一致性预测器的训练交替地执行，
所述不一致性学习处理部在所述不一致性预测器的所述机器学习中与所述稀有度无关地均匀地训练各所述不一致性学习数据集，
所述规定数据是如下数据中的任意方：通过配置为监视车辆的外部状况的摄像机得到的图像数据；通过监视构成生产线的机器的状态的传感器得到的感测数据；对象者的生命数据和映出对象者的图像数据中的至少任意一方；与人的流动相关联的人流数据，
在所述规定数据是通过配置为监视车辆的外部状况的摄像机得到的图像数据的情况下，所述特征信息是与在所述图像数据中呈现的对象物的属性相关的信息，
在所述规定数据是通过监视构成生产线的机器的状态的传感器得到的感测数据的情况下，所述特征信息是与所述机器的状态相关的信息，
在所述规定数据是对象者的生命数据和映出对象者的图像数据中的至少任意一方的情况下，所述特征信息是与所述对象者的状态相关的信息，
在所述规定数据是与人的流动相关联的人流数据的情况下，所述特征信息是与所述人的流动的量相关的信息。
2.根据权利要求1所述的模型生成装置，其中，
越是所述稀有度高的学习数据集，所述学习处理部越增多在所述机器学习中的采样次数，由此，越是所述稀有度高的学习数据集，越重点进行训练。
3.根据权利要求1所述的模型生成装置，其中，
越是所述稀有度高的学习数据集，所述学习处理部越增大在所述机器学习中的权重，由此，越是所述稀有度高的学习数据集，越重点进行训练。
4.根据权利要求1至3中的任意一项所述的模型生成装置，其中，
各所述学习数据集的所述稀有度是根据所述特征信息在所述规定数据中出现的不规则性的程度而设定的。
5.根据权利要求1或2所述的模型生成装置，其中，
所述特征信息包含所述第2样本的特征量。
6.一种预测装置，其具有：
对象数据取得部，其取得所述规定数据的对象样本；
预测部，其使用由权利要求1至5中的任意一项所述的模型生成装置构建的所述预测模型，根据所取得的所述对象样本来预测在比取得了所述对象样本的时刻靠未来的时刻出现在所述规定数据中的特征；以及
输出部，其输出与预测所述特征得到的结果相关的信息。
7.一种模型生成方法，计算机执行如下的步骤：
取得多个学习数据集，所述多个学习数据集是由按时间序列得到的规定数据的第1时刻的第1样本、以及比所述第1时刻靠未来的第2时刻的所述规定数据的第2样本所包含的特征信息的组合分别构成的，各所述学习数据集中设定有表示各所述学习数据集的稀有性的程度的稀有度；
通过机器学习，针对各所述学习数据集构建预测模型，所述预测模型被训练为根据所述第1时刻的所述第1样本来预测对应的所述第2时刻的所述特征信息，在所述机器学习中，越是所述稀有度高的学习数据集，越重点进行训练；以及
设定各所述学习数据集的所述稀有度，
在设定所述稀有度的步骤中，所述计算机通过不一致性预测器对基于所述预测模型的所述预测的不一致性进行预测而得的结果，设定各所述学习数据集的所述稀有度，该不一致性预测器构成为针对各所述学习数据集，根据所述第1时刻的所述第1样本来预测基于所述预测模型的所述预测的不一致性，
所述计算机还执行如下的步骤：
取得由各所述学习数据集的所述第1时刻的所述第1样本以及基于所述预测模型的所述预测的不一致性的组合分别构成的多个不一致性学习数据集；以及
通过机器学习，针对各所述不一致性学习数据集构建所述不一致性预测器，所述不一致性预测器被训练为根据所述第1时刻的所述第1样本来预测对应的基于所述预测模型的所述预测的不一致性，
进行所述训练的步骤中的对所述预测模型的训练和构建所述不一致性预测器的步骤中的对所述不一致性预测器的训练交替地执行，
在构建所述不一致性预测器的步骤中，所述计算机在所述不一致性预测器的所述机器学习中与所述稀有度无关地均匀地训练各所述不一致性学习数据集，
所述规定数据是如下数据中的任意方：通过配置为监视车辆的外部状况的摄像机得到的图像数据；通过监视构成生产线的机器的状态的传感器得到的感测数据；对象者的生命数据和映出对象者的图像数据中的至少任意一方；与人的流动相关联的人流数据，
在所述规定数据是通过配置为监视车辆的外部状况的摄像机得到的图像数据的情况下，所述特征信息是与在所述图像数据中呈现的对象物的属性相关的信息，
在所述规定数据是通过监视构成生产线的机器的状态的传感器得到的感测数据的情况下，所述特征信息是与所述机器的状态相关的信息，
在所述规定数据是对象者的生命数据和映出对象者的图像数据中的至少任意一方的情况下，所述特征信息是与所述对象者的状态相关的信息，
在所述规定数据是与人的流动相关联的人流数据的情况下，所述特征信息是与所述人的流动的量相关的信息。
8.一种模型生成程序产品，其用于使计算机执行如下的步骤：
取得多个学习数据集，所述多个学习数据集是由按时间序列得到的规定数据的第1时刻的第1样本、以及比所述第1时刻靠未来的第2时刻的所述规定数据的第2样本所包含的特征信息的组合分别构成的，各所述学习数据集中设定有表示各所述学习数据集的稀有性的程度的稀有度；
通过机器学习，针对各所述学习数据集构建预测模型，所述预测模型被训练为根据所述第1时刻的所述第1样本来预测对应的所述第2时刻的所述特征信息，在所述机器学习中，越是所述稀有度高的学习数据集，越重点进行训练；以及
设定各所述学习数据集的所述稀有度，
在设定所述稀有度的步骤中，使所述计算机通过不一致性预测器对基于所述预测模型的所述预测的不一致性进行预测而得的结果，设定各所述学习数据集的所述稀有度，该不一致性预测器构成为针对各所述学习数据集，根据所述第1时刻的所述第1样本来预测基于所述预测模型的所述预测的不一致性，
使所述计算机还执行如下的步骤：
取得由各所述学习数据集的所述第1时刻的所述第1样本以及基于所述预测模型的所述预测的不一致性的组合分别构成的多个不一致性学习数据集；以及
通过机器学习，针对各所述不一致性学习数据集构建所述不一致性预测器，所述不一致性预测器被训练为根据所述第1时刻的所述第1样本来预测对应的基于所述预测模型的所述预测的不一致性，
进行所述训练的步骤中的对所述预测模型的训练和构建所述不一致性预测器的步骤中的对所述不一致性预测器的训练交替地执行，
在构建所述不一致性预测器的步骤中，使所述计算机在所述不一致性预测器的所述机器学习中与所述稀有度无关地均匀地训练各所述不一致性学习数据集，
所述规定数据是如下数据中的任意方：通过配置为监视车辆的外部状况的摄像机得到的图像数据；通过监视构成生产线的机器的状态的传感器得到的感测数据；对象者的生命数据和映出对象者的图像数据中的至少任意一方；与人的流动相关联的人流数据，
在所述规定数据是通过配置为监视车辆的外部状况的摄像机得到的图像数据的情况下，所述特征信息是与在所述图像数据中呈现的对象物的属性相关的信息，
在所述规定数据是通过监视构成生产线的机器的状态的传感器得到的感测数据的情况下，所述特征信息是与所述机器的状态相关的信息，
在所述规定数据是对象者的生命数据和映出对象者的图像数据中的至少任意一方的情况下，所述特征信息是与所述对象者的状态相关的信息，
在所述规定数据是与人的流动相关联的人流数据的情况下，所述特征信息是与所述人的流动的量相关的信息。
CN202080013415.6A 2019-02-15 2020-01-23 模型生成装置、方法、程序以及预测装置 Active CN113424221B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-026013 2019-02-15
JP2019026013A JP7162550B2 (ja) 2019-02-15 2019-02-15 モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム
PCT/JP2020/002391 WO2020166303A1 (ja) 2019-02-15 2020-01-23 モデル生成装置、方法及びプログラム並びに予測装置

Publications (2)

Publication Number Publication Date
CN113424221A CN113424221A (zh) 2021-09-21
CN113424221B true CN113424221B (zh) 2024-07-23

Family

ID=72044850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013415.6A Active CN113424221B (zh) 2019-02-15 2020-01-23 模型生成装置、方法、程序以及预测装置

Country Status (5)

Country Link
US (1) US12056936B2 (zh)
EP (1) EP3926582B1 (zh)
JP (1) JP7162550B2 (zh)
CN (1) CN113424221B (zh)
WO (1) WO2020166303A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243496B2 (ja) * 2019-07-09 2023-03-22 オムロン株式会社 情報処理装置
WO2021005775A1 (ja) * 2019-07-11 2021-01-14 日本電気株式会社 物体検知装置、学習方法、及び、記録媒体
JP2021140303A (ja) * 2020-03-03 2021-09-16 トヨタ自動車株式会社 学習方法、学習システム及び学習プログラム
KR102541685B1 (ko) * 2020-04-13 2023-06-09 한국과학기술원 재귀 구조를 이용한 예측을 위한 전자 장치 및 그의 동작 방법
JP7449779B2 (ja) * 2020-06-03 2024-03-14 株式会社日立製作所 ジョブ管理方法、及びジョブ管理装置
KR102605070B1 (ko) * 2020-07-06 2023-11-24 한국전자통신연구원 인식 모델 학습 장치, 촬영본 영상 분석 장치 및 촬영본 검색 서비스 제공 장치
JP2022014328A (ja) * 2020-07-06 2022-01-19 国立大学法人東北大学 液状化評価モデル生成装置、液状化評価装置、液状化評価モデル生成プログラム、液状化評価プログラム、液状化評価モデル生成方法及び液状化評価方法
KR20220037765A (ko) * 2020-09-18 2022-03-25 삼성전자주식회사 전자 장치 및 그 동작방법
WO2022091196A1 (ja) * 2020-10-27 2022-05-05 株式会社Archaic 密予測システム
KR102268290B1 (ko) * 2020-12-14 2021-06-23 주식회사 더블유지에스 반도체 가공 장치를 진단하는 진단 시스템 및 그것의 제어 방법
CN113095901B (zh) * 2021-02-20 2024-02-20 科大讯飞股份有限公司 推荐方法和相关模型的训练方法、电子设备、存储装置
JP2022134429A (ja) * 2021-03-03 2022-09-15 日本光電工業株式会社 学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、推論システム、およびコンピュータプログラム
CN114157486B (zh) * 2021-12-03 2023-01-31 上海斗象信息科技有限公司 通信流量数据异常检测方法、装置、电子设备及存储介质
JP7435965B2 (ja) * 2022-02-28 2024-02-21 株式会社Ｃｓイノベーション 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム
JP7387118B1 (ja) * 2023-03-03 2023-11-28 石川県 情報処理システム、情報処理装置、情報処理方法、及びプログラム
CN116841650B (zh) * 2023-08-31 2023-11-21 腾讯科技（深圳）有限公司 样本构建方法、装置、设备以及存储介质
CN117132430B (zh) * 2023-10-26 2024-03-05 中电科大数据研究院有限公司 一种基于大数据和物联网的校园管理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103154845A (zh) * 2010-07-16 2013-06-12 纽约市哥伦比亚大学托管会 电网的机器学习

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4461771B2 (ja) * 2003-11-06 2010-05-12 日本電気株式会社 異常挙動検出装置および異常挙動検出方法ならびにプログラム、希少挙動部分系列計算装置
US20160189210A1 (en) 2010-03-07 2016-06-30 Sailthru, Inc. System and method for appying data modeling to improve predictive outcomes
JP5417273B2 (ja) * 2010-07-14 2014-02-12 日本電信電話株式会社 行動予測装置及びそのプログラム
US10776713B2 (en) * 2015-04-24 2020-09-15 Regents Of The University Of Minnesota Classification of highly-skewed data
JP6148316B2 (ja) * 2015-07-31 2017-06-14 ファナック株式会社 故障条件を学習する機械学習方法及び機械学習装置、並びに該機械学習装置を備えた故障予知装置及び故障予知システム
EP3430576B1 (en) 2016-03-15 2024-08-14 IMRA Europe S.A.S. Method for classification of unique/rare cases by reinforcement learning in neural networks
US20180096253A1 (en) * 2016-10-04 2018-04-05 Civicscape, LLC Rare event forecasting system and method
US10720050B2 (en) 2016-10-18 2020-07-21 Uber Technologies, Inc. Predicting safety incidents using machine learning
US10430685B2 (en) * 2016-11-16 2019-10-01 Facebook, Inc. Deep multi-scale video prediction
JP6806333B2 (ja) * 2017-03-30 2021-01-06 トーマステクノロジー株式会社 消費電力予測装置および消費電力予測方法
WO2018186625A1 (ko) * 2017-04-06 2018-10-11 삼성전자주식회사 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10769540B2 (en) * 2017-04-27 2020-09-08 Hewlett Packard Enterprise Development Lp Rare event prediction
US10346724B2 (en) 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers
JP6976360B2 (ja) * 2018-01-30 2021-12-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103154845A (zh) * 2010-07-16 2013-06-12 纽约市哥伦比亚大学托管会 电网的机器学习

Also Published As

Publication number Publication date
JP7162550B2 (ja) 2022-10-28
EP3926582B1 (en) 2023-08-02
JP2020135243A (ja) 2020-08-31
US20220139092A1 (en) 2022-05-05
CN113424221A (zh) 2021-09-21
EP3926582A1 (en) 2021-12-22
EP3926582A4 (en) 2022-11-09
WO2020166303A1 (ja) 2020-08-20
US12056936B2 (en) 2024-08-06

Similar Documents

Publication Publication Date Title
CN113424221B (zh) 模型生成装置、方法、程序以及预测装置
Al-Qizwini et al. Deep learning algorithm for autonomous driving using googlenet
US11941868B2 (en) Inference apparatus, inference method, and computer-readable storage medium storing an inference program
JP7003953B2 (ja) 学習装置、推定装置、データ生成装置、学習方法、及び学習プログラム
US20230109426A1 (en) Model generation apparatus, estimation apparatus, model generation method, and computer-readable storage medium storing a model generation program
CN107918311A (zh) 多传感器降水分级设备和方法
EP3757895A1 (en) Method for estimating a global uncertainty of a neural network
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
Marcomini et al. A comparison between background modelling methods for vehicle segmentation in highway traffic videos
CN111415533A (zh) 弯道安全预警监控方法、装置以及系统
JP2023546672A (ja) レール特徴部識別システム
JP2009096365A (ja) リスク認識システム
CN110059646A (zh) 训练动作规划模型的方法及目标搜索方法
CN116068885A (zh) 切换递归卡尔曼网络的改进
CN103605960A (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
CN117709602A (zh) 一种基于社会价值取向的城市智能车辆拟人化决策方法
CN116882122A (zh) 用于自动驾驶的仿真环境的构建的方法和装置
CN116842340A (zh) 一种基于att-gru模型的行人轨迹预测方法和设备
US20230074474A1 (en) Parameter adjustment apparatus, inference apparatus, parameter adjustment method, and computer-readable storage medium storing a parameter adjustment program
CN112733728A (zh) 一种能见度边缘计算方法、装置、电子设备及存储介质
CN110333517B (zh) 障碍物感知方法、装置及存储介质
WO2021100482A1 (ja) モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
CN116560377B (zh) 用于预测位置轨迹的自动驾驶模型及其训练方法
CN118372842B (zh) 车辆决策方法、装置、车辆和存储介质
WO2024093321A1 (zh) 车辆的位置获取方法、模型的训练方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant