CN110488791A - 控制系统、学习数据创建装置、学习装置以及判定装置 - Google Patents

控制系统、学习数据创建装置、学习装置以及判定装置 Download PDF

Info

Publication number
CN110488791A
CN110488791A CN201910289524.XA CN201910289524A CN110488791A CN 110488791 A CN110488791 A CN 110488791A CN 201910289524 A CN201910289524 A CN 201910289524A CN 110488791 A CN110488791 A CN 110488791A
Authority
CN
China
Prior art keywords
data
learning
artificial intelligence
output
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910289524.XA
Other languages
English (en)
Inventor
安藤丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Europa Corp
Omron Corp
Original Assignee
Europa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Europa Corp filed Critical Europa Corp
Publication of CN110488791A publication Critical patent/CN110488791A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0229—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions knowledge based, e.g. expert systems; genetic algorithms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24065—Real time diagnostics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明的控制系统具备控制装置和判定装置，控制装置具备包含控制用AI的控制部，判定装置具备包含用于判定控制用AI的输出是否妥当的判定用AI的判定部，在判定用AI中设定用于获得判定是否妥当的判定能力的第二机器学习的学习结果，第二机器学习通过用包含学习用判定材料数据与教师数据的组合的学习数据进行，学习用判定材料数据是基于与在执行第一机器学习的过程中的AI或设定第一机器学习的学习结果的AI的输出相关的数据创建的，教师数据表示基于学习用判定材料数据的妥当与否的判定结果的正确值，学习用判定材料数据是基于判定能力的规格，从与执行第一机器学习的过程中的AI或设定有第一机器学习的学习结果的AI的输出相关的数据中确定的。

Description

控制系统、学习数据创建装置、学习装置以及判定装置
技术领域
本发明涉及判定人工智能的输出的妥当与否的技术。
背景技术
为了使人工智能获取例如对数据进行分类等的知识能力，进行机器学习。另外，有时还以获得用于对对象的动作或者状态进行控制的能力(控制能力)为目的而进行机器学习。
但是，人工智能经常不一定能够达到期望的结果。即，人工智能可能出错或返回不适当的输出数据、使对象进行不期望的动作、或者使对象陷入不期望的状态。
在专利文献1中公开了，根据神经网络的输入节点值是否与学习数据的输入节点值一致或者类似，来评估该神经网络的输出节点值的正确性的方法。
专利文献1：日本特开平5-225163号公报
发明内容
发明所要解决的问题
专利文献1只是公开了用于评估神经网络的输出节点值的正确性的特定的有限的方法。
本发明的目的在于判定人工智能的输出的妥当与否。
解决问题的技术方案
根据本发明的第一方式，一种控制系统，其中，具备控制装置以及判定装置，所述控制装置具备控制部，所述控制部具有用于基于输入数据来生成用于对对象进行控制的输出数据的控制用人工智能；所述判定装置具备：获取部，获取用于判定所述控制用人工智能的输出的妥当与否的判定材料数据，以及判定部，具有用于基于所述判定材料数据来判定所述妥当与否的判定用人工智能；在所述控制用人工智能中设定有第一机器学习的学习结果，所述第一机器学习用于获得对所述对象进行控制的控制能力；在所述判定用人工智能中设定有第二机器学习的学习结果，所述第二机器学习用于获得判定所述妥当与否的判定能力；所述第二机器学习通过使用包含学习用判定材料数据与教师数据的组合的学习数据来进行，所述学习用判定材料数据是基于与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据创建的，所述教师数据表示基于该学习用判定材料数据的所述妥当与否的判定结果的正确值；所述学习用判定材料数据是基于所述判定能力的规格，从与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据中确定的。
该控制系统基于与控制用人工智能的输出相关的数据即判定材料数据，来判定该控制用人工智能的输出的妥当与否。执行上述判定的能力是通过第二机器学习而获得的，该第二机器学习基于包含学习用判定材料数据以及教师数据的学习数据，该学习用判定材料数据基于该能力的规格来确定，该教师数据表示与该判定材料数据对应的控制用人工智能的输出的妥当与否的判定结果的正确值，将该学习结果设定于判定用人工智能。因此，根据该控制系统，能够判定控制用人工智能的输出的妥当与否。
在第一方式所涉及的控制系统中，所述判定装置可以还具备警报部，所述警报部在判定为所述控制用人工智能的输出不妥当的情况下发出警报。该控制系统能够在判定为控制用人工智能的输出不妥当的情况下输出警报。由此，能够预防基于控制用人工智能的不妥当的输出数据来对对象进行控制的状况，或者，能够早期检测并解决由此带来的不良影响。即，上述控制系统能够运用控制用人工智能来对对象进行控制，并且，确保较高的安全性。
在第一方式所涉及的控制系统中，所述判定装置还具备介入部，所述介入部在判定为所述控制用人工智能的输出不妥当的情况下，介入所述控制装置对所述对象的控制。
该控制系统能够在判定为控制用人工智能的输出不妥当的情况下介入控制。由此，能够预防基于控制用人工智能的不妥当的输出数据来对对象进行控制的状况，或者能够早期检测并解决由此带来的不良影响。即，上述控制系统能够运用控制用人工智能来对对象进行控制，并且，确保较高的安全性。
根据本发明的第二方式，一种学习数据创建装置，创建用于第二机器学习的学习数据，所述第二机器学习用于获得判定设定有第一机器学习的学习结果的对象人工智能的输出的妥当与否的判定能力，其中，所述学习数据创建装置具备：获取部，获取与在执行所述第一机器学习的过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据，以及创建部，基于由所述获取部获取的数据以及所述判定能力的规格，创建包含学习用判定材料数据与教师数据的组合的学习数据，所述学习用判定材料数据是作为所述第二机器学习的对象的对判定用人工智能的输入数据，所述教师数据表示与所述输入数据对应的该判定用人工智能的输出数据的正确值。
根据该学习数据创建装置，能够创建可用于第二机器学习的学习数据，该第二机器学习用于获得判定对象人工智能的输出的妥当与否的能力。因此，能够根据该能力的规格来确定通过该能力进行什么样的判定。
在第二方式所涉及的学习数据创建装置中，所述学习用判定材料数据可以包含(i)所述第一人工智能或者所述第二人工智能的输出数据、(ii)表示基于所述第一人工智能或者所述第二人工智能的输出数据而被控制的对象的动作或者状态的观测结果的观测数据、以及(iii)使所述第二人工智能生成输出数据的输入数据。根据该学习数据创建装置(下面，称为本发明的第三方式所涉及的学习数据创建装置)，能够将上述(i)至(iii)的数据中的至少一项作为学习用判定材料数据，并创建学习数据中的至少一部分：。
在第三方式所涉及的学习数据创建装置中，所述创建部可以基于观测数据来创建所述学习用判定材料数据，并创建教师数据，该观测数据表示根据所述第一人工智能的输出数据而被控制的对象的动作或者状态的观测结果，所述教师数据表示所述第一人工智能的输出不妥当。根据该学习数据创建装置，可以创建学习数据，该学习数据用于获得根据基于对象人工智能的输出数据而被控制的对象的动作或者状态，来判定该对象人工智能的输出的妥当性的能力。
在第三方式所涉及的学习数据创建装置中，所述创建部可以基于所述第一人工智能的输出数据来创建所述学习用判定材料数据，并创建表示所述第一人工智能的输出不妥当的教师数据。
根据该学习数据创建装置，能够创建学习数据，该学习数据用于获得根据对象人工智能的输出数据是否符合基于学习中途的输出数据而确定的不妥当的输出数据，从而判定该对象人工智能的输出的妥当与否的能力。
在第三方式所涉及的学习数据创建装置中，所述创建部可以基于所述第二人工智能的输出数据来创建所述学习用判定材料数据，并创建表示所述第二人工智能的输出妥当的教师数据。
根据该学习数据创建装置，能够创建学习数据，该学习数据用于获得根据对象人工智能的输出数据是否符合基于学习完成后的输出数据而确定的妥当的输出数据，从而判定该对象人工智能的输出的妥当与否的能力。
在第三方式所涉及的学习数据创建装置中，所述创建部可以基于使所述第二人工智能生成错误的输出数据的输入数据来创建所述学习用判定材料数据，并创建表示所述第二人工智能的输出不妥当的教师数据。
根据该学习数据创建装置，能够创建学习数据，该学习数据用于获取根据对象人工智能的输入数据是否符合第二人工智能不擅长的输入数据，从而判定该对象人工智能的输出的妥当与否的能力。
在第三方式所涉及的学习数据创建装置中，所述创建部可以基于使所述第二人工智能生成正确的输出数据的输入数据来创建所述学习用判定材料数据，并创建表示所述第二人工智能的输出妥当的教师数据。
根据该学习数据创建装置，能够创建学习数据，该学习数据用于获得根据对象人工智能的输入数据是否符合第二人工智能擅长的输入数据，从而判定该对象人工智能的输出的妥当与否的能力。
第二方式或者第三方式所涉及的学习数据创建装置可以还具备控制部，所述控制部基于所述判定能力的规格，控制由所述获取部获取的数据以及由所述创建部创建的学习数据。根据该学习数据创建装置，能够创建学习数据，该学习数据用于获得能够按照规格设定的希望的判定能力。
根据本发明的第四方式，一种学习装置，其中，具备：获取部，获取用于第二机器学习的学习数据，所述第二机器学习用于获得判定设定有第一机器学习的学习结果的对象人工智能的输出的妥当与否的判定能力，以及学习部，使判定用人工智能使用所述学习数据进行所述第二机器学习；所述学习数据包含学习用判定材料数据与教师数据的组合，所述学习用判定材料数据是对所述判定用人工智能的输入数据，所述教师数据表示与所述输入数据对应的该判定用人工智能的输出数据的正确值；所述学习数据是基于与在执行所述第一机器学习的过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据、以及所述判定能力的规格而创建的。
根据该学习装置，能够进行第二机器学习，该第二机器学习用于获取判定对象人工智能的输出的妥当与否的能力。而且，可以根据该能力的规格来确定利用该能力进行什么样的判定。
根据本发明的第五方式，一种判定装置，其中，具备：获取部，获取与设定有第一机器学习的学习结果的对象人工智能的输出相关的数据，以及判定部，具有判定用人工智能，所述判定用人工智能用于接收基于由所述获取部获取的数据的输入数据，来判定所述对象人工智能的输出的妥当与否；在所述判定用人工智能中设定有第二机器学习的学习结果，所述第二机器学习用于获得判定所述妥当与否的判定能力；所述第二机器学习通过使用包含学习用判定材料数据与教师数据的组合的学习数据来进行，所述学习用判定材料数据是基于与在执行所述第一机器学习的过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据创建的，所述教师数据表示基于该学习用判定材料数据的所述妥当与否的判定结果的正确值；所述学习用判定材料数据是基于所述判定能力，从与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据中确定的。根据该判定装置，能够判定对象人工智能的输出的妥当与否。而且，能够根据规格来确定进行什么样的判定。
本发明的第五方式所涉及的判定装置可以还具备警报部，所述警报部在判定为所述对象人工智能的输出不妥当的情况下发出警报。该判定装置能够在判定为对象人工智能的输出不妥当的情况下发出警报。由此，能够预防对象人工智能将不妥当的输出数据供给至外部的状况，或者，能够早期检测并解决由此导致的不良影响。即，上述判定装置能够运用对象人工智能的输出数据，并且，确保较高的安全性。
在本发明的第五方式所涉及的判定装置中，所述对象人工智能也可以基于输入数据来生成用于对对象进行控制的输出数据，所述判定装置也可以还具备介入部，所述介入部在判定为所述对象人工智能的输出不妥当的情况下，介入基于所述对象人工智能的输出的对所述对象的控制。
该判定装置在判定为对象人工智能的输出不妥当的情况下，能够介入控制。由此，能够预防基于对象人工智能的不妥当的输出数据来对对象进行控制的状况，或者，能够早期检测并解决由此导致的不良影响。即，上述判定装置能够运用对象人工智能来对对象进行控制，并且，能够确保较高的安全性。
发明效果
根据本发明，能够判定人工智能的输出的妥当与否。
附图说明
图1是表示实施方式所涉及的控制系统的应用例的框图。
图2是举例示出进行用于图1的判定用AI(Artificial Intelligence：人工智能)的第二机器学习的学习系统的框图。
图3是举例示出实施方式所涉及的第二学习数据创建装置的硬件结构的框图。
图4是举例示出实施方式所涉及的第二学习数据创建装置的框图。
图5是举例示出图4的学习数据创建装置的动作的流程图。
图6是举例示出可应用图5的第一创建处理的机器学习系统的框图。
图7是举例示出图6的机器学习系统的动作的流程图。
图8是举例示出可以应用图5的第二创建处理的机器学习系统的框图。
图9是举例示出图8的机器学习系统的动作的流程图。
图10是举例示出可以应用图5的第三创建处理的机器学习系统的框图。
图11是举例示出图10的机器学习系统的动作的流程图。
图12是举例示出包含图4的第二学习数据创建装置的机器学习系统的框图。
图13是举例示出变形例所涉及的第二学习数据创建装置的框图。
图14是举例示出图6的第二学习装置的框图。
图15是举例示出使用由图6的第二学习装置进行的机器学习的学习结果的判定装置的框图。
附图标记说明：
100、1000…第二学习数据创建装置
101、271、1001、1201、1330、1431…获取部
102、1002、1432…创建部
103、1301、1433、1501…控制部
200、500、700、900…第一学习数据创建装置
210、510、710、910…第一学习数据存储装置
220、520、720、920…第一学习装置
230、530、1310、1410…对象
240、540…观测装置
250…观测数据存储装置
260…第二学习数据存储装置
270…第二学习装置
272、1450…学习部
280…学习请求装置
550、750、950…输出数据存储装置
930…对象模拟器
990…使用者终端
1200、1320…判定装置
1202、1340…判定部
1300…控制装置
1302、1400…控制用AI
1341、1460…判定用AI
1350…警报部
1360…介入部
1420…判定用人工智能生成装置
1440…学习数据存储部
1470…学习结果存储部
1502…存储部
1503…通信I/F
1504…输入装置
1505…输出装置
1506…外部I/F
1507…驱动器
1508…存储介质
具体实施方式
下面，基于附图，对本申请的一个方面所涉及的实施方式(下面，也称为“本实施方式”)进行说明。
此外，以下，对已说明的要素、相同或者类似的要素标注相同或者类似的符号，基本上省略重复说明。
§1应用例
首先，使用图1，说明本实施方式的一个应用例。图1示意表示本实施方式所涉及的控制系统的应用例。该控制系统可用于控制例如设置于生产线上的生产装置等。该控制系统例如基于AI(下面，简称为控制用AI)的输出来控制上述生产装置等对象，并且，由其他AI(下面，简称为判定用AI)来判定该控制用AI的输出的妥当与否，显示判定结果，基于判定结果，进行警报输出和/或对控制的介入。其中，对控制的介入例如可以包括中止基于控制用AI的控制、停止对象的动作等。
如图1所示，应用例的控制系统包含控制装置1300、对象1310以及判定装置1320。其中，图1中以控制用AI以及判定用AI均执行完了机器学习为前提，即两个AI不是处于学习阶段而是处于应用阶段，因此，省略了控制用AI和/或判定用AI的机器学习所需的结构。
控制装置1300基于控制用AI 1302的输出，对对象1310的动作或者状态进行控制。控制装置1300包含控制部1301。
控制部1301例如可以是(硬件)处理器以及存储器。此外，其中，作为处理器的典型，可以是CPU(Central Processing Unit：中央处理器)和/或GPU(Graphics ProcessingUnit：图形处理器)，但不限于此，也可以是微型计算机、FPGA(Field Programmable GateArray：现场可编程门阵列)或者DSP(Digital Signal Processor：数字信号处理器)等。
控制部1301采用控制用AI 1302。控制部1301从外部接收数据，直接或者进行转换等之后提供给控制用AI 1302。并且，控制部1301从控制用AI 1302获取与输入数据对应的输出数据。控制部1301将控制用AI 1302的输出数据直接或者进行转换等加工之后，作为控制值发送给对象1310。
控制用AI 1302例如可被安装于作为控制部1301的处理器以及存储器中。控制用AI 1302从控制部1301获取输入数据，基于该输入数据生成用于对对象1310的动作或者状态进行控制的输出数据，返回给控制部1301。在控制用AI 1302中设定有第一机器学习的学习结果，该第一机器学习用于获得对对象1310或者与对象1310同种类的对象进行控制的控制能力。其中，第一机器学习的学习结果是指通过第一机器学习而得到的最终的模型参数。模型参数可以包含表示单元(Unit)间的边缘的权重的加权矩阵、去除单元的偏置(Bias)的偏置矢量等。此外，控制用AI 1302相当于在实施方式中说明的第二人工智能。控制用AI1302例如可以是神经网络等的统计模型。或者，第一机器学习例如可以是强化学习。
对象1310可以是被控制装置1300直接控制的任意装置、或者受到该装置的动作或者状态影响从而间接被控制的任意装置。具体来讲，对象1310可以是设置于生产线的生产装置(例如，机器人、安全装置等)、或者车辆(自动或者半自动驾驶车辆)等。例如，在对象1310为车辆的情况下，控制装置1300可以对对象1310的操舵、加减速或者其他动作或状态进行控制。
判定装置1320获取与控制用AI 1302的输出相关的数据作为判定材料数据。其中，与控制用AI 1302的输出相关的数据不限于控制用AI 1302的输出数据，也可以包含表示基于该输出数据而被控制的对象1310的动作或者状态的观测结果的观测数据、以及作为该输出数据的根源的输入数据。例如，能够由各种传感器观测对象1310的动作或者状态从而生成观测数据。基于对判定用AI 1341所要求的判定能力的规格，来决定应该获取怎样的数据作为判定材料数据。在后面所述的实施方式的说明中，将所要求的判定能力分为三种类型，按照类型分别详细说明。
并且，判定装置1320将该判定材料数据直接或者进行转换等加工之后提供给判定用AI 1341，并判定控制用AI 1302的输出的妥当与否。判定装置1320可以将控制用AI 1302的输出的妥当与否的判定结果通过未图示的输出装置输出(例如，显示、印刷、声音输出等)，也可以基于判定结果进行警报的输出或者对控制的介入。判定装置1320包含获取部1330、判定部1340、警报部1350以及介入部1360。
获取部1330例如可以是输入装置、通信接口或者外部接口等。获取部1330获取用于判定控制用AI 1302或者同种类的AI的输出的妥当与否的判定材料数据。在图1的例子中，获取部1330获取控制装置1300的输出数据以及对象1310的观测数据这两者，但也可以仅获取其中之一。获取部1330将判定材料数据发送给判定部1340。
判定部1340例如可以是处理器以及存储器。判定部1340包含判定用AI1341。判定部1340从获取部1330获取判定材料数据，将该判定材料数据直接或者进行转换等加工之后提供给判定用AI 1341。然后，判定部1340从判定用AI 1341获取与输入数据(判定材料数据)对应的输出数据。判定部1340将判定用AI 1341的输出数据直接或者进行转换等加工之后，作为判定结果发送给未图示的输出装置、警报部1350和/或介入部1360。
判定用AI 1341例如可安装于作为判定部1340的处理器以及存储器中。判定用AI1341从判定部1340接收判定材料数据，基于该判定材料数据判定控制用AI 1302的输出的妥当与否，将判定结果返回给判定部1340。判定用AI 1341中设定有第二机器学习的学习结果(通过第二机器学习得到的最终的模型参数)，该第二机器学习用于获得判定控制用AI1302或者同种类的控制用AI的输出的妥当与否的判定能力。此外，判定用AI 1341相当于实施方式中说明的第四人工智能。判定用AI 1341例如可以是神经网络等统计模型。第二机器学习例如可以是具有教师的学习。
警报部1350例如可以是蜂鸣器、扬声器等警报装置，也可以是用于与外部的警报装置连接的接口。从判定部1340通知判定结果。警报部1350在被通知了用于表示控制用AI1302的输出不妥当的判定结果的情况下，发出警报。作为警报，例如可以使用图像、光、声音等以视觉或者听觉的方式向人(对象的使用者、管理者等)报告控制用AI 1302的输出不妥当，也可以向控制装置1300或者对象1310报告控制用AI 1302的输出不妥当。具体来讲，警报部1350可以点亮仪表面板上的图标，或则会催促控制用AI 1302进行重新学习。接收到警告的人或者控制装置1300或者对象1310可以停止或者重置针对对象1310的控制，将针对对象1310的动作或者状态的控制委托给人或者其他的控制装置(例如，执行人工编码的控制程序的控制装置)，使控制用AI 1302进行重新学习，从而能够避免不期望的结果。
介入部1360例如可以是处理器以及存储器。介入部1360从判定部1340接收到判定结果。介入部1360在被通知了表示控制用AI 1302的输出不妥当的判定结果的情况下，介入针对对象1310的动作或者状态的控制。作为介入，例如可以是停止或者重置针对对象1310的动作或者状态的控制，也可以是将针对对象1310的动作或者状态的控制委托给人或者其他控制装置(例如，执行人工编码的控制程序的控制装置)。或者说，介入部1360可以停止对象1310的动作，也可以将提供给对象1310的控制值限制为允许范围内的值，或者如此进行修正。
警报部1350也可以从判定装置1320中删除。具体来讲，警报部1350也可以组装在对象1310或者其他装置中，还可以完全不存在于控制系统中。同样，介入部1360也可以从判定装置1320中删除。具体来讲，介入部1360也可以组装在对象1310或者其他装置中，还可以完全不存在于控制系统。
可以通过图2所示的学习系统进行上述的第二机器学习。图2的学习系统包含控制用AI 1400、对象1410以及判定用人工智能生成装置1420。此外，在图2的例子中，与针对控制用AI 1400的第一机器学习并行地收集用于第二机器学习的学习数据，并对每个学习数据进行第二机器学习。但是，也可以在第一机器学习完成后，即，在结束收集用于第二机器学习的学习数据后进行第二机器学习。或者，用于第二机器学习的学习数据不限于在执行第一机器学习的过程中的控制用AI 1400，也可以基于与设定有第一机器学习的学习结果的AI的输出相关的数据来创建用于第二机器学习的学习数据。
控制用AI 1400例如可安装于处理器以及存储器。控制用AI 1400获取输入数据，基于该输入数据生成用于对对象1410的动作或者状态进行控制的输出数据。控制用AI1400处于第一机器学习的中途。此外，控制用AI 1400相当于实施方式中说明的第一人工智能。上述的控制用AI 1302可以是完成第一机器学习后的控制用AI 1400，也可以是设定了第一机器学习的学习结果的其他AI。控制用AI 1400中设定的模型参数可以根据第一机器学习的进展而被未图示的学习装置更新。控制用AI 1400例如可以是神经网络等统计模型。
对象1410可以是基于控制用AI 1400的输出数据而被直接控制的任意装置，或者根据该装置的动作或者状态而受到影响从而被间接控制的任意装置。其中，对象1410无需与上述的对象1310相同，也可以是同种类的装置或者模拟模型。
判定用人工智能生成装置1420创建用于第二机器学习的学习数据，并进行第二机器学习。判定用人工智能生成装置1420包含获取部1431、创建部1432、控制部1433、学习数据存储部1440、学习部1450、判定用AI 1460以及学习结果存储部1470。
获取部1431例如可以是输入装置、通信接口或者外部接口等。获取部1431作为学习用判定材料数据，获取控制用AI 1400的输出数据、用于表示基于该输出数据而被控制的对象1410的动作或者状态的观测结果的观测数据、以及作为该输出数据的根源的输入数据中的由控制部1433基于判定用AI 1460所要求的判定能力的规格而指定的数据。获取部1431将学习用判定材料数据发送给创建部1432。
创建部1432例如可以是处理器以及存储器。创建部1432从获取部1431获取学习用判定材料数据，基于该学习用判定材料数据，创建用于获得判定用AI 1460所要求的判定能力的学习数据。学习数据包含学习用判定材料数据以及教师数据，该学习用判定材料数据相当于学习用的输入数据(例如，向作为执行第二机器学习的判定用AI 1460(相当于实施方式中的第三人工智能)的神经网络或者其他统计模型的输入节点提供的值)，该教师数据用于表示基于该学习用判定材料数据的控制用AI 1400的输出的妥当与否的判定结果的正确值。可以由控制部1433控制创建部1432将教师数据设定为怎样的值。
控制部1433例如可以是处理器以及存储器。控制部1433接收用于表示判定用AI1460所要求的判定能力的规格的规格数据，并基于该规格数据控制获取部1431以及创建部1432。具体来讲，控制部1433控制获取部1431应该获取什么样的数据作为学习用判定材料数据，以及控制创建部1432应该基于该判定材料数据来创建什么样的学习数据。
其中，规格数据可以基于判定用人工智能生成装置1420的用户或者管理者的输入而由未图示的外部装置生成，或者也可以预先设定。作为后者的例子，可以根据对象1410的特性等预先设定规格数据，也可以是控制部1433接收到学习开始指令后自动获取相关的规格数据。
控制部1433例如可以将要求的判定能力分为多个类型，从预先准备的学习数据创建程序组中选择并执行与该判定能力的分类的类型相匹配的程序，从而控制获取部1431以及创建部1432。在包含实施方式的以下的说明中，将要求的判定能力分为三个类型，但也可以将判定能力分为两个或者四个以上的类型。
实施方式中详细说明三个类型，第一类型的判定能力是指，用于判定对象的动作或者状态是否符合通过第二机器学习而学习到的需要注意的动作或者需要注意的状态的能力。第二类型的判定能力是指，用于判定对象AI的输出数据是通过第二机器学习而学习到的不妥当的输出数据和妥当的输出数据中的哪一种输出数据的能力。第三类型的判定能力是指，用于判定对象AI的输出数据是否是通过第二机器学习而学习到的根据该对象AI不擅长的输入数据而生成的不妥当的输出数据的能力。
具体来讲，设定有第二机器学习的学习结果的判定用AI例如能够判定观测数据所表示的生产装置的动作或者状态是否脱离了针对该生产装置在安全上设定的允许范围，该第二机器学习用于获得第一类型的判定能力。为了获得这种判定能力，控制部1433可以控制创建部1432，使得创建包含观测数据以及教师数据的学习数据，该观测数据作为学习用判定材料数据并用于表示生产装置的动作或者状态，该教师数据与该动作或者状态是否脱离允许范围相对应。
学习数据存储部1440例如可以是存储器和/或辅助存储装置。学习数据存储部1440存储由创建部1432创建的学习数据。在执行第二机器学习时，根据需要由学习部1450读出学习数据。
学习部1450例如可以是处理器以及存储器。学习部1450从学习数据存储部1440读出学习数据。学习部1450进行第二机器学习，该第二机器学习包含基于该判定材料数据使判定用AI 1460判定学习数据中包含的与学习用判定材料数据对应的控制用AI 1400的输出是否妥当。具体来讲，学习部1450向判定用AI 1460提供学习数据中包含的学习用判定材料数据，得到输出数据(判定结果)。学习部1450进行针对判定用AI 1460的第二机器学习(模型参数的更新)，以使该输出数据接近学习数据中包含的教师数据。因此，学习部1450将执行第二机器学习后得到的最终的模型参数作为第二机器学习的学习结果保存在学习结果存储部1470。
判定用AI 1460例如可安装于处理器以及存储器。判定用AI 1460从学习部1450获取学习用判定材料数据，基于该判定材料数据判定控制用AI1400的输出的妥当与否，并将判定结果返回给学习部1450。判定用AI 1460中设定的模型参数可以由判定用AI 1460进行更新。判定用AI 1460相当于实施方式中说明的第三人工智能。判定用AI 1460例如可以是神经网络等统计模型。
学习结果存储部1470例如可以是存储器和/或辅助存储装置。学习结果存储部1470通过学习部1450读入第二机器学习的学习结果。为了向图1的判定用AI 1341或者其他的AI提供通过第二机器学习而获得的判定能力，根据需要读出学习结果。设定有相关的学习结果的人工智能相当于实施方式中的第四人工智能。
如上所述，应用例所涉及的控制系统基于与控制用AI的输出相关的数据即判定材料数据来判定该控制用AI的输出的妥当与否。通过基于学习数据的机器学习来获得执行相关判定的能力，并将该学习结果设定在判定用AI中；该学习数据包含基于该能力的规格而确定的学习用判定材料数据、以及用于表示与该判定材料数据对应的控制用AI的输出的妥当与否的判定结果的正确值的教师数据。因此，根据该控制系统，能够判定控制用AI的输出的妥当与否。并且，该控制系统可以在判定为控制用AI的输出不妥当的情况下输出警报和/或介入控制。由此，能够预防基于控制用AI的不妥当的输出数据来对对象进行控制的状况，或者能够早期检测并解决由此导致的不良影响。即，该控制系统能够运用控制用AI来对对象进行控制，并且，能够确保较高的安全性。
§2结构例
本实施方式的结构例与第二学习数据创建装置相关，该第二学习数据创建装置创建在第二机器学习中使用的学习数据(简称为第二学习数据)，该第二机器学习用于判定第二人工智能的输出的妥当与否，该第二人工智能中设定有针对第一人工智能的第一机器学习的学习结果。此外，第一人工智能也有时完全不进行机器学习，还有时预先进行与第一机器学习不同的学习。在事先进行与第一机器学习不同的学习的情况下，第一机器学习可以是针对第一人工智能的所谓的强化学习。而且，第二人工智能是学习完了第一机器学习(根据是否是追加的而不同)的人工智能。其中，第二人工智能可以是与设定有第一机器学习的学习结果的第一人工智能不同的其他人工智能，也可以是完成第一机器学习后的第一人工智能。本实施方式所涉及的第二学习数据创建装置可以被理解为判定能力学习数据创建装置。
本实施方式所涉及的第二学习数据创建装置接收需要通过第二机器学习而获得的判定能力，即，接收用于表示如下的能力的规格的规格数据，该能力是判定第二人工智能的输出的妥当与否的能力。该第二学习数据创建装置基于该规格创建第二学习数据。
[硬件结构]
下面，使用图3说明本实施方式所涉及的第二学习数据创建装置的硬件结构的一个例子。图3是示意表示本实施方式所涉及的第二学习数据创建装置的硬件结构的一个例子。
如图3所示，本实施方式所涉及的第二学习数据创建装置可以是与控制部1501、存储部1502、通信接口1503、输入装置1504、输出装置1505、外部接口1506以及驱动器1507电连接的计算机。此外，在图3中，将通信接口以及外部接口分别表示为“通信I/F”以及“外部I/F”。
控制部1501包含CPU(和/或其他处理器)、RAM(Random Access Memory：随机访问存储器)、ROM(Read Only Memory：只读存储器)等。CPU将存储部1502中存储的程序展开至RAM。并且，CPU解读并执行该程序，由此，控制部1501能够执行各种信息处理，例如，能够执行功能结构的项目中说明的结构要素的处理或者控制。
存储部1502是所说的辅助存储装置，例如，可以是内置或者外置的硬盘驱动器(HDD：Hard Disk Drive)、固态驱动器(SSD：Solid State Drive)、或者闪存等半导体存储器。存储部1502存储由控制部1501执行的程序(例如，用于使控制部1501执行学习数据创建处理的程序)、由控制部1501使用的数据等。
通信接口1503例如是用于WLAN(Wireless Local Area Network：无线局域网)、移动通信(4G等)、BLE(Bluetooth(注册商标)Low Energy：蓝牙低功耗)等的各种无线通信模块，也可以是用于经由网络进行无线通信的接口。或者，通信接口1503也可以在无线通信模块的基础上或者取代无线通信模块而具备有线LAN模块等有线通信模块。
输入装置1504例如可以包含触摸屏、键盘、鼠标、麦克风等用于接收用户输入的装置。或者，输入装置1504可以包含用于测量规定的物理量并生成输入传感数据的传感器、进行摄像来生成图像数据的照相机等。输出装置1505例如是用于进行显示器、扬声器等的输出的装置。
外部接口1506是USB(Universal Serial Bus：通用串行总线)接口、存储器卡槽等，是用于与外部装置连接的接口。
此外，通信接口1503、输入装置1504、输出装置1505和/或驱动器1507等的一部分或者全部也可以是独立于第二学习数据创建装置的外部装置。
驱动器1507例如是CD(Compact Disc：压缩光盘)驱动器、DVD(Digital VersatileDisc：数字多功能光盘)驱动器、BD(Blu-ray(注册商标)Disc：蓝光光盘)驱动器等。驱动器1507读入存储介质1508中存储的程序和/或数据，并传输给控制部1501。此外，所说明的上述的存储部1502中可存储程序以及数据的一部分或者全部也可以通过驱动器1507从存储介质1508读入。
存储介质1508是包含计算机的机器通过电、磁、光、机械或者化学作用以可读取的形式储存程序和/或数据的介质。存储介质1508例如可以是CD、DVD、BD等可拆装的磁盘介质，但不限于此，也可以是闪存或者其他半导体存储器。
此外，关于第二学习数据创建装置的具体的硬件结构，可以根据实施方式，适当省略、置换以及追加结构要素。例如，控制部1501可以包含多个处理器。第二学习数据创建装置可以是设计成专用于其执行的信息处理的信息处理装置，也可以是通用的信息处理装置，例如，智能电话、平板PC(Personal Computer：个人电脑)、笔记本PC、桌面PC等。或者，第二学习数据创建装置也可以由多台信息处理装置等构成。在下面的说明中，第二学习数据创建装置以外的各种装置也可以采用与第二学习数据创建装置相同或者类似的硬件结构。
[功能结构]
下面，使用图4说明本实施方式所涉及的第二学习数据创建装置的功能结构的一个例子。图4示意表示第二学习数据创建装置100的功能结构的一个例子。
如图4所示，第二学习数据创建装置100包含获取部101、创建部102以及控制部103。
获取部101例如可以是输入装置、通信接口或者外部接口等。获取部101基于所要求的判定能力的规格，从与第一人工智能的输出相关的数据以及与第二人工智能的输出相关的数据中，获取由控制部103指定的数据作为学习用判定材料数据。获取部101将学习用判定材料数据发送给创建部102。
其中，与输出相关的数据可以包含：第一人工智能和/或第二人工智能的输出数据、用于表示基于该输出数据而被控制的对象的动作或者状态的观测结果的观测数据、以及作为该输出数据的根源的输入数据。
其中，对象不限于直接的控制对象，可以包含受到该直接的控制对象的动作或者状态的影响的间接的控制对象。例如，对象可以包含提押装置(或者机器人手部)、和被该提押装置抓住的工件。另外，动作或者状态可以包含动作以及状态中的一方或者双方。也可以不明确区分动作以及状态。
由第二人工智能控制的对象可以是工业用、手术用、娱乐用或者其他用途的机器人，化学工厂、汽车或者其他机器用引擎，雾化器等治疗器，大厦的空调系统等可控制的各种装置。或者，由第一人工智能控制的对象可以是与由第二人工智能控制的对象相同或者同种类的实体机器，也可以是该对象的模拟模型。
例如，可以基于提押装置的动作轨迹、电动机的动作、燃烧或者其他化学反应的状态(例如，对象或者其周围的温度、湿度等)、消耗电力等观测得到观测数据。
在对象的动作或者状态的观测中，例如可以使用图像传感器(照相机)、麦克风、转数传感器、加速度传感器、角速度传感器、温度传感器、湿度传感器、振动传感器、噪声传感器、动作时间传感器、消耗电力传感器等各种传感器。获取部101可以从上述传感器等观测装置直接获取观测数据作为学习用判定材料数据，也可以获取由上述观测装置存储于未图示的存储器中的观测数据作为学习用判定材料数据。
创建部102例如可以是处理器以及存储器。创建部102从获取部101获取学习用判定材料数据，基于该学习用判定材料数据，来创建用于获取判定第二人工智能的输出的妥当与否的能力的第二学习数据。第二学习数据包含学习用判定材料数据以及教师数据，该学习用判定材料数据相当于用于学习的输入数据(例如，向作为执行第二机器学习的人工智能(下面，称为第三人工智能)的神经网络或者其他统计模型的输入节点提供的值)，该教师数据用于表示基于该学习用判定材料数据的第一人工智能和/或第二人工智能的输出的妥当与否的判定结果的正确值。可以由控制部103控制创建部102将教师数据设定为怎样的值。
为了整理用语，在下面的说明中，“输入数据”基本是指提供给与第一机器学习相关的第一人工智能或者第二人工智能的输入数据。另一方面，将提供给与第二机器学习相关的人工智能(第三人工智能或者后面所述的第四人工智能)的输入数据称为“判定材料数据”。
控制部103例如可以是处理器以及存储器。控制部103接收用于表示第三人工智能所要求的判定能力的规格的规格数据，基于该规格数据控制获取部101以及创建部102。具体来讲，控制部103控制获取部101应该获取什么样的数据作为学习用判定材料数据，以及控制创建部102基于该判定材料数据应该创建什么样的第二学习数据。
其中，规格数据可以是基于第二学习数据创建装置100的用户或者管理者的输入由未图示的外部装置生成的，另外也可以是预先设定的。作为后者的例子，可以根据基于第一人工智能和/或第二人工智能的输出数据而被控制的对象的特性等预先设定规格数据，也可以在控制部103接收到学习开始指令后自动获取相关的规格数据。
控制部103例如可以将要求的判定能力分类为多个类型，从预先准备的学习数据创建程序组中选择并执行与该判定能力分类的类型相匹配的程序，从而控制获取部101以及创建部102。
第一类型的判定能力是指：根据由用于判定输出的妥当与否的对象人工智能(这相当于完成第一机器学习之后的第二人工智能)所控制的对象的动作或者状态，来判定该第二人工智能的输出的妥当与否的能力，更具体的讲，是判定由对象人工智能所控制的对象的动作或者状态是否符合通过第二机器学习而学习到的需要注意的动作或者需要注意的状态的能力。
用于获取对象的动作或者进行控制的能力的第一机器学习例如可以是强化学习。在执行学习的过程中(特别是初始阶段)，向对象提供胡乱决定的控制值，进行包含危险动作(例如，提押装置在可动范围的极限下工作)的各种动作，或者陷入包含危险状态的各种状态。
第一人工智能进行学习，使得逐渐避免导致不期望的结果(低回报)的动作或者状态，以得到期望的结果(高回报)的动作或者状态为目标。例如，在提押装置作为对象的情况下，为了使该对象进行把持工件、抬起工件、将工件移动至规定位置、设置工件这一连串的动作，第一人工智能一边进行错误尝试一边学习如何良好地对对象进行控制。
因此，如果观测在执行第一机器学习的期间(特别是初始阶段)的学习用的对象的动作或者状态，则能够掌握可能导致不期望的结果的对象的需要注意的动作或者需要注意的状态。
作为观测对象的动作或者状态，根据能否用于是否有可能导致不期望的结果的判定来确定。例如，在判定超过预设的耐用温度、耐用电流或者耐用电压的范围内对象能否运转的情况下，只要观测对象或者其周围的温度、向对象施加的电流或者电压等即可。
此外，对于观测对象的动作或者状态，可以是人(使用第二机器学习的学习结果的判定装置的设计人或者使用者)根据学习请求预先指定，也可以是作为规格数据的一部分而预选确定。在这些情况下，可以省略观测不必要的数据的工夫。或者，也可以在执行第一机器学习的期间尽可能观测多种多样的动作或者状态，此后人或者软件(包含人工智能)指定为了确定需要注意的动作以及需要注意的状态而使用的的动作或者状态。在该情况下，能够减少需要注意的动作以及需要注意的状态的遗漏。
第二类型的判定能力是指：根据用于对对象的动作或者状态进行控制的对象人工智能的输出数据来判定该第二人工智能的输出的妥当与否的能力，更具体的讲，是判定该输出数据是通过第二机器学习而学习到的不妥当的输出数据和妥当的输出数据中的哪一种输出数据的能力。如上所述，用于获得控制上述对象的动作或者状态的能力(控制能力)的第一机器学习例如可以是强化学习。因此，在执行第一机器学习的过程中(特别是初始阶段)的第一人工智能的输出数据是胡乱决定的，因此，不妥当的可能性较高。
由此，不妥当的输出数据例如能够使用在第一机器学习的中途发现的输出数据(学习中途得到的输出数据)来进行学习。另外，妥当的输出数据能够使用在第一机器学习完成后发现的输出数据(学习完成后得到的输出数据)来进行学习。并且，对象人工智能的输出数据可能是与学习中途得到的输出数据以及学习完成后得到的输出数据均不同的未知的输出数据。在该情况下，对象人工智能的输出数据可能不适合在学习中途得到的输出数据以及学习完成后得到的输出数据中的任意一种分类。针对上述输出数据的处理可以是任意的，例如，可以判定为妥当与否不明确，也可以是因为无法保证妥当而判定为不妥当。
第三类型的判定能力是指：根据作为对象人工智能的输出数据的根源的输入数据来判定该对象人工智能的输出的妥当与否的能力，更具体的讲，是判定该输出数据是否是通过第二机器学习而学习到的、根据对象人工智能不擅长的输入数据生成的不妥当的输出数据的能力。对象人工智能不擅长的输入数据是指，对象人工智能生成错误的输出数据的可能性较高的输入数据。即，对于上述输入数据，对象人工智能所生成的输出数据不妥当的可能性较高。
对象人工智能不擅长的输入数据(即，第二机器学习中的学习用判定材料数据)能够通过例如向第二人工智能提供正确答案标签为已知的输入数据来生成输出数据，并提取作为与正确答案标签不一致的输出数据的根源的输入数据来收集。
此外，对于在第一机器学习中使用的输入数据，对象人工智能可能生成正确的输出数据。因此，为了对象人工智能收集不擅长的输入数据，可以将上述输入数据从提供给第二人工智能的输入数据中排除。
其他
通过后面的动作例来详细说明第二学习数据创建装置100的各功能。此外，在本实施方式中，说明第二学习数据创建装置100的各功能均由通用CPU实现的例子。但是，以上功能的一部分或者全部也可以由一个或者多个专用的处理器来实现。或者，对于第二学习数据创建装置100的功能结构，可以根据实施方式，适当地进行功能的省略、置换以及追加。
§3动作例
下面，使用图5至图12、图14以及图15说明第二学习数据创建装置100的动作例以及在该第二学习数据创建装置100创建第二学习数据时进行动作的周边装置。此外，以下说明的处理流程只是一个例子，各处理可以进行变更。另外，以下说明的处理流程可以根据实施方式适当地进行步骤的省略、置换以及追加。
图5是表示第二学习数据创建装置100的动作的一个例子的流程图。控制部103接收规格数据(步骤S201)，判定该规格数据所要求的判定能力是第一类型、第二类型还是第三类型(步骤S202)。
在所要求的判定能力为第一类型的情况下，控制部103使获取部101以及创建部102执行第一创建处理(步骤S203)。在所要求的判定能力为第二类型的情况下，控制部103使获取部101以及创建部102执行第二创建处理(步骤S204)。在所要求的判定能力为第三类型的情况下，控制部103使获取部101以及创建部102执行第三创建处理。
第一创建处理可用于图6所例示的机器学习系统。图6的机器学习系统包含第二学习数据创建装置100、第一学习数据创建装置200、第一学习数据存储装置210、第一学习装置220、对象230、观测装置240、观测数据存储装置250、第二学习数据存储装置260、第二学习装置270以及学习请求装置280。
第一学习数据创建装置200创建相当于提供给第一人工智能的输入数据的第一学习数据，并将该第一学习数据存储在第一学习数据存储装置210。输入数据例如表示为了控制图像、温度等对象230的动作或者状态而可以参照的信息。
第一学习数据存储装置210存储第一学习数据。第一学习数据由第一学习数据创建装置200创建，并由第一学习装置220根据需要而读出。此外，第一学习数据存储装置210也可以还存储用于评估第一学习完成度的测试数据。
第一学习装置220进行第一机器学习，该第一机器学习包含使第一人工智能控制(学习用的)对象230的动作或者状态。具体来讲，第一学习装置220从第一学习数据存储装置210读出第一学习数据，并将该第一学习数据作为输入数据提供给第一人工智能，从而得到输出数据(提供给对象230的控制值)。输出数据例如可以是提供给液压缸、电动机、螺线管等致动器的控制值，也可以是针对作为对象230的引擎的燃料喷射命令、用于提高或降低曲轴的转数的命令等。若根据该输出数据控制的对象230带来期望的结果，则第一人工智能获得高回报；若导致不期望的结果，则第一人工智能获得低回报。例如，能够基于观测装置240的观测来评估对象230所带来的结果。基于期望通过第一机器学习而获得的能力等来确定期望的结果，例如，可以是改善燃料消耗、降低环境负担、削减功耗等。上述信息例如可以基于规格数据来决定。第一学习装置220以使该回报最大化的方式进行第一人工智能的机器学习(模型参数的更新)。
第一学习装置220使用测试数据来评估第一人工智能的学习完成度，如果达到学习目标，则将学习结果(模型参数)设定于第二人工智能中。其中，第一人工智能、第二人工智能以及后面所述的第三人工智能、第四人工智能例如可以是(深层)神经网络或者其他统计模型。第二人工智能设定通过第一机器学习(例如深度学习)得到的模型参数。
此外，第一学习装置220以及第二人工智能也可以安装于同一装置(例如，控制作为对象的引擎的动作或者状态的ECU(Engine Control Unit：引擎控制单元)等控制装置)。
对象230从第一人工智能接收控制值，并对其进行响应。例如，对象230喷射燃料或者变更曲轴的转数或者变更空调的设定温度。通过观测装置240观测对象230的动作或者状态。
观测装置240例如可以包含图像传感器(照相机)、麦克风、转数传感器、加速度传感器、角速度传感器、温度传感器、湿度传感器、振动传感器、噪音传感器、动作时间传感器、消耗电力传感器等各种传感器。观测装置240观测对象230的动作或者状态，并生成观测数据。观测装置240将观测数据存储在观测数据存储装置250。
具体来讲，观测装置240观测在由第一学习装置220执行机器学习的期间的对象230的动作或者状态，并生成第一观测数据。观测装置240将第一观测数据存储在观测数据存储装置250。第一观测数据也可以表示在由第一学习装置220执行机器学习的期间中的第一人工智能的学习完成度为阈值以下的期间中的对象230的动作或者状态的观测结果。通常，人工智能的学习完成度越高(越是接近机器学习的完成)，发生不期望的结果的可能性越低。因此，即使只是在机器学习的初始阶段收集了第一观测数据，也可能能够正确学习需要注意的动作以及需要注意的状态。
或者，在初始阶段中的学习完成度极低的最初始阶段，对象230可能在其运用时陷入进行不该有的动作的状态，也可能无视上述动作或者状态，而能够正确地学习需要注意的动作以及需要注意的状态。即，第一观测数据也可以表示在由第一学习装置220执行机器学习的期间中的、第一人工智能的学习完成度为第一阈值以上且第二阈值以下的期间的对象230的动作或者状态的观测结果。
观测数据存储装置250存储第一观测数据。第一观测数据由观测装置240生成，由第二学习数据创建装置100根据需要读出。
第二学习数据创建装置100例如从学习请求装置280接收包含规格数据的学习请求，基于该学习请求获取所需的数据，创建第二学习数据。然后，第二学习数据创建装置100将第二学习数据存储在第二学习数据存储装置260。
在图6的例子中，第二学习数据创建装置100从观测数据存储装置250读出第一观测数据，基于该第一观测数据创建第二学习数据(第一创建处理)。
第二学习数据例如可以是第一观测数据(学习用判定材料数据)、与用于表示该判定材料数据所表示的动作或者状态符合需要注意的动作或者需要注意的状态(即，人工智能的输出不妥当的情况)的值(教师数据)的组。
或者，第二学习数据创建装置100可以向第二人工智能提供一些输入数据并使该第二人工智能生成输出数据。并且，第二学习数据创建装置100也可以基于第二观测数据来创建更加精细的第二学习数据，该第二观测数据表示根据上述输出数据被控制的对象(对象230或者与之相同种类的实体机器或者模拟模型)的动作或者状态的观测结果的第二观测数据，。
具体来讲，第二学习数据可以是第一观测数据的一部分或者全部即第三观测数据(学习用判定材料数据)、与用于表示该第三观测数据所示的动作或者状态符合需要注意的动作或者需要注意的状态的值(教师数据)的组。其中，第三观测数据是指第一观测数据中的与第二观测数据不一致的数据。通常，第二观测数据所示的动作或者状态是基于第二人工智能的输出数据而被控制的对象的动作或者状态，因此能够推测为较高概率是适当的，因此，可以从学习用判定材料数据中排除。
并且，也可以基于第二观测数据来创建如下的这种第二学习数据。这种第二学习数据例如是第二观测数据(学习用判定材料数据)、与用于表示该第二观测数据所示的动作或者状态不符合需要注意的动作或者需要注意的状态(即，人工智能的输出是妥当的)的值(教师数据)的组。
第二学习数据存储装置260存储第二学习数据。第二学习数据由第二学习数据创建装置100创建，由第二学习装置270根据需要读出。此外，第二学习数据存储装置260还可以存储用于评估第二学习完成度的测试数据。
第二学习装置270使用第二学习数据来进行第二机器学习，该第二机器学习包括使第三人工智能基于学习用判定材料数据判定产生该判定材料数据的人工智能的输出是否妥当。具体来讲，第二学习装置270向第三人工智能提供学习数据中包含的学习用判定材料数据，得到输出数据(判定结果)。第二学习装置270进行针对第三人工智能的第二机器学习(模型参数的更新)，使得该输出数据接近学习数据中包含的教师数据。
第二学习装置270使用测试数据来评估学习用的第三人工智能的学习完成度，如果达到学习目标，则将学习结果(模型参数)设定于第四人工智能。即，第四人工智能可以是完成第二机器学习的学习的人工智能且独立于设定有第二机器学习的学习结果的第三人工智能的其他人工智能，也可以是完成第二机器学习后的第三人工智能。由用于判定第二人工智能的输出是否妥当的判定装置使用第四人工智能。此外，第二学习装置270可以组装在判定装置上。
如图14所示，第二学习装置270可以包含获取部271以及学习部272。第二学习装置270的硬件结构可以与使用图3说明的第二学习数据创建装置的硬件结构相同或者类似。
获取部271例如可以是输入装置、通信接口或者外部接口。获取部271读出第二学习数据存储装置260中存储的第二学习数据。获取部271将第二学习数据发送给学习部272。
学习部272例如可以是处理器以及存储器。学习部272从获取部271接收第二学习数据，使用该第二学习数据进行针对第三人工智能的第二机器学习。
用于判定第二人工智能的输出是否妥当的判定装置可以是图15所示的判定装置1200。该判定装置1200包含获取部1201以及判定部1202。判定装置1200的硬件结构可以与用图3说明的第二学习数据创建装置的硬件结构相同或者类似。
获取部1201例如可以是输入装置、通信接口或者外部接口。获取部1201在完成第二机器学习后，即，将所要求的判定能力提供给第四人工智能后，获取与对象人工智能的输出相关的数据作为判定材料数据。获取部1201将判定材料数据发送给判定部1202。
判定部1202例如可以是处理器以及存储器。判定部1202包含第四人工智能。判定部1202从获取部1201接收判定材料数据，直接或者进行转换等加工之后，提供给第四人工智能。并且，判定部1202从第四人工智能接收与输入数据(判定材料数据)对应的输出数据。判定部1202获取第四人工智能的输出数据直接作为对象人工智能的输出的妥当与否的判定结果，或者获取对该输出数据施加转换等加工而得到的数据作为对象人工智能的输出的妥当与否的判定结果。
判定装置1200在与对象人工智能的输出相关的数据不妥当的情况下，也可以发出警报，介入针对对象230的动作或者状态的控制。具体来讲，判定装置1200除了获取部1201以及判定部1202以外，还可以包含用图1说明的警报部1350和/或介入部1360。
学习请求装置280例如从图6中未图示的使用者终端接收学习请求并发送给第二学习数据创建装置100以及第二学习装置270。学习请求例如包含第二机器学习的学习开始指令以及用于确定希望通过第二机器学习获得的判定能力的规格数据。学习请求也可以还包含第一机器学习的学习开始指令以及用于确定希望通过第一机器学习获得的能力的规格数据。
图6的机器学习系统如图7所举例示出的那样进行动作。
第一学习数据创建装置200创建相当于被提供给第一人工智能的输入数据的第一学习数据(步骤S401)。第一学习装置220使用步骤S401创建的第一学习数据来进行第一机器学习，该第一机器学习包含使第一人工智能对对象230的动作或者状态进行控制(步骤S402)。
第二学习数据创建装置100获取在执行步骤S402的过程中得到的第一观测数据，基于该第一观测数据创建第二学习数据(步骤S403)。此外，第二学习数据创建装置100也可以在步骤S402后向设定有该学习结果的第二人工智能提供一些输入数据从而使该第二人工智能生成输出数据。并且，第二学习数据创建装置100也可以获取第二观测数据，基于该第二观测数据来创建第二学习数据，该第二观测数据用于表示根据上述输出数据而被控制的对象的动作或者状态的观测结果。
第二学习装置270使用步骤S403创建的第二学习数据，进行第二机器学习，该第二机器学习包含使第三人工智能判定学习用判定材料数据是否表示需要注意的动作或者需要注意的状态(步骤S404)。
第二创建处理可应用于图8所举例示出的机器学习系统。图8的机器学习系统包含第二学习数据创建装置100、第一学习数据创建装置500、第一学习数据存储装置510、第一学习装置520、对象530、观测装置540、输出数据存储装置550、第二学习数据存储装置260、第二学习装置270、以及学习请求装置280。
此外，第一学习数据创建装置500、第一学习数据存储装置510、第一学习装置520、对象530以及观测装置540可以与图6的第一学习数据创建装置200、第一学习数据存储装置210、第一学习装置220、对象230以及观测装置240相同或者类似。
输出数据存储装置550存储在执行第一机器学习的期间的第一人工智能的输出数据。由第二学习数据创建装置100根据需要读出第一人工智能的输出数据。
第二学习数据创建装置100例如从学习请求装置280接收包含规格数据的学习请求，基于该学习请求获取所需的数据，创建第二学习数据。并且，第二学习数据创建装置100将第二学习数据存储在第二学习数据存储装置260。
在图8的例子中，第二学习数据创建装置100从输出数据存储装置550读出在执行第一机器学习的期间的第一人工智能的输出数据，基于该数据创建第二学习数据(第二创建处理)。
第二学习数据例如也可以是在执行第一机器学习的期间的第一人工智能的输出数据(学习用判定材料数据)、与用于表示该输出数据是学习中途得到的输出数据(即，人工智能的输出不妥当)的值(教师数据)的组。
或者，第二学习数据创建装置100可以向第二人工智能提供一些输入数据从而生成输出数据。并且，第二学习数据创建装置100可以获取第二人工智能的输出数据，基于该输出数据创建第二学习数据。
具体来讲，第二学习数据也可以是第二人工智能的输出数据(学习用判定材料数据)、与用于表示该输出数据符合完成学习后得到的输出数据(即，人工智能的输出妥当)的值(教师数据)的组。
图8的机器学习系统以图9所举例示出的方式进行动作。
第一学习数据创建装置500创建相当于提供给第一人工智能的输入数据的第一学习数据(步骤S601)。第一学习装置520使用在步骤S601中创建的第一学习数据来进行第一机器学习，该第一机器学习包含使第一人工智能对对象530的动作或者状态进行控制(步骤S602)。
第二学习数据创建装置100获取在执行步骤S602的过程中得到的第一人工智能的输出数据，基于该输出数据创建第二学习数据(步骤S603)。此外，第二学习数据创建装置100可以在完成步骤S602之后，向设定有该学习结果的第二人工智能提供一些输入数据，从而使该第二人工智能生成输出数据。并且，第二学习数据创建装置100也可以获取上述输出数据作为学习用判定材料数据，基于该学习用判定材料数据创建第二学习数据。
第二学习装置270使用在步骤S603中创建的第二学习数据来进行第二机器学习，该第二机器学习包含使第三人工智能判定学习用判定材料数据是否表示在学习中途得到的输出数据或者学习完成后得到的输出数据(步骤S604)。
第三创建处理可应用于图10所举例示出的机器学习系统。图10的机器学习系统包含第二学习数据创建装置100、第一学习数据创建装置700、第一学习数据存储装置710、第一学习装置720、输出数据存储装置750、第二学习数据存储装置260、第二学习装置270、以及学习请求装置280。
第一学习数据创建装置700创建相当于提供给第一人工智能的输入数据及其教师数据的第一学习数据，并将第一学习数据存储在存储装置710。输入数据例如表示图像、声音、文本、动画、由传感器测量的物理量等。教师数据表示第一人工智能应该与输入数据对应而生成的正确的输出数据。具体来讲，如果第一机器学习以获得用于识别手写文字的能力为目的，则第一学习数据创建装置700创建包含图像数据和教师数据的学习数据，该图像数据用于表示作为输入数据的手写文字，该教师数据用于表示与该图像数据对应的文字。
第一学习数据存储装置710存储第一学习数据。第一学习数据由第一学习数据创建装置700创建，由第一学习装置720根据需要读出。此外，第一学习数据存储装置710也可以还存储有用于评估第一学习完成度的测试数据。
第一学习装置720从第一学习数据存储装置710读出第一学习数据，将该第一学习数据中包含的输入数据提供给第一人工智能，并得到输出数据。输出数据根据第一机器学习的目的而不同，但是，例如，可以表示针对输入数据的识别结果(例如，文字识别、声音识别、图像识别、动画识别等结果)。第一学习装置720进行第一人工智能的机器学习(模型参数的更新)，以使该输出数据接近教师数据。
第一学习装置720使用测试数据评估第一人工智能的学习完成度，如果达到学习目标，则将学习结果(模型参数)设定于第二人工智能。此外，第一学习装置720以及第二人工智能也可以组装于同一装置(例如服务器)。
输出数据存储装置750也可以存储第二人工智能的输出数据。第二人工智能的输出数据由第二学习数据创建装置100根据需要读出。
第二学习数据创建装置100从学习请求装置280接收包含规格数据的学习请求，基于该学习请求获取所需的数据，并创建第二学习数据。并且，第二学习数据创建装置100将第二学习数据存储在第二学习数据存储装置260。
在图10的例子中，第二学习数据创建装置100从输出数据存储装置750读出第二人工智能的输出数据，基于该数据来创建第二学习数据(第三创建处理)。
具体来讲，第二学习数据创建装置100可以向第二人工智能提供一些输入数据(该教师数据是已知的)从而生成输出数据。然后，第二学习数据创建装置100可以经由输出数据存储装置750获取第二人工智能的输出数据，基于该输出数据来创建第二学习数据。
然后，第二学习数据创建装置100例如基于使第二人工智能生成错误的输出数据的输入数据，来创建第二学习数据中包含的学习用判定材料数据。在该情况下，第二学习数据创建装置100创建用于表示上述学习用判定材料数据符合第二人工智能不擅长的输入数据(即，对于上述输入数据，第二人工智能所生成的输出数据不妥当)的教师数据。
或者，第二学习数据创建装置100也可以基于使第二人工智能生成正确的输出数据的输入数据，创建在第二学习数据中包含的学习用判定材料数据。在该情况下，第二学习数据创建装置100创建用于表示上述学习用判定材料数据不符合第二人工智能不擅长的输入数据(即，对于上述输入数据，第二人工智能所生成的输出数据是妥当的)的教师数据。
图10的机器学习系统以图11所举例示出的方式进行动作。
第一学习数据创建装置700创建相当于提供给第一人工智能的输入数据的第一学习数据(步骤S801)。第一学习装置720使用在步骤S801中创建的第一学习数据，进行针对第一人工智能的第一机器学习(步骤S802)。
第二学习数据创建装置100在完成步骤S802后，向设定有该学习结果的第二人工智能提供某一输入数据(该教师数据是已知的)从而使该第二人工智能生成输出数据。第二学习数据创建装置100获取作为上述输出数据的根源的数据的输入数据作为学习用判定材料数据，基于该学习用判定材料数据创建第二学习数据。具体来讲，第二学习数据创建装置100基于与错误的输出数据对应的输入数据(学习用判定材料数据)来创建第二学习数据。或者，第二学习数据创建装置100也可以基于与正确的输出数据对应的输入数据(学习用判定材料数据)来创建第二学习数据。
第二学习装置270使用在步骤S803中创建的第二学习数据来进行第二机器学习，该第二机器学习包含使第三人工智能判定学习用判定材料数据是否表示第二人工智能的不擅长或者擅长的数据(步骤S804)。
图12中举例示出了提供机器学习服务的服务提供系统，该机器学习服务用于获取根据来自使用者的要求来判定人工智能的输出的妥当与否的能力。
图12的服务提供系统包含第二学习数据创建装置100、第一学习数据创建装置900、第一学习数据存储装置910、第一学习装置920、对象模拟器930、观测数据存储装置250、输出数据存储装置950、第二学习数据存储装置260、第二学习装置270、学习请求装置280、以及使用者终端990。各装置经由网络NW相互连接。
此外，图12的服务提供系统的装置结构只是示例性的。即，图12所示的装置的一部分或者全部可以统合为一个装置，图12所示的装置的功能可以分散在多个装置中。或者，图12的服务提供系统的一部分装置可以删除或者变更，也可以追加图12中未图示的装置。
第一学习数据创建装置900可以与上述的第一学习数据创建装置200、第一学习数据创建装置500或者第一学习数据创建装置700相同或者类似。此外，作为用于创建第一学习数据的基础的数据也可以包含在来自学习请求装置280的输入数据中。
第一学习数据存储装置910可以与上述的第一学习数据存储装置210、第一学习数据存储装置510或者第一学习数据存储装置710相同或者类似。
第一学习装置920可以与上述的第一学习装置220、第一学习装置520或者第一学习装置720相同或者类似。此外，第一学习装置920可以从学习请求装置280接收学习开始指令，根据该指令进行第一机器学习，也可以将不同的事件作为触发事件从而进行第一机器学习。并且，第一学习装置920例如可以接收用于确定希望通过第一机器学习获得的能力的规格数据。第一学习装置920可以基于规格数据，设定第一人工智能的学习目标，设定强化学习的回报。
对象模拟器930可用于由第一学习装置920进行的第一机器学习以获取用于对对象的动作或者状态进行控制的能力为目的的情况(进行上述的第一创建处理或者第二创建处理的情况)。对象模拟器930保持上述的对象230或者对象530的模拟模型，向该模拟模型提供由第一人工智能生成的输出数据，生成该动作或者状态的观测结果。即，对象模拟器930将上述的对象230与观测装置240的组合、或者对象530与观测装置540的组合在模拟器上实现。其中，在使用实体机器作为对象230或者对象530的情况下，可以删除对象模拟器930。
输出数据存储装置950可以与上述的输出数据存储装置550或者输出数据存储装置750相同或者类似。
学习请求装置280从使用者终端990接收与第二机器学习相关的规格数据以及学习开始指令作为学习请求。学习请求装置280将规格数据以及学习开始指令发送给第二学习装置270。或者，学习请求装置280也可以从使用者终端990接收与第一机器学习相关的规格数据以及学习开始指令作为学习请求。在该情况下，学习请求装置280将规格数据以及学习开始指令发送给第一学习装置920。
使用者终端990向服务提供系统请求提供与使用者的目的相匹配的机器学习。使用者终端990例如基于使用者的输入，发出与第二机器学习相关的规格数据以及学习开始指令，并将它们发送给学习请求装置280。规格数据可以包含用于表示对象的构造、用途、目的或者耐负荷性能等的值。
如上所述，本实施方式所涉及的(第二)学习数据创建装置创建用于第二机器学习的(第二)学习数据，该第二机器学习用于获得判定第二人工智能(对象人工智能)的输出的妥当与否的能力，该第二人工智能中设定有对第一人工智能执行第一机器学习的学习结果。具体来讲，该学习数据创建装置从与第一人工智能和/或第二人工智能相关的数据中获取基于所要求的判定能力的规格而确定出的(学习用)的判定材料数据，将该判定材料数据作为执行第二机器学习的第三人工智能的输入数据。并且，该学习数据创建装置创建包含该判定材料数据以及教师数据的学习数据，该教师数据表示基于判定材料数据的第二人工智能的输出的妥当与否的判定结果的正确值。因此，根据该学习数据创建装置，能够创建用于第二机器学习的学习数据，该第二机器学习用于获得与规格一致的判定能力。
或者，该学习数据创建装置基于所要求的判定能力的规格，控制应该获取什么样的数据作为(学习用)判定材料数据，以及控制应该基于该判定材料数据创建什么样的(第二)学习数据。因此，根据该学习数据创建装置，能够创建用于获得不受特定判定能力制约的广泛的判定能力的学习数据。
§4变形例
以上，详细地说明了本公开的实施方式，但上述说明的所有要点只是示例性的。当然可以在不脱离本公开的范围内进行各种改良、变形。例如，可以进行以下变更。此外，下面，对与上述实施方式相同的结构要素使用相同的符号，对与上述实施方式同样的内容，适当省略说明。
4.1
本实施方式所涉及的(第二)学习数据创建装置基于所要求的判定能力的规格，控制应该获取什么样的数据作为(学习用)判定材料数据，以及控制应该基于该判定材料数据来创建什么样的(第二)学习数据。但是，也可以在学习数据创建装置的外侧进行上述控制。即，也可以准备可执行彼此不同的创建处理的多个学习数据创建装置。或者，即使不以上述控制为前提，上述学习数据创建装置在如下这点上也是有用的，即，能够创建在用于获得特定的判定能力的第二机器学习中使用的学习数据。因此，该变形例(下面，也称为本变形例)所涉及的(第二)第二学习数据创建装置获取预先确定的(学习用)判定材料数据，根据预先确定的算法，基于该判定材料数据创建第二学习数据。
如图13所示，本变形例所涉及的第二学习数据创建装置1000包含获取部1001以及创建部1002。第二学习数据创建装置1000的硬件结构可以与用图3说明的第二学习数据创建装置的硬件结构相同或者类似。
获取部1001例如可以是输入装置、通信接口或者外部接口等。获取部1001获取与第一人工智能的输出相关的数据以及与第二人工智能的输出相关的数据中的预先确定的数据作为学习用判定材料数据。获取部1001将学习用判定材料数据发送给创建部102。
创建部1002例如可以是处理器以及存储器。创建部1002从获取部101接收学习用判定材料数据，基于该学习用判定材料数据来创建第二学习数据。第二学习数据与实施方式同样地包含学习用判定材料数据以及教师数据，该教师数据表示基于该学习用判定材料数据的第一人工智能和/或第二人工智能的输出的妥当与否的判定结果的正确值。创建部1002预先确定如何创建学习数据。
如上所述，本变形例所涉及的(第二)学习数据创建装置创建用于第二机器学习的(第二)学习数据，该第二机器学习用于获得判定第二人工智能的输出的妥当与否的能力，该第二人工智能中设定有对第一人工智能执行的第一机器学习的学习结果。具体来讲，该学习数据创建装置获取与第一人工智能和/或第二人工智能的输出相关的数据中的、预先确定的(学习用的)判定材料数据，将该判定材料数据作为执行第二机器学习的第三人工智能的输入数据。并且，该学习数据创建装置创建包含该判定材料数据以及教师数据的学习数据，该教师数据表示基于该判定材料数据的第二人工智能的输出的妥当与否的判定结果的正确值。因此，根据该学习数据创建装置，能够创建在用于获得特定的判定能力的第二机器学习中使用的学习数据。
或者，该学习数据创建装置预先确定应该获取什么样的数据作为(学习用)判定材料数据，以及应该基于该判定材料数据创建什么样的(第二)学习数据。因此，根据该学习数据创建装置，例如，执行实施方式中说明的第一创建处理至第三创建处理中的任意一个，能够创建用于获得特定的判定能力的学习数据。
至此，以上说明的实施方式的全部要点只是本公开的示例性内容。当然可以在不脱离本公开的范围内进行各种改良、变形。例如，可以进行以下变更。即，对于本公开的实施，也可以适当采用与实施方式对应的具体的结构。此外，通过自然语言说明了各实施方式中出现的数据，但是，更具体地讲，可以由计算机可识别的虚拟语言、命令、参数、机器语言进行指定。
上述各实施方式的一部分或者全部也可以通过除了权利要求以外的下述方式记载，但不限于此。
(备注1)
一种控制系统，其中，
具备控制装置以及判定装置，
所述控制装置具备第一存储器以及与所述第一存储器连接的第一处理器，
所述第一处理器构成为安装有控制用人工智能，该控制用人工智能基于输入数据来生成用于对对象进行控制的输出数据，
所述判定装置具备第二存储器以及与所述第二存储器连接的第二处理器；
所述第二处理器构成为：
(a)获取用于判定所述控制用人工智能的输出的妥当与否的判定材料数据，
(b)安装有基于所述判定材料数据来判定所述妥当与否的判定用人工智能；
在所述控制用人工智能中设定有用于获得对所述对象进行控制的控制能力的第一机器学习的学习结果，
在所述判定用人工智能中设定有第二机器学习的学习结果，该第二机器学习用于获得判定所述妥当与否的判定能力，
所述第二机器学习通过使用包含学习用判定材料数据与教师数据组合的学习数据来进行，该学习用判定材料数据是基于与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据创建的，该教师数据表示基于该学习用判定材料数据的所述妥当性的判定结果的正确值，
所述学习用判定材料数据基于所述判定能力的规格，从与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据中确定的。
(备注2)
一种学习数据创建装置，创建用于第二机器学习的学习数据，所述第二机器学习用于获得判定设定有第一机器学习的学习结果的对象人工智能的输出的妥当与否的判定能力，其中，
该学习数据创建装置具备存储器以及与所述存储器连接的处理器；
所述处理器构成为：
(a)获取与在执行所述第一机器学习的过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据，
(b)基于由所述获取部获取的数据以及所述判定能力的规格，创建包含学习用判定材料数据与教师数据的组合的学习数据，该学习用判定材料数据是作为所述第二机器学习的对象的判定用人工智能的输入数据，该教师数据表示与所述输入数据对应的该判定用人工智能的输出数据的正确值。
(备注3)
一种学习装置，其中，
具备存储器以及与所述存储器连接的处理器；
所述处理器构成为：
(a)获取用于第二机器学习的学习数据，该第二机器学习用于获得判定设定有第一机器学习的学习结果的对象人工智能的输出的妥当与否的判定能力，
(b)使判定用人工智能使用所述学习数据进行所述第二机器学习；
所述学习数据包含学习用判定材料数据与教师数据的组合，该学习用判定材料数据作为所述判定用人工智能的输入数据，该教师数据表示与所述输入数据对应的该判定用人工智能的输出数据的正确值，
所述学习数据是基于与在执行所述第一机器学习的过程中的第一人工智能或者与设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据、以及所述判定能力的规格来创建的。
(备注4)
一种判定装置，其中，
具备存储器以及与所述存储器连接的处理器；
所述处理器构成为：
(a)获取与设定有第一机器学习的学习结果的对象人工智能的输出相关的数据，
(b)安装有判定用人工智能，该判定用人工智能接收基于由所述获取部获取的数据的输入数据，来判定所述对象人工智能的输出的妥当与否；
在所述判定用人工智能中设定有第二机器学习的学习结果，该第二机器学习用于获得判定所述妥当与否的判定能力，
所述第二机器学习通过使用包含学习用判定材料数据与教师数据的组合的学习数据来进行，该学习用判定材料数据是基于与在执行所述第一机器学习过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据创建的，该教师数据表示基于该学习用判定材料数据的所述妥当与否的判定结果的正确值，
所述学习用判定材料数据是基于所述判定能力，从与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据中确定的。

Claims (17)

1.一种控制系统，其中，
具备控制装置以及判定装置，
所述控制装置具备控制部，所述控制部具有基于输入数据来生成用于对对象进行控制的输出数据的控制用人工智能；
所述判定装置具备：
获取部，获取用于判定所述控制用人工智能的输出的妥当与否的判定材料数据，以及
判定部，具有基于所述判定材料数据来判定所述妥当与否的判定用人工智能；
在所述控制用人工智能中设定有第一机器学习的学习结果，所述第一机器学习用于获得对所述对象进行控制的控制能力；
在所述判定用人工智能中设定有第二机器学习的学习结果，所述第二机器学习用于获得判定所述妥当与否的判定能力；
所述第二机器学习通过使用包含学习用判定材料数据与教师数据的组合的学习数据来进行，所述学习用判定材料数据是基于与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据创建的，所述教师数据表示基于该学习用判定材料数据的所述妥当与否的判定结果的正确值；
所述学习用判定材料数据是基于所述判定能力的规格，从与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据中确定的。
2.根据权利要求1所述的控制系统，其中，
所述判定装置还具备警报部，所述警报部在判定为所述控制用人工智能的输出不妥当的情况下发出警报。
3.根据权利要求1所述的控制系统，其中，
所述判定装置还具备介入部，所述介入部在判定为所述控制用人工智能的输出不妥当的情况下，介入所述控制装置对所述对象的控制。
4.一种学习数据创建装置，创建用于第二机器学习的学习数据，所述第二机器学习用于获得判定设定有第一机器学习的学习结果的对象人工智能的输出的妥当与否的判定能力，其中，
所述学习数据创建装置具备：
获取部，获取与在执行所述第一机器学习的过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据，以及
创建部，基于由所述获取部获取的数据以及所述判定能力的规格，创建包含学习用判定材料数据与教师数据的组合的学习数据，所述学习用判定材料数据是作为所述第二机器学习的对象的对判定用人工智能的输入数据，所述教师数据表示与所述输入数据对应的该判定用人工智能的输出数据的正确值。
5.根据权利要求4所述的学习数据创建装置，其中，
所述学习用判定材料数据包含(i)所述第一人工智能或者所述第二人工智能的输出数据、(ii)表示基于所述第一人工智能或者所述第二人工智能的输出数据而被控制的对象的动作或者状态的观测结果的观测数据、以及(iii)使所述第二人工智能生成输出数据的输入数据中的至少一部分。
6.根据权利要求5所述的学习数据创建装置，其中，
所述创建部基于观测数据来创建所述学习用判定材料数据，并创建教师数据，所述观测数据表示基于所述第一人工智能的输出数据而被控制的对象的动作或者状态的观测结果，所述教师数据表示所述第一人工智能的输出不妥当。
7.根据权利要求5所述的学习数据创建装置，其中，
所述创建部基于所述第一人工智能的输出数据来创建所述学习用判定材料数据，并创建表示所述第一人工智能的输出不妥当的教师数据。
8.根据权利要求5或7所述的学习数据创建装置，其中，
所述创建部基于所述第二人工智能的输出数据来创建所述学习用判定材料数据，并创建表示所述第二人工智能的输出妥当的教师数据。
9.根据权利要求5所述的学习数据创建装置，其中，
所述创建部基于使所述第二人工智能生成错误的输出数据的输入数据来创建所述学习用判定材料数据，并创建表示所述第二人工智能的输出不妥当的教师数据。
10.根据权利要求5或9所述的学习数据创建装置，其中，
所述创建部基于使所述第二人工智能生成正确的输出数据的输入数据来创建所述学习用判定材料数据，并创建表示所述第二人工智能的输出妥当的教师数据。
11.根据权利要求4～7、9中任一项所述的学习数据创建装置，其中，
还具备控制部，所述控制部基于所述判定能力的规格，控制由所述获取部获取的数据以及由所述创建部创建的学习数据。
12.根据权利要求8所述的学习数据创建装置，其中，
还具备控制部，所述控制部基于所述判定能力的规格，控制由所述获取部获取的数据以及由所述创建部创建的学习数据。
13.根据权利要求10所述的学习数据创建装置，其中，
还具备控制部，所述控制部基于所述判定能力的规格，控制由所述获取部获取的数据以及由所述创建部创建的学习数据。
14.一种学习装置，其中，具备：
获取部，获取用于第二机器学习的学习数据，所述第二机器学习用于获得判定设定有第一机器学习的学习结果的对象人工智能的输出的妥当与否的判定能力，以及
学习部，使判定用人工智能使用所述学习数据进行所述第二机器学习；
所述学习数据包含学习用判定材料数据与教师数据的组合，所述学习用判定材料数据是对所述判定用人工智能的输入数据，所述教师数据表示与所述输入数据对应的该判定用人工智能的输出数据的正确值；
所述学习数据是基于与在执行所述第一机器学习的过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据、以及所述判定能力的规格而创建的。
15.一种判定装置，其中，具备：
获取部，获取与设定有第一机器学习的学习结果的对象人工智能的输出相关的数据，以及
判定部，具有判定用人工智能，所述判定用人工智能用于接收基于由所述获取部获取的数据的输入数据，来判定所述对象人工智能的输出的妥当与否；
在所述判定用人工智能中设定有第二机器学习的学习结果，所述第二机器学习用于获得判定所述妥当与否的判定能力；
所述第二机器学习通过使用包含学习用判定材料数据与教师数据的组合的学习数据来进行，所述学习用判定材料数据是基于与在执行所述第一机器学习的过程中的第一人工智能或者设定有所述第一机器学习的学习结果的第二人工智能的输出相关的数据创建的，所述教师数据表示基于该学习用判定材料数据的所述妥当与否的判定结果的正确值；
所述学习用判定材料数据是基于所述判定能力，从与在执行所述第一机器学习的过程中的人工智能或者设定有所述第一机器学习的学习结果的人工智能的输出相关的数据中确定的。
16.根据权利要求15所述的判定装置，其中，
还具备警报部，所述警报部在判定为所述对象人工智能的输出不妥当的情况下发出警报。
17.根据权利要求15所述的判定装置，其中，
所述对象人工智能基于输入数据来生成用于对对象进行控制的输出数据，
所述判定装置还具备介入部，所述介入部在判定为所述对象人工智能的输出不妥当的情况下，介入基于所述对象人工智能的输出的对所述对象的控制。
CN201910289524.XA 2018-05-14 2019-04-11 控制系统、学习数据创建装置、学习装置以及判定装置 Pending CN110488791A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018092840A JP7091820B2 (ja) 2018-05-14 2018-05-14 制御システム、学習データ作成装置、学習装置および判定装置
JP2018-092840 2018-05-14

Publications (1)

Publication Number Publication Date
CN110488791A true CN110488791A (zh) 2019-11-22

Family

ID=66323677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910289524.XA Pending CN110488791A (zh) 2018-05-14 2019-04-11 控制系统、学习数据创建装置、学习装置以及判定装置

Country Status (4)

Country Link
US (1) US20190346836A1 (zh)
EP (1) EP3570219A1 (zh)
JP (1) JP7091820B2 (zh)
CN (1) CN110488791A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220269588A1 (en) * 2019-11-22 2022-08-25 Japan Manned Space Systems Corporation Safety verification system for artificial intelligence system, safety verification method, and safety verification program

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11345030B2 (en) * 2019-05-28 2022-05-31 Intel Corporation Methods and apparatus for complex assembly via autonomous robots using reinforcement learning action primitives
JP7238610B2 (ja) * 2019-06-04 2023-03-14 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
KR102285472B1 (ko) * 2019-06-14 2021-08-03 엘지전자 주식회사 음향의 이퀄라이징 방법과, 이를 구현하는 로봇 및 ai 서버
JP7467133B2 (ja) * 2020-01-24 2024-04-15 株式会社東芝 制御装置、制御方法、及びモータ制御装置
CN111538233A (zh) * 2020-05-06 2020-08-14 上海雁文智能科技有限公司 一种基于能耗奖励的中央空调人工智能控制方法
KR102280489B1 (ko) * 2020-11-19 2021-07-22 주식회사 두유비 대규모 사전학습 모델을 학습하여 지성을 기반으로 대화하는 대화 지능 획득 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225163A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd ニューラルネットシステムおよびニューラルネットの学習方法
CN101118434A (zh) * 2006-08-03 2008-02-06 松下电工株式会社 异常监控设备
CN106842948A (zh) * 2017-03-01 2017-06-13 长春工业大学 基于bp网络的hdp分子蒸馏系统的最优控制方法
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107263464A (zh) * 2016-04-04 2017-10-20 发那科株式会社 机器学习装置、机械系统、制造系统以及机器学习方法
CN107305370A (zh) * 2016-04-25 2017-10-31 发那科株式会社 设定与产品的异常相关的变量的判定值的生产系统
CN107527053A (zh) * 2017-08-31 2017-12-29 北京小米移动软件有限公司 目标检测方法及装置
CN107790861A (zh) * 2016-08-30 2018-03-13 发那科株式会社 点焊装置
CN107797516A (zh) * 2016-09-06 2018-03-13 发那科株式会社 数值控制装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE240557T1 (de) * 1992-11-24 2003-05-15 Pavilion Tech Inc Betreiben eines neuronalen netzwerks mit fehlenden und/oder inkompletten daten
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
US10636323B2 (en) * 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225163A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd ニューラルネットシステムおよびニューラルネットの学習方法
CN101118434A (zh) * 2006-08-03 2008-02-06 松下电工株式会社 异常监控设备
CN107263464A (zh) * 2016-04-04 2017-10-20 发那科株式会社 机器学习装置、机械系统、制造系统以及机器学习方法
CN107305370A (zh) * 2016-04-25 2017-10-31 发那科株式会社 设定与产品的异常相关的变量的判定值的生产系统
CN107790861A (zh) * 2016-08-30 2018-03-13 发那科株式会社 点焊装置
CN107797516A (zh) * 2016-09-06 2018-03-13 发那科株式会社 数值控制装置
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN106842948A (zh) * 2017-03-01 2017-06-13 长春工业大学 基于bp网络的hdp分子蒸馏系统的最优控制方法
CN107527053A (zh) * 2017-08-31 2017-12-29 北京小米移动软件有限公司 目标检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220269588A1 (en) * 2019-11-22 2022-08-25 Japan Manned Space Systems Corporation Safety verification system for artificial intelligence system, safety verification method, and safety verification program
US11593253B2 (en) * 2019-11-22 2023-02-28 Japan Manned Space Systems Corporation Safety verification system for artificial intelligence system, safety verification method, and safety verification program

Also Published As

Publication number Publication date
EP3570219A1 (en) 2019-11-20
JP7091820B2 (ja) 2022-06-28
JP2019200453A (ja) 2019-11-21
US20190346836A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN110488791A (zh) 控制系统、学习数据创建装置、学习装置以及判定装置
US11756349B2 (en) Electronic control unit testing optimization
JP6648352B2 (ja) 汎用学習済モデルの生成方法
EP3289529B1 (en) Reducing image resolution in deep convolutional networks
CN111144580B (zh) 一种基于模仿学习的层级强化学习训练方法和装置
KR20190069421A (ko) 차량내 예측적 고장 검출을 위한 시스템 및 방법
AU2018330840B2 (en) Parallel neural processor for artificial intelligence
CN109858553B (zh) 驾驶状态的监测模型更新方法、更新装置及存储介质
CN108694408B (zh) 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法
US20210309181A1 (en) Intelligent Preparation of Vehicles for Operations based on User Recognition from a Distance
TW201202877A (en) Power management based on automatic workload detection
US11587314B2 (en) Intelligent correction of vision deficiency
JP2010179454A5 (zh)
CN111797854B (zh) 场景模型建立方法、装置、存储介质及电子设备
KR20210015531A (ko) 뉴럴 네트워크 모델을 업데이트하는 방법 및 시스템
CN107885544A (zh) 应用程序管控方法、装置、介质及电子设备
US11586942B2 (en) Granular binarization for extended reality
US10984311B2 (en) Involved generative machine learning models for functional testing
JP7010343B1 (ja) 機械学習装置
WO2020118555A1 (zh) 一种网络模型数据存取方法、装置及电子设备
Thongpull Advancing the automated design of integrated intelligent multi-sensory systems with self-X properties
US11862301B2 (en) Technique for training dementia identification model based on test result data
US11436391B2 (en) Learning method and automatic layout design method
US20240169209A1 (en) Computer-implemented method for producing a software image, suitable for a numerical simulation, of at least part of a real controller
CN117456221A (zh) 用于对抗性攻击的基于crown的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122