JP2019200453A - 制御システム、学習データ作成装置、学習装置および判定装置 - Google Patents

Abstract

【課題】ＡＩの出力の妥当性を判定する。【解決手段】制御システムは、制御装置と判定装置とを具備する。制御装置は、制御用ＡＩを含む制御部を備える。判定装置は、制御用ＡＩの出力の妥当性を判定する判定用ＡＩを含む判定部を備える。判定用ＡＩには、妥当性を判定する判定能力を獲得する第２の機械学習の学習結果が設定されている。第２の機械学習は、第１の機械学習を実行中の又は第１の機械学習の学習結果を設定されたＡＩの出力に関するデータに基づいて作成された学習用の判定材料データと、学習用の判定材料データに基づく妥当性の判定結果の正解値を示す教師データとの組み合わせを含む学習データを使用して行われる。学習用の判定材料データは、第１の機械学習を実行中の又は第１の機械学習の学習結果を設定されたＡＩの出力に関するデータの中から判定能力の仕様に基づいて定められる。【選択図】図１

Description

本発明は、人工知能の出力の妥当性を判定する技術に関する。

人工知能に例えばデータを分類するなどの知的能力を獲得させるために、機械学習が行われる。また、対象の動作または状態を制御する能力（制御能力）を獲得することを目的に機械学習が行われることもある。

しかしながら、人工知能が常に望ましい結果をもたらすとは限らない。すなわち、人工知能は、間違った若しくは不適切な出力データを返したり、対象に意図しない動作を行わせたり意図しない状態に陥らせたりするかもしれない。

特許文献１には、ニューラルネットワークの入力ノード値が学習データの入力ノード値に一致若しくは類似であるか否かにより、当該ニューラルネットワークの出力ノード値の確からしさを評価する技法が開示されている。

特開平５−２２５１６３号公報

特許文献１は、ニューラルネットワークの出力ノード値の確からしさを評価するための特定の限られた技法を開示しているに過ぎない。

本発明は、人工知能の出力の妥当性を判定することを目的とする。

本発明の第１の態様によれば、制御システムは、制御装置と判定装置とを具備し、前記制御装置は、対象を制御するための出力データを入力データに基づいて生成する制御用人工知能を含む制御部を備え、前記判定装置は、前記制御用人工知能の出力の妥当性の判定に用いられる判定材料データを取得する取得部と、前記妥当性を前記判定材料データに基づいて判定する判定用人工知能を含む判定部とを備え、前記制御用人工知能は、前記対象を制御する制御能力を獲得する第１の機械学習の学習結果が設定されていて、前記判定用人工知能は、前記妥当性を判定する判定能力を獲得する第２の機械学習の学習結果が設定されていて、前記第２の機械学習は、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータに基づいて作成された学習用の判定材料データと、当該学習用の判定材料データに基づく前記妥当性の判定結果の正解値を示す教師データとの組み合わせを含む学習データを使用して行われ、前記学習用の判定材料データは、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータの中から前記判定能力の仕様に基づいて定められる。

この制御システムは、制御用人工知能の出力に関するデータである判定材料データに基づいて当該制御用人工知能の出力の妥当性を判定する。かかる判定を遂行する能力は、当該能力の仕様に基づいて定められる学習用の判定材料データと、当該判定材料データに対応する制御用人工知能の出力の妥当性の判定結果の正解値を示す教師データとを含む学習データに基づく第２の機械学習により獲得され、その学習結果が判定用人工知能に設定される。故に、この制御システムによれば、制御用人工知能の出力の妥当性を判定することができる。

第１の態様に係る制御システムにおいて、前記判定装置は、前記制御用人工知能の出力が妥当でないと判定された場合に警報を発する警報部をさらに具備してもよい。この制御システムは、制御用人工知能の出力が妥当でないと判定された場合に警報を出力できる。これにより、制御用人工知能の妥当でない出力データに基づいて対象が制御されるのを予防し、またはこれによる悪影響を早期に検知して対処することが可能となる。すなわち、かかる制御システムは、制御用人工知能を活用して対象を制御しながらも、高い安全性を確保することができる。

第１の態様に係る制御システムにおいて、前記判定装置は、前記制御用人工知能の出力が妥当でないと判定された場合に前記制御装置による前記対象への制御に介入する介入部をさらに具備してもよい。

この制御システムは、制御用人工知能の出力が妥当でないと判定された場合に制御に介入できる。これにより、制御用人工知能の妥当でない出力データに基づいて対象が制御されるのを予防し、またはこれによる悪影響を早期に検知して対処することが可能となる。すなわち、かかる制御システムは、制御用人工知能を活用して対象を制御しながらも、高い安全性を確保することができる。

本発明の第２の態様によれば、学習データ作成装置は、第１の機械学習の学習結果が設定された対象人工知能の出力の妥当性を判定する判定能力を獲得する第２の機械学習に使用される学習データを作成する学習データ作成装置であって、前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータを取得する取得部と、前記第２の機械学習の対象となる判定用人工知能への入力データとなる学習用の判定材料データと、前記入力データに対応する当該判定用人工知能の出力データの正解値を示す教師データとの組み合わせを含む学習データを、前記取得部によって取得されたデータと前記判定能力の仕様とに基づいて作成する作成部とを具備する。

この学習データ作成装置によれば、対象人工知能の出力の妥当性を判定する能力を獲得するための第２の機械学習に使用可能な学習データを作成することができる。そして、この能力によってどのような判定を行うかは、当該能力の仕様により定めることができる。

第２の態様に係る学習データ作成装置において、前記学習用の判定材料データは、（ｉ）前記第１の人工知能または前記第２の人工知能の出力データと、（ｉｉ）前記第１の人工知能または前記第２の人工知能の出力データに基づいて制御された対象の動作または状態の観測結果を表す観測データと、（ｉｉｉ）前記第２の人工知能に出力データを生成させた入力データとのうちの少なくとも一部を含んでもよい。この学習データ作成装置（以降、本発明の第３の態様に係る学習データ作成装置と称する）によれば、上記（ｉ）乃至（ｉｉｉ）のデータの少なくとも一部を学習用の判定材料データとして、学習データを作成できる。

第３の態様に係る学習データ作成装置において、前記作成部は、前記第１の人工知能の出力データに基づいて制御された対象の動作または状態の観測結果を表す観測データに基づいて前記学習用の判定材料データを作成し、前記第１の人工知能の出力が妥当でないことを示す教師データを作成してもよい。この学習データ作成装置によれば、対象人工知能の出力データに基づいて制御される対象の動作または状態から当該対象人工知能の出力の妥当性を判定する能力を獲得するための学習データを作成することができる。

第３の態様に係る学習データ作成装置において、前記作成部は、前記第１の人工知能の出力データに基づいて前記学習用の判定材料データを作成し、前記第１の人工知能の出力が妥当でないことを示す教師データを作成してもよい。

この学習データ作成装置によれば、対象人工知能の出力データが学習途上の出力データに基づいて定められる妥当でない出力データに該当するか否かにより当該対象人工知能の出力の妥当性を判定する能力を獲得するための学習データを作成することができる。

第３の態様に係る学習データ作成装置において、前記作成部は、前記第２の人工知能の出力データに基づいて前記学習用の判定材料データを作成し、前記第２の人工知能の出力が妥当であることを示す教師データを作成してもよい。

この学習データ作成装置によれば、対象人工知能の出力データが学習完了後の出力データに基づいて定められる妥当な出力データに該当するか否かにより当該対象人工知能の出力の妥当性を判定する能力を獲得するための学習データを作成することができる。

第３の態様に係る学習データ作成装置において、前記作成部は、前記第２の人工知能に誤った出力データを生成させた入力データに基づいて前記学習用の判定材料データを作成し、前記第２の人工知能の出力が妥当でないことを示す教師データを作成してもよい。

この学習データ作成装置によれば、対象人工知能の入力データが第２の人工知能が不得意とする入力データに該当するか否かにより当該対象人工知能の出力の妥当性を判定する能力を獲得するための学習データを作成することができる。

第３の態様に係る学習データ作成装置において、前記作成部は、前記第２の人工知能に正しい出力データを生成させた入力データに基づいて前記学習用の判定材料データを作成し、前記第２の人工知能の出力が妥当であることを示す教師データを作成してもよい。

この学習データ作成装置によれば、対象人工知能の入力データが第２の人工知能が得意とする入力データに該当するか否かにより当該対象人工知能の出力の妥当性を判定する能力を獲得するための学習データを作成することができる。

第２の態様または第３の態様に係る学習データ作成装置は、前記判定能力の仕様に基づいて、前記取得部によって取得されるデータと、前記作成部によって作成される学習データとを制御する制御部をさらに具備してもよい。この学習データ作成装置によれば、仕様を通じて設定可能な所望の判定能力を獲得するための学習データを作成することができる。

本発明の第４の態様によれば、学習装置は、第１の機械学習の学習結果が設定された対象人工知能の出力の妥当性を判定する判定能力を獲得する第２の機械学習に使用される学習データを取得する取得部と、前記学習データを使用して判定用人工知能に前記第２の機械学習を行う学習部とを具備し、前記学習データは、前記判定用人工知能への入力データとなる学習用の判定材料データと、前記入力データに対応する当該判定用人工知能の出力データの正解値を示す教師データとの組み合わせを含み、前記学習データは、前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータと、前記判定能力の仕様とに基づいて作成される。

この学習装置によれば、対象人工知能の出力の妥当性を判定する能力を獲得する第２の機械学習を行うことができる。そして、この能力によってどのような判定を行うかは、当該能力の仕様により定めることができる。

本発明の第５の態様によれば、判定装置は、第１の機械学習の学習結果が設定された対象人工知能の出力に関するデータを取得する取得部と、前記取得部によって取得されたデータに基づく入力データを受けて前記対象人工知能の出力の妥当性を判定する判定用人工知能を含む判定部とを具備し、前記判定用人工知能は、前記妥当性を判定する判定能力を獲得する第２の機械学習の学習結果が設定されていて、前記第２の機械学習は、前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータに基づいて作成された学習用の判定材料データと、当該学習用の判定材料データに基づく前記妥当性の判定結果の正解値を示す教師データとの組み合わせを含む学習データを使用して行われ、前記学習用の判定材料データは、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータの中から前記判定能力に基づいて定められる。この判定装置によれば、対象人工知能の出力の妥当性を判定することができる。そして、どのような判定を行うかは、仕様により定めることができる。

本発明の第５の態様に係る判定装置は、前記対象人工知能の出力が妥当でないと判定された場合に警報を発する警報部をさらに具備してもよい。この判定装置は、対象人工知能の出力が妥当でないと判定された場合に警報を出力できる。これにより、対象人工知能が妥当でない出力データを外部に供給するのを予防し、またはこれによる悪影響を早期に検知して対処することが可能となる。すなわち、かかる判定装置は、対象人工知能の出力データを活用しながらも、高い安全性を確保することができる。

本発明の第５の態様に係る判定装置において、前記対象人工知能は、対象を制御するための出力データを入力データに基づいて生成し、前記判定装置は、前記対象人工知能の出力が妥当でないと判定された場合に前記対象人工知能の出力に基づく前記対象への制御に介入する介入部をさらに具備してもよい。

この判定装置は、対象人工知能の出力が妥当でないと判定された場合に制御に介入できる。これにより、対象人工知能の妥当でない出力データに基づいて対象が制御されるのを予防し、またはこれによる悪影響を早期に検知して対処することが可能となる。すなわち、かかる判定装置は、対象人工知能を活用して対象を制御しながらも、高い安全性を確保することができる。

本発明によれば、人工知能の出力の妥当性を判定することができる。

実施形態に係る制御システムの適用例を示すブロック図。 図１の判定用ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）のための第２の機械学習を行う学習システムを例示するブロック図。 実施形態に係る第２の学習データ作成装置のハードウェア構成を例示するブロック図。 実施形態に係る第２の学習データ作成装置を例示するブロック図。 図４の学習データ作成装置の動作を例示するフローチャート。 図５の第１の作成処理を適用可能な機械学習システムを例示するブロック図。 図６の機械学習システムの動作を例示するフローチャート。 図５の第２の作成処理を適用可能な機械学習システムを例示するブロック図。 図８の機械学習システムの動作を例示するフローチャート。 図５の第３の作成処理を適用可能な機械学習システムを例示するブロック図。 図１０の機械学習システムの動作を例示するフローチャート。 図４の第２の学習データ作成装置を含む機械学習システムを例示するブロック図。 変形例に係る第２の学習データ作成装置を例示するブロック図。 図６の第２の学習装置を例示するブロック図。 図６の第２の学習装置によって行われた機械学習の学習結果を利用する判定装置を例示するブロック図。

以下、本開示の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。

なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。

§１ 適用例
まず、図１を用いて、本実施形態の一適用例について説明する。図１は、本実施形態に係る制御システムの適用例を模式的に示す。この制御システムは、例えば、生産ラインに設置される生産装置などの制御に適用され得る。この制御システムは、例えば上記生産装置などの対象をＡＩ（以降、単に制御用ＡＩと称する）の出力に基づいて制御し、かつ、当該制御用ＡＩの出力の妥当性を別のＡＩ（以降、単に判定用ＡＩ）によって判定し、判定結果を表示したり、判定結果に基づいて警報の出力および／または制御への介入を行ったりする。ここで、制御への介入は、例えば、制御用ＡＩによる制御の中止、対象の動作の停止、などを含み得る。

図１に例示されるように、適用例の制御システムは、制御装置１３００と、対象１３１０と、判定装置１３２０とを含む。なお、図１は、制御用ＡＩおよび判定用ＡＩのいずれも機械学習が実行済み、すなわち両ＡＩが学習段階でなく運用段階にあることを前提としているため、制御用ＡＩおよび／または判定用ＡＩの機械学習に必要な構成は省略されている。

制御装置１３００は、制御用ＡＩ １３０２の出力に基づいて、対象１３１０の動作または状態を制御する。制御装置１３００は、制御部１３０１を含む。
制御部１３０１は、例えば、（ハードウェア）プロセッサおよびメモリであり得る。なお、ここで、プロセッサは、典型的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であるが、これに限らず、マイコン、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、などであり得る。

制御部１３０１は、制御用ＡＩ １３０２を含む。制御部１３０１は、外部からデータを受け取り、そのまま、または変換などの加工を行ってから、制御用ＡＩ １３０２に与える。そして、制御部１３０１は、入力データに対応する出力データを制御用ＡＩ １３０２から受け取る。制御部１３０１は、制御用ＡＩ １３０２の出力データをそのまま、または変換などの加工を行ってから、制御値として対象１３１０へ送る。

制御用ＡＩ １３０２は、例えば、制御部１３０１としてのプロセッサおよびメモリに実装され得る。制御用ＡＩ １３０２は、制御部１３０１から入力データを受け取り、対象１３１０の動作または状態を制御するための出力データを当該入力データに基づいて生成し、制御部１３０１に返す。制御用ＡＩ １３０２には、対象１３１０または同種の対象を制御する制御能力を獲得する第１の機械学習の学習結果が設定されている。ここで、第１の機械学習の学習結果は、第１の機械学習によって得られた最終的なモデルパラメータを指す。モデルパラメータは、ユニット間のエッジの重みを表す重み行列、ユニットのバイアスを洗わすバイアスベクトル、などを含み得る。なお、制御用ＡＩ １３０２は、実施形態において説明される第２の人工知能に相当する。制御用ＡＩ １３０２は、例えばニューラルネットワークなどの統計モデルであり得る。また、第１の機械学習は、例えば強化学習であり得る。

対象１３１０は、制御装置１３００によって直接的に制御される任意の装置、または当該装置の動作または状態によって影響を受けることで間接的に制御される任意の装置であり得る。具体的には、対象１３１０は、生産ラインに設置される生産装置（例えば、ロボット、セーフティ装置、など）、または車両（自動または半自動運転車両）、などであり得る。例えば、対象１３１０が車両である場合に、制御装置１３００は、対象１３１０の操舵、加減速またはその他の動作または状態を制御し得る。

判定装置１３２０は、制御用ＡＩ １３０２の出力に関するデータを判定材料データとして取得する。ここで、制御用ＡＩ １３０２の出力に関するデータは、制御用ＡＩ １３０２の出力データそのものに限られず、当該出力データに基づいて制御される対象１３１０の動作もしくは状態の観測結果を表す観測データ、および当該出力データの元となる入力データを含み得る。観測データは、例えば対象１３１０の動作もしくは状態を種々のセンサによって観測することで生成することができる。いかなるデータを判定材料データとして取得すべきかは、判定用ＡＩ １３４１に要求される判定能力の仕様に基づいて定められる。後述される実施形態の説明では、要求される判定能力は３つのタイプに分類され、タイプ別に詳細が述べられる。

そして、判定装置１３２０は、この判定材料データをそのまま、または変換などの加工を行ってから判定用ＡＩ １３４１に与え、制御用ＡＩ １３０２の出力の妥当性を判定する。判定装置１３２０は、制御用ＡＩ １３０２の出力の妥当性の判定結果を図示されない出力装置によって出力（例えば、表示、印刷、音声出力、など）してもよいし、判定結果に基づいて警報の出力または制御への介入を行ってもよい。判定装置１３２０は、取得部１３３０と、判定部１３４０と、警報部１３５０と、介入部１３６０とを含む。

取得部１３３０は、例えば、入力装置、通信インタフェースまたは外部インタフェースなどであり得る。取得部１３３０は、制御用ＡＩ １３０２または同種のＡＩの出力の妥当性の判定に用いられる判定材料データを取得する。図１の例では、取得部１３３０は、制御装置１３００の出力データおよび対象１３１０の観測データの両方を取得しているが、一方のみを取得してもよい。取得部１３３０は、判定材料データを判定部１３４０へ送る。

判定部１３４０は、例えば、プロセッサおよびメモリであり得る。判定部１３４０は、判定用ＡＩ １３４１を含む。判定部１３４０は、取得部１３３０から判定材料データを受け取り、そのまま、または変換などの加工を行ってから、判定用ＡＩ １３４１に与える。そして、判定部１３４０は、入力データ（判定材料データ）に対応する出力データを判定用ＡＩ １３４１から受け取る。判定部１３４０は、判定用ＡＩ １３４１の出力データをそのまま、または変換などの加工を行ってから、判定結果として図示されない出力装置、警報部１３５０、および／または介入部１３６０へ送る。

判定用ＡＩ １３４１は、例えば、判定部１３４０としてのプロセッサおよびメモリに実装され得る。判定用ＡＩ １３４１は、判定部１３４０から判定材料データを受け取り、制御用ＡＩ １３０２の出力の妥当性を当該判定材料データに基づいて判定し、判定結果を判定部１３４０に返す。判定用ＡＩ １３４１には、制御用ＡＩ １３０２または同種の制御用ＡＩの出力の妥当性を判定する判定能力を獲得する第２の機械学習の学習結果（第２の機械学習によって得られた最終的なモデルパラメータ）が設定されている。なお、判定用ＡＩ １３４１は、実施形態において説明される第４の人工知能に相当する。判定用ＡＩ １３４１は、例えばニューラルネットワークなどの統計モデルであり得る。第２の機械学習は、例えば教師付き学習であり得る。

警報部１３５０は、例えば、ブザー、スピーカなどの警報装置であってもよいし、外部の警報装置に接続するためのインタフェースであってもよい。判定部１３４０から判定結果を通知される。警報部１３５０は、制御用ＡＩ １３０２の出力が妥当でないことを示す判定結果を通知された場合には、警報を発する。警報は、例えば、人間（対象の使用者、管理者など）に対して制御用ＡＩ １３０２の出力が妥当でないことを画像、光、音などを用いて視覚的または聴覚的に報知することであってもよいし、制御装置１３００または対象１３１０に対して制御用ＡＩ １３０２の出力が妥当でないことを報知することであってもよい。具体的には、警報部１３５０は、メーターパネル上のアイコンを点灯させたり、制御用ＡＩ １３０２の再学習を促したりしてもよい。警告を受けた人間、または、制御装置１３００または対象１３１０は、対象１３１０の制御を停止もしくはリセットしたり、対象１３１０の動作または状態への制御を人間または別の制御装置（例えば、人手でコーディングされた制御プログラムを実行する制御装置）に委ねたり、制御用ＡＩ １３０２の再学習を行ったりすることで、望ましくない結果を回避することができる。

介入部１３６０は、例えば、プロセッサおよびメモリであり得る。介入部１３６０は、判定部１３４０から判定結果を通知される。介入部１３６０は、制御用ＡＩ １３０２の出力が妥当でないことを示す判定結果を通知された場合には、対象１３１０の動作または状態への制御に介入する。介入は、例えば、対象１３１０の動作または状態への制御を停止もしくはリセットすることであってもよいし、対象１３１０の動作または状態への制御を人間または別の制御装置（例えば、人手でコーディングされた制御プログラムを実行する制御装置）に委ねることであってもよい。或いは、介入部１３６０は、対象１３１０の動作を停止させてもよいし、対象１３１０に与えられる制御値が許容範囲内の値となるように制限したり、そのように補正したりしてもよい。

警報部１３５０は、判定装置１３２０から削除されてもよい。具体的に、警報部１３５０は、対象１３１０または他の装置に組み込まれてもよいし、制御システムにおいて全く存在しなくてもよい。同様に、介入部１３６０は、判定装置１３２０から削除されてもよい。具体的に、介入部１３６０は、対象１３１０または他の装置に組み込まれてもよいし、制御システムにおいて全く存在しなくてもよい。

前述の第２の機械学習は、図２に例示される学習システムによって行われ得る。図２の学習システムは、制御用ＡＩ １４００と、対象１４１０と、判定用人工知能生成装置１４２０とを含む。なお、図２の例では、制御用ＡＩ １４００に対する第１の機械学習に並行して第２の機械学習のための学習データを収集し、その都度、第２の機械学習を行っている。しかしながら、第１の機械学習の完了後、すなわち第２の機械学習のための学習データの収集が終了した後に第２の機械学習を行ってもよい。また、第２の機械学習のための学習データは、第１の機械学習を実行中の制御用ＡＩ １４００に限られず、かかる第１の機械学習の学習結果が設定されたＡＩの出力に関するデータに基づいて作成され得る。

制御用ＡＩ １４００は、例えば、プロセッサおよびメモリに実装され得る。制御用ＡＩ １４００は、入力データを受け取り、対象１４１０の動作または状態を制御するための出力データを当該入力データに基づいて生成する。制御用ＡＩ １４００は、第１の機械学習の途上にある。なお、制御用ＡＩ １４００は、実施形態において説明される第１の人工知能に相当する。前述の制御用ＡＩ １３０２は、第１の機械学習の完了後の制御用ＡＩ １４００であってもよいし、第１の機械学習の学習結果が設定された別のＡＩであってもよい。制御用ＡＩ １４００に設定されるモデルパラメータは、第１の機械学習の進展に応じて図示されない学習装置によって更新され得る。制御用ＡＩ １４００は、例えばニューラルネットワークなどの統計モデルであり得る。

対象１４１０は、制御用ＡＩ １４００の出力データに基づいて直接的に制御される任意の装置、または当該装置の動作または状態によって影響を受けることで間接的に制御される任意の装置であり得る。ただし、対象１４１０は、前述の対象１３１０と同一である必要はなく、同種の装置、またはシミュレーションモデルであってもよい。

判定用人工知能生成装置１４２０は、第２の機械学習に用いられる学習データを作成し、第２の機械学習を行う。判定用人工知能生成装置１４２０は、取得部１４３１と、作成部１４３２と、制御部１４３３と、学習データ記憶部１４４０と、学習部１４５０と、判定用ＡＩ １４６０と、学習結果記憶部１４７０とを含む。

取得部１４３１は、例えば、入力装置、通信インタフェースまたは外部インタフェースなどであり得る。取得部１４３１は、制御用ＡＩ １４００の出力データと、当該出力データに基づいて制御される対象１４１０の動作もしくは状態の観測結果を表す観測データと、当該出力データの元となる入力データとのうち、判定用ＡＩ １４６０に要求される判定能力の仕様に基づいて制御部１４３３によって指定されたデータを、学習用の判定材料データとして取得する。取得部１４３１は、学習用の判定材料データを作成部１４３２へ送る。

作成部１４３２は、例えば、プロセッサおよびメモリであり得る。作成部１４３２は、取得部１４３１から学習用の判定材料データを受け取り、これに基づいて、判定用ＡＩ １４６０に要求される判定能力を獲得するための学習データを作成する。学習データは、学習用の入力データ（例えば、第２の機械学習が実行される判定用ＡＩ １４６０（これは、実施形態における第３の人工知能に相当する）としてのニューラルネットワークまたはその他の統計モデルの入力ノードに与えられる値）に相当する学習用の判定材料データと、当該学習用の判定材料データに基づく制御用ＡＩ １４００の出力の妥当性の判定結果の正解値を示す教師データとを含む。作成部１４３２が教師データとしていかなる値を設定するかは、制御部１４３３によって制御され得る。

制御部１４３３は、例えば、プロセッサおよびメモリであり得る。制御部１４３３は、判定用ＡＩ １４６０に要求される判定能力の仕様を示す仕様データを受け取り、当該仕様データに基づいて取得部１４３１および作成部１４３２を制御する。具体的には、制御部１４３３は、取得部１４３１がどのようなデータを学習用の判定材料データとして取得すべきか、および作成部１４３２が当該判定材料データに基づいてどのような学習データを作成すべきか、を制御する。

ここで、仕様データは、判定用人工知能生成装置１４２０のユーザまたは管理者の入力に基づいて図示されない外部装置によって生成されてもよいし、または予め設定されていてもよい。後者の例として、対象１４１０の特性などに応じて仕様データが予め設定されていてもよく、制御部１４３３は学習開始指令を受けた後にかかる仕様データを自動的に取得してもよい。

制御部１４３３は、例えば、要求される判定能力を複数のタイプに分類し、予め用意されている学習データ作成プログラム群から当該判定能力の分類されるタイプにふさわしいプログラムを選択して実行することで、取得部１４３１および作成部１４３２を制御してもよい。実施形態を含む以降の説明では、要求される判定能力を３つのタイプに分類することとするが、判定能力は２つまたは４つ以上のタイプに分類されてもよい。

３つのタイプの詳細は、実施形態において説明されるが、第１のタイプの判定能力は、対象の動作または状態が第２の機械学習によって学習される要注意動作または要注意状態に該当するか否かを判定する能力を指す。第２のタイプの判定能力は、対象ＡＩの出力データが第２の機械学習によって学習される妥当でない出力データおよび妥当である出力データのいずれかを判定する能力を指す。第３のタイプの判定能力は、対象ＡＩの出力データが第２の機械学習によって学習される当該対象ＡＩが不得意とする入力データから生成された妥当でない出力データであるか否かを判定する能力を指す。

具体的には、第１のタイプの判定能を獲得する第２の機械学習の学習結果が設定された判定用ＡＩは、例えば、観測データの表す生産装置の動作または状態が当該生産装置について安全上定められた許容範囲を逸脱しているか否かを判定することが可能となる。かかる判定能力を獲得するために、制御部１４３３は、学習用の判定材料データとしての生産装置の動作または状態を表す観測データと、当該動作または状態が許容範囲内を逸脱しているか否かに応じた教師データとを含む学習データを作成するように作成部１４３２を制御し得る。

学習データ記憶部１４４０は、例えばメモリおよび／または補助記憶装置であり得る。学習データ記憶部１４４０は、作成部１４３２によって作成された学習データを格納する。学習データは、第２の機械学習の実行時に学習部１４５０によって必要に応じて読み出される。

学習部１４５０は、例えば、プロセッサおよびメモリであり得る。学習部１４５０は、学習データ記憶部１４４０から学習データを読み出す。学習部１４５０は、学習データに含まれる学習用の判定材料データに対応する制御用ＡＩ １４００の出力が妥当であるか否かを当該判定材料データに基づいて判定用ＡＩ １４６０に判定させることを含む第２の機械学習を行う。具体的には、学習部１４５０は、判定用ＡＩ １４６０に学習データに含まれる学習用の判定材料データを与え、出力データ（判定結果）を得る。学習部１４５０は、この出力データが学習データに含まれる教師データに近づくように判定用ＡＩ １４６０に対する第２の機械学習（モデルパラメータの更新）を行う。そして、学習部１４５０は、第２の機械学習の実行後に得られた最終的なモデルパラメータを第２の機械学習の学習結果として学習結果記憶部１４７０に保存する。

判定用ＡＩ １４６０は、例えば、プロセッサおよびメモリに実装され得る。判定用ＡＩ １４６０は、学習部１４５０から学習用の判定材料データを受け取り、制御用ＡＩ １４００の出力の妥当性を当該判定材料データに基づいて判定し、判定結果を学習部１４５０に返す。判定用ＡＩ １４６０に設定されるモデルパラメータは、判定用ＡＩ １４６０によって更新され得る。判定用ＡＩ １４６０は、実施形態において説明される第３の人工知能に相当する。判定用ＡＩ １４６０は、例えばニューラルネットワークなどの統計モデルであり得る。

学習結果記憶部１４７０は、例えばメモリおよび／または補助記憶装置であり得る。学習結果記憶部１４７０は、学習部１４５０により第２の機械学習の学習結果が書き込まれる。学習結果は、図１の判定用ＡＩ １３４１または他のＡＩに第２の機械学習によって獲得された判定能力を付与するために、必要に応じて読み出される。かかる学習結果が設定された人工知能が実施形態における第４の人工知能に相当する。

以上説明したように、適用例に係る制御システムは、制御用ＡＩの出力に関するデータである判定材料データに基づいて当該制御用ＡＩの出力の妥当性を判定する。かかる判定を遂行する能力は、当該能力の仕様に基づいて定められる学習用の判定材料データと、当該判定材料データに対応する制御用ＡＩの出力の妥当性の判定結果の正解値を示す教師データとを含む学習データに基づく機械学習により獲得され、その学習結果が判定用ＡＩに設定される。故に、この制御システムによれば、制御用ＡＩの出力の妥当性を判定することができる。さらに、この制御システムは、制御用ＡＩの出力が妥当でないと判定された場合に警報を出力し、および／または制御に介入し得る。これにより、制御用ＡＩの妥当でない出力データに基づいて対象が制御されるのを予防し、またはこれによる悪影響を早期に検知して対処することが可能となる。すなわち、かかる制御システムは、制御用ＡＩを活用して対象を制御しながらも、高い安全性を確保することができる。

§２ 構成例
本実施形態の構成例は、第１の人工知能に対する第１の機械学習の学習結果が設定された第２の人工知能の出力の妥当性を判定するための第２の機械学習に用いられる学習データ（便宜的に第２の学習データと称する）を作成する第２の学習データ作成装置に関する。なお、第１の人工知能は、まったく機械学習を行っていない場合もあるし、第１の機械学習とは異なる学習を事前に行っている場合もある。第１の機械学習とは異なる学習を事前に行っている場合は、第１の機械学習は、第１の人工知能に対する、いわゆる強化学習であり得る。そして、第２の人工知能は、第１の機械学習（追加的かそうでないかは場合によって異なるが）の学習済み人工知能である。ここで、第２の人工知能は、第１の機械学習の学習結果が設定された第１の人工知能とは別の人工知能であってもよいし、第１の機械学習の完了後の第１の人工知能であってもよい。本実施形態に係る第２の学習データ作成装置は、判定能力学習データ作成装置に読み替えられてもよい。

本実施形態に係る第２の学習データ作成装置は、第２の機械学習により獲得することが要求される判定能力、すなわち、第２の人工知能の出力の妥当性を判定する能力の仕様を示す仕様データを受け取る。この第２の学習データ作成装置は、この仕様に基づいて第２の学習データを作成する。

［ハードウェア構成］
次に、図３を用いて、本実施形態に係る第２の学習データ作成装置のハードウェア構成の一例について説明する。図３は、本実施形態に係る第２の学習データ作成装置のハードウェア構成の一例を模式的に例示する。

図３に例示するように、本実施形態に係る第２の学習データ作成装置は、制御部１５０１と、記憶部１５０２と、通信インタフェース１５０３と、入力装置１５０４と、出力装置１５０５と、外部インタフェース１５０６と、ドライブ１５０７とが電気的に接続されたコンピュータであってよい。なお、図３では、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部１５０１は、ＣＰＵ（および／または他のプロセッサ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などとを含む。ＣＰＵは、記憶部１５０２に格納されたプログラムをＲＡＭに展開する。そして、ＣＰＵがこのプログラムを解釈および実行することで、制御部１５０１は、様々な情報処理、例えば、機能構成の項目において説明される構成要素の処理または制御を実行可能となる。

記憶部１５０２は、いわゆる補助記憶装置であり、例えば、内蔵または外付けの、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、もしくはフラッシュメモリなどの半導体メモリであり得る。記憶部１５０２は、制御部１５０１で実行されるプログラム（例えば、学習データ作成処理を制御部１５０１に実行させるためのプログラム）、制御部１５０１によって使用されるデータなどを記憶する。

通信インタフェース１５０３は、例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、移動通信（４Ｇなど）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）、などのための各種無線通信モジュールであって、ネットワークを介して無線通信を行うためのインタフェースであってよい。また、通信インタフェース１５０３は、無線通信モジュールに加えて、または、無線通信モジュールに代えて、有線ＬＡＮモジュールなどの有線通信モジュールをさらに備えていてもよい。

入力装置１５０４は、例えばタッチスクリーン、キーボード、マウス、マイクロホンなどのユーザ入力を受け付けるための装置を含んでもよい。また、入力装置１５０４は、所定の物理量を測定し、センシングデータを生成および入力するセンサ、撮像を行って画像データを生成するカメラなどを含んでもよい。出力装置１５０５は、例えば、ディスプレイ、スピーカなどの出力を行うための装置である。

外部インタフェース１５０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、メモリカードスロットなどであり、外部装置と接続するためのインタフェースである。

なお、通信インタフェース１５０３、入力装置１５０４、出力装置１５０５、および／またはドライブ１５０７などの一部または全部が、第２の学習データ作成装置とは別体の外部装置であってもよい。

ドライブ１５０７は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）ドライブなどである。ドライブ１５０７は、記憶媒体１５０８に記憶されたプログラムおよび／またはデータを読み込み、制御部１５０１に渡す。なお、前述の記憶部１５０２に記憶され得ると説明したプログラムおよびデータの一部または全部がドライブ１５０７によって、記憶媒体１５０８から読み込まれてもよい。

記憶媒体１５０８は、コンピュータを含む機械が読み取り可能な形式で、プログラムおよび／またはデータを、電気的、磁気的、光学的、機械的または化学的作用によって蓄積する媒体である。記憶媒体１５０８は、例えば、ＣＤ、ＤＶＤ、ＢＤなどの着脱可能なディスク媒体であるが、これに限られず、フラッシュメモリまたはその他の半導体メモリであり得る。

なお、第２の学習データ作成装置の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１５０１は、複数のプロセッサを含んでもよい。第２の学習データ作成装置は、その実行する情報処理専用に設計された情報処理装置であってもよいし、汎用の情報処理装置、例えば、スマートフォン、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣ、デスクトップＰＣなどであってもよい。また、第２の学習データ作成装置は、複数台の情報処理装置などで構成されてもよい。以降の説明において、第２の学習データ作成装置以外の種々の装置も、第２の学習データ作成装置と同一または類似のハードウェア構成を採り得る。

［機能構成］
次に、図４を用いて、本実施形態に係る第２の学習データ作成装置の機能構成の一例を説明する。図４は、第２の学習データ作成装置１００の機能構成の一例を模式的に示す。

図４に例示されるように、第２の学習データ作成装置１００は、取得部１０１と、作成部１０２と、制御部１０３とを含む。

取得部１０１は、例えば、入力装置、通信インタフェースまたは外部インタフェースなどであり得る。取得部１０１は、第１の人工知能の出力に関するデータおよび第２の人工知能の出力に関するデータの中から、要求される判定能力の仕様に基づいて制御部１０３によって指定されたデータを、学習用の判定材料データとして取得する。取得部１０１は、学習用の判定材料データを作成部１０２へ送る。

ここで、出力に関するデータは、第１の人工知能および／または第２の人工知能の出力データと、当該出力データに基づいて制御される対象の動作または状態の観測結果を表す観測データと、当該出力データの元となる入力データとを含み得る。

ここで、対象とは、直接的な制御対象に限られず、当該直接的な制御対象の動作または状態によって影響を受ける間接的な制御対象を含み得る。例えば、対象は、ピックアンドプレース装置（またはロボットハンド）と、当該ピックアンドプレース装置によってつかまれるワークとを含み得る。また、動作または状態とは、動作および状態の一方または両方を含み得る。動作および状態は、明確に区別されなくてよい。

第２の人工知能によって制御される対象は、産業用、手術用、エンターテイメント用若しくはその他のロボット、化学プラント、自動車若しくはその他の機械用のエンジン、ネブライザなどの治療器、ビルの空調システム、などの制御可能な種々の装置であり得る。また、第１の人工知能によって制御される対象は、第２の人工知能によって制御される対象と同一または同種の実機であってもよいし、当該対象のシミュレーションモデルであってもよい。

観測データは、例えば、ピックアンドプレース装置の動きの軌跡、モータの動き、燃焼若しくは他の化学反応の状態（例えば、対象またはその周囲の温度、湿度など）、消費電力などの観測に基づいて得られてよい。

対象の動作または状態の観測には、例えばイメージセンサ（カメラ）、マイクロホン、回転数センサ、加速度センサ、角速度センサ、温度センサ、湿度センサ、振動センサ、騒音センサ、動作時間センサ、消費電力センサなどの種々のセンサを用いることができる。取得部１０１は、かかるセンサなどの観測装置から直接的に観測データを学習用の判定材料データとして取得してもよいし、かかる観測装置によって図示されないストレージに格納された観測データを学習用の判定材料データとして取得してもよい。

作成部１０２は、例えば、プロセッサおよびメモリであり得る。作成部１０２は、取得部１０１から学習用の判定材料データを受け取り、これに基づいて、第２の人工知能の出力の妥当性を判定する能力を獲得するための第２の学習データを作成する。第２の学習データは、学習用の入力データ（例えば、第２の機械学習が実行される人工知能（以降、第３の人工知能と称する）としてのニューラルネットワークまたはその他の統計モデルの入力ノードに与えられる値）に相当する学習用の判定材料データと、当該学習用の判定材料データに基づく第１の人工知能および／または第２の人工知能の出力の妥当性の判定結果の正解値を示す教師データとを含む。作成部１０２が教師データとしていかなる値を設定するかは、制御部１０３によって制御され得る。

用語の整理のために、以降の説明において基本的には、「入力データ」は、第１の機械学習に関わる第１の人工知能または第２の人工知能に与えられる入力データを指すこととする。他方、第２の機械学習に関わる人工知能（第３の人工知能または後述される第４の人工知能）に与えられる入力データは、「判定材料データ」と呼ぶこととする。

制御部１０３は、例えば、プロセッサおよびメモリであり得る。制御部１０３は、第３の人工知能に要求される判定能力の仕様を示す仕様データを受け取り、当該仕様データに基づいて取得部１０１および作成部１０２を制御する。具体的には、制御部１０３は、取得部１０１がどのようなデータを学習用の判定材料データとして取得すべきか、ならびに、作成部１０２が当該判定材料データに基づいてどのような第２の学習データを作成すべきか、を制御する。

ここで、仕様データは、第２の学習データ作成装置１００のユーザまたは管理者の入力に基づいて図示されない外部装置によって生成されてもよいし、または予め設定されていてもよい。後者の例として、第１の人工知能および／または第２の人工知能の出力データに基づいて制御される対象の特性などに応じて仕様データが予め設定されていてもよく、制御部１０３は学習開始指令を受けた後にかかる仕様データを自動的に取得してもよい。

制御部１０３は、例えば、要求される判定能力を複数のタイプに分類し、予め用意されている学習データ作成プログラム群から当該判定能力の分類されるタイプにふさわしいプログラムを選択して実行することで、取得部１０１および作成部１０２を制御してもよい。

第１のタイプの判定能力は、出力の妥当性が判定される対象人工知能（これは、第１の機械学習を完了済みであるから、第２の人工知能に相当する）によって制御される対象の動作または状態から当該第２の人工知能の出力の妥当性を判定する能力、より具体的には、対象人工知能によって制御される対象の動作または状態が第２の機械学習によって学習される要注意動作または要注意状態に該当するか否かを判定する能力を指す。

対象の動作または制御する能力を獲得するための第１の機械学習は、例えば強化学習であり得る。学習の実行中（特に初期段階）に、対象は、でたらめに決定された制御値を与えられ、危険な動作（例えば、ピックアンドプレース装置が可動範囲ぎりぎりまで動く）を含めて様々な動作を行ったり、危険な状態を含めて様々な状態に陥ったりする。

第１の人工知能は、次第に、望ましくない結果（低報酬）をもたらすような動作または状態を避け、望ましい結果（高報酬）をもたらすような動作または状態を指向するように学習していく。例えば、ピックアンドプレース装置が対象である場合には、この対象に、ワークを把持し、ワークを持ち上げ、ワークを所定位置まで移動し、ワークを設置する、という一連の動作を行わせるために、どのように対象を制御すればよいのかを第１の人工知能は試行錯誤しながら学習する。

故に、第１の機械学習が実行される期間（特に初期段階）における学習用の対象の動作または状態を観測すれば、望ましくない結果をもたらすような対象の要注意動作または要注意状態を把握することができる。

観測対象となる動作または状態は、望ましくない結果をもたらすおそれがあるか否かの判定に用いることができるか否かによって定められてよい。例えば、予め定められた耐用温度、耐用電流若しくは耐用電圧を超えた範囲で対象が稼働することになるおそれがあるか否かを判定する場合には、対象またはその周囲の温度、対象に印加される電流若しくは電圧などを観測すればよい。

なお、観測対象となる動作または状態は、人間（第２の機械学習の学習結果を利用する判定装置の設計者または運用者）が学習依頼を通じて予め指定しておいてもよいし、仕様データの一部として予め定められていてもよい。これらの場合には、不必要なデータを観測する手間を省くことができる。或いは、第１の機械学習が実行される期間には可能な限り多種多様な動作または状態を観測し、事後的に人間またはソフトウェア（人工知能を含む）が要注意動作および要注意状態を定めるために用いる動作または状態を指定してもよい。この場合には、要注意動作および要注意状態の取りこぼしを減らすことができる。

第２のタイプの判定能力は、対象の動作または状態を制御する対象人工知能の出力データそのものから当該第２の人工知能の出力の妥当性を判定する能力、より具体的には、この出力データが第２の機械学習によって学習される妥当でない出力データおよび妥当である出力データのいずれかを判定する能力を指す。前述のように、かかる対象の動作または状態を制御する能力（制御能力）を獲得するための第１の機械学習は、例えば強化学習であり得る。そして、第１の機械学習の実行中（特に初期段階）における第１の人工知能の出力データは、でたらめに決定されるので、妥当でない可能性が高い。

従って、妥当でない出力データは、例えば、第１の機械学習の途上に見られた出力データ（学習途上において得られた出力データ）を用いて学習することができる。また、妥当である出力データは、第１の機械学習の完了後に見られた出力データ（学習完了後に得られた出力データ）を用いて学習することができる。さらに、対象人工知能の出力データは、学習途上において得られた出力データおよび学習完了後に得られた出力データのどちらとも異なる、未知の出力データであるかもしれない。このような場合には、対象人工知能の出力データは、学習途上において得られた出力データおよび学習完了後に得られた出力データのいずれの分類にも適さないかもしれない。かかる出力データの扱いは任意であり、例えば、妥当性不明と判定されてもよいし、妥当であることが保証できないことから妥当でないと判定されてもよい。

第３のタイプの判定能力は、対象人工知能の出力データの元となる入力データから当該対象人工知能の出力の妥当性を判定する能力、より具体的には、この出力データが第２の機械学習によって学習される対象人工知能が不得意とする入力データから生成された妥当でない出力データであるか否かを判定する能力を指す。対象人工知能が不得意とする入力データは、対象人工知能が誤った出力データを生成する可能性の高い入力データを指す。すなわち、かかる入力データに対して対象人工知能が生成する出力データは妥当でない可能性が高い。

対象人工知能が不得意な入力データ（すなわち、第２の機械学習における学習用の判定材料データ）は、例えば、第２の人工知能に正解ラベルが既知である入力データを与えて出力データを生成させ、正解ラベルに一致しない出力データの元となった入力データを抽出することで収集可能である。

なお、第１の機械学習において用いられた入力データに対して、対象人工知能は正しい出力データを生成するであろう。故に、かかる入力データは、対象人工知能が不得意な入力データを収集するために第２の人工知能に与えられる入力データから除外されてよい。

＜その他＞
第２の学習データ作成装置１００の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、第２の学習データ作成装置１００の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１または複数の専用のプロセッサにより実現されてもよい。また、第２の学習データ作成装置１００の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

§３ 動作例
次に、図５乃至図１２、図１４および図１５を用いて、第２の学習データ作成装置１００の動作例と、当該第２の学習データ作成装置１００による第２の学習データの作成時に動作する周辺装置とを説明する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

図５は、第２の学習データ作成装置１００の動作の一例を示すフローチャートである。制御部１０３は、仕様データを受け付け（ステップＳ２０１）て、当該仕様データによって要求される判定能力が第１のタイプであるか、第２のタイプであるか、第３のタイプであるかを判定する（ステップＳ２０２）。

要求される判定能力が第１のタイプである場合には、制御部１０３は取得部１０１および作成部１０２に第１の作成処理を実行させる（ステップＳ２０３）。要求される判定能力が第２のタイプである場合には、制御部１０３は取得部１０１および作成部１０２に第２の作成処理を実行させる（ステップＳ２０４）。要求される判定能力が第３のタイプである場合には、制御部１０３は取得部１０１および作成部１０２に第３の作成処理を実行させる。

第１の作成処理は、図６に例示される機械学習システムに適用可能である。図６の機械学習システムは、第２の学習データ作成装置１００と、第１の学習データ作成装置２００と、第１の学習データ記憶装置２１０と、第１の学習装置２２０と、対象２３０と、観測装置２４０と、観測データ記憶装置２５０と、第２の学習データ記憶装置２６０と、第２の学習装置２７０と、学習依頼装置２８０とを含む。

第１の学習データ作成装置２００は、第１の人工知能に与えられる入力データに相当する第１の学習データを作成し、第１の学習データ記憶装置２１０に格納する。入力データは、例えば、画像、温度などの対象２３０の動作または状態を制御するために参照され得る情報を表す。

第１の学習データ記憶装置２１０は、第１の学習データを格納する。第１の学習データは、第１の学習データ作成装置２００によって作成され、第１の学習装置２２０によって必要に応じて読み出される。なお、第１の学習データ記憶装置２１０は、第１の学習到達度を評価するためのテストデータをさらに格納してもよい。

第１の学習装置２２０は、第１の人工知能に（学習用の）対象２３０の動作または状態を制御させることを含む第１の機械学習を行う。具体的には、第１の学習装置２２０は、第１の学習データ記憶装置２１０から第１の学習データを読み出し、これを入力データとして第１の人工知能に与え、出力データ（対象２３０に与えられる制御値）を得る。出力データは、例えば、油圧シリンダ、モータ、ソノレイドなどのアクチュエータに与えられる制御値であってもよいし、対象２３０としてのエンジンへの燃料噴射コマンド、クランク軸の回転数を上げる若しくは下げるコマンドなどであってもよい。第１の人工知能は、この出力データによって制御された対象２３０が望ましい結果をもたらせば高い報酬を獲得し、望ましくない結果をもたらせば低い報酬を獲得する。対象２３０がもたらす結果は、例えば観測装置２４０による観測に基づいて評価することができる。望ましい結果は、第１の機械学習によって獲得することが望まれる能力などに基づいて定められ、例えば、燃費の向上、環境負荷の低減、消費電力の削減などであり得る。かかる情報は、例えば、仕様データに基づいて決定され得る。第１の学習装置２２０は、この報酬を最大化するように第１の人工知能の機械学習（モデルパラメータの更新）を行う。

第１の学習装置２２０は、第１の人工知能の学習到達度をテストデータを用いて評価し、学習目標に到達したならば、学習結果（モデルパラメータ）を第２の人工知能に設定する。ここで、第１の人工知能および第２の人工知能、ならびに後述される第３の人工知能および第４の人工知能は、例えば（深層）ニューラルネットワークまたはその他の統計モデルであってよい。第２の人工知能は、第１の機械学習（例えばディープラーニング）を通じて得られたモデルパラメータを設定される。

なお、第１の学習装置２２０および第２の人工知能は、同一の装置（例えば、対象としてのエンジンの動作または状態を制御するＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）などの制御装置）に組み込まれていてもよい。

対象２３０は、第１の人工知能から制御値を受け取り、これに応答する。例えば、対象２３０は、燃料を噴射したり、クランク軸の回転数を変更したり、空調の設定温度を変更したりする。対象２３０の動作または状態は、観測装置２４０によって観測される。

観測装置２４０は、例えば、イメージセンサ（カメラ）、マイクロホン、回転数センサ、加速度センサ、角速度センサ、温度センサ、湿度センサ、振動センサ、騒音センサ、動作時間センサ、消費電力センサなどの種々のセンサを含むことができる。観測装置２４０は、対象２３０の動作または状態を観測し、観測データを生成する。観測装置２４０は、観測データを観測データ記憶装置２５０に格納する。

具体的には、観測装置２４０は、第１の学習装置２２０によって機械学習が実行される期間における対象２３０の動作または状態を観測し、第１の観測データを生成する。観測装置２４０は、第１の観測データを観測データ記憶装置２５０に格納する。第１の観測データは、第１の学習装置２２０によって機械学習が実行される期間のうち第１の人工知能の学習到達度が閾値以下である期間における対象２３０の動作または状態の観測結果を表すものであってもよい。一般に、人工知能の学習到達度が高くなるほど（機械学習の完了が近づくほど）、望ましくない結果が生じる可能性は低下する。故に、機械学習の初期段階に限って第１の観測データを収集したとしても要注意動作および要注意状態を正確に学習できるかもしれない。

また、初期段階のうち学習到達度が極めて低い最初期段階では、対象２３０はその運用時にはあり得ないような動作を行ったり状態に陥ったりするおそれがあり、かかる動作または状態を無視したとしても要注意動作および要注意状態を正確に学習できるかもしれない。すなわち、第１の観測データは、第１の学習装置２２０によって機械学習が実行される期間のうち第１の人工知能の学習到達度が第１の閾値以上であって第２の閾値以下である期間における対象２３０の動作または状態の観測結果を表すものであってもよい。

観測データ記憶装置２５０は、第１の観測データを格納する。第１の観測データは、観測装置２４０によって生成され、第２の学習データ作成装置１００によって必要に応じて読み出される。

第２の学習データ作成装置１００は、例えば学習依頼装置２８０から仕様データを含む学習依頼を受け取り、当該学習依頼に基づいて必要なデータを取得し、第２の学習データを作成する。そして、第２の学習データ作成装置１００は、第２の学習データを第２の学習データ記憶装置２６０に格納する。

図６の例では、第２の学習データ作成装置１００は、観測データ記憶装置２５０から第１の観測データを読み出し、これに基づいて第２の学習データを作成する（第１の作成処理）。

第２の学習データは、例えば、第１の観測データ（学習用の判定材料データ）と、当該判定材料データの表す動作または状態が要注意動作または要注意状態に該当する（すなわち、人工知能の出力が妥当でない）ことを示す値（教師データ）との組であってもよい。

或いは、第２の学習データ作成装置１００は、第２の人工知能に何らかの入力データを与えて出力データを生成させてもよい。そして、第２の学習データ作成装置１００は、かかる出力データによって制御されている対象（対象２３０またはこれと同種の実機若しくはシミュレーションモデル）の動作または状態の観測結果を表す第２の観測データに基づいて、より洗練された第２の学習データを作成してもよい。

具体的には、第２の学習データは、第１の観測データの一部または全部である第３の観測データ（学習用の判定材料データ）と、当該第３の観測データの表す動作または状態が要注意動作または要注意状態に該当することを示す値（教師データ）との組であってもよい。ここで、第３の観測データとは、第１の観測データのうち第２の観測データに一致しないものを指す。一般に、第２の観測データの表す動作または状態は、第２の人工知能の出力データに基づいて制御される対象の動作または状態であるから、高い確率で適切であると推測できるので、学習用の判定材料データから除外されてよい。

さらに、第２の観測データに基づいて以下のような第２の学習データが作成されてもよい。かかる第２の学習データは、例えば、第２の観測データ（学習用の判定材料データ）と、当該第２の観測データの表す動作または状態が要注意動作または要注意状態に該当しない（すなわち、人工知能の出力が妥当である）ことを示す値（教師データ）との組である。

第２の学習データ記憶装置２６０は、第２の学習データを格納する。第２の学習データは、第２の学習データ作成装置１００によって作成され、第２の学習装置２７０によって必要に応じて読み出される。なお、第２の学習データ記憶装置２６０は、第２の学習到達度を評価するためのテストデータをさらに格納してもよい。

第２の学習装置２７０は、第２の学習データを用いて、学習用の判定材料データに基づいて当該判定材料データをもたらした人工知能の出力が妥当であるか否かを第３の人工知能に判定させることを含む第２の機械学習を行う。具体的には、第２の学習装置２７０は、第３の人工知能に学習データに含まれる学習用の判定材料データを与え、出力データ（判定結果）を得る。第２の学習装置２７０は、この出力データが学習データに含まれる教師データに近づくようにこの第３の人工知能に対する第２の機械学習（モデルパラメータの更新）を行う。

第２の学習装置２７０は、学習用の第３の人工知能の学習到達度をテストデータを用いて評価し、学習目標に到達したならば、学習結果（モデルパラメータ）を第４の人工知能に設定する。すなわち、第４の人工知能は、第２の機械学習の学習済み人工知能であって、第２の機械学習の学習結果が設定された第３の人工知能とは別の人工知能であってもよいし、第２の機械学習の完了後の第３の人工知能であってもよい。第４の人工知能は、第２の人工知能の出力が妥当であるか否かを判定する判定装置によって利用される。なお、第２の学習装置２７０は、判定装置に組み込まれていてもよい。

第２の学習装置２７０は、図１４に例示されるように、取得部２７１と、学習部２７２とを含み得る。第２の学習装置２７０のハードウェア構成は、図３を用いて説明した第２の学習データ作成装置のハードウェア構成と同一または類似であり得る。

取得部２７１は、例えば、入力装置、通信インタフェースまたは外部インタフェースであり得る。取得部２７１は、第２の学習データ記憶装置２６０に格納されている第２の学習データを読み出す。取得部２７１は、第２の学習データを学習部２７２へと送る。

学習部２７２は、例えば、プロセッサおよびメモリであり得る。学習部２７２は、取得部２７１から第２の学習データを受け取り、これを用いて第３の人工知能に対する第２の機械学習を行う。

第２の人工知能の出力が妥当であるか否かを判定する判定装置は、図１５に例示される判定装置１２００であり得る。この判定装置１２００は、取得部１２０１と、判定部１２０２とを含む。判定装置１２００のハードウェア構成は、図３を用いて説明した第２の学習データ作成装置のハードウェア構成と同一または類似であり得る。

取得部１２０１は、例えば、入力装置、通信インタフェースまたは外部インタフェースであり得る。取得部１２０１は、第２の機械学習の完了後、すなわち要求される判定能力が第４の人工知能に付与された後に、対象人工知能の出力に関するデータを判定材料データとして取得する。取得部１２０１は、判定材料データを判定部１２０２へと送る。

判定部１２０２は、例えば、プロセッサおよびメモリであり得る。判定部１２０２は、第４の人工知能を含む。判定部１２０２は、取得部１２０１から判定材料データを受け取り、そのまま、または変換などの加工を行ってから、第４の人工知能に与える。そして、判定部１２０２は、入力データ（判定材料データ）に対応する出力データを第４の人工知能から受け取る。判定部１２０２は、第４の人工知能の出力データをそのまま、またはこれに変換などの加工を施したデータを、対象人工知能の出力の妥当性の判定結果として得る。

判定装置１２００は、対象人工知能の出力に関するデータが妥当でない場合に、警報を発したり、対象２３０の動作または状態への制御に介入したりしてもよい。具体的には、判定装置１２００は、取得部１２０１および判定部１２０２の他に、図１を用いて説明した警報部１３５０および／または介入部１３６０を含んでもよい。

学習依頼装置２８０は、例えば図６に示されていない利用者端末から学習依頼を受け付けて第２の学習データ作成装置１００および第２の学習装置２７０に送る。学習依頼は、例えば、第２の機械学習の学習開始指令および第２の機械学習によって獲得することが望まれる判定能力を定める仕様データを含む。学習依頼は、さらに、第１の機械学習の学習開始指令および第１の機械学習によって獲得することが望まれる能力を定める仕様データを含んでいてもよい。

図６の機械学習システムは、図７に例示されるように動作する。
第１の学習データ作成装置２００は、第１の人工知能に与えられる入力データに相当する第１の学習データを作成する（ステップＳ４０１）。第１の学習装置２２０は、ステップＳ４０１において作成された第１の学習データを用いて、第１の人工知能に対象２３０の動作または状態を制御させることを含む第１の機械学習を行う（ステップＳ４０２）。

第２の学習データ作成装置１００は、ステップＳ４０２の実行中に得られた第１の観測データを取得し、これに基づいて第２の学習データを作成する（ステップＳ４０３）。なお、第２の学習データ作成装置１００は、ステップＳ４０２の後にその学習結果が設定された第２の人工知能に何らかの入力データを与えて出力データを生成させてもよい。そして、第２の学習データ作成装置１００は、かかる出力データによって制御される対象の動作または状態の観測結果を表す第２の観測データを取得し、これに基づいて第２の学習データを作成してもよい。

第２の学習装置２７０は、ステップＳ４０３において作成された第２の学習データを用いて、学習用の判定材料データが要注意動作または要注意状態を表すか否かを第３の人工知能に判定させることを含む第２の機械学習を行う（ステップＳ４０４）。

第２の作成処理は、図８に例示される機械学習システムに適用可能である。図８の機械学習システムは、第２の学習データ作成装置１００と、第１の学習データ作成装置５００と、第１の学習データ記憶装置５１０と、第１の学習装置５２０と、対象５３０と、観測装置５４０と、出力データ記憶装置５５０と、第２の学習データ記憶装置２６０と、第２の学習装置２７０と、学習依頼装置２８０とを含む。

なお、第１の学習データ作成装置５００、第１の学習データ記憶装置５１０、第１の学習装置５２０、対象５３０および観測装置５４０は、図６の第１の学習データ作成装置２００、第１の学習データ記憶装置２１０、第１の学習装置２２０、対象２３０および観測装置２４０と同一または類似であり得る。

出力データ記憶装置５５０は、第１の機械学習が実行される期間における第１の人工知能の出力データを格納する。第１の人工知能の出力データは、第２の学習データ作成装置１００によって必要に応じて読み出される。

第２の学習データ作成装置１００は、例えば学習依頼装置２８０から仕様データを含む学習依頼を受け取り、当該学習依頼に基づいて必要なデータを取得し、第２の学習データを作成する。そして、第２の学習データ作成装置１００は、第２の学習データを第２の学習データ記憶装置２６０に格納する。

図８の例では、第２の学習データ作成装置１００は、出力データ記憶装置５５０から第１の機械学習が実行される期間における第１の人工知能の出力データを読み出し、これに基づいて第２の学習データを作成する（第２の作成処理）。

第２の学習データは、例えば、第１の機械学習が実行される期間における第１の人工知能の出力データ（学習用の判定材料データ）と、当該出力データが学習途上において得られた出力データであること（すなわち、人工知能の出力が妥当でない）ことを示す値（教師データ）との組であってもよい。

また、第２の学習データ作成装置１００は、第２の人工知能に何らかの入力データを与えて出力データを生成させてもよい。そして、第２の学習データ作成装置１００は、第２の人工知能の出力データを取得し、これに基づいて第２の学習データを作成してもよい。

具体的には、第２の学習データは、第２の人工知能の出力データ（学習用の判定材料データ）と、当該出力データが学習完了後に得られた出力データに該当すること（すなわち、人工知能の出力が妥当である）ことを示す値（教師データ）との組であってもよい。

図８の機械学習システムは、図９に例示されるように動作する。
第１の学習データ作成装置５００は、第１の人工知能に与えられる入力データに相当する第１の学習データを作成する（ステップＳ６０１）。第１の学習装置５２０は、ステップＳ６０１において作成された第１の学習データを用いて、第１の人工知能に対象５３０の動作または状態を制御させることを含む第１の機械学習を行う（ステップＳ６０２）。

第２の学習データ作成装置１００は、ステップＳ６０２の実行中に得られた第１の人工知能の出力データを取得し、これに基づいて第２の学習データを作成する（ステップＳ６０３）。なお、第２の学習データ作成装置１００は、ステップＳ６０２の完了後にその学習結果が設定された第２の人工知能に何らかの入力データを与えて出力データを生成させてもよい。そして、第２の学習データ作成装置１００は、かかる出力データを学習用の判定材料データとして取得し、これに基づいて第２の学習データを作成してもよい。

第２の学習装置２７０は、ステップＳ６０３において作成された第２の学習データを用いて、学習用の判定材料データが学習途上において得られた出力データまたは学習完了後に得られた出力データを表すか否かを第３の人工知能に判定させることを含む第２の機械学習を行う（ステップＳ６０４）。

第３の作成処理は、図１０に例示される機械学習システムに適用可能である。図１０の機械学習システムは、第２の学習データ作成装置１００と、第１の学習データ作成装置７００と、第１の学習データ記憶装置７１０と、第１の学習装置７２０と、出力データ記憶装置７５０と、第２の学習データ記憶装置２６０と、第２の学習装置２７０と、学習依頼装置２８０とを含む。

第１の学習データ作成装置７００は、第１の人工知能に与えられる入力データとその教師データとに相当する第１の学習データを作成し、第１の学習データ記憶装置７１０に格納する。入力データは、例えば、画像、音声、テキスト、動画像、センサによって測定される物理量などを表す。教師データは、入力データに対して第１の人工知能が生成すべき正しい出力データを示す。具体的には、第１の機械学習が手書き文字を認識する能力の獲得を目的としているならば、第１の学習データ作成装置７００は、入力データとしての手書き文字を表す画像データと、当該画像データに対応する文字を示す教師データとを含む学習データを作成する。

第１の学習データ記憶装置７１０は、第１の学習データを格納する。第１の学習データは、第１の学習データ作成装置７００によって作成され、第１の学習装置７２０によって必要に応じて読み出される。なお、第１の学習データ記憶装置７１０は、第１の学習到達度を評価するためのテストデータをさらに格納してもよい。

第１の学習装置７２０は、第１の学習データ記憶装置７１０から第１の学習データを読み出し、これに含まれる入力データを第１の人工知能に与え、出力データを得る。出力データは、第１の機械学習の目的に依存して異なるが、例えば、入力データに対する認識結果（例えば、文字認識、音声認識、画像認識、動画像認識などの結果）を表し得る。第１の学習装置７２０は、この出力データが教師データに近づくように第１の人工知能の機械学習（モデルパラメータの更新）を行う。

第１の学習装置７２０は、第１の人工知能の学習到達度をテストデータを用いて評価し、学習目標に到達したならば、学習結果（モデルパラメータ）を第２の人工知能に設定する。なお、第１の学習装置７２０および第２の人工知能は、同一の装置（例えばサーバ）に組み込まれていてもよい。

出力データ記憶装置７５０は、第２の人工知能の出力データを格納してもよい。第２の人工知能の出力データは、第２の学習データ作成装置１００によって必要に応じて読み出される。

第２の学習データ作成装置１００は、学習依頼装置２８０から仕様データを含む学習依頼を受け取り、当該学習依頼に基づいて必要なデータを取得し、第２の学習データを作成する。そして、第２の学習データ作成装置１００は、第２の学習データを第２の学習データ記憶装置２６０に格納する。

図１０の例では、第２の学習データ作成装置１００は、出力データ記憶装置７５０から第２の人工知能の出力データを読み出し、これに基づいて第２の学習データを作成する（第３の作成処理）。

具体的には、第２の学習データ作成装置１００は、第２の人工知能に何らかの入力データ（その教師データは既知である）を与えて出力データを生成させてもよい。そして、第２の学習データ作成装置１００は、第２の人工知能の出力データを出力データ記憶装置７５０経由で取得し、これに基づいて第２の学習データを作成してもよい。

そして、第２の学習データ作成装置１００は、例えば、第２の人工知能に誤った出力データを生成させた入力データに基づいて第２の学習データに含まれる学習用の判定材料データを作成する。この場合には、第２の学習データ作成装置１００は、かかる学習用の判定材料データが第２の人工知能が不得意とする入力データに該当する（すなわち、かかる入力データに対して第２の人工知能が生成する出力データは妥当でない）ことを示す教師データを作成する。

また、第２の学習データ作成装置１００は、第２の人工知能に正しい出力データを生成させた入力データに基づいて第２の学習データに含まれる学習用の判定材料データを作成してもよい。この場合には、第２の学習データ作成装置１００は、かかる学習用の判定材料データが第２の人工知能が不得意とする入力データに該当しない（すなわち、かかる入力データに対して第２の人工知能が生成する出力データは妥当である）ことを示す教師データを作成する。

図１０の機械学習システムは、図１１に例示されるように動作する。
第１の学習データ作成装置７００は、第１の人工知能に与えられる入力データに相当する第１の学習データを作成する（ステップＳ８０１）。第１の学習装置７２０は、ステップＳ８０１において作成された第１の学習データを用いて、第１の人工知能に対する第１の機械学習を行う（ステップＳ８０２）。

第２の学習データ作成装置１００は、ステップＳ８０２の完了後にその学習結果が設定された第２の人工知能に何らかの入力データ（その教師データは既知である）を与えて出力データを生成させる。第２の学習データ作成装置１００は、かかる出力データの元となる入力データを学習用の判定材料データとして取得し、これに基づいて第２の学習データを作成する。具体的には、第２の学習データ作成装置１００は、誤った出力データに対応する入力データ（学習用の判定材料データ）に基づいて第２の学習データを作成する。また、第２の学習データ作成装置１００は、正しい出力データに対応する入力データ（学習用の判定材料データ）に基づいて第２の学習データを作成してもよい。

第２の学習装置２７０は、ステップＳ８０３において作成された第２の学習データを用いて、学習用の判定材料データが第２の人工知能の不得意または得意とするデータを表すか否かを第３の人工知能に判定させることを含む第２の機械学習を行う（ステップＳ８０４）。

利用者からの要求に応じて人工知能の出力の妥当性を判定する能力を獲得するための機械学習サービスを提供するサービス提供システムが図１２に例示される。

図１２のサービス提供システムは、第２の学習データ作成装置１００と、第１の学習データ作成装置９００と、第１の学習データ記憶装置９１０と、第１の学習装置９２０と、対象シミュレータ９３０と、観測データ記憶装置２５０と、出力データ記憶装置９５０と、第２の学習データ記憶装置２６０と、第２の学習装置２７０と、学習依頼装置２８０と、利用者端末９９０とを含む。各装置は、ネットワークＮＷ経由で互いに接続されている。

なお、図１２のサービス提供システムの装置構成は例示に過ぎない。すなわち、図１２に示される装置の一部または全部が１つの装置に統合されてもよいし、図１２に示される装置の機能が複数の装置に分散されてもよい。また、図１２のサービス提供システムの一部の装置が削除または変更され得るし、図１２に示されていない装置が追加され得る。

第１の学習データ作成装置９００は、前述の第１の学習データ作成装置２００、第１の学習データ作成装置５００または第１の学習データ作成装置７００と同一または類似であってよい。なお、第１の学習データを作成するためのベースとなるデータが学習依頼装置２８０からの入力データに含まれていてもよい。

第１の学習データ記憶装置９１０は、前述の第１の学習データ記憶装置２１０、第１の学習データ記憶装置５１０または第１の学習データ記憶装置７１０と同一または類似であってよい。

第１の学習装置９２０は、前述の第１の学習装置２２０、第１の学習装置５２０または第１の学習装置７２０と同一または類似であってよい。なお、第１の学習装置９２０は、学習依頼装置２８０から学習開始指令を受け取り、これに従って第１の機械学習を行ってもよいし、異なるイベントをトリガとして第１の機械学習を行ってもよい。さらに、第１の学習装置９２０は、例えば、第１の機械学習によって獲得することが望まれる能力を定める仕様データを受け取るかもしれない。第１の学習装置９２０は、仕様データに基づいて、第１の人工知能の学習目標を設定したり、強化学習における報酬を設定したりしてよい。

対象シミュレータ９３０は、第１の学習装置９２０によって行われる第１の機械学習が対象の動作または状態を制御する能力の獲得を目的とする場合（前述の第１の作成処理または第２の作成処理が行われる場合）に使用され得る。対象シミュレータ９３０は、前述の対象２３０または対象５３０のシミュレーションモデルを保持し、当該シミュレーションモデルに第１の人工知能によって生成された出力データを与え、その動作または状態の観測結果を生成する。すなわち、対象シミュレータ９３０は、前述の対象２３０および観測装置２４０の組み合わせ、または、対象５３０および観測装置５４０の組み合わせを、シミュレーション上で実現する。但し、対象２３０または対象５３０として実機を用いる場合には、対象シミュレータ９３０は削除可能である。

出力データ記憶装置９５０は、前述の出力データ記憶装置５５０または出力データ記憶装置７５０と同一または類似であってよい。

学習依頼装置２８０は、利用者端末９９０から第２の機械学習に関する仕様データおよび学習開始指令を学習依頼として受け付ける。学習依頼装置２８０は、仕様データおよび学習開始指令を第２の学習装置２７０へと送る。また、学習依頼装置２８０は、利用者端末９９０から第１の機械学習に関する仕様データおよび学習開始指令を学習依頼として受け付けてもよい。この場合には、学習依頼装置２８０は、仕様データおよび学習開始指令を第１の学習装置９２０へと送る。

利用者端末９９０は、利用者の目的にふさわしい機械学習の提供をサービス提供システムに依頼する。利用者端末９９０は、例えば、利用者の入力に基づいて第２の機械学習に関する仕様データおよび学習開始指令を発行し、これらを学習依頼装置２８０に送る。仕様データは、対象の構造、用途、目的または耐負荷性能などを示す値を含み得る。

以上説明したように、本実施形態に係る（第２の）学習データ作成装置は、第１の人工知能に対して実行された第１の機械学習の学習結果が設定された第２の人工知能（対象人工知能）の出力の妥当性を判定する能力を獲得するための第２の機械学習に使用される（第２の）学習データを作成する。具体的には、この学習データ作成装置は、第１の人工知能および／または第２の人工知能に関するデータの中から、要求される判定能力の仕様に基づいて定められる（学習用の）判定材料データを取得し、これを第２の機械学習が実行される第３の人工知能の入力データとする。そして、この学習データ作成装置は、この判定材料データと、当該判定材料データに基づく第２の人工知能の出力の妥当性の判定結果の正解値を示す教師データとを含む学習データを作成する。故に、この学習データ作成装置によれば、仕様に合致した判定能力を獲得するための第２の機械学習に用いられる学習データを作成することができる。

また、この学習データ作成装置は、どのようなデータを（学習用の）判定材料データとして取得すべきか、および当該判定材料データに基づいてどのような（第２の）学習データを作成すべきか、を要求される判定能力の仕様に基づいて制御する。故に、この学習データ作成装置によれば、特定の判定能力に制約されない広範な判定能力を獲得するため学習データを作成することができる。

§４ 変形例
以上、本開示の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。

＜４．１＞
本実施形態に係る（第２の）学習データ作成装置は、どのようなデータを（学習用の）判定材料データとして取得すべきか、および当該判定材料データに基づいてどのような（第２の）学習データを作成すべきか、を要求される判定能力の仕様に基づいて制御する。しかしながら、かかる制御は、学習データ作成装置の外側で行われてもよい。すなわち、互いに異なる作成処理を実行する複数の学習データ作成装置が用意されてもよい。或いは、かかる制御を前提としなくても、かかる学習データ作成装置は、特定の判定能力を獲得するための第２の機械学習に用いられる学習データを作成できる点で有用である。そこで、この変形例（以降、本変形例とも称する）に係る（第２の）第２の学習データ作成装置は、予め定められた（学習用の）判定材料データを取得し、予め定められたアルゴリズムに従って当該判定材料データに基づいて第２の学習データを作成する。

図１３に例示されるように、本変形例に係る第２の学習データ作成装置１０００は、取得部１００１と、作成部１００２とを含む。第２の学習データ作成装置１０００のハードウェア構成は、図３を用いて説明した第２の学習データ作成装置のハードウェア構成と同一または類似であり得る。

取得部１００１は、例えば、入力装置、通信インタフェースまたは外部インタフェースなどであり得る。取得部１００１は、第１の人工知能の出力に関するデータおよび第２の人工知能の出力に関するデータのうち、予め定められたデータを、学習用の判定材料データとして取得する。取得部１００１は、学習用の判定材料データを作成部１０２へ送る。

作成部１００２は、例えば、プロセッサおよびメモリであり得る。作成部１００２は、取得部１０１から学習用の判定材料データを受け取り、これに基づいて、第２の学習データを作成する。第２の学習データは、実施形態と同様に、学習用の判定材料データと、当該学習用の判定材料データに基づく第１の人工知能および／または第２の人工知能の出力の妥当性の判定結果の正解値を示す教師データとを含む。作成部１００２は、学習データをどのようにして作成するかを予め定められている。

以上説明したように、本変形例に係る（第２の）学習データ作成装置は、第１の人工知能に対して実行された第１の機械学習の学習結果が設定された第２の人工知能の出力の妥当性を判定する能力を獲得するための第２の機械学習に使用される（第２の）学習データを作成する。具体的には、この学習データ作成装置は、第１の人工知能および／または第２の人工知能の出力に関するデータのうち、予め定められた（学習用の）判定材料データを取得し、これを第２の機械学習が実行される第３の人工知能の入力データとする。そして、この学習データ作成装置は、この判定材料データと、当該判定材料データに基づく第２の人工知能の出力の妥当性の判定結果の正解値を示す教師データとを含む学習データを作成する。故に、この学習データ作成装置によれば、特定の判定能力を獲得するための第２の機械学習に用いられる学習データを作成することができる。

また、この学習データ作成装置は、どのようなデータを（学習用の）判定材料データとして取得すべきか、および当該判定材料データに基づいてどのような（第２の）学習データを作成すべきか、を予め定められている。故に、この学習データ作成装置によれば、例えば、実施形態において説明された第１の作成処理乃至第３の作成処理のいずれかを実行して、特定の判定能力を獲得するため学習データを作成することができる。

ただし、ここまで説明した実施形態は全て、あらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本開示の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、各実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

上記各実施形態の一部または全部は、特許請求の範囲のほか以下に示すように記載することも可能であるが、これに限られない。

（付記１）
制御装置と判定装置とを具備し、
前記制御装置は、第１のメモリと、前記第１のメモリに接続された第１のプロセッサとを具備し、
前記第１のプロセッサは、対象を制御するための出力データを入力データに基づいて生成する制御用人工知能を実装するように構成され、
前記判定装置は、第２のメモリと、前記第２のメモリに接続された第２のプロセッサとを具備し、
前記第２のプロセッサは、
（ａ）前記制御用人工知能の出力の妥当性の判定に用いられる判定材料データを取得し、
（ｂ）前記妥当性を前記判定材料データに基づいて判定する判定用人工知能を実装する、
ように構成され、
前記制御用人工知能は、前記対象を制御する制御能力を獲得する第１の機械学習の学習結果が設定されていて、
前記判定用人工知能は、前記妥当性を判定する判定能力を獲得する第２の機械学習の学習結果が設定されていて、
前記第２の機械学習は、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータに基づいて作成された学習用の判定材料データと、当該学習用の判定材料データに基づく前記妥当性の判定結果の正解値を示す教師データとの組み合わせを含む学習データを使用して行われ、
前記学習用の判定材料データは、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータの中から前記判定能力の仕様に基づいて定められる、
制御システム。

（付記２）
第１の機械学習の学習結果が設定された対象人工知能の出力の妥当性を判定する判定能力を獲得する第２の機械学習に使用される学習データを作成する学習データ作成装置であって、
メモリと、
前記メモリに接続されたプロセッサと
を具備し、
前記プロセッサは、
（ａ）前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータを取得し、
（ｂ）前記第２の機械学習の対象となる判定用人工知能への入力データとなる学習用の判定材料データと、前記入力データに対応する当該判定用人工知能の出力データの正解値を示す教師データとの組み合わせを含む学習データを、前記取得部によって取得されたデータと前記判定能力の仕様とに基づいて作成する、
ように構成される、学習データ作成装置。

（付記３）
メモリと、
前記メモリに接続されたプロセッサと
を具備し、
前記プロセッサは、
（ａ）第１の機械学習の学習結果が設定された対象人工知能の出力の妥当性を判定する判定能力を獲得する第２の機械学習に使用される学習データを取得し、
（ｂ）前記学習データを使用して判定用人工知能に前記第２の機械学習を行う、
ように構成され、
前記学習データは、前記判定用人工知能への入力データとなる学習用の判定材料データと、前記入力データに対応する当該判定用人工知能の出力データの正解値を示す教師データとの組み合わせを含み、
前記学習データは、前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータと、前記判定能力の仕様とに基づいて作成される、
学習装置。

（付記４）
メモリと、
前記メモリに接続されたプロセッサと
を具備し、
前記プロセッサは、
（ａ）第１の機械学習の学習結果が設定された対象人工知能の出力に関するデータを取得し、
（ｂ）前記取得部によって取得されたデータに基づく入力データを受けて前記対象人工知能の出力の妥当性を判定する判定用人工知能を実装する、
ように構成され、
前記判定用人工知能は、前記妥当性を判定する判定能力を獲得する第２の機械学習の学習結果が設定されていて、
前記第２の機械学習は、前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータに基づいて作成された学習用の判定材料データと、当該学習用の判定材料データに基づく前記妥当性の判定結果の正解値を示す教師データとの組み合わせを含む学習データを使用して行われ、
前記学習用の判定材料データは、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータの中から前記判定能力に基づいて定められる、
判定装置。

１００，１０００・・・第２の学習データ作成装置
１０１，２７１，１００１，１２０１，１３３０，１４３１・・・取得部
１０２，１００２，１４３２・・・作成部
１０３，１３０１，１４３３，１５０１・・・制御部
２００，５００，７００，９００・・・第１の学習データ作成装置
２１０，５１０，７１０，９１０・・・第１の学習データ記憶装置
２２０，５２０，７２０，９２０・・・第１の学習装置
２３０，５３０，１３１０，１４１０・・・対象
２４０，５４０・・・観測装置
２５０・・・観測データ記憶装置
２６０・・・第２の学習データ記憶装置
２７０・・・第２の学習装置
２７２，１４５０・・・学習部
２８０・・・学習依頼装置
５５０，７５０，９５０・・・出力データ記憶装置
９３０・・・対象シミュレータ
９９０・・・利用者端末
１２００，１３２０・・・判定装置
１２０２，１３４０・・・判定部
１３００・・・制御装置
１３０２，１４００・・・制御用ＡＩ
１３４１，１４６０・・・判定用ＡＩ
１３５０・・・警報部
１３６０・・・介入部
１４２０・・・判定用人工知能生成装置
１４４０・・・学習データ記憶部
１４７０・・・学習結果記憶部
１５０２・・・記憶部
１５０３・・・通信Ｉ／Ｆ
１５０４・・・入力装置
１５０５・・・出力装置
１５０６・・・外部Ｉ／Ｆ
１５０７・・・ドライブ
１５０８・・・記憶媒体

Claims (15)

1. 制御装置と判定装置とを具備し、
   前記制御装置は、対象を制御するための出力データを入力データに基づいて生成する制御用人工知能を含む制御部を備え、
   前記判定装置は、
   前記制御用人工知能の出力の妥当性の判定に用いられる判定材料データを取得する取得部と、
   前記妥当性を前記判定材料データに基づいて判定する判定用人工知能を含む判定部と
   を備え、
   前記制御用人工知能は、前記対象を制御する制御能力を獲得する第１の機械学習の学習結果が設定されていて、
   前記判定用人工知能は、前記妥当性を判定する判定能力を獲得する第２の機械学習の学習結果が設定されていて、
   前記第２の機械学習は、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータに基づいて作成された学習用の判定材料データと、当該学習用の判定材料データに基づく前記妥当性の判定結果の正解値を示す教師データとの組み合わせを含む学習データを使用して行われ、
   前記学習用の判定材料データは、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータの中から前記判定能力の仕様に基づいて定められる、
   制御システム。
2. 前記判定装置は、前記制御用人工知能の出力が妥当でないと判定された場合に警報を発する警報部をさらに具備する、請求項１に記載の制御システム。
3. 前記判定装置は、前記制御用人工知能の出力が妥当でないと判定された場合に前記制御装置による前記対象への制御に介入する介入部をさらに具備する、請求項１に記載の制御システム。
4. 第１の機械学習の学習結果が設定された対象人工知能の出力の妥当性を判定する判定能力を獲得する第２の機械学習に使用される学習データを作成する学習データ作成装置であって、
   前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータを取得する取得部と、
   前記第２の機械学習の対象となる判定用人工知能への入力データとなる学習用の判定材料データと、前記入力データに対応する当該判定用人工知能の出力データの正解値を示す教師データとの組み合わせを含む学習データを、前記取得部によって取得されたデータと前記判定能力の仕様とに基づいて作成する作成部と
   を具備する、学習データ作成装置。
5. 前記学習用の判定材料データは、（ｉ）前記第１の人工知能または前記第２の人工知能の出力データと、（ｉｉ）前記第１の人工知能または前記第２の人工知能の出力データに基づいて制御された対象の動作または状態の観測結果を表す観測データと、（ｉｉｉ）前記第２の人工知能に出力データを生成させた入力データとのうちの少なくとも一部を含む、請求項４に記載の学習データ作成装置。
6. 前記作成部は、前記第１の人工知能の出力データに基づいて制御された対象の動作または状態の観測結果を表す観測データに基づいて前記学習用の判定材料データを作成し、前記第１の人工知能の出力が妥当でないことを示す教師データを作成する、請求項５に記載の学習データ作成装置。
7. 前記作成部は、前記第１の人工知能の出力データに基づいて前記学習用の判定材料データを作成し、前記第１の人工知能の出力が妥当でないことを示す教師データを作成する、請求項５に記載の学習データ作成装置。
8. 前記作成部は、前記第２の人工知能の出力データに基づいて前記学習用の判定材料データを作成し、前記第２の人工知能の出力が妥当であることを示す教師データを作成する、請求項５または請求項７に記載の学習データ作成装置。
9. 前記作成部は、前記第２の人工知能に誤った出力データを生成させた入力データに基づいて前記学習用の判定材料データを作成し、前記第２の人工知能の出力が妥当でないことを示す教師データを作成する、請求項５に記載の学習データ作成装置。
10. 前記作成部は、前記第２の人工知能に正しい出力データを生成させた入力データに基づいて前記学習用の判定材料データを作成し、前記第２の人工知能の出力が妥当であることを示す教師データを作成する、請求項５または請求項９に記載の学習データ作成装置。
11. 前記判定能力の仕様に基づいて、前記取得部によって取得されるデータと、前記作成部によって作成される学習データとを制御する制御部をさらに具備する、請求項４乃至請求項１０のいずれか１項に記載の学習データ作成装置。
12. 第１の機械学習の学習結果が設定された対象人工知能の出力の妥当性を判定する判定能力を獲得する第２の機械学習に使用される学習データを取得する取得部と、
    前記学習データを使用して判定用人工知能に前記第２の機械学習を行う学習部と
    を具備し、
    前記学習データは、前記判定用人工知能への入力データとなる学習用の判定材料データと、前記入力データに対応する当該判定用人工知能の出力データの正解値を示す教師データとの組み合わせを含み、
    前記学習データは、前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータと、前記判定能力の仕様とに基づいて作成される、
    学習装置。
13. 第１の機械学習の学習結果が設定された対象人工知能の出力に関するデータを取得する取得部と、
    前記取得部によって取得されたデータに基づく入力データを受けて前記対象人工知能の出力の妥当性を判定する判定用人工知能を含む判定部と
    を具備し、
    前記判定用人工知能は、前記妥当性を判定する判定能力を獲得する第２の機械学習の学習結果が設定されていて、
    前記第２の機械学習は、前記第１の機械学習を実行中の第１の人工知能または前記第１の機械学習の学習結果を設定された第２の人工知能の出力に関するデータに基づいて作成された学習用の判定材料データと、当該学習用の判定材料データに基づく前記妥当性の判定結果の正解値を示す教師データとの組み合わせを含む学習データを使用して行われ、
    前記学習用の判定材料データは、前記第１の機械学習を実行中の、または前記第１の機械学習の学習結果を設定された人工知能の出力に関するデータの中から前記判定能力に基づいて定められる、
    判定装置。
14. 前記対象人工知能の出力が妥当でないと判定された場合に警報を発する警報部をさらに具備する、請求項１３に記載の判定装置。
15. 前記対象人工知能は、対象を制御するための出力データを入力データに基づいて生成し、
    前記判定装置は、前記対象人工知能の出力が妥当でないと判定された場合に前記対象人工知能の出力に基づく前記対象への制御に介入する介入部をさらに具備する、
    請求項１３に記載の判定装置。