JP2022540872A - ニューラルネットワークの動作を変更するための手法 - Google Patents

Abstract

記載されているように、人工知能（ＡＩ）設計アプリケーションは、ニューラルネットワークを生成、分析、評価、及び記述するための様々なツールをユーザに明示する。ＡＩの設計アプリケーションには、ネットワークアーキテクチャのグラフィカルな描写とユーザとのインタラクションに基づいてニューラルネットワークを定義するプログラムコードを生成及び／または更新するネットワークジェネレータが含まれている。また、ＡＩの設計アプリケーションには、テスト入力に応じて、層のレベル、ニューロンのレベル、及び重みのレベルでニューラルネットワークの挙動を分析するネットワークアナライザも含まれている。ＡＩの設計アプリケーションには、訓練データのサンプルの範囲全体でニューラルネットワークの包括的な評価を実行するネットワーク評価器がさらに含まれている。最後に、ＡＩの設計アプリケーションには、ニューラルネットワークの挙動を自然言語でアーティキュレートし、ルールのセットに従ってその挙動を制約するネットワーク記述子が含まれている。

Description

関連出願の相互参照

この出願は、参照により本明細書に組み込まれる、２０１９年７月８日に出願された米国特許出願番号第１６／５０５，５９２号の利益を主張する。

様々な実施形態の分野
本発明の実施形態は、一般に、コンピュータサイエンス及び人工知能に関し、より具体的には、ニューラルネットワークを作成、分析、及び変更するための技術に関する。

関連技術の説明
従来のニューラルネットワーク設計プロセスでは、設計者はプログラムコードを記述して、特定のタイプの問題に対処するニューラルネットワークアーキテクチャを開発する。例えば、設計者はＰｙｔｈｏｎコードを記述して、画像を様々なカテゴリに分類する１つ以上のニューラルネットワークの層を設計できる。次に、設計者は、訓練データと、その訓練データを処理するときにニューラルネットワークが生成するべきターゲット出力を使用して、ニューラルネットワークを訓練する。例えば、設計者は、様々な風景を表示する一連の画像と、画像のセットに表示される風景のタイプを示すラベルに基づいてニューラルネットワークを訓練できる。

訓練プロセス中に、訓練アルゴリズムは、ニューラルネットワークの層に含まれる重みを更新して、ニューラルネットワークがターゲット出力と一致する出力を生成する精度を向上させる。訓練が完了すると、検証データを使用してニューラルネットワークの精度が判定される。ニューラルネットワークが検証データに対して十分に正確な結果を生成しない場合は、ニューラルネットワークを更新して全体的な精度を向上させることができる。例えば、ニューラルネットワークがより正確な結果を生成するまで、追加の訓練データを使用してニューラルネットワークを訓練できる。

ニューラルネットワークは、様々なネットワークアーキテクチャを有することができる。「ディープ」ニューラルネットワークは、一般に、多くの異なるタイプの層と、異なる層の間での接続の複雑なトポロジとを含む複雑なネットワークアーキテクチャを備えている。一部のディープニューラルネットワークは１０以上の層を有することができ、各層には数百または数千の個別のニューロンを含めることができ、数百または数千の個別の接続を介して１つ以上の他の層に結合できる。ディープニューラルネットワークが様々なタスクを高い精度で実行するように訓練できるため、ディープニューラルネットワークが人工知能の分野で広く採用されるようになっている。ただし、ディープニューラルネットワークを設計するときに、様々な問題が発生する。

まず、通常、ディープニューラルネットワークに関連する複雑なネットワークアーキテクチャが、ディープニューラルネットワークの設計と生成を困難にすることがある。特定のディープニューラルネットワークを設計する場合、設計者は通常、各層の動作を定義し、様々な層を結合する方法を指定し、様々な層によって実行される様々な動作を描写する、大量の複雑なコードを記述せねばならない。このプロセスを簡素化するために、設計者は多くの場合、ディープニューラルネットワークの設計を容易にする様々なツールを明示する１つ以上のプログラミングライブラリを頼る。しかし、これらのタイプのプログラミングライブラリを使用することの１つの欠点は、プログラミングライブラリが一般に設計者からのディープニューラルネットワークの設計をわかりにくくし、したがって、設計中のディープニューラルネットワークが実際にどのように動作するかを設計者が理解できなくなってしまうことである。結果として、変えることが必要なときに、設計者がディープニューラルネットワークを変更するのが困難になる可能性がある。

第２に、通常、ディープニューラルネットワークに関連付けられている複雑なニューラルネットワークアーキテクチャが、特定のディープニューラルネットワークの機能を理解しにくいものにする可能性がある。その結果、一般的な設計者は、特定のディープニューラルネットワークの挙動を分析し、ディープニューラルネットワークのどのコンポーネントが特定の挙動または結果の生成に関与しているかを判断するのに苦労することがある。さらに、大量のコードが特定のディープニューラルネットワークを定義及び実装するために通常使用されるため、一般的な設計者は、ディープニューラルネットワークの任意の特定のコンポーネントに関連付けられているコードの特定の部分を見つけるのが難しい場合がある。したがって、特定のディープニューラルネットワークが期待どおりに動作しない場合、設計者は通常、ディープニューラルネットワークが期待どおりに動作しない理由や、ディープニューラルネットワークの基礎となるコードを修復または変更する方法を判断できない。

第３に、通常、ディープニューラルネットワークに関連付けられている複雑なニューラルネットワークアーキテクチャでは、ディープニューラルネットワークの訓練時に使用される訓練データに対して、特定のディープニューラルネットワークのパフォーマンスを評価することが非常に困難になる。従来の訓練アルゴリズムは通常、特定のディープニューラルネットワークが訓練フェーズの間に出力を生成する精度のみを記録する。このような従来の訓練アルゴリズムは、通常、設計者にいずれの付加的なデータを呈さないため、ディープニューラルネットワークが訓練データをどの程度適切に処理しているかを評価する設計者の可能性が制限される。その結果、ほとんどの設計者は、訓練データの特定のサンプルを処理するときに、特定のディープニューラルネットワークが特定の出力を生成する理由を判定または説明できない。

第４に、特定のディープニューラルネットワークに通常関連付けられている複雑なニューラルネットワークアーキテクチャは、設計者が特徴付けて説明するのが難しい場合がある。その結果、一般的な設計者は、特定のディープニューラルネットワークがどのように動作するかを他者に説明するのに苦労する場合がある。上記の理由により、設計者はディープニューラルネットワークがどのように動作するかを理解していないことが多く、したがって、ディープニューラルネットワークの様々な機能特性を十分にアーティキュレートするまたは説明することができない。

前述のように、当技術分野で必要とされるのは、ニューラルネットワークを生成、分析、及び変更するためのより効果的な技術である。

様々な実施形態は、ニューラルネットワークの挙動を制約するためのコンピュータ実装方法であって、ニューラルネットワークに、第１の訓練データに基づいて第１の推論操作を実行させて、第１の出力を生成させること、第１の訓練データに関連付けられた第１のターゲット出力に基づいて、第１の出力に対応する第１のルールを生成すること、第２の推論操作を実行するときにニューラルネットワークが第１の出力を生成することを判定すること、及びニューラルネットワークが第１の入力の受信に応答して第１の出力を出力するのを防ぎ、代わりに、ニューラルネットワークが第１の入力の受信に応答して第１のターゲット出力を出力するようにする第１のルールを実行することを含む、方法を含む。

従来技術と比較した開示された技術の少なくとも１つの技術的利点は、開示されたＡＩ設計アプリケーションが、所与のニューラルネットワークがどのように動作及び機能するかを特徴付ける自然言語記述を自動的に生成することである。特に、これらの説明は、ニューラルネットワークの動作を設計者に説明するのに寄与し、設計者がニューラルネットワークの機能特性を他者に明確に説明できるようにする。

上で列挙された様々な実施形態の特徴が詳細に理解できるように、上で簡潔にまとめられた発明の概念のより具体的な説明が、様々な実施形態を参照することによって行えて、その一部は添付の図面で示される。しかし、添付の図面が発明の概念の典型的な実施形態だけを示し、そのため、何ら範囲を限定することを考慮されるべきものではないこと、及び他の等しく効果的な実施形態が存在していることに留意されたい。

様々な実施形態の１つ以上の態様を実装するように構成されているシステムを示す。 様々な実施形態による、図１のＡＩの設計アプリケーションのより詳細な図である。 様々な実施形態による、図２のＡＩのネットワークジェネレータのより詳細な図解である。 様々な実施形態による、図２のネットワーク生成ＧＵＩがどのようにニューラルネットワークの生成を促すかを示すスクリーンショットである。 様々な他の実施形態による、図２のネットワーク生成ＧＵＩがどのようにＡＩモデルの生成を促すかを示すスクリーンショットである。 様々な実施形態による、図５のエージェントの１つに関連する様々な基礎となるデータのスクリーンショットである。 様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークを生成及び変更するための方法ステップのフローの図である。 様々な実施形態による、図２のネットワークジェネレータのより詳細な図解である。 様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにニューラルネットワークの生成を促すかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにエージェントの基礎となる機能を明示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク分析ＧＵＩが、テスト入力を処理するためのエージェントのセットをどのように明示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにテスト入力を処理するようエージェントを適用するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにテスト入力を処理するよう別のエージェントを適用するかを示すスクリーンショットである。 様々な他の実施形態による、図２のネットワーク分析ＧＵＩがどのように異なるエージェントをテスト入力に適用するかを示すスクリーンショットである。 様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークを分析するための方法ステップのフローの図を示す。 様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークを分析するための方法ステップのフローの図を示す。 様々な実施形態による、図２のネットワーク評価器のより詳細な図解である。 様々な実施形態による、図２のネットワーク評価ＧＵＩがどのように訓練データの探索を容易にするかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク評価ＧＵＩが、どのようにサンプルマップを介して入力を受けるかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク評価ＧＵＩが、高い信頼性の値が割り当てられた訓練データのサンプルをどのように表示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク評価ＧＵＩが、低い信頼性の値が割り当てられた訓練データのサンプルをどのように表示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク評価ＧＵＩが、信頼性過多とラベル付けされた訓練データのサンプルをどのように表示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク評価ＧＵＩが、選択されたニューラルネットワーク出力を促進する訓練データのサンプルをどのように表示するかを示すスクリーンショットである。 様々な実施形態による、ニューラルネットワーク出力に基づいてソートされた訓練データのサンプルを図２のネットワーク評価ＧＵＩがどのように表示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク評価ＧＵＩが、特定の活性化の基準を満たす訓練データのサンプルをどのように表示するかを示すスクリーンショットである。 様々な実施形態による、式に基づいてソートされた訓練データのサンプルを図２のネットワーク評価ＧＵＩがどのように表示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク評価ＧＵＩが訓練サンプルの関連部分をどのように表示するかを示すスクリーンショットである。 様々な実施形態による、グラフィカルユーザインターフェイスを介した訓練データのセットに関連するニューラルネットワークを評価するための方法ステップのフローの図を示す。 様々な実施形態による、グラフィカルユーザインターフェイスを介した訓練データのセットに関連するニューラルネットワークを評価するための方法ステップのフローの図を示す。 様々な実施形態による、図２のネットワーク記述子のより詳細な図解である。 様々な実施形態による、図２のネットワーク記述ＧＵＩが、様々な状況下でニューラルネットワークの挙動の制約をどのように促進するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク記述ＧＵＩがニューラルネットワークの挙動をどのようにアーティキュレートするかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク記述ＧＵＩが派生的事実（ｄｅｒｉｖｅｄ ｆａｃｔ）をいかに表現するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク記述ＧＵＩが、ニューラルネットワークの訓練に関連するパフォーマンスデータをどのように描写するかを示すスクリーンショットである。 様々な他の実施形態による、図２のネットワーク記述ＧＵＩが、ニューラルネットワークの訓練に関連する他のパフォーマンスデータをどのように描写するかを示すスクリーンショットである。 様々な他の実施形態による、図２のネットワーク記述ＧＵＩが、ニューラルネットワークの実行時に消費されたメモリの量をどのように表示するかを示すスクリーンショットである。 様々な実施形態による、図２のネットワーク記述ＧＵＩがいかに所与のニューラルネットワークの異なったバージョンを表現するかを示すスクリーンショットである。 様々な実施形態による、所与のニューラルネットワークの異なるバージョンに関連する比較パフォーマンスデータを図２のネットワーク記述ＧＵＩがどのように表示するかを示すスクリーンショットである。 様々な他の実施形態による、所与のニューラルネットワークの異なるバージョンに関連する他の比較パフォーマンスデータを図２のネットワーク記述ＧＵＩがどのように表示するかを示すスクリーンショットである。 様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークの挙動をアーティキュレートし、制約するための方法ステップのフローの図を示している。 様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークの挙動をアーティキュレートし、制約するための方法ステップのフローの図を示している。

以下の説明では、多様な実施形態のより徹底した理解をもたらすために多数の具体的な詳細を説明する。しかし、本発明がこれらの具体的な詳細の１つまたは複数がなくとも発明の概念が実施され得ることは、当業者には明らかであろう。

上記のように、ディープニューラルネットワークは、多数の層と複雑な接続トポロジを含む複雑なネットワークアーキテクチャを有することができる。その結果、ディープニューラルネットワークは設計者が生成するのが難しい場合がある。さらに、ディープニューラルネットワークが生成されると、ディープニューラルネットワークに関連するネットワークアーキテクチャの複雑さは、設計者が分析及び理解するのが困難になる可能性がある。ディープニューラルネットワークを分析及び理解できることが限られているため、設計者は、ディープニューラルネットワークが目的のタスクをどの程度うまく実行しているかを評価するのがさらに困難になる可能性がある。最後に、ディープニューラルネットワークがどのように動作するかを明確に理解していないため、設計者はディープニューラルネットワークの動作を簡単に特徴付けたり、その動作を他者に説明したりすることはできない。

これらの問題に対処するために、様々な実施形態は、ニューラルネットワークを生成、分析、評価、及び記述するための様々なツールを使用者に明示する人工知能（ＡＩ）の設計アプリケーションを含む。ＡＩの設計アプリケーションには、ネットワークアーキテクチャのグラフィカルな描写とユーザとのインタラクションに基づいてニューラルネットワークを定めるプログラムコードを生成及び／または更新するネットワークジェネレータが含まれている。また、ＡＩの設計アプリケーションには、テスト入力に応じて、層のレベル、ニューロンのレベル、及び重みのレベルでニューラルネットワークの挙動を分析するネットワークアナライザも含まれている。ＡＩの設計アプリケーションには、訓練データのサンプルの範囲全体でニューラルネットワークの包括的な評価を実行するネットワーク評価器がさらに含まれている。最後に、ＡＩの設計アプリケーションには、ニューラルネットワークの挙動を自然言語でアーティキュレートし、ルールのセットに従ってその挙動を制約するネットワーク記述子が含まれている。

従来技術と比較した開示された技術の少なくとも１つの技術的な利点は、開示されたＡＩの設計アプリケーションが、設計者であるユーザが大量のプログラムコードを書いたり対話したりすることを必要とせずに、複雑なニューラルネットワークアーキテクチャを生成できることである。従来技術と比較した開示された技術の別の技術的な利点は、開示されたＡＩの設計アプリケーションが、所与のニューラルネットワークアーキテクチャの個々のコンポーネントの基礎となる動作及び機能に関する詳細な情報を設計者に提供するということである。したがって、ＡＩの設計アプリケーションは、設計者が開発することを可能にし、ニューラルネットワークがどのように動作するかのさらなる理解を可能にする。従来技術と比較した開示された技術の別の技術的な利点は、開示されたＡＩの設計アプリケーションが、訓練段階中に所与のニューラルネットワークがどのように動作するかについて詳細な分析を実行し、それによって、ニューラルネットワークが特定の入力に基づいて特定の出力を生成する理由を設計者がよりよく理解できるようにするということである。従来技術と比較した開示された技術のさらに別の技術的な利点は、開示されたＡＩの設計アプリケーションが、所与のニューラルネットワークがどのように動作及び機能するかを特徴付ける自然言語の記述を自動的に生成することである。特に、これらの説明は、ニューラルネットワークの動作を設計者に説明するのに役立ち、設計者がニューラルネットワークの機能特性を他者にアーティキュレート及び説明できるようにする。これらの技術的な利点は、従来技術のアプローチに対する１つまたは複数の技術的進歩を表している。

システムの概要
図１は、様々な実施形態の１つ以上の態様を実装するように構成されているシステムを示す。示されるように、システム１００は、ネットワーク１５０を介して互いに結合されたクライアント１１０及びサーバ１３０を含む。クライアント１１０またはサーバ１３０は、デスクトップコンピュータ、ラップトップコンピュータ、モバイルデバイス、コンピューティングデバイスの仮想化されたインスタンス、分散型及び／またはクラウドベースのコンピュータシステムなどを含む、技術的に実現可能な任意のタイプのコンピュータシステムであり得る。ネットワーク１５０は、とりわけ、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワールドワイドウェブ、またはインターネットを含む、技術的に実現可能な相互接続された通信リンクの任意のセットであり得る。クライアント１１０及びサーバ１３０は、ネットワーク１５０を介して通信するように構成される。

さらに示されるように、クライアント１１０は、互いに結合されたプロセッサ１１２、入力／出力（Ｉ／Ｏ）デバイス１１４、及びメモリ１１６を含む。プロセッサ１１２は、データを処理し、ソフトウェアアプリケーションを実行するように構成された技術的に実行可能な任意のハードウェアユニットのセットを含む。例えば、プロセッサ１１２は、１つまたは複数の中央処理装置（ＣＰＵ）、１つまたは複数のグラフィックス処理装置（ＧＰＵ）、及び／または１つまたは複数の並列処理装置（ＰＰＵ）を含むことができる。Ｉ／Ｏデバイス１１４は、例えば、とりわけ、ディスプレイデバイス、キーボード、及びタッチスクリーンを含む、入力及び／または出力の操作を実行するように構成された任意の技術的に実行可能なデバイスのセットを含む。

メモリ１１６は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）モジュール、及び読み取り専用メモリ（ＲＯＭ）などの、データ及びソフトウェアアプリケーションを記憶するように構成された、任意の技術的に実現可能な記憶媒体を含む。メモリ１１６は、データベース１１８（０）、人工知能（ＡＩの）設計アプリケーション１２０（０）、ＡＩモデル１２２（０）、及びグラフィカルユーザインターフェイス（ＧＵＩ）１２４（０）を含む。データベース１１８（０）は、様々なタイプのデータを格納するファイルシステム及び／またはデータストレージアプリケーションである。ＡＩの設計アプリケーション１２０（０）は、プロセッサ１１２によって実行されるとき、サーバ１３０で実行される対応するソフトウェアアプリケーションと相互運用して、１つまたは複数のＡＩモデルを生成、分析、評価、及び記述するソフトウェアアプリケーションである。ＡＩモデル１２２（０）には、汎用または特殊な人工知能指向の操作を実行するように構成された１つ以上の人工のニューラルネットワークが含まれている。ＧＵＩ１２４（０）により、ユーザはＡＩの設計アプリケーション１２０（０）とインターフェイスすることができるようになる。

サーバ１３０は、互いに結合されたプロセッサ１３２、Ｉ／Ｏデバイス１３４、及びメモリ１３６を含む。プロセッサ１３２は、データを処理し、ソフトウェアアプリケーションを実行するように構成された、任意の技術的に実現可能なハードウェアユニットのセット、例えば１つまたは複数のＣＰＵ、１つまたは複数のＧＰＵ、及び／または１つまたは複数のＰＰＵを含む。Ｉ／Ｏデバイス１３４は、例えば、とりわけ、ディスプレイデバイス、キーボード、及びタッチスクリーンを含む、入力及び／または出力の操作を実行するように構成された任意の技術的に実行可能なデバイスのセットを含む。

メモリ１３６は、例えば、ハードディスク、ＲＡＭモジュール、及びＲＯＭなどの、データ及びソフトウェアアプリケーションを記憶するように構成された、任意の技術的に実現可能な記憶媒体を含む。メモリ１３６は、データベース１１８（１）、ＡＩの設計アプリケーション１２０（１）、ＡＩモデル１２２（１）、及びＧＵＩ１２４（１）を含む。データベース１１８（１）は、データベース１１８（１）と同様に、様々なタイプのデータを格納するファイルシステム及び／またはデータストレージアプリケーションである。ＡＩの設計アプリケーション１２０（１）は、プロセッサ１３２によって実行されるとき、ＡＩの設計アプリケーション１２０（０）と相互運用して、１つまたは複数のＡＩモデルを生成、分析、評価、及び記述するソフトウェアアプリケーションである。ＡＩモデル１２２（１）には、汎用または特殊な人工知能指向の操作を実行するように構成された１つ以上の人工のニューラルネットワークが含まれている。ＧＵＩ１２４（１）により、ユーザはＡＩの設計アプリケーション１２０（１）とインターフェイスすることができるようになる。

一般的な問題として、データベース１１８（０）と１１８（１）は、分散ストレージエンティティの別々の部分を表す。したがって、簡単にするために、データベース１１８（０）及び１１８（１）は、本明細書ではまとめてデータベース１１８と呼ばれる。同様に、ＡＩの設計アプリケーション１２０（０）及び１２０（１）は、本明細書で説明される本発明の操作のいずれか及びすべてを実行するように構成される分散ソフトウェアエンティティの別個の部分を表す。したがって、ＡＩの設計アプリケーション１２０（０）及び１２０（１）は、以下、まとめてＡＩの設計アプリケーション１２０と呼ばれる。ＡＩモデル１２２（０）及び１２２（１）も同様に、１つ以上のニューラルネットワークを含む分散ＡＩモデルを表す。したがって、ＡＩモデル１２２（０）及び１２２（１）は、本明細書ではまとめてＡＩモデル１２２と呼ばれる。ＧＵＩ１２４（０）及び１２４（１）は、同様に、１つまたは複数のＧＵＩの分散部分を表す。ＧＵＩ１２４（０）及び１２４（１）は、本明細書ではまとめてＧＵＩ１２４と呼ばれる。

動作中、ＡＩの設計アプリケーション１２０は、ＧＵＩ１２４を介して受信されたユーザの入力に基づいて、ＡＩモデル１２２を生成する。ＧＵＩ１２４は、他の操作の中でも、ユーザがＡＩモデル１２２を作成及び編集し、ＡＩモデル１２２の機能を調査し、訓練データに関連してＡＩモデル１２２を評価し、ＡＩモデル１２２のパフォーマンス及び／または動作を説明及び／または制約する様々なデータを生成できるようにする設計及び分析ツールを明示する。上記の動作を実行するＡＩの設計アプリケーション１２０内の様々なモジュールは、図２と併せて以下でより詳細に説明される。

図２は、様々な実施形態による、図１のＡＩの設計アプリケーションのより詳細な図である。示されるように、ＡＩの設計アプリケーション１２０は、ネットワークジェネレータ２００、ネットワークアナライザ２１０、ネットワーク評価器２２０、及びネットワーク記述子２３０を含む。また示されるように、ＡＩモデル１２２は、１つまたは複数のエージェント２４０を含み、ＧＵＩ１２４は、ネットワーク生成ＧＵＩ２０２、ネットワーク分析ＧＵＩ２１２、ネットワーク評価ＧＵＩ２２２、及びネットワーク記述ＧＵＩ２３２を含む。

動作中、ネットワークジェネレータ２００は、ネットワーク生成ＧＵＩ２０２をレンダリングして、ＡＩモデル１２２内のエージェント２４０を設計及び接続するためのツールをユーザに提供する。所与のエージェント２４０は、様々なＡＩ指向タスクを実行するニューラルネットワーク２４２を含み得る。所与のエージェント２４０はまた、一般的なタスクを実行する他のタイプの機能的な要素を含み得る。ネットワークジェネレータ２００は、訓練データ２５０に基づいて、特定のエージェント２４０に含まれるニューラルネットワーク２４２を訓練する。訓練データ２５０は、ニューラルネットワークを訓練するための任意の技術的に実行可能なタイプのデータを含むことができる。例えば、訓練データ２５０には、Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＭＮＩＳＴ）の数字訓練セットを含めることができる。ネットワークジェネレータ２００及びネットワーク生成ＧＵＩ２０２は、図３～７と併せて以下でより詳細に説明される。

訓練が完了すると、ネットワークアナライザ２１０は、ネットワーク分析ＧＵＩ２１２をレンダリングして、所与のエージェント２４０内のニューラルネットワークがどのように動作するかを分析及び理解するためのツールをユーザに提供する。特に、ネットワークアナライザ２１０は、ネットワーク分析ＧＵＩ２１２に、所与のニューラルネットワーク２４２内の様々な接続及び重みを表示させ、他の動作の中でもとりわけ、様々な入力に対する所与のニューラルネットワーク２４２の応答をシミュレートさせる。ネットワークアナライザ２１０及びネットワーク分析ＧＵＩ２１２は、図８～１５Ｂと併せて以下でより詳細に説明される。

さらに、ネットワーク評価器２２０は、ネットワーク評価ＧＵＩ２２２をレンダリングして、訓練データ２５０に関連して所与のニューラルネットワーク２４２を評価するためのツールをユーザに提供する。より具体的には、ネットワーク評価器２２０は、訓練データ２５０の特定の部分を示すネットワーク評価ＧＵＩ２２２を介してユーザの入力を受け取る。次に、ネットワーク評価器２２０は、所与のニューラルネットワーク２４２が訓練データ２５０の該当部分にどのように応答するかをシミュレートする。ネットワーク評価器２２０はまた、ネットワーク評価ＧＵＩ２２２に、所与のニューラルネットワーク２４２に特定のタイプの出力を生成させる訓練データ２５０の特定の部分をフィルタリングさせることができる。ネットワーク評価器２２０及びネットワーク評価ＧＵＩ２２２は、図１６～２７Ｂと併せて以下でより詳細に説明される。

上記と併せて、ネットワーク記述子２３０は、エージェント２４０に関連付けられた所与のニューラルネットワーク２４２を分析し、ニューラルネットワーク２４２のパフォーマンスをユーザに説明する自然言語表現を生成する。ネットワーク記述子２３０はまた、ニューラルネットワーク２４２が訓練データ２５０をどのように解釈するかに関連する様々な「常識」の事実をユーザに提供することができる。ネットワーク記述子２３０は、ネットワーク記述ＧＵＩ２３２を介してこのデータをユーザに出力する。さらに、ネットワーク記述子２３０は、ネットワーク記述ＧＵＩ２３２を介してユーザからルールベースの式を取得し、次にこれらの式に基づいてネットワークの挙動を制約することができる。さらに、ネットワーク記述子２３０は、ネットワークのパフォーマンスの様々な側面を定量化するメトリックを生成し、次いで、ネットワーク記述ＧＵＩ２３２を介してこれらのメトリックをユーザに表示することができる。ネットワーク記述子２３０及びネットワーク記述子ＧＵＩ２３２は、図３８～３８Ｂと併せて以下でより詳細に説明される。

図１～２を概ね参照すると、ＡＩの設計アプリケーション１２０は、ニューラルネットワークの挙動を生成、分析、評価、及び記述するための様々なツールを有利にユーザに提供する。開示された技術は、一般にネットワーク訓練及びその後のユーザからの操作を難読化するニューラルネットワークを生成する従来のアプローチとは異なる。

ニューラルネットワークの生成と変更
図３～７は、訓練データ２５０に基づいてニューラルネットワーク２４２を生成し、続いてそのニューラルネットワークを変更するときに、図２のネットワークジェネレータ２００によって実装される様々な技術を示している。本明細書でより詳細に説明するように、ネットワークジェネレータ２００は、ニューラルネットワークの生成及び変更を容易にするために、ネットワーク生成ＧＵＩ２０２を生成する。

図３は、様々な実施形態による、図１のＡＩのネットワークジェネレータのより詳細な図解である。示されるように、ネットワークジェネレータ２００は、コンパイラエンジン３００、合成エンジン３１０、訓練エンジン３２０、及び視覚化エンジン３３０を含む。

動作中、視覚化エンジン３３０は、ネットワーク生成ＧＵＩ２０２を生成し、ネットワーク生成ＧＵＩ２０２を介してユーザからエージェント定義３４０を取得する。コンパイラエンジン２００は、所与のエージェント定義３４０に含まれるプログラムコードをコンパイルして、コンパイルされたコード３０２を生成する。コンパイラエンジン２００は、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎ及び関連するフレームワーク、ＪａｖａＳｃｒｉｐｔ、及び関連するフレームワークなど、任意の技術的に実現可能なプログラミング言語を解析、コンパイル、及び／または解釈するように構成されている。合成エンジン３１０は、コンパイルされたコード３０２と、当該のコードの実行方法に影響を与える１つ以上のパラメータに基づいて、初期ネットワーク３１２を生成する。初期ネットワーク３１２は訓練されず、高精度で１つまたは複数の意図された動作を実行しない可能性がある。

訓練エンジン３３０は、訓練データ２５０に基づいて初期ネットワーク３１２を訓練して、訓練されたネットワーク３２２を生成する。訓練されたネットワーク３２２は、初期ネットワーク３１２よりも高い精度で１つまたは複数の意図された操作を実行することができる。訓練エンジン３３０は、逆伝播、最急降下法などを含む、技術的に実行可能な任意のタイプの訓練動作を実行することができる。視覚化エンジン３３０は、上記の動作と併せてネットワーク生成ＧＵＩ２０２を更新して、エージェント定義３４０を介して定義されたネットワークアーキテクチャをグラフィカルに描写し、訓練されたネットワーク３２２の様々なパフォーマンス属性を例示する。図４～６は、ネットワーク生成ＧＵＩ２０２の様々な例示的なスクリーンショットを示している。

図４は、様々な実施形態による、図２のネットワーク生成ＧＵＩがどのようにニューラルネットワークの生成を促すかを示すスクリーンショットである。示されるように、ＧＵＩパネル４００は、モデル定義パネル４１０、ハイパーパラメータパネル４２０、及び説明パネル４３０を含む。ＧＵＩパネル４００は、ネットワーク生成ＧＵＩ２０２内にある。

モデル定義パネル４１０は、ユーザからネットワークアーキテクチャの説明を取得するテキストフィールドである。例えば、モデル定義パネル４１０は、ニューラルネットワークに関連付けられた１つまたは複数の層と、それらの層がどのように互いに結合されるかを定義するプログラムコードを受け取ることができる。あるいは、モデル定義パネル４１０は、ニューラルネットワークアーキテクチャを数学的に記述した数学的表記を受け取ることができる。一実施形態では、モデル定義パネル４１０は、ネットワークの一部を明示し、とりわけ、モジュールのインポートなど、ユーザが編集する必要のない他の部分を省略している。ハイパーパラメータパネル４２０は、ニューラルネットワークがどのように訓練されるかに影響を与える様々なハイパーパラメータを受け取るテキストフィールドである。例えば、ハイパーパラメータパネル４２０は、ユーザからいくつかの訓練エポック及び／または学習レートを受け取ることができる。説明パネル４３０は、モデル定義パネル４１０のコンテンツに少なくとも部分的に基づいて、ネットワークジェネレータ２００によって自動的に生成されるニューラルネットワークの自然言語の説明を含む。

ネットワークジェネレータ２００は、ユーザから取得したネットワークアーキテクチャの記述に基づいて、図２に示しているもののような、ニューラルネットワークを生成するための、図３と併せて上述した技術を実装する。ネットワークジェネレータ２００はまた、ネットワークアーキテクチャ４４０を含むようにＧＵＩパネル４００を更新する。ネットワークアーキテクチャ４４０は、ニューラルネットワークの層のタイプ及び配置、ならびにニューラルネットワークに関連する他の任意のトポロジ情報をグラフィカルに描写する。示される例では、ネットワークアーキテクチャ４４０は、入力層４４２、２つの畳み込み層４４２及び４４６、最大プーリング層４４８、ドロップアウト層４５０、及び活性化層４５２を含む。

ネットワークジェネレータ３００は、ネットワークアーキテクチャ４４０とのユーザの対話に基づいて、モデル定義パネル４１０で定義された基礎となるニューラルネットワーク２４２を、動的に変更するように構成される。例えば、ネットワークジェネレータ３００は、ネットワークアーキテクチャ４４０の特定の部分が変更されるべきであることを示すユーザの入力を受け取ることができる。それに応じて、ネットワークジェネレータ３００は、基礎となるニューラルネットワークを変更し、また、対応する方法でモデル定義パネル４１０に含まれる定義を更新する。さらに、ネットワークジェネレータ３００は、モデル定義パネル４１０とのユーザの対話に基づいてネットワークアーキテクチャ４４０を動的に変更するように構成される。例えば、ＧＵＩパネル４００は、モデル定義パネル４１０に記載された説明に対する１つまたは複数の変更を示す入力を受け取ることができる。それに応じて、ネットワークジェネレータ３００は、基礎となるニューラルネットワークを変更し、また、変更を反映するようにネットワークアーキテクチャ４４０を更新する。

ネットワークジェネレータ３００は、エージェント２４０に含まれるニューラルネットワーク２４２を作成及び変更するために、ネットワーク生成ＧＵＩ３０２を介して上記の技術を実装することができる。ネットワークジェネレータ３００はまた、前述のように、一般的な動作を実行する他のタイプのエージェントを定義することができる。ネットワーク生成ＧＵＩ３０２を介して、ネットワークジェネレータ３００は、図５と併せて以下でより詳細に説明されるように、特定のＡＩモデル１２２を実装するエージェント２４０の構成を取得する。

図５は、様々な他の実施形態による、図２のネットワーク生成ＧＵＩがどのようにＡＩモデルの生成を促すかを示すスクリーンショットである。示されるように、ＧＵＩパネル５００は、エージェントパネル５１０、設計領域５２０、及び訓練データパネル５３０を含む。ＧＵＩパネル５００は、ネットワーク生成ＧＵＩ２０２に含まれている。この例に関連して説明したＡＩモデルは、自動車の写真に基づいてナンバープレートの情報を決定することに関連する様々な動作を実行する。

エージェントパネル５１０は、エージェント２４０（０）（「車を見つける」）、エージェント２４０（１）（「ナンバープレートを見つける」）、エージェント２４０（２）（「ナンバープレートを読む」）、及びエージェント２４０（３）（「登録の検索」）を含む、特定のタスクを実行する利用可能なエージェント２４０のリストを含む。エージェント２４０（０）から２４０（２）は、一般に、画像処理とタグ付け動作を実行するニューラルネットワークベースのエージェントである。対照的に、エージェント２４０（３）には、特定のナンバープレートに関連付けられた登録情報を取得するために外部サーバとインターフェイスするプログラムコードが含まれている。

ネットワーク生成ＧＵＩ２０２とのユーザの対話に基づいて、ネットワークジェネレータ２００は、エージェントパネル５１０から選択された様々なエージェント２４０を配置して、設計領域５２０内にＡＩモデル１２２を生成する。この例では、ＡＩモデル１２２は、ニューラルネットワーク２４２とその他の機能ユニットのコレクションであり、訓練が完了すると、自動車の写真を分析してナンバープレートの番号を抽出し、次いでそれらのナンバープレートの番号に関連付けられた登録情報を取得できる。動作中、エージェント２４０（０）は、入力画像内で車または他の自動車を見つける。エージェント２４０（１）は、これらの車やその他の自動車に関連付けられているナンバープレートを特定する。エージェント２４０（２）は、特定されたナンバープレートからテキストを抽出する。エージェント２４０（３）は、抽出されたナンバープレートの番号の登録情報を取得するためにサーバにクエリを実行する。

ネットワークジェネレータ２００は、訓練データ２５０に基づいて、ＡＩモデル１２２（０）内でニューラルネットワークベースのエージェント２４０を訓練する。例示的な訓練データは、訓練データパネル５３０内に表示される。示されるように、訓練データパネル５３０は、自動車の様々なサンプルの写真を描写している。一実施形態では、訓練プロセスを容易にするために、各自動車のナンバープレートにラベルを付けることができる。

ネットワークジェネレータ２００は、ユーザの入力に応答して、エージェント２４０のいずれかに関連する基礎となるデータを明示することができる。例えば、エージェント２４０（３）のユーザの選択に応答して、ネットワークジェネレータ２００は、前述の方法で登録情報を取得するためにサーバにクエリをするプログラムコードを表示することができる。ネットワークジェネレータ２００は、当該のプログラムコードへの変更を受け取り、次いでそれに応じてＡＩモデル１２２を更新することができる。ニューラルネットワークベースのエージェント２４０のユーザの選択に応答して、ネットワークジェネレータ２００は、図６と併せて以下に説明する様々なＧＵＩ要素を介して、基礎となるニューラルネットワーク２４２を含む、当該のエージェントに関連する基礎となるデータを明示する。

図６は、様々な実施形態による、図５のエージェントの１つに関連する様々な基礎となるデータのスクリーンショットである。示されるように、図５のＧＵＩパネル５００は、ＧＵＩパネル５００の他のＧＵＩ要素の上に重ね合わされるウィンドウ６００を含む。ウィンドウ６００には、選択したエージェントに関連付けられた様々な基礎となるデータが含まれている。示されている例では、エージェント２５０（２）が選択されている（「ナンバープレートを読み取る」）。

ウィンドウ６００は、エージェント２５０（２）を定義するプログラムコードを含むモデル定義パネル６１０、関連するニューラルネットワークを訓練するときに使用される様々なハイパーパラメータを定義するハイパーパラメータパネル６２０、及び当該のニューラルネットワークの様々な属性を記述する記述パネル６３０を含む。ウィンドウ６００はまた、ネットワークアーキテクチャ６４０を含む。図４と併せて上述したのと同様の方法で、ネットワークジェネレータ２００は、ネットワークアーキテクチャ６４０とのユーザの対話に基づいて、モデル定義ウィンドウ６１０に示されるモデル定義を更新することができる。例えば、ネットワークアーキテクチャ６４０の層が除去されるべきであることを示すユーザ入力に応答して、ネットワークジェネレータ２００は、モデル定義の対応する部分を削除することができる。

図３～６を概ね参照すると、上記の技術は、多数のエージェント２４０を含む潜在的に複雑なＡＩモデル１２２に統合されるニューラルネットワークを生成及び更新するための便利なメカニズムをユーザに提供する。さらに、これらの技術により、ユーザは、対応するネットワークアーキテクチャのグラフィカルな描写との直接的な対話を介して、所与のエージェント２４０を定義するプログラムコードを変更することができる。ネットワークジェネレータ２００は、ネットワーク生成ＧＵＩ２０２を介して行われるユーザの対話に基づいて、上記の様々な操作を実行する。開示された技術は、従来技術のテクニックで一般的に見られるように、情報を隠したままにするのではなく、ネットワーク情報をユーザに明示するニューラルネットワークを設計及び相互作用するための便利なツールをユーザに提供する。ネットワークジェネレータ２００の動作は、図７と併せて以下でより詳細に説明される。

図７は、様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークを生成及び変更するための方法ステップのフローの図である。方法ステップは、図１～６のシステムと併せて説明されるが、当業者は、任意の順序で方法ステップを実行するように構成された任意のシステムが、本実施形態の範囲内にあることを理解する。

示されるように、方法７００は、ステップ７０２で始まり、それにおいて図３の設計ジェネレータ２００は、エージェントのセット及び訓練データのセットを描写するための設計生成ＧＵＩ２０２を生成する。特定のエージェントには、ニューラルネットワーク指向の操作を実行するニューラルネットワーク、または実行時に任意の技術的に実行可能な動作を実行するプログラムコードが含まれる場合がある。設計生成ＧＵＩ２０２はまた、ＡＩモデル１２２を生成するためにエージェントを互いに配置及び結合することができる設計領域を含む。

ステップ７０４において、ネットワークジェネレータ２００は、ネットワーク生成ＧＵＩ２０２を介してＡＩモデルを形成するエージェント２４０の構成を受信する。互いに結合されると、特定のエージェントの出力を別のエージェントへの入力として提供でき、それにより処理ステージのパイプラインが形成される。一実施形態では、設計生成ＧＵＩ２０２は、ユーザが、エージェントを設計領域内の異なる場所にドラッグアンドドロップし、エージェントの出力と入力との間の接続をドラッグすることを可能にし得る。

ステップ７０６で、設計ジェネレータ２００は、設計生成ＧＵＩ２０２とのユーザの対話を介してエージェントの定義を受信する。エージェントの定義には通常、実行時にＡＩモデルの包括的な動作に関連する１つ以上の動作を実行するプログラムコードが含まれる。本明細書で論じられるエージェントの定義は、訓練データに基づいて訓練される必要があるニューラルネットワーク２４２を定義する。場合によっては、エージェントの定義は、説明したように、実行時に特定の動作を実行する特定の関数を定義できる。

ステップ７０８で、ネットワークジェネレータ２００は、ステップ７０６で受信したエージェントの定義をコンパイルして、コンパイルされたコードを生成する。コンパイルされたコードは、ニューラルネットワーク２４２の様々な層及びそれらの層間の様々な接続を実装する。コンパイルされたコードは通常、ＡＩモデルが実行される特定のコンピュータシステムに関連付けられた、基礎となるハードウェアを対象としている。

ステップ７１０で、ネットワークジェネレータ２００は、コンパイルされたコードを合成して、ネットワークの初期バージョンを生成する。そうすることで、ネットワークジェネレータ２００は、構成パラメータ及び訓練パラメータを含む１つまたは複数の入力パラメータを用いてコンパイルされたコードを実行して、ネットワークのインスタンスをインスタンス化する。ネットワークの初期バージョンが訓練されておらず、訓練が完了するまで推論動作を正確には実行できない場合がある。

ステップ７１２で、ネットワークジェネレータ２００は、訓練データに基づいてネットワークの初期バージョンを訓練して、訓練されたバージョンのネットワークを生成する。訓練データには通常、ネットワークが処理するデータのサンプルが含まれ、ネットワークが生成するべき正しい出力を示すラベルが含まれ得る。ネットワークジェネレータ２００は、バックプロパゲーション、勾配降下、または訓練に対する他のいずれかの技術的に実行可能なアプローチを使用してネットワークを訓練することができる。

ステップ７１４で、ネットワークジェネレータ２００は、設計生成ＧＵＩ２０２を更新して、ユーザが選択したエージェント２４０に関連する基礎となるデータを明示する。例えば、設計ジェネレータ２００は、とりわけ、モデル定義パネル及びハイパーパラメータパネルを含むウィンドウを生成することができ、それを介して、ユーザは、エージェント２４０に関連付けられたニューラルネットワーク２４２を変更することができる。ウィンドウには、ユーザが対話してニューラルネットワークに変更を適用できるネットワークアーキテクチャのグラフィック描写をさらに含めることができる。この特定の例は、図６と併せて上述されている。

ステップ７１６で、ネットワークジェネレータ２００は、設計生成ＧＵＩ２０２とのユーザの対話を介してネットワークアーキテクチャへの変更を受け取る。例えば、ユーザは、ネットワーク生成ＧＵＩ２０２に示されているネットワークアーキテクチャの層を選択し、次にその層をネットワークアーキテクチャから削除することができる。別の例では、ユーザはネットワークアーキテクチャの一部を選択してから、ネットワークアーキテクチャのその部分に関連付けられた１つまたは複数のパラメータを変更できる。

ステップ７１８で、ネットワークジェネレータ２００は、ステップ７１６で受信されたネットワークアーキテクチャへの変更に基づいて、エージェントの定義を更新及び再度コンパイルする。例えば、ユーザが設計生成ＧＵＩ２０２との対話を介してネットワークアーキテクチャの層を削除する場合、ネットワークジェネレータ２００は、エージェントの定義を更新して、その層を定義するコードの１つまたは複数の対応する行を削除することができる。

一般的な問題として、ニューラルネットワークを生成及び変更するための上記の技術により、ユーザは、従来のアプローチが可能にするよりもはるかに高速にニューラルネットワークを設計及び変更することができる。とりわけ、ネットワークジェネレータ２００は、ネットワークの生成に関連する複雑なタスクを実行するための単純で直感的なツールを提供する。さらに、ネットワークジェネレータ２００は、ニューラルネットワークアーキテクチャに加えられた変更を、対応するエージェントの定義にシームレスに伝播して戻すことを、便利にも可能にする。ネットワークが説明された方法で訓練されると、ネットワークアナライザ２１０は、図８～１５Ｂと併せて以下でより詳細に説明されるように、ネットワーク機能を分析するための様々な技術を実行する。
ニューラルネットワークのコンポーネントの検査と分析

図８～１５Ｂは、訓練データ２５０に基づいて訓練されたニューラルネットワークを分析するときに、図２のネットワークアナライザ２１０によって実装される様々な技術を示している。本明細書でより詳細に説明するように、ネットワークアナライザ２１０は、ニューラルネットワークの分析及び検査を容易にするために、ネットワーク分析ＧＵＩ２１２を生成する。

図８は、様々な実施形態による、図２のネットワークジェネレータのより詳細な図解である。示されるように、ネットワーク分析エンジン２１０は、推論エンジン８００、近似エンジン８１０、言語エンジン８２０、及び視覚化エンジン８３０を含む。

動作中、推論エンジン８００は、エージェント２４０及びテスト入力８０４を用いて推論動作を実行することによって、活性化データ８０２を生成する。特に、推論エンジンは、エージェント２４０に関連付けられたニューラルネットワーク２４２にテスト入力８０４を提供し、次に、テスト入力８０４に対するそのニューラルネットワークの応答を決定する。活性化データ８０２は、ニューラルネットワークの特定の層に関連する応答の確率分布を示す。推論エンジン８００は、ネットワーク分析ＧＵＩ２１２への後続的な組み込みのために、活性化データ８０２を視覚化エンジン８３０に送信する。推論エンジン８００はまた、活性化データ８０２を近似エンジン８１０及び言語エンジン８２０に送信する。

近似エンジン８１０は、訓練データ２５０と併せて活性化データ８０２を分析して、訓練サンプル８１２を生成する。訓練サンプル８１２は、ニューラルネットワーク２４２に、活性化データ８０２と実質的に同様の活性化データを生成させる訓練データ２５０のサブセットを含む。所与の活性化データと活性化データ８０２との間の数値の差が差の値の閾値よりも小さい場合、所与の活性化データは、活性化データ８０２と「実質的に類似している」と見なされ得る。一実施形態では、訓練データ２５０は、訓練中に以前に記録された各サンプルに関連する活性化レベルを含み得る。別の実施形態では、近似エンジン８１０は、推論エンジン８００に各サンプルで推論動作を実行させることによって、各サンプルの活性化レベルを生成する。近似エンジン８１０は、訓練サンプル８１２を視覚化エンジン８３０に送信して、その後、ネットワーク分析ＧＵＩ２１２に組み込む。

言語エンジン８２０は、記述８２２を生成するために、活性化データ８０２を処理する。記述８２２は、テスト入力８０４に関連するニューラルネットワーク２４２の動作の様々な高レベルの特性を反映する自然言語表現である。例えば、記述８２２は、活性化データ８０２が、テスト入力８０４が特定のカテゴリに分類されるべきであることを強く示唆していることを示し得る。言語エンジン８２０は、異なる活性化レベルに対応する特定の単語をテンプレートの式に取り込むことによって、自然言語記述を生成することができる。例えば、特定のテンプレートは「｛副詞｝は｛値｝である可能性が高い」という形式をとることができる。言語エンジン８２０は、活性化データ８０２に応じて、「副詞」フィールドに異なる副詞を入力することができる。言語エンジン８２０はまた、活性化データ８０２を生成するときにニューラルネットワーク２４２によって出力される値を示すために「値」フィールドにデータを入力することができる。言語エンジン８２０は、記述８２２を視覚化エンジン８３０に送信して、その後、ネットワーク分析ＧＵＩ２１２に組み込む。

視覚化エンジン８３０は、テスト入力８０４及びエージェント２４０の選択を含む、ユーザから様々な情報を取得するために、ネットワーク分析ＧＵＩ２１２を生成する。例えば、ネットワーク分析ＧＵＩ２１２は、ニューラルネットワーク２４２へのテスト入力８０４として提供されるべきであるユーザの入力を受け取ることができる。あるいは、ネットワーク分析ＧＵＩ２１２は、ユーザの入力に基づいて、訓練データ２５０の特定の部分がテスト入力８０４としてニューラルネットワーク２４２に提供されるべきであると決定することができる。視覚化エンジン８３０はまた、ネットワーク分析ＧＵＩ２１２を更新して、活性化データ８０２、訓練サンプル８１２、及び記述８２２を含む、上で議論された様々なデータを組み込む。視覚化エンジン８３０はまた、図９～１４に関連して以下でより詳細に説明されるように、ユーザがニューラルネットワーク２４２のより深い構造を検査することを可能にする他の様々なデータを、ネットワーク分析ＧＵＩ２１２に取り込むことができる。

図９は、様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにニューラルネットワークの生成を促すかを示すスクリーンショットである。示されるように、ＧＵＩパネル９００は、図８に関連して上で論じられた様々なデータに一般に関連する様々なＧＵＩ要素を含む。特に、入力要素９０２は、推論エンジン８００がテスト入力８０４を受け取るためのグラフィックフィールドである。セレクタ９０４は、推論エンジン８００がエージェント２４０の選択を受け取るための選択フィールドである。グラフ要素９０６は、活性化データ８０２を表示するグラフィックフィールドである。テキスト要素９０８は、記述８２２を表示するテキストフィールドである。グリッド要素９１０は、構成可能なセル及び寸法を有するグリッド内に訓練サンプル８１２を表示するグラフィックフィールドである。

また示されるように、ＧＵＩパネル９００は、ニューラルネットワーク２４２に関連する様々なデータ、及びテストデータ８０４に対するニューラルネットワーク２４２のパフォーマンスを描写する他のＧＵＩ要素を含む。具体的には、層要素９２０は、ニューラルネットワーク２４２の異なる層を示し、特定の層の選択を受け取るように構成される。メタデータ要素９３０は、選択された層を説明するメタデータを示す。重み要素９４０は、重みのグリッド９３２を含む。グリッド９３２の各行は、選択した層の特定のニューロンに対応し、各列は特定の出力に対応する。指定された重みは、対応する重みの値を反映する視覚属性で表示される。示されている例では、暗い重みは明るい重みよりも高い重みの値を備えている。重み要素９４０は、選択された重みが活性化データ８０２を生成するためのテスト入力８０４の変換にどのように関与するかをユーザが理解するのを補助するために、選択された重みの自然言語記述を表示するように構成される。活性化パネル９５０は、選択された層に関連する活性化レベル９５２を示す。場合によっては、層の選択に応じて、活性化レベル９５２は、活性化データ８０２に類似し得る。

ネットワークアナライザ２１０は、ニューラルネットワーク２４２の機能をユーザに明示し、ユーザがニューラルネットワーク２４２が様々な状況下でどのように動作するかに関する直感を構築するのを促すために、ネットワーク分析ＧＵＩ２１２と併せて上記のＧＵＩ要素を生成する。このアプローチは、説明した方法で個々の層、重み、またはニューロンを検査できない従来の手法とは異なる。したがって、ネットワークアナライザ２１０は、高精度のニューラルネットワークの迅速な展開を容易にする強力なツールをユーザに提供する。これらの手法は、図１０～１４と併せて以下でより詳細に説明するように、エージェントベースのＡＩモデルのより広いコンテキストにも適用できる。

図１０は、様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにエージェントの基礎となる機能を明示するかを示すスクリーンショットである。示されているように、ウィンドウ１０００は図５のＧＵＩパネル５００に投影される。ウィンドウ１０００は、エージェント２４０（２）の基本的な機能（「ナンバープレートを読み取る」）を明示する。ウィンドウ１０００は、ネットワーク分析ＧＵＩ２１２に含まれている。

ネットワークアナライザ２１０は、エージェント２４０（２）のユーザの選択に応答して、ウィンドウ１０００を含むように、ネットワーク分析ＧＵＩ２１２を更新する。ウィンドウ１０００は、ネットワークアーキテクチャ１０１０、重み１０２０、重みメタデータ１０２２、入力活性化１０３０、及び出力活性化１０３２を含む。ネットワークアーキテクチャ１０１０は、選択されたエージェント２４０（２）に関連付けられたニューラルネットワーク２４２を定義する様々な層及び層間の接続のグラフィカルな描写である。ネットワークアーキテクチャ１０１０は、図４のネットワークアーキテクチャ４１０が生成される方法と類似して生成される。

ネットワークアナライザ２１０は、ウィンドウ１０００内に重み１０２０を生成して、ネットワークアーキテクチャ１０１０の隣接する層を接続する重みに関連する重みの値の分布を示す。ネットワークアナライザ２１０は、異なる接続のユーザの選択に応じて、異なる重みを表示することができる。ネットワークアナライザ２１０は、対応する重みの値に依存する、色または陰影などの特定の視覚的属性を有するセルとしてそれぞれの重みを表示する。示されている例では、暗い重みは明るい重みよりも大きな値を備えている。ネットワークアナライザ２１０はまた、重みメタデータ１０２２を生成して、重み１０２０の様々な属性を表現する。これは、それらの重みの形状、最小の重みの値、関連するバイアスの形状、そのバイアスに含まれる最小値、及びニューラルネットワークに関連付けられた重みの他のいずれかの技術的に実現可能な属性を含む。この方法で重みを表示すると、図９の重み要素９４０と併せて上で説明したのと同様の方法で、ニューラルネットワークの特定のセルが様々な出力をどのように優先するかに関する情報がユーザに提供される。

ネットワークアナライザ２１０はまた、ウィンドウ１０００に、入力活性化１０３０及び出力活性化１０３２を表示させて、ユーザが選択した入力に応答して、ニューラルネットワークのユーザに選択された層が、いかに動作するかを示す。特に、入力活性化１０３０は、ニューラルネットワークが訓練データの選択されたサンプルを処理するときの選択された層への入力の接続の活性化レベルを示す、色または陰影などの特定の視覚的属性で表示される個々のセルを含む。さらに、出力活性化１０３２には、選択した層からの出力の接続の活性化レベルを示す視覚的属性で表示される個々のセルが含まれる。この方法で活性化を表示すると、いかに層が入力を出力に変換するかがユーザに示され、ニューラルネットワークが特定の決定を行う（または行わない）理由をユーザが理解するのに役立ち得る。

図９～１０と併せて上記した手法は、ネットワークレベルの機能、重みのレベルの機能、ニューロンレベルの機能などを含む、いくつかの深さのレベルで、ニューラルネットワークの機能を明示するために、有利にも適用することができる。ネットワーク分析ＧＵＩ２１２を介して、ネットワークアナライザ２１０は、従来のアプローチでは利用できないニューラルネットワークの機能的詳細をユーザが利用できるようにする。図１１～１４は、上記の手法を適用してニューラルネットワークの動作を検査及び理解できる追加の状況を示している。

図１１は、様々な実施形態による、図２のネットワーク分析ＧＵＩが、テスト入力を処理するためのエージェントのセットをどのように明示するかを示すスクリーンショットである。示されるように、ＧＵＩパネル１１００は、ツールパネル１１１０、訓練データパネル１１２０、及びテスト入力１１２２を含む。示されている例では、訓練データパネル１１２０は、とりわけ、住所データを含む様々なデータを抽出するために処理される必要があるインボイスのセットを含む。テスト入力１１２２は、訓練データパネル１１２０からユーザによって選択されたサンプルのインボイスである。ツールパネル１１１０は、テスト入力１１２２を分析するために適用することができる異なるエージェント２５０のリストを含む。示されているように、ツールパネル１１１０は、エージェント２５０（５）（「テキストを認識する」）、エージェント２５０（６）（「アドレスを認識する」）、エージェント２５０（７）（「形状を選択する」）、エージェント２５０（８）（「言語を翻訳する」）、及びエージェント２５０（９）（「フィールドを抽出する」）を含む。ネットワークアナライザ２１０がこれらのエージェントをどのように適用できるかの様々な例を以下に説明する。

図１２は、様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにテスト入力を処理するようエージェントを適用するかを示すスクリーンショットである。示されるように、エージェント２５０（５）（「テキストを認識する」）のユーザの選択に基づいて、ネットワークアナライザ２１０は、ＧＵＩパネル１１００を更新して、領域１２００、１２１０、１２２０、１２３０、及び１２４０を含むテキストを含むテスト入力１１２２の領域を強調する。この方法でテキストが識別されると、以下でより詳細に説明するように、追加のエージェントを適用して追加の処理タスクを実行できる。

図１３は、様々な実施形態による、図２のネットワーク分析ＧＵＩがどのようにテスト入力を処理するよう別のエージェントを適用するかを示すスクリーンショットである。示されるように、エージェント２５０（６）（「アドレスを認識する」）のユーザの選択に基づいて、ネットワークアナライザ２１０は、ＧＵＩパネル１１００を更新して、領域１３００などのアドレスを含むテスト入力１１２２の領域を強調する。ＧＵＩパネル１１００はまた、対応する領域がアドレスを含む信頼水準を表示する。一実施形態では、信頼水準は、エージェント２５０（６）に含まれるニューラルネットワーク２４２の所与の層に関連する活性化レベルの差から導き出すことができる。以下でより詳細に説明するように、１つまたは複数のアドレスが識別された後、別のエージェントを適用してアドレスデータを抽出できる。

図１４は、様々な他の実施形態による、図２のネットワーク分析ＧＵＩがどのように異なるエージェントをテスト入力に適用するかを示すスクリーンショットである。示されるように、エージェント２５０（９）（「フィールドを抽出する」）のユーザの選択に基づいて、ネットワークアナライザ２１０は、テスト入力１１２２の領域１３００からアドレスを抽出し、そのアドレスを出力ファイル１４００にロードする。示されている例では、出力ファイル１４００は、宛先アドレスフィールドに入力する必要がある船荷証券である。

図１１～１４を概ね参照すると、上記の例は、設計分析ＧＵＩ２１２が、いかにユーザが実際の入力データで様々なエージェント２４０をテストすることを可能にして、それらのエージェントの適切な機能を検証するかを示している。所与のエージェント２４０が期待通りに動作しない状況下で、設計分析ＧＵＩ２１２は、図９～１０と併せて上記した技法を介して、ユーザが所与のエージェント内のニューラルネットワーク２４２を分析するのを促す。設計分析ＧＵＩ２１２を介してユーザと対話するときに設計アナライザ２１０によって実行される様々な操作が、図１５Ａ～１５Ｂと併せて以下でより詳細に説明される。

図１５Ａ～１５Ｂは、様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークを分析するための方法ステップのフローの図を示す。方法ステップは、図１～２及び８～１４のシステムと併せて説明されるが、当業者は、任意の順序で方法ステップを実行するように構成された任意のシステムが、本実施形態の範囲内にあることを理解する。

図１５Ａに示されるように、方法１５００は、ステップ１５０２で開始し、それにおいて、ネットワークアナライザ２１０は、エージェントに関連する基礎となるデータを描写するためにネットワーク分析ＧＵＩ２１２を生成する。エージェントには、様々な動作を実行するように訓練されたニューラルネットワークが含まれている。ネットワーク分析ＧＵＩ２１２は、とりわけ、ネットワークアーキテクチャを含む、ニューラルネットワークに関連する様々なデータを描写する。

ステップ１５０４で、ネットワークアナライザ２１０は、エージェントに関連付けられたニューラルネットワークに適用するためのテスト入力を受信する。例えば、ネットワークアナライザ２１０は、図９に示す手書きの数字など、テスト入力を説明するユーザの入力を受け取ることができる。あるいは、ネットワークアナライザ２１０は、訓練データ２５０から訓練サンプルのユーザの選択を受け取ることができる。ネットワークアナライザ２１０は、一般に、ネットワーク分析ＧＵＩ２１２との１つまたは複数のユーザの対話に基づいてテスト入力を受け取る。

ステップ１５０６で、ネットワークアナライザ２１０は、ステップ１５０８で受けたテスト入力に基づいてニューラルネットワークで推論動作を実行して、活性化データを生成する。活性化データは、例えば、ニューラルネットワークの特定の層に関連する活性化レベルであり得る。活性化データは、場合によっては、ニューラルネットワークがテスト入力に割り当てるように構成された分類のセットに関連付けられた確率分布を示し得る。ステップ１５０８で、ネットワークアナライザ２１０は、ネットワーク分析ＧＵＩ２１２を更新して、活性化データを描写する。

ステップ１５１０で、ネットワークアナライザ２１０は、ステップ１５０６で生成された活性化データを処理して、ニューラルネットワークのパフォーマンスの記述を生成する。ネットワークアナライザ２１０によって生成された記述は、テスト入力に応答してニューラルネットワークの少なくとも１つの機能的または行動的側面を特徴付ける自然言語表現である。例えば、説明は、活性化データが、ニューラルネットワークがテスト入力を正しく分類できる可能性が高いことを示し得る。ネットワークアナライザは、様々な活性化レベルと様々なニューラルネットワーク出力に対応する様々な語が入力された式テンプレートに基づいて説明を生成できる。ステップ１５１２で、ネットワークアナライザ２１０は、説明を描写するためにネットワーク分析ＧＵＩ２１２を更新する。

ステップ１５１４で、ステップ１５０８で生成された活性化データに基づいて、ネットワークアナライザ２１０は、ニューラルネットワークを訓練するために以前に使用された訓練データを処理して、テスト入力に類似する訓練サンプルを識別する。例えば、ネットワークアナライザ２１０は、各訓練サンプルをニューラルネットワークに入力してサンプル活性化データを生成し、次にサンプル活性化データをステップ１５０８で生成されたものと比較することができる。サンプル活性化データと活性化データとの間の数値の差が閾値よりも小さい場合、ネットワークアナライザ２１０は、訓練サンプルがテスト入力に類似していると判断する。ニューラルネットワークに精通している者は、活性化データに複数の活性化レベルを含めることができ、活性化データの比較には対応する活性化レベルの比較が含まれることを認識する。ステップ１５１６で、ネットワークアナライザ２１０は、訓練サンプルを描写するためにネットワーク分析ＧＵＩ２１２を更新する。方法１５００は図１５Ｂに続く。

ステップ１５１８で、ネットワークアナライザ２１０は、ユーザ対話ネットワーク分析ＧＵＩ２１２に基づいて、ニューラルネットワークに関連付けられた重みの値のセットを決定する。例えば、ネットワークアナライザ２１０は、ネットワーク分析ＧＵＩ２１２を介してニューラルネットワークの特定の層のユーザの選択を受け取ることができる。次に、ネットワークアナライザ２１０は、層に関連する重みの値のセットを抽出することができる。重みの値のセットは、どのニューロンがどの出力に様々な程度で寄与するかを示す。ステップ１５２０で、ネットワークアナライザ２１０は、重みの値のセットを描写するためにネットワーク分析ＧＵＩを更新する。特に、ネットワークアナライザ２１０は、重みの値のセットを表すためにセルのグリッドを生成し、各セルは、対応する重みの値を表す１つまたは複数の視覚的属性と共に表示される。

ステップ１５２２で、ネットワーク分析ＧＵＩ２１２は、テスト入力に関連付けられた入力に応答して、ニューラルネットワークの選択された層の出力を決定する。例えば、ネットワークアナライザ２１０は、選択された層に入力をする１つまたは複数のニューロンに関連する１つまたは複数の活性化レベルを決定し、次に、選択された層からの出力を提供する１つまたは複数のニューロンに関連する１つまたは複数の活性化レベルを決定することができる。ステップ１５２４で、ネットワークアナライザ２１０は、ネットワーク分析ＧＵＩを更新して、入力活性化レベル及び出力活性化レベルを描写する。そうすることで、ネットワークアナライザ２１０は、ネットワークアナライザ２１２にセルの異なるグリッドを表示させ、それにおいて各セルは、対応する活性化レベルを表す視覚的属性で表示される。

ネットワークアナライザ２１０は、ニューラルネットワークの内部の動作に関する詳細な情報をユーザに提供するために、方法１５００を実行する。この情報により、ユーザは、パフォーマンスを向上させるためにニューラルネットワークを変更する方法について、情報に基づいた決定を下すことができる。ニューラルネットワークは、図３～７と併せて上記した方法で、ネットワークジェネレータ２００を介して変更することができる。ネットワーク評価器２２０は、図１６～２７Ｂと併せて以下でより詳細に説明されるように、訓練データに関連してニューラルネットワークを評価するための追加のツールを提供する。

ニューラルネットワークの訓練に使用されるデータセットの調査と分析
図１６～２７Ｂは、ニューラルネットワークを訓練するために使用される訓練データに関連してニューラルネットワークを評価するときに、図２のネットワーク評価器２２０によって実装される様々な技術を示している。本明細書でより詳細に説明するように、ネットワーク評価器２２０は、ニューラルネットワークの挙動に基づいて訓練データを探索するのを容易にするために、ネットワーク評価ＧＵＩ２２２を生成する。

図１６は、様々な実施形態による、図２のネットワーク評価器のより詳細な図解である。示されるように、ネットワーク評価器２２０は、活性化エンジン１６００、信頼性エンジン１６１０、ソートエンジン１６２０、顕著性エンジン１６３０、及び視覚化エンジン１６４０を含む。

動作中、活性化エンジン１６００は、エージェント２４０及び訓練データ２５０を受信し、次いで、訓練データ２５０に含まれるすべてのサンプルにわたってニューラルネットワーク２４２を用いて推論動作を実行して、活性化データ１６０２を生成する。活性化データ１６０２は、訓練データ２５０の各サンプルについてニューラルネットワーク２４２によって生成された１セットの活性化レベルを含む。与えられた１セットの活性化レベルは、ニューラルネットワークが訓練データ２５０のサンプルに割り当てることができる１セットのカテゴリに関連付けられた確率分布を示す。活性化エンジン１６００は、図８の推論エンジン８００と同様に動作する。活性化エンジン１６００は、訓練データ２５０と活性化データ１６０２を、ネットワーク評価ＧＵＩ２２２へ組み込むべく、信頼性エンジン１６１０、ソートエンジン１６２０、顕著性エンジン１６３０、及び視覚化エンジン１６４０に送信する。

信頼性エンジン１６１０は、活性化データ１６０２に示される各サンプルに関連する活性化レベルに基づいて、信頼性データ１６１２を生成する。信頼性データ１６１２は、ニューラルネットワーク２４２がそれらのサンプルを分類することができる精度を反映する、サンプルごとに異なる信頼性の値を含む。所与のサンプル及び対応する活性化レベルについて、信頼性エンジン１６１０は、最大の活性化レベル（カテゴリニューラルネットワーク２４２に対応するものがサンプルに適用される）と、１つまたは複数の他の活性化レベル（カテゴリニューラルネットワーク２４２に対応するものは適用されない）との間の差を決定する。したがって、所与のサンプルに割り当てられた信頼性の値は、ニューラルネットワーク２４２がサンプルにカテゴリを割り当てる相対的な強さを示す。ニューラルネットワーク２４２がサンプルに誤ったカテゴリを割り当てる状況では、サンプルは「信頼性過多」とラベル付けされ得、ニューラルネットワーク２４２がサンプルの誤ったカテゴリを強く示していることを示す。信頼性エンジン１６１０は、信頼性データ１６１２を、ネットワーク評価ＧＵＩ２２２に組み込むために、ソートエンジン１６２０ならびに視覚化エンジン１６４０に送信する。

ソートエンジン１６２０は、活性化データ１６０２、信頼性データ１６１２、及びネットワーク評価ＧＵＩ２２２を介して受信されたユーザ入力に基づいて、様々な方法で訓練データ２５０のサンプルをソートする。特に、ソートエンジン１６２０は、活性化データ１６０２に含まれる同様の活性化レベルに関連付けられた訓練データ２５０のサンプルを互いにグループ化する。ソートエンジン１６２０が、活性化レベルの類似性を反映する相対的な位置で、２次元のマップにサンプルのグループを配置する。ソートエンジン１６２０はまた、信頼性データ１６１２に含まれる対応する信頼性の値に基づいて、訓練データ２５０のサンプルをフィルタリングする。ソートエンジン１６２０は、これらの様々なソートの動作を実行するときにソートされたサンプル１６２２を生成し、ネットワーク評価ＧＵＩ２２２に組み込むために、ソートされたサンプル１６２２を視覚化エンジン１６４０に送信する。

顕著性エンジン１６３０は、訓練データ２５０を処理して、訓練データ２５０の任意の所与のサンプルについて、そのサンプルの異なる部分がニューラルネットワーク２４２の出力に影響を与える程度を決定する。所与のサンプルを処理するとき、顕著性エンジン１６３０は、サンプルの１つまたは複数の部分に異なる変更を適用して、そのサンプルの異なるバージョンを生成する。次に、顕著性エンジン１６３０は、ニューラルネットワーク２４２に、サンプルの異なるバージョンに基づいて別個の活性化レベルを生成させる。顕著性エンジン１６３０は、サンプルの異なるバージョンにわたる活性化レベルを比較して、サンプルの１つまたは複数の部分への変更がそれらの活性化レベルの変動を引き起こしたかどうかを判定する。次に、顕著性エンジン１６３０は、サンプルの様々な部分がニューラルネットワーク２４２の出力に影響を与える程度を視覚的に示す顕著性マップを生成する。顕著性エンジン１６３０は、訓練データ２５０のすべてのサンプルにわたってこのアプローチを実行して、顕著性データ１６３２を生成する。顕著性エンジン１６３０は、顕著性データ１６３２を視覚化エンジン１６４０に送信して、ネットワーク評価ＧＵＩ２２２に組み込む。

視覚化エンジン１６４０は、訓練データ２５０、活性化データ１６０２、信頼性データ１６１２、ソートされたサンプル１６２２、及び顕著性データ１６３２を受信し、このデータに基づいてネットワーク評価ＧＵＩ２２２を生成及び／または更新する。ネットワーク評価ＧＵＩ２２２は、図１７～２７Ｂと併せて以下でより詳細に説明されるように、ユーザがその訓練データを処理するときにニューラルネットワーク２４２がどのように動作するかに関連して訓練データ２５０を探索することができるインタラクティブツールを明示する。

図１７は、様々な実施形態による、図２のネットワーク評価ＧＵＩがどのように訓練データの探索を容易にするかを示すスクリーンショットである。示されるように、ＧＵＩパネル１７００は、サンプルマップ１７１０、サンプルビュー１７３０、活性化ディスプレイ１７４０、コード入力１７５０、及びフィルタセレクタ１７６０を含む。ＧＵＩパネル１７００は、ネットワーク評価ＧＵＩ２２２に含まれている。ＧＵＩパネル１７００の様々な要素は、前述のＭＮＩＳＴ数字訓練セットに見られるものなど、手書きの数字を描写する画像のサンプルを含む例示的な訓練データ２５０に関連して説明される。

ネットワーク評価器２２０は、図１６と併せて上記のソートエンジン１６１０を介してサンプルマップ１７１０を生成する。ネットワーク評価器２２０は、サンプルごとにサンプルマップ１７１０内に異なる位置を生成する。任意の２つのサンプルの相対的な位置は、通常、２つのサンプルの類似性を反映している。したがって、サンプルマップ１７１０の近接する位置に関連するサンプルは概ね類似しており、サンプルマップ１７１０の離れた位置にあるサンプルは概ね異なる。ネットワーク評価器２２０は、異なるサンプルの活性化レベルを比較し、次にサンプルマップ１７１０の同様の領域内に同様の活性化レベルであるサンプルを配置し、サンプルマップ１７１０の異なる領域に異なる活性化レベルであるサンプルを配置することによって、サンプルマップ１７１０を生成することができる。ネットワーク評価器２２０はまた、訓練データ２５０のサンプルを直接比較して、それらのサンプルを配置することができる。一実施形態では、サンプルマップ１７１０は、ｔ分布型確率的近傍埋め込み法（ｔ－ＳＮＥ）のマップであり得る。

サンプルマップ１７１０は、サンプルのクラスタ１７１２、１７１４、１７１６、１７１８、及び１７２０を含む。各クラスタは、一般に、ニューラルネットワーク２４２の特定の出力に対応する。そのため、特定のクラスタに関連付けられたサンプルに対応する活性化レベルは、互いに概ね類似している。さらに、本明細書で説明される例では、所与のクラスタは、一般に、特定の手書きの数字を描写するサンプルを含む。サンプルは、サンプルマップ１７１０において、ドットまたは十字のいずれかとして表されている。十字で表されたサンプルは、前述の方法で「信頼性過多」とラベル付けされる。

サンプルビュー１７３０は、サンプルマップ１７１０を介して選択されたサンプル１７３２のグラフィック描写を表示する。示されるように、カーソル１７０２がクラスタ１７１２内の位置上に配置されると、サンプルビュー１７３０は、その位置に関連付けられたサンプル１７３２のグラフィック描写を表示する。この場合、「４」が表示される。活性化ディスプレイ１７４０は、サンプル１７３２に関連する活性化レベル１７４２を示している。活性化レベル１７４２は、活性化データ１６０２に含まれ、図１６と併せて上記の方法で活性化エンジン１６００を介して生成される。活性化レベル１７４２は、ニューラルネットワーク２４２がサンプル１７３２が「４」を描写していることを強く表示していることを示している。図１８に示すように、カーソル１７０２がサンプルマップ１７１０内で移動されると、ネットワーク評価器２２０は、サンプルビュー１７３０及び活性化ディスプレイ１７４０を更新する。

図１８は、様々な実施形態による、図２のネットワーク評価ＧＵＩが、どのようにサンプルマップを介して入力を受けるかを示すスクリーンショットである。示されるように、カーソル１７０２がクラスタ１７１４内の位置上に配置されると、サンプルビュー１７３０は、その位置に関連付けられたサンプル１８３２のグラフィック描写を表示する。この場合、「３」が表示される。活性化ディスプレイ１７４０は、サンプル１８３２に関連する活性化レベル１８４２を示し、これは、ニューラルネットワーク２４２が、サンプル１８３２が「３」を示す中程度の表示を呈することを示す。

図１７及び１８の両方を概ね参照すると、コード入力１７５０は、ユーザがサンプルマップ１７１０を処理及びフィルタリングするためのプログラムコードを書くことができるテキストフィールドである。示されているサンプルコードにより、ネットワークアナライザ２２０は、サンプルマップ１７１０を生成するときに、サンプルの各クラスタに異なる色を割り当てる。コード入力１７５０は、ネットワーク評価器２２０によって生成されたプログラムコードを事前に入力することができる。フィルタセレクタ１７６０は、サンプルマップ１７１０に適用する特定のフィルタを示すユーザの入力を受け取る入力要素である。各フィルタは、一般に、実行されると、サンプルマップ１７１０を変更するプログラムコードの一部に対応する。フィルタセレクタ１７６０を介して所与のフィルタを選択すると、ネットワーク評価器２２０は、コード入力１７５０にそのフィルタに対応するプログラムコードの部分を入力し、それにより、ユーザがそのプログラムコードをカスタマイズ及び実行できるようにする。ネットワーク評価器２２０がサンプルマップ１７１０をどのように変更できるかの様々な例を、図１９～２１と併せて以下に説明する。

図１９は、様々な実施形態による、図２のネットワーク評価ＧＵＩが、高い信頼性の値が割り当てられた訓練データのサンプルをどのように表示するかを示すスクリーンショットである。示されるように、「高信頼性」フィルタのユーザの選択に応答して、ネットワーク評価器２２０は、高い信頼性の値が割り当てられたサンプルに対応する位置を表示するのみであるようにサンプルマップ１７１０を更新する。ネットワーク評価器２２０は、図１６と併せて上記の信頼性エンジン１６１０を介してサンプルに信頼性の値を割り当てる。前に説明したように、特定のサンプルに割り当てられた信頼性の値は、サンプルに関連付けられた最高の活性化レベルと１つ以上の他の活性化レベルとの差を表す。

示されている例では、カーソル１７０２は、「２」を示すサンプル１９３２に関連付けられたクラスタ１７１６内の位置にある。活性化レベル１９４２は、サンプル１９３２が「２」を描写していることをニューラルネットワーク２４２が極めて強く表示していることを示している。ニューラルネットワーク２４２は他のいずれかの重要な表示を呈さないので、サンプル１９３２には高い信頼性の値が割り当てられ、したがって、サンプルマップ１７１０が論じられた方法でフィルタリングされるときに示される。

コード入力１７５０は、ネットワークアナライザ２２０を介して実行されるプログラムコードを含み、信頼性の高い値を有するサンプルを識別し、次にそれらのサンプルを表示するのみであるように、サンプルマップ１７１０を更新する。ネットワークアナライザ２２０は、コード入力１７５０に示されるコードへの変更を受信し、次に、変更されたコードを実行して、サンプルマップ１７１０を更新することができる。例えば、ネットワークアナライザ２２０は、信頼性の値の閾値への変更を受信し、次いで、サンプルマップ１７１０に、変更された信頼性レベルの閾値を超える信頼性の値であるサンプルを表示させることができる。ネットワークアナライザ２２０は、図２０～２１と併せて以下に説明するように、他のフィルタでサンプルをフィルタリングすることもできる。

図２０は、様々な実施形態による、図２のネットワーク評価ＧＵＩが、低い信頼性の値が割り当てられた訓練データのサンプルをどのように表示するかを示すスクリーンショットである。示されるように、「低信頼性」フィルタのユーザの選択に応答して、ネットワーク評価器２２０は、低い信頼性の値が割り当てられたサンプルに対応する位置を表示するのみであるようにサンプルマップ１７１０を更新する。また、示されるように、カーソル１７０２は、「５」を示すサンプル２０３２に関連するクラスタ１７１８内の位置にある。活性化レベル２０４２は、ニューラルネットワーク２４２が、サンプル２０３２が「５」を表すという弱い表示を呈し、サンプル２０３２が「２」を表すという弱い表示を呈することを示す。どちらの表示も他方を大きく上回っていないため、サンプル２０３２は、低い信頼性の値が割り当てられ、そのためサンプルマップ１７１０が前述の方法でフィルタリングされたときに表示される。

図２１は、様々な実施形態による、図２のネットワーク評価ＧＵＩが、信頼性過多とラベル付けされた訓練データのサンプルをどのように表示するかを示すスクリーンショットである。示されるように、「信頼性過多」フィルタのユーザの選択に応答して、ネットワーク評価器２２０は、「信頼性過多」とラベル付けされたサンプルに対応する位置を表示するのみであるように、サンプルマップ１７１０を更新する。これらのサンプルは、負の信頼性の値の可能性がある。また、示されるように、カーソル１７０２は、「３」を示すサンプル２１３２に関連するクラスタ１７１４内の位置にある。活性化レベル２１４２は、ニューラルネットワーク２４２が、サンプル２１３２が「２」を表すという強い表示を呈し、サンプル２１３２が「３」を表すという弱い表示を呈することを示す。ニューラルネットワーク２４２は、サンプル２１３２に対して誤った出力を呈するので、サンプル２１３２は、「信頼性過多」とラベル付けされ、したがって、サンプルマップ１７１０が議論された方法でフィルタリングされるときに示される。

一般的な問題として、ネットワーク評価器２２０は、図１７～２１に関連して論じられた例示的な訓練データを超えて、技術的に実行可能な訓練データのセット２５０に基づいて、上記の評価技術を実行することができる。図２２～２７は、ネットワーク評価器２２０が、別の例示的な訓練データのセットに対して、他の評価技法をどのように実行するかを示している。

図２２は、様々な実施形態による、図２のネットワーク評価ＧＵＩが、選択されたニューラルネットワーク出力を促進する訓練データのサンプルをどのように表示するかを示すスクリーンショットである。示されているように、図１０のウィンドウ１０００の更新されたバージョンは、入力活性化１０３０及び出力活性化１０３２を含み、明確にするためにウィンドウ１０００の他の要素は省略されている。前に論じたように、出力活性化１０３２は、訓練データパネル５３０に含まれる訓練データ２５０のサンプルを処理するときに、ニューラルネットワークの選択された層の出力に対応するセルのグリッドを含む。

出力活性化１０３２内でセル２２００を選択すると、ネットワーク評価器２２０は、訓練データ２５０内の特定のサンプルを強調し、セル２２００に高い出力をもたらす。示されるように、ネットワーク評価器２２０は、サンプル２２０２及び２２０４を強調し、ニューラルネットワーク２２４がサンプル２２０２及び２２０４を処理するときに、セル２２００が上昇した出力をもたらすことを示す。この技術の利点は、ユーザが、ニューラルネットワーク２２４の特定の層内のニューロンが、訓練データ２５０に含まれる異なるタイプのサンプルにどのように応答するかについての洞察を得ることができることである。ネットワーク評価器２２０はまた、選択されたセルに基づいて訓練データ２５０をソートすることができ、これは、図２３と併せて以下でより詳細に説明される。

図２３は、様々な実施形態による、ニューラルネットワーク出力に基づいてソートされた訓練データのサンプルを図２のネットワーク評価ＧＵＩがどのように表示するかを示すスクリーンショットである。示されるように、セル２２００のユーザの選択に応答して、ネットワーク評価器２２０は、訓練データ２５０をソートして、セル２２００に関連するニューロンの活性化を促進するサンプルを訓練データパネル５３０の左側に配置し、訓練データパネル５３０の右側のセル２２００に関連するニューロンの活性化を促進しないサンプルを配置する。

さらに、ネットワーク評価器２２０は、グラフ２３０２を含む活性化パネル２３００を生成する。グラフ２３０２は、ソートされた訓練データの異なる部分が、セル２２００に関連するニューロンの活性化をどれほど強く促進するかを示している。例えば、グラフ２３０２は、サンプル２２０２及び２２０４よりも高いレベルを有するが、ニューロンの活性化をより少ない程度に促進するサンプルと共に、左から右に向かって先細りになっている。ネットワーク評価器２２０は、図２４～２５に関連して以下でより詳細に説明されるように、複数のニューロンの出力に関連する式に関連して、図２２～２３と併せて上述した技法を実行することができる。

図２４は、様々な実施形態による、図２のネットワーク評価ＧＵＩが、特定の活性化の基準を満たす訓練データのサンプルをどのように表示するかを示すスクリーンショットである。示されるように、式入力２４００は、訓練データ２５０に含まれるサンプルがテストされる条件式を含む。特に、所与の訓練サンプルについて、ネットワーク評価器２２０は、ニューラルネットワーク２２４が所与の訓練サンプルを処理するときに、式に含まれる各ニューロンの活性化レベルを決定する。次に、ネットワーク評価器２２０は、決定された活性化レベルに基づいて式を評価して、真／偽の値を出力する。ネットワーク評価器２２０は、条件式が論理的に真であると評価される特定のサンプルを強調する。示されている例では、式はサンプル２４０２及び２４０４について肯定的に評価されるので、ネットワーク評価器２２０はそれらのサンプルを強調する。ネットワーク評価器２２０はまた、図２５と併せて以下に説明するように、ユーザが生成した式に基づいて訓練データ２５０のサンプルをソートすることができる。

図２５は、様々な実施形態による、式に基づいてソートされた訓練データのサンプルを図２のネットワーク評価ＧＵＩがどのように表示するかを示すスクリーンショットである。示されるように、式入力２４００は、訓練データ２５０に含まれるサンプルがソートされることに基づく数式を含む。所与の訓練サンプルについて、ネットワーク評価器２２０は、ニューラルネットワーク２２４が所与の訓練サンプルを処理するときに、式に含まれる各ニューロンの活性化レベルを決定する。次に、ネットワーク評価器２２０は、決定された活性化レベルに基づいて式を評価して、真／偽の値を出力する。次に、ネットワーク評価器２２０は、各サンプルに関連付けられた出力値に基づいて訓練データ２５０をソートする。示されている例では、サンプル２４０２及び２４０４は、上昇した出力値に関連付けられているので、ネットワーク評価器２２０は、これらのサンプルを訓練データパネル５３０の左側にソートする。ネットワーク評価器２２０はまた、訓練データ２５０の対応するサンプルに関連する出力レベルを示すために、活性化パネル２３００内にグラフ２５０２を生成する。

図２２～２５を概ね参照すると、ネットワーク評価器２２０は、図１６に関連して前述したソートエンジン１６２０を介して、開示されたソート技術を実行する。図１６の顕著性エンジン１６３０は、図２６と併せて以下でより詳細に説明されるように、訓練データサンプルの特定の部分がニューラルネットワーク２２４の出力に影響を与えることを決定するための追加の技術を実行する。

図２６は、様々な実施形態による、図２のネットワーク評価ＧＵＩが訓練サンプルの関連部分をどのように表示するかを示すスクリーンショットである。示されるように、顕著性ディスプレイ２６００は、選択されたサンプル２６０４の顕著性マップ２６０２を含む。顕著性マップ２６０２は、サンプル２６０４に応答してニューラルネットワーク２２４の出力の変化に影響を与えるサンプル２６０４の特定の部分を示す。ネットワーク評価器２２０は、サンプル２６０４を用いて感度分析を実行することによって顕著性マップ２６０２を生成する。そうすることで、ネットワーク評価器２２０は、サンプル２６０４のわずかに変更されたバージョンを生成し、次に、それらのわずかに変更されたバージョンに対して、ニューラルネットワーク２２４の出力がどのように変化するかを決定する。次に、ネットワーク評価器２２０は、サンプル２６０４の各部分に感度の値を割り当て、その部分がニューラルネットワーク２２４の出力に影響を与える程度を示す。示されている例では、サンプル２６０４に示されている自動車の前部は、自動車の前部への変更がニューラルネットワーク２２４の出力の変更につながることを示すために陰影が付けられている。

図１６～２６を概ね参照すると、開示された技術は、ニューラルネットワークが訓練されることに基づく訓練データに関してニューラルネットワークを評価するための一連のツールをユーザに提供する。当業者は、開示された技術が、ニューラルネットワークを訓練するために使用される訓練データを超えて、任意のデータセットに基づいてニューラルネットワークを評価するために適用され得ることを理解するであろう。これまでに説明されたネットワーク評価器２２０によって実行される技術は、図２７Ａ～２７Ｂと併せて以下により詳細に説明される。

図２７Ａ～２７Ｂは、様々な実施形態による、グラフィカルユーザインターフェイスを介した訓練データのセットに関連するニューラルネットワークを評価するための方法ステップのフローの図を示す。方法ステップは、図１～２及び１６～２６のシステムと併せて説明されるが、当業者は、任意の順序で方法ステップを実行するように構成された任意のシステムが、本実施形態の範囲内にあることを理解する。

図２７Ａに示されるように、方法２７００は、ステップ２７０２で開始し、この場合、ネットワーク評価器２２０は、ニューラルネットワークを訓練するために使用される訓練データのサンプルを取得する。様々な実施形態において、ネットワーク評価器２２０はまた、検証のセット内に含まれるサンプルなど、ニューラルネットワークを訓練するために使用されない訓練データのサンプルを取得することができる。ネットワーク評価器２２０は、得られた訓練データに関連してニューラルネットワークを評価するための様々な技術を実行する。

ステップ２７０４で、ネットワーク評価器２２０は、各サンプルの活性化レベルを含むサンプルの活性化データを生成する。例えば、ネットワーク評価器２２０は、各サンプルをニューラルネットワークに入力し、次に、最後から２番目の層などのニューラルネットワークの特定の層の出力を記録することができる。特定の訓練サンプルの活性化レベルのセットは、ニューラルネットワークが関連するサンプルの可能な各出力をどの程度強く示すかを指定する。

ステップ２７０６で、ネットワーク評価器２２０は、対応する活性化レベルのセットに基づいて、各サンプルの信頼性の値を生成する。所与のサンプル及び対応する活性化レベルについて、ネットワーク評価器２２０は、最大の活性化レベルと１つまたは複数の他の活性化レベルとの間の差を決定する。概念的には、特定のサンプルに割り当てられた信頼性の値は、ニューラルネットワークがサンプルをソートする相対的な強度を示す。

ステップ２７０８で、ネットワーク評価器２２０は、ステップ２７０４で生成された活性化レベルに基づいてサンプルをグループ化する。例えば、ネットワーク評価器２２０は、２つのサンプルに関連する活性化レベルを比較し、そのサンプルのペアに差の値を割り当てることができる。次に、ネットワーク評価器２２０は、相互の差の値が低いサンプルを、特定のグループに集めることができる。活性化レベルの２つのセットを比較するとき、ネットワーク評価器２２０は、一般に、同じ分類に関連する活性化レベルを比較する。

ステップ２７１０で、ネットワーク評価器２２０は、サンプルのグループ、活性化レベル、及び信頼性の値を表示するためのネットワーク評価ＧＵＩ２２２を生成する。そうすることで、ネットワーク評価器２２０は、ネットワーク評価ＧＵＩ２２２に、ステップ２７０８で生成されたサンプルのグループを示すサンプルマップを表示させる。例示的なサンプルマップを図１７に示す。ネットワーク評価器２２０はまた、ネットワーク評価ＧＵＩ２２２に、ステップ２７０４で生成された活性化レベル、及びいくつかの実施形態では、ステップ２７０６で生成された信頼性の値を表示させる。

ステップ２７１２で、ネットワーク評価器２２０は、訓練データのサンプルに関連するデータの表示をフィルタリングするために使用されるべきフィルトレーション基準の選択を受信する。与えられたフィルトレーション基準は、例えば、高い信頼性の値が割り当てられたサンプルのみが表示されるべきであることを示すことができる。選択されたフィルトレーション基準に応答して、ステップ２７１４で、ネットワーク評価器２２０は、ネットワーク評価ＧＵＩ２２２を更新して、割り当てられた信頼性の値及びステップ２７１２で受け取ったフィルトレーション基準に基づいてサンプルの１つまたは複数のグループを変更する。特に、ネットワーク評価器２２０は、ネットワーク評価ＧＵＩ２２２に、フィルトレーション基準を満たすサンプルに関連するデータを表示させるのみである。方法２７００は図２７Ｂに続く。

ステップ２７１６で、ネットワーク評価器２２０は、ニューラルネットワークに関連付けられた出力ニューロンの選択を受け取る。出力ニューロンは、ニューラルネットワークの任意の層に存在できる。実際には、ネットワーク評価器２２０は、ユーザから所与の層の選択を受け取り、次に、ネットワーク評価器２２０は、その層に関連する特定の出力の選択を受け取る。

ステップ２７１８で、ネットワーク評価器２２０は、ステップ２７０４で生成された活性化レベルに基づいて、及び選択されたニューロンの活性化レベルに基づいて、訓練データのサンプルをソートする。特に、ネットワーク評価器２２０は、サンプルに関連付けられた活性化レベルが、選択されたニューロンに関連付けられた活性化レベルと、どれだけ密接に整合するかに関してサンプルをランク付けし、それによって、選択されたニューロンの活性化を強く促進する特定のサンプルを示す。ステップ２７２０で、ネットワーク評価器２２０は、ネットワーク評価ＧＵＩ２２２を更新して、ソートされたサンプルを表示する。そうすることで、ネットワーク評価器２２０は、各サンプルが、選択されたニューロンの活性化を促進する程度を示すグラフを生成することができる。

ステップ２７２２で、ネットワーク評価器２２０は、ニューロンのセットの活性化レベルに関連する式を受け取る。式は、真または偽と評価される条件式、または数値と評価される数式の場合がある。ネットワーク評価器２２０は、各サンプルに応答してニューラルネットワークによって生成された活性化レベルに基づいて式を評価する。ネットワーク評価器２２０は、その評価の結果を対応するサンプルに割り当てる。

ステップ２７２４で、ネットワーク評価器２２０は、式の評価に基づいて訓練データのサンプルをソートする。例えば、ネットワーク評価器２２０は、式が真であると評価される特定のサンプルを識別することができる。ステップ２７２６で、ネットワーク評価器２２０は、ネットワーク評価ＧＵＩ２２２を更新して、ソートされたサンプルを表示する。そうすることで、ネットワーク評価器２２０は、各サンプルの式を評価した結果を示すグラフを生成することができる。

ステップ２７２８で、ネットワーク評価器２２０は、ニューラルネットワークの出力に影響を与える選択されたサンプルの領域を示す顕著性マップを生成する。ネットワーク評価器２２０は、サンプルを用いて感度分析を実行することによって顕著性マップを生成する。特に、ネットワーク評価器２２０は、各サンプルのわずかに変更されたバージョンを生成し、次に、それらのわずかに変更されたバージョンに対して、ニューラルネットワークの出力がどのように変化するかを決定する。ステップ２７３０で、ネットワーク評価器２２０は、ネットワーク評価ＧＵＩ２２２を更新して、顕著性マップを表示する。

図１６～２７Ｂを概ね参照すると、ネットワーク評価器２２０は、訓練データに対してニューラルネットワークがどのように動作するかを分析及び評価するための技術を有利にも呈し、それにより、ユーザがニューラルネットワークの動作を改善する方法について洞察及び直感を得ることができる。さらに、ネットワーク評価ＧＵＩ２２２は、ニューラルネットワークが訓練データにどのように応答するかに基づいてユーザが訓練データを分析及び探索することを促進し、それによってその直感通りに進めるのを支援する。図２と併せて上述したネットワーク記述子２３０は、図２８～３８Ｂと併せて以下でより詳細に説明するように、パフォーマンスニューラルネットワークを記述及び制約するために適用できる追加の機能を実行する。

ニューラルネットワークの挙動のアーティキュレートと制約
図２８～３８Ｂは、ニューラルネットワークの挙動を分析するときに図２のネットワーク記述子２３０によって実装される様々な技術を示している。本明細書でより詳細に説明するように、ネットワーク記述子２３０は、ニューラルネットワークの挙動を記述した様々なデータを表現し、ユーザ入力に基づいてその挙動を制約するために、ネットワーク記述ＧＵＩ２３２を生成する。

図２８は、様々な実施形態による、図２のネットワーク記述子のより詳細な図解である。示されるように、ネットワーク記述子２３０は、ルールエンジン２８００、アーティキュレーションエンジン２８１０、パフォーマンスエンジン２８２０、及び視覚化エンジン２８３０を含む。

動作中、ルールエンジン２８０２は、訓練データ２５０を処理するときにニューラルネットワーク２４２内のニューロンのセットの挙動を分析し、ニューラルネットワーク２４２の出力を変更するためのルール２８０２を生成する。例えば、ルール２８０２に含まれる所与のルールは、ニューラルネットワーク２４２の所与の層に含まれる所与のニューロンが特定の値を出力するとき、ニューラルネットワーク２４２の出力が不正確であり、代替出力に置き換えられるべきであることを示すことができる。ルールエンジン２８０２は、ニューラルネットワーク２４２が誤った出力を生成するときに発生するニューロン活動の特定のパターンを識別することによって、訓練データ２５０を処理するときにニューラルネットワーク２４２のパフォーマンスに基づいて自動的にルールを生成することができる。ルールエンジン２８０２は、これらの特定のパターンを「特殊なケース」としてラベル付けし、これらの特殊なケースの代替出力を生成する。ルールエンジン２８０２はまた、ニューラルネットワーク２４２に適用または統合されるべき特定のルールを示すネットワーク記述ＧＵＩ２３２を介してユーザの入力を受け取ることができる。ルールエンジン２８００はまた、変更のためにネットワーク記述ＧＵＩ２３２を介してルール２８０２をユーザに明示することができる。ルールエンジン２８００は、ネットワーク記述ＧＵＩ２３２に組み込むために、ルール２８０２を視覚化エンジン２８３０に送信する。ルールエンジン２８０２の動作は、図２９と併せて以下でより詳細に説明される。

アーティキュレーションエンジン２８１０は、訓練データ２５０を処理するときに挙動ニューラルネットワーク２４２を分析し、自然言語表現を介してニューラルネットワーク２４２の様々な特性を説明するアーティキュレートされた知識２８１２を生成する。例えば、アーティキュレーションエンジン２８１０は、訓練データ２５０のサンプルの範囲にわたってニューラルネットワーク２４２の精度を分析し、次に、ニューラルネットワークが最も正確に分類できる特定のタイプのサンプルを示す自然言語表現を生成することができる。アーティキュレーションエンジン２８１０はまた、知識ベース２８５０に記憶されたデータに基づいて、アーティキュレートされた知識２８１２を生成することができる。知識ベース２８５０は、アーティキュレーションエンジン２８１０が訓練データ２５０の特定のサンプルを処理するときにニューラルネットワーク２４２の様々な挙動にマッピングするという論理的事実（ｌｏｇｉｃａｌ ｆａｃｔ）を含む。例えば、ニューラルネットワーク２４２が訓練データ２５０のサンプルを、ドアを含む車を表すものとして分類するとする。アーティキュレーションエンジン２８１０は、車の側面にドアがあることを示す知識ベース２８５０から論理的事実を抽出することができる。この論理的事実に基づいて、アーティキュレーションエンジン２８１０は、訓練データ２５０のサンプルが車の側面を描写していることを示すアーティキュレートされた知識２８１２を生成することができる。アーティキュレーションエンジン２８１０は、アーティキュレートされた知識２８１２を視覚化エンジン２８３０に送信して、ネットワーク記述ＧＵＩ２３２に組み込む。アーティキュレーションエンジン２８１０の動作は、図３０～３１と併せて以下でより詳細に説明される。

パフォーマンスエンジン２８２０は、訓練中及びその後に推論動作を実行するときにニューラルネットワーク２４２のパフォーマンスを分析し、ニューラルネットワーク２４２のパフォーマンスを定量化するパフォーマンスデータ２８２２を生成する。特に、パフォーマンスデータ２８２２は、ニューラルネットワーク２４２が様々なレベルの精度にどれだけ速く収束するか、ニューラルネットワーク２４２が異なる入力をどれだけ速く分類できるか、及びニューラルネットワーク２４２の各層が実行中にどれだけのメモリを消費するかを示す。パフォーマンスエンジン２８２０はまた、ニューラルネットワーク２４２の代替バージョンを生成し、これらの代替バージョンの比較分析を実行することができる。パフォーマンスエンジン２８２０は、ネットワーク記述ＧＵＩ２３２に組み込むために、パフォーマンスデータ２８２２を視覚化エンジン２８３０に送信する。パフォーマンスエンジン２８２２の動作は、図３２～３７と併せて以下でより詳細に説明される。

視覚化エンジン２８３０は、ルール２８０２、アーティキュレートされた知識２８１２、及びパフォーマンスデータ２８２２を受け取り、このデータに基づいてネットワーク記述ＧＵＩ２３２を生成及び／または更新する。ネットワーク記述ＧＵＩ２３２は、図２９～３７と併せて以下により詳細に記載されるように、ユーザがルール２８０２を生成及び／または変更し、アーティキュレートされた知識２８１２を閲覧し、パフォーマンス２８２２を生成し、ニューラルネットワーク２４２の代替バージョンを分析することができる対話型ツールを明示する。

図２９は、様々な実施形態による、図２のネットワーク記述ＧＵＩが、様々な状況下でニューラルネットワークの挙動の制約をどのように促進するかを示すスクリーンショットである。示されるように、ルール入力２９００は、ニューラルネットワーク２４２が変更された出力データを生成すべき状況を指定するルール２９０２を含む。特に、ルール２９０２には、活性化データが特殊なケースと見なされる場合、出力データ２９１０の代わりに特殊なケースの出力データ２９１２を出力するべきであることを示すプログラムコードが含まれている。活性化データは、例えば、ニューラルネットワーク２４２の１つまたは複数の層内の１つまたは複数のニューロンの出力、またはそれらの出力に基づいて所与の値に評価される式を含むことができる。ニューラルネットワーク２４２が推論動作を実行するとき、特別な場合の状況を識別し、それに応じてニューラルネットワーク２４２の出力を変更するために、ルール２９０２に関連付けられたプログラムコードが実行される。

ネットワーク記述子２３０は、誤った出力を生成するときにニューラルネットワーク２４２の活性化パターンを分析し、次にそれらの活性化パターンを正しい出力にマッピングすることによって、ルール２９０２のプログラムコードを自動的に生成することができる。ネットワーク記述子２３０はまた、ルール入力２９００を介してユーザからルール２９０２を定義するプログラムコードを受信することができる。ネットワーク記述子はまた、ネットワークの挙動を制約するルールを生成するだけでなく、図３０～３１と併せて以下で詳しく説明するように、ネットワークの挙動を記述する式を生成することもできる。

図３０は、様々な実施形態による、図２のネットワーク記述ＧＵＩがニューラルネットワークの挙動をどのようにアーティキュレートするかを示すスクリーンショットである。示されるように、アーティキュレーションパネル３０００は、語彙３００２、定義３００４、常識的な事実（ｃｏｍｍｏｎ ｓｅｎｓｅ ｆａｃｔ）３００６、及び派生的事実３００８を含む。アーティキュレーションパネル３０００は、ネットワーク記述ＧＵＩ２３２に含まれている。

ネットワーク記述子２３０は、知識ベース２８５０から語彙３００２、定義３００４、及び常識的な事実３００６を取得する。語彙３００２には、車に関連する様々な用語が含まれている。定義３００４は、車に関連する用語の定義を含む。常識的な事実３００６には、一般的に適用可能な論理的事実、及び自動車に特に適用可能な他の論理的事実が含まれる。ネットワーク記述子２３０は、訓練データ２５０のサンプルを分析するとき、ニューラルネットワーク２４２の挙動に基づいて派生的事実３００８を生成する。本明細書で説明する例では、訓練データ２５０のサンプルは、セグメンテーションパネル３０１０、３０１２、３０１４、及び３０１６に示されているように、車の画像である。

セグメンテーションパネル３０１０、３０１２、３０１４、及び３０１６は、訓練データ２５０のサンプルに基づいてニューラルネットワーク２４２が生成する様々なセグメンテーションマップを示している。セグメンテーションパネル３０１０は、車に関連するサンプルの領域を示す。セグメンテーションパネル３０１２は、車のホイールに関連するサンプルの領域を示す。セグメンテーションパネル３０１４は、車の後部に関連するサンプルの領域を示す。セグメンテーションパネル３０１６は、車の後部のナンバープレートに関連するサンプルの領域を示す。

ネットワーク記述子２３０は、訓練データ２５０のサンプルのために生成されたセグメンテーションマップに基づいて常識的な事実３００６を論理的に組み合わせることによって、派生的事実３００８を生成する。ネットワーク記述子２３０は、図３１と併せて以下に説明するように、ユーザの入力に応答して各派生的事実３００８を生成するために使用される論理プロセスを明らかにすることができる。

図３１は、様々な実施形態による、図２のネットワーク記述ＧＵＩが派生的事実を表現するかを示すスクリーンショットである。示されるように、アーティキュレーションパネル３０００は、訓練データ２５０のサンプル内の車が向こう側を向いていることを判定するためにネットワーク記述子２３０が実施する論理ステップを概説する説明３１００を含む。特に、ネットワーク記述子２３０は、セグメンテーションパネル３０１４に示されるように、ニューラルネットワーク２４２が訓練データ２５０のサンプルにおいてトランクを識別したと決定する。ネットワーク記述子２３０はまた、ほとんどの車が後部にトランクを有することから、車の後部が見えると判定する。ネットワーク記述子２３０はまた、常識的な事実３００６に示されているように、何かの後部が見えるとき、その物は反対側を向いていると判定する。これらの様々な事実に基づいて、ネットワーク記述子２３０は、サンプルに示されている車が反対側を向いていると結論付ける。

図３０～３１を概ね参照すると、ネットワーク記述子２３０は、異なる入力を処理するときにニューラルネットワーク２４２がどのように実行するかを特徴付ける自然言語の記載及び説明を有利に提供する。これらの説明に基づいて、ユーザは、ニューラルネットワーク２４２がどのように実行するか、及びニューラルネットワーク２４２が様々なタスクに対して適切に動作するかどうかについてのより理解を深めることができる。ネットワーク記述子２３０はまた、図３２～３７と併せて以下でより詳細に説明されるように、訓練及び推論中にニューラルネットワーク２４２がどのように実行するかを定量化するパフォーマンスデータを生成する。

図３２は、様々な実施形態による、図２のネットワーク記述ＧＵＩが、ニューラルネットワークの訓練に関連するパフォーマンスデータをどのように描写するかを示すスクリーンショットである。示されるように、パフォーマンスパネル３２００は、図２８のニューラルネットワーク２４２に関連付けられたネットワークアーキテクチャ３２０２と、精度グラフ３２１０とを含む。ネットワークアーキテクチャ３２０２は、前述のように、ユーザの入力に応答してニューラルネットワーク２４２の基礎となる定義を変更するように構成される対話型ＧＵＩ要素である。精度グラフ３２１０は、訓練中にニューラルネットワーク２４２の精度が時間と共にどのように変化するかを表すプロット３２１２を含む。示されるように、ニューラルネットワーク２４２が実行する精度は、訓練の処置の間、時間と共に改善される。ネットワーク記述子２３０は、ニューラルネットワーク２４２を評価する際にユーザを支援するためにパフォーマンスパネル３３０を生成し、また、以下でより詳細に説明される他のタイプのパフォーマンスパネルを生成する。

図３３は、様々な他の実施形態による、図２のネットワーク記述ＧＵＩが、ニューラルネットワークの訓練に関連する他のパフォーマンスデータをどのように描写するかを示すスクリーンショットである。示されるように、パフォーマンスパネル３３００は、図２８のニューラルネットワーク２４２に関連するネットワークアーキテクチャ３３０２と、推論グラフ３３１０とを含む。推論グラフ３３１０は、訓練データの異なるサンプルを分類するために必要な推論時間を示すプロット３３１２を含む。示されるように、ニューラルネットワーク２４２は、異なるサンプル３３２０を処理するために異なる長さの時間を必要とする。

図３２～３３を概ね参照すると、ネットワーク記述子２３０は、動作中のニューラルネットワーク２４２のパフォーマンスを説明するために、これらの図と併せて説明されるパフォーマンスデータを生成する。ネットワーク記述子２３０はまた、以下でより詳細に説明されるように、ニューラルネットワーク２４２が実行されるときに消費される計算リソースの量を示すデータをキャプチャする。

図３４は、様々な他の実施形態による、図２のネットワーク記述ＧＵＩが、ニューラルネットワークの実行時に消費されたメモリの量をどのように表示するかを示すスクリーンショットである。示されるように、リソースパネル３４００は、ネットワークアーキテクチャ３４０２及びメモリチャート３４１０を含む。メモリチャート３４１０は、ネットワークアーキテクチャ３４０２に規定されている各層の実行中に消費されるメモリの量を示す棒グラフである。第２の畳み込み層は１４４キロバイトで最も多くのメモリを消費する。メモリチャート３４１０はまた、ニューラルネットワーク２４２が実行されるときに消費されるメモリの総量を示すことができる。

ネットワーク記述子２３０は、図３２～３４と併せて上記した様々なパネルを生成して、ニューラルネットワーク２４２がどのように動作するかについての貴重な洞察をユーザに提供する。この情報に基づいて、ユーザは、ニューラルネットワーク２４２を変更する必要があるかどうかを判定することができる。ネットワーク記述子２３０は、図３５～３７と併せて以下に説明するように、ユーザがニューラルネットワーク２４２の代替バージョンを生成及びテストすることを可能にする追加のパネルを生成する。

図３５は、様々な実施形態による、図２のネットワーク記述ＧＵＩがいかに所与のニューラルネットワークの異なったバージョンを表現するかを示すスクリーンショットである。示されるように、変更パネル３５００は、ユーザが代替ネットワークアーキテクチャを生成するために対話することができるネットワークアーキテクチャ３５０２を含む。例えば、ユーザは、変更要素３５０４と対話して、ネットワークアーキテクチャ３５０２に含まれる所与の層のサイズを増減することができる。代替バージョンパネル３５１０及び３５２０は、ネットワークアーキテクチャ３５０２へのユーザの変更に基づいて生成される代替ネットワークアーキテクチャ３５１２及び３５２２をそれぞれ示している。ネットワーク記述子２３０は、以下でより詳細に説明されるように、これらの異なるバージョンのニューラルネットワーク２４２との比較分析を実行して、追加のパフォーマンスデータを生成することができる。

図３６は、様々な実施形態による、所与のニューラルネットワークの異なるバージョンに関連する比較パフォーマンスデータを図２のネットワーク記述ＧＵＩがどのように表示するかを示すスクリーンショットである。示されるように、比較パフォーマンスパネル３６００は、代替ネットワークアーキテクチャ３５１２及び３５２２、ならびに精度グラフ３６１０を含む。精度グラフ３６１０は、訓練中のニューラルネットワーク２４２の異なるバージョンの精度を表すプロット３６１２及び３６２２を含む。プロット３６１２はネットワークアーキテクチャ３５１２に対応し、プロット３６２２はネットワークアーキテクチャ３５２２に対応する。示されているように、ネットワークアーキテクチャ３５１２は、ネットワークアーキテクチャ３５２２よりも高速で、高度の精度を達成する。ネットワーク記述子２３０は、以下でより詳細に説明されるように、ニューラルネットワーク２４２の代替バージョンを特徴付ける追加のデータをユーザに呈する。

図３７は、様々な他の実施形態による、所与のニューラルネットワークの異なるバージョンに関連する他の比較パフォーマンスデータを図２のネットワーク記述ＧＵＩがどのように表示するかを示すスクリーンショットである。示されるように、比較パネル３７００は、代替ネットワークアーキテクチャ３５１２及び３５２２、ならびにそれらのネットワークアーキテクチャに対応する比較パネル３７１２及び３７２２を含む。比較パネル３７１２及び３７２２は、それぞれのネットワークアーキテクチャに関連する様々なパフォーマンスデータを伝達し、それにより、ユーザは、ニューラルネットワーク２４２に加えられた変更がパフォーマンスを増加させるか減少させるかを評価することを可能にする。

図３２～３７を概ね参照すると、ネットワーク記述子２３０は、これらの図に関連して説明される様々なパネルでネットワーク記述ＧＵＩ２３２を生成及び／または更新して、ニューラルネットワーク２４２を改善することでユーザを支援することができる有益なデータをユーザに呈する。有利なことに、ネットワーク記述ＧＵＩ２３２を介して明示される様々なツールは、ユーザがニューラルネットワークを生成及び変更することができる便利なメカニズムを生じる。

ネットワーク記述子２３０は、一般に、ニューラルネットワークの挙動の様々な側面を記述し、ニューラルネットワークの挙動を特徴付けて定量化し、特定の状況下でニューラルネットワークの挙動を制約するための広範囲の動作を生じさせる。ネットワーク記述子２３０の動作は、図３８Ａ～３８Ｂと併せて以下でより詳細に説明される。

図３８Ａ～３８Ｂは、様々な実施形態による、グラフィカルユーザインターフェイスを介してニューラルネットワークの挙動をアーティキュレートし、制約するための方法ステップのフローの図を示している。方法ステップは、図１～２及び２８～３７のシステムと併せて説明されるが、当業者は、任意の順序で方法ステップを実行するように構成された任意のシステムが、本実施形態の範囲内にあることを理解する。

図３８Ａに示されるように、方法３８００は、ステップ３８０２で始まり、図２のネットワーク記述子２３０は、ニューラルネットワークを訓練するために使用される訓練データのサンプルを取得する。訓練データのサンプルには、例えば、手書きの数字の画像のセット、自動車の画像のセット、音声ファイルのセットなどを含む、技術的に実現可能な任意のデータセットを含めることができる。

ステップ３８０４で、ネットワーク記述子２３０は、訓練データ内のサンプルの活性化データを生成する。例えば、ネットワーク記述子２３０は、ニューラルネットワークに訓練データのサンプルを用いて推論動作を実行させて、そのサンプルの分類を生成することができる。次に、ネットワーク記述子２３０は、ニューラルネットワークの所与の層に関連するニューロンのセットの出力を分析して、活性化データを生成することができる。

ステップ３８０６で、ネットワーク記述子２３０は、訓練データのサンプルに応答してニューラルネットワークの出力を決定する。例えば、ネットワーク記述子２３０は、ニューラルネットワークが訓練データのサンプルに割り当てる分類を決定することができる。出力は必ずしも正しいとは限らない。しかし、ネットワーク記述子２３０は、ステップ３８０４で生成された活性化データに基づいて誤った出力を変更するようにニューラルネットワークの出力を変更することができる。

ステップ３８０８で、ネットワーク記述子２３０は、活性化データに基づいてニューラルネットワークの出力を変更するルールを生成する。ニューラルネットワークが活性化データと一致する活性化パターンを示す状況では、ルールが適用され、ニューラルネットワークに変更された出力が生成される。図２９には、ニューラルネットワークの出力を変更するために適用できるルールの例が含まれている。ネットワーク記述子２３０は、ニューラルネットワークの挙動を制約するために上記のステップを実装する。ネットワーク記述子２３０はまた、ニューラルネットワークの挙動をアーティキュレートするために以下のステップを実施する。

ステップ３８１０で、ネットワーク記述子２３０は、ニューラルネットワークを訓練するために使用される訓練データに関連するドメイン事実（ｄｏｍａｉｎ ｆａｃｔ）のセットを決定する。ドメイン事実のセットは、訓練データに特に適用できる論理的事実を含むナレッジベースから導出できる。例えば、自動車に関連する一連のドメイン事実は、ほとんどの車に４つのホイールがあること、または車の後部に通常トランクがあることを示し得る。

ステップ３８１２で、ネットワーク記述子２３０は、一般知識的事実（ｇｅｎｅｒａｌ ｋｎｏｗｌｅｄｇｅ ｆａｃｔ）のセットを決定する。一般知識的事実のセットは、様々な状況に関連する可能性のある一般的に適用可能な事実を含む知識ベースから導き出すことができる。例えば、ネットワーク記述子２３０は、何かの後部が見える場合、その物は見ている者の反対側を向いていることを示す一般知識的事実を決定することができる。

ステップ３８１４で、ネットワーク記述子２３０は、ドメイン事実のセットを一般知識的事実のセットと比較して、１つまたは複数の派生的事実を生成する。例えば、ネットワーク記述子２３０は、特定のサンプルが、車のトランクが見えるために反対側を向いている自動車を含むことを示す派生的事実を生成することができ、一般知識的事実は、何かの後部が見えるとき、その何かは向こう側を向いているということを示す。ネットワーク記述子２３０は、自動車に関連するもの以外にも、技術的に実行可能な任意のタイプの訓練データにこのアプローチを適用することができる。ステップ３８１６で、ネットワーク記述子２３０は、ネットワーク記述ＧＵＩ２３２を更新して、ドメイン事実のセット、一般知識的事実のセット、及び１つまたは複数の派生的事実を表示する。方法３８００は図３８Ｂに続く。

ステップ３８１８で、ネットワーク記述子２３０は、１つまたは複数の異なるバージョンのニューラルネットワークを生成する。例えば、ネットワーク記述子２３０は、ニューラルネットワークに関連付けられたネットワークアーキテクチャのグラフィカルな描写を介して、ニューラルネットワークの所与の層に対するユーザの変更を受け取ることができる。このようにして、ネットワーク記述子２３０は、ニューラルネットワークのパフォーマンスを改善する変化を識別するために、ユーザがニューラルネットワークのバリエーションを生成及びテストすることを可能にする。

ステップ３８２０で、ネットワーク記述子２３０は、ニューラルネットワークの各バージョンのパフォーマンスデータを生成する。ニューラルネットワークの特定のバージョンについて、パフォーマンスデータは、訓練中にニューラルネットワークの精度がどのように変化するか、ニューラルネットワークが訓練データの様々なサンプルについて推論動作を実行するために必要な時間、ニューラルネットワークの各層が消費するメモリの量、及びニューラルネットワークのフォーマンスを特徴付けるその他のデータを示すことができる。また、図３２～３７と併せて既に例として説明されているように、ステップ３８２２で、ネットワーク記述子２３０は、ネットワーク記述ＧＵＩ２３２を更新して、パフォーマンスデータを表示する。

上記の技術を介して、ネットワーク記述子３３０は、ニューラルネットワークの挙動を特徴付ける自然言語記述をアーティキュレートし、その挙動を制約してニューラルネットワークの精度を高めることができる。したがって、これらの手法により、ユーザはニューラルネットワークがどのように動作するかをより深く理解し、その理解を他者に伝え、必要に応じてニューラルネットワークの出力を変更することができる。

要約すると、ニューラルネットワークを生成、分析、評価、及び記述するための様々なツールをユーザに明示する人工知能（ＡＩ）設計アプリケーションである。ＡＩの設計アプリケーションには、ネットワークアーキテクチャのグラフィカルな描写で、ユーザの操作に基づいてニューラルネットワークを定義するプログラムコードを生成及び／または更新するネットワークジェネレータが含まれている。また、ＡＩの設計アプリケーションには、テスト入力に応じて、層のレベル、ニューロンのレベル、及び重みレベルでニューラルネットワークの挙動を分析するネットワークアナライザも含まれている。ＡＩの設計アプリケーションには、訓練データのサンプルの範囲全体でニューラルネットワークの包括的な評価を実行するネットワーク評価器がさらに含まれている。最後に、ＡＩの設計アプリケーションには、ニューラルネットワークの挙動を自然言語でアーティキュレートし、ルールのセットに従ってその挙動を制約するネットワーク記述子が含まれている。

従来技術と比較した開示された技術の少なくとも１つの技術的な利点は、開示されたＡＩの設計アプリケーションが、設計者であるユーザが大量のプログラムコードを書いたり対話したりすることを必要とせずに、複雑なニューラルネットワークアーキテクチャを生成できることである。従来技術と比較した開示された技術の別の技術的な利点は、開示されたＡＩの設計アプリケーションが、所与のニューラルネットワークアーキテクチャの個々のコンポーネントの基礎となる動作及び機能に関する詳細な情報を設計者に提供するということである。したがって、ＡＩの設計アプリケーションは、設計者が開発することを可能にし、ニューラルネットワークがどのように動作するかのさらなる理解を可能にする。従来技術と比較した開示された技術の別の技術的な利点は、開示されたＡＩの設計アプリケーションが、訓練段階中に所与のニューラルネットワークがどのように動作するかについて詳細な分析を実行し、それによって、ニューラルネットワークが特定の入力に基づいて特定の出力を生成する理由を設計者がよりよく理解できるようにするということである。従来技術と比較した開示された技術のさらに別の技術的な利点は、開示されたＡＩの設計アプリケーションが、所与のニューラルネットワークがどのように動作及び機能するかを特徴付ける自然言語の記述を自動的に生成することである。特に、これらの説明は、ニューラルネットワークの動作を設計者に説明するのに役立ち、設計者がニューラルネットワークの機能特性を他者にアーティキュレート及び説明できるようにする。これらの技術的な利点は、従来技術のアプローチに対する１つまたは複数の技術的進歩を表している。

１．いくつかの実施形態は、ニューラルネットワークの挙動を制約するためのコンピュータ実装方法であって、前記ニューラルネットワークに、第１の訓練データに基づいて第１の推論操作を実行させて、第１の出力を生成させること、前記第１の訓練データに関連付けられた第１のターゲット出力に基づいて、前記第１の出力に対応する第１のルールを生成すること、第２の推論操作を実行するときに前記ニューラルネットワークが前記第１の出力を生成することを判定すること、及び前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、代わりに、前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１のターゲット出力を出力するようにする前記第１のルールを実行することを含む、前記方法を含む。

２．前記第１の出力と前記第１のターゲット出力との間の比較に基づいて、前記第１の出力が不正確であると判定することをさらに含む、条項１のコンピュータ実装方法。

３．前記第１のルールに関連付けられたプログラムコードを表示するためグラフィカルユーザインターフェイスを生成すること、第２のルールを生成するために前記グラフィカルユーザインターフェイスを介して前記プログラムコードへの少なくとも１つの変更を受信すること、前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、代わりに、前記ニューラルネットワークが前記第１の入力の受信に応答して異なる出力を出力するようにする前記第２のルールを実行することをさらに含む、条項１～２のいずれかのコンピュータ実装方法。

４．知識ベースから、前記第１の訓練データに関連する語彙用語のセットを抽出すること、及び語彙用語の前記セットを表示するためのグラフィカルユーザインターフェイスを生成すること、をさらに含む、条項１～３のいずれかのコンピュータ実装方法。

５．知識ベースから、前記第１の訓練データの１つ以上の論理属性を示すドメイン事実のセットを抽出すること、及び前記ドメイン事実のセットを表示するためのグラフィカルユーザインターフェイスを生成すること、をさらに含む、条項１～４項のいずれかのコンピュータ実装方法。

６．前記ドメイン事実のセット及び前記第１の出力に基づいて派生的事実を生成することをさらに含み、前記派生的事実は、前記第１の推論動作を実行するときに前記ニューラルネットワークの機能的属性を特徴付ける、条項１～５のいずれかのコンピュータ実装方法。

７．グラフィカルユーザインターフェイスを介して表示するための前記ニューラルネットワークのアーキテクチャ表現を生成すること、及び前記グラフィカルユーザインターフェイスを介して受信した入力に基づいて、前記ニューラルネットワークの複数の異なるバージョンを生成すること、をさらに含む、条項１～６のいずれかのコンピュータ実装方法。

８．前記ニューラルネットワークの少なくとも１つのバージョンのパフォーマンスデータを生成することであって、前記パフォーマンスデータが、訓練フェーズ中の前記ニューラルネットワークの前記少なくとも１つのバージョンの１つ以上のパフォーマンス特性を特徴付ける、前記生成すること、及び前記パフォーマンスデータを表示するために前記グラフィカルユーザインターフェイスを更新すること、をさらに含む、請求項１～７のいずれかのコンピュータ実装方法。

９．前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンが、動作中に１つまたは複数の出力を生成する精度を示す、条項１～８のいずれかのコンピュータ実装方法。

１０．前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンが１つまたは複数の出力を生成するのに要する時間の長さを示す、条項１～９のいずれかのコンピュータ実装方法。

１１．いくつかの実施形態は、プロセッサによって実行されるとき、前記プロセッサに、ニューラルネットワークの挙動を、制約させるプログラム命令を格納する非一時的なコンピュータ可読媒体であって、前記プロセッサは、第１の訓練データに関連付けられた第１のターゲット出力に基づいて第１の出力に対応する第１のルールを生成するステップであって、前記第１の出力は、前記第１の訓練データを使用して前記ニューラルネットワークによって実行される第１の推論操作から生じる、前記生成するステップ、第２の推論操作を実行するときに前記ニューラルネットワークが前記第１の出力を生成することを判定するステップ、及び前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、代わりに、前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１のターゲット出力を出力するようにする前記第１のルールを実行するステップを実行する、前記非一時的なコンピュータ可読媒体を含む。

１２．前記第１の出力と前記第１のターゲット出力との間の比較に基づいて、前記第１の出力が不正確であると判定するステップをさらに含む、条項１１の非一時的なコンピュータ可読媒体。

１３．前記第１のルールに関連付けられたプログラムコードを表示するためグラフィカルユーザインターフェイスを生成するステップ、第２のルールを生成するために前記グラフィカルユーザインターフェイスを介して前記プログラムコードへの少なくとも１つの変更を受信するステップ、及び前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、代わりに、前記ニューラルネットワークが前記第１の入力の受信に応答して異なる出力を出力するようにする前記第２のルールを実行するステップをさらに含む、条項１１～１２のいずれかの非一時的なコンピュータ可読媒体。

１４．知識ベースから、前記第１の訓練データに関連する語彙用語のセットを抽出するステップ、及び語彙用語の前記セットを表示するためのグラフィカルユーザインターフェイスを生成するステップをさらに含む、条項１１～１３のいずれかの非一時的なコンピュータ可読媒体。

１５．知識ベースから、前記第１の訓練データの１つ以上の論理属性を示すドメイン事実のセットを抽出するステップ、及び前記ドメイン事実のセットを表示するためのグラフィカルユーザインターフェイスを生成するステップをさらに含む、条項１１～１４のいずれかの非一時的なコンピュータ可読媒体。

１６．前記ドメイン事実のセット及び前記第１の出力に基づいて派生的事実を生成するステップをさらに含み、前記派生的事実は、前記第１の推論操作を介して処理される訓練データの第１のサンプルの少なくとも１つの属性を示す、条項１１～１５のいずれかの非一時的なコンピュータ可読媒体。

１７．前記ニューラルネットワークの少なくとも１つのバージョンのパフォーマンスデータを生成するステップであって、前記パフォーマンスデータが、訓練フェーズ中の前記ニューラルネットワークの前記少なくとも１つのバージョンの１つ以上のパフォーマンス特性を特徴付ける、前記生成するステップ、及び前記パフォーマンスデータを表示するために前記グラフィカルユーザインターフェイスを更新するステップをさらに含む、条項１１～１６のいずれかの非一時的なコンピュータ可読媒体。

１８．前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンが、動作の間に１つまたは複数の出力を生成するときに消費するメモリの量を示す、条項１１～１７のいずれかの非一時的なコンピュータ可読媒体。

１９．前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンに含まれるニューラルネットワーク層が動作の間に１つまたは複数の出力を処理するときに消費するメモリの量を示す、条項１１～１８のいずれかの非一時的なコンピュータ可読媒体。

２０．いくつかの実施形態は、ソフトウェアアプリケーションを格納するメモリと、プロセッサであって、前記ソフトウェアアプリケーションを実行するときに、ニューラルネットワークに、第１の訓練データに基づいて第１の推論操作を実行させて、第１の出力を生成させるステップ、前記第１の訓練データに関連付けられた第１のターゲット出力に基づいて、前記第１の出力に対応する第１のルールを生成するステップ、第２の推論操作を実行するときに前記ニューラルネットワークが前記第１の出力を生成することを判定するステップ、及び前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、代わりに、前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１のターゲット出力を出力するようにする前記第１のルールを実行するステップを実行するよう構成されるプロセッサとを備えるシステムを含む。

請求項のいずれかに記載された請求項の要素のいずれか及び／または本願に記載の任意の要素の任意のすべての組み合わせが、任意の方法で、本発明及び保護の企図された範囲内に入る。

様々な実施形態の説明は、例証の目的で提示されているが、包括的に、または開示される実施形態に限定されることが意図されていない。多くの変更及び変形例は、説明される実施形態の範囲及び主旨から逸脱するものではないということが当業者に明白である。

本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具体化され得る。したがって、本開示の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはすべてが包括的に「モジュール」、「システム」、もしくは「コンピュータ」と称され得るソフトウェア及びハードウェアの態様を組み合わせる実施形態の形態をとり得る。さらに、本開示の態様は、コンピュータ可読プログラムコードが組み込まれた１つまたは複数のコンピュータ可読媒体（複数可）に組み込まれたコンピュータプログラム製品の形態をとることができる。

１つ以上のコンピュータ可読媒体（複数可）の任意の組み合わせを利用し得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子、磁気、光、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または任意の前述の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより多くの具体例は、１つ以上の通信回線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または前述の任意の好適な組み合わせを含むであろう。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる使用のために、またはそれらと接続してプログラムを含むまたは記憶することができる任意の有形媒体であり得る。

本開示の態様は、本開示の実施形態に従った方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／またはブロック図を参照して上で説明されている。フローチャート図及び／またはブロック図の各ブロック、及びフローチャート図及び／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解される。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、機械を製造することができる。命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行されると、フローチャート及び／またはブロック図のブロックまたは複数のブロックで指定された機能／作動の実施を可能にする。係るプロセッサは、限定ではなく、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラム可能ゲートアレイであり得る。

図のフローチャート及びブロック図は、本開示の様々な実施形態に従ったシステム、方法、装置、及びコンピュータプログラム製品の可能である実施態様のアーキテクチャ、機能、及び動作を示す。この点で、フローチャートまたはブロック図の各ブロックは、規定された論理機能（複数可）を実装するための１つ以上の実行可能命令を含むモジュール、セグメント、またはコードの一部を表し得る。また、いくつかの代替実施態様では、ブロックで留意される機能は、図で留意される順序とは違う順序で起こり得ることを留意されたい。例えば、連続して示される２つのブロックは、実際に、実質的に同時に実行され得る、または、ブロックは、時々、含有される機能に応じて、逆の順序で実行され得る。また、ブロック図及び／またはフローチャート図の各ブロック、及びブロック図及び／またはフローチャート図のブロックの組み合わせは、規定の機能もしくは行為、または特殊目的ハードウェア及びコンピュータ命令の組み合わせを行う特殊目的ハードウェアベースシステムによって実施され得ることを留意されたい。

上記は本開示の実施形態を対象としているが、本開示の他の及びさらなる実施形態は、その基本的な範囲から逸脱することなく考案することができ、その範囲は、以下の特許請求の範囲によって決定される。

Claims (20)

1. ニューラルネットワークの挙動を制約するためのコンピュータ実装方法であって、
   前記ニューラルネットワークに、第１の訓練データに基づいて第１の推論操作を実行させて、第１の出力を生成させること、
   前記第１の訓練データに関連付けられた第１のターゲット出力に基づいて、前記第１の出力に対応する第１のルールを生成すること、
   第２の推論操作を実行するときに前記ニューラルネットワークが前記第１の出力を生成することを判定すること、及び
   前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１のターゲット出力を出力するようにする前記第１のルールを実行すること、
   を含む、前記方法。
2. 前記第１の出力と前記第１のターゲット出力との間の比較に基づいて、前記第１の出力が不正確であると判定することをさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記第１のルールに関連付けられたプログラムコードを表示するためグラフィカルユーザインターフェイスを生成すること、
   第２のルールを生成するために前記グラフィカルユーザインターフェイスを介して前記プログラムコードへの少なくとも１つの変更を受信すること、及び
   前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、前記ニューラルネットワークが前記第１の入力の受信に応答して異なる出力を出力するようにする前記第２のルールを実行すること、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
4. 知識ベースから、前記第１の訓練データに関連する語彙用語のセットを抽出すること、及び
   語彙用語の前記セットを表示するためのグラフィカルユーザインターフェイスを生成すること、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
5. 知識ベースから、前記第１の訓練データの１つ以上の論理属性を示すドメイン事実のセットを抽出すること、及び
   前記ドメイン事実のセットを表示するためのグラフィカルユーザインターフェイスを生成すること、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
6. 前記ドメイン事実のセット及び前記第１の出力に基づいて派生的事実を生成することをさらに含み、
   前記派生的事実は、前記第１の推論動作を実行するときに前記ニューラルネットワークの機能的属性を特徴付ける、請求項５に記載のコンピュータ実装方法。
7. グラフィカルユーザインターフェイスを介して表示するための前記ニューラルネットワークのアーキテクチャ表現を生成すること、及び
   前記グラフィカルユーザインターフェイスを介して受信した入力に基づいて、前記ニューラルネットワークの複数の異なるバージョンを生成すること、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
8. 前記ニューラルネットワークの少なくとも１つのバージョンのパフォーマンスデータを生成することであって、前記パフォーマンスデータが、訓練フェーズ中の前記ニューラルネットワークの前記少なくとも１つのバージョンの１つ以上のパフォーマンス特性を特徴付ける、前記生成すること、及び
   前記パフォーマンスデータを表示するために前記グラフィカルユーザインターフェイスを更新すること、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
9. 前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンが、動作中に１つまたは複数の出力を生成する精度を示す、請求項８に記載のコンピュータ実装方法。
10. 前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンが１つまたは複数の出力を生成するのに要する時間の長さを示す、請求項８に記載のコンピュータ実装方法。
11. プロセッサによって実行されるとき、前記プロセッサに、ニューラルネットワークの挙動を制約させるプログラム命令を格納する非一時的なコンピュータ可読媒体であって、前記プロセッサは、
    第１の訓練データに関連付けられた第１のターゲット出力に基づいて第１の出力に対応する第１のルールを生成するステップであって、前記第１の出力は、前記第１の訓練データを使用して前記ニューラルネットワークによって実行される第１の推論操作から生じる、前記生成するステップ、
    第２の推論操作を実行するときに前記ニューラルネットワークが前記第１の出力を生成することを判定するステップ、及び
    前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１のターゲット出力を出力するようにする前記第１のルールを実行するステップ、
    を実行する、前記非一時的なコンピュータ可読媒体。
12. 前記第１の出力と前記第１のターゲット出力との間の比較に基づいて、前記第１の出力が不正確であると判定するステップをさらに含む、請求項１１に記載の非一時的なコンピュータ可読媒体。
13. 前記第１のルールに関連付けられたプログラムコードを表示するためグラフィカルユーザインターフェイスを生成するステップ、
    第２のルールを生成するために前記グラフィカルユーザインターフェイスを介して前記プログラムコードへの少なくとも１つの変更を受信するステップ、及び
    前記ニューラルネットワークが第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、前記ニューラルネットワークが前記第１の入力の受信に応答して異なる出力を出力するようにする前記第２のルールを実行するステップ、
    をさらに含む、請求項１１に記載の非一時的なコンピュータ可読媒体。
14. 知識ベースから、前記第１の訓練データに関連する語彙用語のセットを抽出するステップ、及び
    語彙用語の前記セットを表示するためのグラフィカルユーザインターフェイスを生成するステップ、
    をさらに含む、請求項１１に記載の非一時的なコンピュータ可読媒体。
15. 知識ベースから、前記第１の訓練データの１つ以上の論理属性を示すドメイン事実のセットを抽出するステップ、及び
    前記ドメイン事実のセットを表示するためのグラフィカルユーザインターフェイスを生成するステップ、
    をさらに含む、請求項１１に記載の非一時的なコンピュータ可読媒体。
16. 前記ドメイン事実のセット及び前記第１の出力に基づいて派生的事実を生成するステップをさらに含み、
    前記派生的事実は、前記第１の推論操作を介して処理される訓練データの第１のサンプルの少なくとも１つの属性を示す、請求項１５に記載の非一時的なコンピュータ可読媒体。
17. 前記ニューラルネットワークの少なくとも１つのバージョンのパフォーマンスデータを生成するステップであって、前記パフォーマンスデータが、訓練フェーズ中の前記ニューラルネットワークの前記少なくとも１つのバージョンの１つ以上のパフォーマンス特性を特徴付ける、前記生成するステップ、及び
    前記パフォーマンスデータを表示するために前記グラフィカルユーザインターフェイスを更新するステップ、
    をさらに含む、請求項１１に記載の非一時的なコンピュータ可読媒体。
18. 前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンが、動作の間に１つまたは複数の出力を生成するときに消費するメモリの量を示す、請求項１７に記載の非一時的なコンピュータ可読媒体。
19. 前記パフォーマンスデータは、前記ニューラルネットワークの前記少なくとも１つのバージョンに含まれるニューラルネットワーク層が動作の間に１つまたは複数の出力を処理するときに消費するメモリの量を示す、請求項１７に記載の非一時的なコンピュータ可読媒体。
20. ソフトウェアアプリケーションを格納するメモリと、
    プロセッサであって、前記ソフトウェアアプリケーションを実行するときに、
    ニューラルネットワークに、第１の訓練データに基づいて第１の推論操作を実行させて、第１の出力を生成させるステップ、
    前記第１の訓練データに関連付けられた第１のターゲット出力に基づいて、前記第１の出力に対応する第１のルールを生成するステップ、
    第２の推論操作を実行するときに前記ニューラルネットワークが前記第１の出力を生成することを判定するステップ、及び
    前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１の出力を出力するのを防ぎ、前記ニューラルネットワークが前記第１の入力の受信に応答して前記第１のターゲット出力を出力するようにする前記第１のルールを実行するステップ、
    を実行するよう構成されるプロセッサと、
    を備えるシステム。

Images