JP2022547668A - 機械学習モデルの視覚的作成及び監視 - Google Patents

機械学習モデルの視覚的作成及び監視 Download PDF

Info

Publication number
JP2022547668A
JP2022547668A JP2022514186A JP2022514186A JP2022547668A JP 2022547668 A JP2022547668 A JP 2022547668A JP 2022514186 A JP2022514186 A JP 2022514186A JP 2022514186 A JP2022514186 A JP 2022514186A JP 2022547668 A JP2022547668 A JP 2022547668A
Authority
JP
Japan
Prior art keywords
machine learning
learning model
user interface
source code
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022514186A
Other languages
English (en)
Other versions
JP7439242B2 (ja
Inventor
シッカ，ヴィシャール インダー
ジェイムズ アメラン，ダニエル
フレデリック ダンネル，ケヴィン
Original Assignee
ヴィアナイ システムズ， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィアナイ システムズ， インコーポレイテッド filed Critical ヴィアナイ システムズ， インコーポレイテッド
Publication of JP2022547668A publication Critical patent/JP2022547668A/ja
Application granted granted Critical
Publication of JP7439242B2 publication Critical patent/JP7439242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105—Shells for specifying net layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Abstract

本発明の１つの実施形態は、機械学習モデルを作成するための技術を示す。技術は、機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することを含む。技術はまた、ユーザインタフェースを通じて受信されたユーザ入力に基づいて、機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することを含む。技術は更に、実行されるとき、機械学習モデルの訓練の間に機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードにソースコードをコンパイルすることを含む。

Description

関連出願への相互参照
本出願は、２０１９年９月１２日に出願され、シリアル番号６２／８９９，２６４を有する「ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＤＥＦＩＮＩＮＧ ＡＮＤ ＥＶＡＬＵＡＴＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＡＲＣＨＩＴＥＣＴＵＲＥＳ ＡＮＤ ＣＯＲＲＥＳＰＯＮＤＩＮＧ ＴＲＡＩＮＩＮＧＤＡＴＡ」と題する米国仮特許出願の優先権、及び２０２０年９月１０日に出願され、シリアル番号１７／０１７，５９４を有する「ＶＩＳＵＡＬＬＹ ＣＲＥＡＴＩＮＧ ＡＮＤ ＭＯＮＩＴＯＲＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＭＯＤＥＬＳ」と題する米国特許出願の優先権を主張する。それらの関連する出願の主題は、参照によって以下に組み込まれる。
本開示の実施形態は概して、機械学習に関し、より具体的に、機械学習モデルを視覚的に作成及び監視する技術に関する。
複雑なデータ、相互接続されたデータ及び／または多次元データの大規模セットに関連する傾向、パターン、関係、及び／または他の属性を発見するために、機械学習が使用されることがある。大規模データセットからの見識を集めるために、データ内の入力－出力ペアを使用して、回帰モデル、人工ニューラルネットワーク、サポートベクトルマシン、決定木、単純ベイズ分類器、及び／または他のタイプの機械学習モデルが訓練されることがある。次いで、データに関連する決定をガイドし、及び／またはデータに関連するアクションを実行するために、発見された情報が使用されることがある。例えば、販売決定をガイドし、リスクを評価し、虚偽を検出し、振る舞いを予測し、自律車両を制御し、及び／またはアプリケーションもしくはウェブサイトの使用をカスタマイズもしくは最適化するために、機械学習モデルの出力が使用されることがある。
機械学習内で、高い程度の精度により広範囲のタスクを実行するために、ニューラルネットワークが訓練されることがある。したがって、人工知能の分野においてニューラルネットワークが広く採用されてきている。ニューラルネットワークは、様々な範囲のネットワークアーキテクチャを有することがある。より複雑なシナリオでは、ニューラルネットワークについてのネットワークアーキテクチャは、異なる層の中で入り組んだ接続のトポロジを有する多くの異なるタイプの層を含むことがある。例えば、一部のニューラルネットワークは、１０以上の層を有することがあり、各々の層は、数百または数千のニューロンを含むことがあり、数百または数千の個々の接続を介して１つ以上の他の層に結合されることがある。
ニューラルネットワーク開発工程の間、設計者は、特定のタイプの問題に対処するニューラルネットワークアーキテクチャを作成するために、プログラムコードを書き込む。設計者は次いで、訓練データ及びその訓練データを処理するときにニューラルネットワークが作成するべきターゲット出力を使用して、ニューラルネットワークを訓練する。例えば、設計者は、画像のセット内に示されるランドスケープのタイプを示すラベルに従って、様々なランドスケープを表示する画像のセットに基づいて、ニューラルネットワークを訓練する。
ニューラルネットワークについてのプログラムコードを書き込むとき、設計者は、ニューラルネットワーク設計及び全体的なコーディング工程を促進するための様々なツールを公開する、１つ以上のプログラミングライブラリに依存することが多い。それらのタイプのプログラミングライブラリを使用する１つの欠点は、プログラミングライブラリを使用するために、理解及び習得することが通常は困難である複雑なソフトウェアスタックがインストール及び実行される必要があることである。例えば、ニューラルネットワークを定義するために、開発者は、いくつかのライブラリをインストールする必要があることがあり、各々のライブラリは、ニューラルネットワークを定義し、訓練し、及び／または実行するときにそれらのライブラリによって公開される機能性の多くが使用されないことになるときでさえ、数千のコードのラインを有する。それ故に、有能なニューラルネットワーク開発者のプールは、関連する複雑なソフトウェアスタックを使用する際に必須のレベルの専門知識を達成した小数の組の開発者に制限される。それらの複雑なソフトウェアスタックは、適切な実行のために相当な計算リソース及びメモリリソースをも必要とする。結果として、ニューラルネットワーク開発者のプールは、それらの計算要件及びメモリ要件を満たすより洗練されたハードウェアへのアクセスを有する者に更に制限される。
ニューラルネットワークを設計するときに従来のプログラミングライブラリを使用する別の欠点は、それらのプログラミングライブラリが全体的に、設計者が制限された数のニューラルネットワーク特徴のみしか制御することを可能にしないことである。特に、プログラミングライブラリは典型的には、層定義機能を含み、層定義機能は、厳密であり、定義することができるニューラルネットワーク層のタイプ及びパラメータに制限を課す。例えば、一部の従来のプログラミングライブラリは、ニューラルネットワークの所与の層内のどの変数が、訓練段階の間に学習されるか、または層の重みパラメータのみが訓練段階の間に学習されることになることを許可するハードコードされたルールを有するかを設計者が明確に指定することを必要とする。それらのタイプの制約は、開発者が独創的であること、及びニューラルネットワークを設計するときに広範囲の構成を探索することが可能になることを防止する。
従来のプログラミングライブラリを使用する代わりに、設計者は、Ｐｙｔｈｏｎ、Ｃ、Ｃ＋＋、またはＪａｖａなどの従来型プログラミング言語を使用して、ニューラルネットワークについてのコードを書き込むことがある。しかしながら、従来型プログラミング言語フレームワークは、ニューラルネットワークアーキテクチャのコアにあるもののように、数学方式演算を容易に定義及び実装するために良好に適合していない。結果として、設計者は典型的には、ニューラルネットワーク内の各々の層がどのように動作するかを定義し、様々な層がどのように共に結合されるかを指定し、異なる層によって実行される様々な演算を描写する、大容量の複雑なコードを書き込む必要がある。更に、訓練段階の間に学習される変数は、ニューラルネットワークについてのコードがコンパイルされるときに割り当てられない。従来型プログラミング言語についての従来のコンパイラは、コンパイル時間の間に割り当てられない変数に直面するときに誤りを発行する。それらのタイプの誤りに対処するために、開発者は、割り当てられていない変数にランダム値を割り当てる必要があり、それは、訓練段階に固有のバイアスを導入することがあり、訓練工程及び／または訓練済みニューラルネットワークの精度に悪影響を及ぼすことがある。
上述したことが例示するように、本分野において必要とされるのは、ニューラルネットワーク及び／または他のタイプの機械学習モデルを定義するためのより効果的な技術である。
本発明の１つの実施形態は、機械学習モデルを作成するための技術を示す。技術は、機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することを含む。技術はまた、ユーザインタフェースを通じて受信されたユーザ入力に基づいて、機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することを含む。技術は更に、実行されるとき、機械学習モデルの訓練の間に機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードにソースコードをコンパイルすることを含む。
開示される技術の少なくとも１つの技術的利点は、機械学習モデルについてのコードを書き込み、デバッグし、及びコンパイルする複数のラウンドを実行し、機械学習モデルを訓練し、試験し、及び検証するためのワークフロー及びパイプラインを手動で定義及び実行し；並びに異なるバージョンの機械学習モデル、データセット、及び／または実験を追跡するために、追加の処理時間及び／またはリソース消費を伴う従来の技術に対して、オーバヘッドを低減させることを含む。機械学習モデル、データセット、及び関連する性能メトリックの視覚的表現は加えて、機械学習モデルの理解、機械学習モデルの性能に影響を及ぼす特徴もしくは他の属性の識別、並びに／またはより高いレベルの目標及び目的を有する性能メトリックの調整を改善することができる。次いで、ＡＩアプリケーション及びユーザインタフェースを使用して作成された機械学習モデルは、従来のツールを使用して作成された機械学習モデルよりも良好な性能及び／または高速な収束を有することができる。それ故に、開示される技術は、機械学習モデルを設計し、訓練し、評価し、及び／または選択するためのアプリケーション、ツール、及び／またはコンピュータシステムにおける技術的改善をもたらす。
様々な実施形態の上記記載された特徴を詳細に理解することができるように、その一部が添付図面において例示される、様々な実施形態を参照することによって、上記で簡潔に要約された、発明的概念のより特定の説明を得ることができる。しかしながら、添付図面は、発明的概念の典型的な実施形態のみを例示し、したがって、範囲を何ら限定すると考えられることにはならず、他の同等の効果的な実施形態が存在することに留意されよう。
特許または出願は、カラーで実行された少なくとも１つの図面を包含する。カラー図面（複数可）を有するこの特許または特許出願公開の複製は、要求があり、必要な手数料の支払いによりオフィスによって提供される。
様々な実施形態の１つ以上の態様を実装するように構成されたシステムを例示する。 様々な実施形態に従った、図１のＡＩ設計アプリケーションのより詳細な例示である。 様々な実施形態に従った、図２のネットワークジェネレータのより詳細な例示である。 様々な実施形態に従った、図３のコンパイラエンジン及び合成エンジンのより詳細な例示である。 様々な実施形態に従った、図１のグラフィカルユーザインタフェース（ＧＵＩ）の実施例のスクリーンショットである。 様々な実施形態に従った、図１のＧＵＩの実施例のスクリーンショットである。 様々な実施形態に従った、図１のＧＵＩの実施例のスクリーンショットである。 様々な実施形態に従った、図１のＧＵＩの実施例のスクリーンショットである。 様々な実施形態に従った、図１のＧＵＩの実施例のスクリーンショットである。 様々な実施形態に従った、図１のＧＵＩの実施例のスクリーンショットである。 様々な実施形態に従った、図１のＧＵＩの実施例のスクリーンショットである。 様々な実施形態に従った、機械学習モデルを作成する方法ステップのフローチャートである。
以下の説明では、様々な実施形態のより完全な理解を提供するために、多数の特定の詳細が示される。しかしながら、それらの特定の詳細の１つ以上なしに、発明的概念が実施されてもよいことが当業者にとって明らかである。
システム概要
図１は、様々な実施形態の１つ以上の態様を実装するように構成されたシステムを例示する。示されるように、システム１００は、ネットワーク１５０を介して共に結合されたクライアント１１０及びサーバ１３０を含む。クライアント１１０またはサーバ１３０は、デスクトップコンピュータ、ラップトップコンピュータ、モバイルデバイス、コンピューティングデバイスの仮想化インスタンス、並びに分散コンピュータシステム及び／またはクラウド方式コンピュータシステムなどを含む、いずれかの技術的に実現可能なタイプのコンピュータシステムであってもよい。ネットワーク１５０は、とりわけ、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワールドワイドウェブ、またはインターネットを含む、いずれかの技術的に実現可能な相互接続された通信リンクのセットであってもよい。クライアント１１０及びサーバ１３０は、ネットワーク１５０を介して通信するように構成される。
更に示されるように、クライアント１１０は、共に結合されたプロセッサ１１２、入力／出力（Ｉ／Ｏ）デバイス１１４、及びメモリ１１６を含む。プロセッサ１１２は、データを処理し、ソフトウェアアプリケーションを実行するように構成された、いずれかの技術的に実現可能なハードウェアユニットのセットを含む。例えば、プロセッサ１１２は、１つ以上のセントラルプロセシングユニット（ＣＰＵ）、１つ以上のグラフィックプロセシングユニット（ＧＰＵ）、及び／または１つ以上の並列プロセシングユニット（ＰＰＵ）を含む。Ｉ／Ｏデバイス１１４は、例えば、とりわけ、ディスプレイデバイス、キーボード、及びタッチスクリーンを含む、入力演算及び／または出力演算を実行するように構成されたいずれかの技術的に実現可能なデバイスのセットを含む。
メモリ１１６は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）モジュール、及びリードオンリメモリ（ＲＯＭ）など、データ及びソフトウェアアプリケーションを記憶するように構成されたいずれかの技術的に実現可能な記憶媒体を含む。メモリ１１６は、データベース１１８（０）、人工知能（ＡＩ）設計アプリケーション１２０（０）、機械学習モデル１２２（０）、及びグラフィカルユーザインタフェース（ＧＵＩ）１２４（０）を含む。データベース１１８（０）は、様々なタイプのデータを記憶したファイルシステム及び／またはデータ記憶アプリケーションである。ＡＩ設計アプリケーション１２０（０）は、プロセッサ１１２によって実行されるとき、１つ以上の機械学習モデルを生成し、解析し、評価し、及び記述するよう、サーバ１３０上で実行する対応するソフトウェアアプリケーションと相互作用する。機械学習モデル１２２（０）は、１つ以上の人工ニューラルネットワーク、サポートベクトルマシン、回帰モデル、ツリー方式モデル、階層モデル、アンサンブルモデル、及び／または汎用もしくは特殊化人工知能指向演算を実行するように構成された他のタイプのモデルを含む。ＧＵＩ１２４（０）は、ユーザがＡＩ設計アプリケーション１２０（０）とインタフェース接続することを可能にする。
サーバ１３０は、共に結合されたプロセッサ１３２、Ｉ／Ｏデバイス１３４、及びメモリ１３６を含む。プロセッサ１３２は、１つ以上のＣＰＵ、１つ以上のＧＰＵ、及び／または１つ以上のＰＰＵなど、データを処理し、ソフトウェアアプリケーションを実行するよう構成されたいずれかの技術的に実現可能なハードウェアユニットのセットを含む。Ｉ／Ｏデバイス１３４は、とりわけ、ディスプレイデバイス、キーボード、またはタッチスクリーンなど、入力演算及び／または出力演算を実行するように構成されたいずれかの技術的に実現可能なデバイスのセットを含む。
メモリ１３６は、例えば、ハードディスク、ＲＡＭモジュール、及びＲＯＭなど、データ及びソフトウェアアプリケーションを記憶するように構成されたいずれかの技術的に実現可能な記憶媒体を含む。メモリ１３６は、データベース１１８（１）、ＡＩ設計アプリケーション１２０（１）、機械学習モデル１２２（１）、及びＧＵＩ１２４（１）を含む。データベース１１８（１）は、データベース１１８（１）と同様に、様々なタイプのデータを記憶したファイルシステム及び／またはデータ記憶アプリケーションである。ＡＩ設計アプリケーション１２０（１）は、プロセッサ１３２によって実行されるとき、１つ以上の機械学習モデルを生成し、解析し、評価し、及び記述するよう、ＡＩ設計アプリケーションと対話するソフトウェアアプリケーションである。機械学習モデル１２２（１）は、１つ以上の人工ニューラルネットワーク、サポートベクトルマシン、回帰モデル、ツリー方式モデル、階層モデル、アンサンブルモデル、及び／または汎用もしくは特殊化人工知能指向演算を実行するように構成された他のタイプのモデルを含む。ＧＵＩ１２４（１）は、ユーザがＡＩ設計アプリケーション１２０（１）とインタフェース接続することを可能にする。
一般的な事項として、データベース１１８（０）及び１１８（１）は、分散記憶エンティティの別個の部分を表す。よって、簡易化のために、データベース１１８（０）及び１１８（１）は、本明細書で集合的にデータベース１１８と称される。同様に、ＡＩ設計アプリケーション１２０（０）及び１２０（１）は、本明細書で説明される発明的演算のいずれか及び全てを実行するように構成された分散ソフトウェアエンティティの別個の部分を表す。したがって、ＡＩ設計アプリケーション１２０（０）及び１２０（１）は、以下で集合的にＡＩ設計アプリケーション１２０と称される。機械学習モデル１２２（０）及び１２２（１）は同様に、分散機械学習モデルを表し、本明細書で集合的に機械学習モデル１２２と称される。ＧＵＩ１２４（０）及び１２４（１）は同様に、本明細書で集合的に１つ以上のＧＵＩの分散部分を表し、本明細書で集合的にＧＵＩ１２４と称される。
動作中、ＡＩ設計アプリケーション１２０は、ＧＵＩ１２４を介して受信されたユーザ入力に基づいて、機械学習モデル１２２を生成する。ＧＵＩ１２４は、設計及び解析ツールを公開し、設計及び解析ツールは、ユーザが、他の演算の中で、機械学習モデル１２２を作成及び編集すること、機械学習モデル１２２の機能性を探索すること、訓練データに対して機械学習モデル１２２を評価すること、並びに機械学習モデル１２２の実行及び／または演算を記述及び／または制約した様々なデータを生成することを可能にする。上記演算を実行するＡＩ設計アプリケーション１２０内の様々なモジュールは、図２と共に以下でより詳細に説明される。
図２は、様々な実施形態に従った、図１のＡＩ設計アプリケーション１２０のより詳細な例示である。示されるように、ＡＩ設計アプリケーション１２０は、ネットワークジェネレータ２００、ネットワークアナライザ２１０、ネットワークエバリュエータ２２０、及びネットワークディスクリプタ２３０を含み；機械学習モデル１２２は、１つ以上のエージェント２４０を含み；ＧＵＩ１２４は、オーバビューＧＵＩ２０６、特徴エンジニアリングＧＵＩ２０４、ネットワーク生成２０２、ネットワーク解析ＧＵＩ２１２、ネットワーク評価ＧＵＩ２２２、及びネットワーク記述ＧＵＩ２３２を含む。
動作中、ネットワークジェネレータ２００は、機械学習モデル１２２内でエージェント２４０を設計及び接続するためのツールをユーザに提供するよう、ネットワーク生成ＧＵＩ２０２をレンダリングする。所与のエージェント２４０は、様々なＡＩ指向タスクを実行するニューラルネットワーク２４２（または、別のタイプの機械学習モデル）を含んでもよい。所与のエージェント２４０はまた、汎用タスクを実行する他のタイプの機能的要素を含んでもよい。ネットワークジェネレータ２００は、訓練データ２５０に基づいて、特定のエージェント２４０に含まれるニューラルネットワーク２４２を訓練する。訓練データ２５０は、ニューラルネットワークを訓練するためのいずれかの技術的に実現可能なタイプのデータを含んでもよい。例えば、訓練データ２５０は、Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＭＮＩＳＴ）デジット訓練セットを含む。
訓練が完了するとき、ネットワークアナライザ２１０は、所与のエージェント２４０内のニューラルネットワーク（または、別のタイプの機械学習モデル１２２）がどのように動作するかを解析及び理解するためのツールをユーザに提供するよう、ネットワーク解析ＧＵＩ２１２をレンダリングする。特に、ネットワークアナライザ２１０は、ネットワーク解析ＧＵＩ２１２に、他の演算の中で、所与のニューラルネットワーク２４２内の様々な接続及び重みを表示させ、様々な入力への所与のニューラルネットワーク２４２の応答をシミュレートさせる。
加えて、ネットワークエバリュエータ２２０は、訓練データ２５０に対して所与のニューラルネットワーク２４２を評価するためのツールをユーザに提供するよう、ネットワーク評価ＧＵＩ２２２をレンダリングする。より具体的に、ネットワークエバリュエータ２２０は、ネットワーク評価ＧＵＩ２２２を介して、訓練データ２５０の特定の部分を示すユーザ入力を受信する。ネットワークエバリュエータ２２０は次いで、所与のニューラルネットワーク２４２が訓練データ２５０のその部分にどのように応答するかをシミュレートする。ネットワークエバリュエータ２２０はまた、ネットワーク評価ＧＵＩ２２２に、訓練データ２５０の特定の部分をフィルタリングさせ、訓練データ２５０の特定の部分は、所与のニューラルネットワーク２４２に、特定のタイプの出力を生成させる。
上記と共に、ネットワークディスクリプタ２３０は、エージェント２４０と関連付けられた所与のニューラルネットワーク２４２を解析し、ユーザにニューラルネットワーク２４２の性能を記述した自然言語表現を生成する。ネットワークディスクリプタ２３０はまた、ニューラルネットワーク２４２が訓練データ２５０をどのように解釈するかに関連する様々な「コモンセンス」事実をユーザに提供することができる。ネットワークディスクリプタ２３０は、ネットワーク記述ＧＵＩ２３２を介してユーザにこのデータを出力する。加えて、ネットワークディスクリプタ２３０は、ネットワーク記述ＧＵＩ２３２を介してユーザからルール方式表現を取得してもよく、次いで、それらの表現に基づいて、ネットワーク振る舞いを制約してもよい。更に、ネットワークディスクリプタ２３０は、ネットワーク性能の様々な態様を定量化したメトリックを生成してもよく、次いで、ネットワーク記述ＧＵＩ２３２を介してユーザにそれらのメトリックを表示してもよい。
示されるように、ＧＵＩ１２４は加えて、ＡＩ設計アプリケーション１２０及び／またはシステムの別のコンポーネントによってレンダリングすることができる、オーバビューＧＵＩ２０６及び特徴エンジニアリングＧＵＩ２０４を含む。オーバビューＧＵＩ２０６は、ニューラルネットワーク２４２及び／または他の機械学習モデル１２２を伴うプロジェクトまたは実験と関連付けられた目的を参照し、設定し、及び／またはそうでなければ管理するための１つ以上のユーザインタフェース要素を含む。特徴エンジニアリングＧＵＩ２０４は、ニューラルネットワーク２４２及び／または他の機械学習モデル１２２に入力された特徴を参照し、編成し、作成し、及び／またはそうでなければ管理するための１つ以上のユーザインタフェース要素を含む。ＧＵＩ１２４は、図５Ａ～５Ｇに関して更に詳細に以下で説明される。
図１～２を全体的に参照して、ＡＩ設計アプリケーション１２０は有利に、ニューラルネットワーク振る舞いを生成し、解析し、評価し、及び記述するための様々なツールをユーザに提供する。開示される技術は、ユーザからネットワーク訓練及び後続の演算を全体的に曖昧にする、ニューラルネットワークを生成する従来のアプローチとは異なる。
図３は、様々な実施形態に従った、図１のネットワークジェネレータのより詳細な例示である。示されるように、ネットワークジェネレータ２００は、コンパイラエンジン３００、合成エンジン３１０、訓練エンジン３２０、及び視覚化エンジン３３０を含む。
動作中、視覚化エンジン３３０は、ネットワーク生成ＧＵＩ２０２を生成し、ネットワーク生成ＧＵＩ２０２を介してユーザからエージェント定義３４０を取得する。コンパイラエンジン３００は、コンパイル済みコード３０２を生成するよう、所与のエージェント定義３４０に含まれるプログラムコードをコンパイルする。コンパイラエンジン３００は、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎ及び関連するフレームワーク、並びにＪａｖａＳｃｒｉｐｔ及び関連するフレームワークなどを含む、いずれかの技術的に実現可能なプログラミング言語を構文解析し、コンパイルし、及び／または解釈するように構成される。合成エンジン３１０は、コンパイル済みコード３０２及び１つ以上のパラメータに基づいて初期ネットワーク３１２を生成し、１つ以上のパラメータは、そのコードがどのように実行するかに影響を与える。初期ネットワーク３１２は、訓練されておらず、高い程度の精度により１つ以上の意図した演算を実行する能力を欠くことがある。
訓練エンジン３２０は、訓練済みネットワーク３２２を生成するよう、訓練データ２５０に基づいて初期ネットワーク３１２を訓練する。訓練済みネットワーク３２２は、初期ネットワーク３１２よりも高い程度の精度により１つ以上の意図した演算を実行することができる。訓練エンジン３２０は、バックプロパゲーション及び最急降下法などを含む、いずれかの技術的に実現可能なタイプの訓練演算を実行することができる。視覚化エンジン３３０は、エージェント定義３４０を介して定義されたネットワークアーキテクチャをグラフィカルに描画すると共に、訓練済みネットワーク３２２の様々な性能属性を説明するよう、上記演算と共にネットワーク生成ＧＵＩ２０２を更新する。
ニューラルネットワークエージェントの数学的方式プログラミング及び実行
上記議論されたように、ニューラルネットワークアーキテクチャを定義及び実行するために、開発者は典型的には、習得するのが困難であり、根本的なネットワークアーキテクチャの詳細の多くを曖昧にすることが多い、厄介なツール及びライブラリを使用する。結果として、様々なツール及びライブラリにおける専門知識を有する小数の組の開発者によってのみニューラルネットワークを作成されることがある。更に、ネットワークアーキテクチャの根本的な詳細がツール及びライブラリのフレームワーク内で深く入れ子にされることを理由に、開発者は、アーキテクチャがどのように機能するか、またはアーキテクチャをどのように変更もしくは改善するかを理解しないことがある。ニューラルネットワーク定義パラダイムにおけるそれらの不備及び他の不備に対処するために、ニューラルネットワークアーキテクチャを定義するための数学的方式プログラミング及び実行フレームワークが以下で議論される。
様々な実施形態では、数学的方式プログラミング言語におけるニューラルネットワークエージェント定義についてのソースコードは、リンク済み数学的表現のパイプラインである。いずれの中間ライブラリをも必要とすることなく、ソースコードが機械コードにコンパイルされ、機械コードは、訓練可能且つ実行可能なニューラルネットワークを表す。ニューラルネットワークアーキテクチャが一連の数学的表現としてソースコード内で定義されるために、数学的方式プログラミング言語は、いくつかの構築ブロックを公開する。それらは、ニューラルネットワークの層を指定するための層表記、ニューラルネットワークの２つ以上の層または２つ以上のニューラルネットワークの間のリンクを指定するためのリンク表記、変数（＝）のソースを指定するための変数割り当て表記、並びに加算（＋）、除算（／）、総和（Σ）、開き括弧及び閉じ括弧（（））、行列定義、親子関係（∈）などの様々な数学演算表記を含む。
ニューラルネットワークの各々の層は、上記議論された構築ブロックを使用して、１つ以上の数学的表現として数学的方式プログラミング言語において定義される。例えば、数学的表現のセットを含む、以下のソースコードを使用して畳み込み層が定義されてもよい。
Figure 2022547668000002
上記実施例では、ソースコードの第１のラインは、ソースコードの後続のラインが入力Ｘ及び出力Ｙを有するＣＯＮＶＯＬＵＴＩＯＮ演算に関連することを示す。ソースコードの後続のラインは、出力Ｙを生成するよう、入力Ｘに対して実行される数学演算を定義した数学的表現の数列を含む。各々の数学的表現は、右側部分及び左側部分を含む。左側部分は、右側部分によって指定された数学的演算が評価されるときに判定される値を指定する。例えば、上記示された数学的表現「ｃ＝ｓ（ｉ－１）－ｚ＋ｔ」では、「ｃ」が左側部分であり、「ｓ（ｉ－１）－ｚ＋ｔ」の右側部分が評価されるときに生成された値に変数ｃが割り当てられることを指定する。
ニューラルネットワークエージェントのソースコードに含まれる変数の値は、ニューラルネットワークがインスタンス化されるときに割り当てられるか、またはニューラルネットワークの訓練の間に学習されるかのいずれかである。他のニューラルネットワーク定義パラダイムとは異なり、数学的方式プログラミング言語を使用して定義されたニューラルネットワークエージェントの開発者は、訓練の間にどの変数が学習されることになる（本明細書で「学習済み変数」と称される）かについての制御を有する。更に、訓練の間に学習されることになる変数は、ニューラルネットワークがインスタンス化されるときでさえ、初期化されないままであってもよい（すなわち、値または値のソースを割り当てられることなく）。ニューラルネットワークのコンパイル及び訓練の間にそれらの学習済み変数を扱うための技術は、図４～６と共に以下で詳細に議論される。
図４は、様々な実施形態に従った、図３のコンパイラエンジン３００及び合成エンジン３１０のより詳細な例示である。示されるように、コンパイラエンジン３００は、シンタックスツリージェネレータ４０６、インスタンシエータ４０８、及びコンパイル済みコード３０２を含む。合成エンジン３１０は、ネットワークビルダ４１２、及び学習済み変数４１０を含む初期ネットワーク３１２を含む。
コンパイラエンジン３００及び合成エンジン３１０の演算は、所与のエージェント定義４０２と共に説明される。エージェント定義４０２のソースコードは、複数の層仕様を含み、各々の層仕様は、数学的方式プログラミング言語を使用して定義された１つ以上の数学的表現４０４（個々に数学的表現４０４と称される）を含む。上記議論されたように、各々の数学的表現４０４は、右側部分によって指定された数学的演算が評価されるときに判定された値を指定した左側部分を含む。数学的表現４０４は、各々のグループがニューラルネットワークアーキテクチャの異なる層に対応するようにグループ化される。エージェント定義４０２のソースコードは、数学的表現４０４の異なるグループの間のリンクを指定する。
コンパイラエンジン３００は、コンパイル済みコード３０２にエージェント定義４０２のソースコードをコンパイルする。コンパイル済みコード３０２を生成するために、コンパイラエンジン３００は、シンタックスツリージェネレータ４０６及びインスタンシエータ４０８を含む。シンタックスツリージェネレータ４０６は、エージェント定義４０２のソースコードを構文解析し、ソースコードの抽象シンタックスツリー（ＡＳＴ）表現を生成する。様々な実施形態では、ＡＳＴ表現は、定数及び変数が演算子またはステートメントを含む親ノードへの子ノードである、ノードのツリー構造を含む。ＡＳＴは、ソースコードのシンタックス構造、すなわち、ステートメント、数学的表現、変数、及びソースコード内に包含されるものの間の関係をカプセル化する。
インスタンシエータ４０８は、コンパイル済みコード３０２を生成するよう、ＡＳＴを処理する。動作中、インスタンシエータ４０８は、ＡＳＴに対して意味解析を実行し、コードの中間表現を生成し、最適化を実行し、コンパイル済みコード３０２を含む機械コードを生成する。意味解析のために、インスタンシエータ４０８は、意味正当性についてソースコードを検査する。様々な実施形態では、意味検査は、ＡＳＴに含まれる変数及びタイプが適切に宣言されているかどうか、並びに演算子及びオブジェクトのタイプが一致することを判定する。意味解析を実行するために、インスタンシエータ４０８は、ソースコードに含まれる所与のオブジェクトまたは機能タイプのインスタンスの全てをインスタンス化する。更に、インスタンシエータ４０８は、全ての命名されたオブジェクト－クラス、変数、及び関数を表すシンボルテーブルを生成し、ソースコードに対して意味検査を実行するために、シンボルテーブルを使用する。
インスタンシエータ４０８は、変数の値がソースコード内で識別されたソースに割り当てられるかどうかを判定するよう、シンボルテーブル内の変数ごとにマッピング演算を実行する。インスタンシエータ４０８は、潜在的な学習済み変数として割り当てられたソースを有しない変数、すなわち、訓練工程の間に学習されることになる変数をフラグ付けする。様々な実施形態では、それらの変数は、変数が学習済み変数であることを示す特殊タイプを有しない。更に、ソースコードは、変数が学習済み変数であることを明確に示さない。インスタンシエータ４０８は、ソースに割り当てられないそれらの変数のおかげで学習されることになる潜在的な変数として、それらの変数を自動で識別する。よって、インスタンシエータ４０８は、従来型コンパイラ及びインタプリタとは異なって動作し、それは、変数が割り当てられないこと、宣言されないこと、またはそうでなければ定義されないことを可能にせず、コンパイラ工程の間に誤りを引き起こす。
インスタンシエータ４０８は、合成エンジン３１０に、コンパイル済みコード３０２及び潜在的な学習済み変数のリストを送信する。上記議論されたように、合成エンジン３１０は、コンパイル済みコード３０２、及びコンパイル済みコード３０２がどのように実行するかに影響を及ぼす１つ以上のパラメータに基づいて、初期ネットワーク３１２を生成する。特に、ネットワークビルダ４１２は、ニューラルネットワークアーキテクチャの異なる層を判定し、所与の層の出力が１つ以上の後続の層の入力にどのようにリンクされるかを判定するよう、コンパイル済みコード３０２の構造を解析する。様々な実施形態では、ネットワークビルダ４１２はまた、例えば、ユーザ入力を介して、コンパイル済みコード３０２に含まれる特定の変数についての値を受信する。
ネットワークビルダ４１２に含まれる学習済み変数識別子４１４は、初期ネットワーク３１２内で学習済み変数４１０を識別する。動作中、学習済み変数識別子４１４は、ネットワークビルダ４１２によって判定されたニューラルネットワークアーキテクチャの層の構造及びネットワークビルダ４１２によって受信された変数についてのいずれかの値を考慮して、インスタンシエータ４０８から受信された潜在的な学習済み変数のリストを解析する。潜在的な学習済み変数の各々について、学習済み変数識別子４１４は、ニューラルネットワークアーキテクチャの所与の層内の潜在的な学習済み変数のソースがニューラルネットワークアーキテクチャの前の層からの出力であるかどうかを判定する。そのようなソースが存在する場合、潜在的な学習済み変数は、ニューラルネットワークの訓練の間に学習されることになる変数ではない。同様に、学習済み変数識別子４１４は、潜在的な学習済み変数についての値がネットワークビルダ４１２に明確に提供されていたかどうかを判定する。そのような値が提供されていた場合、潜在的な学習済み変数は、ニューラルネットワークの訓練の間に学習されることになる変数ではない。そのようにして、学習済み変数識別子４１４は、潜在的な学習済み変数が本当に訓練の間に学習されることになる変数であるかどうかを判定するよう、潜在的な学習済み変数の各々を処理する。潜在的な学習済み変数の全てが処理されると、学習済み変数識別子４１４は、それに対してソースが判定されていない潜在的な学習済み変数のいずれかを識別する。それらの変数は、初期ネットワーク３１２の学習済み変数４１０を構成する。
様々な実施形態では、学習済み変数識別子４１４は、ネットワーク生成ＧＵＩ２０２に、学習済み変数識別子４１４によって識別された学習済み変数４１０を表示させる。学習済み変数４１０は次いで、ニューラルネットワークアーキテクチャの開発者など、ＧＵＩ２０２のユーザによって確認されてもよく、またはそうでなければ修正されてもよい。
上記議論されたように、訓練エンジン３２０は、訓練済みネットワーク３２２を生成するよう、訓練データ２５０に基づいて初期ネットワーク３１２を訓練する。訓練済みネットワーク３２２は、訓練工程の間に学習された学習済み変数４１０についての値を含む。訓練済みネットワーク３２２は、初期ネットワーク３１２よりも高い程度の精度により１つ以上の意図した演算を実行することができる。訓練エンジン３２０は、バックプロパゲーション、最急降下法、及びハイパーパラメータチューニングなどを含む、いずれかの技術的に実現可能なタイプの訓練演算を実行してもよい。
機械学習モデルの視覚的な作成及び監視
上記言及されたように、ＧＵＩ１２４は、ユーザがＡＩ設計アプリケーション１２０とインタフェース接続することを可能にするコンポーネントを含む。それらのコンポーネントは、それらに限定されないが、オーバビューＧＵＩ２０６、特徴エンジニアリングＧＵＩ２０４、ネットワーク生成ＧＵＩ２０２、ネットワーク解析ＧＵＩ２１２、ネットワーク評価ＧＵＩ２２２、ネットワーク記述ＧＵＩ２３２を含む。以下で更に詳細に説明されるように、それらのコンポーネントは、機械学習モデル（例えば、機械学習モデル１２２）及び／または機械学習モデルを伴うプロジェクトの操作を作成し、訓練し、評価し、及び／またはそうでなければ監視するための処理及び技術を合理化することができる。
図５Ａは、様々な実施形態に従った、図１のＧＵＩ１２４の実施例のスクリーンショットである。より具体的に、図５Ａは、１つ以上の機械学習モデル１２２を伴うプロジェクトに関連する目的をレビューし、設定し、及び／または管理するためのいくつかのコンポーネント５０２～５０８を含む、実施例のオーバビューＧＵＩ２０６のスクリーンショットを含む。
コンポーネント５０２は、プロジェクトに関連する高レベル情報を提供する「プロジェクトオーバビュー」セクションを含む。この情報は、「どの顧客が次月にそれらのメンバシップを取り消す可能性が高いかを予測する」ための述べられた目的、複数の段階を有するスケジュール、及びプロジェクトに関与するチームのメンバを含む。
コンポーネント５０４は、プロジェクトに関連する「成功基準」を参照及び／または修正するために使用される。特に、コンポーネント５０４は、機械学習モデル（複数可）によって予測されることになる「メンバシップ取り消し」のラベルを識別し；ラベルの値は、機械学習モデル（複数可）を訓練及び評価するために使用されるデータセット内の「取り消しする」列から取得される。コンポーネント５０４はまた、機械学習モデル（複数可）の精密度について７０％の最小閾値及び機械学習モデル（複数可）の再現度についての９０％の最小閾値を指定する。コンポーネント５０４は加えて、機械学習モデル（複数可）を訓練及び／または最適化する際の再現度に対して精密度が優先付けられることになることを示す。
コンポーネント５０４内で、ユーザは、成功基準に関連する追加の情報を参照し、及び／または成功基準を修正するために、テキスト及び／またはドロップダウンメニューの強調された部分と対話してもよい。例えば、ユーザは、用語の定義を参照するために、「メンバシップ取り消し」の用語をクリックしてもよい。別の実施例では、ユーザは、「取り消しする」を現在表示しているドロップダウンメニューから予測されることになる異なるラベルを選択してもよい。第３の実施例では、ユーザは、対応するスライダと対話することによって、精密度及び再現度閾値を調節してもよい。第４の実施例では、ユーザは、「精密度」を現在表示しているドロップダウンメニューから優先付けられることになる異なる性能メトリックを選択してもよい。
コンポーネント５０６は、機械学習モデル（複数可）についての７０％の訓練、１５％の検証、及び１５％の試験への「２０１９年８月メンバシップレコード」データセットの分割を示す。ユーザは、比率を表すバーと対話することによって、訓練、検証、及び／または試験において使用されるデータセットの比率を変更してもよい。
コンポーネント５０８は、データセットに関連する情報を示す。特に、コンポーネント５０８は、データセットに関連する１つ以上のレシピと共に、データセット内の行及び列のテーブルを含む。このテーブルは、コンポーネント５０４内で選択された「取り消しする」ラベルと共に、ラベルを予測するために使用することができる追加の列を含む。コンポーネント５０８は加えて、データセット内のデータの様々なプロットを参照するために使用することができる「プロット」セクションを含む。例えば、ユーザは、バーチャート、バイオリンプロット、パイチャート、モザイクプロット、ヒストグラム、相関行列、及び／またはデータセットの列の間もしくは中での相関もしくは他の関係の他の視覚化を参照するために、「プロット」セクションと対話してもよい。コンポーネント５０８内で、ユーザは、「プロット」セクションにユーザ定義ビジュアルを追加するために、「＋」ボタンをクリックしてもよい。このユーザ定義ビジュアルは、様々なプログラミング言語及び／またはデータ視覚化ライブラリを使用して構築されてもよい。
図５Ｂは、様々な実施形態に従った、図１のＧＵＩ１２４の実施例のスクリーンショットである。より具体的に、図５Ｂは、図５Ａの実施例のオーバビューＧＵＩ２０６の異なるスクリーンを示す。このスクリーンは、図５Ａのスクリーンに関連する機械学習モデル（複数可）またはプロジェクトと関連付けられたいくつかの実験を参照及び／または管理するためのいくつかのコンポーネント５１０～５１８を含む。
コンポーネント５１０は、いくつかの精密度－再現度曲線内の実験の集約された結果を示し、コンポーネント５１４～５１８の各々は、対応する実験に関連する高レベル情報を示す。特に、コンポーネント５１４～５１８内の情報は、いくつかの列５２０～５２６に編成される。列５２０は、実験に関与するデータサイエンティスト及び／または他のユーザによる注記を含み、列５２２は、各々の実験の機械学習モデル（複数可）に入力された特徴のリストを含み、列５２４は、各々の実験において使用される機械学習モデル（複数可）のモデル名及び／またはタイプ（グラフィカルアイコンによって表されるような）を含み、列５２６は、各々の実験のステータス（例えば、行われた実験についての精密度、再現度、及び／または他の性能メトリックの値）を含む。
ユーザは、ＧＵＩ１２４の異なるスクリーンにナビゲートして、セルに関連するより詳細な情報を参照するために、特定の行及び列によって識別されるセルをクリックしてもよい。例えば、ユーザは、対応する実験についての全ての注釈を参照するために、列５２０内のセルをクリックしてもよい。別の実施例では、ユーザは、図５Ｃ及び５Ｄに関して以下で更に詳細に説明される、特徴エンジニアリングＧＵＩ２０４内の１つ以上のスクリーンにナビゲートするために、列５２２内のセルをクリックしてもよい。第３の実施例では、ユーザは、図５Ｅ～５Ｆに関して以下で更に詳細に説明される、ネットワーク生成ＧＵＩ２０２、ネットワーク解析ＧＵＩ２１２、及び／またはネットワーク記述ＧＵＩ２３２内の１つ以上のスクリーンにナビゲートするために、列５２４内のセルをクリックしてもよい。第４の実施例では、ユーザは、図５Ｇに関して以下で更に詳細に説明される、ネットワーク評価ＧＵＩ２２２内の１つ以上のスクリーンにナビゲートするために、列５２６内のセルをクリックしてもよい。
ユーザは、コンポーネント５１２の下に示されるコンポーネント５１４～５１８及び内の実験に関連する情報をソートし、フィルタし、及び／またはそうでなければ編成し、もしくはアクセスするために、コンポーネント５１２内のユーザインタフェース要素と対話してもよい。例えば、ユーザは、検索用語に一致する実験のリストを取り出すために、コンポーネント５１２の左側に沿ってテキストフィールドに検索用語を入力してもよい。別の実施例では、ユーザは、実験の異なる「ビュー」（例えば、図５Ｂに示されるリストビュー、グリッドビュー、ツリービューなど）にアクセスするために、テキストフィールドの右への３つの異なるアイコンをクリックしてもよい。第３の実施例では、ユーザは、実験の「直近」順序（例えば、直近から最遠への実験の順序）と「最良」順序（例えば、最優良から最悪への実験の順序）との間でトグルするために、アイコンの右への２つのボタンをクリックしてもよい。第４の実施例では、ユーザは、プロジェクトに新たな実験を追加するために、コンポーネント５１２の右側に沿って「＋」ボタンをクリックしてもよい。
１つ以上の実施形態では、各々の実験は、実験のための列５２０～５２４内の情報の一意な組み合わせを表すバージョン番号が割り当てられる。加えて、１つ以上の列５２０～５２４内のセルは、異なるバージョン番号と関連付けられる。示されるように、コンポーネント５１４～５１８によって表される３つの実験は、同一の名前の「顧客保持」及び異なるバージョン番号（例えば、「ｖ３、」「ｖ４、」「ｖ５」）を含む。各々の実験は、異なる特徴のセット、異なるバージョンの「２０１９年８月メンバシップレコード」データセット（例えば、「ｖ２」もしくは「ｖ３」）、異なる機械学習モデル（例えば、「ＦＦ－Ｎｅｔ」もしくは「ＬＧＢＭ」）、及び／または異なるモデルバージョン（例えば、「ｖ１」もしくは「ｖ２」）の所与の機械学習モデルを含む。
実験と関連付けられ１つ以上の列５２０～５２４に変更が行われるとき、対応する要素のバージョン番号は、実験のバージョン番号に沿って増加される。例えば、機械学習モデルへのいずれかの修正は、機械学習モデルのバージョン番号における増加と共に、それに対して機械学習モデルの修正が行われる新たなバージョンの直近の実験（対応する新たなバージョン番号に沿った）の作成をトリガすることができる。直近の実験への追加の変更は、実験の「完了」をマーク付けする、機械学習モデルの次の訓練まで、このバージョンに包含されてもよい。別の実施例では、データセットへのいずれかの修正は、データセット、修正済みデータセットを使用するいずれかの機械学習モデル（例えば、修正済みデータセットを使用して機械学習モデル（複数可）が再訓練された後の）、及び／または修正済みデータセットを使用するいずれかの実験のバージョン番号（複数可）における増加をトリガすることができる。第３の実施例では、機械学習モデルによって使用される特徴へのいずれかの変更は、機械学習モデル（例えば、特徴を使用して機械学習モデルが再訓練された後の）及び／または機械学習モデルを使用するいずれかの実験のバージョン番号（複数可）における増加をトリガすることができる。代わりに、機械学習モデルに入力された特徴セットが変更されたが、特徴の数が変更されないとき、機械学習モデルのアーキテクチャが修正されなくてもよく、よって、機械学習モデルのバージョン番号は、同一のままであってもよい。次いで、実験のバージョン番号の増加は、増加したバージョン番号によって識別された新たな実験の作成に対応してもよく、図５Ｂのスクリーン内の実験についての新たな行の包含を結果としてもたらすことができる。
図５Ｃは、様々な実施形態に従った、図１のＧＵＩ１２４の実施例のスクリーンショットである。より具体的に、図５Ｃは、（例えば）図５Ｂのスクリーンの列５２２の下のセルをクリックし、及び／またはＧＵＩ１２４内の「２０１９年８月メンバシップレコード」データセットについてのタブをクリックすることによって到達することができる、特徴エンジニアリングＧＵＩ２０４のスクリーンを示す。図５Ｃの実施例のスクリーンは、機械学習モデルに入力されたデータセットを参照し、選択し、作成し、及び／またはそうでなければ管理するためのいくつかのコンポーネント５２８～５３６を含む。コンポーネント５３０は、機械学習モデルに特徴として入力されたデータセット内の列のリストを示し、コンポーネント５３２は、データセット内の行及び列のテーブルを示す。コンポーネント５３４は、プロットに含まれることになる１つ以上の列を示し、コンポーネント５３６は、コンポーネント５３４内で指定された列（複数可）のプロットを示す。コンポーネント５３６は加えて、コンポーネント５３４内で指定された列（複数可に関連する異なるタイプのプロットを参照するために選択することができるいくつかのアイコンを含む。
示されるように、コンポーネント５３２のテーブル内で列を強調すること、示唆された特徴としてコンポーネント５３０に列名を含めること、及び示唆されたプロット要素としてコンポーネント５３４に列名を含めることを生じさせる、コンポーネント５３２内の「参加した日付」列が選択される。ユーザは、機械学習モデルの特徴の追加を確認するために、コンポーネント５３０内の列名をクリックしてもよい。ユーザはまた、列内のデータによりコンポーネント５３６内のプロットを更新するために、コンポーネント５３４内の列名をクリックしてもよい。
コンポーネント５２８は、データセットについてのレシピのリストを含む。いくつかの実施形態では、コンポーネント５２８に示される各々のレシピは、所与のバージョンのデータセット（例えば、コンポーネント５３２のテーブル内に示されるデータセットのバージョン）を生成するように適用された１つ以上の操作または修正の履歴を含む。ユーザは、変更の対応する履歴を通じて進むために、所与のレシピと対話してもよい。例えば、ユーザは、操作を「元に戻し」、コンポーネント５３２内に示されたテーブルを操作の前のデータセットの状態に戻すために、レシピ内の操作をクリックしてもよい。
コンポーネント５２８はまた、所与のレシピに追加することができる２つのタイプの操作を表す「フィルタ」ボタン及び「追加」ボタンを含む。「フィルタ」ボタンは、データセットから行を除去するために選択されてもよく、「追加」ボタンは、データセットに列を追加するために選択されてもよい（例えば、列内のデータがどのように作成またはインポートされるかを指定したコードを使用して）。コンポーネント５２８はまた、レシピにより使用することができる他のタイプの操作を指定するためのユーザインタフェース要素により更新されてもよい。
図５Ｄは、様々な実施形態に従った、図１のＧＵＩ１２４の実施例のスクリーンショットである。特に、図５Ｄは、コンポーネント５２８内の「追加」ボタンが選択された後の図５Ｃのスクリーンを示す。示されるように、図５Ｄのスクリーンは、「１月に参加した」と命名された新たな列を生成するためのコードが入力されるテキストボックスを含む、新たなコンポーネント５３８を含む。この「追加」操作は、データセット内のレコード「参加した日付」列が２０１９年１月に等しいときに「はい」に設定され、そうでなければ「いいえ」に設定される、二値を生成する。
「追加」操作が完了した後、ユーザは、データセットに列を追加するために、コンポーネント５３８内の「完了」ボタンをクリックしてもよい。列がデータセット内にあると、ユーザは、機械学習モデルについての特徴として列を追加するためにコンポーネント５３０～５３２と対話してもよく、及び／または列にデータを包含した１つ以上のプロットを参照するためにコンポーネント５３４～５３６と対話してもよい。
図５Ｅは、様々な実施形態に従った、図１のＧＵＩ１２４の実施例のスクリーンショットである。より具体的に、図５Ｅは、ネットワーク生成ＧＵＩ２０２内の実施例のスクリーンを示す。示されるように、スクリーンは、機械学習モデルを視覚的に作成するためのコンポーネント５４０を含む。コンポーネント５４０は、機械学習モデルに入力された特徴を説明する第１の部分５４４を含む。例えば、部分５４４は、機械学習モデルについての特徴として追加された「２０１９年８月メンバシップレコード」データセット内の列の列名を示す。
コンポーネント５４０はまた、機械学習モデルをグラフィカルに描写した第２の部分５４６を含む。部分５４６は、ニューラルネットワークの層を表すいくつかの水平六角バーを含む。対応する層についての活性化関数を表す、異なる色の矩形バーが各々のバーに続いて存在する。
部分５４６内で、バーの右にユーザインタフェース要素５５０を表示させる、ニューラルネットワークの第１の層を表す六角バーが現在選択されている。ユーザインタフェース要素５５０は、層が２５に設定された幅（すなわち、ニューロンの数）を有する完全結合層であることを示す。ユーザは、異なるタイプの層（例えば、畳み込み、最大プーリング、平均プーリング、長・短期記憶（ＬＳＴＭ）、残差、カスタムなど）を選択するために、ユーザインタフェース要素５５０内で「完全結合」を現在示しているドロップダウンメニューと対話してもよい。ユーザはまた、層についての異なる幅を選択するために、ユーザインタフェース要素５５０内で「ｎ＝２５」を現在示しているテキストフィールドと対話してもよい。ユーザは加えてまたは代わりに、層の幅を変更するために、六角バーの側面をクリック及びドラッグしてもよい。
コンポーネント５４０は加えて、機械学習モデルの出力を説明する第３の部分５４８を含む。この出力は、図５Ａのスクリーンショットの「成功基準」コンポーネント５０４内で指定された「取り消しする」ラベルを含む。
図５Ｅのスクリーンはまた、機械学習モデルを定義するために使用される数学的表現を含むソースコードを参照及び／または修正するためのコンポーネント５４２を含む。図５Ｅのスクリーンショット内で、コンポーネント５４２は、部分５４６内で選択された完全結合層に関連するいくつかの数学的表現を示す。第１の数学的表現は、層への入力「ｘ」のドメイン及び層からの出力「ｙ」の範囲を指定する。第２の数学的表現は、入力から出力を計算するための公式を含む。第３の数学的表現は、第２の数学的表現によって表される公式において使用される値のタイプを指定する。ユーザは、数学的表現を編集するために（スクリーン内でオーバレイとして示されるテキストフィールド内で）コンポーネント５４２内の個々の数学的表現を選択してもよい。ユーザインタフェース要素５５０のドロップダウンメニュー内でカスタム層が選択されるとき、カスタム層を定義した１つ以上の数学的表現を指定するために、コンポーネント５４２がユーザによって使用されてもよい。
図５Ｆは、様々な実施形態に従った、図１のＧＵＩ１２４の実施例のスクリーンショットである。より具体的に、図５Ｆは、ニューラルネットワークの第１の層についての活性化関数を表す矩形バーが選択された後の、図５Ｅの実施例のネットワーク生成ＧＵＩ２０２を示す。選択に応答して、部分５４６は、バーの右へのユーザインタフェース要素５５２を示す。ユーザインタフェース要素５５２は、「ＲｅＬＵ」として活性化関数を識別し、層についての異なる活性化関数を選択するために使用することができるドロップダウンメニューを含む。
図５Ｆのスクリーン内で、活性化関数に関連する数学的表現を示すよう、コンポーネント５４２も更新される。それらの数学的表現は、活性化関数への入力「ｘ」のドメイン及び活性化関数からの出力「ｙ」の範囲と共に、「ＲｅＬＵ」活性化関数についての公式を含む。図５Ｅのスクリーンのように、ユーザは、数学的表現を包含したテキストフィールドにアクセスし、及び／またはテキストフィールド内で数学的表現を編集するために、コンポーネント５４２内の個々の数学的表現をクリックしてもよい。
図５Ｇは、様々な実施形態に従った、図１のＧＵＩ１２４の実施例のスクリーンショットである。より具体的に、図５Ｇは、ネットワーク評価ＧＵＩ２２２の実施例のスクリーンを示す。示されるように、スクリーンは、機械学習モデルと関連付けられた訓練結果をレビュー及び／または解析するためのいくつかのコンポーネント５５４～５６６を含む。
コンポーネント５５４は、機械学習モデルの「訓練進捗」に関連する情報を示す。この情報は、訓練エポック、損失を計算するために使用される損失関数のタイプ、及び機械学習モデルを訓練するために使用されるバッチサイズに応じた、機械学習モデルの損失のプロットを含む。
コンポーネント５５６は、訓練済み機械学習モデルの性能を、図５Ａのスクリーンのコンポーネント５０４内で指定された「成功基準」と比較した情報を示す。この情報は、機械学習モデルが７０％の精密度閾値を満たすが、９０％の再現度閾値を満たさないことを示す。
コンポーネント５５８は、機械学習モデルについての性能メトリックに関連する情報を示す。いくつかの実施形態では、コンポーネント５５８は、コンポーネント５０４内で指定された成功基準を反映した視覚化を表示する。図５Ｇの実施例のスクリーンでは、それらの視覚化は、精密度－再現度曲線、及び精密度－再現度曲線内のポイントに対応する混同行列を含む。コンポーネント５５６及び５５８内の情報は、機械学習モデルによって生じたフォールスネガティブの数を低減させることによって、９０％の再現度閾値を満たすことができると判定するために使用されてもよい。
コンポーネント５６０は、機械学習モデルに入力されたデータセットに関連するレシピを示し、コンポーネント５６２は、機械学習モデルの出力に重要であるとして（すなわち、それに対して有意な効果を有する）識別された特徴を示す。コンポーネント５６４は、機械学習モデルについての試験データセットからの行及び列を有するテーブルを示し（コンポーネント５０６内に示された区画化内で指定されるような）、コンポーネント５６６は、データセットに関連する１つ以上のプロットを参照するために使用されてもよい。ユーザは、他のコンポーネント５５４～５５８と対話することによって、テーブル及び／またはプロット（複数可）内のデータをフィルタしてもよい。例えば、ユーザは、コンポーネント５６４内のそれらのセルに関するデータセット内のレコードのサブセット（すなわち、トゥルーポジティブ、フォールスポジティブ、フォールスネガティブ、トゥルーネガティブ）及び／またはコンポーネント５６６内のレコードに関連するプロットを参照するために、コンポーネント５５８の混同行列内の個々のセルをクリックしてもよい。ユーザは、機械学習モデルの性能を改善することができる（例えば、「参加した日付」列が多数のフォールスネガティブについて１月に設定されると判定する）パターンまたは相関を識別するために、フィルタ済みデータを使用してもよい。それ故に、コンポーネント５５４～５６６は、ユーザが、所与の実験において機械学習モデルの性能を評価すること、及び図５Ａのスクリーン内で識別された高レベルの目的または成功基準に性能を関係付けることを可能にすることができる。
図６は、様々な実施形態に従った、機械学習モデルを作成する方法ステップのフローチャートである。図１～３のシステムと共に方法ステップが説明されるが、当業者は、いずれかの順序において方法ステップを実行するように構成されたいずれかのシステムが本発明の範囲内にあることを認識するであろう。
示されるように、ＡＩ設計アプリケーション１２０は、機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェース（例えば、ＧＵＩ１２４）を生成する（６０２）。例えば、ＡＩ設計アプリケーション１２０は、ＧＵＩ１２４内で、ニューラルネットワークのニューロン、層、層タイプ、接続、活性化関数、入力、出力、及び／または他のコンポーネントを表すグラフィカルオブジェクトをレンダリングする。別の実施例では、ＡＩ設計アプリケーション１２０は、ＧＵＩ１２４内で、決定木、ランダムフォレスト、勾配ブースティング木、及び／または別のタイプのツリー方式モデルのノード、エッジ、入力、出力、条件、及び／または他のコンポーネントを表すグラフィカルオブジェクトを生成する。第３の実施例では、ＡＩ設計アプリケーション１２０は、機械学習モデルについてのモデルタイプを識別及び／または選択するためのユーザインタフェース要素を生成する。第４の実施例では、ＡＩ設計アプリケーション１２０は、機械学習モデルを定義するための一部または全てのソースコードを指定するための１つ以上のテキストボックス及び／または他のタイプのユーザインタフェース要素を設ける。このソースコードは、上記説明されたように、機械学習モデルの振る舞いを記述した数学的表現を含む。ユーザは、ＧＵＩ１２４内で視覚的方式において機械学習モデルを作成するために、グラフィカルオブジェクトと対話してもよく、並びに／またはグラフィカルオブジェクト及び／もしくはソースコードに関連するテキストを入力してもよい。
ＡＩ設計アプリケーション１２０はまた、ユーザインタフェース内で、機械学習モデルと関連付けられた目的を管理し、機械学習モデルと関連付けられた実験を管理し、及び／または機械学習モデルを訓練した訓練結果と対話するための追加のコンポーネントを出力する（６０４）。例えば、ＡＩ設計アプリケーション１２０は、プロジェクトスケジュール、予測されることになるラベル、ラベルと関連付けられた性能メトリックについての閾値、並びに／または機械学習モデルについての訓練データのソース、機械学習モデルの実験バージョン、データセットバージョン、モデルバージョン、及び／もしくは機械学習モデルを含む実験ごとの実験ステータス、並びに／または精密度－再現度曲線、混同行列、機械学習モデルについての訓練データセット、及び／もしくは機械学習モデルと関連付けられた訓練結果ごとの訓練データセットと関連付けられたフィルタを参照し、修正し、及び／またはそうでなければ管理するために使用することができる、ＧＵＩ１２４内の１つ以上のスクリーンをレンダリングしてもよい。
ＡＩ設計アプリケーション１２０は、ユーザインタフェースを通じて受信されたユーザ入力に基づいて、ユーザインタフェース内の機械学習モデルの視覚的表現及び機械学習モデルを定義した数学的表現を指定したソースコードを更新する（６０６）。例えば、ＡＩ設計アプリケーション１２０は、ユーザ入力に応答して、機械学習モデルの層、活性化関数、入力、出力、及び／または別のコンポーネントの色、形状、サイズ、及び／またはテキスト記述を変更してもよい。別の実施例では、ＡＩ設計アプリケーション１２０は、ユーザ入力に応答して、機械学習モデルの層、活性化関数、入力、出力、及び／または別のコンポーネントを追加または除去してもよい。第３の実施例では、ＡＩ設計アプリケーション１２０は、数学的表現（複数可）を指定または修正するためのコンポーネントのユーザ選択及び／またはユーザのテキスト入力に基づいて、機械学習モデルのコンポーネントを定義した１つ以上の数学的表現を表示してもよい。
ＡＩ設計アプリケーション１２０は、操作６０２～６０６を実行することを継続してもよく、機械学習モデルの生成が完了したかどうかについての判定を行う（６０８）。例えば、ＡＩ設計アプリケーション１２０は、ユーザが機械学習モデルを視覚的に作成するためにユーザインタフェースと対話する間、ユーザインタフェースのスクリーンを生成すること、並びに機械学習モデルについての視覚的表現及びソースコードを修正することを継続してもよい。ＡＩ設計アプリケーション１２０は、ユーザが機械学習モデルの訓練を要求するユーザインタフェース要素を選択し、及び／またはユーザインタフェースを介して機械学習モデルの作成が完了したことを示す他の入力を提供した後、機械学習モデルの生成が完了したと判定してもよい。
機械学習モデルの生成が完了した後、ＡＩ設計アプリケーション１２０は、コンパイル済みコードにソースコードをコンパイルし（６１０）、コンパイル済みコードは、実行されるとき、機械学習モデルの訓練の間に機械学習モデルの１つ以上のパラメータを学習させる。より具体的に、ＡＩ設計アプリケーション１２０は、ソースコードのＡＳＴ表現を生成してもよい。このＡＳＴ表現は、ツリー構造を含み、ツリー構造内の子ノードは、定数及び変数を表し、ツリー構造内の親ノードは、演算子またはステートメントを表す。ＡＩ設計アプリケーション１２０は次いで、ＡＳＴ表現に基づいてコンパイル済みコードを生成し、機械学習モデル内のパラメータ（複数可）がソースコードの構造に基づいて学習されることになると判定する。例えば、ＡＩ設計アプリケーション１２０は、意味正当性についてソースコードを検査してもよく、１つ以上の割り当てられたソースにソースコード内の変数をマッピングしてもよい。ＡＩ設計アプリケーション１２０は次いで、学習されることになる変数として（すなわち、機械学習モデルパラメータ）割り当てられたソースを有さないいずれかの変数を識別してもよい。
最終的に、ＡＩ設計アプリケーション１２０は、機械学習モデル及び機械学習モデルを含む１つ以上の実験と関連付けられた１つ以上のバージョンを増加させる（６１２）。例えば、ＡＩ設計アプリケーション１２０は、新たなアーキテクチャ、特徴のセット、及び／または訓練データセットにより機械学習モデルが「再コンパイルされ」または再訓練されるかどうかに関わらず、機械学習モデルのモデルバージョンを自動で増加させてもよい。機械学習モデルのモデルバージョンが増加されるとき、ＡＩ設計アプリケーション１２０は、機械学習モデルの異なるモデルバージョンが異なる実験バージョンにおいて追跡されることを保証するために、機械学習モデルを伴ういずれかの実験のバージョンを自動で増加させてもよい。
要するに、開示される技術は、１つ以上の機械学習モデルを視覚的に作成及び監視するためのＡＩ設計アプリケーション及びユーザインタフェースを提供する。ＡＩ設計アプリケーション及びユーザインタフェースは、機械学習モデル（複数可）を視覚的に生成し、機械学習モデル（複数可）と関連付けられた１つ以上の目的を管理し、機械学習モデル（複数可）と関連付けられた１つ以上の実験を管理し、並びに／または機械学習モデル（複数可）を訓練した訓練結果をレビューもしくは対話するためのコンポーネントを含む。ユーザは、機械学習モデル（複数可）を作成するためのコードを手動で書き込む代わりに、機械学習モデル（複数可）のアーキテクチャ及び／または機械学習モデルを定義するための数学的表現を指定するために、ユーザインタフェースと対話してもよい。ユーザがユーザインタフェースを介して機械学習モデルを作成することを終了したとき、ＡＩ設計アプリケーションは、データセットに対して機械学習モデルを訓練し、及び／または訓練済み機械学習モデルの性能を評価するために実行することができる、コンパイル済み機械コードに、数学的表現を含むソースコードを変換する。
機械学習モデルを視覚的に生成し、ユーザ指定データセットに対して機械学習モデルを訓練し、試験し、及び検証するためのユーザインタフェースコンポーネントを設けることによって、ＡＩ設計アプリケーションは、機械学習モデルを作成及び使用することに関与するデータサイエンティスト及び／または他のユーザが、機械学習モデルの作成及び評価の間に複雑なコード、ソフトウェアスタック、及び／または操作を回避することを可能にする。よって、ＡＩ設計アプリケーションは、機械学習モデルについてのコードを書き込み、デバッグし、及びコンパイルする複数のラウンドを実行するために、追加の処理時間及び／またはリソース消費を伴い、機械学習モデルを訓練し、試験し、及び検証するためのワークフロー及びパイプラインを手動で定義及び実行し、並びに異なるバージョンの機械学習モデル、データセット、及び／または実験を追跡する従来の技術に対して、オーバヘッドを低減させる。機械学習モデル、データセット、及び関連する性能メトリックの視覚的表現は加えて、機械学習モデルの理解、機械学習モデルの性能に影響を及ぼす特徴もしくは他の属性の識別、並びに／またはより高いレベルの目標及び目的を有する性能メトリックの調整を改善することができる。次いで、ＡＩアプリケーション及びユーザインタフェースを使用して作成された機械学習モデルは、従来のツールを使用して作成された機械学習モデルよりも良好な性能及び／または高速な収束を有することができる。それ故に、開示される技術は、機械学習モデルを設計し、訓練し、評価し、及び／または選択する際の技術的改善をもたらす。
１．いくつかの実施形態では、機械学習モデルを作成する方法であって、機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することと、前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することと、実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルすることと、を備えた、前記方法。
２．前記ユーザ入力に基づいて、前記ユーザインタフェース内で前記機械学習モデルの視覚的表現を修正することを更に備えた、条項１に記載の方法。
３．前記視覚的表現は、前記機械学習モデルの１つ以上の層、前記１つ以上の層内の１つ以上のニューロン、前記機械学習モデルに入力された１つ以上の特徴、及び前記機械学習モデルの１つ以上の出力を含む、条項１～２のいずれかに記載の方法。
４．前記視覚的表現は、前記１つ以上の層と関連付けられた層タイプ、前記１つ以上の層と関連付けられた活性化関数、及び前記機械学習モデルのモデルタイプを更に含む、条項１～３のいずれかに記載の方法。
５．前記ユーザインタフェース内で、前記機械学習モデルと関連付けられた１つ以上の目的を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、条項１～４のいずれかに記載の方法。
６．前記１つ以上の目的は、プロジェクトスケジュール、予測されることになるラベル、前記ラベルと関連付けられた性能メトリックについての閾値、及び前記機械学習モデルについての訓練データのソースのうちの少なくとも１つを含む、条項１～５のいずれかに記載の方法。
７．前記ユーザインタフェース内で、前記機械学習モデルと関連付けられた１つ以上の実験を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、条項１～６のいずれかに記載の方法。
８．前記１つ以上の追加のコンポーネントは、実験バージョン、データセットバージョン、前記機械学習モデルのモデルバージョン、及び実験ステータスを含む、条項１～７のいずれかに記載の方法。
９．前記ユーザインタフェース内で、前記機械学習モデルを訓練した訓練結果と対話するための１つ以上の追加のコンポーネントを出力することを更に備えた、条項１～８のいずれかに記載の方法。
１０．前記１つ以上の追加のコンポーネントは、精密度－再現度曲線、混同行列、前記機械学習モデルについての訓練データセット、及び前記訓練データセットと関連付けられたフィルタのうちの少なくとも１つを含む、条項１～９のいずれかに記載の方法。
１１．前記コンパイル済みコードに前記ソースコードをコンパイルすることは、前記ソースコードの抽象シンタックスツリー（ＡＳＴ）表現を生成することと、前記ＡＳＴ表現に基づいて、前記コンパイル済みコードを生成することと、前記ソースコードの構造に基づいて、前記機械学習モデル内の前記１つ以上のパラメータが学習されることになると判定することと、を含む、条項１～１０のいずれかに記載の方法。
１２．前記１つ以上のコンポーネントは、前記機械学習モデルを定義するための前記ソースコードの少なくとも一部を指定するためのコンポーネントを含む、条項１～１１のいずれかに記載の方法。
１３．前記コンパイル済みコードを生成すると、前記機械学習モデル及び前記機械学習モデルを含む実験と関連付けられた１つ以上のバージョンを増加させることを更に備えた、条項１～１２のいずれかに記載の方法。
１４．いくつかの実施形態では、命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されるとき、前記プロセッサに、機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することと、前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することと、実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルすることと、を備えたステップを実行させる、前記非一時的コンピュータ可読媒体。
１５．前記ステップは、前記ユーザインタフェース内で、（ｉ）前記機械学習モデルと関連付けられた１つ以上の目的、及び（ｉｉ）前記機械学習モデルと関連付けられた１つ以上の実験を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、条項１４に記載の非一時的コンピュータ可読媒体。
１６．前記１つ以上の追加のコンポーネントは、実験バージョン、データセットバージョン、前記機械学習モデルのモデルバージョン、及び実験ステータスを含む、条項１４～１５のいずれかに記載の非一時的コンピュータ可読媒体。
１７．前記ステップは、前記ユーザインタフェース内で、前記機械学習モデルを訓練した訓練結果と対話するための１つ以上の追加のコンポーネントを出力することを更に備えた、条項１４～１６のいずれかに記載の非一時的コンピュータ可読媒体。
１８．前記１つ以上の追加のコンポーネントは、精密度－再現度曲線、混同行列、前記機械学習モデルについての訓練データセット、及び前記訓練データセットと関連付けられたフィルタのうちの少なくとも１つを含む、条項１４～１７のいずれかに記載の非一時的コンピュータ可読媒体。
１９．前記視覚的表現は、前記機械学習モデルの１つ以上の層、前記１つ以上の層内の１つ以上のニューロン、前記機械学習モデルに入力された１つ以上の特徴、前記機械学習モデルの１つ以上の出力、前記１つ以上の層と関連付けられた層タイプ、前記１つ以上の層と関連付けられた活性化関数、または前記機械学習モデルのモデルタイプを含む、条項１４～１８のいずれかに記載の非一時的コンピュータ可読媒体。
２０．いくつかの実施形態では、命令を記憶したメモリと、前記メモリに結合されたプロセッサと、を備え、前記プロセッサは、前記命令を実行するとき、機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成し、前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正し、実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルし、前記コンパイル済みコードを生成すると、前記機械学習モデル及び前記機械学習モデルを含む実験と関連付けられた１つ以上のバージョンを増加させる、ように構成されている、システム。
請求項に記載された特許請求される要素のいずれか及び／または本出願において説明されたいずれかの要素のいずれかの組み合わせ及び全ての組み合わせは、いずれにおいても、本発明及び保護の予期される範囲内に収まる。
様々な実施形態の説明が例示の目的のために提示されてきたが、包括的であること、及び開示される実施形態に限定されることを意図していない。説明される実施形態の範囲及び精神から逸脱することなく、多くの修正及び変形が当業者にとって明らかである。
本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具体化されてもよい。したがって、本開示の態様は、全体的なハードウェアの実施形態、全体的なソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはその全てが本明細書で「モジュール」、「システム」、もしくは「コンピュータ」と全体的に称されてもよいソフトウェアの態様及びハードウェアの態様を組み合わせた実施形態の形式を取ってもよい。加えて、本開示において説明されたいずれかのハードウェア及び／もしくはソフトウェア技術、処理、関数、コンポーネント、エンジン、モジュール、またはシステムは、回路または回路セットとして実装されてもよい。更に、本開示の態様は、そこで具体化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体（複数可）において具体化されたコンピュータプログラム製品の形式を取ってもよい。
１つ以上のコンピュータ可読媒体（複数可）のいずれかの組み合わせが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、それらに限定されないが、電子、磁気、光学、電磁気、赤外線、もしくは半導体システム、装置、もしくはデバイス、または上述したもののいずれかの適切な組み合わせであってもよい。コンピュータ可読記憶媒体の更に特定の例（非包括的リスト）は、以下のもの：１つ以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上述したもののいずれかの適切な組み合わせを含む。本明細書のコンテキストでは、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる使用または命令実行システム、装置、もしくはデバイスと関連した使用のためのプログラムを包含または記憶することができるいずれかの有形媒体であってもよい。
本開示の態様は、開示の実施形態に従った方法、装置（システム）、及びコンピュータプログラム製品のフローチャートの例示及び／またはブロック図を参照して上記説明されてきた。フローチャートの例示及び／またはブロック図の各々のブロック、並びにフローチャートの例示及び／／またはブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されてもよいことが理解されよう。それらのコンピュータプログラム命令は、マシンを生成するよう、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブルデータ処理装置に提供されてもよい。命令は、コンピュータまたは他のプログラマブルデータ処理装置を介して実行されるとき、フローチャート及び／またはブロック図のブロックまたはブロック（複数可）内で指定された機能／動作の実装を可能にする。そのようなプロセッサは、限定なしに、汎用プロセッサ、特殊目的プロセッサ、特定用途プロセッサ、またはフィールドプログラマブルゲートアレイであってもよい。
図におけるフローチャート及びブロック図は、本開示の様々な実施形態に従ったシステム、方法、及びコンピュータプログラム製品のとり得る実装態様のアーキテクチャ、機能性、及び操作を例示する。この点で、フローチャートまたはブロック図内の各々のブロックは、指定された論理的機能（複数可）を実装するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、または部分を表してもよい。また、いくつかの代替的な実装態様では、ブロック内で注記された機能は、図において注記された順序とは異なって行われてもよいことに留意されるべきである。例えば、伴う機能性に応じて、連続して示されたブロックは、実際には、実質的に同時に実行されてもよく、またはブロックは時に、逆の順序において実行されてもよい。また、ブロック図及び／またはフローチャートの例示の各々のブロック、並びにブロック図及び／またはフローチャートの例示内のブロックの組み合わせは、指定された機能もしくは動作、または特殊目的ハードウェア及びコンピュータ命令の組み合わせを実行する特殊目的ハードウェア方式システムによって実装されてもよい。
先述したことは、本開示の実施形態に向けられると共に、その基本的な範囲から逸脱することなく、開示の他の実施形態及び更なる実施形態が考案されてもよく、その範囲は、以下の特許請求の範囲によって決定される。
先述したことは、本開示の実施形態に向けられると共に、その基本的な範囲から逸脱することなく、開示の他の実施形態及び更なる実施形態が考案されてもよく、その範囲は、以下の特許請求の範囲によって決定される。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
機械学習モデルを作成する方法であって、
機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することと、
前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することと、
実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルすることと、
を備えた、前記方法。
実施形態２
前記ユーザ入力に基づいて、前記ユーザインタフェース内で前記機械学習モデルの視覚的表現を修正することを更に備えた、実施形態１に記載の方法。
実施形態３
前記視覚的表現は、前記機械学習モデルの１つ以上の層、前記１つ以上の層内の１つ以上のニューロン、前記機械学習モデルに入力された１つ以上の特徴、及び前記機械学習モデルの１つ以上の出力を含む、実施形態２に記載の方法。
実施形態４
前記視覚的表現は、前記１つ以上の層と関連付けられた層タイプ、前記１つ以上の層と関連付けられた活性化関数、及び前記機械学習モデルのモデルタイプを更に含む、実施形態３に記載の方法。
実施形態５
前記ユーザインタフェース内で、前記機械学習モデルと関連付けられた１つ以上の目的を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、実施形態１に記載の方法。
実施形態６
前記１つ以上の目的は、プロジェクトスケジュール、予測されることになるラベル、前記ラベルと関連付けられた性能メトリックについての閾値、及び前記機械学習モデルについての訓練データのソースのうちの少なくとも１つを含む、実施形態５に記載の方法。
実施形態７
前記ユーザインタフェース内で、前記機械学習モデルと関連付けられた１つ以上の実験を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、実施形態１に記載の方法。
実施形態８
前記１つ以上の追加のコンポーネントは、実験バージョン、データセットバージョン、前記機械学習モデルのモデルバージョン、及び実験ステータスを含む、実施形態７に記載の方法。
実施形態９
前記ユーザインタフェース内で、前記機械学習モデルを訓練した訓練結果と対話するための１つ以上の追加のコンポーネントを出力することを更に備えた、実施形態１に記載の方法。
実施形態１０
前記１つ以上の追加のコンポーネントは、精密度－再現度曲線、混同行列、前記機械学習モデルについての訓練データセット、及び前記訓練データセットと関連付けられたフィルタのうちの少なくとも１つを含む、実施形態９に記載の方法。
実施形態１１
前記コンパイル済みコードに前記ソースコードをコンパイルすることは、
前記ソースコードの抽象シンタックスツリー（ＡＳＴ）表現を生成することと、
前記ＡＳＴ表現に基づいて、前記コンパイル済みコードを生成することと、
前記ソースコードの構造に基づいて、前記機械学習モデル内の前記１つ以上のパラメータが学習されることになると判定することと、
を含む、実施形態１に記載の方法。
実施形態１２
前記１つ以上のコンポーネントは、前記機械学習モデルを定義するための前記ソースコードの少なくとも一部を指定するためのコンポーネントを含む、実施形態１に記載の方法。
実施形態１３
前記コンパイル済みコードを生成すると、前記機械学習モデル及び前記機械学習モデルを含む実験と関連付けられた１つ以上のバージョンを増加させることを更に備えた、実施形態１に記載の方法。
実施形態１４
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されるとき、前記プロセッサに、
機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することと、
前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することと、
実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルすることと、
を備えたステップを実行させる、前記非一時的コンピュータ可読媒体。
実施形態１５
前記ステップは、前記ユーザインタフェース内で、（ｉ）前記機械学習モデルと関連付けられた１つ以上の目的、及び（ｉｉ）前記機械学習モデルと関連付けられた１つ以上の実験を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、実施形態１４に記載の非一時的コンピュータ可読媒体。
実施形態１６
前記１つ以上の追加のコンポーネントは、実験バージョン、データセットバージョン、前記機械学習モデルのモデルバージョン、及び実験ステータスを含む、実施形態１５に記載の非一時的コンピュータ可読媒体。
実施形態１７
前記ステップは、前記ユーザインタフェース内で、前記機械学習モデルを訓練した訓練結果と対話するための１つ以上の追加のコンポーネントを出力することを更に備えた、実施形態１４に記載の非一時的コンピュータ可読媒体。
実施形態１８
前記１つ以上の追加のコンポーネントは、精密度－再現度曲線、混同行列、前記機械学習モデルについての訓練データセット、及び前記訓練データセットと関連付けられたフィルタのうちの少なくとも１つを含む、実施形態１７に記載の非一時的コンピュータ可読媒体。
実施形態１９
前記視覚的表現は、前記機械学習モデルの１つ以上の層、前記１つ以上の層内の１つ以上のニューロン、前記機械学習モデルに入力された１つ以上の特徴、前記機械学習モデルの１つ以上の出力、前記１つ以上の層と関連付けられた層タイプ、前記１つ以上の層と関連付けられた活性化関数、または前記機械学習モデルのモデルタイプを含む、実施形態１４に記載の非一時的コンピュータ可読媒体。
実施形態２０
命令を記憶したメモリと、
前記メモリに結合されたプロセッサと、を備え、前記プロセッサは、前記命令を実行するとき、
機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成し、
前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正し、
実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルし、
前記コンパイル済みコードを生成すると、前記機械学習モデル及び前記機械学習モデルを含む実験と関連付けられた１つ以上のバージョンを増加させる、
ように構成されている、システム。

Claims (20)

  1. 機械学習モデルを作成する方法であって、
    機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することと、
    前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することと、
    実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルすることと、
    を備えた、前記方法。
  2. 前記ユーザ入力に基づいて、前記ユーザインタフェース内で前記機械学習モデルの視覚的表現を修正することを更に備えた、請求項１に記載の方法。
  3. 前記視覚的表現は、前記機械学習モデルの１つ以上の層、前記１つ以上の層内の１つ以上のニューロン、前記機械学習モデルに入力された１つ以上の特徴、及び前記機械学習モデルの１つ以上の出力を含む、請求項２に記載の方法。
  4. 前記視覚的表現は、前記１つ以上の層と関連付けられた層タイプ、前記１つ以上の層と関連付けられた活性化関数、及び前記機械学習モデルのモデルタイプを更に含む、請求項３に記載の方法。
  5. 前記ユーザインタフェース内で、前記機械学習モデルと関連付けられた１つ以上の目的を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、請求項１に記載の方法。
  6. 前記１つ以上の目的は、プロジェクトスケジュール、予測されることになるラベル、前記ラベルと関連付けられた性能メトリックについての閾値、及び前記機械学習モデルについての訓練データのソースのうちの少なくとも１つを含む、請求項５に記載の方法。
  7. 前記ユーザインタフェース内で、前記機械学習モデルと関連付けられた１つ以上の実験を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、請求項１に記載の方法。
  8. 前記１つ以上の追加のコンポーネントは、実験バージョン、データセットバージョン、前記機械学習モデルのモデルバージョン、及び実験ステータスを含む、請求項７に記載の方法。
  9. 前記ユーザインタフェース内で、前記機械学習モデルを訓練した訓練結果と対話するための１つ以上の追加のコンポーネントを出力することを更に備えた、請求項１に記載の方法。
  10. 前記１つ以上の追加のコンポーネントは、精密度－再現度曲線、混同行列、前記機械学習モデルについての訓練データセット、及び前記訓練データセットと関連付けられたフィルタのうちの少なくとも１つを含む、請求項９に記載の方法。
  11. 前記コンパイル済みコードに前記ソースコードをコンパイルすることは、
    前記ソースコードの抽象シンタックスツリー（ＡＳＴ）表現を生成することと、
    前記ＡＳＴ表現に基づいて、前記コンパイル済みコードを生成することと、
    前記ソースコードの構造に基づいて、前記機械学習モデル内の前記１つ以上のパラメータが学習されることになると判定することと、
    を含む、請求項１に記載の方法。
  12. 前記１つ以上のコンポーネントは、前記機械学習モデルを定義するための前記ソースコードの少なくとも一部を指定するためのコンポーネントを含む、請求項１に記載の方法。
  13. 前記コンパイル済みコードを生成すると、前記機械学習モデル及び前記機械学習モデルを含む実験と関連付けられた１つ以上のバージョンを増加させることを更に備えた、請求項１に記載の方法。
  14. 命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されるとき、前記プロセッサに、
    機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成することと、
    前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正することと、
    実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルすることと、
    を備えたステップを実行させる、前記非一時的コンピュータ可読媒体。
  15. 前記ステップは、前記ユーザインタフェース内で、（ｉ）前記機械学習モデルと関連付けられた１つ以上の目的、及び（ｉｉ）前記機械学習モデルと関連付けられた１つ以上の実験を管理するための１つ以上の追加のコンポーネントを出力することを更に備えた、請求項１４に記載の非一時的コンピュータ可読媒体。
  16. 前記１つ以上の追加のコンポーネントは、実験バージョン、データセットバージョン、前記機械学習モデルのモデルバージョン、及び実験ステータスを含む、請求項１５に記載の非一時的コンピュータ可読媒体。
  17. 前記ステップは、前記ユーザインタフェース内で、前記機械学習モデルを訓練した訓練結果と対話するための１つ以上の追加のコンポーネントを出力することを更に備えた、請求項１４に記載の非一時的コンピュータ可読媒体。
  18. 前記１つ以上の追加のコンポーネントは、精密度－再現度曲線、混同行列、前記機械学習モデルについての訓練データセット、及び前記訓練データセットと関連付けられたフィルタのうちの少なくとも１つを含む、請求項１７に記載の非一時的コンピュータ可読媒体。
  19. 前記視覚的表現は、前記機械学習モデルの１つ以上の層、前記１つ以上の層内の１つ以上のニューロン、前記機械学習モデルに入力された１つ以上の特徴、前記機械学習モデルの１つ以上の出力、前記１つ以上の層と関連付けられた層タイプ、前記１つ以上の層と関連付けられた活性化関数、または前記機械学習モデルのモデルタイプを含む、請求項１４に記載の非一時的コンピュータ可読媒体。
  20. 命令を記憶したメモリと、
    前記メモリに結合されたプロセッサと、を備え、前記プロセッサは、前記命令を実行するとき、
    機械学習モデルを視覚的に生成するための１つ以上のコンポーネントを含むユーザインタフェースを生成し、
    前記ユーザインタフェースを通じて受信されたユーザ入力に基づいて、前記機械学習モデルを定義した複数の数学的表現を指定したソースコードを修正し、
    実行されるとき、前記機械学習モデルの訓練の間に前記機械学習モデルの１つ以上のパラメータを学習させる、コンパイル済みコードに前記ソースコードをコンパイルし、
    前記コンパイル済みコードを生成すると、前記機械学習モデル及び前記機械学習モデルを含む実験と関連付けられた１つ以上のバージョンを増加させる、
    ように構成されている、システム。
JP2022514186A 2019-09-12 2020-09-11 機械学習モデルの視覚的作成及び監視 Active JP7439242B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962899264P 2019-09-12 2019-09-12
US62/899,264 2019-09-12
US17/017,594 2020-09-10
US17/017,594 US20210081841A1 (en) 2019-09-12 2020-09-10 Visually creating and monitoring machine learning models
PCT/US2020/050569 WO2021051006A1 (en) 2019-09-12 2020-09-11 Visually creating and monitoring machine learning models

Publications (2)

Publication Number Publication Date
JP2022547668A true JP2022547668A (ja) 2022-11-15
JP7439242B2 JP7439242B2 (ja) 2024-02-27

Family

ID=72645001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022514186A Active JP7439242B2 (ja) 2019-09-12 2020-09-11 機械学習モデルの視覚的作成及び監視

Country Status (6)

Country Link
US (1) US20210081841A1 (ja)
EP (1) EP4028960A1 (ja)
JP (1) JP7439242B2 (ja)
CN (1) CN114365158A (ja)
CA (1) CA3153937A1 (ja)
WO (1) WO2021051006A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481676B2 (en) * 2019-08-27 2022-10-25 Sap Se Sensitivity in supervised machine learning with experience data
US20220019936A1 (en) * 2020-07-17 2022-01-20 Servicenow, Inc. Machine learning feature recommendation
US11861470B2 (en) 2020-08-13 2024-01-02 State Farm Mutual Automobile Insurance Company Simplistic machine learning model generation tool for predictive data analytics
US11693632B2 (en) * 2021-01-25 2023-07-04 Cisco Technology, Inc. Collaborative visual programming environment with cumulative learning using a deep fusion reasoning engine
JP2022162454A (ja) * 2021-04-12 2022-10-24 株式会社東芝 評価装置、評価方法、およびプログラム
US11847436B2 (en) * 2022-01-25 2023-12-19 Hewlett Packard Enterprise Development Lp Machine learning (ML) model-based compiler
CN114821178A (zh) * 2022-05-05 2022-07-29 中国科学院水生生物研究所 一种基于深度学习的模块化图像识别分类系统的处理方法
CN115080924B (zh) * 2022-07-25 2022-11-15 南开大学 一种基于自然语言理解的软件许可证条款抽取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138220A1 (ja) * 2016-02-12 2017-08-17 ソニー株式会社 情報処理方法および情報処理装置
US20180307978A1 (en) * 2017-04-19 2018-10-25 International Business Machines Corporation Multi-Modal Construction of Deep Learning Networks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6446126B2 (ja) 2015-04-17 2018-12-26 Ｃｏｃｏｒｏ Ｓｂ株式会社 処理システム及びプログラム
JP6007430B2 (ja) 2015-05-20 2016-10-12 大澤　昇平 機械学習モデル設計支援装置、機械学習モデル設計支援方法、機械学習モデル設計支援装置用プログラム
JP6603182B2 (ja) 2016-07-22 2019-11-06 ファナック株式会社 機械学習モデル構築装置、数値制御装置、機械学習モデル構築方法、機械学習モデル構築プログラム、及び記録媒体
US11681943B2 (en) * 2016-09-27 2023-06-20 Clarifai, Inc. Artificial intelligence development via user-selectable/connectable model representations
US9959498B1 (en) * 2016-10-27 2018-05-01 Google Llc Neural network instruction set architecture
US10719301B1 (en) * 2018-10-26 2020-07-21 Amazon Technologies, Inc. Development environment for machine learning media models
US20210012209A1 (en) * 2019-07-08 2021-01-14 Vian Systems, Inc. Techniques for modifying neural network definitions
US11610134B2 (en) * 2019-07-08 2023-03-21 Vianai Systems, Inc. Techniques for defining and executing program code specifying neural network architectures
US20210055915A1 (en) * 2019-08-23 2021-02-25 Google Llc No-coding machine learning pipeline

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138220A1 (ja) * 2016-02-12 2017-08-17 ソニー株式会社 情報処理方法および情報処理装置
US20180307978A1 (en) * 2017-04-19 2018-10-25 International Business Machines Corporation Multi-Modal Construction of Deep Learning Networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAO XIE ET AL.: "DeepVisual: A Visual Programming Tool for Deep Learning Systems", 2019 IEEE/ACM 27TH INTERNATIONAL CONFERENCE ON PROGRAM COMPREHENSION (ICPC) [ONLINE], JPN6023011587, 29 August 2019 (2019-08-29), pages 130 - 134, ISSN: 0005024141 *
SRIKANTH TAMILSELVAM ET AL.: "A Visual Programming Paradigm for Abstract Deep Learning Model Development", ARXIV [ONLINE], JPN6023011588, 19 August 2019 (2019-08-19), ISSN: 0005024143 *
赤石 雅典, ＷＡＴＳＯＮ ＳＴＵＤＩＯで始める機械学習・深層学習, vol. 第1版, JPN6023011590, 4 December 2018 (2018-12-04), JP, pages 77 - 83, ISSN: 0005024142 *

Also Published As

Publication number Publication date
JP7439242B2 (ja) 2024-02-27
EP4028960A1 (en) 2022-07-20
US20210081841A1 (en) 2021-03-18
CN114365158A (zh) 2022-04-15
CA3153937A1 (en) 2021-03-18
WO2021051006A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
JP7439242B2 (ja) 機械学習モデルの視覚的作成及び監視
Ciaburro et al. Neural Networks with R: Smart models using CNN, RNN, deep learning, and artificial intelligence principles
US11681925B2 (en) Techniques for creating, analyzing, and modifying neural networks
JP7329127B2 (ja) ニューラルネットワークの動作を視覚化するための手法
US10719645B1 (en) Model structure analysis with integration of transformed slice
WO2014169158A1 (en) Incremental compiling of a declarative program
Chotisarn et al. A systematic literature review of modern software visualization
US20140310681A1 (en) Assisted creation of control event
JP7233600B2 (ja) ニューラルネットワークアーキテクチャを指定するプログラムコードを定義及び実行する技術
WO2014169161A2 (en) Binding of data source to compound control
JP7301210B2 (ja) ニューラルネットワークの動作を変更するための手法
Borodin et al. COTS software integration for simulation optimization coupling: case of ARENA and CPLEX products
Mathew et al. “SHORT” er Reasoning About Larger Requirements Models
Saabith et al. A review on Python libraries and Ides for Data Science
Arlitt et al. A generative human-in-the-loop approach for conceptual design exploration using flow failure frequency in functional models
US10970183B1 (en) System and method for improving model performance
van den Wildenberg et al. Easy Spark.
Voit et al. Method to interpret algorithms and design workflows in the complex computer-aided design development
Yatsko et al. Insight Into Theoretical and Applied Informatics: Introduction to Information Technologies and Computer Science
Boopathi et al. Test data generation using flocking of fireflies in software testing
Al-Hamzi Neural Network-based Framework for understanding Machine deep learning systems' open issues and future trends: A systematic literature review
Dyer Lightweight Formal Methods in Scientific Computing
Bazurto Gómez Visual regression testing for information visualizations
Rauf Coverage Analysis for GUI Testing
Ilame Machine Learning-Powered Programming: Exploring the Fusion of AI and Coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7439242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150