JP2022539290A - ディープラーニングのためのビジュアルプログラミング - Google Patents

Abstract

本開示の実装形態は、ディープラーニングのためのビジュアルプログラミングに関する。コンピュータで実装される方法は、人工ニューラルネットワークのビジュアル表現を提示することであって、ビジュアル表現は、人工ニューラルネットワークの層を表すグラフィカル要素を含む、提示することと、グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、人工ニューラルネットワークの中間表現を修正することであって、中間表現は、ディープラーニングフレームワークから独立しており、及びドラッグアンドドロップ操作は、グラフィカル要素間の接続を修正するように構成されている、修正することと、人工ニューラルネットワークの中間表現に基づいて、ターゲットのディープラーニングフレームワークのために人工ニューラルネットワークのコードを修正することとを含む。

Description

背景
[0001] ディープラーニングの広範な応用に伴い、ディープラーニングプログラミングを学習及び使用する開発者が増加している。しかし、ディープラーニングプログラミングの現在の手順では、開発者は、データを前処理し、ディープラーニングモデルを構築するために多くのコードを記述する必要がある。初心者は、通常、基礎をなす膨大な量のコードに圧倒され、そのため、ディープラーニングプログラミングを速やかに理解及び把握することが殆どできない。

概要
[0002] コンピュータで実装される方法は、人工ニューラルネットワークのビジュアル表現を提示することであって、ビジュアル表現は、人工ニューラルネットワークの層を表すグラフィカル要素を含む、提示することと、グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、人工ニューラルネットワークの中間表現を修正することであって、中間表現は、ディープラーニングフレームワークから独立しており、及びドラッグアンドドロップ操作は、グラフィカル要素間の接続を修正するように構成されている、修正することと、人工ニューラルネットワークの中間表現に基づいて、ターゲットのディープラーニングフレームワークのために人工ニューラルネットワークのコードを修正することとを含む。

[0003] この概要は、以下の詳細な説明で更に説明する本発明の概念を単純化した形式で紹介するために提供される。この概要は、特許請求される主題の重要な特徴又は本質的な特徴を識別することも、特許請求される主題の範囲を限定するために使用されることも意図しない。

図面の簡単な説明
[0004]本開示の実装形態を実装することができる計算装置のブロック図を示す。 [0005]本開示の実装形態によるビジュアルプログラミングアーキテクチャの概略図を示す。 [0006]本開示の実装形態による人工ニューラルネットワークのビジュアル表現の概略図を示す。 [0007]本開示の実装形態によるビジュアルプログラミングのための方法のフローチャートを示す。

[0008] 図面全体を通して、同じ又は同様の参照符号は、同じ又は同様の要素を指す。

詳細な説明
[0009] ここで、本開示を幾つかの実装例に関して解説する。それらの実装形態は、主題の範囲に対するいかなる限定も提案せず、当業者が本開示をよりよく理解し、それにより本開示を実装できるようにするために論じるに過ぎないことが理解されるべきである。

[0010] 本明細書で使用するとき、「含む」という用語及びその異体は、「含むが、限定されない」という意味の非限定的な用語として解釈すべきである。「～に基づく」という用語は、「～に少なくとも部分的に基づく」として解釈すべきである。「一実装形態」及び「実装形態」という用語は、「少なくとも１つの実装形態」として解釈すべきである。「別の実装形態」という用語は、「少なくとも１つの他の実装形態」として解釈すべきである。「第１」、「第２」等の用語は、異なる又は同じ対象物を指すことができる。明示的及び暗示的な他の定義が以下で含まれ得る。

[0011] 本開示の基本原理及び幾つかの例を図面に関して以下で説明する。図１は、本開示の実装形態を実行することができる計算装置１００のブロック図を示す。図１に示す計算装置１００は、例示に過ぎず、本開示によって記載される実装形態の機能及び範囲に対するいかなる限定も構成しないものとすることが理解されるべきである。図１によれば、計算装置１００は、汎用計算装置又は専用計算装置によって実装することができる。計算装置１００の構成要素は、限定されないが、１つ又は複数のプロセッサ又は処理ユニット１１０、メモリ１２０、記憶装置１３０、１つ又は複数の通信ユニット１４０、１つ又は複数の入力装置１５０及び１つ又は複数の出力装置１６０を含み得る。

[0012] 一部の実装形態では、計算装置１００は、計算能力を有する様々なユーザ端末又はサービス端末として実装することができる。サービス端末は、様々なサービスプロバイダによって提供されるサーバ、大規模計算装置等であり得る。ユーザ端末は、例えば、携帯電話、基地局、ユニット、装置、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、発信機、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、個人通信システム（ＰＣＳ）装置、パーソナルナビゲーション装置、携帯情報端末（ＰＤＡ）、音声／ビデオプレーヤ、デジタルカメラ／ビデオ、位置決め装置、テレビ受信機、ラジオ放送受信機、電子書籍装置、ゲーム機又はそれらの装置のアクセサリ及び周辺装置で構成されるそれらのものの他の任意の組み合わせを含む任意の種類のモバイル端末、固定端末若しくは携帯型端末又はそれらのものの他の任意の組み合わせである。計算装置１００は、任意の種類のユーザ固有インタフェース（「装着可能」回路等）をサポートできることも予想され得る。

[0013] 処理ユニット１１０は、物理プロセッサ又は仮想プロセッサであり得、メモリ１２０内に記憶されるプログラムに基づいて様々な処理を実行することができる。マルチプロセッサシステムでは、複数の処理ユニットがコンピュータ実行可能命令を並列に実行して、計算装置１００の並列処理能力を高める。処理ユニット１１０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、コントローラ及びマイクロコントローラとしても知られ得る。加えて、処理ユニット１１０は、計算集約的な処理等の並列計算を実行するためのグラフィカル処理ユニット（ＧＰＵ）として実装することもできる。

[0014] 計算装置１００は、通常、複数のコンピュータ記憶媒体を含む。かかる媒体は、限定されないが、揮発性媒体及び不揮発性媒体、脱着可能媒体及び固定型媒体を含む計算装置１００によってアクセス可能な任意の入手可能な媒体であり得る。メモリ１２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（読取専用メモリ（ＲＯＭ）、電気的消去プログラム可能読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュ等）又はそれらのものの任意の組み合わせであり得る。メモリ１２０は、本明細書に記載の様々な実装形態の機能を実行するように構成されるビジュアルプログラミングモジュール１２２を含み得る。ビジュアルプログラミングモジュール１２２は、対応する機能を実行するために処理ユニット１１０によってアクセス及び操作され得る。

[0015] 記憶装置１３０は、脱着可能媒体又は固定型媒体であり得、情報及び／又はデータを記憶するために使用可能な機械可読媒体を含み得、計算装置１００内でアクセスされ得る。計算装置１００は、更なる脱着可能／固定型の揮発性／不揮発性記憶媒体を更に含むことができる。図１に示さないが、脱着可能及び不揮発性ディスクとの間で読み書きするためのディスクドライブ並びに脱着可能及び不揮発性光ディスクとの間で読み書きするための光ディスクドライブを設けることができる。その場合、各ドライブは、１つ又は複数のデータ媒体インタフェースを介してバスに接続することができる（不図示）。

[0016] 通信ユニット１４０は、通信媒体を通して別の通信装置との通信を行う。加えて、計算装置１００の構成要素の機能は、単一の計算クラスタ又は複数の計算機によって実現することができ、それらの計算機は、通信接続を通して通信することができる。従って、計算装置１００は、１つ又は複数の他のサーバ、パーソナルコンピュータ（ＰＣ）又は更なる汎用ネットワークノードへの論理接続を使用して、ネットワーク化された環境内で動作させることができる。

[0017] 入力装置１５０は、マウス、キーボード、トラックボール、音声入力装置等の１つ又は複数の様々な入力装置であり得る。出力装置１６０は、１つ又は複数の出力装置、例えばディスプレイ、スピーカ及びプリンタ等であり得る。計算装置１００は、必要に応じて１つ又は複数の外部装置（不図示）と通信ユニット１４０を通して通信することもでき、外部装置、例えば記憶装置、表示装置等は、ユーザが計算装置１００と対話することを可能にする１つ若しくは複数の装置と通信するか、又は計算装置１００が１つ若しくは複数の他の計算装置と通信することを可能にする任意の装置（ネットワークカード、モデム等）と通信する。かかる通信は、入力／出力（Ｉ／Ｏ）インタフェース（不図示）を介して行うことができる。

[0018] 一部の実装形態では、個々の装置上に統合されることとは別に、計算装置１００のそれぞれの構成要素の一部又は全てをクラウドコンピューティングアーキテクチャ形式で設定することもできる。クラウドコンピューティングアーキテクチャでは、それらの構成要素が遠隔で構成され得、本開示によって記載する機能を実装するために協働することができる。一部の実装形態では、クラウドコンピューティングは、計算、ソフトウェア、データアクセス及び記憶サービスを、かかるサービスを提供するシステム又はハードウェアの物理的な位置又は構成を端末ユーザに知らせることなく提供する。様々な実装形態において、クラウドコンピューティングは、適切なプロトコルを使用して、サービスを広域ネットワーク（インターネット等）によって提供する。例えば、クラウドコンピューティングプロバイダは、ウェブブラウザ又は他の任意の計算構成要素によってアクセス可能なアプリケーションを広域ネットワークによって提供する。クラウドコンピューティングアーキテクチャのソフトウェア又は構成要素及び対応するデータは、遠隔位置にあるサーバ上に記憶することができる。クラウドコンピューティング環境内の計算資源は、遠隔データセンタにおいて併合又は分散させることができる。クラウドコンピューティングインフラは、たとえサービスがユーザのための単一のアクセスポイントとして示されていても、それらのサービスを共用データセンタによって提供することができる。従って、本明細書に記載の構成要素及び機能は、遠隔位置にあるサービスプロバイダからクラウドコンピューティングアーキテクチャを使用して提供され得る。代わりに、構成要素及び機能は、従来のサーバから提供され得るか、又はクライアント装置上に直接若しくは他の方法で搭載され得る。

[0019] 計算装置１００は、本開示の実装形態によるビジュアルプログラミングスキームを実装するために使用することができる。例えば、計算装置１００は、様々な層及び層間の接続等の人工ニューラルネットワークのビジュアル表現をモニタ上で表示することができる。計算装置１００は、ユーザ入力、例えばドラッグアンドドロップ操作を入力装置１５０によって受け付けることができる。例えば、ユーザは、ある層をキャンバス上にドラッグアンドドロップすることができる。ビジュアルプログラミングモジュール１２２は、ユーザ入力に基づいて、提示されたビジュアル表現を修正し、人工ニューラルネットワークに関連するコードを更に更新することができる。コードは、ユーザ向けの出力１８０として出力装置１６０に与えることができる。例えば、コードは、ビジュアル表現と共にディスプレイ上でユーザに提示され得る。

[0020] 図２は、本開示の一部の実装形態によるビジュアルプログラミングアーキテクチャ２００の概略図を示す。例えば、アーキテクチャ２００は、図１に示す計算装置１００、とりわけビジュアルプログラミングモジュール１２２によって実装され得る。但し、アーキテクチャ２００は、他の任意の適切な装置上で実装され得ることが理解されるべきである。

[0021] 図２に示すように、ビジュアルモデルエディタ２０４は、ビジュアルモデルエディタ２０４を使用する開発者によって編集及び保存され得るか、又は他の開発者によって共有され得るビジュアルモデル２０２をロードすることができる。ビジュアルモデル２０２は、記述ファイル形式又は他の適切な形式で保存され得る。代わりに、開発者は、ビジュアルモデルエディタ２０４を用いて、ビジュアルモデルを最初から編集することもできる。

[0022] 例えば、ビジュアルモデルエディタ２０４は、ドラッグアンドドロップ等の操作により、開発者によって編集可能なディープラーニングビジュアルモデルのキャンバスを含むことができる。ドラッグアンドドロップは、グラフィカルユーザインタフェース内の一般的な操作であり、ユーザは、グラフィカル要素間の接続をドラッグアンドドロップ操作によって便利に編集することができる。例えば、ユーザは、あるグラフィカル要素を別のグラフィカル要素の入力に又は入力からドラッグアンドドロップすることができる。図３は、本開示の一部の実装形態による人工ニューラルネットワークのビジュアル表現３００の概略図を示す。ビジュアル表現３００は、ビジュアルモデルエディタ２０４のキャンバス上に表示され得、人工ニューラルネットワークの個々の層を表すグラフィカル要素、例えば開発者と対話することができるグラフィカルユーザインタフェース要素を含む。例えば、開発者は、形状（データ次元としても知られる）、カーネルサイズ及び活性化関数等の各層のパラメータを修正するために、グラフィカルインタフェース要素をクリックすることができる。ここで、パラメータは、個々の層の１つ又は複数の修正可能な属性を意味する。

[0023] 図３に示すように、グラフィカル要素３０２は、入力層を表し、グラフィカル要素３０４は、二次元畳み込み層を示し、グラフィカル要素３０６は、二次元最大プーリング層を指し、グラフィカル要素３０８は、フラット化層を表し、グラフィカル要素３１０は、全結合層を示す。個々の層の形状も各グラフィカル要素において示されている。例えば、入力層の生データ形状は、［２８，２８，１］、即ち２８×２８×１のテンソルである。

[0024] 本明細書の「層」という用語は、人工ニューラルネットワークの処理層（畳み込み層、全結合層及びプーリング層等）のみを含むのではなく、構造化された入力／出力、例えば図３のグラフィカル要素３０２で示す入力層も含むことが理解されるべきである。加えて、人工ニューラルネットワークの処理層は、通常、演算子の複数の組を含む。例えば、全結合層は、行列乗算及び加算演算の組み合わせを含むことができる。従って、本明細書の「層」という用語は、一般的な処理層よりも根本的な計算要素、即ち行列乗算等の演算子で構成される場合もある。

[0025] ビジュアル表現３００は、複数のグラフィカル要素を含むだけでなく、グラフィカル要素間の接続も含み、それにより対応するモデルのビジュアル表現を全体として形成する。

[0026] グラフィカルな図表により、開発者は、個々の層のパラメータ及びそれらの層間の接続を非常に簡単に修正することができる。例えば、開発者がビジュアル表現３００を編集する場合、ビジュアルモデルエディタ２０４が各層の形状を決定することができる。それらの形状のパラメータに基づき、人工ニューラルネットワーク内の各層の形状が互いに一致するかどうかを検証する。例えば、２つの層が形状に関して一致しない場合、ビジュアル表現３００内で誤り標識を表示することができ、ビジュアルプログラミングツールは、任意の層の形状の変更直後及び／又は任意のグラフィカル要素間の接続の変更直後に人工ニューラルネットワークを検証して、モデルの問題をできるだけ早く発見することができる。

[0027] 一部の実装形態では、第１のグラフィカル要素を第２のグラフィカル要素に接続するために、ユーザは、第１のグラフィカル要素を第２のグラフィカル要素にドラッグアンドドロップすることができる。第１のグラフィカル要素の出力は、第２のグラフィカル要素の入力に与えられ、それは、第１のグラフィカル要素の出力データ次元が第２のグラフィカル要素の入力データ次元と一致すべきであることを意味し、さもなければ人工ニューラルネットワーク内で誤りが発生する。更に、ビジュアルエディタ２０４は、グラフィカル要素をそのそれぞれの形状に基づいて自動で接続することができる。例えば、ユーザが新たなグラフィカル要素を追加する場合、一致する形状を有するグラフィカル要素に新たなグラフィカル要素が自動で接続され得る。

[0028] 図３に示す例では、グラフィカル要素３０２で示す入力層のデータ次元をユーザが修正する場合、ビジュアルモデルエディタ２０４は、入力層のデータ次元を、グラフィカル要素３０４によって表される畳み込み層の入力データ次元と比較して、２つの層の形状が互いに一致するかどうかを検証することができる。

[0029] 一部の実装形態では、ユーザが、グラフィカル要素３０２で示す入力層のデータ次元を修正する場合、ビジュアルモデルエディタ２０４は、それに対応して、グラフィカル要素３０４で表す畳み込み層の入力データ次元を、グラフィカル要素３０２で示す入力層のデータ次元に調節することができる。加えて、ビジュアルモデルエディタ２０４は、グラフィカル要素３０４で表す畳み込み層の出力データ次元が、グラフィカル要素３０６で示す最大プーリング層と一致するかどうかを検証することもできる。

[0030] 一部の実装形態では、ビジュアルモデルエディタ２０４は、人工ニューラルネットワークの層の既定の組を与えることができる。構造化層は、入力／出力、畳み込みニューラルネットワーク（ＣＮＮ）、再帰ニューラルネットワーク（ＲＮＮ）、全結合層、テンソル演算等の複数のツールボックスパネルに組織化することができる。開発者は、人工ニューラルネットワークモデルを構築するための要件に基づいて、所望の構造化層をツールボックスパネルから選択することができる。例えば、ビジュアルモデルエディタ２０４のインタフェースは、特定の層の検索を支援し、検索と一致する層をユーザがキャンバス上にドラッグアンドドロップすることを可能にする検索オプションも含み得る。

[0031] 一部の実装形態では、開発者は、その後の呼び出しのために人工ニューラルネットワークモデル又はビジュアルモデルを保存することができる。それらのモデルは、記述ファイル形式又は他の任意の適切な形式で保存することができる。保存されたビジュアルモデルは、使用するために他の開発者と共有することもできる。

[0032] 一部の実装形態では、ビジュアルモデルエディタ２０４のインタフェースは、データセットをプレビューするためのデータインタフェースも含み得る。例えば、公開データセット等の幾つかの公開データ、更に訓練のためのローカルデータセットを開発者がアップロードするデータインポートインタフェースが提供され得る。開発者が特定のデータセットを選択した後、ビジュアルモデルエディタ２０４は、データセットをロードし、そのデータセット及び／又は関連情報を表示することができる。例えば、データセットの総サンプルサイズ、訓練セットのサンプルサイズ及び試験セットのサンプルサイズを全てインタフェース上で表示することができる。ユーザがそのデータを迅速にインポートすることができるように、例えば公開データ及びローカルデータのための一様なユーザインタフェースを提供することができる。ユーザは、アップロードされたデータをプレビューし、モデルを訓練し、訓練されたモデルから推論を行うことができる。

[0033] 図２に示すように、開発者が人工ニューラルネットワークのビジュアル表現を修正する場合、中間モデル生成器２０８は、そのビジュアル表現を、ディープラーニングフレームワークから独立した中間表現に即座に変換することができる。中間表現は、ビジュアル表現３００に対応し、グラフィカル要素ごとにパラメータ及び名前を示すことができる。例えば、中間表現は、既定のグラフィカル要素のためのパラメータ及び名前等の仕様記述を含むことができる。記述は、ディープラーニングフレームワークから独立している。概して、ディープラーニングフレームワークは、人工ニューラルネットワークの層に関する個々の具体的仕様を有する。様々なディープラーニングフレームワーク下において、人工ニューラルネットワークの特定の層並びにパラメータ及び名前等の特定の層に関する仕様も異なる。

[0034] 中間表現は、中間計算チャート形式で具体化することができ、各ノードは、ビジュアル表現内の１つのグラフィカル要素に対応し得る。中間計算チャートは、ディープラーニングフレームワークから独立した有向グラフとして人工ニューラルネットワークを記述することができる。ディープラーニングフレームワークのノード及び層間に１対１の対応関係がなくてもよい。例えば、１つのノードがディープラーニングフレームワーク内の複数の層に対応することができるか、又は複数のノードがディープラーニングフレームワーク内の１つの層に対応することができる。

[0035] 一部の実装形態では、編集又は修正された人工ニューラルネットワークモデルを中間モデル生成器２０８によって検証することもでき、関係する誤りがビジュアルモデルエディタ２０４によって個々のグラフィカル要素において示される。図３の例では、ユーザが、グラフィカル要素３０２で示す入力層のデータ次元を修正する場合、中間モデル生成器２０８は、グラフィカル要素３０４で示す畳み込み層の入力データ次元を取得し、入力層のデータ次元を畳み込み層のデータ次元と比較して、それらの形状が互いに一致するかどうかを検証することができる。

[0036] 一部の更なる実装形態では、ユーザが、グラフィカル要素３０２で示す入力層のデータ次元を修正する場合、中間モデル生成器２０８は、グラフィカル要素３０４で示す畳み込み層の入力データ次元を入力層のデータ次元に調節することができる。次いで、中間モデル生成器２０８は、畳み込み層の出力データ次元が次の層の入力データ次元と一致するかどうかを検証することもできる。

[0037] 様々なプログラミング言語のディープラーニングプログラムをサポートするために、ディープラーニングフレームワークは、複数のプログラミング言語のためのインタフェースを提供することができる。一部の実装形態では、中間表現は、ディープラーニングフレームワークによってサポートされるプログラミング言語から独立していることができる。

[0038] その後、中間表現をターゲットコード生成器２１０に与えることができる。サポートされるディープラーニングフレームワークごとに、ターゲットコード生成器２１０は、TensorFlowコード２１２、PyTorchコード２１４又はCNTKコード２１６等の訓練及び／又は推論プログラム及びコードを生成することができる。例えば、開発者は、ターゲットのディープラーニングフレームワークを選択することができ、ターゲットコード生成器２１０は、所定の規則に基づいて、そのターゲットのディープラーニングフレームワークのためのコードを生成することができる。例えば、ターゲットコード生成器２１０は、中間表現の各ノードをターゲットのディープラーニングフレームワーク下のノードに対応する既定のコードに変換することができる。

[0039] 一部の実装形態では、開発者は、このターゲットのディープラーニングフレームワークから更なるターゲットのディープラーニングフレームワークに変更することができる。次いで、ターゲットコード生成器２１０は、人工ニューラルネットワークの中間表現に基づいて、更なるターゲットのラーニングフレームワークのためのコードを決定することができる。このようにして、様々なディープラーニングフレームワーク間の切り替えを容易に行うことができる。

[0040] 一部の実装形態では、ビジュアルモデル及び対応するコードは、インタフェース上で並列に表示され得る。例えば、インタフェースは、キャンバス及びコード部分を同時に表示することができ、コードは、人工ニューラルネットワークのための独自の訓練メトリックをカスタマイズして、損失及び精度等の共通メトリックをユーザが置換できるようにするコードスタブ又は編集可能領域を更に含み得る。

[0041] 図２に示すように、ジョブサブミッタ２２０は、コード２１２、２１４又は２１６及び入力データ２１８を受け付け、生成されたプログラムを訓練又は推論のためにローカルホスト２２２、クラウド２２４又はクラウド２２６に提出することができる。クラウド２２４及び２２６は、コード又はプログラムを実行するためのディープラーニングクラウドプラットフォーム（機械学習クラウドプラットフォームとしても知られる）を展開することができる。加えて、プログラムは、実行するために遠隔ワークステーションに提出される場合もある。

[0042] 訓練中、人工ニューラルネットワークを訓練する、即ち訓練中のメトリック値の変更をプロットするためにメトリックチャートをインタフェース上にリアルタイムでレンダリングすることもできる。このようにして、開発者は、容易に訓練プロセスを観察し、人工ニューラルネットワーク及び／又はその訓練手順をデバッグすることができる。ユーザは、実行の進捗及び操作のインジケータ又はメトリックをリアルタイムで確認することにより、操作を続行するか又は早期に終了するかを便利に決めることができる。

[0043] 例えば、ジョブサブミッタ２２０は、ワンクリックジョブ提出を備えることができ、ＡＩの統合開発環境と一体化することもできる。従って、訓練コードをローカルに又はクラウド上で実行することができる。

[0044] 本開示の実装形態によって提供されるビジュアルプログラミングツールは、データ処理、ディープラーニングモデルの設計及びジョブの提出／管理を完全なパイプラインに集約することができる。ビジュアルプログラミングツールは、モデルの構築、訓練及び推論機能を簡単なユーザインタフェースによって提供し、ディープラーニングの層を簡単且つ視覚的な方法でドラッグアンドドロップすることにより、ユーザがモデルを設計することを可能にする。従って、ディープラーニングの開発手順を大幅に単純化することができる。

[0045] このツールは、ユーザがビジュアルモデルに従ってモデルを訓練できるようにするための訓練コードを自動で生成することができる。加えて、このツールは、ビジュアルモデル表現を生成コードと自動で同期することができる。ユーザがビジュアルモデル表現又はコードを修正する場合、そのコード及び／又はビジュアルモデル表現は、自動で更新される。

[0046] 図４は、本開示の一部の実装形態によるディープラーニングのためのビジュアルプログラミングの方法４００のフローチャートを示す。方法４００は、図１に示すビジュアルプログラミングモジュール１２２において又は図２に示すアーキテクチャ２００の形式で実行することができる。

[0047] ４０２では、人工ニューラルネットワークのビジュアル表現、例えば図３のビジュアル表現３００を表示する。ビジュアル表現３００は、グラフィカル要素３０２～３１０等、人工ニューラルネットワークの層を表すグラフィカル要素を含む。

[0048] ４０４では、ユーザ（例えば、開発者）がビジュアル表現３００を編集する、例えばグラフィカル要素をドラッグアンドドロップする場合、ドラッグアンドドロップ操作によって修正されるグラフィカル要素間の接続を示すように人工ニューラルネットワークの中間表現を修正することができ、人工ニューラルネットワークの中間表現は、ディープラーニングフレームワークから独立している。

[0049] ４０６では、人工ニューラルネットワークの中間表現に基づいて、ターゲットのディープラーニングフレームワークのために人工ニューラルネットワークのコードを修正する。

[0050] 一部の実装形態では、方法４００は、コードに対する編集操作に応答して、人工ニューラルネットワークの中間表現を修正することと、修正された中間表現に基づいて、人工ニューラルネットワークのビジュアル表現を調節することとを更に含む。

[0051] 一部の実装形態では、方法４００は、グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、人工ニューラルネットワークの層の形状が互いに一致するかどうかを検証することを更に含む。

[0052] 一部の実装形態では、方法４００は、キーワードに関連する検索操作を受け付けることに応答して、キーワードに対応する少なくとも１つの候補層を表すグラフィカル要素を表示することと、少なくとも１つの候補層のグラフィカル要素の選択を受け付けることに応答して、選択されたグラフィカル要素をビジュアル表現に追加することとを更に含む。

[0053] 一部の実装形態では、方法４００は、人工ニューラルネットワークのメトリックをカスタマイズするためのコードスタブを表示することと、コードスタブに対する編集操作に応答して、人工ニューラルネットワークのメトリックをカスタマイズすることとを更に含む。

[0054] 一部の実装形態では、人工ニューラルネットワークの１つ又は複数の層を表す１つ又は複数の新たなグラフィカル要素をビジュアル表現内に追加することと、人工ニューラルネットワークの１つ又は複数の層を表す１つ又は複数のグラフィカル要素をビジュアル表現から削除することと、人工ニューラルネットワークの１つ又は複数の層を表す１つ又は複数のグラフィカル要素の１つ又は複数のパラメータを修正することとの少なくとも１つを可能にするためにドラッグアンドドロップ操作が実行される。

[0055] 一部の実装形態では、方法４００は、ターゲットのディープラーニングフレームワークを更なるターゲットのディープラーニングフレームワークに変更するための命令を受け付けることに応答して、人工ニューラルネットワークの中間表現に基づいて、更なるディープラーニングフレームワークのための人工ニューラルネットワークのコードを決定することを更に含む。

[0056] 本開示の一部の例示的実装形態を以下に記載する。

[0057] 第１の態様では、コンピュータで実装される方法が提供される。この方法は、人工ニューラルネットワークのビジュアル表現を提示することであって、ビジュアル表現は、人工ニューラルネットワークの層を表すグラフィカル要素を含む、提示することと、グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、人工ニューラルネットワークの中間表現を修正することであって、中間表現は、ディープラーニングフレームワークから独立しており、及びドラッグアンドドロップ操作は、グラフィカル要素間の接続を修正するように構成されている、修正することと、人工ニューラルネットワークの中間表現に基づいて、ターゲットのディープラーニングフレームワークのために人工ニューラルネットワークのコードを修正することとを含む。

[0058] 一部の実装形態では、この方法は、コードに対する編集操作に応答して、人工ニューラルネットワークの中間表現を修正することと、修正された中間表現に基づいて、人工ニューラルネットワークのビジュアル表現を調節することとを含む。

[0059] 一部の実装形態では、この方法は、グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、人工ニューラルネットワークの層に関連するデータの次元を検証することを含む。

[0060] 一部の実装形態では、この方法は、キーワードに関連する検索操作を受け付けることに応答して、キーワードに対応する少なくとも１つの候補層を表すグラフィカル要素を提示することと、少なくとも１つの候補層のグラフィカル要素の選択を受け付けることに応答して、選択されたグラフィカル要素をビジュアル表現に追加することとを含む。

[0061] 一部の実装形態では、この方法は、人工ニューラルネットワークのメトリックをカスタマイズするためのコードスタブを提示することと、コードスタブに対する編集操作に応答して、人工ニューラルネットワークのメトリックをカスタマイズすることとを更に含む。

[0062] 一部の実装形態では、この方法は、人工ニューラルネットワークの層を表す新たなグラフィカル要素をビジュアル表現内に追加することと、人工ニューラルネットワークの層を表すグラフィカル要素をビジュアル表現から削除することと、人工ニューラルネットワークの層を表すグラフィカル要素のパラメータを修正することとの少なくとも１つに応答して、人工ニューラルネットワークの中間表現を修正することを更に含む。

[0063] 一部の実装形態では、この方法は、ターゲットのディープラーニングフレームワークを更なるターゲットのディープラーニングフレームワークに変更するための命令を受け付けることに応答して、人工ニューラルネットワークの中間表現に基づいて、更なるディープラーニングフレームワークのための人工ニューラルネットワークのコードを決定することを更に含む。

[0064] 第２の態様では、処理ユニットと、メモリであって、処理ユニットに結合され、及びメモリに記憶された命令を有するメモリとを含む装置が提供され、命令は、処理ユニットによって実行されると、装置に、人工ニューラルネットワークのビジュアル表現を提示することであって、ビジュアル表現は、人工ニューラルネットワークの層を表すグラフィカル要素を含む、提示することと、グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、人工ニューラルネットワークの中間表現を修正することであって、中間表現は、ディープラーニングフレームワークから独立しており、及びドラッグアンドドロップ操作は、グラフィカル要素間の接続を修正するように構成されている、修正することと、人工ニューラルネットワークの中間表現に基づいて、ターゲットのディープラーニングフレームワークのために人工ニューラルネットワークのコードを修正することとを含む動作を実行させる。

[0065] 一部の実装形態では、この動作は、コードに対する編集操作に応答して、人工ニューラルネットワークの中間表現を修正することと、修正された中間表現に基づいて、人工ニューラルネットワークのビジュアル表現を調節することとを更に含む。

[0066] 一部の実装形態では、この動作は、グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、人工ニューラルネットワークの層に関連するデータの次元を検証することを更に含む。

[0067] 一部の実装形態では、この動作は、キーワードに関連する検索操作を受け付けることに応答して、キーワードに対応する少なくとも１つの候補層を表すグラフィカル要素を提示することと、少なくとも１つの候補層のグラフィカル要素の選択を受け付けることに応答して、選択されたグラフィカル要素をビジュアル表現に追加することとを更に含む。

[0068] 一部の実装形態では、この動作は、人工ニューラルネットワークのメトリックをカスタマイズするためのコードスタブを提示することと、コードスタブに対する編集操作に応答して、人工ニューラルネットワークのメトリックをカスタマイズすることとを更に含む。

[0069] 一部の実装形態では、この動作は、人工ニューラルネットワークの層を表す新たなグラフィカル要素をビジュアル表現内に追加することと、人工ニューラルネットワークの層を表すグラフィカル要素をビジュアル表現から削除することと、人工ニューラルネットワークの層を表すグラフィカル要素のパラメータを修正することとの少なくとも１つに応答して、人工ニューラルネットワークの中間表現を修正することを更に含む。

[0070] 一部の実装形態では、この動作は、ターゲットのディープラーニングフレームワークを更なるターゲットのディープラーニングフレームワークに変更するための命令を受け付けることに応答して、人工ニューラルネットワークの中間表現に基づいて、更なるディープラーニングフレームワークのための人工ニューラルネットワークのコードを決定することを更に含む。

[0071] 第３の態様では、本開示は、非一時的コンピュータ記憶媒体内に有形に記憶され、及びコンピュータ実行可能命令を含むコンピュータプログラム製品を提供し、コンピュータ実行可能命令は、装置によって実行されると、装置に、第１の態様の方法を実行させる。

[0072] 第４の態様では、本開示は、コンピュータ可読記憶媒体であって、それに記憶されたコンピュータ実行可能命令を有するコンピュータ可読記憶媒体を提供し、コンピュータ実行可能命令は、装置によって実行されると、装置に、第１の態様の方法を実行させる。

[0073] 本明細書に記載した機能は、１つ又は複数のハードウェア論理構成要素によって少なくとも部分的に実行され得る。例えば及び限定なしに、使用可能なハードウェア論理構成要素の例示的な種類は、書換可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、結合プログラム可能論理装置（ＣＰＬＤ）等を含む。

[0074] 本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせによって記述することができる。それらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラム可能データ処理機器のプロセッサ又はコントローラに与えることができ、それにより、プログラムコードは、プロセッサ又はコントローラによって実行されると、フローチャート及び／又はブロック図で指定された機能／操作を実装させる。プログラムコードは、機械上で完全に、機械上で部分的に、独立型ソフトウェアパッケージとして、機械上で部分的且つ遠隔機械上で部分的に又は遠隔機械若しくはサーバ上で完全に実行され得る。

[0075] 本開示に関連して、機械可読媒体は、命令実行システム、機器若しくは装置によって又はそれらに関連して使用するためのプログラムを含むか又は記憶することができる任意の有形媒体であり得る。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であり得る。機械可読媒体は、限定されないが、電子、磁気、光学、電磁、赤外線若しくは半導体システム、機器若しくは装置又は上記のものの任意の適切な組み合わせを含み得る。機械可読記憶媒体のより具体的な例は、１つ又は複数の配線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去プログラム可能読取専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置又は上記のものの任意の適切な組み合わせを含む。

[0076] 更に、特定の順序で操作を示したが、予期される結果を実現するために、図示の特定の順序若しくは逐次的な順序で操作を実行する必要があること又は図示の全ての操作を実行する必要があることが理解されるべきである。特定の状況では、マルチタスク及び並列処理が有利な場合がある。同様に、幾つかの具体的な実装形態の詳細が上記の解説に含まれるが、それらは、本明細書に記載した主題に対する限定として解釈すべきではない。別々の実装形態に関連して記載した特定の特徴は、単一の実装形態において組み合わせて実装され得る。逆に、単一の実装形態に関連して記載した様々な特徴は、複数の実装形態によって別々に又は任意の適切な部分組み合わせによって実装され得る。

[0077] 構造上の特徴及び／又は方法論的な動作に固有の言語で主題を記載したが、添付の特許請求の範囲で定める主題は、必ずしも上記の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上記の特定の特徴及び動作は、特許請求の範囲を実装する形式の例として開示されている。

Claims (15)

1. コンピュータで実装される方法であって、
   人工ニューラルネットワークのビジュアル表現を提示することであって、前記ビジュアル表現は、前記人工ニューラルネットワークの層を表すグラフィカル要素を含む、提示することと、
   前記グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、前記人工ニューラルネットワークの中間表現を修正することであって、前記中間表現は、ディープラーニングフレームワークから独立しており、及び前記ドラッグアンドドロップ操作は、前記グラフィカル要素間の接続を修正するように構成されている、修正することと、
   前記人工ニューラルネットワークの前記中間表現に基づいて、ターゲットのディープラーニングフレームワークのために前記人工ニューラルネットワークのコードを修正することと
   を含む、コンピュータで実装される方法。
2. 前記コードに対する編集操作に応答して、前記人工ニューラルネットワークの前記中間表現を修正することと、
   前記修正された中間表現に基づいて、前記人工ニューラルネットワークの前記ビジュアル表現を調節することと
   を更に含む、請求項１に記載の方法。
3. 前記グラフィカル要素に対する前記ドラッグアンドドロップ操作を受け付けることに応答して、前記人工ニューラルネットワークの前記層に関連するデータの次元を検証することを更に含む、請求項１に記載の方法。
4. キーワードに関連する検索操作を受け付けることに応答して、前記キーワードに対応する少なくとも１つの候補層を表すグラフィカル要素を提示することと、
   前記少なくとも１つの候補層のグラフィカル要素の選択を受け付けることに応答して、前記選択されたグラフィカル要素を前記ビジュアル表現に追加することと
   を更に含む、請求項１に記載の方法。
5. 前記人工ニューラルネットワークのメトリックをカスタマイズするためのコードスタブを提示することと、
   前記コードスタブに対する編集操作に応答して、前記人工ニューラルネットワークの前記メトリックをカスタマイズすることと
   を更に含む、請求項１に記載の方法。
6. 前記人工ニューラルネットワークの層を表す新たなグラフィカル要素を前記ビジュアル表現内に追加することと、
   前記人工ニューラルネットワークの層を表すグラフィカル要素を前記ビジュアル表現から削除することと、
   前記人工ニューラルネットワークの層を表すグラフィカル要素のパラメータを修正することと
   の少なくとも１つに応答して、前記人工ニューラルネットワークの前記中間表現を修正することを更に含む、請求項１に記載の方法。
7. 前記ターゲットのディープラーニングフレームワークを更なるターゲットのディープラーニングフレームワークに変更するための命令を受け付けることに応答して、前記人工ニューラルネットワークの前記中間表現に基づいて、前記更なるディープラーニングフレームワークのための前記人工ニューラルネットワークのコードを決定することを更に含む、請求項１に記載の方法。
8. 装置であって、
   処理ユニットと、
   メモリであって、前記処理ユニットに結合され、及び前記メモリに記憶された命令を有し、前記命令は、前記処理ユニットによって実行されると、前記装置に、
   人工ニューラルネットワークのビジュアル表現を提示することであって、前記ビジュアル表現は、前記人工ニューラルネットワークの層を表すグラフィカル要素を含む、提示することと、
   前記グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、前記人工ニューラルネットワークの中間表現を修正することであって、前記中間表現は、ディープラーニングフレームワークから独立しており、及び前記ドラッグアンドドロップ操作は、前記グラフィカル要素間の接続を修正するように構成されている、修正することと、
   前記人工ニューラルネットワークの前記中間表現に基づいて、ターゲットのディープラーニングフレームワークのために前記人工ニューラルネットワークのコードを修正することと
   を含む動作を実行させる、メモリと
   を含む装置。
9. 前記動作は、
   前記コードに対する編集操作に応答して、前記人工ニューラルネットワークの前記中間表現を修正することと、
   前記修正された中間表現に基づいて、前記人工ニューラルネットワークの前記ビジュアル表現を調節することと
   を更に含む、請求項８に記載の装置。
10. 前記動作は、前記グラフィカル要素に対する前記ドラッグアンドドロップ操作を受け付けることに応答して、前記人工ニューラルネットワークの前記層に関連するデータの次元を検証することを更に含む、請求項８に記載の装置。
11. 前記動作は、
    キーワードに関連する検索操作を受け付けることに応答して、前記キーワードに対応する少なくとも１つの候補層を表すグラフィカル要素を提示することと、
    前記少なくとも１つの候補層のグラフィカル要素の選択を受け付けることに応答して、前記選択されたグラフィカル要素を前記ビジュアル表現に追加することと
    を更に含む、請求項８に記載の装置。
12. 前記動作は、
    前記人工ニューラルネットワークのメトリックをカスタマイズするためのコードスタブを提示することと、
    前記コードスタブに対する編集操作に応答して、前記人工ニューラルネットワークの前記メトリックをカスタマイズすることと
    を更に含む、請求項８に記載の装置。
13. 前記動作は、
    前記人工ニューラルネットワークの層を表す新たなグラフィカル要素を前記ビジュアル表現内に追加することと、
    前記人工ニューラルネットワークの層を表すグラフィカル要素を前記ビジュアル表現から削除することと、
    前記人工ニューラルネットワークの層を表すグラフィカル要素のパラメータを修正することと
    の少なくとも１つに応答して、前記人工ニューラルネットワークの前記中間表現を修正することを更に含む、請求項８に記載の装置。
14. 前記動作は、前記ターゲットのディープラーニングフレームワークを更なるターゲットのディープラーニングフレームワークに変更するための命令を受け付けることに応答して、前記人工ニューラルネットワークの前記中間表現に基づいて、前記更なるディープラーニングフレームワークのための前記人工ニューラルネットワークのコードを決定することを更に含む、請求項８に記載の装置。
15. コンピュータ記憶媒体内に記憶され、及びコンピュータ実行可能命令を含むコンピュータプログラム製品であって、前記コンピュータ実行可能命令は、装置によって実行されると、前記装置に、
    人工ニューラルネットワークのビジュアル表現を提示することであって、前記ビジュアル表現は、前記人工ニューラルネットワークの層を表すグラフィカル要素を含む、提示することと、
    前記グラフィカル要素に対するドラッグアンドドロップ操作を受け付けることに応答して、前記人工ニューラルネットワークの中間表現を修正することであって、前記中間表現は、ディープラーニングフレームワークから独立しており、及び前記ドラッグアンドドロップ操作は、前記グラフィカル要素間の接続を修正するように構成されている、修正することと、
    前記人工ニューラルネットワークの前記中間表現に基づいて、ターゲットのディープラーニングフレームワークのために前記人工ニューラルネットワークのコードを修正することと
    を含む動作を実行させる、コンピュータプログラム製品。

Images