JP2022543180A - 可視化方法及び関連デバイス - Google Patents

Abstract

本発明において可視化方法及び関連デバイスは提供される。この方法は以下の内容を含む。ユーザー機器はクラウドサーバーに可視化要請を送信する。可視化要請は目標深層学習モデルの目標訓練データの可視化を要請するために用いられる。ユーザー機器はクラウドサーバーが送信する可視化応答を受信する。可視化応答は目標訓練データの可視化情報を有する。ユーザー機器は可視化情報を表示する。本発明の実施形態を採用すると、深層学習モデルの訓練データの可視化を実現することができる。深層学習モデルの訓練データの可視化は、現在の訓練戦略の実行可能性を適時に判断し、早期中止などの決定に拠り所を提供することに役に立つ。

Description

本出願は、発明の名称を「可視化方法及び関連デバイス」とする、２０２０年７月９日に出願された中国特許出願第２０２０１０６５６５５３．８号の優先権を主張し、そのすべての内容が参照として本出願に組み込まれる。

本発明はコンピュータ技術分野に関し、さらに具体的に、可視化方法及び関連デバイスに関する。

近年、深層学習モデルは画像とビデオ処理分野に広く使用されている。一般的に、深層学習モデルは訓練によって取得される。しかしながら、深層学習モデルの訓練プロセスは複雑且つ奥深い計算に係り、複数回の繰り返しが必要で、訓練時間が長い。この他、研究者は訓練が終わった後のみに、訓練によって取得された深層学習モデルに対して性能評価を行うことができる。

本発明の実施形態は、深層学習モデルの訓練データの可視化のために用いられる可視化方法及び関連デバイスを提供する。

第一様態において、本発明の実施形態は可視化方法を提供する。この方法は、ユーザー機器に適用される。この方法は、
クラウドサーバーに、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を送信することと、
クラウドサーバーが送信する、目標訓練データの可視化情報を有する可視化応答を受信することと、
可視化情報を表示することとを含む。

第二様態において、本発明の実施形態は可視化装置を提供する。この装置は、ユーザー機器に適用される。この装置は、
クラウドサーバーに、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を送信するように構成されている送信ユニットと、
クラウドサーバーが送信する、目標訓練データの可視化情報を有する可視化応答を受信するように構成されている受信ユニットと、
可視化情報を表示するように構成されている表示ユニットとを含む。

第三様態において、本発明の実施形態は可視化方法を提供する。この方法は、クラウドサーバーに適用される。この方法は、
ユーザー機器から、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を受信することと、
可視化要請に対応する目標訓練データを取得することと、
目標訓練データに対して前処理を行って、可視化情報を取得することと、
ユーザー機器に、可視化情報を有する可視化応答を送信することとを含む。

第四様態において、本発明の実施形態は可視化装置を提供する。この装置は、クラウドサーバーに適用される。この装置は、
ユーザー機器から、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を受信するように構成されている受信ユニットと、
可視化要請に対応する目標訓練データを取得するように構成されている取得ユニットと、
目標訓練データに対して前処理を行って可視化情報を取得するように構成されている確定ユニットと、
ユーザー機器に、可視化情報を有する可視化応答を送信するように構成されている送信ユニットとを含む。

第五様態において、本発明の実施形態はコンピュータデバイスを提供する。このコンピュータデバイスはプロセッサ、メモリ、通信インターフェース、及び一つ又は複数のプログラムを含む。一つ又は複数のプログラムはメモリに格納され、且つプロセッサによって実行されるように構成された。上記プログラムは本発明の実施形態の第一様態又は第三様態に記載された方法の操作を実行するように構成された命令を含む。

第六様態において、本発明の実施形態はコンピュータ可読記憶媒体を提供する。このコンピュータ可読記憶媒体は、電子データ交換（ｅｌｅｃｔｒｏｎｉｃ ｄａｔａ ｉｎｔｅｒｃｈａｎｇｅ、ＥＤＩ）のために用いられるコンピュータプログラムを格納する。コンピュータプログラムはコンピュータに、本発明の実施形態の第一様態又は第三様態に記載された方法の操作の一部又は全部を実行させる。

第七様態において、本発明の実施形態は、コンピュータプログラム製品を提供する。このコンピュータプログラム製品は、コンピュータプログラムを格納する非一時的なコンピュータ可読記憶媒体を含む。上記コンピュータプログラムが実行されると、コンピュータに本発明の実施形態の第一様態又は第三様態に記載された方法の操作の一部又は全部を実行させる。当該コンピュータプログラム製品はソフトウェアインストールパッケージであることができる。

本発明の実施形態において、ユーザー機器は、まずクラウドサーバーに可視化要請を送信して、次に、クラウドサーバーが送信する可視化応答を受信する。可視化応答は目標訓練データの可視化情報を有する。最後に、可視化情報を表示する。目標訓練データの可視化情報に基づいて、深層学習モデルの訓練状態を直観的に理解することができる。これによって、現在の訓練戦略の実行可能性を適時に判断し、早期中止などの決定に拠り所を提供することに役に立つ。

本発明の実施形態の技術方案又は既存技術の技術法案を明らかに説明するために、以下、実施形態又は既存技術の説明に必要な図面を簡単に紹介する。明らかに、説明される図面は本発明のいくつかの実施形態にすぎず、当業者にとって、創造的な努力なしに、これらの図面によって他の図面を得ることができる。
図１は、本発明の実施形態に係る可視化システムのアーキテクチャを示す概略図である。 図２は、本発明の実施形態に係る可視化方法を示すフローチャートである。 図３は、本発明の実施形態に係るコンピュータデバイスの構造を示す概略図である。 図４は、本発明の実施形態に係る可視化装置の構造を示す概略図である。 図５は、本発明の実施形態に係る他の可視化装置の構造を示す概略図である。

以下、当業者に本発明の技術方案をより良く理解させるために、本発明の実施形態の図面を参照しながら本発明の実施形態の技術方案を明晰に、全面的に説明する。明らかに、説明される実施形態は、本発明の一部の実施形態だけのものであり、全ての実施形態ではない。本発明に記載された実施形態に基づいて、当業者が創造的な努力なしに得ることができるすべての別の実施形態は、皆本発明の保護範囲に属する。

以下、詳しく説明する。

本発明の明細書と請求項及び図面における「第一」「第二」「第三」「第四」などの用語は特定のシーケンスの説明のためではなく、異なる対象を区別するために用いられる。また、「含む」、「備える」又は他のいかなるバリアントなどの用語は非排他的な含みをカバーすることを意図する。例えば、一連のステップ又はモジュールを含むプロセス、方法、システム、製品又は装置は、リストされたステップ又はモジュールに限定しなく、選択的に、リストされていない他のステップ又はモジュールを含み、又は選択的に、プロセス、方法、製品又は装置の固有の他のステップ又はモジュールを含むことができる。

本発明に言及される「実施形態」は、実施形態と結びついて説明される特定の特徴、構造、又は特性は本発明の少なくとも一つの実施形態に含まれることができることを意味する。明細書のいかなるところに現れる当該言葉は必ずしも同じ実施形態を示すとは限らなく、他の実施形態と矛盾する独立の実施形態又は選択可能な実施形態ではない。当業者は、本明細書に記載される実施形態は他の実施形態と組み合わせることができることを明示的に又は暗示的に理解できる。

図１を参照すると、図１は、本発明の実施形態に係る可視化システムのアーキテクチャを示す概略図である。当該可視化システムはスーパーコンピューティングクラスター（ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ ｃｌｕｓｔｅｒ）、クラウドサーバー（ｃｌｏｕｄ ｓｅｒｖｅｒ）、クラウドストレージ（ｃｌｏｕｄ ｓｔｏｒａｇｅ）及びユーザー機器（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ、ＵＥ）を含む。図１に示されたスーパーコンピューティングクラスター、クラウドサーバー、クラウドストレージ及びユーザー機器の形態と数量は例示のみに用いられ、本発明の実施形態を限定するものではない。当該可視化システムは、ジャバスクリプト（ｊａｖａｓｃｒｉｐｔ）とスケーラブルベクトルグラフィックス（ｓｃａｌａｂｌｅ ｖｅｃｔｏｒ ｇｒａｐｈｉｃｓ、ＳＶＧ）技術に基づいて、多次元多クラス（ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌ ａｎｄ ｍｕｌｔｉ－ｃｌａｓｓ）の中間訓練データの可視化を実現することができ、大量の中間訓練データの高速且つ高効率の可視化レンダーリングをサポートする。

当該可視化システムはクバネティスコンテナオーケストレーションシステム（ｋｕｂｅｒｎｅｔｅｓ ｃｏｎｔａｉｎｅｒ ｏｒｃｈｅｓｔｒａｔｉｏｎ ｓｙｓｔｅｍ）に基づいて、製造レベルの安定した可視化システムデプロイメントを提供し、動的で制御可能なサービス機能を提供する。クバネティスコンテナは、クラウドサーバーにおける複数のホストにあるコンテナ化されたアプリケーションを管理するために用いられる。

クラウドサーバーは可視化サービスを提供する。可視化サービスは、取得された中間訓練データに対して前処理などのようなデータ操作を行うために用いられる。データ操作が行われた後の中間訓練データに対して可視化レンダーリング行って、可視化情報を取得する。

選択的に、クラウドサーバーは、サービスゲートウェイ（ｓｅｒｖｉｃｅ ｇａｔｅｗａｙ）、訓練管理サービス、データ記憶サービス及び権限サービスのうちの少なくとも一つを提供する。

サービスゲートウェイは訓練管理サービス、データ記憶サービス、データ可視化サービス及び権限サービスのうちの少なくとも一つのサービスの入口とされることができる。

選択的に、サービスゲートウェイはアプリケーションプログラムであることができる。

選択的に、サービスゲートウェイは流量制限機能を持つことができる。

訓練管理サービスは、深層学習モデルの訓練タスクが完成しているかどうかへのモニタリング、異常が生じた訓練タスクへの記録、索引、検索、同じ深層学習モデルの複数の訓練タスクの訓練プロセスの比較、及び深層学習モデルの訓練結果の共有のうちの少なくとも一つのサービスを提供することができる。

データ記憶サービスは、データの永続、データスレッドを用いることによって深層学習モデル訓練中に生成された中間訓練データを格納すること、及びキャッシングを用いることによって深層学習モデル訓練中に生成された中間訓練データを格納することのうちの少なくとも一つのサービスを提供することができる。

権限管理サービスは可視化システムの安全性を保障するために用いられる。権限管理サービスの認証に合格した後のみに、可視化システムを使用することができる。この他、共有訓練も権限管理サービスを介して認証を行う。権限管理サービスは統一認証アカウントログイン及び/又は普通の登録という二種類のログイン方式をサポートする。

クラウドサーバーは、ハイパーテキスト転送プロトコル（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰ）、グーグル遠隔手続呼び出し（Ｇｏｏｇｌｅ Ｒｅｍｏｔｅ Ｐｒｏｃｅｄｕｒｅ Ｃａｌｌ、ＧＲＰＣ）プロトコル又は他のプロトコルを介して、開発者ツールキットと通信する。

クラウドサーバーは訓練データをクラウドストレージに直接格納することができる。

ユーザーがｔｅｎｓｏｒｆｌｏｗ、ｐｙｔｏｒｃｈ、ｃａｆｆｅフレームなどと一緒に使用できるように、スーパーコンピューティングクラスターは、開発者ツールキットを実行することによって、ｐｙｔｈｏｎなどのプログラミング言語のツールキットなどのような開発ツールを提供する。及び/又は、スーパーコンピューティングクラスターは、新しいスレッドを開始してそれをデータアップロード専用スレッドとする。スーパーコンピューティングクラスターは、ＨＴＴＰ通信プロトコルとＧＲＰＣプロトコルを介して、データアップロード専用スレッドでクラウドサーバーに深層学習モデル訓練中に生成された中間訓練データをアップロードする。アップロードされた中間訓練データのデータ型はベクトル、スカラー、画像、ビデオ、オーディオなどを含むことができる。アップロードされた中間訓練データは開発者ツールキットのデータキャッシングに格納される。

新しいスレッドを開始してそれをデータアップロード専用スレッドとすることは、深層学習モデルの計算速度を保障することができる。

選択的に、クラウドストレージは分散型のストレージであることができ、深層学習モデルによって生成された中間訓練データを統一管理し、中間訓練データに大量のストレージを提供するために用いられる。中間訓練データのデータ量の増加に伴って、中間訓練データのストレージニーズを満たすために、クラウドストレージはストレージ容量を動的に拡大することができ、可視化サービスの増加に後続の保障を提供する。

選択的に、クラウドストレージは、データブロックレベル（ｄａｔａ ｂｌｏｃｋ－ｌｅｖｅｌ）のクラウドストレージ、ファイルレベル（ｆｉｌｅ－ｌｅｖｅｌ）のクラウドストレージ、オブジェクトレベル（ｏｂｊｅｃｔ－ｌｅｖｅｌ）のクラウドストレージ及び/又は他の形式のクラウドストレージであることができる。

ユーザー機器は、予め設定されたアプリケーションソフトウェアを介してクラウドサーバーと通信することができ、予め設定されたネットワークアドレスを介してクラウドサーバーと通信することもできる。

選択的に、ユーザー機器は通信機能を有する各種類のハンドヘルド機器、車載機器、ウェアラブル機器、計算装置、又は無線モデムと接続する他のプロセスデバイス、及び各種類のユーザー機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ，ＵＥ）、移動ステーション（Ｍｏｂｉｌｅ Ｓｔａｔｉｏｎ，ＭＳ）、端末装置（ｔｅｒｍｉｎａｌ ｄｅｖｉｃｅ）などを含むことができる。

図２を参照すると、図２は、本発明の実施形態に係る可視化方法を示すフローチャートである。可視化方法は上記ユーザー機器とクラウドサーバーに適用され、具体的に、以下のステップを含む。

ステップ２０１：ユーザー機器はクラウドサーバーに可視化要請を送信する。可視化要請は目標深層学習モデルの目標訓練データの可視化を要請するために用いられる。

ステップ２０２：クラウドサーバーはユーザー機器から可視化要請を受信する。可視化要請は目標深層学習モデルの目標訓練データの可視化を要請するために用いられる。

一つの可能な実施形態において、可視化要請は目標深層学習モデルの訓練タスク識別を有する。クラウドサーバーは当該可視化要請を受信した後に、目標深層学習モデルの訓練タスク識別に基づいて、当該訓練タスクの関連訓練データを取得することができる。例示として、格納された各深層学習モデルの訓練タスクの関連訓練データと深層学習モデルの訓練タスク識別を関連させることができる。例えば、訓練タスクに基づいて訓練データを格納し、異なる訓練タスクの関連訓練データは異なる位置に格納される。もう一つの例を挙げると、深層学習モデル又はデータ型に基づいて訓練データを格納することができる。

データ型は２次元ヒートマップ（ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ（２Ｄ） ｈｅａｔ ｍａｐ）、三位直方図（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ（３Ｄ） ｈｉｓｔｏｇｒａｍ）、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）、呼び出しシーケンス線図（ｉｎｖｏｋｉｎｇ ｓｅｑｕｅｎｃｅ ｄｉａｇｒａｍ）、スカラー線グラフ（ｓｃａｌａｒ ｌｉｎｅ ｇｒａｐｈ）、有向非巡回グラフ（ｄｉｒｅｃｔｅｄ ａｃｙｃｌｉｃ ｇｒａｐｈ、ＤＡＧ）などであることができる。

異なるデータ型は異なる可視化アイコンに対応する。

訓練タスクはスーパーコンピューティングクラスターの上に位置する。スーパーコンピューティングクラスターの中央処理装置を利用することで、深層学習モデルの訓練を加速することができる。

この場合、選択的に、訓練データと訓練データに対応する訓練タスクのタスク識別を関連させて格納することができるが、本発明の実施形態では、これに限定されない。

一つの可能な実施形態において、可視化要請は目標深層学習モデルの訓練タスク識別と目標訓練データの索引情報を有する。当該索引情報は当該目標訓練データを検索することによって、当該目標訓練データの格納位置を確定するために用いられる。当該索引情報は様々な方法に実装されてもよい。例えば、索引情報はデータ作成時間、データ型、データラベルなどの任意の一つ又は複数を含むことができる。もう一つの例を挙げると、索引情報はデータ型とデータラベルを含む。

同じデータ型は複数のデータラベルを有することができる。データラベルは自己定義されたものであることができる。

例えば、データ型はスカラー線グラフである場合、データラベルは厳密値であることができ、ロス値などであることもできる。

可視化要請は、訓練タスク識別と索引情報に基づいて、索引情報に対応する中間データセットから全てのデータへのサンプリング、又は中間データセットにおけるデータへのランダムサンプリングを要請することができる。

目標深層学習モデルは少なくとも一つのディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含む。目標訓練データは目標深層学習モデルにおける一つのディープニューラルネットワークによって生成された中間データであることができ、目標深層学習モデルにおける複数のディープニューラルネットワークによって生成された中間データであることもできる。

選択的に、可視化要請は、第一期間内に目標深層学習モデルによって生成された中間データの可視化を要請することができる。第一期間の長さは３ｍｉｎ、５ｍｉｎ、９ｍｉｎ及び１５ｍｉｎなど他の値であることができる。第一期間の終了時点は現時点であることができ、現時点より早くてもよく、現時点より遅くてもいい。

目標訓練データはクラウドストレージに格納される。

一つの可能な実施形態において、目標訓練データは、モデル性能変化傾向情報、モデルロス傾向情報、モデルパラメータの分布情報、モデル処理の中間結果、モデル構造情報、モデル訓練の現在の進捗情報、同じモデルの異なる訓練の比較情報、複数のプロセスのスケジューリング時間情報のうちの少なくとも一つを含む。

一つの可能な実施形態において、目標訓練データはモデル性能変化傾向情報、モデルロス傾向情報、モデル訓練の現在の進捗情報及び同じモデルの異なる訓練の比較情報のうちの少なくとも一つである場合、可視化情報の種類はスカラー線グラフである。

目標訓練データはモデル性能変化傾向情報である場合、スカラー線グラフに基づいて、性能変化傾向が第一予め設定された条件を満たすかどうかを確定することができる。第一予め設定された条件を満す場合、モデル訓練が停止する。第一予め設定された条件を満さない場合、モデル訓練が続く。

目標訓練データはモデルロス傾向情報である場合、スカラー線グラフに基づいて、ロス傾向が第二予め設定された条件を満たすかどうかを確定することができる。第二予め設定された条件を満す場合、モデル訓練が停止する。第二予め設定された条件を満さない場合、モデル訓練が続く。

目標訓練データはモデル訓練の現在の進捗情報である場合、スカラー線グラフに基づいて、訓練進捗が予め設定された進捗を満たすかどうかを確定することができる。予め設定された進捗を満す場合、モデル訓練が続く。予め設定された進捗を満さない場合、モデル訓練が停止する。

目標訓練データは同じモデルの異なる訓練の比較情報である場合、スカラー線グラフに基づいて、異なる訓練から抽出された特徴が同じであるかどうかを確定することができる。特徴が同じである場合、モデル訓練が続く。特徴が異なる場合、モデル訓練が停止する。

目標訓練データはモデルパラメータの分布情報である場合、可視化情報の種類は３次元ヒストグラムである。３次元ヒストグラムに基づいて、モデルパラメータの分布が異常であるかどうかを確定することができる。モデルパラメータの分布が異常である場合、モデル訓練が停止する。

目標訓練データはモデル処理の中間結果である場合、可視化情報の種類は特徴マップである。特徴マップに基づいて、モデルにより抽出された特徴が正確であるかどうかを確定することができる。抽出された特徴が不正確である場合、モデルは再構築される。

目標訓練データはモデル構造情報である場合、可視化情報の種類は有向非巡回グラフである。有向非巡回グラフに基づいて、モデルの構造が正確であるかどうかを確定することができる。モデルの構造が不正確である場合、モデルの構造は再構築される。

有向非巡回グラフがサポートする深層学習モデルのアーキテクチャは、オープンニューラルネットワークイクスチェインジ（Ｏｐｅｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｅｘｃｈａｎｇｅ、ＯＮＮＸ）などのような標準アーキテクチャであることができ、他の種類のアーキテクチャであることもできる。ＯＮＮＸは有向非巡回グラフを取得するには、中間訓練データに対してデータ処理を行う必要がない。しかしながら、一部のアーキテクチャは有向非巡回グラフを取得するには、中間訓練データに対して前処理を行う必要がある。

目標訓練データは複数のプロセスのスケジューリング時間情報である場合、可視化情報の種類は複数のプロセスの呼び出しシーケンス線図である。呼び出しシーケンス線図に基づいて、各演算子の消費時間を確定することができる。演算子の消費時間が予め設定された時間より長い場合、消費時間が予め設定された時間より長い演算子を最適化する。

目標訓練データはモデル処理の中間結果である場合、可視化情報の種類は２次元ヒートマップである。２次元ヒートマップに基づいて、モデルにより抽出された特徴が正確であるかどうかを確定することができる。抽出された特徴が不正確である場合、モデルは再構築される。

特徴マップと２次元ヒートマップは、目標訓練データがモデル処理の中間結果である場合の異なる表現形式である。

目標訓練データの種類は、スカラー、ベクトル、画像、ビデオ、オーディオのうちの少なくとも一つを含む。

ステップ２０３：クラウドサーバーは可視化要請に対応する目標訓練データを取得する。

一つの可能な実施形態において、可視化要請に対応する目標訓練データを取得することは、
可視化要請が有する訓練タスク識別と索引情報に基づいて索引データベースを検索することによって、目標訓練データの格納位置情報を取得することと、
目標訓練データの格納位置情報に基づいて、クラウドストレージに格納される目標訓練データを取得することとを含む。

訓練タスク識別と索引情報に基づいて中間訓練データのリストを取得する。中間訓練データのリストに基づいてクラウドストレージから中間訓練データを取得する。

選択的に、可視化要請は目標深層学習モデルの目標訓練データの識別情報を有する。識別情報は、クラウドサーバーがクラウドストレージから目標訓練データを取得するために用いられる。識別情報はクラウドストレージにおいて予め設定され且つユニーク（唯一のもの）である。

例えば、目標深層学習モデルの訓練タスクは訓練タスクＡと訓練タスクＢを含む。訓練タスクＡが生成した訓練データは訓練データＡ１と訓練データＡ２を含む。訓練タスクＢが生成した訓練データは訓練データＢ１と訓練データＢ２を含む。訓練データＡ１、訓練データＡ２、訓練データＢ１と訓練データＢ２はいずれもクラウドプラットフォームに格納されている。訓練データＡ１の識別情報は１であり、訓練データＡ２の識別情報は２であり、訓練データＢ１の識別情報は３であり、訓練データＢ２の識別情報は４である。識別情報は１である場合、クラウドサーバーがクラウドストレージから取得した目標訓練データは訓練データＡ１である。識別情報は２である場合、クラウドサーバーがクラウドストレージから取得した目標訓練データは訓練データＡ２である。識別情報は３である場合、クラウドサーバーがクラウドストレージから取得した目標訓練データは訓練データＢ１である。識別情報は４である場合、クラウドサーバーがクラウドストレージから取得した目標訓練データは訓練データＢ２である。

ステップ２０４：クラウドサーバーは目標訓練データに対して前処理を行って可視化情報を取得する。

ステップ２０５：クラウドサーバーはユーザー機器に可視化応答を送信する。可視化応答は可視化情報を有する。

ステップ２０６：ユーザー機器はクラウドサーバーが送信する可視化応答を受信する。可視化応答は目標訓練データの可視化情報を有する。

ステップ２０７：ユーザー機器は可視化情報を表示する。

一つの可能な実施形態において、可視化情報は、有向非巡回グラフ、３次元ヒストグラム、複数のプロセスの呼び出しシーケンス線図、特徴マップ、２次元ヒートマップ及びスカラー線グラフのうちの少なくとも一つを含む。

選択的に、可視化情報の種類は有向非巡回グラフである場合、可視化情報は、目標深層学習モデルの少なくとも一部のトポロジー情報と、目標深層学習モデルに含まれる少なくとも一つの演算子における各演算子のリソース占用情報とを含む。目標深層学習モデルの少なくとも一部は、目標深層学習モデルの複数のモジュール及び/又は複数の演算子を含む。

選択的に、複数のモジュールのトポロジー情報は、複数のモジュールの識別情報、複数のモジュールの間の依存関係、複数のモジュールの各々のデータ量、複数のモジュールの各々に含まれる少なくとも一つの演算子の情報のうちの少なくとも一つを含む。

モジュールの識別情報はユニーク（唯一のもの）であり且つ予め設定されたものであってよい。

選択的に、演算子の情報は演算子の識別情報、演算子の間の依存関係、演算子のデータ量のうちの少なくとも一つを含む。

依存関係は順次関係、並行関係であることができる。

選択的に、リソース占用情報は演算子のデータ型、演算子の入力データ情報、演算子の出力データ情報のうちの少なくとも一つに基づいて、クラウドサーバーによって確定される。

演算子の入力は画像、ビデオ、オーディオ、スカラー、ベクトルなどであることができる。異なる入力は異なる次元に対応する。例えば、画像は一つの２次元のマトリクスに相当し、オーディオは一つの１次元のマトリクスに相当する。

演算子によって計算された後に、演算子の入力情報の次元が変化する。

演算子のデータ型は倍精度型であることができ、単精度型であることもできる。

演算子は畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）、バッチノルム（Ｂａｔｃｈ Ｎｏｒｍ、ＢＮ）、フルコネクション（ｆｕｌｌ ｃｏｎｎｅｃｔｉｏｎ）、プール（ｐｏｏｌｉｎｇ）、マトリクス乗除（ｍａｔｒｉｘ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ ａｎｄ ｄｉｖｉｓｉｏｎ）、ドロップアウト（ＤｒｏｐＯｕｔ）、活性化（ａｃｔｉｖａｔｉｏｎ）などのうちの少なくとも一つであることができる。

入力データ情報は入力データ量であることができ、出力データ情報は出力データ量であることができる。

選択的に、可視化情報の種類はスカラー線グラフである場合、可視化情報は目標深層モデルの性能変化傾向情報、目標深層モデルのロス傾向情報、目標深層学習モデルの訓練進捗情報及び目標深層学習モデルにおける異なる訓練の比較情報のうちの少なくとも一つを含む。

選択的に、可視化情報の種類は特徴マップ又は２次元ヒートマップである場合、可視化情報は目標深層学習モデルにより抽出された特徴を含む。

選択的に、可視化情報の種類は３次元ヒストグラムである場合、可視化情報は各演算子のパラメータ分布を含む。

選択的に、可視化情報の種類は複数のプロセスの呼び出しシーケンス線図である場合、可視化情報は、少なくとも一つのプロセスの各プロセスにおける各演算子の実行期間を含む。

選択的に、プロセスは、インタプリタ型言語プロセス（ｉｎｔｅｒｐｒｅｔｉｖｅ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓ）、ローカルプロセス（ｌｏｃａｌ ｐｒｏｃｅｓｓ）、人工知能チッププロセス（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ（ＡＩ） ｃｈｉｐ ｐｒｏｃｅｓｓ）のうちの少なくとも一つであることができる。

インタプリタ型言語プロセス、ローカルプロセス、人工知能チッププロセスは時間に基づいて、呼び出しシーケンス線図を交代で実行する。

本発明の実施形態において、ユーザー機器は、まずクラウドサーバーに可視化要請を送信して、次に、クラウドサーバーが送信する可視化応答を受信する。可視化応答は目標訓練データの可視化情報を有する。最後に、可視化情報を表示する。目標訓練データの可視化情報に基づいて、深層学習モデルの訓練状態を直観的に理解することができる。これによって、現在の訓練戦略の実行可能性を適時に判断し、早期中止などの決定に拠り所を提供することに役に立つ。

本発明の一つの実施形態において、可視化情報を表示することは、折畳み表示モード（ｆｏｌｄｅｄ ｄｉｓｐｌａｙ ｍｏｄｅ）又は非折畳み表示モード（ｕｎｆｏｌｄｅｄ ｄｉｓｐｌａｙ ｍｏｄｅ）で可視化情報を表示することを含む。
折畳み表示モードでは、目標深層学習モデルにおけるモジュールを最小表示ユニットとする。モジュールは少なくとも一つの演算子を含む。及び/又は、
非折畳み表示モードでは、目標深層学習モデルにおける演算子を最小表示ユニットとする。

可視化情報の種類は有向非巡回グラフである場合、折畳み表示モードで可視化情報を表示することができ、非折畳み表示モードで可視化情報を表示することもできる。可視化情報の種類は有向非巡回グラフではない場合、非折畳み表示モードで可視化情報を表示する。

非折畳み表示モードでは、モジュールは演算命令を受信した後に、モジュールにおける演算子を表示することができる。

可視化情報の種類は３次元ヒストグラムである場合、非折畳み表示モードでは、各モジュールにおける各演算子のパラメータ分布を直接に表示することができる。

可視化情報の種類は呼び出しシーケンス線図である場合、非折畳み表示モードでは、少なくとも一つのプロセスにおける各モジュールの各演算子の実行期間を直接に表示することができる。

例えば、可視化情報の種類は有向非巡回グラフであり、目標深層学習モデルは２つのモジュール（モジュールＡとモジュールＢ）を含み、モジュールＡは３つの演算子（Ａ１、Ａ２及びＡ３）を含み、モデルＢは２つの演算子（Ｂ１とＢ２）を含むと仮定する。折畳み表示モードで可視化情報を表示する場合、モジュールＡとモジュールＢが表示される。非折畳み表示モードで可視化情報を表示する場合、モジュールＡが演算命令を受信した後に、モジュールＡにおける演算子Ａ１、Ａ２及びＡ３が表示され、モジュールＢが演算命令を受信した後に、モジュールＢにおける演算子Ｂ１とＢ２が表示される。

例えば、可視化情報の種類は３次元ヒストグラムであり、目標深層学習モデルは２つのモジュール（モジュールＡとモジュールＢ）を含み、モジュールＡは３つの演算子（Ａ１、Ａ２及びＡ３）を含み、モデルＢは２つの演算子（Ｂ１とＢ２）を含み、モジュールＡは３次元ヒストグラム１に対応し、モジュールＢは３次元ヒストグラムＢに対応すると仮定すると、３次元ヒストグラム１はＡ１のパラメータ分布、Ａ２のパラメータ分布及びＡ３のパラメータ分布を含み、３次元ヒストグラム２はＢ１のパラメータ分布とＢ２のパラメータ分布を含む。

例えば、可視化情報の種類は呼び出しシーケンス線図であり、目標深層学習モデルは２つのモジュール（モジュールＡとモジュールＢ）と２つのプロセス（プロセスＣ１とＣ２）を含み、モジュールＡは２つの演算子（Ａ１とＡ２）を含み、モデルＢは２つの演算子（Ｂ１とＢ２）を含み、モジュールＡは呼び出しシーケンス線図１に対応し、モジュールＢは呼び出しシーケンス線図Ｂに対応すると仮定すると、呼び出しシーケンス線図１はプロセスＣ１におけるＡ１の実行期間、プロセスＣ２におけるＡ１の実行期間を含み、プロセスＣ１におけるＡ２の実行期間、プロセスＣ２におけるＡ２の実行期間を含み、呼び出しシーケンス線図２はプロセスＣ１におけるＢ１の実行期間、プロセスＣ２におけるＢ１の実行期間を含み、プロセスＣ１におけるＢ２の実行期間、プロセスＣ２におけるＢ２の実行期間を含む。

選択的に、可視化情報の表示モードは予めに設定されることができる。まず折畳み表示モードで可視化情報を表示して、第一期間後に、非折畳み表示モードで可視化情報を表示することができる。第一期間は予め設定されたものであることができる。

選択的に、可視化情報の種類はスカラー線グラフである場合、線グラフは多重線であることができる。演算命令が受信された後に、線グラフは縮小拡大する又は平行移動することができる。非折畳み表示モードでは、スカラー線グラフは、目標深層モデル性能変化傾向、目標深層モデルロス傾向、目標深層学習モデルの訓練進捗及び目標深層学習モデルの異なる訓練から抽出された特徴のうちの少なくとも一つを直接に表示することができる。

選択的に、可視化情報の種類は特徴マップ又は２次元ヒートマップである場合、非折畳み表示モードでは、目標深層学習モデルにより抽出された特徴を直接に表示することができる。

２次元ヒートマップにおいて、よりレベルの高いヒートほど、特徴である確率がより高いことを示す。

本発明の実施形態において、ユーザー機器が異なる方式で可視化情報を表示することは、ユーザー機器の適用範囲を拡大することに役に立つ。

本発明の一つの実施形態において、クラウドサーバーに可視化要請を送信する前に、上記方法は以下の内容をさらに含む。
データアップロードスレッドを介して、クラウドサーバーに目標深層学習モデルの中間訓練データを送信する。中間訓練データは、クラウドサーバーが目標訓練データの索引情報と訓練タスク識別を取得するために用いられる。訓練タスク識別に基づいて索引情報をデータベースに格納する。索引情報に基づいて目標訓練データをクラウドストレージに格納する。

データアップロードスレッドは新しく開始したスレッドである。

訓練タスク識別はユニーク（唯一のもの）である。訓練タスク識別は中間訓練データが生成された後に確定されることができ、訓練を始める時点で確定されることもできる。

中間訓練データは目標訓練データ、訓練タスク識別及び索引情報を含む。

選択的に、データアップロードスレッドを介して、クラウドサーバーに目標深層学習モデルの中間訓練データを送信する。中間訓練データは、クラウドサーバーが目標訓練データの識別情報を取得するために用いられる。識別情報をデータベースに格納する。識別情報に基づいて目標訓練データをクラウドストレージに格納する。

識別情報はユニーク（唯一のもの）である。

選択的に、データアップロードスレッドを介して、クラウドサーバーに目標深層学習モデルの中間訓練データを送信する前に、上記方法は以下の内容をさらに含む。
中間訓練データにおける目標訓練データのデータ量を確定する。
上記データ量が予め設定されたデータ量より大きい場合、訓練タスク識別と目標訓練データの索引情報を確定する。また、訓練タスク情報と目標訓練データの索引情報を中間訓練データに載せる。
上記データ量が予め設定されたデータ量より小さい場合、目標訓練データの識別情報を確定する。識別情報は中間訓練データに載せられている。

選択的に、クラウドサーバーが識別情報を受信する場合、識別情報をデータベースの第一バッファーエリアに格納し、また、識別情報に基づいて目標訓練データをデータベースの第二バッファーエリアに格納することができる。

本発明の実施形態において、クラウドサーバーを介して目標データをクラウドストレージに格納することによって、クラウドサーバーが可視化要請を受信した後に目標訓練データを素早く取得することができる。

本発明の一つの実施形態において、目標訓練データに対して前処理を行って可視化情報を取得することは、目標訓練データに対して少なくとも一つの前処理を行って、前処理されたデータを取得することと、前処理されたデータをレンダーリングして、可視化情報を取得することとを含む。

目標訓練データのデータ型は画像又はビデオである場合、画像又はビデオへの前処理は、インセンシティブエリア除去（ｉｎｓｅｎｓｉｔｉｖｅ ａｒｅａ ｒｅｊｅｃｔｉｏｎ）処理、画像精度の向上（ｉｍａｇｅ ａｃｃｕｒａｃｙ ｅｎｈａｎｃｅｍｅｎｔ）処理、画像ノイズ除去（ｉｍａｇｅ ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）処理、及び画像２値化（ｉｍａｇｅ ｂｉｎａｒｉｚａｔｉｏｎ）処理のうちの一つ又は複数を含む。

目標訓練データのデータ型はテキストである場合、テキストへの前処理は、ドキュメント分割（ｄｏｃｕｍｅｎｔ ｓｅｇｍｅｎｔａｔｉｏｎ）処理、テキスト単語分割（ｔｅｘｔ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ）処理、ストップワード（句読点、数字、単語と他の無意味なワードを含む）除去（ｄｅａｃｔｉｖａｔｅｄ ｗｏｒｄ ｒｅｍｏｖａｌ）処理、テキスト特徴抽出（ｔｅｘｔ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ）処理、語彙頻度統計（ｗｏｒｄ ｆｒｅｑｕｅｎｃｙ ｓｔａｔｉｓｔｉｃｓ）処理、及びテキストベクトル化（ｔｅｘｔ ｖｅｃｔｏｒｉｚａｔｉｏｎ）処理のうちの一つ又は複数を含む。

可視化レンダーリングは、前処理されたデータをハイパーテキストマークアップ言語（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ＨＴＭＬ）に組み立てるためのものである。

前処理を介して取得された可視化情報の種類は有向非巡回グラフではない。

本発明の実施形態において、目標訓練データに対して前処理を行って前処理されたデータを取得して、前処理されたデータに対してレンダーリングをして可視化情報を取得することは、可視化情報に基づいて目標深層学習モデルを分析することに役に立つ。

本発明の一つの実施形態において、目標訓練データに対して前処理を行って可視化情報を取得することは、目標深層学習モデルの訓練タスクは目標フレームワークのもとで実行される場合、２分木を介して目標訓練データを解析して、可視化情報を取得することを含む。

２分木を介して目標訓練データに対して処理を行う目標深層学習モデルの種類はパロトゥ（ｐａｒｒｏｔｓ）である。

２分木を介して目標訓練データを解析して取得された可視化情報の種類は有向非巡回グラフである。

本発明の実施形態において、目標訓練データを解析して可視化情報を取得することは、可視化情報に基づいて目標深層学習モデルを分析することに役に立つ。

図３を参照すると、図３は、本発明の実施形態に係るコンピュータデバイスの構造を示す概略図である。図３に示されたように、当該コンピュータデバイスはプロセッサ、メモリ、通信インターフェース、及び一つ又は複数のプログラムを含む。一つ又は複数のプログラムはメモリに格納され、且つプロセッサによって実行されるように構成された。

一つの実施形態において、コンピュータデバイスはユーザー機器である。上記プログラムは以下の操作を実行するように構成された命令を含む。
クラウドサーバーに可視化要請を送信する。可視化要請は目標深層学習モデルの目標訓練データの可視化を要請するために用いられる。
クラウドサーバーが送信する可視化応答を受信する。可視化応答は目標訓練データの可視化情報を有する。
可視化情報を表示する。

選択的に、可視化情報は、有向非巡回グラフ、３次元ヒストグラム、複数のプロセスの呼び出しシーケンス線図、特徴マップ、２次元ヒートマップ及びスカラー線グラフのうちの少なくとも一つを含む。及び/又は、
目標訓練データは、モデル性能変化傾向情報、モデルロス傾向情報、モデルパラメータの分布情報、モデル処理の中間結果、モデル構造情報、モデル訓練の現在の進捗情報、同じモデルの異なる訓練の比較情報、複数のプロセスのスケジューリング時間情報のうちの少なくとも一つを含む。

選択的に、可視化情報は、目標深層学習モデルの少なくとも一部のトポロジー情報と、目標深層学習モデルに含まれる少なくとも一つの演算子における各演算子のリソース占用情報のうちの少なくとも一つの情報を含む。
目標深層学習モデルの少なくとも一部は、目標深層学習モデルの複数のモジュール及び/又は複数の演算子を含む。

選択的に、複数のモジュールのトポロジー情報は、複数のモジュールの識別情報、複数のモジュールの間の依存関係、複数のモジュールの各々のデータ量、複数のモジュールの各々に含まれる少なくとも一つの演算子の情報のうちの少なくとも一つを含む。

選択的に、リソース占用情報は、演算子のデータ型、演算子の入力データ情報、演算子の出力データ情報のうちの少なくとも一つに基づいて、クラウドサーバーによって確定される。

選択的に、可視化要請は、目標深層学習モデルの訓練タスク識別と目標訓練データの索引情報を有する。索引情報はデータ型とデータラベルを含む。

選択的に、可視化情報を表示することについて、上記プログラムは以下の操作を実行するように構成された命令を含む。
本発明の一つの実施形態において、異なるモードで可視化データを表示することができる。いくつかの実施形態において、折畳み表示モード又は非折畳み表示モードで可視化情報を表示することができる。又は、他の表示モードを定義することもできるが、本発明の実施形態では、これらに限定されない。

いくつかの実施形態において、折畳み表示モードでは、目標深層学習モデルにおけるモジュールを最小表示ユニットとする。モジュールは少なくとも一つの演算子を含む。ここのモジュールはデフォルト（ｄｅｆａｕｌｔ）の分割方式で分割されてもよく、又はユーザーによって設定されてもよいが、本発明の実施形態では、これらに限定されない。

いくつかの実施形態において、非折畳み表示モードでは、目標深層学習モデルにおける演算子を最小表示ユニットとする。この場合、モデルにおける全ての演算子の情報を表示することができる。

いくつかの実施形態において、混合した表示モードで表示することができる。即ち、一部のモジュールは折畳み表示モードで表示され、他のモジュールは非折畳み表示モードで表示される。選択的に、ユーザー設定に基づいて表示されることができるが、本発明の実施形態では、これに限定されない。

選択的に、クラウドサーバーに可視化要請を送信する前に、上記プログラムは以下の操作を実行するように構成された命令を含む。
データアップロードスレッドを介して、クラウドサーバーに目標深層学習モデルの中間訓練データを送信する。中間訓練データは、クラウドサーバーが目標訓練データの索引情報と訓練タスク識別を取得するために用いられる。訓練タスク識別に基づいて索引情報をデータベースに格納する。索引情報に基づいて目標訓練データをクラウドストレージに格納する。

別の実施形態において、コンピュータデバイスはクラウドサーバーである。上記プログラムは以下の操作を実行するように構成された命令を含む。
ユーザー機器から可視化要請を受信する。可視化要請は目標深層学習モデルの目標訓練データの可視化を要請するために用いられる。
可視化要請に対応する目標訓練データを取得する。
目標訓練データに対して前処理を行って、可視化情報を取得する。
ユーザー機器に可視化応答を送信する。可視化応答は可視化情報を有する。

選択的に、可視化情報は、有向非巡回グラフ、３次元ヒストグラム、複数のプロセスの呼び出しシーケンス線図、特徴マップ、２次元ヒートマップ及びスカラー線グラフのうちの少なくとも一つを含む。及び/又は、
目標訓練データは、モデル性能変化傾向情報、モデルロス傾向情報、モデルパラメータの分布情報、モデル処理の中間結果、モデル構造情報、モデル訓練の現在の進捗情報、同じモデルの異なる訓練の比較情報、複数のプロセスのスケジューリング時間情報のうちの少なくとも一つを含む。

選択的に、可視化情報は、目標深層学習モデルの少なくとも一部のトポロジー情報と、目標深層学習モデルに含まれる少なくとも一つの演算子における各演算子のリソース占用情報のうちの少なくとも一つの情報を含む。
目標深層学習モデルの少なくとも一部は、目標深層学習モデルの複数のモジュール及び/又は複数の演算子を含む。

選択的に、複数のモジュールのトポロジー情報は、複数のモジュールの識別情報、複数のモジュールの間の依存関係、複数のモジュールの各々のデータ量、複数のモジュールの各々に含まれる少なくとも一つの演算子の情報のうちの少なくとも一つを含む。

選択的に、目標訓練データに対して前処理を行って可視化情報を取得することについて、上記プログラムは以下の操作を実行するように構成された命令を含む。
目標深層学習モデルにおける少なくとも一つの演算子のデータ型、演算子の入力データ情報、演算子の出力データ情報のうちの少なくとも一つに基づいて、少なくとも一つの演算子における各演算子のリソース占用情報を確定する。

選択的に、可視化要請は、目標深層学習モデルの訓練タスク識別と目標訓練データの索引情報を有する。索引情報はデータ型とデータラベルを含む。
可視化要請に対応する目標訓練データを取得することについて、上記プログラムは以下の操作を実行するように構成された命令を含む。
可視化要請が有する訓練タスク識別と索引情報に基づいて索引データベースを検索することによって、目標訓練データの格納位置情報を取得する。
目標訓練データの格納位置情報に基づいて、クラウドストレージに格納される目標訓練データを取得する。

選択的に、目標訓練データに対して前処理を行って可視化情報を取得することについて、上記プログラムは以下の操作を実行するように構成された命令を含む。
目標訓練データに対して少なくとも一つの前処理を行って、前処理されたデータを取得する。
前処理されたデータをレンダーリングして、可視化情報を取得する。

選択的に、目標訓練データに対して前処理を行って可視化情報を取得することについて、上記プログラムは以下の操作を実行するように構成された命令を含む。
目標深層学習モデルの訓練タスクは目標フレームワークのもとで実行される場合、２分木を介して目標訓練データを解析して、可視化情報を取得する。

本実施形態の具体的な実行プロセスについては、上記方法実施形態に記載された具体的な実行プロセスを参照することができる。ここで繰り返さない。

図４を参照すると、図４は、本発明の実施形態に係る可視化装置の構造を示す概略図である。当該可視化装置はユーザー機器に適用され、当該装置は送信ユニット４０１、受信ユニット４０２、及び表示ユニット４０３を含む。
送信ユニット４０１はクラウドサーバーに可視化要請を送信するように構成されている。可視化要請は目標深層学習モデルの目標訓練データの可視化を要請するために用いられる。
受信ユニット４０２はクラウドサーバーが送信する可視化応答を受信するように構成されている。可視化応答は目標訓練データの可視化情報を有する。
表示ユニット４０３は可視化情報を表示するように構成されている。

本発明の一つの実施形態において、可視化情報は、有向非巡回グラフ、３次元ヒストグラム、複数のプロセスの呼び出しシーケンス線図、特徴マップ、２次元ヒートマップ及びスカラー線グラフのうちの少なくとも一つを含む。及び/又は、
目標訓練データは、モデル性能変化傾向情報、モデルロス傾向情報、モデルパラメータの分布情報、モデル処理の中間結果、モデル構造情報、モデル訓練の現在の進捗情報、同じモデルの異なる訓練の比較情報、複数のプロセスのスケジューリング時間情報のうちの少なくとも一つを含む。

本発明の一つの実施形態において、可視化情報は、目標深層学習モデルの少なくとも一部のトポロジー情報と、目標深層学習モデルに含まれる少なくとも一つの演算子における各演算子のリソース占用情報のうちの少なくとも一つの情報を含む。
目標深層学習モデルの少なくとも一部は、目標深層学習モデルの複数のモジュール及び/又は複数の演算子を含む。

本発明の一つの実施形態において、複数のモジュールのトポロジー情報は、複数のモジュールの識別情報、複数のモジュールの間の依存関係、複数のモジュールの各々のデータ量、複数のモジュールの各々に含まれる少なくとも一つの演算子の情報のうちの少なくとも一つを含む。

本発明の一つの実施形態において、リソース占用情報は、演算子のデータ型、演算子の入力データ情報、演算子の出力データ情報のうちの少なくとも一つに基づいて、クラウドサーバーによって確定される。

本発明の一つの実施形態において、可視化要請は、目標深層学習モデルの訓練タスク識別と目標訓練データの索引情報を有する。索引情報はデータ型とデータラベルを含む。

本発明の一つの実施形態において、可視化情報を表示することについて、上記表示ユニット４０３は、折畳み表示モード又は非折畳み表示モードで可視化情報を表示するように構成されている。
折畳み表示モードでは、目標深層学習モデルにおけるモジュールを最小表示ユニットとする。モジュールは少なくとも一つの演算子を含む。
及び/又は、非折畳み表示モードでは、目標深層学習モデルにおける演算子を最小表示ユニットとする。

本発明の一つの実施形態において、上記送信ユニット４０１はさらに、クラウドサーバーに可視化要請を送信する前に、データアップロードスレッドを介してクラウドサーバーに目標深層学習モデルの中間訓練データを送信するように構成されている。中間訓練データは、クラウドサーバーが目標訓練データの索引情報と訓練タスク識別を取得するために用いられる。
上記装置は、データ記憶ユニット４０４をさらに含む。データ記憶ユニット４０４は、訓練タスク識別に基づいて索引情報をデータベースに格納し、索引情報に基づいて目標訓練データをクラウドストレージに格納するように構成されている。

送信ユニット４０１、受信ユニット４０２は通信インターフェースによって実装されることができる。表示ユニット４０３は表示画面によって実装されることができる。データ記憶ユニット４０４はプロセッサによって実装されることができる。

図５を参照すると、図５は、本発明の実施形態に係る他の可視化装置の構造を示す概略図である。当該可視化装置はクラウドサーバーに適用され、当該装置は受信ユニット５０１、取得ユニット５０２、確定ユニット５０３、及び送信ユニット５０４を含む。
受信ユニット５０１はユーザー機器から可視化要請を受信するように構成されている。可視化要請は目標深層学習モデルの目標訓練データの可視化を要請するために用いられる。
取得ユニット５０２は可視化要請に対応する目標訓練データを取得するように構成されている。
確定ユニット５０３は目標訓練データに対して前処理を行って可視化情報を取得するように構成されている。
送信ユニット５０４はユーザー機器に可視化応答を送信するように構成されている。可視化応答は可視化情報を有する。

本発明の一つの実施形態において、可視化情報は、有向非巡回グラフ、３次元ヒストグラム、複数のプロセスの呼び出しシーケンス線図、特徴マップ、２次元ヒートマップ及びスカラー線グラフのうちの少なくとも一つを含む。及び/又は、
目標訓練データは、モデル性能変化傾向情報、モデルロス傾向情報、モデルパラメータの分布情報、モデル処理の中間結果、モデル構造情報、モデル訓練の現在の進捗情報、同じモデルの異なる訓練の比較情報、複数のプロセスのスケジューリング時間情報のうちの少なくとも一つを含む。

本発明の一つの実施形態において、可視化情報は、目標深層学習モデルの少なくとも一部のトポロジー情報と、目標深層学習モデルに含まれる少なくとも一つの演算子における各演算子のリソース占用情報のうちの少なくとも一つの情報を含む。
目標深層学習モデルの少なくとも一部は、目標深層学習モデルの複数のモジュール及び/又は複数の演算子を含む。

本発明の一つの実施形態において、複数のモジュールのトポロジー情報は、複数のモジュールの識別情報、複数のモジュールの間の依存関係、複数のモジュールの各々のデータ量、複数のモジュールの各々に含まれる少なくとも一つの演算子の情報のうちの少なくとも一つを含む。

本発明の一つの実施形態において、目標訓練データに対して前処理を行って可視化情報を取得することについて、上記プログラムは以下の操作を実行するように構成された命令を含む。
目標深層学習モデルにおける少なくとも一つの演算子のデータ型、演算子の入力データ情報、演算子の出力データ情報のうちの少なくとも一つに基づいて、少なくとも一つの演算子における各演算子のリソース占用情報を確定する。

本発明の一つの実施形態において、可視化要請は、目標深層学習モデルの訓練タスク識別と目標訓練データの索引情報を有する。索引情報はデータ型とデータラベルを含む。
可視化要請に対応する目標訓練データを取得することについて、上記取得ユニット５０２は、
可視化要請が有する訓練タスク識別と索引情報に基づいて索引データベースを検索することによって、目標訓練データの格納位置情報を取得するように構成されており、
目標訓練データの格納位置情報に基づいて、クラウドストレージに格納される目標訓練データを取得するように構成されている。

本発明の一つの実施形態において、目標訓練データに対して前処理を行って可視化情報を取得することについて、上記確定ユニット５０３は、
目標訓練データに対して少なくとも一つの前処理を行って、前処理されたデータを取得するように構成されており、
前処理されたデータをレンダーリングして、可視化情報を取得するように構成されている。

本発明の一つの実施形態において、目標訓練データに対して前処理を行って可視化情報を取得することについて、上記確定ユニット５０３は、
目標深層学習モデルの訓練タスクは目標フレームワークのもとで実行される場合、２分木を介して目標訓練データを解析して、可視化情報を取得するように構成されている。

受信ユニット５０１と送信ユニット５０４は通信インターフェースによって実装されることができる。取得ユニット５０２と確定ユニット５０３はプロセッサによって実装されることができる。

本発明の実施形態は、コンピュータ可読記憶媒体をさらに提供する。当該コンピュータ可読記憶媒体は、電子データ交換（ｅｌｅｃｔｒｏｎｉｃ ｄａｔａ ｉｎｔｅｒｃｈａｎｇｅ、ＥＤＩ）のために用いられるコンピュータプログラムを格納する。コンピュータプログラムはコンピュータに、上記した方法実施形態における電子デバイス又はクラウドサーバーによって実行されるステップの一部又は全部を実行させる。

本発明の実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品は、コンピュータプログラムを格納する非一時的なコンピュータ可読記憶媒体を含む。コンピュータプログラムが実行されると、コンピュータに上記した方法実施形態における電子デバイス又はクラウドサーバーによって実行されるステップの一部又は全部を実行させる。当該コンピュータプログラム製品はソフトウェアインストールパッケージであることができる。

本発明の実施形態に記載された方法又はアルゴリズムのステップは、ハードウェアの形式によって実現することができるか、プロセッサがソフトウェア命令を実行する形式によって実現することができる。ソフトウェア命令は、対応するソフトウェアモジュールによって組み合わせられることができる。ソフトウェアモジュールは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、消却・プログラム可能型読取専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＥＰＲＯＭ）、電気的消却・プログラム可能型読取専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）、レジスタ、ハードディスク、モバイルハードディスク、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ、ＣＤ）－ＲＯＭ又は本技術分野の公知の他の任意の記憶媒体に格納されることができる。一つ例示的な記憶媒体がプロセッサに結合されることにより、プロセッサは、当該記憶媒体から情報を読み取り、且つ当該記憶媒体に情報を書き込むことができる。もちろん、記憶媒体はプロセッサの構成の一部であることもできる。プロセッサと記憶媒体はＡＳＩＣに位置することができる。また、当該ＡＳＩＣは、アクセスネットワークデバイス（ａｃｃｅｓｓ ｎｅｔｗｏｒｋ ｄｅｖｉｃｅ）、目標ネットワークデバイス（ｔａｒｇｅｔ ｎｅｔｗｏｒｋ ｄｅｖｉｃｅ）又はコアネットワークデバイス（ｃｏｒｅ ｎｅｔｗｏｒｋ ｄｅｖｉｃｅ）に位置することができる。もちろん、プロセッサと記憶媒体はディスクリートコンポーネント（ｄｉｓｃｒｅｔｅ ｃｏｍｐｏｎｅｎｔｓ）としてアクセスネットワークデバイス、目標ネットワークデバイス、コアネットワークデバイスに位置することもできる。

当業者は以下の内容を認識することができるべきである。一つ又は複数の実施形態において、本発明の実施形態に記載された機能の全部又は一部はソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせによって実現されることができる。ソフトウェアによって実現される場合、上記した機能の全部又は一部は、コンピュータプログラム製品の形式で実現されることができる。コンピュータプログラム製品は、一つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにロードされて実行されるとき、本発明の実施形態で説明されるプロセス又は機能の全部又は一部が実行される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク又は他のプログラム可能な装置であることができる。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されるか、又は一つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されることができる。例えば、コンピュータ命令は、一つのウェブサイト、コンピュータ、サーバー又はデータセンターから有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、ＤＳＬ）などである）又は無線（例えば、赤外線、無線、マイクロ波などである）で別のウェブサイト、コンピュータ、サーバー又はデータセンターに送信されることができる。コンピュータ可読記憶媒体は、コンピュータがアクセスできる任意の利用可能な媒体、又は、一つ又は複数の利用可能な媒体が統合されたサーバー、データセンターなどのようなデータ記憶装置であってもよい。使用可能な媒体は、磁気媒体（例えば、ソフトディスク、ハードディスク又は磁気テープである）、光学媒体（例えば、デジタルビデオディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ）である）、又は半導体媒体（例えば、ソリッドステートディスク（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ、ＳＳＤ）である）などであることができる。

上記した具体的な実施形態で、本発明の実施形態の目的、技術方案及び有益な効果をさらに詳細に説明した。上記した内容はただ本発明の実施形態の具体的な実施方式にすぎず、本発明の実施形態の保護範囲を限定するために用いられず、本発明の実施形態の技術方案に基づくいかなる修正、同等の代替、改善は、全て本発明の保護範囲内に含まれるべきであることを理解されるべきである。

権限管理サービス（即ち権限サービス）は可視化システムの安全性を保障するために用いられる。権限管理サービスの認証に合格した後のみに、可視化システムを使用することができる。この他、共有訓練も権限管理サービスを介して認証を行う。権限管理サービスは統一認証アカウントログイン及び/又は普通の登録という二種類のログイン方式をサポートする。

一つの可能な実施形態において、可視化要請は目標深層学習モデルの訓練タスク識別を有する。クラウドサーバーは当該可視化要請を受信した後に、目標深層学習モデルの訓練タスク識別に基づいて、当該訓練タスクの関連訓練データを取得することができる。例示として、格納された各深層学習モデルの訓練タスクの関連訓練データと目標深層学習モデルの訓練タスク識別を関連させることができる。例えば、訓練タスクに基づいて訓練データを格納し、異なる訓練タスクの関連訓練データは異なる位置に格納される。もう一つの例を挙げると、深層学習モデル又はデータ型に基づいて訓練データを格納することができる。

例えば、可視化情報の種類は３次元ヒストグラムであり、目標深層学習モデルは２つのモジュール（モジュールＡとモジュールＢ）を含み、モジュールＡは３つの演算子（Ａ１、Ａ２及びＡ３）を含み、モデルＢは２つの演算子（Ｂ１とＢ２）を含み、モジュールＡは３次元ヒストグラム１に対応し、モジュールＢは３次元ヒストグラム２に対応すると仮定すると、３次元ヒストグラム１はＡ１のパラメータ分布、Ａ２のパラメータ分布及びＡ３のパラメータ分布を含み、３次元ヒストグラム２はＢ１のパラメータ分布とＢ２のパラメータ分布を含む。

例えば、可視化情報の種類は呼び出しシーケンス線図であり、目標深層学習モデルは２つのモジュール（モジュールＡとモジュールＢ）と２つのプロセス（プロセスＣ１とＣ２）を含み、モジュールＡは２つの演算子（Ａ１とＡ２）を含み、モデルＢは２つの演算子（Ｂ１とＢ２）を含み、モジュールＡは呼び出しシーケンス線図１に対応し、モジュールＢは呼び出しシーケンス線図２に対応すると仮定すると、呼び出しシーケンス線図１はプロセスＣ１におけるＡ１の実行期間、プロセスＣ２におけるＡ１の実行期間を含み、プロセスＣ１におけるＡ２の実行期間、プロセスＣ２におけるＡ２の実行期間を含み、呼び出しシーケンス線図２はプロセスＣ１におけるＢ１の実行期間、プロセスＣ２におけるＢ１の実行期間を含み、プロセスＣ１におけるＢ２の実行期間、プロセスＣ２におけるＢ２の実行期間を含む。

Claims (20)

1. 可視化方法であって、ユーザー機器に適用され、前記方法は、
   クラウドサーバーに、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を送信することと、
   前記クラウドサーバーが送信する、目標訓練データの可視化情報を有する可視化応答を受信することと、
   前記可視化情報を表示することとを含む、
   ことを特徴とする可視化方法。
2. 前記可視化情報は、有向非巡回グラフ、３次元ヒストグラム、複数のプロセスの呼び出しシーケンス線図、特徴マップ、２次元ヒートマップ及びスカラー線グラフのうちの少なくとも一つを含み、及び/又は、
   前記目標訓練データは、モデル性能変化傾向情報、モデルロス傾向情報、モデルパラメータの分布情報、モデル処理の中間結果、モデル構造情報、モデル訓練の現在の進捗情報、同じモデルの異なる訓練の比較情報、複数のプロセスのスケジューリング時間情報のうちの少なくとも一つを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記可視化情報は、
   前記目標深層学習モデルの複数のモジュール及び/又は複数の演算子を含む、前記目標深層学習モデルの少なくとも一部のトポロジー情報と、
   前記目標深層学習モデルに含まれる少なくとも一つの演算子における各演算子のリソース占用情報と、
   のうちの少なくとも一つの情報を含む、
   ことを特徴とする請求項１又は請求項２に記載の方法。
4. 前記複数のモジュールのトポロジー情報は、
   前記複数のモジュールの識別情報、前記複数のモジュールの間の依存関係、前記複数のモジュールの各々のデータ量、前記複数のモジュールの各々に含まれる少なくとも一つの演算子の情報のうちの少なくとも一つを含む、
   ことを特徴とする請求項３に記載の方法。
5. 前記リソース占用情報は、前記演算子のデータ型、前記演算子の入力データ情報、前記演算子の出力データ情報のうちの少なくとも一つに基づいて、前記クラウドサーバーによって確定される、
   ことを特徴とする請求項３又は請求項４に記載の方法。
6. 前記可視化要請は、前記目標深層学習モデルの訓練タスク識別と前記目標訓練データの索引情報とを有し、
   前記索引情報はデータ型とデータラベルとを含む、
   ことを特徴とする請求項１～５のいずれか一項に記載の方法。
7. 前記可視化情報を表示することは、
   折畳み表示モード又は非折畳み表示モードで前記可視化情報を表示することを含み、
   前記折畳み表示モードでは、前記目標深層学習モデルにおけるモジュールを最小表示ユニットとし、前記モジュールは少なくとも一つの演算子を含み、及び/又は、
   前記非折畳み表示モードでは、前記目標深層学習モデルにおける演算子を最小表示ユニットとする、
   ことを特徴とする請求項１～６のいずれか一項に記載の方法。
8. 前記クラウドサーバーに可視化要請を送信する前に、前記方法は、
   データアップロードスレッドを介して、前記クラウドサーバーに前記目標深層学習モデルの中間訓練データを送信することであって、前記中間訓練データは、前記クラウドサーバーが前記目標訓練データの索引情報と訓練タスク識別とを取得するために用いられる、送信することと、
   前記訓練タスク識別に基づいて前記索引情報を索引データベースに格納することと、
   前記索引情報に基づいて前記目標訓練データをクラウドストレージに格納することとをさらに含む、
   ことを特徴とする請求項１～７のいずれか一項に記載の方法。
9. 可視化方法であって、クラウドサーバーに適用され、前記方法は、
   ユーザー機器から、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を受信することと、
   前記可視化要請に対応する目標訓練データを取得することと、
   前記目標訓練データに対して前処理を行って、可視化情報を取得することと、
   前記ユーザー機器に、前記可視化情報を有する可視化応答を送信することとを含む、
   ことを特徴とする可視化方法。
10. 前記可視化情報は、有向非巡回グラフ、３次元ヒストグラム、複数のプロセスの呼び出しシーケンス線図、特徴マップ、２次元ヒートマップ及びスカラー線グラフのうちの少なくとも一つを含み、及び/又は、
    前記目標訓練データは、モデル性能変化傾向情報、モデルロス傾向情報、モデルパラメータの分布情報、モデル処理の中間結果、モデル構造情報、モデル訓練の現在の進捗情報、同じモデルの異なる訓練の比較情報、複数のプロセスのスケジューリング時間情報のうちの少なくとも一つを含む、
    ことを特徴とする請求項９に記載の方法。
11. 前記可視化情報は、
    前記目標深層学習モデルの複数のモジュール及び/又は複数の演算子を含む、前記目標深層学習モデルの少なくとも一部のトポロジー情報と、
    前記目標深層学習モデルに含まれる少なくとも一つの演算子における各演算子のリソース占用情報と、
    のうちの少なくとも一つの情報を含む、
    ことを特徴とする請求項９又は請求項１０に記載の方法。
12. 前記複数のモジュールのトポロジー情報は、
    前記複数のモジュールの識別情報、前記複数のモジュールの間の依存関係、前記複数のモジュールの各々のデータ量、前記複数のモジュールの各々に含まれる少なくとも一つの演算子の情報のうちの少なくとも一つを含む、
    ことを特徴とする請求項１１に記載の方法。
13. 前記目標訓練データに対して前処理を行って可視化情報を取得することは、
    前記目標深層学習モデルにおける少なくとも一つの演算子のデータ型、前記演算子の入力データ情報、前記演算子の出力データ情報のうちの少なくとも一つに基づいて、前記少なくとも一つの演算子における各演算子のリソース占用情報を確定することを含む、
    ことを特徴とする請求項９～１２のいずれか一項に記載の方法。
14. 前記可視化要請は、前記目標深層学習モデルの訓練タスク識別と前記目標訓練データの索引情報とを有し、前記索引情報はデータ型とデータラベルを含み、
    前記可視化要請に対応する目標訓練データを取得することは、
    前記可視化要請が有する訓練タスク識別と索引情報に基づいて索引データベースを検索することによって、前記目標訓練データの格納位置情報を取得することと、
    前記目標訓練データの格納位置情報に基づいて、クラウドストレージに格納される前記目標訓練データを取得することとを含む、
    ことを特徴とする請求項９～１３のいずれか一項に記載の方法。
15. 前記目標訓練データに対して前処理を行って可視化情報を取得することは、
    前記目標訓練データに対して少なくとも一つの前処理を行って、前処理されたデータを取得することと、
    前記前処理されたデータをレンダーリングして、前記可視化情報を取得することとを含む、
    ことを特徴とする請求項９～１４のいずれか一項に記載の方法。
16. 前記目標訓練データに対して前処理を行って可視化情報を取得することは、
    前記目標深層学習モデルの訓練タスクは目標フレームワークのもとで実行される場合、２分木を介して前記目標訓練データを解析して、前記可視化情報を取得することを含む、
    ことを特徴とする請求項９～１５のいずれか一項に記載の方法。
17. 可視化装置であって、ユーザー機器に適用され、前記装置は、
    クラウドサーバーに、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を送信するように構成されている送信ユニットと、
    前記クラウドサーバーが送信する、前記目標訓練データの可視化情報を有する可視化応答を受信するように構成されている受信ユニットと、
    前記可視化情報を表示するように構成されている表示ユニットとを含む、
    ことを特徴とする可視化装置。
18. 可視化装置であって、クラウドサーバーに適用され、前記装置は、
    ユーザー機器から、目標深層学習モデルの目標訓練データの可視化を要請するために用いられる可視化要請を受信するように構成されている受信ユニットと、
    前記可視化要請に対応する目標訓練データを取得するように構成されている取得ユニットと、
    前記目標訓練データに対して前処理を行って可視化情報を取得するように構成されている確定ユニットと、
    前記ユーザー機器に、前記可視化情報を有する可視化応答を送信するように構成されている送信ユニットとを含む、
    ことを特徴とする可視化装置。
19. コンピュータデバイスであって、前記ユーザー機器はプロセッサ、メモリ、通信インターフェース、及び一つまたは複数のプログラムを含み、
    前記一つまたは複数のプログラムは前記メモリに格納され、且つ前記プロセッサによって実行され、前記プログラムは、請求項１～８又は請求項９～１６のいずれか一項に記載の方法におけるステップを実行するように構成された命令を含む、
    ことを特徴とするコンピュータデバイス。
20. コンピュータ可読記憶媒体であって、コンピュータプログラムを格納し、
    前記コンピュータプログラムは請求項１～８又は請求項９～１６のいずれか一項に記載の方法を実行するように構成されている、
    ことを特徴とするコンピュータ可読記憶媒体。
    

Images