JP2022078241A - データ処理方法、装置、電子機器及び記憶媒体 - Google Patents

Abstract

【課題】データを処理する時のグラフィックプロセッサのメモリ消費を効果的に低減することを支援し、データ処理の効率を効果的に向上させるデータ処理方法、装置、電子機器及び記憶媒体を提供する。【解決手段】方法は、初期データを取得し、初期データのデータ特徴を抽出し、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成し、初期メモリ消費量に基づいて推奨処理パラメータを生成し、推奨処理パラメータに基づいて初期データを処理して、ターゲットデータを取得する。【選択図】図１

Description

本開示は、コンピュータ技術の分野に関し、特に深層学習、ビッグデータ処理などの人工知能技術の分野に関し、具体的にはデータ処理方法、装置、電子機器及び記憶媒体に関する。

人工知能は、コンピュータに人間のある思惟過程と知能行為（学習、推理、思考、計画など）をシミュレートさせることを研究する学科であり、ハードウェアレベルの技術とソフトウェアレベルの技術との両方がある。人工知能ハードウェア技術は一般にセンサー、専用人工知能チップ、クラウドコンピューティング、分散記憶、ビッグデータ処理などの技術を含む。人工知能ソフトウェア技術は主にコンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習、深層学習、ビッグデータ処理技術、知識グラフ技術などのいくつかの方向を含む。

関連技術では、モデルトレーニングを支援するためにグラフィックプロセッサを採用してデータを処理する場合、グラフィックプロセッサのデータを処理するメモリ消費量が高く、グラフィックプロセッサがデータを処理する効率に影響を与える。

本開示は、データ処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。

本開示の第１の態様によれば、データ処理方法を提供し、初期データを取得し、初期データのデータ特徴を抽出するステップと、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成するステップと、初期メモリ消費量に基づいて推奨処理パラメータを生成するステップと、推奨処理パラメータに基づいて初期データを処理して、ターゲットデータを取得するステップと、を含む。

本開示の第２の態様によれば、データ処理装置を提供し、初期データを取得し、初期データのデータ特徴を抽出するための取得モジュールと、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成するための第１の生成モジュールと、初期メモリ消費量に基づいて推奨処理パラメータを生成するための第２の生成モジュールと、推奨処理パラメータに基づいて初期データを処理して、ターゲットデータを取得するための処理モジュールと、を備える。

本開示の第３の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、命令が、少なくとも１つのプロセッサが本開示の実施例のデータ処理方法を実行できるように、少なくとも１つのプロセッサによって実行される。

本開示の第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、コンピュータ命令が、コンピュータに本開示の実施例に開示されるデータ処理方法を実行させる。

本開示の第５の態様によれば、コンピュータプログラムを提供し、該コンピュータプログラムがプロセッサによって実行される場合、本開示の実施例に開示されるデータ処理方法が実現される。

なお、この部分に記載されている内容は、本開示の実施例の肝心または重要な特徴を特定することを意図しておらず、本開示の範囲を限定することも意図していないことを理解されたい。本開示の他の特徴は、以下の説明を通して容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。
本開示の第１の実施例に係る概略図である。 本開示の実施例における初期データの概略構成図である。 本開示の実施例における別の初期データの概略構成図である。 本開示の第２の実施例に係る概略図である。 本開示の実施例におけるターゲットデータの概略図である。 本開示の実施例における別のターゲットデータの概略図である。 本開示の第３の実施例に係る概略図である。 本開示の第４の実施例に係る概略図である。 本開示の実施例のデータ処理方法を実施するための例示的な電子機器の概略ブロック図である。

以下、図面と併せて本開示の例示的な実施例を説明し、理解を容易にするためにその中には本開示の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本開示の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

図１は本開示の第１の実施例に係る概略図である。

なお、本実施例のデータ処理方法の実行主体はデータ処理装置であり、当該装置はソフトウェア及び／又はハードウェアによって実現されることができ、当該装置は電子機器に配置でき、電子機器は端末、サーバなどを備えることができるが、これらに限定されない。

本開示の実施例は、深層学習、ビッグデータ処理などの人工知能技術の分野に関する。

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、英語でＡＩと略される。これは人間の知能をシミュレート、延伸、拡張するための理論、方法、技術及び応用システムを研究、開発する新しい技術科学である。

深層学習はサンプルデータの内的法則と表現階層を学習するものであり、これらの学習過程で得られた情報は文字、画像、音声などのデータの解釈に大きく役立つ。深層学習の最終的な目標は機械が人間のように分析学習能力を持ち、文字、画像、音声などのデータを認識できるようにすることである。

ビッグデータ処理とは、人工知能を用いて大規模なデータを分析及び処理するプロセスを指すが、ビッグデータは、データ量が大きい（Ｖｏｌｕｍｅ）、速度が速い（Ｖｅｌｏｃｉｔｙ）、タイプが多い（Ｖａｒｉｅｔｙ）、価値（Ｖａｌｕｅ）、及び真実性（Ｖｅｒａｃｉｔｙ）の５つのＶにまとめることができる。

本実施例では、データ処理方法の実行主体は、種々の公開、合法的なコンプライアンスの方式によって初期データを取得することができ、例えば、公開データセットから取得してもよく、ユーザの許可を得てユーザから取得してもよい。当該データは特定のユーザの個人情報を反映することができない。

なお、本開示の実施例におけるデータはいずれも関連する法律、法規に適合した場合に取得されるものである。

図１に示すように、当該データ処理方法は以下のステップ１０１～１０４を含む。

Ｓ１０１、初期データを取得し、初期データのデータ特徴を抽出する。

ここで、初期データは処理対象のデータであってもよく、データは例えば、音声データ、画像データなどであってもよく、本開示の実施例における初期データは、具体的には、例えば、人工知能モデル用のサンプルをトレーニングするための音声データフレームであってもよく、音声データフレームの数は、１又は複数であってもよく、複数の音声データフレームは上記初期データを構成することができ、これに対して限定しない。

ここで、初期データは、例えば、１つの音声データフレームであってもよいし、複数の音声データフレームであってもよく、すなわち、初期データの数は１つまたは複数であってもよく、これに対して限定しない。

いくつかの実施例では、初期データを取得する場合、サンプルデータプールから複数のデータセグメントを初期データとして取得してもよく、当該データプールは予め構築されてもよく、複数の異なるデータセグメント（異なるデータセグメントが異なるまたは同じデータフレーム長に対応することができる）を含み、サンプルデータプールから複数のデータセグメントを直接取得して初期データとすることができ、または、他の任意の可能な方法で初期データを取得することもでき、これに対して限定しない。

別のいくつかの実施例では、データ入力インターフェース（当該データ入力インターフェースは、例えば、電子機器上に配置されたインターフェースであってもよく、初期データを受信するために使用できる）を介してデータを直接受信して初期データとすることもでき、これに対して限定しない。

本開示の実施例では、初期データは複数の初期データセグメントによって構成されてもよい。例えば、初期データは１つの完全な音声データであってもよく、当該完全な音声データを分割して得られる複数の音声データフレームは、複数の初期データセグメントと呼ぶことができ、異なる音声データフレームは、同じまたは異なるデータフレーム長を有することができる。

ここで、データ特徴は、初期データに対応するデータ特徴、例えば、当該初期データに対応する長さ、含まれる文字数等を説明することができ、これに対して限定しない。

本開示の実施例では、初期データが複数の初期データセグメントから構成される場合、異なる初期データセグメントに対応するデータフレーム長と、複数の初期データセグメントに対応するバッチサイズ（すなわち、第１バッチサイズと呼ぶことができ、例えば複数のデータセグメント数）とをデータ特徴と呼ぶことができ、これに対して限定しない。

本開示の実施例では、当該初期データに対応するデータ特徴は、複数の初期データセグメントの間のフレーム長差異情報であってもよい。フレーム長差異情報は、複数の初期データセグメントの間のフレーム長差異状況を説明することができ、異なる初期データセグメントのデータフレーム長が同じまたは異なるため、複数の初期データセグメントの間のフレーム長差異情報を初期データのデータ特徴とすることができる。

複数の初期データセグメントの間のフレーム長差異情報を初期データのデータ特徴とするため、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量の正確な推定を支援し、より参照性のある推奨処理パラメータの生成を支援することができる。

例えば、初期データには、データセグメントａと、データセグメントｂとの２つの初期データセグメントが含まれ、データセグメントａに対応するデータフレーム長は１２８であり、データセグメントｂに対応するデータフレーム長は２５６であり、データセグメントａとデータセグメントｂとの間のデータフレーム長の差異情報を算出し、当該データフレーム長の差異情報を初期データのデータ特徴とすることができる。

図２ａに示すように、図２ａは本開示の実施例における初期データの概略構成図である。ここで、初期データは、４つの初期データセグメントを含み、４つの初期データセグメントの第１のバッチサイズは４であり、異なる初期データセグメントが異なるデータフレーム長に対応し、当該初期データが１つのグラフィックプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）０に対応し、ここで、０はグラフィックプロセッサのシーケンス番号と呼ぶことができ、当該初期データが１つのグラフィックプロセッサに対応するとは、グラフィックプロセッサ０が当該初期データに含まれる４つの初期データセグメントを処理するために使用されることができることを指す。

図２ｂに示すように、図２ｂは本開示の実施例における別の初期データ概略構成図である。ここで、初期データは、４つの初期データセグメントを含み、４つの初期データセグメントの第１のバッチサイズは４であり、異なる初期データセグメントが異なるデータフレーム長に対応し、当該初期データが１つのグラフィックプロセッサＧＰＵ１に対応し、ここで、１はグラフィックプロセッサのシーケンス番号と呼ぶことができ、当該初期データが１つのグラフィックプロセッサに対応するとは、グラフィックプロセッサ１が当該初期データに含まれる４つの初期データセグメントを処理するために使用されることを指す。図２ａ及び図２ｂでは、異なるグラフィックプロセッサを採用して入力された初期データを同時に処理することは、モデルトレーニングシナリオに必要なストリーミング並列計算処理シナリオに適用することができ、もちろん、他の任意の可能な応用シナリオに適用することもでき、これに対して限定しない。

上記図２ａ及び図２ｂから分かるように、関連技術では、グラフィックプロセッサを採用して初期データを処理する場合、通常、異なる初期データセグメントのデータフレーム長に対して補完処理を行い、補完処理後にモデルトレーニングを行い、このような方式では、データフレーム長の差異情報が大きいと、通常、補完に必要な計算量も大きくなるため、関連技術におけるこのような方式は、グラフィックプロセッサのメモリ消費に影響を与える。

そのため、本開示の実施例では、初期データを分割して得られた複数の初期データセグメントを取得して、初期データセグメントの間のフレーム長差異情報を決定し、フレーム長差異情報を初期データのデータ特徴とすることにより、初期データにおける複数の初期データセグメントのフレーム長差異情報を参照して初期データを処理するため、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量の正確な推定を支援し、より参照性のある推奨処理パラメータの生成を支援することができる。

Ｓ１０２、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成する。

ここで、グラフィックプロセッサＧＰＵは、ディスプレイコア、視覚プロセッサ、ディスプレイチップとも呼ばれ、パーソナルコンピュータ、ワークステーション、ゲーム機、及びモバイルデバイス（例えばタブレット、スマートフォンなど）で画像及びグラフィック関連演算を行うためのマイクロプロセッサであり、当該グラフィックプロセッサＧＰＵは初期データを処理するために使用されることができる。

ここで、グラフィックプロセッサが初期データを処理するメモリ消費量は、初期メモリ消費量と呼ぶことができ、メモリ消費量は、データ処理中に初期データを処理する時のメモリ消費の量子化値を説明するために使用されることができる。

なお、グラフィックプロセッサが初期データを処理する過程中に、大量の一時的なデータ（未処理、処理中、処理済み）が生成され、グラフィックプロセッサは通常、記憶領域を構成して前記データを格納し、したがって、前記データが占めるメモリ消費、及び演算リソース消費は、いずれも上記のメモリ消費と呼ぶことができる。

上記初期データを取得し、初期データのデータ特徴を抽出した後、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成することができる。

本実施例では、初期データを取得し、初期データのデータ特徴を抽出した後、初期データのデータ特徴に基づいて、一定のアルゴリズムロジックと併せて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を決定することができる。

例えば、初期データのデータ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成する場合、予めトレーニングされたメモリ消費検出モデルによって初期メモリ消費量を決定することができ、例えば、初期データに対応するデータ特徴を予めトレーニングされたメモリ消費検出モデルに入力して、予めトレーニングされたメモリ消費検出モデルから出力された初期メモリ消費量を取得してもよいし、他の任意の可能な方式を採用してデータ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成するステップを実行してもよく、これに対して限定しない。

Ｓ１０３、初期メモリ消費量に基づいて推奨処理パラメータを生成する。

上記データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成した後、初期メモリ消費量に基づいて推奨処理パラメータを生成することができる。

ここで、推奨処理パラメータは、最適化された初期データを処理する時のグラフィックプロセッサのメモリ消費量が初期メモリ消費量よりも小さくなるように、初期データのデータ特徴に対して最適化処理を行うことができ、これによってデータを処理する時のグラフィックプロセッサのメモリ消費の低減を実現し、データ処理の効率を効果的に向上させる。

例えば、推奨処理パラメータがパラメータＡとパラメータＢとを含むと仮定すると、初期メモリ消費量に基づいて推奨処理パラメータを生成する場合、初期メモリ消費に対して一定の数学演算を行って、パラメータＡとパラメータＢとにそれぞれ対応する値を取得してもよく、当該対応する値は推奨処理パラメータであり、または他の任意の可能な方式を採用して初期メモリ消費量を処理して推奨処理パラメータを生成してもよく、最適化された初期データを処理する時のグラフィックプロセッサのメモリ消費量が初期メモリ消費量よりも小さくなるようにすることができればよく、これに対して限定しない。

Ｓ１０４、推奨処理パラメータに基づいて初期データを処理して、ターゲットデータを取得する。

上記初期メモリ消費量に基づいて推奨処理パラメータを生成した後、推奨処理パラメータに基づいて初期データを処理して、処理された初期データを取得し、当該処理された初期データは、ターゲットデータと呼ぶことができる。

本開示の実施例では、上記得られた初期メモリ消費量を組み合わせて推奨処理パラメータを生成することができ、当該推奨処理パラメータはターゲットデータを取得するために初期データに対して対応する処理を行うことを支援することができる。

本開示の実施例では、初期データを取得し、初期データのデータ特徴を抽出し、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成し、初期メモリ消費量に基づいて推奨処理パラメータを生成し、推奨処理パラメータに基づいて初期データを処理して、ターゲットデータを取得することにより、データを処理する時のグラフィックプロセッサのメモリ消費を低減することを効果的に支援し、データ処理の効率を効果的に向上させることができる。

図３は本開示の第２の実施例に係る概略図である。

図３に示すように、本実施例の説明に対して、上記図１と組み合わせて、当該データ処理方法は以下のステップ３０１～３１０を含む。

Ｓ３０１、複数の初期データセグメントを含む初期データを取得する。

複数の初期データセグメントは初期データを分割して得られたものであり、ここで、初期データ及び複数のデータセグメントの概略は、具体的には上記図２ａ及び図２ｂに示されるようなものであり得る。

Ｓ３０１の具体的な説明は、上記実施例を参照することができ、ここでは説明を省略する。

Ｓ３０２、複数の初期データセグメントの第１のバッチサイズを決定する。

ここで、複数の初期データセグメント数は、第１のバッチサイズと呼ばれることができる。

例えば、初期データが初期データセグメントａと初期データセグメントｂとを含む場合、対応する第１のバッチサイズは２であってもよく、上記図２に示す第１のバッチサイズは例えば４であってもよい。

本実施例では、初期データを取得し、初期データを複数の初期データセグメントに分割した後、複数の初期データセグメントの第１のバッチサイズを決定することができる。

Ｓ３０３、複数の初期データセグメントにそれぞれ対応する複数のデータフレーム長を決定する。

上記複数の初期データセグメントに対応する第１のバッチサイズを決定した後、複数の初期データセグメントにそれぞれ対応する複数のデータフレーム長を決定することができる。

例えば、初期データが初期データセグメントａと初期データセグメントｂとを含み、初期データセグメントａ及び初期データセグメントｂにそれぞれ対応するフレーム長は、データフレーム長と呼ばれることができる。

Ｓ３０４、第１のバッチサイズと複数のデータフレーム長とに基づいて、複数の初期データセグメントの間のフレーム長差異情報を決定し、フレーム長差異情報を初期データのデータ特徴とする。

上記複数の初期データセグメントの第１のバッチサイズを決定し、複数の初期データセグメントに対応する複数のデータフレーム長を決定した後、第１のバッチサイズと複数のデータフレーム長とに基づいて、複数の初期データセグメントの間のフレーム長差異情報を決定し、フレーム長差異情報を初期データのデータ特徴とすることができる。

本開示の実施例では、複数の初期データセグメント数を決定して第１のバッチサイズとし、その後複数の初期データセグメントにそれぞれ対応するデータフレーム長を決定し、複数の初期データセグメントの第１のバッチサイズと複数のデータフレーム長とに基づいて、フレーム長差異情報を決定することを支援ことにより、異なる初期データセグメントの間のフレーム長差異情報を正確で迅速に決定し、フレーム長差異情報の参照性を大きく向上させるとともに、データ処理効率を向上させることができる。

Ｓ３０５、複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定する。

上記第１のバッチサイズと複数のデータフレーム長とに基づいて、複数の初期データセグメントの間のフレーム長差異情報を決定し、フレーム長差異情報を初期データのデータ特徴とした後、複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定することができる。

例えば、初期データが、初期データセグメントａ、初期データセグメントｂ、初期データセグメントｃ、及び初期データセグメントｄを含み、対応するデータフレーム長のサイズがそれぞれ１２８、１５６、２５６、２５６であると仮定すると、最大データフレーム長は２５６であり、初期データセグメントｃ及び初期データセグメントｄのデータフレーム長はいずれも最大データフレーム長であり、初期データセグメントｃ及び初期データセグメントｄのデータセグメント数は２である。

Ｓ３０６、第１のバッチサイズとデータセグメント数とに基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成する。

上記複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定した後、第１のバッチサイズとデータセグメント数とに基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成することができる。

本実施例では、第１のバッチサイズと最大データフレーム長の初期データセグメントのデータセグメント数とを決定した後、いくつかの数学演算方法と併せて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を算出することができ、具体的な演算方式は以下の式のとおりであり、
ｃｏｓｔ＝ｂａｔｃｈ－ｓｉｚｅ＊（ｍａｘ＿ｌｅｎｇｔｈ＾ｎ）
ここで、ｃｏｓｔは初期メモリ消費量であり、ｂａｔｃｈ－ｓｉｚｅは第１のバッチサイズであり、ｍａｘ＿ｌｅｎｇｔｈ＾ｎは最大データフレーム長の初期データセグメントのデータセグメント数である。

複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定し、第１のバッチサイズとデータセグメント数とに基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成することにより、複数の初期データセグメントを処理する時のグラフィックプロセッサの初期メモリ消費量を正確に算出し、データ処理の効率を向上させることを効果的に支援することができる。

Ｓ３０７、初期メモリ消費量に基づいて、第２のバッチサイズを生成し、第２のバッチサイズが第１のバッチサイズと同じまたは異なる。

上記第１のバッチサイズとデータセグメント数とに基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成した後、初期メモリ消費量に基づいて、第２のバッチサイズを生成することができ、第２のバッチサイズが第１のバッチサイズと同じまたは異なる。

ここで、第２のバッチサイズとは、初期データに対して対応する処理を行った後に得られたデータセグメント（得られたデータセグメントは、ターゲットデータセグメントと呼ばれることができ、複数のターゲットデータセグメントが下記のターゲットデータを構成することができる）に対応するバッチサイズを指す。

上記図２ａ及び図２ｂと併せて示すように、図２ａ及び図２ｂにおける複数の初期データセグメントの第１バッチサイズは４であり、図４及び図４ｂと併せて示される。

図４ａは、本開示の実施例におけるターゲットデータの概略図であり、ここで、ターゲットデータは、３つのターゲットデータセグメントを含み、３つのターゲットデータセグメントに対応する第２のバッチサイズは３であり、異なるターゲットデータセグメントが異なるデータフレーム長に対応し、上記図２ａ及び図２ｂの初期データセグメントフレーム長に比べて、上記３つのターゲットデータセグメントに対応するデータフレーム長の差異が小さく、当該ターゲットデータが１つのグラフィックプロセッサＧＰＵ０に対応し、ここで、０はグラフィックプロセッサのシーケンス番号と呼ぶことができ、当該初期データが１つのグラフィックプロセッサに対応するとは、グラフィックプロセッサ０が当該ターゲットデータに含まれる３つのターゲットデータセグメントを処理するために使用されることができることを指す。

図４ｂは、本開示の実施例における別のターゲットデータの概略図であり、ここで、ターゲットデータは、５つのターゲットデータセグメントを含み、５つのターゲットデータセグメントに対応する第２のバッチサイズは５であり、異なるターゲットデータセグメントが異なるデータフレーム長に対応し、上記図２ａ及び図２ｂの初期データセグメントフレーム長に比べて、上記５つのターゲットデータセグメントに対応するデータフレーム長の差異が小さく、当該ターゲットデータが１つのグラフィックプロセッサＧＰＵ１に対応し、ここで、１はグラフィックプロセッサのシーケンス番号と呼ぶことができ、当該初期データが１つのグラフィックプロセッサに対応するとは、グラフィックプロセッサ１が当該ターゲットデータに含まれる５つのターゲットデータセグメントを処理するために使用されることができることを指す。

上記図４ａ及び図４ｂから分かるように、本実施例では、グラフィックプロセッサは、初期メモリ消費量に基づいて初期データを処理する時に、第２のバッチサイズを生成し、異なるグラフィックプロセッサにフレーム長の差異が小さいターゲットデータセグメントを割り当てることで、ターゲットデータを取得し、この方式では、後続のデータ処理中に、ターゲットデータセグメントの補完に必要な計算量が少なく、これによってグラフィックプロセッサのメモリ消費を低減することができる。

Ｓ３０８、初期メモリ消費量に基づいて、複数のターゲットフレーム長を生成し、第２のバッチサイズと複数のターゲットフレーム長とを推奨処理パラメータとする。

上記初期メモリ消費量に基づいて、第２のバッチサイズを生成した後、初期メモリ消費量に基づいて、複数のターゲットフレーム長を生成し、第２のバッチサイズと複数のターゲットフレーム長とを推奨処理パラメータとすることができる。

ここで、第２のバッチサイズは、初期データをターゲットデータセグメントに分割する必要な数であってもよく、ターゲットフレーム長は、分割する時にターゲットデータセグメントとするデータフレーム長の参照フレーム長であってもよく、すなわち、第２のバッチサイズと複数のターゲットフレーム長とに基づいて複数のターゲットデータセグメントを取得した場合、初期データを処理して、第２のバッチサイズを取得することができ、データフレーム長は前記ターゲットフレーム長の複数のターゲットデータセグメントである。

すなわち、本開示の実施例では、初期メモリ消費量に基づいて、初期データに含まれるデータセグメント数のデータフレーム長を再割り当てて、割り当てられたデータセグメントを取得することができ、当該割り当てられたデータセグメントはターゲットデータセグメントと呼ばれることができ、上記の第２のバッチサイズと複数のターゲットフレーム長とは推奨処理パラメータと呼ばれることができる。

初期メモリ消費量に基づいて、第２のバッチサイズを生成し、第２のバッチサイズと第１のバッチサイズとが同じまたは異なり、その後に初期メモリ消費量に基づいて、複数のデータフレーム長にそれぞれ対応する複数のターゲットフレーム長を生成し、第２のバッチサイズと複数のターゲットフレーム長とを推奨処理パラメータとすることにより、対応するデータ処理過程に高い参考価値を有する推奨処理パラメータを提供することができ、グラフィックプロセッサが複数のターゲットデータセグメントを処理する時に、低いメモリ消費を得ることができ、比較的簡便な方式で推奨処理パラメータを得ることができ、データ計算過程が実際のデータ処理過程の進度に与える影響を回避することができ、データ処理方法全体の実行効率を向上させ、適時性の要件が高いさまざまなデータ処理アプリケーションシナリオに対応することができる。

Ｓ３０９、複数の初期データセグメントを中間データとしてスプライスする。

例えば、複数の初期データセグメントが初期データを分割して得られたものである場合、初期データを処理する時、まず複数の初期データセグメントを中間データとしてスプライスすることができ、例えば、先頭接続の方式でスプライスし、または、初期段階で直接取得された初期データを中間データとしてもよく、これに対して限定しない。

Ｓ３１０、推奨処理パラメータに基づいて中間データを分割して、複数のターゲットデータセグメントを取得し、複数のターゲットデータセグメントのバッチサイズは第２のバッチサイズであり、前記複数のターゲットデータセグメントにそれぞれ対応する複数のデータフレーム長は複数のターゲットフレーム長であり、複数のターゲットデータセグメントが共にターゲットデータを構成する。

上記初期メモリ消費量に基づいて、複数のデータフレーム長にそれぞれ対応する複数のターゲットフレーム長を生成し、第２のバッチサイズと複数のターゲットフレーム長とを推奨処理パラメータとした後、推奨処理パラメータに基づいて初期データを分割して、複数のターゲットデータセグメントを取得することができる。

すなわち、推奨処理パラメータに基づいて初期データを分割することにより、複数のターゲットデータセグメントを処理する時のグラフィックプロセッサのメモリ消費が初期メモリ消費より小さくなる。

本開示の実施例では、前記複数の初期データセグメントを中間データとしてスプライスし、前記推奨処理パラメータに基づいて前記中間データを分割して、複数のターゲットデータセグメントを取得することにより、推奨処理パラメータに基づいて対応するデータ処理過程を正確に実現することができる。

例えば、初期データが初期データセグメントａと初期データセグメントｂとを含み、対応するフレーム長がそれぞれ５０、１２０である場合、第１のバッチサイズは２であり、複数の初期データフレーム長は１２８と２５６であり、初期データセグメントａと初期データセグメントｂとを首尾スプライスして中間データを取得することができ、初期メモリ消費量に基づいて得られた第２のバッチサイズは３であり、３つのターゲットフレーム長は４０、６０、７０であり、推奨処理パラメータを参照して中間データを３つのターゲットデータセグメントに分割し、３つのターゲットデータセグメントにそれぞれ対応するターゲットフレーム長が４０、６０、７０であるようにすることで、４０、６０、７０の間のフレーム長差情報が５０、１２０の間のフレーム長差情報よりも小さくなるため、整列演算処理ロジックが回避され、グラフィックプロセッサのメモリ消費が低減される。

なお、本開示の実施例は、単一のグラフィックプロセッサのアプリケーションシナリオに応用されてもよく、複数のアプリケーションプロセッサの並列実行処理に応用されてもよく、複数のアプリケーションプロセッサの並列実行処理に応用される場合、上記の初期データは１つまたは複数であってもよく、各グラフィックプロセッサのデータ処理過程に対して、いずれも、本開示の上記実施例に記載されたデータ処理方法を採用することができ、単一のグラフィックプロセッサのメモリ消費を低減するとともに、マルチグラフィックプロセッサのデータ計算量が同じであることを効果的に確保し、マルチグラフィックプロセッサの同期トレーニング中にグラフィックプロセッサが待機する状況を回避することができ、これによってグラフィックプロセッサを用いてモデルをトレーニングする時、モデルトレーニングの効率を効果的に向上させる。

本実施例では、初期データを分割して得られた複数の初期データセグメントを取得し、初期データセグメントの間のフレーム長差異情報を決定し、フレーム長差異情報を初期データのデータ特徴とすることにより、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量の正確な推定を支援し、より参照性のある推奨処理パラメータの生成を支援することができる。複数の初期データセグメント数を決定して第１のバッチサイズとし、その後複数の初期データセグメントにそれぞれ対応するデータフレーム長を決定し、複数の初期データセグメントの第１のバッチサイズと複数のデータフレーム長とに基づいて、フレーム長差異情報を決定することを支援することにより、異なる初期データセグメントの間のフレーム長差異情報を正確で迅速に決定し、フレーム長差異情報の参照性を大きく向上させるとともに、データ処理効率を向上させることができる。複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定し、第１のバッチサイズとデータセグメント数とに基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成することにより、複数の初期データセグメントを処理する時のグラフィックプロセッサの初期メモリ消費量を正確に算出することができる。初期メモリ消費量に基づいて、第２のバッチサイズを生成し、その後に初期メモリ消費量に基づいて、複数のデータフレーム長にそれぞれ対応する複数のターゲットフレーム長を生成し、第２のバッチサイズと複数のターゲットフレーム長とを推奨処理パラメータとすることにより、対応するデータ処理過程に高い参考価値を有する推奨処理パラメータを提供することができ、グラフィックプロセッサが複数のターゲットデータセグメントを処理する時に、低いメモリ消費を得ることができ、比較的簡便な方式で推奨処理パラメータを得ることができ、データ計算過程が実際のデータ処理過程の進度に与える影響を回避することができ、適時性の要件が高いさまざまなデータ処理アプリケーションシナリオに対応することができる。複数の初期データセグメントを中間データとしてスプライスし、推奨処理パラメータに基づいて中間データを分割して、複数のターゲットデータセグメントを取得することにより、推奨処理パラメータに基づいて対応するデータ処理過程を正確に実現することができる。

図５は本開示の第３の実施例に係る概略図である。

図５に示すように、当該データ処理装置５０は、初期データを取得し、初期データのデータ特徴を抽出するための取得モジュール５０１と、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成するための第１の生成モジュール５０２と、初期メモリ消費量に基づいて推奨処理パラメータを生成するための第２の生成モジュール５０３と、推奨処理パラメータに基づいて初期データを処理して、ターゲットデータを取得するための処理モジュール５０４と、を備える。

本開示のいくつかの実施例では、図６に示すように、図６は本開示の第４の実施例に係る概略図であり、当該データ処理装置６０は、取得モジュール６０１、第１の生成モジュール６０２、第２の生成モジュール６０３、及び処理モジュール６０４を備え、取得モジュール６０１が、初期データを取得するための取得サブモジュール６０１１と、
複数の初期データセグメントの間のフレーム長差異情報を決定し、フレーム長差異情報を初期データのデータ特徴とするための第１の決定サブモジュール６０１２と、を備える。

本開示のいくつかの実施例では、第１の決定サブモジュール６０１２は、具体的には、
複数の初期データセグメントの第１のバッチサイズを決定し、複数の初期データセグメントにそれぞれ対応する複数のデータフレーム長を決定し、第１のバッチサイズと複数のデータフレーム長とに基づいて、複数の初期データセグメントの間のフレーム長差異情報を決定する。

本開示のいくつかの実施例では、第１の生成モジュール６０２は、複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定するための第２の決定サブモジュール６０２１と、第１のバッチサイズとデータセグメント数とに基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成するための第１の生成サブモジュール６０２２と、を備える。

本開示のいくつかの実施例では、処理モジュール６０４は、初期メモリ消費量に基づいて、第２のバッチサイズを生成するための第２の生成サブモジュール６０４１であって、第２のバッチサイズが第１のバッチサイズと同じまたは異なる第２の生成サブモジュール６０４１と、初期メモリ消費量に基づいて、複数のデータフレーム長にそれぞれ対応する複数のターゲットフレーム長を生成し、第２のバッチサイズと複数のターゲットフレーム長とを推奨処理パラメータとするための第３の生成サブモジュール６０４２と、を備える。

本開示のいくつかの実施例では、処理モジュール６０４は、複数の初期データセグメントを中間データとしてスプライスし、推奨処理パラメータに基づいて中間データを分割して、複数のターゲットデータセグメントを取得するための分割サブモジュール６０４３であって、前記複数のターゲットデータセグメントのバッチサイズは第２のバッチサイズであり、複数のターゲットデータセグメントにそれぞれ対応する複数のデータフレーム長は複数のターゲットフレーム長であり、複数のターゲットデータセグメントが共にターゲットデータを構成する分割サブモジュール６０４３をさらに備える。

なお、本実施例の図６におけるデータ処理装置６０と上記実施例のデータ処理装置５０、取得モジュール６０１と上記実施例の取得モジュール５０１、第１の生成モジュール６０２と上記実施例の第１の生成モジュール５０２、第２の生成モジュール６０３と上記実施例の第２の生成モジュール５０３、処理モジュール６０４と上記実施例の処理モジュール５０４は、同じ機能と構造を有することができる。

なお、上記のデータ処理方法についての説明は、本実施例のデータ処理装置にも適用され、ここでは説明を省略する。

本開示の実施例では、初期データを取得し、初期データのデータ特徴を抽出し、データ特徴に基づいて、グラフィックプロセッサが初期データを処理する時に必要な初期メモリ消費量を生成し、初期メモリ消費量に基づいて推奨処理パラメータを生成し、推奨処理パラメータに基づいて初期データを処理して、ターゲットデータを取得することにより、データを処理する時のグラフィックプロセッサのメモリ消費を効果的に低減することを支援し、データ処理の効率を効果的に向上させることができる。

本開示の実施例によれば、本開示は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムがプロセッサによって実行される場合、本開示によって提供されるデータ処理方法が実現される。

図７は本開示の実施例に係るデータ処理方法を実施するための例示的な電子機器の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示される部品、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び／又は要求される本開示の実現を制限することを意図したものではない。

図７に示すように、電子機器７００は、読み取り専用メモリ（ＲＯＭ）７０２に記憶されているコンピュータプログラムまたは記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに従って様々な適切な動作および処理を実行する計算ユニット７０１を備える。ＲＡＭ７０３には、電子機器７００の動作に必要な各種プログラムやデータも記憶されてもよい。計算ユニット７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して互いに接続されている。バス７０４には、入力／出力（Ｉ／Ｏ）インターフェース７０５も接続されている。

電子機器７００の複数のコンポーネントはＩ／Ｏインターフェース７０５に接続され、キーボード、マウスなどの入力ユニット７０６、各タイプのディスプレイ、スピーカなどの出力ユニット７０７、磁気ディスク、光ディスクなどの記憶ユニット７０８、およびネットワークカード、モデム、無線通信トランシーバなどの通信ユニット７０９を備える。通信ユニット７０９は、電子機器７００が、インターネットなどのコンピュータネットワーク及び／または各種の電信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

計算ユニット７０１は、処理および計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット７０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）計算チップ、各種のマシン運転学習モデルアルゴリズムの計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、およびいずれかの適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット７０１は、上記に記載された各方法及び処理、例えば、データ処理方法を実行する。例えば、いくつかの実施例では、データ処理方法を、記憶ユニット７０８などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、コンピュータプログラムの一部または全部はＲＯＭ７０２および／または通信ユニット７０９を介して電子機器７００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされ、計算ユニット７０１によって実行される場合、前文に記載されたデータ処理方法の１つの或複数のステップが実行されてもよい。代替的に、他の実施例では、計算ユニット７０１はデータ処理方法を実行するように、他のいずれかの適切な方式（例えば、ファームウェアを介して）によって配置されてもよい。

本明細書で上記記載されたシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

本出願の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャート及び／又はブロック図に規定された機能／操作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。

本開示のコンテクストでは、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されるために、又は命令実行システム、装置、またはデバイスと組み合わせて使用するためのプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、または上記内容のいずれかの適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記内容のいずれかの適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために使用されることもでき、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションできる）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントのいずれかの組み合わせを備えるコンピューティングシステムで実行することができる。いずれかの形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークを含む。

コンピュータシステムは、クライアントとサーバを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよい、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおける１つのホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」，または「ＶＰＳ」と略称する）に存在する管理の難しさ、業務拡張性の弱い欠陥を解決した。サーバは分散システムのサーバであってもよい、ブロックチェーンを組み込んだサーバであってもよい。

なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

上記具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要求と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができると理解されたい。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれなければならない。

Claims (15)

1. 初期データを取得し、初期データのデータ特徴を抽出するステップと、
   前記データ特徴に基づいて、グラフィックプロセッサが前記初期データを処理する時に必要な初期メモリ消費量を生成するステップと、
   前記初期メモリ消費量に基づいて、推奨処理パラメータを生成するステップと、
   前記推奨処理パラメータに基づいて前記初期データを処理して、ターゲットデータを取得するステップと、
   を含むデータ処理方法。
2. 前記初期データが、前記初期データを分割して得られた複数の初期データセグメントを含み、
   前記初期データのデータ特徴を抽出するステップが、
   前記複数の初期データセグメントの間のフレーム長差異情報を決定し、前記フレーム長差異情報を前記初期データのデータ特徴とするステップを含む請求項１に記載の方法。
3. 前記複数の初期データセグメントの間のフレーム長差異情報を決定するステップが、
   前記複数の初期データセグメントの第１のバッチサイズを決定するステップと、
   前記複数の初期データセグメントにそれぞれ対応する複数のデータフレーム長を決定するステップと、
   前記第１のバッチサイズと前記複数のデータフレーム長とに基づいて、前記複数の初期データセグメントの間のフレーム長差異情報を決定するステップと、
   を含む請求項２に記載の方法。
4. 前記データ特徴に基づいて、グラフィックプロセッサが前記初期データを処理する時に必要な初期メモリ消費量を生成するステップが、
   前記複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定するステップと、
   前記第１のバッチサイズと前記データセグメント数とに基づいて、グラフィックプロセッサが前記初期データを処理する時に必要な初期メモリ消費量を生成するステップと、
   を含む請求項３に記載の方法。
5. 前記推奨処理パラメータに基づいて前記初期データを処理して、ターゲットデータを取得するステップが、
   前記初期メモリ消費量に基づいて、第２のバッチサイズを生成するステップであって、前記第２のバッチサイズが前記第１のバッチサイズと同じまたは異なるステップと、
   前記初期メモリ消費量に基づいて、複数のターゲットフレーム長を生成し、前記第２のバッチサイズと前記複数のターゲットフレーム長とを前記推奨処理パラメータとするステップと、
   を含む請求項３に記載の方法。
6. 前記推奨処理パラメータに基づいて前記初期データを処理して、ターゲットデータを取得するステップが、
   前記複数の初期データセグメントを中間データとしてスプライスするステップと、
   前記推奨処理パラメータに基づいて前記中間データを分割して、複数のターゲットデータセグメントを取得するステップであって、前記複数のターゲットデータセグメントのバッチサイズは前記第２のバッチサイズであり、前記複数のターゲットデータセグメントにそれぞれ対応する複数のデータフレーム長は前記複数のターゲットフレーム長であり、前記複数のターゲットデータセグメントが共に前記ターゲットデータを構成するステップと、
   を含む請求項５に記載の方法。
7. 初期データを取得し、前記初期データのデータ特徴を抽出するための取得モジュールと、
   前記データ特徴に基づいて、グラフィックプロセッサが前記初期データを処理する時に必要な初期メモリ消費量を生成するための第１の生成モジュールと、
   前記初期メモリ消費量に基づいて、推奨処理パラメータを生成するための第２の生成モジュールと、
   前記推奨処理パラメータに基づいて前記初期データを処理して、ターゲットデータを取得するための処理モジュールと、
   を備えるデータ処理装置。
8. 前記初期データが、前記初期データを分割して得られた複数の初期データセグメントを含み、
   前記取得モジュールが、
   初期データを取得するための取得サブモジュールと、
   前記複数の初期データセグメントの間のフレーム長差異情報を決定し、前記フレーム長差異情報を前記初期データのデータ特徴とするための第１の決定サブモジュールと、
   を備える請求項７に記載の装置。
9. 前記第１の決定サブモジュールが、
   前記複数の初期データセグメントの第１のバッチサイズを決定し、
   前記複数の初期データセグメントにそれぞれ対応する複数のデータフレーム長を決定し、
   前記第１のバッチサイズと前記複数のデータフレーム長とに基づいて、前記複数の初期データセグメントの間のフレーム長差異情報を決定する請求項８に記載の装置。
10. 前記第１の生成モジュールが、
    前記複数のデータフレーム長の中から最大データフレーム長の初期データセグメントのデータセグメント数を決定するための第２の決定サブモジュールと、
    前記第１のバッチサイズと前記データセグメント数とに基づいて、グラフィックプロセッサが前記初期データを処理する時に必要な初期メモリ消費量を生成するための第１の生成サブモジュールと、
    を備える請求項９に記載の装置。
11. 前記処理モジュールが、
    前記初期メモリ消費量に基づいて、第２のバッチサイズを生成するための第２の生成サブモジュールであって、前記第２のバッチサイズが前記第１のバッチサイズと同じまたは異なる第２の生成サブモジュールと、
    前記初期メモリ消費量に基づいて、複数のターゲットフレーム長を生成し、前記第２のバッチサイズと前記複数のターゲットフレーム長とを前記推奨処理パラメータとするための第３の生成サブモジュールと、
    を備える請求項９に記載の装置。
12. 前記処理モジュールが、
    前記複数の初期データセグメントを中間データとしてスプライスし、前記推奨処理パラメータに基づいて前記中間データを分割して、複数のターゲットデータセグメントを取得するための分割サブモジュールであって、前記複数のターゲットデータセグメントのバッチサイズは前記第２のバッチサイズであり、前記複数のターゲットデータセグメントにそれぞれ対応する複数のデータフレーム長は前記複数のターゲットフレーム長であり、前記複数のターゲットデータセグメントが共に前記ターゲットデータを構成する分割サブモジュールを備える請求項１１に記載の装置。
13. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが請求項１から６のいずれか一項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される電子機器。
14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が、コンピュータに請求項１から６のいずれか一項に記載の方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
15. プロセッサによって実行される場合に、請求項１から６のいずれか一項に記載の方法が実現されるコンピュータプログラム。

Images