JP2022108373A - 情報処理装置、情報処理方法、およびシステム - Google Patents

Abstract

【課題】１以上の演算装置を効率よく利用して複数の処理を実行すること。【解決手段】情報処理装置１００は、複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得する。情報処理装置１００は、１以上の演算装置に対して複数の処理を配置するにあたり、プロファイル情報を参照して、木構造１１０において、根から葉までのノードを探索することにより、１以上の演算装置に対する複数の処理の配置パターンを決定する。情報処理装置１００は、例えば、プロファイル情報を参照して、それぞれの処理の実行が期限内に完了可能になるよう、木構造１１０において探索することにより、複数の処理についての実行効率を最大化可能な配置パターンを決定する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、およびシステムに関する。

従来、動画像を処理する推論プロセスを、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を搭載するサーバ上で実行するケースがある。管理サーバは、ＧＰＵを搭載するサーバが複数存在し、推論プロセスが複数存在する場合、いずれの推論プロセスを、いずれのサーバに配置して実行するのかを決定することになる。特に、サーバの数が比較的少なく、計算リソースが限られたシステムでは、いずれの推論プロセスを、いずれのサーバに配置して実行することが好ましいのかを判断し、いずれの推論プロセスを、いずれのサーバに配置して実行するのかを決定することが望まれる。

先行技術としては、例えば、コプロセッサからリソース情報を収集して処理時間を計算し、計算した処理時間に基づいて推論処理を割り当てるものがある。また、例えば、推論処理装置における推論処理に処理遅延が発生しているかを検出し、処理遅延が発生している推論処理装置と同一の推論処理を実行可能な他の推論処理装置を選択する技術がある。また、例えば、処理時間が短い方の第１のデータ処理手段または第２のデータ処理手段を予測し、処理振分ルールを作成する技術がある。

米国特許出願公開第２０２０／０２１８６６号明細書 特開２０２０－１３５０６１号公報 特開２０１５－１０８９９３号公報

しかしながら、従来技術では、複数のサーバを効率よく利用して複数の推論プロセスを実行することが難しい。例えば、いずれの推論プロセスを、いずれのサーバに配置して実行することが好ましいのかを適切に判断することができないため、複数のサーバを効率よく利用して複数の推論プロセスを実行することができない。

１つの側面では、本発明は、１以上の演算装置を効率よく利用して複数の処理を実行することを目的とする。

１つの実施態様によれば、異なるモデルを用いて実行される複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得し、１以上の演算装置に対して前記複数の処理を配置するにあたり、取得した前記プロファイル情報を参照して、前記複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される木構造において、前記それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理についての実行効率を最大化可能な、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する情報処理装置、情報処理方法、およびシステムが提案される。

一態様によれば、１以上の演算装置を効率よく利用して複数の処理を実行することが可能になる。

図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。 図２は、情報処理システム２００の一例を示す説明図である。 図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。 図４は、推論実行リクエスト管理テーブル４００の記憶内容の一例を示す説明図である。 図５は、実行用装置リソース情報管理テーブル５００の記憶内容の一例を示す説明図である。 図６は、推論モデル実行プロファイル管理テーブル６００の記憶内容の一例を示す説明図である。 図７は、割り当て結果管理テーブル７００の記憶内容の一例を示す説明図である。 図８は、要求時刻超過情報管理テーブル８００の記憶内容の一例を示す説明図である。 図９は、実行用装置２０１のハードウェア構成例を示すブロック図である。 図１０は、情報収集装置２０２のハードウェア構成例を示すブロック図である。 図１１は、情報処理システム２００の機能的構成例を示すブロック図である。 図１２は、情報処理システム２００の具体的な機能的構成例を示すブロック図である。 図１３は、情報処理システム２００の動作例を示す説明図（その１）である。 図１４は、情報処理システム２００の動作例を示す説明図（その２）である。 図１５は、情報処理システム２００の動作例を示す説明図（その３）である。 図１６は、情報処理システム２００の動作例を示す説明図（その４）である。 図１７は、情報処理システム２００の動作例を示す説明図（その５）である。 図１８は、情報処理システム２００の動作例を示す説明図（その６）である。 図１９は、情報処理システム２００の動作例を示す説明図（その７）である。 図２０は、全体処理手順の一例を示すフローチャートである。 図２１は、割り当てパターン決定処理手順の一例を示すフローチャート（その１）である。 図２２は、割り当てパターン決定処理手順の一例を示すフローチャート（その２）である。

以下に、図面を参照して、本発明にかかる情報処理装置、情報処理方法、およびシステムの実施の形態を詳細に説明する。

（実施の形態にかかる情報処理方法の一実施例）
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。情報処理装置１００は、１以上の演算装置に対して複数の処理を配置する適切な配置パターンを決定するためのコンピュータである。

ここで、処理は、例えば、動画像に関して所定の演算を行う。処理は、具体的には、動画像のフレームに関して所定の演算を行う。所定の演算は、例えば、画像処理である。所定の演算は、具体的には、画像に映る物体の検知処理である。処理は、より具体的には、推論プロセスである。処理は、リアルタイムに実行されなくてもよい。処理は、実行を完了する期限が設定される。演算装置は、例えば、ＧＰＵを搭載するサーバである。

従来、動画像を処理する推論プロセスを、ＧＰＵを搭載するサーバ上で実行するにあたり、管理サーバが、いずれの推論プロセスを、いずれのサーバに配置して実行するのかを決定することになる。ここで、サーバの数が比較的少なく、計算リソースが限られたシステムでは、いずれの推論プロセスを、いずれのサーバに配置して実行することが好ましいのかを判断し、いずれの推論プロセスを、いずれのサーバに配置して実行するのかを決定することが望まれる。

しかしながら、従来では、複数のサーバを効率よく利用して複数の推論プロセスを実行することは難しい。例えば、いずれの推論プロセスを、いずれのサーバに配置して実行することが好ましいのかを適切に判断することができないため、複数のサーバを効率よく利用して複数の推論プロセスを実行することができない。具体的には、それぞれの推論プロセスの実行が、当該推論プロセスについて設定された期限内に完了可能であるのかを考慮せず、複数のサーバに対して複数の推論プロセスを配置してしまう場合がある。

例えば、複数の推論プロセスを、設定された期限までの残り時間が短い順に、計算リソースの空きが比較的大きいサーバに配置していく手法が考えられる。この手法では、いずれかのサーバに配置したいずれかの推論プロセスの実行を、設定された期限内に完了可能であることが保証されず、複数のサーバを効率よく利用して、複数の推論プロセスを適切に実行することは難しい。

また、例えば、ある期間に、複数の推論プロセスの推論実行リクエストを受け付けた際、複数の推論プロセスを、推論実行リクエストを受け付けた順に、計算リソースの空きが比較的大きいサーバに配置していく手法が考えられる。この手法では、いずれかのサーバに配置したいずれかの推論プロセスの実行を、設定された期限内に完了可能であることが保証されず、複数のサーバを効率よく利用して、複数の推論プロセスを適切に実行することは難しい。

また、例えば、複数のサーバに対して複数の推論プロセスを配置する際、いずれかの推論プロセスを、２以上のサーバに分散配置可能にする手法が考えられる。この手法では、効率よくサーバを利用することが難しい。例えば、推論プロセスを分散配置した場合、推論プロセスを分散配置した２以上のサーバのそれぞれのサーバで、推論プロセスに用いられるモデルを読み込むことになり、サーバを利用する効率が悪くなるという問題がある。

また、例えば、複数のサーバに対して複数の推論プロセスを配置する配置パターンのすべてを検証し、それぞれの推論プロセスの実行を、設定された期限までに完了可能であり、効率よくサーバを利用可能である適切な配置パターンを決定する手法が考えられる。この手法では、適切な配置パターンを決定するまでにかかる処理時間および処理負担が膨大になり易いという問題がある。

そこで、本実施の形態では、それぞれの処理の実行を、当該処理について設定された期限内に完了可能にしつつ、１以上の演算装置を効率よく利用して複数の処理を実行することができる情報処理方法について説明する。

図１において、情報処理装置１００と、処理を配置可能な演算装置とが存在する。演算装置は、例えば、処理を実行可能なコンピュータである。演算装置は、例えば、コンピュータが有する、処理を実行可能なコアであってもよい。

配置は、割り当てである。配置は、例えば、処理をいずれの演算装置で実行するのかを決定することを含む。配置は、例えば、処理をいずれの演算装置でいつ実行開始するのかを決定することを含む。配置は、例えば、処理をいずれの演算装置のいずれの実行プロセス枠で実行するのかを決定することを含む。実行プロセス枠の実体は、例えば、何らかの処理プロセスである。当該処理プロセスは、例えば、配置された処理に用いられるモデルと、当該処理で演算する情報とが指定されることにより、当該処理として動作する。

図１の例では、演算装置は、２つの実行プロセス枠を有し、２つの処理を並列に実行可能である。また、実行が要求された複数の処理が存在する。処理は、例えば、データに対して所定の演算を行う。データは、例えば、フレームである。それぞれの処理の実行を完了する期限を示す要求時刻が設定されている。

図１の例では、ｒｅｑｕｅｓｔＡの推論プロセスａと、ｒｅｑｕｅｓｔＢの推論プロセスｂとが存在する。表１２０に示すように、ｒｅｑｕｅｓｔＡの推論プロセスａは、要求時刻０：２０［ｓ］が設定されている。ｒｅｑｕｅｓｔＡの推論プロセスａは、１０［ｆｒａｍｅ］分のデータについて演算を行う処理である。ｒｅｑｕｅｓｔＢの推論プロセスｂは、要求時刻０：５０［ｓ］が設定されている。ｒｅｑｕｅｓｔＢの推論プロセスｂは、３０［ｆｒａｍｅ］分のデータについて演算を行う処理である。

（１－１）情報処理装置１００は、複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得する。処理の実行準備にかかる所要時間は、例えば、ＧＰＵの初期化および当該処理の実行に用いられるモデルの読込にかかる所要時間である。

図１の例では、情報処理装置１００は、ｒｅｑｕｅｓｔＡの推論プロセスａについて、初期化および推論プロセスａに用いられるモデルの読込にかかる所要時間５［ｓ］と、推論プロセスａの実行にかかる所要時間１［ｓ／ｆｒａｍｅ］とを取得する。また、情報処理装置１００は、ｒｅｑｕｅｓｔＢの推論プロセスｂについて、初期化および推論プロセスｂに用いられるモデルの読込にかかる所要時間５［ｓ］と、推論プロセスｂの実行にかかる所要時間１［ｓ／ｆｒａｍｅ］とを取得する。

（１－２）情報処理装置１００は、１以上の演算装置に対して複数の処理を配置するにあたり、プロファイル情報を参照して、木構造１１０において、根から葉までのノードを探索することにより、１以上の演算装置に対する複数の処理の配置パターンを決定する。木構造１１０は、例えば、複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される。

情報処理装置１００は、例えば、プロファイル情報を参照して、それぞれの処理の実行が期限内に完了可能になるよう探索することにより、複数の処理についての実行効率を最大化可能な、１以上の演算装置に対する複数の処理の配置パターンを決定する。実行効率は、例えば、配置した処理の量の合計の、配置した処理の占有時間の合計に対する割合から算出される。処理の量は、例えば、処理で扱うデータの量である。占有時間は、処理の実行準備および実行で、演算装置を利用する時間である。実行効率は、具体的には、後述する式（１）によって算出可能である。

（１－２－１）図１の例では、情報処理装置１００は、木構造１１０の根０を生成する。情報処理装置１００は、推論プロセスａを、演算装置の実行プロセス枠＃１に配置した結果を示すノード１を生成し、根０の下位に接続する。配置した結果は、例えば、符号１１１に示す。図中の（＃１，＃２）は、実行プロセス枠＃１と実行プロセス枠＃２とのそれぞれで、どの程度の量のデータを扱うのかを示す。情報処理装置１００は、ノード１において、配置した推論プロセスａの実行が完了するまでの所要時間０．１５［ｓ］を算出し、算出した所要時間０．１５［ｓ］が、要求時刻０：２０［ｓ］を満たすか否かを判定し、実行効率０．６７［ｆｐｓ］を算出する。

所要時間は、例えば、現時点から、推論プロセスの実行の開始までの待ち時間を含んでもよい。例えば、所要時間が、要求時刻を満たすとは、所要時間が、要求時刻を超過しないことである。所要時間が、要求時刻を満たさないとは、所要時間が、要求時刻を超過することである。所要時間が、要求時刻を超過するとは、所要時間が、現時刻から要求時刻までの時間を超過することである。所要時間が、要求時刻を超過しないとは、所要時間が、現時刻から要求時刻までの時間以下であることである。

ここでは、情報処理装置１００は、算出した所要時間０．１５［ｓ］が、要求時刻０：２０［ｓ］を超過しないため、要求時刻０：２０［ｓ］を満たすと判定したとする。情報処理装置１００は、要求時刻０：２０［ｓ］を満たすと判定した場合には、（１－２－２）の動作に移行する。一方で、情報処理装置１００は、要求時刻０：２０［ｓ］を満たさないと判定した場合には、（１－２－２）の動作に移行せず、ノード１を削除してもよい。

（１－２－２）情報処理装置１００は、要求時刻０：２０［ｓ］を満たすと判定した場合、推論プロセスｂを、演算装置の実行プロセス枠＃２に配置した結果を示すノード２を生成し、ノード１の下位に接続する。配置した結果は、例えば、符号１１２に示す。情報処理装置１００は、ノード２において、配置した推論プロセスｂの実行が完了するまでの所要時間０．３５［ｓ］を算出し、要求時刻０：５０［ｓ］を満たすか否かを判定し、実行効率０．８［ｆｐｓ］を算出する。

ここでは、情報処理装置１００は、算出した所要時間０．３５［ｓ］が、要求時刻０：５０［ｓ］を超過しないため、要求時刻０：５０［ｓ］を満たすと判定したとする。情報処理装置１００は、要求時刻０：５０［ｓ］を満たすと判定した場合には、（１－２－３）の動作に移行する。一方で、情報処理装置１００は、要求時刻０：５０［ｓ］を満たさないと判定した場合には、ノード２を削除し、（１－２－３）の動作に移行してもよい。

（１－２－３）情報処理装置１００は、要求時刻０：５０［ｓ］を満たし、ノード２が葉であるため、推論プロセスｂを配置し直した結果を示すノード３を生成し、ノード１の下位に接続する。情報処理装置１００は、ノード２と同様に、ノード３において、配置したｒｅｑｕｅｓｔＢの推論プロセスｂの実行が完了するまでの所要時間が、要求時刻０：５０［ｓ］を満たすか否かを判定し、実行効率を算出する。

ここでは、情報処理装置１００は、算出した所要時間が、要求時刻０：５０［ｓ］を超過しないため、要求時刻０：５０［ｓ］を満たすと判定したとする。情報処理装置１００は、要求時刻０：５０［ｓ］を満たすと判定した場合には、（１－２－４）の動作に移行する。一方で、情報処理装置１００は、要求時刻０：５０［ｓ］を満たさないと判定した場合には、ノード３を削除し、（１－２－４）の動作に移行してもよい。

（１－２－４）情報処理装置１００は、推論プロセスａを配置し直した結果を示すノード４を生成し、ノード０の下位に接続する。配置した結果は、例えば、符号１１３に示す。情報処理装置１００は、ノード１と同様に、ノード４において、配置したｒｅｑｕｅｓｔＡの推論プロセスａの実行が完了するまでの所要時間が、要求時刻０：２０［ｓ］を満たすか否かを判定し、実行効率を算出する。

ここでは、情報処理装置１００は、算出した所要時間０．１０［ｓ］が、要求時刻０：２０［ｓ］を超過しないため、要求時刻０：２０［ｓ］を満たすと判定したとする。情報処理装置１００は、要求時刻０：２０［ｓ］を満たすと判定した場合には、（１－２－５）の動作に移行する。一方で、情報処理装置１００は、要求時刻０：２０［ｓ］を満たさないと判定した場合には、（１－２－５）の動作に移行せず、ノード４を削除してもよい。

（１－２－５）情報処理装置１００は、要求時刻０：２０［ｓ］を満たすと判定した場合、推論プロセスｂを配置し直した結果を示すノード５を生成し、ノード４の下位に接続する。情報処理装置１００は、ノード５において、配置した推論プロセスｂの実行が完了するまでの所要時間が、要求時刻０：５０［ｓ］を満たすか否かを判定し、実行効率を算出する。以降、情報処理装置１００は、同様に、ノード６，７などを生成し、実行効率を算出する。

（１－２－６）情報処理装置１００は、木構造１１０に残っている葉のうち、算出した実行効率が最大となる葉を特定する。情報処理装置１００は、根から特定した葉までの経路で示される、１以上の演算装置に対して複数の推論プロセスを配置する配置パターンを、複数の推論プロセスについての実行効率を最大化可能な、適切な配置パターンに決定する。

これにより、情報処理装置１００は、適切な配置パターンを決定することができる。情報処理装置１００は、例えば、それぞれの処理の実行を、当該処理について設定された期限内に完了可能にしつつ、１以上の演算装置を効率よく利用して複数の処理を実行することができる適切な配置パターンを決定することができる。

情報処理装置１００は、いずれかの処理を、２以上のサーバに分散配置可能にしても、複数の処理についての実行効率を最大化することができ、効率よく演算装置を利用することができる。情報処理装置１００は、複数のサーバに対して複数の処理を配置する配置パターンのすべてを検証せずに済ませることができ、適切な配置パターンを決定するまでにかかる処理時間および処理負担の低減化を図ることができる。

ここでは、情報処理装置１００が、木構造１１０を生成しながら、木構造１１０を探索することにより、適切な配置パターンを決定する場合について説明したが、これに限らない。例えば、情報処理装置１００が、木構造１１０を生成した後、木構造１１０を探索することにより、適切な配置パターンを決定する場合があってもよい。また、情報処理装置１００が、木構造１１０を生成する他のコンピュータから、木構造１１０を取得する場合があってもよい。この場合、情報処理装置１００は、取得した木構造１１０を探索することにより、適切な配置パターンを決定することになる。

ここでは、データが、動画像のフレームである場合について説明したが、これに限らない。例えば、データは、コンピュータに関する動作情報、自然現象に関する観測情報、または、人体に関する生体情報などであってもよい。

（情報処理システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、情報処理システム２００の一例について説明する。

図２は、情報処理システム２００の一例を示す説明図である。図２において、情報処理システム２００は、情報処理装置１００と、１以上の実行用装置２０１と、１以上の情報収集装置２０２と、１以上のクライアント装置２０３とを含む。

情報処理システム２００において、情報処理装置１００と実行用装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。

また、情報処理システム２００において、実行用装置２０１と情報収集装置２０２とは、有線または無線のネットワーク２１０を介して接続される。また、情報処理システム２００において、情報処理装置１００とクライアント装置２０３とは、有線または無線のネットワーク２１０を介して接続される。

情報処理装置１００は、図４～図８に後述する各種テーブルを記憶する。情報処理装置１００は、推論プロセスの実行を要求する推論実行リクエストを、クライアント装置２０３から受信する。推論プロセスの実行は、設定された期限までに完了することが望まれる。換言すれば、推論プロセスは、設定された期限までに、処理対象の情報について所定の演算を行うことが望まれる。期限は、例えば、要求時刻で表される。期限は、例えば、数十秒～数分先の要求時刻である。情報処理装置１００は、受信した推論実行リクエストを、図４に後述する推論実行リクエスト管理テーブル４００を用いて記憶する。

情報処理装置１００は、実行用装置２０１の性能情報を、実行用装置２０１から受信する。情報処理装置１００は、受信した実行用装置２０１の性能情報を、図５に後述する実行用装置リソース情報管理テーブル５００を用いて記憶する。情報処理装置１００は、実行用装置２０１における、推論プロセスの実行準備にかかる所要時間と、推論プロセスの実行にかかる所要時間とを特定可能にするプロファイル情報を、実行用装置２０１から受信する。情報処理装置１００は、受信したプロファイル情報を、図６に後述する推論モデル実行プロファイル管理テーブル６００を用いて記憶する。

情報処理装置１００は、受信したプロファイル情報に基づいて、複数の実行用装置２０１に対して複数の推論プロセスを配置する適切な配置パターンを決定する。情報処理装置１００は、例えば、プロファイル情報に基づいて、図８に後述する要求時刻超過情報管理テーブル８００を利用して、それぞれの推論プロセスの実行が要求時刻までに完了し、実行用装置２０１を効率よく利用する適切な配置パターンを決定する。情報処理装置１００は、決定した配置パターンを、図７に後述する割り当て結果管理テーブル７００を用いて記憶する。情報処理装置１００は、決定した配置パターンに従って、複数の実行用装置２０１に対して複数の推論プロセスを配置する。情報処理装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

実行用装置２０１は、ＧＰＵを有し、推論プロセスを実行するコンピュータである。実行用装置２０１は、推論プロセスの実行準備にかかる所要時間と、推論プロセスの実行にかかる所要時間とを特定可能にするプロファイル情報を生成し、情報処理装置１００に送信する。実行用装置２０１は、情報処理装置１００の制御に従って、自ノードに割り当てられた推論プロセスを実行する。実行用装置２０１は、例えば、自ノードに割り当てられた推論プロセスで扱う情報を、情報収集装置２０２から受信し、自ノードに割り当てられた推論プロセスを実行する。実行用装置２０１は、複数の推論プロセスを並列して実行可能である。実行用装置２０１は、推論プロセスを実行した結果を、クライアント装置２０３に送信してもよい。実行用装置２０１は、例えば、サーバ、または、ＰＣなどである。

情報収集装置２０２は、推論プロセスで扱う情報を収集するコンピュータである。推論プロセスで扱う情報は、例えば、動画像のフレームである。情報収集装置２０２は、収集した情報を、実行用装置２０１に送信する。情報収集装置２０２は、例えば、動画像を撮像し、動画像を実行用装置２０１に送信する。収集した情報は、例えば、推論プロセスにより、期限までに所定の演算を行うことが要求される。期限は、例えば、要求時刻で表される。期限は、例えば、数十秒～数分先の要求時刻である。情報収集装置２０２は、例えば、サーバ、ＰＣ、タブレット端末、スマートフォン、ウェアラブル端末、定点カメラなどである。

クライアント装置２０３は、ユーザの操作入力に基づき、推論実行指示を、情報処理装置１００に送信する。ユーザは、例えば、１以上の実行用装置２０１全体の管理者である。クライアント装置２０３は、推論プロセスを実行した結果を、実行用装置２０１から受信してもよい。クライアント装置２０３は、推論プロセスを実行した結果を、ユーザが参照可能に出力する。クライアント装置２０３は、例えば、サーバ、ＰＣ、タブレット端末、または、スマートフォンなどである。

（情報処理システム２００の具体例）
情報処理システム２００は、具体的には、一定時間ごとに収集した動画像の各フレームに映った物体を検知する推論プロセスを、実行用装置２０１で実行する物体検知システムを実現する。一定時間ごとに推論プロセスを、実行用装置２０１で実行するため、一定時間内に推論プロセスの実行を完了することが望まれ、期限が設定される。情報処理装置１００は、推論プロセスを実行するにあたり、実行用装置２０１のＧＰＵを効率よく利用することができるよう、複数の実行用装置２０１に対して複数の推論プロセスを配置する適切な配置パターンを決定する。これにより、情報処理装置１００は、ＣＰＵに比べて導入コストが高いＧＰＵを効率よく利用することができる。

（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。

図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。

情報処理装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

（推論実行リクエスト管理テーブル４００の記憶内容）
次に、図４を用いて、推論実行リクエスト管理テーブル４００の記憶内容の一例について説明する。推論実行リクエスト管理テーブル４００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

図４は、推論実行リクエスト管理テーブル４００の記憶内容の一例を示す説明図である。図４に示すように、推論実行リクエスト管理テーブル４００は、リクエストＩＤと、推論モデルＩＤと、処理対象フレーム総数と、要求時刻と、リクエストステータスとのフィールドを有する。推論実行リクエスト管理テーブル４００は、推論実行リクエストごとに各フィールドに情報を設定することにより、推論実行リクエストがレコード４００－ａとして記憶される。ａは、任意の整数である。

リクエストＩＤのフィールドには、推論プロセスの実行を要求する推論実行リクエストを識別するリクエストＩＤが設定される。推論モデルＩＤのフィールドには、上記推論プロセスの実行に用いられる推論モデルを識別する推論モデルＩＤが設定される。処理対象フレーム総数のフィールドには、上記推論プロセスで扱うフレームの総数が設定される。要求時刻のフィールドには、上記推論プロセスの実行を完了する期限を示す要求時刻が設定される。リクエストステータスのフィールドには、上記推論プロセスが未配置であるか、または、配置済みであるかを示すフラグ情報が設定される。

（実行用装置リソース情報管理テーブル５００の記憶内容）
次に、図５を用いて、実行用装置リソース情報管理テーブル５００の記憶内容の一例について説明する。実行用装置リソース情報管理テーブル５００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

図５は、実行用装置リソース情報管理テーブル５００の記憶内容の一例を示す説明図である。図５に示すように、実行用装置リソース情報管理テーブル５００は、実行用装置ＩＤと、プロセス実行可否と、ＧＰＵメモリサイズ［ＧＢ］と、時刻と、空きメモリ［ＧＢ］とのフィールドを有する。実行用装置リソース情報管理テーブル５００は、実行用装置２０１ごとに各フィールドに情報を設定することにより、実行用装置リソース情報がレコード５００－ｂとして記憶される。ｂは、任意の整数である。

実行用装置ＩＤのフィールドには、実行用装置２０１を識別する実行用装置ＩＤが設定される。プロセス実行可否のフィールドには、上記実行用装置２０１において推論プロセスが実行可能な状態であるか否かを示すフラグ情報が設定される。ＧＰＵメモリサイズ［ＧＢ］のフィールドには、上記実行用装置２０１が有するＧＰＵに対応するメモリサイズ［ＧＢ］が設定される。ＧＢは、Ｇｉｇａ Ｂｙｔｅである。時刻のフィールドには、実行用装置リソース情報がいつの時刻に対応するのかを示す時刻が設定される。空きメモリ［ＧＢ］のフィールドには、上記時刻における、上記実行用装置２０１が有するＧＰＵに対応するメモリサイズ［ＧＢ］のうち、空きメモリサイズ［ＧＢ］が設定される。

（推論モデル実行プロファイル管理テーブル６００の記憶内容）
次に、図６を用いて、推論モデル実行プロファイル管理テーブル６００の記憶内容の一例について説明する。推論モデル実行プロファイル管理テーブル６００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

図６は、推論モデル実行プロファイル管理テーブル６００の記憶内容の一例を示す説明図である。図６に示すように、推論モデル実行プロファイル管理テーブル６００は、実行用装置ＩＤと、推論モデルＩＤと、実行準備時間［ｓ］と、推論処理時間［ｓ］とのフィールドを有する。また、推論モデル実行プロファイル管理テーブル６００は、実行準備時間増大率と、推論処理時間増大率と、最大専有メモリサイズ［ＧＢ］とのフィールドを有する。推論モデル実行プロファイル管理テーブル６００は、推論モデルごとに各フィールドに情報を設定することにより、推論モデル実行プロファイル情報がレコード６００－ｃとして記憶される。ｃは、任意の整数である。

実行用装置ＩＤのフィールドには、実行用装置２０１を識別する実行用装置ＩＤが設定される。推論モデルＩＤのフィールドには、推論プロセスの実行に用いられる推論モデルを識別する推論モデルＩＤが設定される。実行準備時間［ｓ］のフィールドには、上記実行用装置２０１において、初期化および上記推論モデルの読込にかかる所要時間である実行準備時間［ｓ］が設定される。ｓは、ｓｅｃｏｎｄである。推論処理時間［ｓ］のフィールドには、上記実行用装置２０１において、上記推論プロセスにより、１フレーム分の情報に対して所定の演算を行う際にかかる所要時間である推論処理時間［ｓ］が設定される。

実行準備時間増大率のフィールドには、上記実行用装置２０１において、２つの推論プロセスを並列して実行する際、それぞれの推論プロセスの実行準備時間がどの程度増大するのかを示す実行準備時間増大率が設定される。推論処理時間増大率のフィールドには、上記実行用装置２０１において、２つの推論プロセスを並列して実行する際、それぞれの推論プロセスの推論処理時間がどの程度増大するのかを示す推論処理時間増大率が設定される。最大専有メモリサイズ［ＧＢ］のフィールドには、上記推論プロセスが占有するメモリサイズの最大値である最大専有メモリサイズ［ＧＢ］が設定される。

（割り当て結果管理テーブル７００の記憶内容）
次に、図７を用いて、割り当て結果管理テーブル７００の記憶内容の一例について説明する。割り当て結果管理テーブル７００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

図７は、割り当て結果管理テーブル７００の記憶内容の一例を示す説明図である。図７に示すように、割り当て結果管理テーブル７００は、リクエストＩＤと、実行用装置ＩＤと、開始時刻と、割り当てデータ数とのフィールドを有する。割り当て結果管理テーブル７００は、推論実行リクエストごとに各フィールドに情報を設定することにより、割り当て結果がレコード７００－ｄとして記憶される。ｄは、任意の整数である。

リクエストＩＤのフィールドには、推論プロセスの実行を要求する推論実行リクエストを識別するリクエストＩＤが設定される。実行用装置ＩＤのフィールドには、上記推論プロセスが配置された実行用装置２０１を識別する実行用装置ＩＤが設定される。開始時刻のフィールドには、上記実行用装置２０１で、上記推論プロセスの実行を開始する開始時刻が設定される。割り当てデータ数のフィールドには、上記実行用装置２０１で、上記推論プロセスにより所定の演算を行うフレーム数であるデータ数が設定される。

（要求時刻超過情報管理テーブル８００の記憶内容）
次に、図８を用いて、要求時刻超過情報管理テーブル８００の記憶内容の一例について説明する。要求時刻超過情報管理テーブル８００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

図８は、要求時刻超過情報管理テーブル８００の記憶内容の一例を示す説明図である。図８に示すように、要求時刻超過情報管理テーブル８００は、リクエストＩＤと、実行用装置ＩＤと、割り当て開始時刻と、割り当てデータ数と、超過時間とのフィールドを有する。要求時刻超過情報管理テーブル８００は、要求時刻の超過ごとに各フィールドに情報を設定することにより、要求時刻超過情報がレコード８００－ｅとして記憶される。ｅは、任意の整数である。

リクエストＩＤのフィールドには、推論プロセスの実行を要求する推論実行リクエストを識別するリクエストＩＤが設定される。実行用装置ＩＤのフィールドには、実行用装置２０１を識別する実行用装置ＩＤが設定される。割り当て開始時刻のフィールドには、上記実行用装置２０１で、上記推論プロセスの実行を開始する開始時刻が設定される。割り当てデータ数のフィールドには、上記実行用装置２０１で、上記推論プロセスにより所定の演算を行うフレーム数であるデータ数が設定される。超過時間のフィールドには、上記実行用装置２０１で、上記推論プロセスにより、上記フレーム数の所定の演算を行った際、上記推論プロセスの実行が完了する時刻が、上記推論プロセスに対応する要求時刻をどの程度超過するのかを示す超過時間が設定される。

（実行用装置２０１のハードウェア構成例）
次に、図９を用いて、実行用装置２０１のハードウェア構成例について説明する。

図９は、実行用装置２０１のハードウェア構成例を示すブロック図である。図９において、実行用装置２０１は、ＣＰＵ９０１と、メモリ９０２と、ネットワークＩ／Ｆ９０３と、記録媒体Ｉ／Ｆ９０４と、記録媒体９０５と、ＧＰＵ９０６と、ディスプレイ９０７と、入力Ｉ／Ｆ９０８と、入力装置９０９とを有する。また、各構成部は、バス９００によってそれぞれ接続される。

ここで、ＣＰＵ９０１は、実行用装置２０１の全体の制御を司る。メモリ９０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ９０１のワークエリアとして使用される。メモリ９０２に記憶されるプログラムは、ＣＰＵ９０１にロードされることにより、コーディングされている処理をＣＰＵ９０１に実行させる。

ネットワークＩ／Ｆ９０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ９０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ９０３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ９０４は、ＣＰＵ９０１の制御に従って記録媒体９０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ９０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体９０５は、記録媒体Ｉ／Ｆ９０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体９０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体９０５は、実行用装置２０１から着脱可能であってもよい。

ＧＰＵ９０６は、画像処理を行う処理装置である。ディスプレイ９０７は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ９０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力Ｉ／Ｆ９０８は、入力装置９０９と接続され、入力装置９０９と内部のインターフェースを司り、データの入力を制御する。入力装置９０９は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置９０９は、例えば、キーボード、マウス、タッチパネル式の入力パッド、または、テンキーなどである。

実行用装置２０１は、上述した構成部の他、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、実行用装置２０１は、記録媒体Ｉ／Ｆ９０４や記録媒体９０５を複数有していてもよい。また、実行用装置２０１は、記録媒体Ｉ／Ｆ９０４や記録媒体９０５を有していなくてもよい。

（情報収集装置２０２のハードウェア構成例）
次に、図１０を用いて、情報収集装置２０２のハードウェア構成例について説明する。

図１０は、情報収集装置２０２のハードウェア構成例を示すブロック図である。図１０において、情報収集装置２０２は、ＣＰＵ１００１と、メモリ１００２と、ネットワークＩ／Ｆ１００３と、記録媒体Ｉ／Ｆ１００４と、記録媒体１００５と、撮像装置１００６とを有する。また、各構成部は、バス１０００によってそれぞれ接続される。

ここで、ＣＰＵ１００１は、情報収集装置２０２の全体の制御を司る。メモリ１００２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ１００１のワークエリアとして使用される。メモリ１００２に記憶されるプログラムは、ＣＰＵ１００１にロードされることにより、コーディングされている処理をＣＰＵ１００１に実行させる。

ネットワークＩ／Ｆ１００３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ１００３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ１００３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ１００４は、ＣＰＵ１００１の制御に従って記録媒体１００５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ１００４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体１００５は、記録媒体Ｉ／Ｆ１００４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体１００５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体１００５は、情報収集装置２０２から着脱可能であってもよい。撮像装置１００６は、複数のフレームで形成される動画像を撮像する装置である。撮像装置１００６は、例えば、カメラである。

情報収集装置２０２は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報収集装置２０２は、記録媒体Ｉ／Ｆ１００４や記録媒体１００５を複数有していてもよい。また、情報収集装置２０２は、記録媒体Ｉ／Ｆ１００４や記録媒体１００５を有していなくてもよい。

（クライアント装置２０３のハードウェア構成例）
クライアント装置２０３のハードウェア構成例は、具体的には、図９に示した実行用装置２０１のハードウェア構成例と同様であるため、説明を省略する。クライアント装置２０３は、ＧＰＵを有さなくてもよい。

（情報処理システム２００の機能的構成例）
次に、図１１を用いて、情報処理システム２００の機能的構成例について説明する。

図１１は、情報処理システム２００の機能的構成例を示すブロック図である。情報処理システム２００において、情報処理装置１００は、第１記憶部１１００と、第１取得部１１０１と、探索部１１０２と、決定部１１０３と、配置部１１０４と、第１出力部１１０５とを含む。

第１記憶部１１００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、第１記憶部１１００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、第１記憶部１１００が、情報処理装置１００とは異なる装置に含まれ、第１記憶部１１００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。

第１取得部１１０１～第１出力部１１０５は、制御部の一例として機能する。第１取得部１１０１～第１出力部１１０５は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

第１記憶部１１００は、各機能部の処理において参照され、または更新される各種情報を記憶する。第１記憶部１１００は、処理を実行することの要求を記憶する。処理は、例えば、推論プロセスである。処理は、例えば、モデルを用いて実行される。要求は、例えば、推論実行リクエストである。第１記憶部１１００は、例えば、推論実行リクエストを、図４に示した推論実行リクエスト管理テーブル４００を用いて記憶する。

第１記憶部１１００は、演算装置において、処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を記憶する。演算装置は、例えば、実行用装置２０１である。演算装置は、例えば、実行用装置２０１のコアであってもよい。実行準備は、例えば、初期化および処理の実行に用いられるモデルの読込である。第１記憶部１１００は、例えば、プロファイル情報を、図６に示した推論モデル実行プロファイル管理テーブル６００を用いて記憶する。

第１記憶部１１００は、１以上の演算装置に対して複数の処理を配置した結果を記憶する。配置は、割り当てである。配置は、例えば、処理をいずれの演算装置で実行するのかを決定することを含む。配置は、例えば、処理をいずれの演算装置でいつ実行開始するのかを決定することを含む。配置は、例えば、処理をいずれの演算装置のいずれの実行プロセス枠で実行するのかを決定することを含む。実行プロセス枠の実体は、例えば、何らかの処理プロセスである。当該処理プロセスは、配置された所定の処理を実現し得る。当該処理プロセスは、例えば、所定の処理に用いられるモデルと、所定の処理で演算する情報とが指定されることにより、所定の処理を実現する。第１記憶部１１００は、例えば、１以上の演算装置に対して複数の処理を配置する適切な配置パターンを、図７に示した割り当て結果管理テーブル７００を用いて記憶する。

第１記憶部１１００は、木構造を記憶する。木構造は、例えば、複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される。木構造は、例えば、処理を配置した位置を表す情報をノードとして階層化され、階層が深いほど、多くの処理が配置済みとなるよう形成される。木構造は、例えば、探索部１１０２によって生成される。

第１取得部１１０１は、各機能部の処理に用いられる各種情報を取得する。第１取得部１１０１は、取得した各種情報を、第１記憶部１１００に記憶し、または、各機能部に出力する。また、第１取得部１１０１は、第１記憶部１１００に記憶しておいた各種情報を、各機能部に出力してもよい。第１取得部１１０１は、例えば、情報処理装置１００の利用者の操作入力に基づき、各種情報を取得する。第１取得部１１０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。

第１取得部１１０１は、異なるモデルを用いて実行される複数の処理のそれぞれの処理を実行することの要求を取得する。第１取得部１１０１は、推論プロセスの実行を要求する推論実行リクエストを、クライアント装置２０３から受信することにより取得する。これにより、第１取得部１１０１は、１以上の演算装置に対して配置する複数の処理を特定可能にすることができる。

第１取得部１１０１は、異なるモデルを用いて実行される複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得する。第１取得部１１０１は、プロファイル情報を、実行用装置２０１から受信することにより取得する。これにより、第１取得部１１０１は、処理の実行が、当該処理に設定された期限までに完了可能であるか否かを評価可能にすることができる。また、第１取得部１１０１は、演算装置を利用する効率を評価する指針となる情報を得ることができる。

第１取得部１１０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、情報処理装置１００の利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。

探索部１１０２は、取得したプロファイル情報を参照して、木構造において、それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、根から葉までのノードを探索する。探索部１１０２は、木構造を生成しながら、根から葉までのノードを探索する。探索部１１０２は、木構造を生成した後、根から葉までのノードを探索してもよい。

探索部１１０２は、例えば、取得したプロファイル情報を参照して、木構造において、複数の処理のうち、１以上の演算装置に配置したそれぞれの処理の実行が、当該処理について設定された期限内に完了可能になるノードを、根から辿り、到達可能な葉を特定する。そして、探索部１１０２は、例えば、特定した到達可能なそれぞれの葉において、それぞれの処理の実行準備および実行にかかる所要時間の累計に基づいて、複数の処理についての実行効率を算出する。

探索部１１０２は、具体的には、根を生成し、対象ノードに設定する。その後、探索部１１０２は、具体的には、対象ノードに設定されたあるノードの下位に、複数の処理のいずれか一つの処理を配置した位置を表す新たなノードを接続し、新たなノードを、対象ノードに設定する、という動作を繰り返すことにより、木構造を生成する。

探索部１１０２は、より具体的には、当該あるノードの下位に、まだ配置していない処理のうち、比較的短い期限が設定されたいずれか一つの処理を配置した位置を表す新たなノードを接続し、対象ノードに設定する、という動作を繰り返す。これにより、探索部１１０２は、期限が比較的短い処理を優先して実行可能にすることができ、処理の実行が完了する時刻が期限を超過し難くなるよう、木構造を生成しながら、根から葉までのノードを探索することができる。

探索部１１０２は、より具体的には、動作を繰り返す際、対象ノードに設定されたあるノードが表す位置に配置したある処理の実行が、当該ある処理について設定された期限内に完了可能であるか否かを判定する。また、探索部１１０２は、より具体的には、対象ノードに設定されたあるノードが、葉であるか否かを判定する。

ここで、探索部１１０２は、より具体的には、完了可能でなければ、当該あるノードの親の下位に、当該あるノードが表す位置に配置していたある処理を新たに配置した、当該あるノードが表す位置とは異なる位置を表す新たなノードを接続する。そして、探索部１１０２は、より具体的には、対象ノードに設定されていた当該あるノードを削除し、接続した新たなノードを、対象ノードに設定する。

探索部１１０２は、さらに具体的には、完了可能でなければ、当該あるノードの親の下位に、当該ある処理の実行が、当該ある処理について設定された期限内に完了可能になるよう、当該ある処理を新たに分散配置した位置を表す新たなノードを接続する。そして、探索部１１０２は、さらに具体的には、対象ノードに設定されていた当該あるノードを削除し、接続した新たなノードを、対象ノードに設定する。これにより、探索部１１０２は、配置する処理の実行が完了する時刻が、当該処理について設定された期限を超過しないよう、木構造を生成しながら、根から葉までのノードを探索することができる。

一方で、探索部１１０２は、より具体的には、完了可能であり、対象ノードに設定されたあるノードが葉でなければ、あるノードの下位に、あるノードが表す位置に配置している処理とは異なる処理を配置した位置を示す新たなノードを接続する。そして、探索部１１０２は、より具体的には、接続した新たなノードを、対象ノードに設定する。これにより、探索部１１０２は、処理を順に配置することができ、木構造を生成することができる。

また、探索部１１０２は、より具体的には、完了可能であり、対象ノードに設定されたあるノードが葉であれば、あるノードにおいて、複数の処理についての実行効率を算出する。実行効率は、例えば、配置した処理の量の合計の、配置した処理の占有時間の合計に対する割合から算出される。処理の量は、例えば、処理で扱うデータの量である。占有時間は、処理の実行準備および実行で、演算装置を利用する時間である。これにより、探索部１１０２は、複数の処理の配置パターンを決定する指針となる情報を得ることができる。

決定部１１０３は、探索した結果に基づいて、複数の処理についての実行効率を最大化可能な、１以上の演算装置に対する複数の処理の配置パターンを決定する。決定部１１０３は、例えば、到達可能な葉のうち、算出した実行効率が最大となる葉に基づいて、複数の処理の配置パターンを決定する。決定部１１０３は、具体的には、根から、算出した実行効率が最大となる葉までの経路が示す配置パターンを、複数の処理の配置パターンに決定する。これにより、決定部１１０３は、適切な配置パターンを決定することができる。

配置部１１０４は、決定した配置パターンに従って、１以上の演算装置に対して複数の処理を配置する。配置部１１０４は、例えば、決定した配置パターンに従って、１以上の演算装置のそれぞれの演算装置に、当該演算装置に配置する処理を実行することの要求を送信する。要求は、例えば、配置する処理を特定可能にする情報を含む。要求は、例えば、配置する処理の実行に用いられるモデルを特定可能にする情報を含む。これにより、配置部１１０４は、１以上の演算装置を効率よく利用して、複数の処理を実行させることができる。

第１出力部１１０５は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、第１出力部１１０５は、少なくともいずれかの機能部の処理結果を、情報処理装置１００の利用者に通知可能にし、情報処理装置１００の利便性の向上を図ることができる。第１出力部１１０５は、例えば、決定した配置パターンを出力する。

また、情報処理システム２００において、実行用装置２０１は、第２記憶部１１１０と、第２取得部１１１１と、実行部１１１２と、監視部１１１３と、第２出力部１１１４とを含む。

第２記憶部１１１０は、例えば、図９に示したメモリ９０２や記録媒体９０５などの記憶領域によって実現される。以下では、第２記憶部１１１０が、実行用装置２０１に含まれる場合について説明するが、これに限らない。例えば、第２記憶部１１１０が、情報処理装置１００とは異なる装置に含まれ、第２記憶部１１１０の記憶内容が実行用装置２０１から参照可能である場合があってもよい。

第２取得部１１１１～第２出力部１１１４は、制御部の一例として機能する。第２取得部１１１１～第２出力部１１１４は、具体的には、例えば、図９に示したメモリ９０２や記録媒体９０５などの記憶領域に記憶されたプログラムをＣＰＵ９０１に実行させることにより、または、ネットワークＩ／Ｆ９０３により、その機能を実現する。各機能部の処理結果は、例えば、図９に示したメモリ９０２や記録媒体９０５などの記憶領域に記憶される。

第２記憶部１１１０は、各機能部の処理において参照され、または更新される各種情報を記憶する。第２記憶部１１１０は、処理の実行に用いられるモデルを記憶する。第２記憶部１１１０は、自装置に配置された処理の実行準備にかかる所要時間と、自装置に配置された処理の実行にかかる所要時間とを特定可能にするプロファイル情報を記憶する。第２記憶部１１１０は、処理の対象となる情報を記憶する。第２記憶部１１１０は、例えば、推論プロセスの対象となる動画像のそれぞれのフレームを記憶する。

第２取得部１１１１は、各機能部の処理に用いられる各種情報を取得する。第２取得部１１１１は、取得した各種情報を、第２記憶部１１１０に記憶し、または、各機能部に出力する。また、第２取得部１１１１は、第２記憶部１１１０に記憶しておいた各種情報を、各機能部に出力してもよい。第２取得部１１１１は、例えば、実行用装置２０１の利用者の操作入力に基づき、各種情報を取得する。第２取得部１１１１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。

第２取得部１１１１は、自装置に配置される処理を特定可能に示した、自装置に配置される処理を実行することの要求を取得する。第２取得部１１１１は、自装置に配置される処理を実行することの要求を、情報処理装置１００から受信することにより取得する。第２取得部１１１１は、実行用装置２０１の利用者の操作入力に基づき、自装置に配置される処理を実行することの要求の入力を受け付けることにより、当該要求を取得してもよい。第２取得部１１１１は、自装置に配置される処理を実行することの要求を、クライアント装置２０３から受信することにより取得してもよい。

第２取得部１１１１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、実行用装置２０１の利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。第２取得部１１１１は、例えば、要求を取得したことを、実行部１１１２または監視部１１１３の処理を開始する開始トリガーとして受け付ける。

実行部１１１２は、自装置に配置された処理を実行する。実行部１１１２は、例えば、配置された処理に対応するモデルを利用して、当該処理の対象となる情報に基づいて、当該処理を実行する。実行部１１１２は、具体的には、配置された推論プロセスに対応するモデルと、推論プロセスの対象となる動画像のそれぞれのフレームとを取得する。そして、実行部１１１２は、具体的には、取得したモデルにより、取得した動画像のそれぞれのフレームに対して所定の演算を行うことにより、推論プロセスを実行する。これにより、実行部１１１２は、自装置に配置された処理を実行することができる。

監視部１１１３は、自装置に配置された処理の実行状況を監視し、自装置における、処理の実行準備にかかる所要時間と、処理の実行にかかる所要時間とを特定可能にするプロファイル情報を生成する。これにより、監視部１１１３は、プロファイル情報を、実行用装置２０１の利用者が作成せずとも、情報処理装置１００に提供可能にすることができる。

第２出力部１１１４は、各機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ９０３による外部装置への送信、または、メモリ９０２や記録媒体９０５などの記憶領域への記憶である。これにより、第２出力部１１１４は、各機能部の処理結果を実行用装置２０１の利用者に通知可能にすることができる。

第２出力部１１１４は、例えば、自装置に配置された処理を実行した結果を出力する。第２出力部１１１４は、具体的には、推論プロセスを実行した結果を、クライアント装置２０３に送信する。これにより、第２出力部１１１４は、自装置に配置された処理を実行した結果を、管理者が参照可能にすることができる。

第２出力部１１１４は、例えば、自装置における、処理の実行準備にかかる所要時間と、処理の実行にかかる所要時間とを特定可能にするプロファイル情報を、情報処理装置１００に送信する。これにより、第２出力部１１１４は、プロファイル情報を、情報処理装置１００が利用可能にすることができる。

（情報処理システム２００の具体的な機能的構成例）
次に、図１２を用いて、情報処理システム２００の具体的な機能的構成例について説明する。

図１２は、情報処理システム２００の具体的な機能的構成例を示すブロック図である。情報処理システム２００において、情報処理装置１００は、実行プロファイル収集部１２０１と、プロセス実行管理部１２０２と、プロセス配置部１２０３とを有する。プロセス実行管理部１２０２は、優先度決定部１２０４と、配置決定部１２０５とを有する。情報処理装置１００は、推論実行リクエスト管理テーブル４００と、実行用装置リソース情報管理テーブル５００と、推論モデル実行プロファイル管理テーブル６００とを記憶する。

また、実行用装置２０１は、フレームワーク１２１１と、プロセス監視部１２１２とを有する。実行用装置２０１は、推論プロセス１２１３を実行可能である。実行用装置２０１は、２以上の推論プロセス１２１３を並列して実行可能であってもよい。また、情報収集装置２０２は、データソース１２２１と、推論モデルＤＢ（ＤａｔａＢａｓｅ）１２２２とを記憶する。データソース１２２１は、推論プロセスが演算するフレームを記憶する。推論モデルＤＢ１２２２は、推論モデルを記憶する。

実行プロファイル収集部１２０１は、推論プロセスを実行する際の、初期化および推論モデルの読込にかかる所要時間と、実行にかかる所要時間とを特定可能にする推論モデル実行プロファイルを、プロセス監視部１２１２から取得する。実行プロファイル収集部１２０１は、取得した推論モデル実行プロファイルを、推論モデル実行プロファイル管理テーブル６００を用いて記憶する。

プロセス実行管理部１２０２は、推論実行リクエストを、クライアント装置２０３から受信し、推論実行リクエスト管理テーブル４００を用いて記憶する。プロセス実行管理部１２０２は、推論実行リクエストが示す推論プロセスのうち、まだ配置していない推論プロセスを処理対象として特定する。プロセス実行管理部１２０２は、優先度決定部１２０４により、推論実行リクエスト管理テーブル４００を参照して、一定時間ごとに、処理対象に特定したそれぞれの推論プロセスを配置する優先度を決定する。優先度決定部１２０４は、例えば、要求時刻までの残り時間が少ない順に、推論プロセスの優先度が高くなるよう、処理対象に特定したそれぞれの推論プロセスを配置する優先度を決定する。

プロセス実行管理部１２０２は、配置決定部１２０５により、処理対象に特定した推論プロセスを、１以上の実行用装置２０１に配置する。配置は、例えば、推論プロセスをいずれの実行用装置２０１で実行するのかを決定することを含む。配置は、例えば、推論プロセスをいずれの実行用装置２０１でいつ実行開始するのかを決定することを含む。配置は、例えば、実行用装置２０１が２以上の推論プロセスを並列して実行可能であれば、推論プロセスをいずれの実行用装置２０１のいずれの実行プロセス枠で実行するのかを決定することを含む。

配置決定部１２０５は、例えば、実行用装置リソース情報管理テーブル５００と、推論モデル実行プロファイル管理テーブル６００とを参照して、処理対象に特定した推論プロセスを、優先度が高い順に、１以上の実行用装置２０１に配置していく。配置決定部１２０５は、具体的には、木構造を生成しながら、それぞれの推論プロセスの実行が要求期限までに完了するよう、根から葉までのノードを探索し、実行効率が最も大きくなる葉に基づいて、適切な配置パターンを決定する。

配置決定部１２０５は、例えば、それぞれの推論プロセスの実行が要求期限までに完了可能な、適切な配置パターンが存在しない場合、いずれかの推論プロセスを処理対象から除外し、再び、適切な配置パターンの決定を試行してもよい。配置決定部１２０５は、具体的には、要求期限までの残り時間が最も長く、優先度が最も低い推論プロセスを、処理対象から除外する。配置決定部１２０５は、例えば、それぞれの推論プロセスの実行が要求期限までに完了可能な、適切な配置パターンが存在しない場合、クライアント装置を介して、管理者に、配置失敗を通知してもよい。

プロセス配置部１２０３は、決定した配置パターンに従って、推論プロセスを実行用装置２０１に配置して実行させる。プロセス配置部１２０３は、例えば、決定した配置パターンに従って、推論プロセスを実行することの要求を、実行用装置２０１に送信する。要求は、推論プロセスで用いられる推論モデルを特定可能にする情報を含む。要求は、推論プロセスで演算するフレームを特定可能にする情報を含む。

フレームワーク１２１１は、自装置に配置された推論プロセスを実行する。フレームワーク１２１１は、例えば、推論プロセスを実行することの要求を、情報処理装置１００から受信する。フレームワーク１２１１は、例えば、受信した要求に基づいて、情報収集装置２０２と通信し、推論モデルＤＢ１２２２から、推論プロセスに用いられる推論モデルを取得する。フレームワーク１２１１は、例えば、受信した要求に基づいて、情報収集装置２０２と通信し、データソース１２２１から、推論プロセスで演算するフレームを取得する。フレームワーク１２１１は、例えば、受信した要求に基づいて、取得した推論モデルを用いて、取得したフレームについて演算する推論プロセスを実行する。

プロセス監視部１２１２は、フレームワーク１２１１を監視し、推論プロセス１２１３を実行する際の、初期化および推論モデルの読込にかかる所要時間と、実行にかかる所要時間とを特定可能にする推論モデル実行プロファイルを生成する。プロセス監視部１２１２は、生成した推論モデル実行プロファイルを、情報処理装置１００に送信する。

（情報処理システム２００の動作例）
次に、図１３～図１９を用いて、情報処理システム２００の動作例について説明する。

図１３～図１９は、情報処理システム２００の動作例を示す説明図である。図１３～図１９の例では、ｒｅｑｕｅｓｔＡの推論プロセスａと、ｒｅｑｕｅｓｔＢの推論プロセスｂと、ｒｅｑｕｅｓｔＣの推論プロセスｃとが存在するとする。

推論プロセスａの要求時刻は、０：１２である。推論プロセスａの全フレーム数は、８である。全フレーム数は、推論プロセスが演算するフレームがいくつあるかを示す。推論プロセスｂの要求時刻は、０：１８である。推論プロセスｂの全フレーム数は、１である。推論プロセスｃの要求時刻は、０：２３である。推論プロセスｃの全フレーム数は、１２である。それぞれの推論プロセスの要求時刻と全フレーム数とは、推論実行リクエスト管理テーブル４００を用いて記憶されている。

また、図１３～図１９の例では、実行用装置２０１が１つ存在するとする。実行用装置２０１は、２つの推論プロセスを並列して実行可能である。説明の都合上、実行用装置２０１は、実行プロセス枠＃１，＃２を用意しており、実行プロセス枠＃１，＃２のそれぞれで、１つの推論プロセスを実行可能であるとする。実行プロセス枠の実体は、例えば、何らかの処理プロセスである。当該処理プロセスは、読み込む推論モデルと、演算するフレームとが指定されることにより、推論プロセスとして動作する。

図１３において、情報処理装置１００は、推論プロセスａと、推論プロセスｂと、推論プロセスｃとのそれぞれの推論プロセスを、要求時刻までの残り時間が短い順にソートし、それぞれの推論プロセスの割り当ての優先度を決定する。情報処理装置１００は、残り時間が短い方の推論プロセスの割り当ての優先度が高くなるよう、それぞれの推論プロセスの割り当ての優先度を決定する。

情報処理装置１００は、木構造１３００の根０を生成する。情報処理装置１００は、優先度が最も高い推論プロセスａを割り当て対象に設定する。情報処理装置１００は、処理対象に設定した推論プロセスａを、実行用装置２０１の実行プロセス枠＃１に割り当てた結果を示すノード１を生成し、根０の下位に接続する。情報処理装置１００は、ノード１において、割り当てた全推論プロセスの実行が完了するまでの所要時間０．１３［ｓ］を算出する。

情報処理装置１００は、符号１３１０に示すように、算出した所要時間０．１３［ｓ］が、推論プロセスａについて設定された要求時刻０：１２［ｓ］を超過するため、ノード１を削除する。情報処理装置１００は、超過時間として、１フレーム分の演算にかかる所要時間０．１［ｓ］を特定し、要求時刻超過情報管理テーブル８００を用いて記憶する。ここで、木構造１３００は、図１３に示す状態になる。

これにより、情報処理装置１００は、ノード１を削除し、ノード１の下位の探索を打ち切ることができ、処理量の低減化を図ることができる。また、情報処理装置１００は、要求時刻までに、どの程度のフレーム分の演算が間に合わなかったのかを把握可能にし、推論プロセスａを割り当て直す際の指針を得ることができる。次に、図１４の説明に移行する。

図１４において、情報処理装置１００は、ノード１を削除したため、処理対象に設定した推論プロセスａを並列して実行するよう、推論プロセスａを割り当て直す。情報処理装置１００は、例えば、７フレーム分の演算を行う推論プロセスａを、実行用装置２０１の実行プロセス枠＃１に割り当て、１フレーム分の演算を行う推論プロセスａを、実行用装置２０１の実行プロセス枠＃２に割り当てた結果を示すノード２を生成する。情報処理装置１００は、生成したノード２を、根０の下位に接続する。情報処理装置１００は、ノード２において、割り当てた全推論プロセスの実行が完了するまでの所要時間０．１２［ｓ］を算出する。

情報処理装置１００は、符号１４１０に示すように、算出した所要時間０．１２［ｓ］が、推論プロセスａについて設定された要求時刻０：１２［ｓ］を超過しないため、ノード２を確定する。ここで、木構造１３００は、図１４に示す状態になる。これにより、情報処理装置１００は、要求時刻までに、推論プロセスａの実行が完了するよう、推論プロセスａを割り当てることができる。次に、図１５の説明に移行する。

図１５において、情報処理装置１００は、次に優先度が高い推論プロセスｂを割り当て対象に設定する。情報処理装置１００は、処理対象に設定した推論プロセスｂを、空きリソースが比較的大きい実行用装置２０１の実行プロセス枠＃２に割り当てた結果を示すノード３を生成し、ノード２の下位に接続する。情報処理装置１００は、ノード３において、割り当てた全推論プロセスの実行が完了するまでの所要時間０．１２［ｓ］を算出する。

情報処理装置１００は、符号１５１０に示すように、算出した所要時間０．１２［ｓ］が、推論プロセスｂについて設定された要求時刻０：１８［ｓ］を超過しないため、ノード３を確定する。ここで、木構造１３００は、図１５に示す状態になる。これにより、情報処理装置１００は、要求時刻を超過し難くなるよう、優先度が高い推論プロセスから順に割り当てていくことができる。次に、図１６の説明に移行する。

図１６において、情報処理装置１００は、次に優先度が高い推論プロセスｃを割り当て対象に設定する。情報処理装置１００は、処理対象に設定した推論プロセスｃを、実行用装置２０１の実行プロセス枠＃２に割り当てた結果を示す葉４を生成し、ノード３の下位に接続する。情報処理装置１００は、葉４において、割り当てた全推論プロセスの実行が完了するまでの所要時間０．２９［ｓ］を算出する。

情報処理装置１００は、符号１６１０に示すように、算出した所要時間０．２９［ｓ］が、推論プロセスｃについて設定された要求時刻０：２３［ｓ］を超過するため、葉４を削除する。情報処理装置１００は、超過時間として、６フレーム分の演算にかかる所要時間０．６［ｓ］を特定し、要求時刻超過情報管理テーブル８００を用いて記憶する。ここで、木構造１３００は、図１６に示す状態になる。

これにより、情報処理装置１００は、葉４を削除し、根０から葉４までの経路で特定される、推論プロセスの実行が要求時刻までに完了しない割り当てパターンを、暫定解として採用せずに済ませることができる。暫定解は、現時点で適切と判断される割り当てパターンである。次に、図１７の説明に移行する。

図１７において、情報処理装置１００は、葉４を削除したため、処理対象に設定した推論プロセスｃを並列して実行するよう、推論プロセスｃを割り当て直す。情報処理装置１００は、例えば、６フレーム分の演算を行う推論プロセスｃを、実行用装置２０１の実行プロセス枠＃１に割り当て、６フレーム分の演算を行う推論プロセスｃを、実行用装置２０１の実行プロセス枠＃２に割り当てた結果を示す葉５を生成する。情報処理装置１００は、生成した葉５を、ノード３の下位に接続する。情報処理装置１００は、葉５において、割り当てた全推論プロセスの実行が完了するまでの所要時間０．２３［ｓ］を算出する。

情報処理装置１００は、符号１７１０に示すように、算出した所要時間０．２３［ｓ］が、推論プロセスｃについて設定された要求時刻０：２３［ｓ］を超過しないため、葉５を確定する。情報処理装置１００は、下記式（１）に従って、根０から葉５までの経路で特定される割り当てパターンについて、実行効率Ｐ_throughput［ｆｐｓ］を算出する。実行効率は、実行用装置２０１における、推論プロセスの実行用装置２０１の占有時間の合計に対する、推論プロセスで演算するフレーム数の合計の割合である。

Ｐ_throughput＝Σ_iＸ_i／Σ_jkＦ（ｘ_ijk） ・・・（１）

ｉは、推論プロセスの番号である。ｊは、実行プロセス枠の番号である。ｋは、実行用装置２０１の番号である。Ｘ_iは、ｉ番目の推論プロセスで演算する全フレーム数である。ｘ_ijkは、ｋ番目の実行用装置２０１で、ｊ番目の実行プロセス枠に割り当てられたｉ番目の推論プロセスで演算するフレーム数である。Ｆ（ｘ_ijk）は、ｊ番目の実行プロセス枠に割り当てられたｉ番目の推論プロセスによるｋ番目の実行用装置２０１の占有時間である。Ｆ（ｘ_ijk）は、具体的には、下記式（２）によって定義される。

Ｆ（ｘ_ijk）＝α_pre・ｄ_ik・Ｔ_pre＋α_inf・ｘ_ijk・Ｔ_inf ・・・（２）

α_preは、実行準備時間増大率である。α_preは、例えば、実行用装置２０１において、２つの推論プロセスを並列して実行する際、それぞれの推論プロセスの実行準備時間がどの程度増大するのかを示す実行準備時間増大率である。α_infは、推論処理時間増大率である。α_infは、例えば、実行用装置２０１において、２つの推論プロセスを並列して実行する際、それぞれの推論プロセスの推論処理時間がどの程度増大するのかを示す推論処理時間増大率が設定される。Ｔ_preは、実行準備時間である。Ｔ_infは、推論処理時間である。

ｄ_ikは、ｉ番目の推論プロセスで用いられる推論モデルが、割り当ての際に、ｋ番目の実行用装置２０１で既に読み込まれているか否かを示すフラグ情報である。フラグ情報は、１であれば、既に読み込まれていることを示す。フラグ情報は、０であれば、まだ読み込まれていないことを示す。ｄ_ik＝０であれば、既に読み込まれた推論モデルを用いる推論プロセスは、初期化および推論モデルの読込を省略可能となる。換言すれば、ｄ_ik＝０であると、既に読み込まれた推論モデルを用いる推論プロセスについての実行準備時間は、０となる。

ここでは、情報処理装置１００は、実行効率０．４６［ｆｐｓ］を算出する。情報処理装置１００は、根０から葉５までの経路で特定される割り当てパターンを、暫定解に設定する。ここで、木構造１３００は、図１７に示す状態になる。これにより、情報処理装置１００は、暫定解がどの程度適切な割り当てパターンであるのかを評価する指針となる実行効率を得ることができる。次に、図１８の説明に移行する。

図１８において、情報処理装置１００は、葉５から上位に辿ったノードにおいて、当該ノードより下位で割り当て対象となる推論プロセスについて、要求時刻の超過が発生した実績があるか否かを判定する。ここで、情報処理装置１００は、葉５から上位に辿ったノード３において、ノード３より下位で割り当て対象となる推論プロセスｃについて、要求時刻の超過が発生した実績があると判定する。

情報処理装置１００は、ノード３における推論プロセスｂの並列度を変えずに、ノード３において割り当てた位置とは異なる位置に、推論プロセスｂを割り当てた結果を示すノード６を生成する。情報処理装置１００は、例えば、推論プロセスｂの並列度を変えずに、ノード３において割り当てた実行プロセス枠＃２の次に空きリソースが多い実行プロセス枠＃１に、推論プロセスｂを割り当てた結果を示すノード６を生成する。情報処理装置１００は、生成したノード６を、ノード３と同じ階層になるよう、ノード２の下位に接続する。情報処理装置１００は、ノード６において、割り当てた全推論プロセスの実行が完了するまでの所要時間０．１８［ｓ］を算出する。

情報処理装置１００は、符号１８１０に示すように、算出した所要時間０．１８［ｓ］が、推論プロセスｂについて設定された要求時刻０：１８［ｓ］を超過しないため、ノード６を確定する。ここで、木構造１３００は、図１８に示す状態になる。これにより、情報処理装置１００は、要求時刻を超過させずに、暫定解とは異なる割り当てパターンがあるか否かを探索することができる。次に、図１９の説明に移行する。

図１９において、情報処理装置１００は、次に優先度が高い推論プロセスｃを割り当て対象に設定する。情報処理装置１００は、処理対象に設定した推論プロセスｃを、実行用装置２０１の実行プロセス枠＃２に割り当てた結果を示す葉７を生成し、ノード６の下位に接続する。情報処理装置１００は、葉７において、割り当てた全推論プロセスの実行が完了するまでの所要時間０．２３［ｓ］を算出する。

情報処理装置１００は、符号１９１０に示すように、算出した所要時間０．２３［ｓ］が、推論プロセスｃについて設定された要求時刻０：２３［ｓ］を超過しないため、葉７を確定する。情報処理装置１００は、上記式（１）に従って、根０から葉７までの経路で特定される割り当てパターンについて、実行効率Ｐ_throughput［ｆｐｓ］を算出する。

ここでは、情報処理装置１００は、実行効率０．５１［ｆｐｓ］を算出する。情報処理装置１００は、根０から葉７までの経路で特定される割り当てパターンが、暫定解よりも実行効率が高いか否かを判定する。ここでは、情報処理装置１００は、根０から葉７までの経路で特定される割り当てパターンが、暫定解よりも実行効率が高いため、根０から葉７までの経路で特定される割り当てパターンを、新たに暫定解に設定する。ここで、木構造１３００は、図１９に示す状態になる。

ここで、情報処理装置１００は、それぞれの推論プロセスの並列数が最小となり、それぞれの推論プロセスについて設定された要求時刻を超過しないため、暫定解を適切な割り当てパターンに決定し、探索を打ち切る。例えば、暫定解より並列数が多い別の解は、暫定解より実行用装置２０１を効率よく利用していない解であるため、探索しなくてもよい。これにより、情報処理装置１００は、適切な割り当てパターンを得ることができ、実行用装置２０１を効率よく利用可能にすることができる。

情報処理装置１００は、例えば、同一の推論モデルを読み込む実行用装置の数の増加を抑制しつつ、適切な割り当てパターンを得ることができる。このため、情報処理装置１００は、それぞれの実行用装置で、初期化および推論モデルの読込を実施する回数の低減化を図ることができ、実行用装置２０１を効率よく利用可能にすることができる。

（全体処理手順）
次に、図２０を用いて、情報処理装置１００が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

図２０は、全体処理手順の一例を示すフローチャートである。図２０において、情報処理装置１００は、推論実行リクエスト管理テーブル４００を参照して、未割り当ての推論実行リクエストを取得し、要求時刻までの残り時間が短い順にソートし、割り当て対象の推論実行リクエストに設定する（ステップＳ２００１）。

次に、情報処理装置１００は、図２１および図２２を用いて後述する割り当てパターン決定処理を実行し、複数の実行用装置２０１に対する割り当て結果を、割り当て結果管理テーブル７００に記録する（ステップＳ２００２）。そして、情報処理装置１００は、割り当て結果が、所定の条件を満たすか否かを判定する（ステップＳ２００３）。所定の条件は、割り当て結果で、それぞれの推論実行リクエストが指定する推論プロセスの実行が完了し、当該推論実行リクエストが指定するすべてのフレームを処理し終える時刻が、当該推論実行リクエストが指定する要求時刻以前であることである。

ここで、所定の条件を満たす場合（ステップＳ２００３：Ｙｅｓ）、情報処理装置１００は、ステップＳ２００４の処理に移行する。一方で、所定の条件を満たさない場合（ステップＳ２００３：Ｎｏ）、情報処理装置１００は、ステップＳ２００５の処理に移行する。

ステップＳ２００４では、情報処理装置１００は、割り当て結果に従って、複数の実行用装置２０１に対して複数の推論プロセスを割り当て、複数の実行用装置２０１において複数の推論プロセスを実行させる（ステップＳ２００４）。そして、情報処理装置１００は、全体処理を終了する。

ステップＳ２００５では、情報処理装置１００は、要求時刻超過情報管理テーブル８００を参照して、最も要求時刻までの残り時間が長い推論実行リクエストを、割り当て対象から除外する（ステップＳ２００５）。次に、情報処理装置１００は、割り当て対象の推論実行リクエストが残っているか否かを判定する（ステップＳ２００６）。

ここで、割り当て対象の推論実行リクエストが残っている場合（ステップＳ２００６：Ｙｅｓ）、情報処理装置１００は、ステップＳ２００２の処理に戻る。一方で、割り当て対象の推論実行リクエストが残っていない場合（ステップＳ２００６：Ｎｏ）、情報処理装置１００は、全体処理を終了する。これにより、情報処理装置１００は、複数の実行用装置２０１を効率よく利用し、かつ、それぞれの推論プロセスの実行が完了する時刻が、要求時刻以前に収まるよう、複数の実行用装置２０１に対して複数の推論プロセスを割り当てることができる。

また、情報処理装置１００は、いずれかの推論プロセスの実行が完了する時刻が、要求時刻以前に収まらなければ、割り当て対象とする推論実行リクエストの数を減らすことができる。そして、情報処理装置１００は、比較的多くの推論プロセスの実行が完了する時刻が、要求時刻以前に収まるよう、複数の実行用装置２０１に対して複数の推論プロセスを割り当てることができる。

（割り当てパターン決定処理手順）
次に、図２１および図２２を用いて、情報処理装置１００が実行する、割り当てパターン決定処理手順の一例について説明する。割り当てパターン決定処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

図２１および図２２は、割り当てパターン決定処理手順の一例を示すフローチャートである。図２１において、情報処理装置１００は、図２０のステップＳ２００１でソートした結果に基づいて、まだ選択していない未割り当ての推論実行リクエストのうち、残り時間が最も短い推論実行リクエストを選択する（ステップＳ２１０１）。

次に、情報処理装置１００は、推論実行リクエスト管理テーブル４００を参照して、選択した推論実行リクエストに対応するレコードを取得する（ステップＳ２１０２）。そして、情報処理装置１００は、取得したレコードに基づいて、選択した推論実行リクエストの最大専有メモリサイズを取得する。情報処理装置１００は、推論モデル実行プロファイル管理テーブル６００を参照して、取得した推論実行リクエストの最大専有メモリサイズを取得する。情報処理装置１００は、実行用装置リソース情報管理テーブル５００を参照して、取得した推論実行リクエストの最大専有メモリサイズを早く確保可能な順に、複数の実行用装置２０１をソートする（ステップＳ２１０３）。

次に、情報処理装置１００は、選択した推論実行リクエストの割り当て計算が初回であるか否かを判定する（ステップＳ２１０４）。割り当て計算は、推論実行リクエストが指定する推論プロセスおよび推論プロセスが演算するフレームを、いずれかの実行用装置２０１のいずれかの実行プロセス枠に割り当てることである。初回とは、例えば、根から現在のノードまでの経路上における初回である。

ここで、初回ではない場合（ステップＳ２１０４：Ｎｏ）、情報処理装置１００は、図２２のステップＳ２２０１の処理に移行する。一方で、初回である場合（ステップＳ２１０４：Ｙｅｓ）、情報処理装置１００は、ステップＳ２１０５の処理に移行する。

ステップＳ２１０５では、情報処理装置１００は、最も早く最大専有メモリサイズを確保可能な実行用装置２０１を１つ選択する（ステップＳ２１０５）。次に、情報処理装置１００は、選択した実行用装置２０１における実行プロセス枠のうち、空きリソースが最も大きい実行プロセス枠に、選択した推論実行リクエストのすべてのフレームを割り当てる（ステップＳ２１０６）。空きリソースが最も大きいとは、実行プロセス枠に割り当て済みの推論プロセスの実行が完了する時刻が最も早いことである。

そして、情報処理装置１００は、推論モデル実行プロファイル管理テーブル６００を参照して、選択した実行用装置２０１上での占有時間および割り当てたフレーム数を取得する。情報処理装置１００は、取得した実行用装置２０１上での占有時間および割り当てたフレーム数に基づいて、選択した推論実行リクエストが指定するすべてのフレームを処理し終える時刻を算出する（ステップＳ２１０７）。

次に、情報処理装置１００は、算出した時刻が要求時刻以前であるか否かを判定する（ステップＳ２１０８）。ここで、要求時刻以前である場合（ステップＳ２１０８：Ｙｅｓ）、情報処理装置１００は、ステップＳ２１１０の処理に移行する。一方で、要求時刻以前ではない場合（ステップＳ２１０８：Ｎｏ）、情報処理装置１００は、ステップＳ２１０９の処理に移行する。

ステップＳ２１０９では、情報処理装置１００は、超過した分の時間と、超過が発生した実行用装置２０１とを、推論要求リクエストに対応付けて、要求時刻超過情報管理テーブル８００に記録する（ステップＳ２１０９）。これにより、情報処理装置１００は、推論要求リクエストについて、算出した時刻が要求時刻を超過した実績があることを記録する。そして、情報処理装置１００は、ステップＳ２１０４の処理に戻る。

ステップＳ２１１０では、情報処理装置１００は、まだ割り当てていない推論実行リクエストが残っているか否かを判定する（ステップＳ２１１０）。ここで、推論実行リクエストが残っている場合（ステップＳ２１１０：Ｙｅｓ）、情報処理装置１００は、ステップＳ２１０１の処理に戻る。一方で、推論実行リクエストが残っていない場合（ステップＳ２１１０：Ｎｏ）、情報処理装置１００は、ステップＳ２１１１の処理に移行する。

ステップＳ２１１１では、情報処理装置１００は、現在の割り当て結果における推論実行効率を算出し、過去の暫定解における推論実行効率よりも良好な推論実行効率であれば、現在の割り当て結果を、暫定解に決定する（ステップＳ２１１１）。そして、情報処理装置１００は、ステップＳ２１０４の処理に戻る。

図２２において、情報処理装置１００は、暫定解があるか否かを判定する（ステップＳ２２０１）。ここで、暫定解がある場合（ステップＳ２２０１：Ｙｅｓ）、情報処理装置１００は、ステップＳ２２０５の処理に移行する。一方で、暫定解がない場合（ステップＳ２２０１：Ｎｏ）、情報処理装置１００は、ステップＳ２２０２の処理に移行する。

ステップＳ２２０２では、情報処理装置１００は、推論モデル実行プロファイル管理テーブル６００および要求時刻超過情報管理テーブル８００を参照して、要求時刻の超過解消のために割り当て直すフレームの数を算出する（ステップＳ２２０２）。

次に、情報処理装置１００は、現在の割り当て先の実行用装置２０１の次に早く最大専有メモリサイズを確保可能な実行用装置２０１を選択する（ステップＳ２２０３）。そして、情報処理装置１００は、選択した実行用装置２０１における実行プロセス枠のうち、空きリソースが最も大きい実行プロセス枠に、算出した数のフレームを割り当て直す（ステップＳ２２０４）。割り当て直すフレーム以外は、例えば、現在の割り当て先の実行用装置２０１に割り当てたままであってもよい。この際、情報処理装置１００は、空きリソースが最も大きい実行プロセス枠に、算出した数のフレームを割り当てても、超過解消不可能であれば、算出した数のフレームを割り当てなくてもよい。その後、情報処理装置１００は、ステップＳ２２０９の処理に移行する。

ステップＳ２２０５では、情報処理装置１００は、要求時刻超過情報管理テーブル８００を参照して、選択した推論実行リクエスト以降の推論実行リクエストに、要求時刻を超過した実績がある推論実行リクエストがあるか否かを判定する（ステップＳ２２０５）。ある推論実行リクエスト以降の推論実行リクエストとは、ソートされた複数の推論実行リクエストの並びにおいて、ある推論実行リクエストよりも後方にある推論実行リクエストである。

ここで、要求時刻を超過した実績がある推論実行リクエストがない場合（ステップＳ２２０５：Ｎｏ）、情報処理装置１００は、ステップＳ２２１０の処理に移行する。一方で、要求時刻を超過した実績がある推論実行リクエストがある場合（ステップＳ２２０５：Ｙｅｓ）、情報処理装置１００は、ステップＳ２２０６の処理に移行する。

ステップＳ２２０６では、情報処理装置１００は、要求時刻超過情報管理テーブル８００を参照して、要求時刻を超過した実績がある推論実行リクエストを取得し、超過した分の時間に対応する、割り当て直すフレームの数を算出する（ステップＳ２２０６）。次に、情報処理装置１００は、現在の割り当て先の実行用装置２０１の次に早く最大専有メモリサイズを確保可能な実行用装置２０１を選択する（ステップＳ２２０７）。

そして、情報処理装置１００は、現在の割り当て結果における並列度を変えずに、選択した実行用装置２０１における実行プロセス枠のうち、空きリソースが最も大きい実行プロセス枠に、算出した数のフレームを割り当てる（ステップＳ２２０８）。この際、情報処理装置１００は、空きリソースが最も大きい実行プロセス枠に、算出した数のフレームを割り当てても、超過解消不可能であれば、算出した数のフレームを割り当てなくてもよい。その後、情報処理装置１００は、ステップＳ２２０９の処理に移行する。

ステップＳ２２０９では、情報処理装置１００は、並列数上限未満で、推論プロセスを並列して割り当てることにより、超過解消可能であったか否かを判定する（ステップＳ２２０９）。並列数上限は、推論プロセスを、最大いくつまで分散して割り当てられるのかを示す。並列数上限は、例えば、それぞれの実行用ノードにおいて分散して割り当て可能な推論プロセスの数を足し合わせた和である。

ここで、並列数上限未満で、推論プロセスを並列して割り当てた際に、超過解消可能になる並列数がある場合（ステップＳ２２０９：Ｙｅｓ）、情報処理装置１００は、図２１のステップＳ２１０７の処理に戻る。一方で、並列数上限未満で、推論プロセスを並列して割り当てた際に、超過解消可能になる並列数がない場合（ステップＳ２２０９：Ｎｏ）、情報処理装置１００は、ステップＳ２２１０の処理に移行する。

ステップＳ２２１０では、情報処理装置１００は、選択した推論実行リクエストが、先頭の推論実行リクエストであるか否かを判定する（ステップＳ２２１０）。ここで、先頭の推論実行リクエストである場合（ステップＳ２２１０：Ｙｅｓ）、情報処理装置１００は、割り当てパターン決定処理を終了する。一方で、先頭の推論実行リクエストではない場合（ステップＳ２２１０：Ｎｏ）、情報処理装置１００は、ステップＳ２２１１の処理に移行する。

ステップＳ２２１１では、情報処理装置１００は、選択した推論実行リクエストの１つ前の推論実行リクエストを選択する（ステップＳ２２１１）。そして、情報処理装置１００は、図２１のステップＳ２１０２の処理に戻る。

ここで、情報処理装置１００は、図２０～図２２の各フローチャートにおける一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ２００５，Ｓ２００６の処理の順序は入れ替え可能である。また、情報処理装置１００は、図２０～図２２の各フローチャートにおける一部ステップの処理を省略してもよい。

以上説明したように、情報処理装置１００によれば、複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得することができる。情報処理装置１００によれば、取得したプロファイル情報を参照して、木構造において、それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、根から葉までのノードを探索することができる。これにより、情報処理装置１００は、複数の処理についての実行効率を最大化可能な、１以上の演算装置に対する複数の処理の配置パターンを決定することができる。このため、情報処理装置１００は、１以上の演算装置を効率よく利用しつつ、それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、１以上の演算装置に対して複数の処理を配置可能にすることができる。

情報処理装置１００によれば、取得したプロファイル情報を参照して、木構造において、複数の処理のうち、１以上の演算装置に配置した処理の実行が、当該処理について設定された期限内に完了可能になるノードを、根から辿ることができる。情報処理装置１００によれば、根から辿ることにより到達可能なそれぞれの葉において、それぞれの処理の実行準備および実行にかかる所要時間の累計に基づいて、複数の処理についての実行効率を算出することができる。情報処理装置１００によれば、算出した実行効率が最大となる葉に基づいて、複数の処理の配置パターンを決定することができる。これにより、情報処理装置１００は、それぞれの葉から特定される配置パターンがどの程度適切な配置パターンであるのかを評価可能にすることができる。このため、情報処理装置１００は、適切な配置パターンを決定し易くすることができる。

情報処理装置１００によれば、木構造を生成しながら、それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、根から葉までのノードを探索することにより、複数の処理の配置パターンを決定することができる。これにより、情報処理装置１００は、木構造の生成と探索とを並列して実行することができる。

情報処理装置１００によれば、初期状態では根を対象ノードに設定することができる。情報処理装置１００によれば、対象ノードに設定されたあるノードの下位に、複数の処理のいずれか一つの処理を配置した位置を表す新たなノードを接続し、新たなノードを、対象ノードに設定する、という動作を繰り返すことができる。これにより、情報処理装置１００は、木構造を生成することができる。

情報処理装置１００によれば、動作を繰り返す際、対象ノードに設定されたあるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であるか否かを判定することができる。情報処理装置１００によれば、完了可能ではない場合、あるノードの親の下位に、あるノードが表す位置とは異なる、当該処理を配置した位置を表す新たなノードを接続し、新たなノードを、対象ノードに設定することができる。情報処理装置１００によれば、あるノードを削除することができる。これにより、情報処理装置１００は、あるノードの下位を探索しても、それぞれの処理の実行を、当該処理について設定された期限内に完了可能な、適切な配置パターンが発見されないことを把握することができる。情報処理装置１００は、あるノードの下位を探索しても、適切な配置パターンが発見されないため、あるノードを削除し、あるノードから下位に向けての探索を打ち切ることができ、処理量の低減化を図ることができる。

情報処理装置１００によれば、動作を繰り返す際、対象ノードに設定されたあるノードが葉であるか否か、および、あるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であるか否かを判定することができる。情報処理装置１００によれば、葉ではなく、かつ、完了可能であれば、あるノードの下位に、当該処理とは異なる処理を配置した位置を示す新たなノードを接続し、新たなノードを、対象ノードに設定することができる。これにより、情報処理装置１００は、あるノードの下位に、それぞれの処理の実行を、当該処理について設定された期限内に完了可能な、適切な配置パターンが発見される可能性があれば、あるノードの下位に新たなノードを繋げていくことができる。このため、情報処理装置１００は、適切な配置パターンが発見され易くすることができる。

情報処理装置１００によれば、動作を繰り返す際、対象ノードに設定されたあるノードが葉であるか否か、および、あるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であるか否かを判定することができる。情報処理装置１００によれば、葉であり、かつ、完了可能であれば、あるノードにおいて、複数の処理についての実行効率を算出することができる。情報処理装置１００によれば、算出した実行効率が最大となる葉に基づいて、１以上の演算装置に対する複数の処理の配置パターンを決定することができる。これにより、情報処理装置１００は、実行効率により、葉から特定される配置パターンがどの程度適切であるのかを評価することができ、適切な配置パターンを決定し易くすることができる。

情報処理装置１００によれば、対象ノードに設定されたあるノードの下位に、複数の処理に含まれるまだ配置していない処理のうち、比較的短い期限が設定されたいずれか一つの処理を配置した位置を表す新たなノードを接続していくことができる。これにより、情報処理装置１００は、それぞれの処理の実行が、当該処理について設定された期限内に完了可能になり易いよう、複数の処理を順に配置していくことができる。

情報処理装置１００によれば、動作を繰り返す際、対象ノードに設定されたあるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であるか否かを判定することができる。情報処理装置１００によれば、完了可能ではない場合、あるノードの親の下位に、当該処理の実行が、当該処理について設定された期限内に完了可能になるよう、当該処理を分散配置した位置を表す新たなノードを接続することができる。これにより、情報処理装置１００は、処理を分散配置する場合を考慮して、配置パターンを決定することができる。情報処理装置１００は、それぞれの処理の実行が、当該処理について設定された期限内に完了可能になり易くすることができる。

情報処理装置１００によれば、それぞれの処理の実行準備にかかる所要時間に、初期化および当該処理の実行に用いられるモデルの読込にかかる所要時間を採用することができる。これにより、情報処理装置１００は、初期化および処理の実行に用いられるモデルの読込にかかる所要時間を考慮し、それぞれの処理の実行が、当該処理について設定された期限内に完了可能であるか否かを精度よく判定可能にすることができる。

なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した情報処理プログラムは、インターネットなどのネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）異なるモデルを用いて実行される複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得し、
１以上の演算装置に対して前記複数の処理を配置するにあたり、取得した前記プロファイル情報を参照して、前記複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される木構造において、前記それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理についての実行効率を最大化可能な、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、
制御部を有することを特徴とする情報処理装置。

（付記２）前記制御部は、
取得した前記プロファイル情報を参照して、前記木構造において、前記複数の処理のうち、前記１以上の演算装置に配置した処理の実行が、当該処理について設定された期限内に完了可能になるノードを、前記根から辿ることにより到達可能なそれぞれの葉において、前記それぞれの処理の実行準備および実行にかかる所要時間の累計に基づいて、前記複数の処理についての実行効率を算出し、
算出した前記実行効率が最大となる葉に基づいて、前記複数の処理の配置パターンを決定する、ことを特徴とする付記１に記載の情報処理装置。

（付記３）前記制御部は、
取得した前記プロファイル情報を参照して、前記木構造を生成しながら、前記それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理の配置パターンを決定する、ことを特徴とする付記１または２に記載の情報処理装置。

（付記４）初期状態では前記根が対象ノードに設定されており、
前記制御部は、
前記対象ノードに設定されたあるノードの下位に、前記複数の処理のいずれか一つの処理を配置した位置を表す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定する、という動作を繰り返すことにより、前記木構造を生成する、ことを特徴とする付記３に記載の情報処理装置。

（付記５）前記制御部は、
前記動作を繰り返す際、前記対象ノードに設定されたあるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能ではない場合、前記あるノードの親の下位に、前記あるノードが表す位置とは異なる、当該処理を配置した位置を表す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定し、前記あるノードを削除する、ことを特徴とする付記４に記載の情報処理装置。

（付記６）前記制御部は、
前記動作を繰り返す際、前記対象ノードに設定されたあるノードが葉ではなく、前記あるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であれば、前記あるノードの下位に、当該処理とは異なる処理を配置した位置を示す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定する、ことを特徴とする付記４または５に記載の情報処理装置。

（付記７）前記制御部は、
前記動作を繰り返す際、前記対象ノードに設定されたあるノードが葉であり、前記あるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であれば、前記あるノードにおいて、前記複数の処理についての実行効率を算出し、
算出した前記実行効率が最大となる葉に基づいて、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、ことを特徴とする付記４～６のいずれか一つに記載の情報処理装置。

（付記８）前記制御部は、
前記対象ノードに設定されたあるノードの下位に、前記複数の処理に含まれるまだ配置していない処理のうち、比較的短い期限が設定されたいずれか一つの処理を配置した位置を表す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定する、という動作を繰り返す、ことを特徴とする付記４～７のいずれか一つに記載の情報処理装置。

（付記９）前記制御部は、
前記動作を繰り返す際、前記対象ノードに設定されたあるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能ではない場合、前記あるノードの親の下位に、前記あるノードが表す位置とは異なり、当該処理の実行が、当該処理について設定された期限内に完了可能になるよう、当該処理を分散配置した位置を表す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定し、前記あるノードを削除する、ことを特徴とする付記５に記載の情報処理装置。

（付記１０）前記それぞれの処理の実行準備にかかる所要時間は、初期化および当該処理の実行に用いられるモデルの読込にかかる所要時間である、ことを特徴とする付記１～９のいずれか一つに記載の情報処理装置。

（付記１１）異なるモデルを用いて実行される複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得し、
１以上の演算装置に対して前記複数の処理を配置するにあたり、取得した前記プロファイル情報を参照して、前記複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される木構造において、前記それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理についての実行効率を最大化可能な、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、
処理をコンピュータが実行することを特徴とする情報処理方法。

（付記１２）情報処理装置と、異なるモデルを用いて実行される複数の処理に含まれる処理を配置可能な１以上の演算装置とを含むシステムであって、
前記１以上の演算装置のそれぞれの演算装置は、
当該演算装置に配置された処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を生成し、前記情報処理装置に送信し、
前記情報処理装置は、
前記プロファイル情報を、前記演算装置から取得し、
前記１以上の演算装置に対して前記複数の処理を配置するにあたり、取得した前記プロファイル情報を参照して、前記複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される木構造において、前記複数の処理のそれぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理についての実行効率を最大化可能な、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、
ことを特徴とするシステム。

１００ 情報処理装置
１１０，１３００ 木構造
１１１，１１２，１１３，１３１０，１４１０，１５１０，１６１０，１７１０，１８１０，１９１０ 符号
１２０ 表
２００ 情報処理システム
２０１ 実行用装置
２０２ 情報収集装置
２０３ クライアント装置
２１０ ネットワーク
３００，９００，１０００ バス
３０１，９０１，１００１ ＣＰＵ
３０２，９０２，１００２ メモリ
３０３，９０３，１００３ ネットワークＩ／Ｆ
３０４，９０４，１００４ 記録媒体Ｉ／Ｆ
３０５，９０５，１００５ 記録媒体
４００ 推論実行リクエスト管理テーブル
５００ 実行用装置リソース情報管理テーブル
６００ 推論モデル実行プロファイル管理テーブル
７００ 割り当て結果管理テーブル
８００ 要求時刻超過情報管理テーブル
９０６ ＧＰＵ
９０７ ディスプレイ
９０８ 入力Ｉ／Ｆ
９０９ 入力装置
１００６ 撮像装置
１１００ 第１記憶部
１１０１ 第１取得部
１１０２ 探索部
１１０３ 決定部
１１０４ 配置部
１１０５ 第１出力部
１１１０ 第２記憶部
１１１１ 第２取得部
１１１２ 実行部
１１１３ 監視部
１１１４ 第２出力部
１２０１ 実行プロファイル収集部
１２０２ プロセス実行管理部
１２０３ プロセス配置部
１２０４ 優先度決定部
１２０５ 配置決定部
１２１１ フレームワーク
１２１２ プロセス監視部
１２１３ 推論プロセス
１２２１ データソース
１２２２ 推論モデルＤＢ

Claims (10)

1. 異なるモデルを用いて実行される複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得し、
   １以上の演算装置に対して前記複数の処理を配置するにあたり、取得した前記プロファイル情報を参照して、前記複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される木構造において、前記それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理についての実行効率を最大化可能な、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、
   制御部を有することを特徴とする情報処理装置。
2. 前記制御部は、
   取得した前記プロファイル情報を参照して、前記木構造において、前記複数の処理のうち、前記１以上の演算装置に配置した処理の実行が、当該処理について設定された期限内に完了可能になるノードを、前記根から辿ることにより到達可能なそれぞれの葉において、前記それぞれの処理の実行準備および実行にかかる所要時間の累計に基づいて、前記複数の処理についての実行効率を算出し、
   算出した前記実行効率が最大となる葉に基づいて、前記複数の処理の配置パターンを決定する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記制御部は、
   取得した前記プロファイル情報を参照して、前記木構造を生成しながら、前記それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理の配置パターンを決定する、ことを特徴とする請求項１または２に記載の情報処理装置。
4. 初期状態では前記根が対象ノードに設定されており、
   前記制御部は、
   前記対象ノードに設定されたあるノードの下位に、前記複数の処理のいずれか一つの処理を配置した位置を表す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定する、という動作を繰り返すことにより、前記木構造を生成する、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記制御部は、
   前記動作を繰り返す際、前記対象ノードに設定されたあるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能ではない場合、前記あるノードの親の下位に、前記あるノードが表す位置とは異なる、当該処理を配置した位置を表す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定し、前記あるノードを削除する、ことを特徴とする請求項４に記載の情報処理装置。
6. 前記制御部は、
   前記動作を繰り返す際、前記対象ノードに設定されたあるノードが葉ではなく、前記あるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であれば、前記あるノードの下位に、当該処理とは異なる処理を配置した位置を示す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定する、ことを特徴とする請求項４または５に記載の情報処理装置。
7. 前記制御部は、
   前記動作を繰り返す際、前記対象ノードに設定されたあるノードが葉であり、前記あるノードが表す位置に配置した処理の実行が、当該処理について設定された期限内に完了可能であれば、前記あるノードにおいて、前記複数の処理についての実行効率を算出し、
   算出した前記実行効率が最大となる葉に基づいて、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、ことを特徴とする請求項４～６のいずれか一つに記載の情報処理装置。
8. 前記制御部は、
   前記対象ノードに設定されたあるノードの下位に、前記複数の処理に含まれるまだ配置していない処理のうち、比較的短い期限が設定されたいずれか一つの処理を配置した位置を表す新たなノードを接続し、前記新たなノードを、前記対象ノードに設定する、という動作を繰り返す、ことを特徴とする請求項４～７のいずれか一つに記載の情報処理装置。
9. 異なるモデルを用いて実行される複数の処理のそれぞれの処理について、当該処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を取得し、
   １以上の演算装置に対して前記複数の処理を配置するにあたり、取得した前記プロファイル情報を参照して、前記複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される木構造において、前記それぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理についての実行効率を最大化可能な、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、
   処理をコンピュータが実行することを特徴とする情報処理方法。
10. 情報処理装置と、異なるモデルを用いて実行される複数の処理に含まれる処理を配置可能な１以上の演算装置とを含むシステムであって、
    前記１以上の演算装置のそれぞれの演算装置は、
    当該演算装置に配置された処理の実行準備にかかる所要時間と、当該処理の実行にかかる所要時間とを特定可能にするプロファイル情報を生成し、前記情報処理装置に送信し、
    前記情報処理装置は、
    前記プロファイル情報を、前記演算装置から取得し、
    前記１以上の演算装置に対して前記複数の処理を配置するにあたり、取得した前記プロファイル情報を参照して、前記複数の処理に含まれる処理を配置した位置を表すノードが根から下位へと接続され、階層が深いほど、多くの処理が配置済みとなるよう形成される木構造において、前記複数の処理のそれぞれの処理の実行が、当該処理について設定された期限内に完了可能になるよう、前記根から葉までのノードを探索することにより、前記複数の処理についての実行効率を最大化可能な、前記１以上の演算装置に対する前記複数の処理の配置パターンを決定する、
    ことを特徴とするシステム。

Images