JP2023165068A - 予測プログラム、予測方法および情報処理装置 - Google Patents

Abstract

【課題】精度の高い予測結果を取得することを課題とする。【解決手段】情報処理装置は、入力された条件を表すベクトルと、複数の項目を表す複数のベクトルとを機械学習モデルに入力して、第１の予測結果を取得する。情報処理装置は、第１の予測結果に含まれる複数の項目の第１の項目に関する一又は複数の属性のうち第１の属性の選択を受け付ける。情報処理装置は、条件を表すベクトルと、複数のベクトルのうち第１の項目を表す第１のベクトルを除く他のベクトルと、第１の属性を表す第２のベクトルとを、機械学習モデルへ入力して、第２の予測結果を取得する。【選択図】図１

Description

本発明は、機械学習モデルを用いた予測プログラムに関する。

入力された文字列をセルフアテンションモデル（自己注意機構）に入力し、セルフアテンションモデルの出力結果に基づき予測を実行する技術が知られている。例えば、複数の単語をセルフアテンションモデルに入力して文章を予測する技術や、質問文をセルフアテンションモデルに入力して回答を予測する技術が知られている。

特開２００１－６０２３３号公報 特開２０１４－２０３２２８号公報

しかしながら、上記技術では、コーパス内のデータ、経験等により作成したデータ、適用対象の分野に特化したデータなどを教師データに用いてセルフアテンションモデルが生成される。このため、教師データに用いた分野や予測に適用する分野などの様々な要因の影響を受けて、予測性能が低下することがある。

一つの側面では、精度の高い予測結果を取得することができる予測プログラム、予測方法および情報処理装置を提供することを目的とする。

第１の案では、予測プログラムは、入力された条件を表すベクトルと、複数の項目を表す複数のベクトルとを機械学習モデルに入力して、第１の予測結果を取得し、前記第１の予測結果に含まれる前記複数の項目の第１の項目に関する一又は複数の属性のうち第１の属性の選択を受け付け、前記条件を表すベクトルと、前記複数のベクトルのうち前記第１の項目を表す第１のベクトルを除く他のベクトルと、前記第１の属性を表す第２のベクトルとを、前記機械学習モデルへ入力して、第２の予測結果を取得する、処理をコンピュータに実行させることを特徴とする。

一実施形態によれば、精度の高い予測結果を取得することができる。

図１は、実施例１にかかる情報処理装置を説明する図である。 図２は、参考技術を説明する図である。 図３は、参考技術の問題点を説明する図である。 図４は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図５は、訓練データを説明する図である。 図６は、予測対象データを説明する図である。 図７は、機械学習モデルの入力ベクトルの生成を説明する図である。 図８は、機械学習モデルの入力ベクトルの生成の別例を説明する図である。 図９は、機械学習モデルの機械学習を説明する図である。 図１０は、機械学習モデルを用いた第１の予測を説明する図である。 図１１は、第１の予測結果を用いた入力の置き換えを説明する図である。 図１２は、機械学習モデルを用いた第２の予測を説明する図である。 図１３は、実施例１にかかる情報処理装置の全体的な処理の流れを示すフローチャートである。 図１４は、実施例１にかかる機械学習処理の詳細な流れを示すフローチャートである。 図１５は、実施例１にかかる予測処理の詳細な流れを示すフローチャートである。 図１６は、予測結果の取得処理の流れを示すフローチャートである。 図１７は、ハードウェア構成例を説明する図である。

以下に、本願の開示する予測プログラム、予測方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、例えば、入力に条件を表すベクトル、出力を部品データベースに登録された部品を表すベクトルとする機械学習モデルを用いて、受注生産を行う業界の見積自動化を実行するコンピュータ装置の一例である。情報処理装置１０は、このような機械学習モデルを用いた見積自動化を実行する際に、出力部品の傾向が大きく間違うことを抑制し、クライアントの確度の高い部品を逐次的に確定することで、機械学習モデルを用いた精度の高い予測結果の取得を実現する。

このような見積自動化の分野では、要求仕様などを用いたセルフアテンションモデル（自己注意機構）により予測を行うことが多いが、予測精度を向上させるために、部品のカテゴリ（以下では単に「カテゴリ」と記載する場合がある）をさらに用いることも行われている。ここで、カテゴリを用いた見積自動化の参考技術を説明する。

図２は、参考技術を説明する図である。図２に示すように、参考技術では、生成済みのエンコーダなどを用いて、「タイプ、グレード、要求事項」の各項目に「ＧＧＧ、６世代、傾斜強めと悪天候用」が設定された要求仕様を、各項目に対応する要求仕様ベクトルに変換する。また、参考技術では、部品のカテゴリを示す各カテゴリ（カテゴリＡ、カテゴリＢ、カテゴリＣ）について、各カテゴリの特徴を表すカテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトルを取得する。

そして、参考技術では、Ｎ層を有するセルフアテンションを用いたセルフアテンションモデルの一例である機械学習モデルに、要求仕様ベクトルと各カテゴリベクトルとを入力し、要求仕様に対応するインデックスとカテゴリに対応するインデックスとを含む出力ベクトルとを取得する。

その後、参考技術では、入力時の各カテゴリのインデックスで、出力ベクトルとカテゴリ別の特徴空間（部品空間）における部品ごとのベクトルとの対応関係を分析し、部品予測を行う。例えば、参考技術では、出力ベクトルに含まれるカテゴリＣベクトル（以降では、「予測カテゴリＣベクトル」と記載する場合がある）をカテゴリＣの部品空間にマッピングする。同様に、参考技術では、カテゴリＣに属する部品「三角キャタピラ、四角キャタピラ、五角キャタピラ」それぞれを生成済みのエンコーダ等を用いてベクトル化し、上記カテゴリＣの部品空間にマッピングする。参考技術では、「三角キャタピラ、四角キャタピラ、五角キャタピラ」の各部品ベクトルのうち、予測カテゴリＣベクトルとの距離が最も近い「三角キャタピラ」を選択する。

このようにして、参考技術では、各カテゴリについて、部品空間のマッピングを行うことにより、各カテゴリに対応する「部品」を予測し、「カテゴリＡ、カテゴリＢ、カテゴリＣ」について「本体ＧＧＧ、１５ｍアーム、三角キャタピラ」を出力する。

ところが、参考技術では、機械学習モデルがカテゴリ間の共起、非共起関係を強く学習するので、部品が一つの目的に偏る傾向となる。図３は、参考技術の問題点を説明する図である。図３に示すように、参考技術では、カテゴリごとに、予測結果と予測スコア（確率）が出力される。図３の例では、カテゴリＡについて、部品「重機本体」および予測スコア「０．９９」が表示される。カテゴリＢについて、部品「林業用アーム」および予測スコア「０．５２」と、部品「破砕用アーム」および予測スコア「０．４８」とが表示される。カテゴリＣについて、部品「林業用キャタピラ」および予測スコア「０．５４」と、部品「破砕用キャタピラ」および予測スコア「０．４６」とが表示される。この結果、参考技術では、各カテゴリにおいて予測スコアが最も高い、部品「重機本体」、部品「林業用アーム」、部品「林業用キャタピラ」を予測結果として出力する。

しかし、正解は、林業用ではなく粉砕用の部品であることがある。これは、部品が一つの目的に偏るように機械学習が行われることから、１つの部品の予測が間違うと、他の部品の予測も間違う可能性が高くなるためである。例えば、上記例で説明すると、機械学習モデル内の各層の入力と出力を繰り返すことにより、部品のカテゴリＣに関連する要求仕様等の情報がカテゴリＣベクトルとして集約されつつ、カテゴリＣに共起する他カテゴリの情報がカテゴリＣベクトルとして集約される。

このように、部品が一つの目的に偏ること自体は、機械学習が正確に実行されたことを示しているが、これにより１つの予測が間違うときは根本的に全体の予測精度が低下し、予測結果が役に立たない場合がある。例えば、正確な機械学習が実行されると、カテゴリ間の共起関係も機械学習されることとなる。このため、訓練データに含まれていなかった新たな条件や新たな組合せが入力に対する予測が実行された場合に、１つのカテゴリの予測が間違うと、共起する他のカテゴリの予測も間違うことが多く、全体として予測精度の低下が発生する。

そこで、実施例１にかかる情報処理装置１０は、出力部品の傾向が大きく間違うことを抑制するために、出力部品の中で、クライアントにとって確度の高い部品カテゴリの部品を逐次的に確定することで、確定済みの部品カテゴリとは異なる他部品カテゴリの出力部品のスコアを動的に更新する。

具体的には、情報処理装置１０は、入力された条件の一例である要求仕様を表すベクトルと、複数の項目の一例であるカテゴリを表す複数のベクトルとを機械学習モデルに入力して、第１の予測結果を取得する。そして、実施例１にかかる情報処理装置１０は、第１の予測結果に含まれる複数の項目の第１の項目に関する一又は複数の部品のうち第１の属性の選択を受け付ける。その後、実施例１にかかる情報処理装置１０は、要求仕様を表すベクトルと、複数のベクトルのうち第１の項目を表す第１のベクトルを除く他のベクトルと、第１の属性を表す第２のベクトルとを、機械学習モデルへ入力して、第２の予測結果を取得する。

例えば、図１に示すように、情報処理装置１０は、入力された要求仕様１、要求仕様２、要求仕様３それぞれに対応する要求仕様１ベクトル、要求仕様２ベクトル、要求仕様３ベクトルを取得する。また、情報処理装置１０は、カテゴリＡ、カテゴリＢ、カテゴリＣそれぞれに対応するカテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトルを取得する。

続いて、情報処理装置１０は、各要求仕様ベクトルと各カテゴリベクトルとを用いた入力ベクトルを、セルフアテンションモデルの一例である機械学習モデルに入力し、第１の予測結果を取得する。第１の予測結果には、要求仕様に対応する予測結果「要求仕様１、要求仕様２、要求仕様３」と、カテゴリに対応する予測結果「カテゴリＡの部品、カテゴリＢの部品、カテゴリＣの部品」が含まれる。

そして、情報処理装置１０は、上述した各部品空間のマッピングを行うことで特定される各カテゴリの予測結果を出力し、予測結果の正誤をユーザから受け付ける。例えば、情報処理装置１０は、カテゴリＣについて「部品Ｃ１、予測結果（〇）」と「部品Ｃ２、予測結果（×）」とを表示し、ユーザから、正解が予測結果（〇）の「部品Ｃ１」ではなく「部品Ｃ２」である選択を受け付ける。

すると、情報処理装置１０は、入力データのカテゴリＣに対応する「カテゴリＣベクトル」を、ユーザに選択された「部品Ｃ２ベクトル」に置き換えて、予測を実行する。例えば、情報処理装置１０は、「要求仕様１ベクトル、要求仕様２ベクトル、要求仕様３ベクトル、カテゴリＡベクトル、カテゴリＢベクトル、部品Ｃ２ベクトル」を機械学習モデルに入力し、第２の予測結果を取得する。そして、情報処理装置１０は、ユーザ選択を考慮した再予測により得られた第２の予測結果を、最終的な予測結果として出力する。

このように、情報処理装置１０は、ユーザの確度の高いカテゴリの部品を逐次的に確定することで、予測スコアを動的に更新することができる。したがって、情報処理装置１０は、高精度に機械学習が行われた後、訓練データに含まれない情報や新製品による部品の最適な組み合わせ等に変化があっても、精度の高い予測結果を取得することができる。

図４は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図４に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する。例えば、通信部１１は、管理者等が利用する管理端末から各種指示やデータを受信し、後述する制御部２０による処理結果を管理端末に送信する。

記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する。この記憶部１２は、機械学習モデル１３、訓練データＤＢ１４、予測対象データＤＢ１５を記憶する。

機械学習モデル１３は、要求仕様の関する入力データが入力された場合に、当該要求仕様を満たす重機の部品を予測するモデルである。例えば、機械学習モデル１３は、Ｎ層を有するセルフアテンションモデルを用いた機械学習モデルであり、要求仕様等を表す入力データに応じてカテゴリごとに部品の予測結果を出力する。

訓練データＤＢ１４は、機械学習モデル１３の機械学習に用いる訓練データを記憶する。具体的には、訓練データＤＢ１４は、説明変数と目的変数とを対応付け教師データである各訓練データを記憶する。

図５は、訓練データを説明する図である。図５に示すように、訓練データは、要求仕様に関するデータと、カテゴリを表すベクトルとを有する。要求仕様に関するデータは、要求仕様を特定する「タイプ、グレード、要求事項」と、正解情報を示す「カテゴリＡの正解部品、カテゴリＢの正解部品、カテゴリＣの正解部品」とを記憶する。ここで、「タイプ」は、重機のタイプを示し、「グレード」は、重機のグレードを示し、「要求事項」は、状況や環境などの重機を使用する具体的な要求を示す。「カテゴリＡの正解部品」は、重機に使用するカテゴリＡの部品、「カテゴリＢの正解部品」は、重機に使用するカテゴリＢの部品、「カテゴリＣの正解部品」は、重機に使用するカテゴリＣの部品を示す。

図５の例では、「タイプ、グレード、要求事項、カテゴリＡの正解部品、カテゴリＢの正解部品、カテゴリＣの正解部品」として「本体Ｇ、６世代、傾斜強めかつ悪天候、部品Ａ－１、部品Ｂ－２、部品Ｃ－１」が設定される。

カテゴリを表すベクトルは、訓練データとして用いるカテゴリごとに用意されるベクトルデータである。例えば、「カテゴリＡ」は、カテゴリＡに属する部品の特徴量を表すベクトルであり、「カテゴリＢ」は、カテゴリＢに属する部品の特徴量を表すベクトルであり、「カテゴリＣ」は、カテゴリＣに属する部品の特徴量を表すベクトルである。この各カテゴリベクトルは、機械学習に用いる重みの初期値や乱数などを用いることもできる。また、カテゴリＡの部品とは、例えば重機の種類であり、カテゴリＢの部品とは、例えば重機に取り付けるアームの種類であり、カテゴリＣの部品とは、例えば重機に取り付けるキャタピラの種類である。

「タイプ、グレード、要求事項」および「カテゴリ」を表すベクトルが説明変数であり、「カテゴリＡの正解部品、カテゴリＢの正解部品、カテゴリＣの正解部品」が目的変数である。カテゴリの数、カテゴリの種類、要求仕様の内容や数や種類などは、任意に設定変更することができる。

予測対象データＤＢ１５は、機械学習により生成された機械学習モデル１３を用いて、重機に使用する部品の予測対象である予測対象データを記憶する。この予測対象データは、要求仕様として「本体ＧＧＧ、６世代、傾斜強めかつ悪路対応」が与えられた場合に、機械学習モデル１３を用いて要求仕様を満たす重機の部品予測に用いられる。

図６は、予測対象データを説明する図である。図６に示すように、予測対象データは、訓練データの要求仕様を特定する情報と同様に、「タイプ、グレード、要求事項」を有する。図６の例では、「タイプ、グレード、要求事項」として「本体ＧＧＧ、６世代、傾斜強めかつ悪路対応」が設定されている。

制御部２０は、情報処理装置１０全体を司る処理部であり、機械学習部３０と予測処理部４０を有する。

機械学習部３０は、訓練データを用いて、機械学習モデル１３の機械学習を実行する。具体的には、機械学習部３０は、訓練データから入力ベクトルを生成し、生成した入力ベクトルを機械学習モデル１３に入力し、機械学習モデル１３の出力結果と正解情報との誤差が小さくなるように、機械学習モデル１３のパラメータ更新を行う。

ここで、図７から図９を用いて、機械学習モデル１３の機械学習を具体的に説明する。図７は、機械学習モデル１３の入力ベクトルの生成を説明する図である。図７に示すように、機械学習部３０は、訓練データの要求仕様「タイプ＝本体Ｇ、グレード＝６世代、要求事項＝傾斜強めかつ悪天候」それぞれを、機械学習済みのエンコーダ等に入力し、ベクトルデータである「タイプベクトル、グレードベクトル、要求事項ベクトル」を生成する。

また、機械学習部３０は、訓練データＤＢ１４から、訓練データに含まれるカテゴリデータ「カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」を取得する。

そして、機械学習部３０は、要求仕様ベクトルの後にカテゴリベクトルを連結させた入力ベクトルを生成する。例えば、機械学習部３０は、「タイプベクトル、グレードベクトル、要求事項ベクトル、カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」を連結させた入力ベクトルを生成する。

ここで、入力ベクトルの生成の別例を説明する。例えば、機械学習部３０は、訓練データに用いるカテゴリベクトルを、具体的な部品のベクトルに置き換えることもできる。より詳細には、例えば、機械学習部３０は、任意にもしくランダムに選択した１つ以上のカテゴリについて、汎用的な特徴量を表すベクトルではなく、図示しない部品データベースなどに登録されている具体的な部品を表すベクトルに置き換える。

図８は、機械学習モデルの入力ベクトルの生成の別例を説明する図である。図８では、一例として、カテゴリＣを具体的な部品のベクトルに置き換える例を説明する。図８に示すように、機械学習モデル１３は、機械学習済みのエンコーダに、カテゴリＣの部品「破砕用キャタピラ」を入力し、カテゴリＣの部品空間上のベクトル「破砕用キャタピラベクトル」を生成する。そして、機械学習モデル１３は、入力ベクトル内のカテゴリＣベクトルを、生成された「破砕用キャタピラベクトル」に置き換える。

例えば、機械学習部３０は、機械学習部３０は、入力ベクトルとして、「タイプベクトル、グレードベクトル、要求事項ベクトル、カテゴリＡベクトル、カテゴリＢベクトル、破砕用キャタピラベクトル」を生成する。このように、機械学習部３０は、具体的な部品のベクトルを用いることで、より具体的な訓練が実行できるので、機械学習モデルの精度の向上や学習速度の高速化を実現できる。

次に、機械学習モデル１３の機械学習を説明する。図９は、機械学習モデル１３の機械学習を説明する図である。図９に示すように、機械学習部３０は、Ｎ層を有する機械学習モデル１３の第１層に入力ベクトルを入力し、第１層の出力ベクトルを第２層に入力し、第２層の出力ベクトルを第３層に入力することを繰り返し、Ｎ層から出力される出力ベクトルと、訓練データの正解情報とを用いた機械学習を実行する。

例えば、機械学習部３０は、入力ベクトルに含まれる要求仕様ベクトルとカテゴリベクトルとのそれぞれについて、「セルアテンションモデルの要素であり、セルアテンションモデルで利用されるＱｕｅｒｙ、Ｋｅｙ、Ｖａｌｕｅ」に対応するベクトルを生成する（Ｓ１）。

例えば、機械学習部３０は、入力ベクトル内のカテゴリＡベクトルを、Ｑｕｅｒｙ用に生成されたエンコーダに入力して、カテゴリＡのＱベクトルを生成する。同様に、機械学習部３０は、入力ベクトル内のカテゴリＡベクトルを、Ｋｅｙ用に生成されたエンコーダに入力して、カテゴリＡのＫベクトルを生成し、カテゴリＡベクトルを、Ｖａｌｕｅ用に生成されたエンコーダに入力して、カテゴリＡのＶベクトルを生成する。

このようにして、機械学習部３０は、「タイプベクトル、グレードベクトル、要求事項ベクトル、カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」のそれぞれについて、Ｑベクトル、Ｋベクトル、Ｖベクトルを生成する。

例えば、機械学習部３０は、「タイプベクトル」についてＱ＿１ベクトル、Ｋ＿１ベクトル、Ｖ＿１ベクトルを生成し、「グレードベクトル」についてＱ＿２ベクトル、Ｋ＿２ベクトル、Ｖ＿２ベクトルを生成し、「要求事項ベクトル」についてＱ＿３ベクトル、Ｋ＿３ベクトル、Ｖ＿３ベクトルを生成する。同様に、機械学習部３０は、「カテゴリＡベクトル」についてＱ＿Ａベクトル、Ｋ＿Ａベクトル、Ｖ＿Ａベクトルを生成し、「カテゴリＢベクトル」についてＱ＿Ｂベクトル、Ｋ＿Ｂベクトル、Ｖ＿Ｂベクトルを生成し、「カテゴリＣベクトル」についてＱ＿Ｃベクトル、Ｋ＿Ｃベクトル、Ｖ＿Ｃベクトルを生成する。

次に、機械学習部３０は、入力ベクトル「タイプベクトル、グレードベクトル、要求事項ベクトル、カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」について算出された各ＱベクトルとＫベクトルとの類似度を算出し（Ｓ２）、類似度にＶベクトルを乗算して出力ベクトルを生成する（Ｓ３）。なお、類似度の算出には、コサイン類似度、ユークリッド距離などを採用することができる。

上記例の「グレードベクトル」を用いた例で説明すると、機械学習部３０は、「Ｋ＿２ベクトル」と、「Ｑ＿１ベクトル」、「Ｑ＿２ベクトル」、「Ｑ＿３ベクトル」、「Ｑ＿Ａベクトル」、「Ｑ＿Ｂベクトル」、「Ｑ＿Ｃベクトル」のそれぞれとの類似度として、「０．１１、０．６８、０．２１、・・・」を算出する。

そして、機械学習部３０は、算出した各類似度に、算出に用いられたＱベクトルに対応するＶベクトルを乗算する。例えば、機械学習部３０は、「Ｑ＿１ベクトル」を用いた「０．１１」に「Ｖ＿１ベクトル」を乗算し、「Ｑ＿２ベクトル」を用いた「０．６８」に「Ｖ＿２ベクトル」を乗算し、「Ｑ＿３ベクトル」を用いた「０．２１」に「Ｖ＿３ベクトル」を乗算する。すなわち、機械学習部３０は、「（０．１１×Ｖ＿１ベクトル）＋（０．６８×Ｖ＿２ベクトル）＋（０．２１×Ｖ＿３ベクトル）＋（類似度×Ｖ＿Ａベクトル）＋（類似度×Ｖ＿Ｂベクトル）＋（類似度×Ｖ＿Ｃベクトル）」を算出し、算出結果を「出力ベクトル＿２」とする。

その後、機械学習部３０は、「要求仕様ベクトル数＋カテゴリベクトル数」個の出力ベクトルを次の自己注意機構へ投入する（Ｓ４）。例えば、機械学習部３０は、「タイプベクトル」の「Ｋ＿１」に対応する「出力ベクトル＿１」を生成し、「グレードベクトル」の「Ｋ＿２」に対応する「出力ベクトル＿２」を生成し、「要求事項ベクトル」の「Ｋ＿３」に対応する「出力ベクトル＿３」を生成する。同様に、機械学習部３０は、「カテゴリＡベクトル」の「Ｋ＿Ａ」に対応する「出力ベクトル＿Ａ」を生成し、「カテゴリＢベクトル」の「Ｋ＿Ｂ」に対応する「出力ベクトル＿Ｂ」を生成し、「カテゴリＣベクトル」の「Ｋ＿Ｃ」に対応する「出力ベクトル＿Ｃ」を生成する。

そして、機械学習部３０は、「出力ベクトル＿１」、「出力ベクトル＿２」、「出力ベクトル＿３」、「出力ベクトル＿Ａ」、「出力ベクトル＿Ｂ」、「出力ベクトル＿Ｃ」の順番で連結させたベクトルを生成し、機械学習モデルの第１層の活性化層、正規化層、全結合層などに入力して出力ベクトルを取得する。続いて、機械学習部３０は、出力ベクトルを入力ベクトルとして機械学習モデルの第２層に入力し、上述したＳ１からＳ４の処理を実行する。

このようにして、機械学習部３０は、訓練データから入力ベクトルを生成して、機械学習モデル１３の各層に入力して、上記Ｓ１からＳ４を繰り返し、機械学習モデル１３の最終層から出力結果を取得する。そして、機械学習部３０は、機械学習モデルの出力結果と、訓練データの正解情報との誤差が小さくなるように、機械学習モデル１３の各パラメータを更新する。

例えば、機械学習部３０は、機械学習モデルの出力結果を、各ベクトルのインデックスに分割して、「カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」を抽出する。そして、機械学習部３０は、訓練データに含まれる各カテゴリの正解情報（正解部品）に対応する正解部品ベクトルと、出力結果に含まれる各カテゴリベクトルとの距離の距離を損失する機械学習により、機械学習モデル１３を生成する。

一例を挙げると、機械学習部３０は、各カテゴリに対応する各特徴空間において、出力結果に含まれるカテゴリＡベクトルとカテゴリＡの正解部品ベクトルとの距離と、出力結果に含まれるカテゴリＢベクトルとカテゴリＢの正解部品ベクトルとの距離と、出力結果に含まれるカテゴリＣベクトルとカテゴリＣの正解部品ベクトルとの距離とがそれぞれ近づくように、機械学習モデル１３の機械学習を実行する。

図４に戻り、予測処理部４０は、第１予測部４１と第２予測部４２を有し、機械学習済みの機械学習モデル１３を用いた部品の予測を実行する。

第１予測部４１は、入力され要求仕様を表すベクトルと、複数のカテゴリを表す複数のベクトルとを機械学習モデル１３に入力して、第１の予測結果を取得する。具体的には、第１予測部４１は、予測対象データに対応するベクトルとカテゴリごとのベクトルとを連結させた入力ベクトルを機械学習モデル１３に入力し、部品の予測結果を取得する。

図１０は、機械学習モデル１３を用いた第１の予測を説明する図である。図１０に示すように、第１予測部４１は、予測対象データ「タイプ＝本体ＧＧＧ、グレード＝６世代、要求事項＝傾斜強めかつ悪路対応」を取得し、機械学習済みのエンコーダを用いて、「タイプベクトル、グレードベクトル、要求仕様ベクトル」を生成する。また、第１予測部４１は、予め用意されたカテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトルを訓練データＤＢ１４等から取得する。

そして、第１予測部４１は、各ベクトルを連結させた「タイプベクトル、グレードベクトル、要求仕様ベクトル、カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」を機械学習モデル１３に入力し、出力結果を取得する。

例えば、第１予測部４１は、出力結果として出力ベクトルを取得し、出力ベクトルを、入力データの各ベクトルのインデックスに分割して、「カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」を抽出する。そして、第１予測部４１は、部品データベース等に登録されている各カテゴリの部品に対応するベクトルと、出力結果に含まれる各カテゴリベクトルとの距離に基づき、カテゴリの予測結果を生成して出力する。

具体的には、第１予測部４１は、１つのカテゴリに属するすべての部品について、例えばコサイン類似度などの類似度を算出し、softmax関数（正規化指数関数: Normalized exponential function）などを用いて、各類似度を足し合わせて１になるように、各類似度を変換する。そして、第１予測部４１は、変換後の値を「予測スコア」として出力する。このように、第１予測部４１は、カテゴリ内で使用する部品は一つであることから、ある部品のスコアが高いとき他部品のスコアが低くなるようにするために、類似度変換を実行する。

例えば、第１予測部４１は、カテゴリＢについて、部品データベース等に登録されているカテゴリＢの部品「林業用アーム」と「破砕用アーム」とを、機械学習済みのエンコーダを用いて、「林業用アームベクトル」と「破砕用アームベクトル」を生成する。そして、第１予測部４１は、カテゴリＢの部品空間に、出力結果のカテゴリＢベクトル、林業用アームベクトル、破砕用アームベクトルをマッピングする。第１予測部４１は、カテゴリＢベクトルと「林業用アームベクトル」とのコサイン類似度１、カテゴリＢベクトルと「破砕用アームベクトル」とのコサイン類似度２を算出する。

続いて、第１予測部４１は、上記コサイン類似度１とコサイン類似度２とを足し合わせて１になるように、softmax関数により各類似度の変換を行い、「林業用アームベクトル」について「予測スコア＝０．５２」、「破砕用アームベクトル」について「予測スコア＝０．４８」を算出する。この結果、第１予測部４１は、予測スコアが最も高い、言い換えると、出力結果のカテゴリＢベクトルに最も近い「林業用アームベクトル」を予測結果として出力する。

第２予測部４２は、第１の予測結果に含まれる複数のカテゴリの第１のカテゴリに関する一又は複数の部品のうち第１の部品の選択を受け付ける処理部である。そして、第２予測部４２は、要求仕様ベクトルと、複数のベクトルのうち第１の部品を表す第１のベクトルを除く他のベクトルと、第１の部品を表す第２のベクトルとを、機械学習モデル１３へ入力して、第２の予測結果を取得する処理部である。そして、第２予測部４２は、第２の予測結果をディスプレイ等に表示したり、管理端末に送信したりする。

具体的には、第２予測部４２は、第１の予測結果として、カテゴリごとに、「部品、予測スコア、予測」を含む画面を出力表示する。第２予測部４２は、その画面上で、予測結果が異なるカテゴリの「部品」の選択を受け付けると、選択された部品のベクトルである正解部品ベクトルを生成する。そして、第２予測部４２は、第１の予測に用いられた入力ベクトルのうち、選択された部品のベクトルを「正解部品ベクトル」に置き換えた入力ベクトルを生成する。その後、第２予測部４２は、置き換え後の入力ベクトルを機械学習モデル１３に入力して、第２の予測を実行する。

図１１は、第１の予測結果を用いた入力の置き換えを説明する図であり、図１２は、機械学習モデル１３を用いた第２の予測を説明する図である。なお、予測スコアは、第１予測部４１で説明した手法により算出される。

図１１に示すように、第２予測部４２は、第１の予測結果として、「カテゴリ、部品、予測スコア、予測」を表示する。例えば、第２予測部４２は、「カテゴリＡ、本体Ｇ、０．９９、〇」、「カテゴリＢ、林業用アーム、０．５２、〇」、「カテゴリＢ、破砕用アーム、０．４８、×」、「カテゴリＣ、林業用キャタピラ、０．５４、〇」、「カテゴリＣ、破砕用キャタピラ、０．４６、×」を表示する。つまり、この例では、各部品について、林業用が予測されている。

この状態で、第２予測部４２は、カテゴリＢについて、予測された「林業用アーム」ではなく「破砕用アーム」が正しいことを示すユーザ選択を受け付ける。すると、第２予測部４２は、機械学習済みのエンコーダを用いて、「破砕用アーム」から「破砕用アームベクトル」を生成する。その後、第２予測部４２は、第１の予測で用いられた「タイプベクトル、グレードベクトル、要求仕様ベクトル、カテゴリＡベクトル、カテゴリＢベクトル、カテゴリＣベクトル」のうち、カテゴリＢベクトルを「破砕用アームベクトル」に置き換える。

そして、図１２に示すように、第２予測部４２は、置き換え後の入力データ「タイプベクトル、グレードベクトル、要求仕様ベクトル、カテゴリＡベクトル、破砕用アームベクトル、カテゴリＣベクトル」を機械学習モデル１３に入力して、出力結果を取得する。その後、第２予測部４２は、第１の予測と同様、各カテゴリについて、カテゴリの部品空間上でマッピングを行って、予測結果を生成する。

例えば、第２予測部４２は、第２の予測結果として、「カテゴリＡ、本体Ｇ、０．９９、〇」、「カテゴリＢ、林業用アーム、０．２２、×」、「カテゴリＢ、破砕用アーム、０．７８、〇」、「カテゴリＣ、林業用キャタピラ、０．３２、×」、「カテゴリＣ、破砕用キャタピラ、０．６８、〇」を表示する。つまり、各部品ついて、第１の予測では林業用が予測されたが、第２の予測では破砕用に更新されている。

ここで、第２予測部４２は、ユーザから図１１に示した選択を受け付けない場合、ユーザが予測に満足したと判定し、第２の予測結果を最終的な予測結果として出力する。一方、第２予測部４２は、ユーザから図１１に示した選択を受け付けた場合、図１１と図１２の処理を再度実行し、ユーザが満足するまで繰り返す。

次に、情報処理装置１０が実行する処理の流れについて説明する。ここでは、全体的な処理の流れ、機械学習処理の流れ、予測処理の流れについて説明する。なお、ここでは、機械学習処理の後に予測処理が実行される例で説明するが、情報処理装置１０は、機械学習処理と予測処理とは別々のフローで実行することもできる。

図１３は、実施例１にかかる情報処理装置１０の全体的な処理の流れを示すフローチャートである。図１３に示すように、情報処理装置１０は、処理開始時が指示されると（Ｓ１０１：Ｙｅｓ）、訓練データＤＢ１４から訓練データを取得する（Ｓ１０２）。

続いて、情報処理装置１０は、訓練データをベクトルに変換し（Ｓ１０３）、ベクトルを用いて機械学習モデル１３の機械学習を実行する（Ｓ１０４）。ここで、情報処理装置１０は、機械学習を継続する場合（Ｓ１０５：Ｎｏ）、次の訓練データについてＳ１０４以降を繰り返す。

一方、情報処理装置１０は、機械学習を終了すると（Ｓ１０５：Ｙｅｓ）、予測対象データＤＢ１５から予測対象データを取得する（Ｓ１０６）。続いて、情報処理装置１０は、予測対象データをベクトルに変換し（Ｓ１０７）、変換したベクトルを入力ベクトルとして機械学習モデル１３に入力して第１の予測を取得する（Ｓ１０８）。

そして、情報処理装置１０は、第１の予測を表示し（Ｓ１０９）、予測結果の修正を行うカテゴリの選択を受け付ける状態となる（Ｓ１１０）。ここで、情報処理装置１０は、カテゴリの選択を受け付けない場合（Ｓ１１０：Ｎｏ）、第１の予測を最終的な予測結果として出力する（Ｓ１１１）。

一方、情報処理装置１０は、カテゴリの選択を受け付けたい場合（Ｓ１１０：Ｙｅｓ）、選択されたカテゴリベクトルを生成する（Ｓ１１２）。続いて、情報処理装置１０は、予測対象データのベクトルのうち、選択されたカテゴリに対応するベクトルを、Ｓ１１１で生成したベクトルに置き換えた置き換え後の入力ベクトルを生成する（Ｓ１１３）。

その後、情報処理装置１０は、置き換え後の入力ベクトルを機械学習モデル１３に入力して第２の予測を取得し（Ｓ１１４）、第２の予測結果を出力する（Ｓ１１５）。

図１４は、実施例１にかかる機械学習処理の詳細な流れを示すフローチャートである。ここでは、自然文、ラベル情報（正解情報）、数値情報などの入力情報をベクトル化したデータを要求仕様ベクトルと記載する。また、入力情報の数をＮとし、Ｎ個の要求仕様ベクトルが生成される。例えば、要求仕様ベクトルがＮ個、カテゴリベクトルがＭ個あった場合、入力ベクトル数はＮ＋Ｍ個となり、入力ベクトルのＮ＋１個目はカテゴリベクトルの１つ目となるように結合される。

図１４に示すように、機械学習部３０は、事前設定を実行する（Ｓ２０１）。例えば、機械学習部３０は、カテゴリ毎に用意されたベクトルであるカテゴリベクトルを取得し、初期値を設定する。なお、各カテゴリベクトルは、機械学習の対象である。

続いて、機械学習部３０は、無作為に選ばれた変数ｉに対して、カテゴリベクトル（ｉ）を正解部品ベクトル（ｉ，正解部品に対応するインデックス）で置き換える（Ｓ２０２）。

続いて、機械学習部３０は、変数ｉが自己注意機構の層の数に達するまで、ｉを１ずつ増加させてＳ２０３からＳ２１２までのループ処理を実行する。

具体的には、機械学習部３０は、変数ｉが入力ベクトル数に達するまで、ｉを１ずつ増加させてＳ２０４からＳ２０６のループ処理を実行する。すなわち、機械学習部３０は、入力ベクトル（ｉ）を、Ｑｕｅｒｙベクトル用の全結合ニューラルネットに投入してＱベクトル（ｉ）を生成し、入力ベクトル（ｉ）を、Ｋｅｙベクトル用の全結合ニューラルネットに投入してＫベクトル（ｉ）を生成し、入力ベクトル（ｉ）を、Ｖａｌｕｅベクトル用の全結合ニューラルネットに投入してＶベクトル（ｉ）を生成する。

続いて、機械学習部３０は、変数ｉが入力ベクトル数に達するまで、ｉを１ずつ増加させてＳ２０７からＳ２１１のループ処理を実行し、変数ｊが入力ベクトル数に達するまで、ｊを１ずつ増加させてＳ２０８からＳ２１０のループ処理を実行する。すなわち、機械学習部３０は、Ｑベクトル（i）とＫベクトル（j）の類似度ｉｊを算出する。例えば、機械学習部３０は、０から１を範囲（１の方が類似している）のスカラー値で類似度を算出する。そして、機械学習部３０は、０で初期アされた出力ベクトル（ｉ）に対して、出力ベクトル（ｉ）を類似度ｉｊで重み付けされたＶベクトル（ｊ）で足しこむことで、「出力ベクトル（ｉ）＝類似度ｉｊ×Ｖベクトル（ｊ）＋出力ベクトル（ｉ）」を算出する。

このようにしてＳ２０３からＳ２１２までのループ処理を実行した後、機械学習部３０は、変数ｉがカテゴリベクトル数（Ｍ個）に達するまで、ｉを１ずつ増加させてＳ２１３からＳ２１８のループ処理を実行する。

具体的には、機械学習部３０は、変数ｊが変数ｉ番目のカテゴリに属する部品種類数に達するまで、ｊを１ずつ増加させてＳ２１４からＳ２１７のループ処理を実行する。すなわち、機械学習部３０は、カテゴリ（ｉ）用のエンコーダでｉ番目のカテゴリに属するｊ番目の部品をベクトル化し、正解部品ベクトル（ｉ，ｊ）を生成する。そして、機械学習部３０は、正解部品ベクトル（ｉ，ｊ）と出力ベクトル（Ｎ＋ｉ）の類似度を算出し、ｉ番目のカテゴリに属するｊ番目の部品のスコアを算出する。なお、出力ベクトル（Ｎ＋ｉ）は、Ｍ個のカテゴリの中のｉ番目のカテゴリと対応する。その後、機械学習部３０は、各カテゴリの正解部品と出力ベクトル（Ｎ＋ｉ）の距離を損失として、機械学習モデル１３の機械学習を実行する。

次に、予測処理を説明する。図１５は、実施例１にかかる予測処理の詳細な流れを示すフローチャートである。図１５に示すように、予測処理部４０は、後述する予測結果の取得処理を実行する（Ｓ３０１）。

続いて、予測処理部４０は、Ｓ３０２からＳ３０６の部品逐次確定のループ処理を実行する。具体的には、予測処理部４０は、カテゴリごとに予測された部品の中で、確定したい部品をユーザが少なくとも１つ選択する（Ｓ３０３）。そして、予測処理部４０は、ｉ番目のカテゴリに属する部品ｊが選択されると、入力ベクトル（Ｎ＋ｉ）を正解部品ベクトル（ｉ，ｊ）で置き換える（Ｓ３０４）。その後、予測処理部４０は、Ｓ３０１と同様の予測結果の取得処理を実行する（Ｓ３０５）。ここで、予測処理部４０は、ユーザが予測結果に満足した場合は処理を終了し、ユーザが予測結果に満足しない場合はループ処理を継続する（Ｓ３０６）。

次に、Ｓ３０１とＳ３０５で実行される予測結果の取得処理を説明する。図１６は、予測結果の取得処理の流れを示すフローチャートである。図１６に示すように、予測処理部４０は、Ｓ２０１と同様の処理であるＳ４０１を実行した後、Ｓ２０３からＳ２１２と同省の処理であるＳ４０２からＳ４１１を実行する。

その後、予測処理部４０は、変数ｉがカテゴリベクトル数（Ｍ個）に達するまで、ｉを１ずつ増加させてＳ４１２からＳ４１７のループ処理を実行し、変数ｊが変数ｉ番目のカテゴリに属する部品種類数に達するまで、ｊを１ずつ増加させてＳ４１３からＳ４１５のループ処理を実行する。

すなわち、予測処理部４０は、カテゴリ（ｉ）用のエンコーダでｉ番目のカテゴリに属するｊ番目の部品をベクトル化し、正解部品ベクトル（ｉ，ｊ）を生成する。そして、予測処理部４０は、正解部品ベクトル（ｉ，ｊ）と出力ベクトル（Ｎ＋ｉ）の類似度を算出し、ｉ番目のカテゴリに属するｊ番目の部品のスコアを算出する。なお、出力ベクトル（Ｎ＋ｉ）は、Ｍ個のカテゴリの中のｉ番目のカテゴリと対応する。その後、予測処理部４０は、カテゴリｉ番目に属する部品の中で、最もスコアが大きい部品を予測結果の部品と特定する。

上述したように、情報処理装置１０は、要求仕様を表すベクトルと、カテゴリを表す複数のベクトルとをセルフアテンションモデルに入力して、第１の予測結果を取得する。情報処理装置１０は、第１の予測結果に含まれる複数のカテゴリの第１のカテゴリに関する一又は複数の部品のうち第１の部品の選択を受け付ける。情報処理装置１０は、要求仕様を表すベクトルと、複数のベクトルのうち第１の部品を表す第１のベクトルを除く他のベクトルと、第１の部品を表す第２のベクトルとを、セルフアテンションモデルへ入力して、第２の予測結果を取得する。したがって、情報処理装置１０は、精度の高い予測結果を取得することができる。特に、膨大な部品数の中から正確な組み合わせの選択が要求される場合に、上記情報処理装置１０は、誤った組合せの選択を抑制し、手動で選択する場合や公知の技術を用いる場合と比較しても、高速かつ正確な部品選択を実現することができる。

上述したように、情報処理装置１０は、自然文、数値、ラベルなどを表す要求仕様ベクトルに変換する。情報処理装置１０は、部品カテゴリの種類数だけベクトルを生成する。情報処理装置１０は、要求仕様ベクトルと部品カテゴリのベクトルと結合して多層のセルフアテンションモデルに投入する。情報処理装置１０は、カテゴリごとに空間を分けて各部品をベクトル化し、セルフアテンションモデルの出力ベクトルとカテゴリごとに空間が分けられた部品ベクトルに距離関数を適用し、カテゴリごとに部品を予測する。したがって、情報処理装置１０は、カテゴリ間の共起、非共起関係を強く学習することができる。

上述したように、情報処理装置１０は、受注生産を行うような業界の見積自動化を行うのに際して、入力を要求仕様、出力を部品データベースに登録された部品の組み合わせとするような機械学習モデルを用いる。情報処理装置１０は、出力部品の中で、確度の高い部品カテゴリの部品を逐次的に確定することで、確定済み部品カテゴリとは異なる他部品カテゴリの出力部品のスコアを動的に更新することができる。したがって、情報処理装置１０は、出力部品の傾向が大きく間違うことを抑制することができる。

上記実施例で用いたデータ例、カテゴリ名やカテゴリ数、要求仕様、部品名等は、あくまで一例であり、任意に変更することができる。また、機械学習部３０と予測処理部４０とを別々の情報処理装置で実現することもできる。

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、機械学習部３０と予測処理部４０とが統合されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１７は、ハードウェア構成例を説明する図である。図１７に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１７に示した各部は、バス等で相互に接続される。

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図４等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、機械学習部３０と予測処理部４０等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、機械学習部３０と予測処理部４０等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１０は、プログラムを読み出して実行することで機械学習方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 機械学習モデル
１４ 訓練データＤＢ
１５ 予測対象データＤＢ
２０ 制御部
３０ 機械学習部
４０ 予測処理部
４１ 第１予測部
４２ 第２予測部

Claims (7)

1. 入力された条件を表すベクトルと、複数の項目を表す複数のベクトルとを機械学習モデルに入力して、第１の予測結果を取得し、
   前記第１の予測結果に含まれる前記複数の項目の第１の項目に関する一又は複数の属性のうち第１の属性の選択を受け付け、
   前記条件を表すベクトルと、前記複数のベクトルのうち前記第１の項目を表す第１のベクトルを除く他のベクトルと、前記第１の属性を表す第２のベクトルとを、前記機械学習モデルへ入力して、第２の予測結果を取得する、
   処理をコンピュータに実行させることを特徴とする予測プログラム。
2. 前記第１の予測結果を取得する処理は、
   前記機械学習モデルから出力された前記複数の項目それぞれに対応する各出力ベクトルに対して、各項目の特徴空間における前記出力ベクトルと各項目に属する各属性のベクトルとの距離に基づく、前記各項目の予測結果を含む前記第１の予測結果を取得し、
   前記受け付ける処理は、
   前記第１の予測結果に含まれる前記第１の項目について選択された前記第１の属性を表す前記第２のベクトルを、前記第１の項目の特徴空間を用いて特定し、
   前記第２の予測結果を取得する処理は、
   前記条件を表すベクトルと前記他のベクトルと前記第２のベクトルとを前記機械学習モデルへ入力して得られた各出力ベクトルに対して、前記各項目の特徴空間において前記出力ベクトルと各項目に属する各属性のベクトルとの距離に基づく、前記各項目の予測結果を含む前記第２の予測結果を取得する、
   処理を含むことを特徴とする請求項１に記載の予測プログラム。
3. 前記機械学習モデルは、
   複数の層を有し、
   前記複数の層の先頭の層に、前記条件を表すベクトルと、前記複数の項目のうち一又は複数の項目の正解情報を表す第３のベクトルと、前記複数の項目のうち前記一又は複数の項目以外の各項目を表す第４のベクトルとを含む入力ベクトルを入力し、前記先頭の層以降の層については前段の層の出力結果を入力する、自己注意機構を用いた機械学習により生成された機械学習モデルである、
   ことを特徴とする請求項１に記載の予測プログラム。
4. 前記機械学習モデルは、
   前記複数の層それぞれにおいて、前記入力ベクトル内の各ベクトルから、前記自己注意機構の要素であるクエリ、キー、バリューのそれぞれに対応するクエリベクトル、キーベクトル、バリューベクトルを生成し、
   前記入力ベクトル内の各ベクトルの各キーベクトルと、前記各ベクトルの各クエリベクトルとの類似度を算出し、
   前記各ベクトルについて、各類似度と前記バリューベクトルとを乗算して合計した合計ベクトルを生成し、
   前記各ベクトルの前記合計ベクトルを連結させた出力ベクトルを、前記入力ベクトルして後段の層に入力する、
   ことを特徴とする請求項３に記載の予測プログラム。
5. 前記入力ベクトルと正解情報とを含む訓練データを前記機械学習モデルに入力し、
   前記機械学習モデルの最終層から出力された前記出力ベクトルに基づく予測結果と、前記正解情報との誤差が小さくなるように、前記機械学習モデルの前記複数の層のパラメータを更新する、処理を前記コンピュータに実行させることを特徴とする請求項４に記載の予測プログラム。
6. 入力された条件を表すベクトルと、複数の項目を表す複数のベクトルとを機械学習モデルに入力して、第１の予測結果を取得し、
   前記第１の予測結果に含まれる前記複数の項目の第１の項目に関する一又は複数の属性のうち第１の属性の選択を受け付け、
   前記条件を表すベクトルと、前記複数のベクトルのうち前記第１の項目を表す第１のベクトルを除く他のベクトルと、前記第１の属性を表す第２のベクトルとを、前記機械学習モデルへ入力して、第２の予測結果を取得する、
   処理をコンピュータに実行することを特徴とする予測方法。
7. 入力された条件を表すベクトルと、複数の項目を表す複数のベクトルとを機械学習モデルに入力して、第１の予測結果を取得し、
   前記第１の予測結果に含まれる前記複数の項目の第１の項目に関する一又は複数の属性のうち第１の属性の選択を受け付け、
   前記条件を表すベクトルと、前記複数のベクトルのうち前記第１の項目を表す第１のベクトルを除く他のベクトルと、前記第１の属性を表す第２のベクトルとを、前記機械学習モデルへ入力して、第２の予測結果を取得する、
   制御部を有することを特徴とする情報処理装置。

Images