JP2016194910A - 混合モデル選択の方法及び装置 - Google Patents

Abstract

【課題】早く、効率的で、高い汎用性を有する混合モデル選択の方法を提供する。【解決手段】本実施の形態は、混合モデル選択の方法と装置に関する。この方法は、第１の初期潜在変数の訓練によって、候補モデルを生成する工程と、複数の候補モデルに基づき第２の初期潜在変数を決定する工程と、第２の初期潜在変数に基づきターゲットモデルを決定する工程を含む。【選択図】図１

Description

本発明の実施の形態は、機械学習に関し、特に、混合モデル選択の方法及び装置に関する。

混合モデルは、混合分布を用いる密度推定に関する確率モデルの一種で、部分母集団から成る母集団を表す。混合モデルには、混合ガウスモデル、区分線形混合モデルなどが含まれ、文書の分類、手書き認識、ファジーイメージ分離などの広い分野に適用されている。

混合モデルのモデル選択は、モデルパラメータのような、モデルの表現の最適化を含み、実行上、最も重要で困難な問題である。混合モデルのモデル選択はいくつか開示されている。その混合モデルのモデル選択の中で、局所的に対数尤度の近似を繰り返す変分推論法はより有効な方法である。しかし、変分推論法は、初期化による影響が大きい。変分推論法の初期化が適切でなければ、変分推論法の効果は低く、正確に、かつ、有効にモデルを推定できない。このため、初期化は、変分推定法の正確性、有効性に影響を与える重要な要素である。

近年、変分推論法の初期化方法として、例えば、ランダム初期化、クラスタベースの初期化などから構成されている。しかし、ランダム初期化は一般に初期化に多数のサンプルを使用するため長い処理時間を要し、モデル選択は低速度で実行される。また、クラスタベースの初期化は、クラスタ型の混合モデル（例えば、混合ガウスモデルなど）に対して有効に動作するが、認識／分類を目的とする混合モデルに対して適切な結果を得られない。このため、クラスタベースの初期化は汎用性が低い。

このため、混合モデルの選択において、処理時間が短く、汎用性の高い初期化方法が必要である。

本発明の実施の形態は、混合モデル選択の技術的な解決法を提供することを目的とする。

本発明の一つの観点において、混合モデルの選択方法を提供する。この混合モデルの選択方法は、
複数の第１の初期潜在変数の訓練により、候補モデルを複数生成する工程と、
複数の前記候補モデルに基づき複数の第２の初期潜在変数を決定する工程と、
前記第２の初期潜在変数に基づきターゲットモデルを決定する工程と、
を含む。

また、本発明の他の観点において、混合モデルの選択装置を提供する。この混合モデルの選択装置は、
複数の第１の初期潜在変数の訓練により、候補モデルを複数生成する候補モデル生成部と、
複数の前記候補モデルに基づき第２の初期潜在変数を決定する第１決定部と、
前記第２の初期潜在変数に基づきターゲットモデルを決定する第２決定部と、
を備える。

本発明の実施の形態によれば、候補モデルの訓練結果を使用して、新しい初期潜在変数を生成する。この後、新しい初期潜在変数に基づき、混合モデルの種類に限定されることなく、新しいモデルを獲得する。それゆえ、本発明の解決法は、高い汎用性を有する。また、本発明の実施の形態によれば、局所的に最適化されたモデルに基づき、より確かな新しい初期潜在変数を獲得する。次に、新しい初期潜在変数に基づきターゲットモデルを獲得する。
上記のターゲットモデルを獲得する方法は、無作為に初期化されたいくつかの潜在変数を用いて直接ターゲットモデルを獲得する方法と比較し、同等の正確さを有しながら、処理時間が著しく短い。つまり、本発明に従う解決法は、高い実行速度を誇る。本発明の他の特徴、優位点については、後述する。

この開示の上記または他の目的、特徴、優位点は、添付図面の中の本発明の実施の形態に関するより詳細な説明から、より明確になる。

本発明の実施の形態における混合モデル選択の方法の処理に関するフローチャートである。 本発明の実施の形態における混合モデル選択の方法の処理に関するフローチャートである。 本発明の実施の形態における第２の初期潜在変数を決定する方法の処理に関するフローチャートである。 本発明の実施の形態における混合モデル選択の方法を説明するための概要図である。 本発明の実施の形態における混合モデル選択の装置のブロック図である。 本発明の実施の形態の実行に適用可能なコンピュータシステムの一例のブロック図である。

図を通して、同一又は類似の数字は、同一又は類似の要素を表す。

本発明の好適な実施の形態を、図面を参照して詳細に説明する。図面には、この開示の好適な実施の形態を示している。しかし、本開示は、種々の手法で実施しうるため、後述の実施の形態に限定されると解釈すべきではない。それどころか、この開示の完全な理解のために、実施の形態を示しており、当業者は本発明の範囲に関するすべてを理解することができる。

本発明の方法と原理を詳細に説明する。特に明記しない限り、以下及び特許請求の範囲では、「基づき」の文言は「少なくとも部分的に基づき」を意味する。「構成する」の文言は、「限定されずに含む」を意味する。「複数の」の文言は、「二以上の」を意味する。「一実施の形態」の文言は、「少なくとも一実施の形態」を意味する。「他の一実施の形態」の文言は、「少なくとも他の一実施の形態」を意味する。関連する他の文言の定義は、以降の記述で示される。

図１に、本発明の実施の形態に係る混合モデル選択の方法１００の処理に関するフローチャートを示す。従来、変分推論法の初期化において、ランダム初期化、クラスタベース初期化などの手順が利用されている。しかし、これらの初期化方法には、一般に処理時間が長いこと、汎用性が低いことなどの問題がある。このような問題は、すべて混合モデル選択において生じる。この実施の形態に係る混合モデル選択の方法１００は、後述するとおり、この問題を効率的に解決できる。

図１に示すように、混合モデルの選択方法１００は、最初に、ステップＳ１１０で複数の第１の初期潜在変数を用いた訓練により、複数の候補モデルを生成する。

本発明の実施の形態において、「潜在変数」は、直接観測できないが、サンプルデータから取得可能な変数である。潜在変数の変分分布は、対応するカテゴリに対するクラスタ型サンプルデータの確率を表すのに使用しうる。本発明の実施の形態において、「潜在変数」は、一種類に限定せず、「潜在変数の変分分布」及び／又は他の適切な情報から構成されることに注意されたい。この開示において、潜在変数には、初期潜在変数、更新潜在変数などが含まれる。なお、初期潜在変数とは訓練用の潜在変数を表し、更新潜在変数は訓練の結果としての潜在変数を表す。

本発明の実施の形態において、「モデル」には、候補モデル、中間モデル、ターゲットモデルなどが含まれえる。モデルは、初期潜在変数を用いた訓練により、生成されえる。生成されたモデルは、モデル構造、モデルパラメータ、更新潜在変数の変分分布などの要素を有する。
モデルパラメータは、混合モデルの種類により異なる。一般的に混合モデルは、モデルの種類を表す用語で、混合モデルは複数の下位モデルから構成される場合もある。つまり、モデルパラメータは、混合モデルの特定の種類と関連している。例えば、混合ガウスモデルのモデルパラメータには、各下位モデルが持つガウス分布の平均と分散が含まれる。区分線形混合モデルのモデルパラメータには、ゲートノードの条件制御パラメータと、リーフノードの偏差と回帰係数が含まれる。
モデル構造も、特定の混合モデルの種類に関連している。例えば、混合ガウスモデルのモデル構造には、下位モデルの数と下位モデルの結合係数などが含まれる。区分線形混合モデルのモデル構造には、学習されたツリー構造が含まれる。
上記の例は単に説明のために示したもので、本発明の範囲を限定することを意図しない。

一実施の形態において、ステップＳ１１０において、訓練サンプルセットに基づき、複数の第１の初期潜在変数を決定する。
例えば、訓練サンプルセットから無作為にサンプルを集め、又は、サンプルをクラスタ化し、複数の第１の初期潜在変数を獲得する。第１の初期潜在変数は、行列、データセット、又はその他の適当な形式である。
一実施の形態において、第１の初期潜在変数をｋ×ｎ次元の行列で表しうる。ここで、ｋは行列の行の数で、第１の初期潜在変数のサンプルグループの数を表し、ｎは行列の列の数で、訓練サンプルセットのサンプルの数を表す。また、行列の１行は１つのサンプルグループに対応する。各行の各々の要素の値は０又は１である。例えば、ある行におけるｉ番目の要素が１の場合は、この行に対応するサンプルグループは、訓練サンプルセットのｉ番目のサンプルを含むことを意味する。この行のｊ番目の要素が０の場合は、この行に対応するサンプルグループは、訓練サンプルセットのｊ番目のサンプルを含まないことを意味する。この行列における要素の値は、０又は１である必要はなく、他の適切な数字を用いてもよい。
上記の例は単に説明のために示したもので、本発明の範囲を限定しない。
他の実施の形態において、第１の初期潜在変数は、例えば、ｋのサンプルグループを含み、各々のサンプルグループが一つ以上のサンプルを持つような、データセットでもよい。
上記の例は単に説明のために示したもので、本発明の範囲を限定しない。当業者は、その他の適切な手法により、第１の初期潜在変数を獲得しうる。

次に、複数の第１の初期潜在変数における各々の第１の初期潜在変数に関する訓練サンプルセットで学習し、各々の第１の初期潜在変数に対応する候補モデルを生成する。
例えば、各々の第１の初期潜在変数に関する訓練サンプルセットを使用した教師あり学習、又は、教師なし学習により、混合モデルのモデル構造、モデルパラメータ、更新潜在変数の変分分布を自動的に学習する。これにより、対応する候補モデルを獲得する。

次に、方法１００の処理はステップＳ１２０に進み、複数の候補モデルに基づき、第２の初期潜在変数を決定する。

本発明の実施の形態において、種々の手法で、複数の候補モデルに基づき、第２の初期潜在変数を決定しうる。一実施の形態において、複数の候補モデルを対に組み合わせ、この対の候補モデルに基づき、第２の初期潜在変数を決定する。
例えば、候補モデルが二つとすると、一対の候補モデルを形成し、この一対の候補モデルに基づき、第２の初期潜在変数を決定する。対に組み合わせた候補モデルが複数の場合、各々の対の候補モデルに基づき、第２の初期潜在変数を決定する。その結果、第２の初期潜在変数を複数獲得する。

他の一実施の形態において、複数の候補モデルから、複数の候補モデルの性能に基づき、候補モデルを二つ以上選択する。モデルの性能には、精度、時間有効性などの種々の因子が含まれる。種々の方法で、例えば、二乗平方根誤差、平均絶対誤差、尤度比などを算出し、モデルの性能を決定しうる。
精度を例にすると、予測／分類の混合モデルでは、テストデータの予測／分類を利用し、対応する予測／分類に関する精度を獲得しうる。また、クラスタリングモデルでは、例えば、基準となる共通な情報などで、候補モデルの精度を算出しうる。
このモデルの性能を評価することで、複数の候補モデルから、より高い性能を持つ候補モデルを二つ以上選択しうる。この後、選択した二つ以上の候補モデルを対に組み合わせ、この対の候補モデルに基づき、第２の初期潜在変数を決定してもよい。
また、本発明のさらなる一実施の形態において、各々の対の候補モデルを成す候補モデルを第１の候補モデルと第２の候補モデルとすると、各々の対の候補モデルの第１の候補モデルの更新潜在変数と第２の候補モデルの更新潜在変数に基づき、第２の初期潜在変数を決定する。このようにして、一つ以上の対の候補モデルに基づき、第２の初期潜在変数を一つ以上決定してもよい。

また、本発明の実施の形態によれば、第２の初期在変数の決定を繰り返し、より性能の高いモデルを獲得してもよい。
一実施の形態において、次のｉ）〜ｉｉｉ）を１回又は繰り返し、実行してもよい。ｉ）複数の第２の初期潜在変数を用いて訓練により、複数の中間モデルを獲得する。ｉｉ）複数の中間モデルに基づき、第３の初期潜在変数を決定する。ｉｉｉ）第３の初期潜在変数を用いて、第２の初期潜在変数を更新する。
この実施の形態では、複数の中間モデルに基づき第３の初期潜在変数を決定する方法は、複数の候補モデルに基づき第２の初期潜在変数を決定するステップＳ１２０と類似した方法を採用してもよい。この手法において、ある状態になるまで繰り返し、第２の初期潜在変数を決定する。この状態は、例えば、実行回数が予め定義された繰り返し回数に達した状態、第２の初期潜在変数の精度が予め定義された精度に達した状態、その他の類似した状態である。

さらに、図１に示すとおり、方法１００の処理はステップＳ１３０に進み、第２の初期潜在変数に基づき、ターゲットモデルを決定する。

本実施の形態において、ステップＳ１２０で、第２の初期潜在変数が一つ以上決定されうる。
一実施の形態において、ステップＳ１２０で決定された第２の初期潜在変数が一つとすると、ステップＳ１３０で第２の初期潜在変数の訓練により、獲得されたモデルを、ターゲットモデルとして決定する。

他の一実施の形態において、ステップＳ１２０で決定された第２の初期潜在変数が複数とすると、ステップＳ１３０で第２の初期潜在変数の訓練により、中間モデルを複数獲得し、複数の中間モデルの性能を決定し、この性能に基づき、複数の中間モデルから一つをターゲットモデルとして選択してもよい。

以上からわかるとおり、上記実施の形態は、混合モデルの特定の種類から生じる特徴に関係しないため、汎用性が高く、混合モデルの特定の種類に限定されない。また、性能に従い部分的に最適なモデルを決定し、このモデルに基づき、より確かな初期潜在変数を決定する。このため、より短い処理時間で、ターゲットモデルを算出することができ、効率的な解決法である。
さらに、図２に示した実施の形態を通して、本発明の実施の形態のさらなる利点を説明する。

図２に、本発明の実施の形態に係る混合モデル選択の方法２００の処理に関するフローチャートを示す。混合モデル選択の方法２００は、混合モデル選択の方法１００の一実施の形態とみなされうる。複数の候補モデルから第２の初期潜在変数を決定する時、方法２００は、最初に、高い性能の候補モデルを選択し、選択した候補モデルを対に組み合わせて、第２の初期潜在変数を決定する。この実施の形態は、単に説明のために示したもので、本発明の範囲を限定しない。

方法２００は、最初に、ステップＳ２１０で訓練サンプルセットに基づき、複数の第１の初期潜在変数を決定する。

図２に示す実施の形態において、訓練サンプルセットは、複数のサンプル（サンプルデータとも呼ばれる）から構成されるセットである。各サンプルは、複数のパラメータにより特徴付けられる。
サンプルは（ｘ、ｙ）のように表しうる。ここで、ｘはサンプルの特徴、ｙはサンプルによる推定値を表す。例えば、電力消費データのサンプルのｘは今日の電力消費、気温、湿度などを含み、ｙは明日の電力消費の推定値である。言い換えれば、ｘ=[今日の電力消費、気温、湿度・・・]、ｙ=明日の電力消費となる。
以降では、前述のようにサンプルを一つ以上含むサンプルのグループを「サンプルグループ」という。

本発明の実施の形態において、訓練サンプルセットから無作為に、第１の初期潜在変数を複数生成する。または、訓練サンプルセットのサンプルをクラスタ化し、第１の初期潜在変数を複数生成してもよい。または、当業者は、他の方法で、訓練サンプルセットに基づき、第１の初期潜在変数を決定してもよい。これらの例示した実施の形態は、本発明の範囲を限定しない。

ステップＳ２２０において、複数の第１の初期潜在変数における各々の第１の初期潜在変数について、訓練サンプルセットで学習し、各々の第１の初期潜在変数に対応する候補モデルを生成する。

一実施の形態において、各々の第１の初期潜在変数について、訓練サンプルセットを用いた教師あり学習、又は、教師なし学習により、混合モデルのモデル構造、モデルパラメータ、更新潜在変数の変分分布を自動的に学習する。これにより、対応する候補モデルを獲得する。この手法で、複数の第１の初期潜在変数に対応する候補モデルを複数獲得する。

次に、方法２００の処理はステップＳ２３０に進み、複数の候補モデルの性能に基づき、複数の候補モデルから候補モデルを二つ以上選択する。

モデルの性能は、精度、時間有効性などを含む。予測／分類の混合モデルにおいては、候補モデルにおけるモデル構造、モデルパラメータ、更新潜在変数の変分分布を、テストデータの予側／分類に使用し、予測／分類の精度を獲得しうる。一方、クラスタリングモデルにおいては、基準となる共通の情報などで、候補モデルのクラスタリングの精度を算出しうる。精度に加えて、時間有効性などのモデルの他の関係する要素を決定することで、モデルの性能を獲得してもよい。前述の例は単に説明のために示したもので、本発明の範囲を限定しない。

候補モデルの選択において、複数の候補モデルから構成される大きなセットから小さなセットに減らして、より高い性能の候補モデルを選択し、初期潜在変数をさらに決定してもよい。
一実施の形態において、各々の候補モデルにおけるモデル構造、モデルパラメータ、更新潜在変数の変分分布に基づき、複数の候補モデルの中の各々の候補モデルの性能を決定する。この性能に基づき、候補モデルを順位付ける。例えば、複数の候補モデルを性能の高い順番に並べ、この順番に基づき、複数の候補モデルから候補モデルを二つ以上選択する。例えば、並べた複数の候補モデルから最初の二つ以上を選択し、より高い性能の候補モデルを選択する。

ステップＳ２４０において、二つ以上の候補モデルを対に組み合わせる。

対に組み合わせる方法には、種々の手法が存在する。
一実施の形態において、二つ以上の候補モデルのうち、それぞれ二つのモデルを一対として組み合わせる。例えば、候補モデルの数が四つのとき、順列組み合わせにより、６対の候補モデルが得られる。
他の一実施の形態において、候補モデルのうち、二つの候補モデルを選択し、一対に形成してもよい。例えば、候補モデルの数が四つのとき、１、２、・・・又は、６対の候補モデルが得られる。

前述の対に組み合わせる方法の他に、当業者は他の最適な方法を使用してもよい。前述の例は単に説明するために示したもので、本発明の範囲を限定しない。

ステップＳ２５０において、対の候補モデルに基づき、第２の初期潜在変数を決定する。

第２の初期潜在変数も初期潜在変数であるが、第１の初期潜在変数とは異なる。本発明の実施の形態によれば、対に組み合わせた候補モデルにおける各々の対の候補モデルは第１の候補モデルと第２の候補モデルとから構成され、第１の候補モデルの更新潜在変数と、第２の候補モデルの更新潜在変数とに基づき、第２の初期潜在変数を一つ決定する。
この手法において、ステップＳ２５０では、第２の初期潜在変数を一つ以上決定する。なお、第２の初期潜在変数の数は、対の候補モデルの数に依存する。

本発明の実施の形態によれば、種々の方法で、第２の初期潜在変数を決定しうる。
一実施の形態において、次のｉ）〜ｖ）を１回または繰り返し、第２の初期潜在変数を決定する。ｉ）各々の対の候補モデルを成す第１の候補モデルの更新潜在変数の中からサンプルグループを、第１のサンプルグループとして選択する。ｉｉ）第１のサンプルグループに基づき、各々の対の候補モデルを成す第２の候補モデルの更新潜在変数の中のサンプルグループから、第２のサンプルグループを決定する。ｉｉｉ）第１のサンプルグループと第２のサンプルグループとの交わりを決定する。ｉｖ）この交わりに基づき、第１のサンプルグループを、二のサブセットに分ける。ｖ）二のサブセットに基づき、第２の初期潜在変数を構築する。この繰り返しを、予め定義された回数まで、又は、第２の初期潜在変数の構築完了まで行う。
図３に、一実施の形態における、第２の初期潜在変数を決定する方法３００の処理に関するフローチャートを示す。

ステップＳ３１０において、各々の対の候補モデルを成す第１の候補モデルの更新潜在変数の中からサンプルグループを、第１のサンプルグループとして選択する。

一実施の形態において、第１の候補モデルの更新潜在変数は、Ｇ１＝｛Ｉ_１、・・・、Ｉ_ｇ１｝と表す。ここで、Ｉは第１の候補モデルの更新潜在変数の中のサンプルグループで、サンプルのグループを表す。また、ｇ１は、第１の候補モデルの更新潜在変数におけるサンプルグループの数を表す。
同様に、第２の候補モデルの更新潜在変数を、Ｇ２＝｛Ｉ’_１、・・・、Ｉ’_ｇ２｝と表す。ここで、Ｉ’は、第２の候補モデルの更新潜在変数におけるサンプルグループを表す。ｇ２は、第２の候補モデルの更新潜在変数におけるサンプルグループの数を表す。
例えば、ステップＳ３１０では、Ｇ_１の中のサンプルグループ（例えば、Ｉ_１）を、第１のサンプルグループとして、選択する。

ステップＳ３２０において、第１のサンプルグループに基づき、各々の対の候補モデルを成す第２の候補モデルの更新潜在変数の中のサンプルグループから、第２のサンプルグループを決定する。

本発明の実施の形態によれば、種々の方法で、第２のサンプルグループを決定しうる。
一実施の形態において、第１のサンプルグループと、第２の候補モデルの更新潜在変数の中の各々のサンプルグループとの交わりを算出する。そして、最も大きな交わりを有するサンプルグループを、第２のサンプルグループとして、決定する。

または、前述では最も大きな交わりを持つサンプルグループを第２のサンプルグループとする例を示したが、第１のサンプルグループとの交わりを有し、第２の候補モデルの更新潜在変数に含まれるサンプルグループを、第２のサンプルグループとして、決定してもよい。
前述の実施の形態は、単に説明のために示したもので、本発明の範囲を限定しない。

ステップＳ３３０において、第１のサンプルグループと第２のサンプルグループとの交わりを決定する。

第２のサンプルグループが第１のサンプルグループと最も大きな交わりを持つとすると、以下の式により、第１のサンプルグループと第２のサンプルグループとの交わりＩ_ｎｅｗを決定する。

なお、Ｉ_ｉは第１のサンプルグループを表し、第１の候補モデルの更新潜在変数におけるｉ番目のサンプルグループである。Ｉ_ｊは、第２の候補モデルの更新潜在変数におけるｊ番目のサンプルグループを表す。Ｇ２は、第２の候補モデルの更新潜在変数を表す。

Ｓ３４０において、第１のサンプルグループを、交わりに基づき、２つのサブセットに分割する。

一実施の形態において、第１のサンプルグループの第１のサブセットを、交わりとして決定する。第１のサンプルグループの中の交わり以外の部分を、第２のサブセットとして決定する。例えば、第１のサンプルグループＩ_ｉを、Ｉ_ｎｅｗとＩ_ｉ−Ｉ_ｎｅｗの二のサブセットに分割する。

ステップＳ３５０において、第２の初期潜在変数を、二のサブセットに基づき、構築する。

本発明の実施の形態によれば、第２の初期潜在変数は、複数のサンプルグループを含みうる。ステップＳ３５０において、第１のサンプルグループを分割した二のサブセットを、第２の初期潜在変数のサンプルグループとして使用し、第２の初期潜在変数を構築する。

例えば、第２の初期潜在変数を空集合として初期化してもよい。言い換えれば、例えば、

のように、第２の初期潜在変数はサンプルグループを含まない。なお、Ｓは第２の初期潜在変数を表す。また、ステップＳ３５０において、第１のサンプルグループを分割した二のサブセットを、第２の初期潜在変数のサンプルグループとして、使用する。つまり、Ｓ＝Ｓ∪｛Ｉ_ｎｅｗ｝∪｛Ｉ_ｉ−Ｉ_ｎｅｗ｝が得られる。

ステップＳ３６０において、第１のサンプルグループを、第１の候補モデルの更新潜在変数から、取り除く。これにより、後の過程において、第１のサンプルグループが繰り返し使用されない。

ステップＳ３７０において、第２の初期潜在変数の構築が完成しているかを判断する。

一実施の形態において、第２の初期潜在変数におけるサンプルグループの数（例えば、｜Ｓ｜と表される。）と、第１の候補モデルの更新潜在変数によるサンプルグループの数（例えば、｜Ｇ１｜と表される。）との総数が、予め定義された数（例えば、ｋと表される。）に達したかを判断することで、第２の初期潜在変数の構築完成を決定する。予め定義された数は、例えば、第１の初期潜在変数のサンプルグループの数としてもよい。総数が予め定義された数に届いていない場合、言い換えれば、｜Ｓ｜＋｜Ｇ１｜＜ｋの場合、方法３００の処理はステップＳ３８０に進む。予め定義された数に総数が達した場合、言い換えれば、｜Ｓ｜＋｜Ｇ１｜≧ｋの場合、第２の初期潜在変数の構築を完成したと、決定する。

ステップＳ３８０において、第１の候補モデルの更新潜在変数におけるサンプルグループの数が０であるかを判断する。０でない場合は、方法３００の処理はステップＳ３１０に戻り、繰り返し実行する。０の場合、構築された第２の初期潜在変数のサンプルグループの数が第１に初期潜在変数のサンプルグループの数より少ない場合で、第１の候補モデルの更新潜在変数におけるサンプルグループがないことを意味し、次のステップＳ３８１を行う。

ステップＳ３８１において、第２の初期潜在変数からサンプルグループを一つ選択する。

ステップＳ３１０〜Ｓ３８０の結果、第２の初期潜在変数は、一つ以上のサンプルグループを含みうる。このため、ステップＳ３８１において、第２の初期潜在変数のサンプルグループから、サンプルグループを一つ選択する。
一実施の形態において、第２の初期潜在変数の中の最も大きな規模のサンプルグループを選択する。本発明の実施の形態によれば、最も大きな規模のサンプルグループを選択することは、最も多くのサンプル数を持つサンプルグループを選択することを意味する。
あるいは、予め定義された閾値に達するサンプルグループを選択してもよい。言い換えれば、ステップＳ３８１では、多くのサンプル数を持つサンプルグループを選択し、必ずしも最も大きな規模のサンプルグループを選択する必要はない。予め定義された閾値は、ここでは詳述しないが、システムの制限、モデルカテゴリ、実行速度要件のような、種々の要素に従い、決定される。

ステップＳ３８２において、選択したサンプルグループを二に分割し、第２の初期潜在変数のサンプルグループに含める。

本発明の実施の形態によれば、種々の方法で、選択したサンプルグループを分割しうる。
例えば、ステップＳ３８１で選択したサンプルグループは、無作為に、又は、均等に、二に分割してもよい。または、特定の要件に従って分割してもよい。
前述の分割方法は、単に例示したもので、本発明を限定しない。

ステップＳ３８３において、選択したサンプルグループを、第２の初期潜在変数から削除する。これにより、以降の過程で、分割されたサンプルグループは繰り返し使用されない。

ステップＳ３８４において、第２の初期潜在変数の構築が完成したかを判断する。

一実施の形態において、ステップＳ３８４では、第２の初期潜在変数におけるサンプルグループの数が、第１に初期潜在変数のサンプルグループの数に達しているかを判断する。達していれば、第２の初期潜在変数の構築が完成したと判断する。達していなければ、方法３００の処理はステップＳ３８１に戻り、処理を続ける。

図３に示す実施の形態は、単に、第２の初期潜在変数を決定する手順を説明するためのもので、本発明の範囲を限定しない。
本実施の形態によれば、ステップＳ３１０〜Ｓ３８４は、第２の初期潜在変数を決定するために、必ずしも実行する必要はない。
例えば、他の一の実施の形態において、各々の対の候補モデルを成す第１の候補モデルの更新潜在変数に含まれる各々のサンプルグループについて、各々のサンプルグループの第１のサブセットを決定することもできる。各々の対の候補モデルにおける第２の候補モデルの更新潜在変数に含まれるサンプルグループから、第１の候補モデルの更新潜在変数に含まれる各々のサンプルグループと、最も大きな交わりを持つサンプルグループを決定し、この最も大きな交わりを第１のサブセットとして決定する。次に、各々のサンプルグループにおける第１のサブセットを除いた部分を第２のサブセットとして決定する。
この手法において、第１の候補モデルの更新潜在変数に含まれる各々のサンプルグループを、第１のサブセットと第２のサブセットに、分割する。第１の候補モデルの更新潜在変数の数をｇ１とすると、各々のサンプルグループを第１のサブセットと第２のサブセットに分割した後に、２ｇ１の新しいサンプルセットを獲得する。
第１の初期潜在変数のサンプルグループの数をｋと表し、もし、２ｇ１＞ｋならば、２ｇ１の新しいサンプルセットの中の要素の少ない二のサンプルセットを一つのサンプルセットに併合する。新しいサンプルセットから併合された二つのサンプルセットを除き、併合したサンプルセットを含めることで、２ｇ１−１のサンプルセットを獲得する。
以後、（２ｇ１−１）＞ｋならば、２ｇ１の新しいサンプルセットに含まれる少ない要素の二のサンプルセットを一つのサンプルセットに併合し、併合したサンプルセットを含め、併合された二つのサンプルセットを除き、２ｇ１−２のサンプルセットを、獲得する。得られたサンプルセットの数が、ｋと同じになるまで、この手順は繰り返す。この手法により、候補モデルにおける第１の候補モデルの更新潜在変数と候補モデルにおける第２の候補モデルの更新潜在変数とに基づき、第２の初期潜在変数を決定する。

次に、図２に示すように、方法２００の処理はステップＳ２６０に進み、複数の第２の初期潜在変数の訓練により、中間モデルを複数獲得する。

一実施の形態において、第２の初期潜在変数における各々の第２の初期潜在変数について、訓練サンプルセットを用い、教師あり学習、又は、教師なし学習を実行し、混合モデルのモデル構造、モデルパラメータ、更新潜在変数の変分分布を自動的に学習し、各々の第２の初期潜在変数に対応するモデルを生成する。この生成したモデルを中間モデルという。この手法により、複数の第２の初期潜在変数に対応する複数の中間モデルを獲得する。

ステップＳ２７０において、複数の中間モデルの性能を決定する。

モデルの性能は、精度、時間有効性などのような種々の因子を含み、種々の手段で決定しうる。例えば、精度を例にすると、予測／分類の混合モデルでは、中間モデルをテストデータの予測／分類のために使用し、予測／分類に関する精度を獲得しうる。また、クラスタリングモデルでは、基準となる共通の情報などで、中間モデルの精度を算出しうる。

一実施の形態において、各々の中間モデルのモデル構造、モデルパラメータ、更新潜在変数の変分分布に基づき、各々の中間モデルの精度、時間有効性、その他の特徴を決定してもよい。この結果、各々の中間モデルの性能を獲得する。

ステップＳ２８０において、複数の中間モデルから、性能に基づき、ターゲットモデルとして一つ選択する。

一実施の形態において、複数の中間モデルを、ステップＳ２７０で決定した性能により、順位付ける。例えば、複数の中間モデルを性能の高い順番に整理する。そして、複数の中間モデルの中から、最も高い性能の中間モデルを、ターゲットモデルとして選択する。

ステップＳ２８０以降のステップとして、本発明の実施の形態に従い獲得したターゲットモデルを提供し、ユーザに使用させてもよい。

図４に、本発明の一実施の形態に従う、混合モデル選択の方法に関する概要図４００を示す。図４に示す混合モデル選択の方法は、図２のステップＳ２１０〜２８０に相当する。図４に示すように、最初に、訓練サンプルセットに基づき、それぞれ、Ｚ_１、Ｚ_２、・・・、Ｚ_ｋ１で示されている複数の第１の初期潜在変数を決定する。Ｚは第１の初期潜在変数を表し、ｋ１は決定された第１の初期潜在変数の数を表す。これは、訓練サンプルセットに基づき複数の第１の初期潜在変数を決定するステップＳ２１０に相当する。

次に、図４に示すように、複数の第１の初期潜在変数Ｚ_１、Ｚ_２・・・、Ｚ_ｋ１に関連する多くの候補モデル（ｋ１の候補モデル）を生成する。ここで、候補モデル１、候補モデル２、・・・、候補モデルｋ１は、候補モデルを表す。これは、各々の第１の初期潜在変数に対応する候補モデルを生成するステップＳ２２０に相当する。

さらに、図４に示すように、候補モデル１、候補モデル２、・・・、候補モデルｋ１から、候補モデル１、候補モデル５、候補モデル７、・・・を選択する。これは、複数の候補モデルの性能に基づき、複数の候補モデルから二つ以上の候補モデルを選択するステップＳ２３０に相当する。

次に、図４に示すように、候補モデル１と候補モデル７とを、候補モデル５と候補モデル７とを、候補モデル１と候補モデル５とを、各々を対に組み合わせる。これは、二つ以上の候補モデルを対に組み合わせるステップＳ２４０に相当する。なお、簡略化のため図示していないが、ステップＳ２３０で選択された他の候補モデルを、さらに対として組み合わせる。

次に、図４に示すように、候補モデル１、候補モデル５、候補モデル７などから、第２の初期潜在変数Ｚ’_１、Ｚ’_２、Ｚ’_３、・・・、Ｚ’_ｋ２を決定する。ここで、ｋ２は、決定された第２の初期潜在変数の数を表す。これは、対の候補モデルに基づき、第２の初期潜在変数を決定するステップＳ２５０に相当する。

この後、図４に示すように、第２の初期潜在変数Ｚ’_１、Ｚ’_２、Ｚ’_３、・・・、Ｚ’_ｋ２から、中間モデル１、中間モデル２、中間モデル３、・・・、中間モデルｋ２を獲得する。これは、第２の初期潜在変数の訓練により、中間モデルを複数獲得するステップＳ２６０に相当する。

最後に、図４に示すように、中間モデル１、中間モデル２、中間モデル３、・・・、中間モデルｋ２から、ターゲットモデルを決定する。これは、中間モデルの性能を決定し、この性能に基づき、複数の中間モデルからターゲットモデルを一つ選択するステップＳ２７０とＳ２８０に相当する。

混合モデル選択の方法に関する概要図４００は、単に例示したにすぎず、いかなる方法であっても、発明の範囲を限定しない。本発明の実施の形態によれば、必ずしも、候補モデル１、候補モデル２、・・・、候補モデルｋ１から候補モデル１、候補モデル５、候補モデル７等を選択した後に、対に組み合わせる必要はない。例えば、他の一実施の形態において、候補モデル１、候補モデル２、・・・、候補モデルｋ１を、直接的に対に組み合わせ、対の候補モデルに基づき、第２の初期潜在変数を決定してもよい。

また、本発明の実施の形態によれば、必ずしも、ターゲットモデルは、中間モデル１、中間モデル２、中間モデル３、・・・、中間モデルｋ２から、直接的に決定する必要はない。
例えば、他の一実施の形態において、ｋ２の中間モデルに基づき、第３の初期潜在変数を決定し、第３の初期潜在変数により第２の初期潜在変数を更新し、更新した第２の初期潜在変数に基づき、更新した中間モデルを獲得してもよい。この手順を、１回、又は数回、実行してもよい。例えば、実行回数を数え、予め定義された実行回数と比較し、予め定義された実行回数に達したときに手順を止めてもよい。あるいは、手順は、予め定義された要件を満足するまで、繰り返し実行してもよい。予め定義された要件は、例えば、更新した中間モデルが十分な性能を有していること、更新した中間モデルの数が予め定義された数に達することなど、種々の方法で定義しうる。
これらの実施の形態は単に例示したもので、発明の範囲を限定しない。当業者は、本発明の範囲の中で、本発明の実施の形態に種々の変更を加えうる。

図５に、本発明の実施の形態に係る混合モデルを選択する装置５００のブロック図を示す。図５に示すように、装置５００は、複数の第１の初期潜在変数の訓練により候補モデルを複数生成するための候補モデル生成部５１０と、複数の候補モデルに基づき第２の初期潜在変数を決定するための第１決定部５２０と、第２の初期潜在変数に基づき、ターゲットモデルを決定するための第２決定部５３０とから構成される。

一実施の形態において、候補モデル生成部５１０を、訓練サンプルセットに基づき第１の初期潜在変数を複数決定するための「第１初期潜在変数決定部」と、複数の第１の初期潜在変数における各々の第１の初期潜在変数について、訓練サンプルセットで学習し、各々の第１の初期潜在変数に対応する候補モデルを生成するための「訓練部」と、から構成してもよい。

一実施の形態において、第１決定部５２０を、複数の候補モデルを対に組み合わせるための「組合せ部」と、対の候補モデルに基づき、第２の初期潜在変数を決定するための「第２初期潜在変数決定部」と、から構成してもよい。

一実施の形態において、第１決定部５２０を、複数の候補モデルの性能に基づき、複数の候補モデルから候補モデルを二つ以上選択するための「第１候補モデル選択部」と、二つ以上の候補モデルを対に組み合わせるための「組合せ部」と、対の候補モデルに基づき、第２の初期潜在変数を決定するための「第２初期潜在変数決定部」と、から構成してもよい。

一実施の形態において、第１決定部５２０の「第１候補モデル選択部」を、各々の候補モデルのモデル構造、モデルパラメータ、更新潜在変数の変分分布に基づき、複数の候補モデルにおける各々の候補モデルの性能を決定するための「第１性能決定部」と、決定された性能に基づき、候補モデルを順位づけるための「順位づけ部」と、順位づけに基づき、複数の候補モデルから候補モデルを二つ以上選択するための「第２候補モデル選択部」と、から構成してもよい。

一実施の形態において、対の候補モデルにおける各々の対の候補モデルが第１の候補モデルと第２の候補モデルとから構成され、第１決定部５２０の「第２初期潜在変数決定部」が、さらに、各々の対の候補モデルにおける第１の候補モデルの潜在変数と第２の候補モデルの更新潜在変数に基づき、第２の初期潜在変数を決定してもよい。

一実施の形態において、第１決定部５２０の「第２初期化潜在変数決定部」を、各々の対の候補モデルを成す第１の候補モデルの更新潜在変数の中からサンプルグループを、第１のサンプルグループとして選択するための「第１サンプルグループ決定部」と、第１のサンプルグループに基づき、各々の対の候補モデルを成す第２の候補モデルの更新潜在変数の中のサンプルグループから第２のサンプルグループを決定するための「第２サンプルグループ決定部」と、第１のサンプルグループと第２のサンプルグループの交わりを決定するための「交わり決定部」と、交わりに基づき、第１のサンプルグループを二のサブセットに分割するための「分割部」と、二のサブセットに基づき、第２の初期潜在変数を構築するための「第２初期潜在変数構築部」と、から構成してもよい。

一実施の形態において、第１決定部５２０の「第２初期潜在変数決定部」の「第２初期潜在変数構築部」を、構築された第２の初期潜在変数のサンプルグループの数が、第１の初期潜在変数のサンプルグループの数より少ない場合、構築された第２の初期潜在変数のサンプルグループが、第１の初期潜在変数のサンプルグループの数に等しくなるまで、次のｉ）〜ｉｉｉ）を繰り返し実行してもよい。ｉ）第２の初期潜在変数のサンプルグループを選択する。ｉｉ）次に、選択されたサンプルグループを二のサブグループに分割し、二のサブグループを第２の初期潜在変数のサンプルグループに含める。ｉｉｉ）次に、第２の初期潜在変数から選択されたサンプルグループを削除する。

一実施の形態において、第１決定部５２０を、第２の初期潜在変数の訓練により、中間モデルを複数獲得するための「中間モデル生成部」と、中間モデルに基づき、第３の初期潜在変数を決定のための「第３初期潜在変数決定部」と、第３の初期潜在変数で第２の初期潜在変数を更新するための「更新部」と、から構成してもよい。

一実施の形態において、第２の初期潜在変数が複数存在し、第２決定部５３０を、第２の初期潜在変数の訓練により、中間モデルを複数獲得するための「中間モデル決定部」と、中間モデルの性能を決定するための「第２性能決定部」と、性能に基づき、中間モデルからターゲットモデルとして一つ選択するための「ターゲットモデル選択部」と、から構成してもよい。

図面を見やすくするため、図５において、装置５００のオプション部と下位部を省略している。装置５００を、種々の方法で、実装しうる。
例えば、装置５００を、ソフトウェア、ファームウェア、又は、両方において、実装しうる。例えば、装置５００を、コンピュータ可読媒体に格納したコンピュータプログラム製品として、実装しうる。この場合、各部はプログラムモジュールに対応し、このプログラムモジュールによるコンピュータ命令が各部の機能を実行する。
また、装置５００を、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）などのハードウェアに基づき、部分的に又は完全に実装してもよい。その他、近年に知られ、又は、未来に開発され、適用可能なもので実装してもよい。
そして、この点において、本発明の範囲は限定されない。

図６に、本発明の実施の形態の実装に適した一例のコンピュータシステム６００のブロック図を示す。図６に示すように、コンピュータシステム６００は、読取り専用メモリのＲＯＭ６０２に保存されたプログラムに従い、又は、記憶部６０８からランダムアクセスメモリのＲＡＭ６０３に読み取られたプログラムに従い、中央処理装置のＣＰＵ６０１において種々のプロセスを実行する。
ＲＡＭ６０３は、ＣＰＵ６０１による種々のプロセスの実行中などに、要求に応じて、要求されたデータを保存する。
ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３は、バス６０４を介して互いに接続されている。
入出力インタフェースのＩ／Ｏインタフェース６０５も、バス６０４と、接続されている。

キーボード、マウスなどの入力部６０６、ブラウン管ディスプレイ（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）などのディスプレイ、スピーカーなどの出力部６０７、ハードディスクなどの記憶部６０８、ＬＡＮカードやモデムなどのようなネットワーク通信カードなどの通信部６０９は、Ｉ／Ｏインタフェース６０５に接続されている。
通信部６０９は、インターネットのようなネットワークを介して通信プロセスを実行する。
ドライブ６１０は、必要に応じて、Ｉ／Ｏインタフェース６０５に接続される。
磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなリムーバブルメディア６１１は、必要に応じて、ドライブ６１０に装置し、リムーバルメディア６１１から読み込まれたコンピュータプログラムは、必要に応じて、記憶部６０８にインストールされる。

特に、本発明の実施の形態に係る前述の手順を、コンピュータソフトウエアプログラムとして、実装しうる。例えば、一実施の形態は、上記手順を実装するプログラムコードを含み、機械可読媒体に実体的に保存されたコンピュータプログラムを組み込んだコンピュータ製品から構成される。この実施の形態において、通信部６０９を介してネットワークから、コンピュータプログラムをダウンロードしてもよい。また、コンピュータプログラムを、リムーバブルメディア６１１からインストールしてもよい。

一般に、本発明の実施の形態に係る種々の方法を、ハードウェア、特定目的回路、ソフトウェア、論理回路、又はそれらの組み合わせの上で、実装しうる。ファームウェア又はソフトウェアを、コントローラ、マイクロプロセッサ、その他のコンピュータデバイスにより実行する限り、ハードウェアの上で実装されると言える。ブロック図、フローチャート、その他の描画として、本発明の実施の形態に係る種々の方法を説明し、記述する限りは、この中の記述されたブロック図、装置、システム、技術又は方法を、ハードウェア、ソフトウェア、ファームウェア、特定目的回路、論理回路、汎用ハードウェア、コントローラ、その他のコンピュータデバイス、それらの組み合わせなどで実行すると認識できるだろう。

さらに、図示した種々のブロック部を、方法のステップと、コンピュータプログラムコードの実行内容と、又は、関連づけた機能を実行するために構成された複数の論理回路素子とみなしてもよい。例えば、一実施の形態に、前述の方法を実装するプログラムコードから構成され、機械可読媒体に実体的に保存されたコンピュータプログラムを組み込んだコンピュータ製品を含む。

機械可読媒体は、命令実行システム、装置又はデバイスに接続し、プログラムを保存する実体的な媒体でもよい。機械可読媒体には、機械可読信号媒体、機械可読記憶媒体を含む。機械可読媒体は、電気、磁気、光、電磁気、赤外線、半導体システム、装置、デバイス、それらの適切な組み合わせなどから構成され、媒体の種類に制限されない。機械可読記憶媒体の例として、ワイヤで電子接続する、可搬型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、電磁記憶装置、これらの適切な組み合わせなどが含まれる。

本発明の実施の形態に係る種々の方法を実行するためのコンピュータプログラムコードは、複数のプログラミング言語を組み合わせてもよい。コンピュータの処理装置、その他プログラマブルデータ処理装置上で、フローチャート、ブロック図の機能を実行するプログラムコードを、汎用コンピュータ、特殊コンピュータ、他のプログラマブルデータ処理装置に提供してもよい。このプログラムコードを、コンピュータ上で完全に、又は、部分的に、実行してもよい。また、単体のソフトウェアパッケージとして、ローカル及び遠隔のコンピュータ上でそれぞれ部分的に実行してもよく、遠隔のコンピュータ、サーバ上で完全に実行してもよい。

さらに、機能を個々の命令で示していたとしても、実装において、示された個々の命令、又は連続的な命令を実行するとは限らず、さらに、示したすべての機能を実行するとも限らない。多重タスク処理と並列処理が有利な場合もある。
また、前述の実施の形態で詳細な実装を記述したとしても、本発明の範囲を限定するものと解釈すべきではなく、その実施の形態において特有なものでしかない。
また、異なる実施の形態で記述されている内容を組み合わせて実行してもよい。
逆に、一実施の形態で示した内容を、並列に別々に、又は適切な部分を組み合わせて、実行してもよい。

添付した図と前述の内容から、前述の実施の形態からの種々の修正、適用について、理解しうる。また、すべての修正は、本発明の範囲に含まれる。さらに、前述の説明と図面とから、本発明の範囲に含まれる他の一実施の形態に修正しうる。

本発明の実施の形態が前述した実施の形態に限定されず、変形とその他の実施の形態は、添付した特許請求の範囲に含まれることを認識しうる。また、この中の文言は、一般的で、記述的な観念で使用されたにすぎず、限定の目的はない。

（付記１）
複数の第１の初期潜在変数の訓練により、候補モデルを複数生成する工程と、
複数の前記候補モデルに基づき第２の初期潜在変数を決定する工程と、
前記第２の初期潜在変数に基づきターゲットモデルを決定する工程と、
を含むことを特徴とする混合モデルの選択方法。

（付記２）
複数の第１の初期潜在変数の訓練により、候補モデルを複数生成する前記工程が、
訓練サンプルセットに基づき前記第１の初期潜在変数を複数決定する工程と、
複数の前記第１の初期潜在変数における各々の第１の初期潜在変数について、前記訓練サンプルセットで学習し、前記各々の第１の初期潜在変数に対応する前記候補モデルを生成する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。

（付記３）
複数の前記候補モデルに基づき第２の初期潜在変数を決定する前記工程が、
前記複数の候補モデルを、対の候補モデルとして対に組み合わせる工程と、
前記対の候補モデルに基づき前記第２の潜在変数を決定する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。

（付記４）
複数の前記候補モデルに基づき第２の初期潜在変数を決定する前記工程が、
前記複数の候補モデルから、前記複数の候補モデルの性能に基づき候補モデルを二以上選択する工程と、
二以上の前記候補モデルを、対の候補モデルとして対に組み合わせる工程と、
前記対の候補モデルに基づき前記第２の初期潜在変数を決定する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。

（付記５）
前記複数の候補モデルから、前記複数の候補モデルの性能に基づき候補モデルを二以上選択する前記工程が、
前記複数の候補モデルにおける各々の候補モデルの性能を、前記各々の候補モデルのモデル構造、モデルパラメータ、及び更新潜在変数の変分分布に基づき、決定する工程と、
決定された前記性能に基づき前記複数の候補モデルを順位づける工程と、
順位づけの結果に基づき前記複数の候補モデルから候補モデルを二以上選択する工程と、
を含むことを特徴とする付記４に記載の混合モデルの選択方法。

（付記６）
前記対の候補モデルにおける各々の対の候補モデルが、第１の候補モデルと第２の候補モデルとから構成され、前記対の候補モデルに基づき前記第２の初期潜在変数を決定する前記工程が、
前記各々の対の候補モデルにおける前記第１の候補モデルの更新潜在変数と前記第２の候補モデルの更新潜在変数とに基づき前記第２の初期潜在変数を決定する工程、
を含むことを特徴とする付記３又は４に記載の混合モデルの選択方法。

（付記７）
前記各々の対の候補モデルにおける前記第１の候補モデルの更新潜在変数と前記第２の候補モデルの更新潜在変数とに基づき前記第２の初期潜在変数を決定する前記工程が、
次のｉ）〜ｖ）を１又は数回、実行する工程：
ｉ）前記各々の対の候補モデルにおける前記第１の候補モデルの更新潜在変数からサンプルグループを第１のサンプルグループとして選択する工程、
ｉｉ）前記第１のサンプルグループに基づき、前記各々の対の候補モデルにおける前記第２の候補モデルの更新潜在変数の中のサンプルグループから第２のサンプルグループを決定する工程、
ｉｉｉ）前記第１のサンプルグループと前記第２のサンプルグループの交わりを決定する工程、
ｉｖ）前記交わりに基づき前記第１のサンプルグループを二のサブセットに分割する工程、
ｖ）前記二のサブセットに基づき前記第２の初期潜在変数を構築する工程、
を含むことを特徴とする付記６に記載の混合モデルの選択方法。

（付記８）
前記二のサブセットに基づき前記第２の初期潜在変数を構築する工程が、
構築した前記第２の初期潜在変数のサンプルグループの数が、前記第１の初期潜在変数のサンプルグループの数より少ない場合、前記第２の初期潜在変数のサンプルグループの数と前記第１の初期潜在変数のサンプルグループの数が一致するまで次のｉ）からｉｉｉ）を実行する工程：
ｉ）前記第２の初期潜在変数の中からサンプルグループを選択する工程、
ｉｉ）選択された前記サンプルグループを二のグループに分割し、分割された前記二のグループを前記第２の初期潜在変数に二のサンプルグループとして含める工程、
ｉｉｉ）前記第２の初期潜在変数のサンプルグループから選択された前記サンプルグループを削除する工程、
を含むことを特徴とする付記７に記載の混合モデルの選択方法。

（付記９）
複数の前記候補モデルに基づき第２の初期潜在変数を決定する前記工程が、
次のｉ）からｉｉｉ）を１又は数回、実行する工程：
ｉ）複数の前記第２の初期潜在変数の訓練により、中間モデルを複数獲得する工程と、
ｉｉ）複数の前記中間モデルに基づき第３の初期潜在変数を決定する工程と、
ｉｉｉ）前記第３の初期潜在変数で前記第２の初期潜在変数を更新する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。

（付記１０）
前記第２の初期潜在変数が複数存在し、前記第２の初期潜在変数に基づきターゲットモデルを決定する前記工程が、
複数の前記第２の初期潜在変数の訓練により、中間モデルを複数獲得する工程と、
複数の前記中間モデルの性能を決定する工程と、
前記性能に基づき複数の前記中間モデルから前記ターゲットモデルとして一を選択する工程と、
を含むことを特徴とする付記１に記載の混合モデルの選択方法。

（付記１１）
複数の第１の初期潜在変数の訓練により、候補モデルを複数生成する候補モデル生成部と、
複数の前記候補モデルに基づき第２の初期潜在変数を決定する第１決定部と、
前記第２の初期潜在変数に基づきターゲットモデルを決定する第２決定部と、
を備えることを特徴とする混合モデルの選択装置。

（付記１２）
前記候補モデル生成部が、
訓練サンプルセットに基づき前記複数の第１の初期潜在変数を決定する第１初期潜在変数決定部と、
前記複数の第１の初期潜在変数における各々の第１の初期潜在変数について、前記訓練サンプルセットを学習し、前記各々の第１の初期潜在変数に対応する前記候補モデルを生成する訓練部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。

（付記１３）
前記第１決定部が、
前記複数の候補モデルを、対の候補モデルとして対に組み合わせる組合せ部と、
前記対の候補モデルに基づき前記第２の初期潜在変数を決定する第２初期潜在変数決定部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。

（付記１４）
前記第１決定部が、
前記複数の候補モデルから、前記複数の候補モデルの性能に基づき候補モデルを二以上選択する第１候補モデル選択部と、
二以上の前記候補モデルを、対の候補モデルとして対に組み合わせる組合せ部と、
前記対の候補モデルに基づき前記第２の初期潜在変数を決定する第２初期潜在変数決定部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。

（付記１５）
第１候補モデル選択部が、
前記複数の候補モデルにおける各々の候補モデルの性能を、前記各々の候補モデルのモデル構造、モデルパラメータ、及び更新潜在変数の変分分布に基づき、決定する第１性能決定部と、
決定された前記性能に基づき前記複数の候補モデルを順位づける順位づけ部と、
順位づけの結果に基づき前記複数の候補モデルから二以上選択する第２候補モデル選択部と、
を備えることを特徴とする付記１４に記載の混合モデルの選択装置。

（付記１６）
前記対の候補モデルの中の各々の対の候補モデルが、第１の候補モデルと第２の候補モデルとから構成され、
前記第２初期潜在変数決定部が、さらに、前記各々の対の候補モデルにおける前記第１の候補モデルの更新潜在変数と前記第２の候補モデルの更新潜在変数とに基づき前記第２の初期潜在変数を決定する、
ことを特徴とする付記１３又は１４に記載の混合モデルの選択装置。

（付記１７）
前記第２初期潜在変数決定部が、
前記各々の対の候補モデルにおける前記第１の候補モデルの更新潜在変数からサンプルグループを第１のサンプルグループとして選択する第１サンプルグループ決定部と、
前記第１のサンプルグループに基づき、前記各々の対の候補モデルにおける前記第２の候補モデルの更新潜在変数の中のサンプルグループから第２のサンプルグループを決定する第２サンプルグループ決定部と、
前記第１のサンプルグループと前記第２のサンプルグループの交わりを決定する交わり決定部と、
前記交わりに基づき前記第１のサンプルグループを二のサブセットに分割する分割部と、
前記二のサブセットに基づき第２の初期潜在変数を構築する第２初期潜在変数構築部と、
を備えることを特徴とする付記１６に記載の混合モデルの選択装置。

（付記１８）
前記第２初期潜在変数構築部が、
構築した前記第２の初期潜在変数のサンプルグループの数が、前記第１の初期潜在変数のサンプルグループの数より少ない場合、前記第２の初期潜在変数のサンプルグループの数が前記第１の初期潜在変数のサンプルグループの数に一致するまで次のｉ）からｉｉｉ）を実行する、：ｉ）前記第２の初期潜在変数の中からサンプルグループを選択し、ｉｉ）選択された前記サンプルグループを二のグループに分割し、分割された前記二のグループを前記第２の初期潜在変数に二のサンプルグループとして含め、ｉｉｉ）前記第２の初期潜在変数のサンプルグループから選択された前記サンプルグループを削除する、
ことを特徴とする付記１７に記載の混合モデルの選択装置。

（付記１９）
前記第１決定部が、
前記複数の第２の初期潜在変数の訓練により、中間モデルを複数獲得する中間モデル生成部と、
複数の前記中間モデルに基づき第３の初期潜在変数を決定する第３初期潜在変数決定部と、
前記第３の初期潜在変数で前記第２の初期潜在変数を更新する更新部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。

（付記２０）
前記第２の初期潜在変数が複数存在し、前記第２決定部が、
前記複数の第２の初期潜在変数の訓練により、中間モデルを複数獲得する中間モデル決定部と、
複数の前記中間モデルの性能を決定する第２性能決定部と、
前記性能に基づき前記複数の中間モデルから前記ターゲットモデルとして一を選択するターゲットモデル選択部と、
を備えることを特徴とする付記１１に記載の混合モデルの選択装置。

Claims (10)

1. 複数の第１の初期潜在変数の訓練により、候補モデルを複数生成する候補モデル生成部と、
   複数の前記候補モデルに基づき第２の初期潜在変数を決定する第１決定部と、
   前記第２の初期潜在変数に基づきターゲットモデルを決定する第２決定部と、
   を備えることを特徴とする混合モデルの選択装置。
2. 前記候補モデル生成部が、
   訓練サンプルセットに基づき前記複数の第１の初期潜在変数を決定する第１初期潜在変数決定部と、
   前記複数の第１の初期潜在変数における各々の第１の初期潜在変数について、前記訓練サンプルセットを学習し、前記各々の第１の初期潜在変数に対応する前記候補モデルを生成する訓練部と、
   を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
3. 前記第１決定部が、
   前記複数の候補モデルを、対の候補モデルとして対に組み合わせる組合せ部と、
   前記対の候補モデルに基づき前記第２の初期潜在変数を決定する第２初期潜在変数決定部と、
   を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
4. 前記第１決定部が、
   前記複数の候補モデルから、前記複数の候補モデルの性能に基づき候補モデルを二以上選択する第１候補モデル選択部と、
   二以上の前記候補モデルを、対の候補モデルとして対に組み合わせる組合せ部と、
   前記対の候補モデルに基づき前記第２の初期潜在変数を決定する第２初期潜在変数決定部と、
   を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
5. 前記第１候補モデル選択部が、
   前記複数の候補モデルにおける各々の候補モデルの性能を、前記各々の候補モデルのモデル構造、モデルパラメータ、及び更新潜在変数の変分分布に基づき、決定する第１性能決定部と、
   決定された前記性能に基づき前記複数の候補モデルを順位づける順位づけ部と、
   順位づけの結果に基づき前記複数の候補モデルから二以上選択する第２候補モデル選択部と、
   を備えることを特徴とする請求項４に記載の混合モデルの選択装置。
6. 前記対の候補モデルの中の各々の対の候補モデルが、第１の候補モデルと第２の候補モデルとから構成され、
   前記第２初期潜在変数決定部が、さらに、前記各々の対の候補モデルにおける前記第１の候補モデルの更新潜在変数と前記第２の候補モデルの更新潜在変数とに基づき前記第２の初期潜在変数を決定する、
   ことを特徴とする請求項３又は４に記載の混合モデルの選択装置。
7. 前記第２初期潜在変数決定部が、
   前記各々の対の候補モデルにおける前記第１の候補モデルの更新潜在変数からサンプルグループを第１のサンプルグループとして選択する第１サンプルグループ決定部と、
   前記第１のサンプルグループに基づき、前記各々の対の候補モデルにおける前記第２の候補モデルの更新潜在変数の中のサンプルグループから第２のサンプルグループを決定する第２サンプルグループ決定部と、
   前記第１のサンプルグループと前記第２のサンプルグループの交わりを決定する交わり決定部と、
   前記交わりに基づき前記第１のサンプルグループを二のサブセットに分割する分割部と、
   前記二のサブセットに基づき第２の初期潜在変数を構築する第２初期潜在変数構築部と、
   を備えることを特徴とする請求項６に記載の混合モデルの選択装置。
8. 前記第１決定部が、
   前記複数の第２の初期潜在変数の訓練により、中間モデルを複数獲得する中間モデル生成部と、
   複数の前記中間モデルに基づき第３の初期潜在変数を決定する第３初期潜在変数決定部と、
   前記第３の初期潜在変数で前記第２の初期潜在変数を更新する更新部と、
   を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
9. 前記第２の初期潜在変数が複数存在し、前記第２決定部が、
   前記複数の第２の初期潜在変数の訓練により、中間モデルを複数獲得する中間モデル決定部と、
   複数の前記中間モデルの性能を決定する第２性能決定部と、
   前記性能に基づき前記複数の中間モデルから前記ターゲットモデルとして一を選択するターゲットモデル選択部と、
   を備えることを特徴とする請求項１に記載の混合モデルの選択装置。
10. 複数の第１の初期潜在変数の訓練により、候補モデルを複数生成する工程と、
    複数の前記候補モデルに基づき第２の初期潜在変数を決定する工程と、
    前記第２の初期潜在変数に基づきターゲットモデルを決定する工程と、
    を含むことを特徴とする混合モデルの選択方法。

Images