JP2019200618A - 作成装置、作成方法、および作成プログラム - Google Patents

Abstract

【課題】分類基準の時間発展を考慮して、ラベルなし学習データを用いて分類精度が維持された分類器を作成する。【解決手段】学習部１３が、過去の所定の時点までに収集されたラベルあり学習データと、該所定の時点以降に収集されたラベルなし学習データとを用いて、各時点における分類器の分類基準を学習し、該分類基準の時系列変化を学習し、分類器作成部１４が、学習された分類基準と時系列変化とを用いて、未来の時点を含む任意の時点の分類器の分類基準と該分類基準の信頼性を表す確信度とを予測し、入力されたデータの属性を表すラベルを出力する分類器を作成する。【選択図】図１

Description

本発明は、作成装置、作成方法、および作成プログラムに関する。

機械学習において、あるデータが入力された場合に、そのデータの属性を表すラベルを出力する分類器が知られている。例えば、データとして新聞記事が分類器に入力された場合に、政治、経済、あるいはスポーツ等のラベルが出力される。分類器は、各ラベルのデータの特徴に基づいてデータの分類を行う。学習用のデータ（以下、学習データとも記す。）とこの学習データのラベルとを組み合わせたラベルありデータ（以下、ラベルあり学習データとも記す。）を用いて、データの特徴を学習させることにより、分類器の学習すなわち作成が行われる。

分類器における分類の基準値である分類基準は、時間経過とともに変化する場合がある。例えば、スパムメールの作成者は、分類器をすり抜けるために、常に新しい特徴を有するスパムメールを作成している。そのため、スパムメールの分類基準は時間経過とともに変化して、分類器の分類精度が大きく低下してしまう。

例えば、スパムメールか、それ以外かにメールを分類する二値問題を解く分類器では、メールの単語を解析して、該当する単語を含む場合にスパムメールと判定する。スパムメールに該当する単語は時間経過とともに変化するため、対応しないとメールを誤分類してしまう場合がある。

このような分類器の分類精度の経時劣化を防止するためには、分類基準が更新された分類器の作成（以下、分類器の更新とも記す。）を行う必要がある。そこで、ラベルあり学習データを継続的に収集し、収集された最新のラベルあり学習データを用いて分類器を更新する技術が知られている。しかしながら、ラベルあり学習データは、各学習データに人手でラベルが付与されたものであるため、収集コストが高く、継続的な収集は困難である。

そこで、ラベルあり学習データを追加せずに、予め与えられた過去のラベルあり学習データから、分類基準の時間発展を学習し、未来に適した分類基準を予測することにより、分類器の経時劣化を抑止する技術が開示されている（非特許文献１，２参照）。また、学習データとして、ラベルが付与されていないために収集コストの低いデータ（以下、ラベルなしデータ、またはラベルなし学習データとも記す。）を追加して、分類器の更新を行う技術が開示されている（非特許文献３，４参照）。

Atsutoshi Kumagai, Tomoharu Iwata, "Learning Future Classifiers without Additional Data", AAAI, 2016年 Atsutoshi Kumagai, Tomoharu Iwata, "Learning Non-Linear Dynamics of Decision Boundaries for Maintaining Classification Performance", AAAI, 2017年 Atsutoshi Kumagai, Tomoharu Iwata, "Learning Latest Classifiers without Additional Labeled Data", IJCAI, 2017年 Karl B Dyer, Robert Capo, Robi Polikar, "Compose: A Semisupervised Learning Framework for Initially Labeled Nonstationary Streaming Data", IEEE Transactions on Neural Networks and Learning Systems, vol.25, NO.1, 2014年, pp.12-26

しかしながら、一般に分類器の分類基準の未来予測は困難であり、必ずしも分類精度が高くなるとは限らない。また、ラベルなし学習データによる分類器の更新では、分類精度が低下する場合がある。

本発明は、上記に鑑みてなされたものであって、分類基準の時間発展を考慮して、ラベルなし学習データを用いて分類精度が維持された分類器を作成することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る作成装置は、入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置であって、過去の所定の時点までに収集された、ラベルが付与されたデータと、該所定の時点以降に収集された、ラベルが付与されていないデータとを学習データとして用いて、各時点における分類器の分類基準を学習する分類器学習部と、該分類基準の時系列変化を学習する時系列変化学習部と、学習された前記分類基準と前記時系列変化とを用いて、未来の時点を含む任意の時点の分類器の分類基準と該分類基準の信頼性とを予測する予測部と、を備えることを特徴とする。

本発明によれば、分類基準の時間発展を考慮して、ラベルなし学習データを用いて分類精度が維持された分類器を作成することができる。

図１は、本発明の第１の実施形態に係る作成装置の概略構成を示す模式図である。 図２は、第１の実施形態の作成処理手順を示すフローチャートである。 図３は、第１の実施形態の分類処理手順を示すフローチャートである。 図４は、第１の実施形態の作成装置による作成処理の効果を説明するための説明図である。 図５は、第２の実施形態の作成装置の概略構成を示す模式図である。 図６は、第２の実施形態の作成処理手順を示すフローチャートである。 図７は、作成プログラムを実行するコンピュータを例示する図である。

［第１の実施形態］
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［作成装置の構成］
まず、図１を参照して、本実施形態に係る作成装置の概略構成を説明する。本実施形態に係る作成装置１は、ワークステーションやパソコン等の汎用コンピュータで実現され、後述する作成処理を実行して、入力されたデータの属性を表すラベルを出力する分類器を作成する。

なお、図１に示すように、本実施形態の作成装置１は、作成処理を行う作成部１０に加え、分類処理を行う分類部２０を有する。分類部２０は、作成部１０により作成された分類器を用いてデータを分類してラベルを出力する分類処理を行う。分類部２０は、作成部１０と同一のハードウェアに実装されてもよいし、異なるハードウェアに実装されてもよい。

［作成部］
作成部１０は、学習データ入力部１１、データ変換部１２、学習部１３、分類器作成部１４、および分類器格納部１５を有する。

学習データ入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部に対して各種指示情報を入力する。本実施形態において、学習データ入力部１１は、作成処理に用いられるラベルあり学習データおよびラベルなし学習データを受け付ける。

ここで、ラベルあり学習データとは、データの属性を表すラベルが付与された学習データを意味する。例えば、学習データがテキストである場合、政治、経済、あるいはスポーツ等のテキストの内容を表すラベルが付与される。また、ラベルなし学習データとは、ラベルが付与されていない学習データを意味する。

また、ラベルあり学習データおよびラベルなし学習データには、時刻情報が付与されている。時刻情報とは、例えば、学習データがテキストである場合、テキストが発刊された日時等を意味する。本実施形態では、現在までの過去の異なる時刻情報が付与された、複数のラベルあり学習データおよび複数のラベルなし学習データが受け付けられる。

なお、ラベルあり学習データは、ＮＩＣ（Network Interface Card）等で実現される図示しない通信制御部を介して、外部のサーバ装置等から作成部１０に入力されてもよい。

制御部は、処理プログラムを実行するＣＰＵ（Central Processing Unit）等を用いて実現され、データ変換部１２、学習部１３、および分類器作成部１４として機能する。

データ変換部１２は、後述する学習部１３における処理の準備として、受け付けられたラベルあり学習データを、収集時刻、特徴ベクトル、および数値ラベルの組み合わせのデータに変換する。また、データ変換部１２は、ラベルなし学習データを、収集時刻および特徴ベクトルの組み合わせのデータに変換する。以下の作成部１０の処理におけるラベルあり学習データおよびラベルなし学習データは、データ変換部１２による変換後のデータを意味する。

ここで、数値ラベルとは、ラベルあり学習データに付与されているラベルが数値に変換されたものである。また、収集時刻とは、学習データが収集された時刻を示す時刻情報である。また、特徴ベクトルとは、受け付けられたラベルあり学習データの特徴をｎ次元の数ベクトルで表記したものである。機械学習における汎用手法により学習データが変換される。例えば、学習データがテキストである場合には、形態素解析、ｎ−ｇｒａｍ、または区切り文字により変換される。

学習部１３は、分類器学習部として機能して、過去の所定の時点までに収集された、ラベルが付与されたデータと、該所定の時点以降に収集された、ラベルが付与されていないデータとを学習データとして用いて、各時点における分類器の分類基準を学習する。また、学習部１３は、時系列変化学習部として機能して、該分類基準の時系列変化を学習する。本実施形態において、学習部１３は、分類器学習部としての分基準の学習と、時系列変化学習部としての時系列変化の学習とを並列して行う。

具体的には、学習部１３は、ｔ_１〜ｔ_Ｌまでの収集時刻が付与されたラベルあり学習データと、ｔ_Ｌ＋１〜ｔ_Ｌ＋Ｕまでの収集時刻が付与されたラベルなし学習データとを用いて、分類器の分類基準の学習と分類基準の時系列変化の学習とを同時に行う。本実施形態において、分類器であるラベルが付与される事象が所定の確率分布で発生するものとして、分類器のモデルにロジスティック回帰が適用される。なお、分類器のモデルはロジスティック回帰に限定されず、サポートベクターマシン、ブースティング等でもよい。

また、本実施形態において、分類器の分類基準の時系列変化を表す時系列モデルには、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用される。なお、時系列モデルはＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓに限定されず、ＶＡＲ ｍｏｄｅｌ等のモデルでもよい。

まず、時刻ｔにおけるラベルあり学習データを、次式（１）のように表すことにする。なお、本実施形態において、ラベルは０，１の２つの離散値としているが、ラベルが３つ以上の場合や連続値の場合にも、本実施形態を適用可能である。

また、ラベルあり学習データの全体を、次式（２）のように表すことにする。

また、時刻ｔにおけるラベルなし学習データを、次式（３）のように表すことにする。

また、ラベルなし学習データの全体を、次式（４）のように表すことにする。

この場合に、ロジスティック回帰が適用された分類器において、特徴ベクトルｘ_ｎ ^ｔのラベルｙ_ｎ ^ｔが１である確率は、次式（５）で表される。

時刻ｔにおける分類器のパラメタのｄ成分ｗ_ｔｄは、非線形関数ｆ_ｄを用いて次式（６）により記述されるものと仮定する。ここで、ｄ＝１〜Ｄである。

また、非線形関数ｆ_ｄの事前分布は、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓに従うものとする。すなわち、次式（７）に示す時刻ｔ＝ｔ_１〜ｔ_Ｌ＋Ｕの各時点における非線形関数ｆ_ｄの値は、次式（８）に示すガウス分布から生成されるものと仮定する。

ここで、この共分散行列の各成分は、次式（９）で表される。

上記のｋ_ｄは任意のカーネル関数で定義され得るが、本実施形態において、次式（１０）に示すカーネル関数で定義される。

この場合に、次式（１１）に示す時刻ｔ＝ｔ_１〜ｔ_Ｌ＋Ｕの分類器のパラメタ（ｄ成分）の確率分布は、次式（１２）で表される。

この共分散行列の成分は、次式（１３）に示すカーネル関数ｃ_ｄで定義される。

この場合に、次式（１４）に示す分類器の分類基準Ｗと、分類基準の時系列変化（ダイナミクス）を表す次式（１５）に示すパラメタθとを学習するための同時分布の確率モデルは、次式（１６）で定義される。

次に、上記式（１６）で定義される確率モデルをもとに、データから事後分布を近似して与えるいわゆる変分ベイズ法を用いて、ラベルあり学習データが与えられた場合に分類基準Ｗの分類器（以下、分類器Ｗとも記す。）が得られる確率とダイナミクスパラメータθとを推定する。変分ベイズ法において、次式（１７）に示す関数を最大化することにより、所望のＷの分布すなわちｑ（Ｗ）とダイナミクスパラメータθとが得られる。

ただし、上記式（１７）に示した関数は、ラベルなし学習データには依存しない。そこで、本実施形態では、ラベルなし学習データを活用するために、分類器の決定境界がデータ密度の低い領域を通ることを推奨するよう、次式（１８）に示すＥｎｔｒｏｐｙ ｍｉｎｉｍｉｚａｔｉｏｎ ｐｒｉｎｃｉｐｌｅを適用する。

上記式（１８）のＲ_ｔをｗ_ｔに関して最小化することで、ｗ_ｔが時刻ｔのラベルなし学習データのデータ密度の低い領域を通るように学習される。すなわち、本実施形態の最適化問題は、次式（１９）に示す最適化問題を解くことになる。

最適化問題の解を求めるために、まずｑ（Ｗ）が、次式（２０）に示すように、因数分解できるものと仮定する。

また、ｑ（ｗ_ｔ）が、次式（２１）に示すように、ガウス分布の関数形で表されるものと仮定する。

その場合に、ｑ（Ｗ）は、次式（２２）に示すガウス分布の関数形で表されることがわかる。

ここで、μ_ｔｄおよびλ_ｔｄは、次式（２３）に示す更新式を用いて推定される。

時刻ｔの分布ｑ（ｗ_ｔ）は、正則化項Ｒ（ｗ）をReparameterization Trickを用いて近似した、次式（２４）に示す目的関数を最大化することで得ることができる。この最大化は、例えば準ニュートン法を用いることで、数値的に実行可能である。

また、ダイナミクスパラメータθは、準ニュートン法を用いて更新される。準ニュートン法において、次式（２５）に示す下限Ｌのθに関する項とθに関する微分とが用いられる。

学習部１３は、上記の更新式を用いて、所定の収束条件が満たされるまで、ｑ（Ｗ）の更新とθの更新とを交互に繰り返すことにより、所望のパラメタを推定できる。所定の収束条件とは、例えば、予め定められた更新回数を超えること、あるいは、パラメタの変化量がある一定値以下になること等を意味する。

分類器作成部１４は、未来の時点を含む任意の時点の分類器の分類基準と分類基準の信頼性とを予測する予測部として機能する。具体的には、分類器作成部１４は、学習部１３が学習した分類器の分類基準と分類基準の時系列変化とを用いて、未来の時刻ｔ_＊の分類器の分類基準の予測と、予測された分類基準の信頼性を表す確信度とを導出する。

分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用された場合には、時刻ｔ_＊＞ｔ_Ｌ＋Ｕにおいて分類器Ｗが得られる確率分布は、次式（２６）で表される。なお、時刻ｔ_＊≦ｔ_Ｌ＋Ｕにおいては、ｑ（ｗ_ｔ＊）を適用すればよい。

これにより、分類器作成部１４は、任意の時刻の予測された分類基準の分類器を、その予測の確信度とともに得ることができる。分類器作成部１４は、予測された分類器の分類基準と確信度とを分類器格納部１５に格納する。

分類器格納部１５は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、作成された未来の時刻の分類器の分類基準と確信度とを格納する。格納形式は特に限定されず、例えば、ＭｙＳＱＬやＰｏｓｔｇｒｅＳＱＬ等のデータベース形式、表形式、またはテキスト形式等が例示される。

［分類部］
分類部２０は、データ入力部２１、データ変換部２２、分類部２３、および分類結果出力部２４を有し、上述したように、作成部１０により作成された分類器を用いてデータを分類してラベルを出力する分類処理を行う。

データ入力部２１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部に対して各種指示情報を入力したり、分類処理対象のデータを受け付けたりする。ここで受け付けられる分類処理対象のデータには、ある時点の時刻情報が付与されている。データ入力部２１は、学習データ入力部１１と同一のハードウェアでもよい。

制御部は、処理プログラムを実行するＣＰＵ等を用いて実現され、データ変換部２２と分類部２３とを有する。

データ変換部２２は、作成部１０のデータ変換部１２と同様に、データ入力部２１が受け付けた分類処理対象のデータを収集時刻および特徴ベクトルの組み合わせに変換する。ここで、分類処理対象のデータには、ある時点の時刻情報が付与されているため、収集時刻と時刻情報とが同一となる。

分類部２３は、分類器格納部１５を参照し、分類処理対象のデータの収集時刻と同時刻の分類器とその確信度とを用いて、データの分類処理を行う。例えば、上記のように分類器のモデルにロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用された場合には、次式（２７）により、当該データｘのラベルｙが１である確率が得られる。分類部２３は、得られた確率が予め設定された所定の閾値以上であれば、ラベル＝１とし、該閾値より小さい場合には、ラベル＝０とする。

分類結果出力部２４は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現され、分類処理の結果を操作者に対して出力する。例えば、入力されたデータに対するラベルを出力したり、入力されたデータにラベルを付与して出力したりする。

［作成処理］
次に、図２を参照して、作成装置１の作成部１０による作成処理について説明する。図２は、本実施形態の作成処理手順を例示するフローチャートである。図２のフローチャートは、例えば、ユーザによる作成処理の開始を指示する操作入力があったタイミングで開始される。

まず、学習データ入力部１１が、時刻情報が付与されたラベルあり学習データおよびラベルなし学習データを受け付ける（ステップＳ１）。次に、データ変換部１２が、受け付けたラベルあり学習データを、収集時刻、特徴ベクトルおよび数値ラベルの組み合わせのデータに変換する。また、データ変換部１２が、受け付けたラベルなし学習データを、収集時刻および特徴ベクトルの組み合わせのデータに変換する（ステップＳ２）。

次に、学習部１３が、時刻ｔまでの分類器の分類基準と分類器の時系列変化を表す時系列モデルとを学習する（ステップＳ３）。例えば、ロジスティック回帰モデルのパラメタｗ_ｔと、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓのパラメタθとが、同時に求められる。

次に、分類器作成部１４が、任意の時刻ｔの分類器の分類基準を確信度とともに予測して分類器を作成する（ステップＳ４）。例えば、ロジスティック回帰モデルおよびＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用された分類器について、任意の時刻ｔの分類器のパラメタｗ_ｔおよび確信度が求められる。

最後に、分類器作成部１４が、作成した分類器の分類基準および確信度を分類器格納部１５に格納する（ステップＳ５）。

［分類処理］
次に図３を参照して作成装置１の分類部２０による分類処理について説明する。図３のフローチャートは、例えば、ユーザによる分類処理の開始を指示する操作入力があったタイミングで開始される。

まず、データ入力部２１が、時刻ｔの分類処理対象のデータを受け付け（ステップＳ６）、データ変換部２２が、受け付けたデータを収集時刻、特徴ベクトルの組み合わせのデータに変換する（ステップＳ７）。

次に、分類部２３が、分類器格納部１５を参照して、受け付けたデータの収集時刻の分類器とともにその確信度を用いてデータの分類処理を行う（ステップＳ８）。そして、分類結果出力部２４が、分類結果の出力すなわち分類されたデータのラベルの出力を行う（ステップＳ９）。

以上、説明したように、本実施形態の作成装置１では、学習部１３が、過去の所定の時点までに収集されたラベルあり学習データと、該所定の時点以降に収集されたラベルなし学習データとを用いて、各時点における分類器の分類基準と、該分類基準の時系列変化とを学習し、分類器作成部１４が、学習された分類基準と時系列変化とを用いて未来の時点を含む任意の時点の分類器の分類基準と分類基準の信頼性とを予測する。

すなわち、図４に例示するように、入力された現在までの収集時刻ｔ＝ｔ_１〜ｔ_Ｌのラベルあり学習データＤ^Ｌと、収集時刻ｔ＝ｔ_Ｌ＋１〜ｔ_Ｌ＋Ｕのラベルなし学習データＤ^Ｕとを用いて、学習部１３が、時刻ｔ＝ｔ_１〜ｔ_Ｌ＋Ｕの分類器ｈ_ｔ（ｈ_１、ｈ_２、…，ｈ_Ｌ，ｈ_Ｌ＋１，…，ｈ_Ｌ＋Ｕ）の分類基準と、分類基準の時系列変化すなわちダイナミクスを表す時系列モデルとを学習する。

図４に示した例では、時刻ｔ＝ｔ_１〜ｔ_Ｌにおいて収集された、ｙ＝０のラベルあり学習データと、ｙ＝１のラベルあり学習データと、時刻ｔ＝ｔ_１〜ｔ_Ｌ＋Ｕにおいて収集されたラベルなし学習データとを用いて、分類基準と、分類基準の時系列変化とが学習されている。そして、分類器作成部１４が、未来の任意の時刻ｔの分類基準ｈ_ｔと予測された分類基準ｈ_ｔの確信度とを予測して、任意の時刻ｔの分類器ｈ_ｔを作成する。

これにより、本実施形態の作成装置１における作成部１０の作成処理によれば、ラベルあり学習データの収集時点以降に収集されたラベルなし学習データを用いて、ラベルあり学習データのみから学習された分類基準の時間発展を補正することができる。また、ラベルあり学習データと収集コストの低いラベルなし学習データとを用いて、未来の分類基準を確信度とともに予測する。したがって、予測される分類基準の確信度を考慮して分類器を選択して用いることにより、分類器の分類精度の低下を抑止して、高精度に分類を行うことが可能となる。このように、作成装置１の作成処理によれば、分類基準の時間発展を考慮して、ラベルなし学習データを用いて分類精度が維持された分類器を作成することができる。

また、特に分類器の分類基準と分類基準の時系列変化とを同時に学習する場合には、例えば、ラベルあり学習データの数が少ない場合にも、分類器の分類基準と分類基準の時系列変化とを別々に学習する場合より、安定した学習を行うことができる。

なお、本発明の作成処理は、ラベルを離散値とした分類問題に限定されず、ラベルを実数値とした回帰問題としてもよい。これにより、多様な分類器の未来の分類基準を予測することができる。

また、ラベルあり学習データおよびラベルなし学習データの過去の収集時刻は、一定の離散的な時間間隔で連続していなくてもよい。例えば、上記実施形態のように、分類器の分類基準の時系列変化を表す時系列モデルにＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓを適用した場合、離散的な時間間隔が不均一であっても、分類器を作成できる。

［第２の実施形態］
上記の第１の実施形態の学習部１３は、分類器学習部１３ａと時系列モデル学習部１３ｂとに分離されてもよい。図５は、第２の実施形態の作成装置１の概略構成を例示する図である。本実施形態は、上記の第１の実施形態の学習部１３による処理を、分類器学習部１３ａおよび時系列モデル学習部１３ｂが分担して行う点においてのみ異なる。本実施形態では、分類器学習部１３ａによる分類基準の学習の後、時系列モデル学習部１３ｂによる時系列変化の学習が行われる。その他の点については、第１の実施形態と同一であるので、説明を省略する。

なお、本実施形態において、上記第１の実施形態と同様に、分類器のモデルにはロジスティック回帰が適用され、分類器の分類基準の時系列変化を表す時系列モデルにはＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓが適用される。なお、時系列モデルはＧａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓに限定されず、ＶＡＲ ｍｏｄｅｌ等のモデルでもよい。

図６は、本実施形態の作成処理手順を例示するフローチャートである。上記した第１の実施形態とは、ステップＳ３１の処理およびステップＳ３２の処理のみが異なる。

ステップＳ３１の処理では、分類器学習部１３ａは、収集時刻ｔ＝ｔ_１〜ｔ_Ｌのラベルあり学習データと収集時刻ｔ＝ｔ_Ｌ＋１〜ｔ_Ｌ＋Ｕのラベルなし学習データとを用いて、任意の時刻ｔの分類器の分類基準を学習する。例えば、ロジスティック回帰モデルの時刻ｔにおけるパラメタｗ_ｔが求められる。

ステップＳ３２の処理では、時系列モデル学習部１３ｂが、分類器学習部１３ａにより得られた時刻ｔまでの分類器の分類基準を用いて、該分類基準の時系列変化を表す時系列モデルを学習する。例えば、Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓのパラメタθが求められる。

このように、本実施形態の作成装置１では、分類器の分類基準と分類基準の時系列変化とが別々に学習される。これにより、例えば、ラベルあり学習データおよびラベルなし学習データの数が多い場合にも、分類器の分類基準と分類基準の時系列変化とを同時に学習する場合より、各機能部の処理負荷を軽くして、短時間で処理することが可能となる。

［プログラム］
上記実施形態に係る作成装置１が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、作成装置１は、パッケージソフトウェアやオンラインソフトウェアとして上記の作成処理を実行する作成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の作成プログラムを情報処理装置に実行させることにより、情報処理装置を作成装置１として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の作成処理に関するサービスを提供するサーバ装置として作成装置１を実装することもできる。例えば、作成装置１は、ラベルあり学習データを入力とし、分類器を出力する作成処理サービスを提供するサーバ装置として実装される。この場合、作成装置１は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の作成処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、作成装置１と同様の機能を実現する作成プログラムを実行するコンピュータの一例を説明する。

図７は、作成プログラムを実行するコンピュータ１０００の一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、作成プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した作成装置１が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、作成プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、作成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、作成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１ 作成装置
１０ 作成部
１１ 学習データ入力部
１２ データ変換部
１３ 学習部
１３ａ 分類器学習部
１３ｂ 時系列モデル学習部
１４ 分類器作成部
１５ 分類器格納部
２０ 分類部
２１ データ入力部
２２ データ変換部
２３ 分類部
２４ 分類結果出力部

Claims (6)

1. 入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置であって、
   過去の所定の時点までに収集された、ラベルが付与されたデータと、該所定の時点以降に収集された、ラベルが付与されていないデータとを学習データとして用いて、各時点における分類器の分類基準を学習する分類器学習部と、
   該分類基準の時系列変化を学習する時系列変化学習部と、
   学習された前記分類基準と前記時系列変化とを用いて、未来の時点を含む任意の時点の分類器の分類基準と該分類基準の信頼性とを予測する予測部と、
   を備えることを特徴とする作成装置。
2. 前記データは、離散的な時間間隔が不均一なデータであることを特徴とする請求項１に記載の作成装置。
3. 前記時系列変化学習部は、前記分類器学習部による前記分類基準の学習と並列して、前記時系列変化を学習することを特徴とする請求項１または２に記載の作成装置。
4. 前記時系列変化学習部は、前記分類器学習部による前記分類基準の学習の後、前記時系列変化を学習することを特徴とする請求項１または２に記載の作成装置。
5. 入力されたデータの属性を表すラベルを出力する分類器を作成する作成装置で実行される作成方法であって、
   過去の所定の時点までに収集された、ラベルが付与されたデータと、該所定の時点以降に収集された、ラベルが付与されていないデータとを学習データとして用いて、各時点における分類器の分類基準を学習する分類器学習工程と、
   該分類基準の時系列変化を学習する時系列変化学習工程と、
   学習された前記分類基準と前記時系列変化とを用いて、未来の時点を含む任意の時点の分類器の分類基準と該分類基準の信頼性とを予測する予測工程と、
   を含んだことを特徴とする作成方法。
6. コンピュータに、
   過去の所定の時点までに収集された、ラベルが付与されたデータと、該所定の時点以降に収集された、ラベルが付与されていないデータとを学習データとして用いて、各時点における分類器の分類基準を学習する分類器学習ステップと、
   該分類基準の時系列変化を学習する時系列変化学習ステップと、
   学習された前記分類基準と前記時系列変化とを用いて、未来の時点を含む任意の時点の分類器の分類基準と該分類基準の信頼性とを予測する予測ステップと、
   を実行させることを特徴とする作成プログラム。

Images