JP2005107743A - 学習システム - Google Patents

Abstract

【課題】選択的にサンプリングして効率的に学習する方式を提供する。
【解決手段】 入力部２１は、そのラベルが設定されたデータである学習データと終了条件とを力する。学習部２１は、学習アルゴリズムを用いて、学習データを学習して仮説を生成する。記憶部３３には、そのラベルが設定されていないデータである複数の候補データが格納されている。データ選択部２３は、記憶部３３を参照し、仮説を用いて、複数の候補データの各々に対するスコアを計算し、計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択する。データ更新部２４は、ユーザにより決定されたラベルを選択された第１候補データに設定し、選択された第１候補データを学習データに付加して学習部２１に出力する。データ選択処理とデータ更新処理と学習処理とを終了条件を満たすまで繰り返す。
【選択図】図２

Description

本発明は、学習データを学習させる学習システムに関する。

コンピュータプログラムである学習アルゴリズムを用いて、学習データを学習させる方法として、能動学習と知識発見とが挙げられる。能動学習とは、与えられた学習データから受動学習するだけでなく、学習に有効なデータを能動的に提示することで、精度を向上させる技術のことである。従来の能動学習を利用した方法、もしくは選択的サンプリングを利用した方法は、特許文献１、非特許文献１、非特許文献２に記載されている。この従来の能動学習手法は、情報量が最も多い候補データ（以下、情報量最大の候補データと称する）を選択していた。この情報量最大の候補データは、境界だと予測されるデータである。また、知識発見とは、与えられた学習データから再学習を行う技術のことである。従来の知識発見を利用した方法は、特許文献２に記載されている。この従来の知識発見は、情報量最大の候補データを選択していた。
学習（能動学習や知識発見）では、クラスまたは関数値を含むラベルが用いられる。クラスは、ある事象の状態の有無を表し、関数値は、ある事象の状態を大きさとして数値で表したものである。能動学習である場合、ラベルは、学習データ、選択された候補データに設定され、知識発見である場合、ラベルは、学習データ、候補データに設定されている。

学習データを学習させるときに、アンサンブル学習が用いられる場合がある。アンサンブル学習とは、受動学習の精度を向上させるために、与えられた学習データから複数の仮説を生成し、これらの仮説を統合する技術のことである。代表的なアンサンブル学習手法として、バギング（Ｂａｇｇｉｎｇ）やブースティング（Ｂｏｏｓｔｉｎｇ）などがあり、非特許文献３、非特許文献４に記載されている。

学習データを学習させるときに、属性選択を行う場合がある。属性選択とは、学習データの属性を絞ることで次元を減らし精度を向上させる技術のことであり、非特許文献５に記載されている。この従来の手法では、予め定めた確率に従ってそれぞれの属性を選択するか否かを決定することで属性を減らしている。

しかし、学習データを学習させるための従来の手法では、以下のような問題点がある。

まず、第１の問題点は、所望の結果を予測することができないことである。例えば、候補データがアンバランスなデータまたは価値の異なるデータの場合に効率的に学習（能動学習や知識発見）ができない。ここで、アンバランスなデータとは、例えばラベル（クラスや関数値）を着目した時に情報数の分布が一様分布からある程度隔たっているデータのことであり、例えば、クラス間の情報数が異なっているデータなどである。また、価値が異なるデータとは、データのラベル（クラスや関数値）を求めるコストが異なる場合や、特定のラベル（クラスあるいは関数値）が設定されたデータに価値がある場合のデータのことであり、そのような価値の高いデータを主に抽出したいような場合に利用される。
第１の問題点の理由としては、従来手法のように情報量最大の候補データを選択していると、情報数が少ない候補データが選択されないため、学習データのラベル（クラス、関数値）に属する多様な候補データが得られず、学習アルゴリズムによる学習が困難となるためである。それを防ぐためには、学習アルゴリズムでコストなどを設定する、あるいは候補データを増減させるなどの手法が考えられるが、学習前に適切なコストや適切な候補データの増減を決めるのは難しい。候補データの価値が異なる場合、価値の高い候補データを選択することにより、所望の結果を予測することができる学習システムが望まれる。

第２の問題点は、予測精度が安定しないことである。
第２の問題点の理由としては、候補データを選択するための基準が予めに決められている（情報量最大の候補データを選択する）ために、選択される候補データが偏ってしまい、候補データ全体から反映されるような仮説が生成されないためである。予測精度が安定する学習システムが望まれる。

第３の問題点は、上述のアンサンブル学習により属性選択を行う場合、適切な選択確率が予め定められないと予測精度が向上しないことである。
第３の問題点の理由としては、例えば属性の選択確率を０．５と予め定めた場合、選択される属性数はおよそ半分になるが、実際には不要な属性が多かった場合、対応できない。学習前に適切な属性数を決めるのは難しい。また、学習しながら、属性数を計算（選択確率）により決めるようにするとその計算に時間がかかり計算コストが膨大になる。予測精度が向上する学習システムが望まれる。

上記の問題点について、創薬のスクリーニングを例にして具体的に説明する。創薬のスクリーニングの場合、例えば、クラスは、ある事象の状態の有無として、ある化合物の結合の有無を表し、関数値は、ある事象の状態の大きさとして、ある化合物の結合能を数値で表したものである。
創薬のスクリーニングでは、活性化合物（正例）の数が非活性化合物（負例）の数に比べて非常に少ない。従って、情報量最大の候補データを選択していると、上記第２の問題点として、非活性化合物を多く選択してしまい、多様な活性化合物が得られない。
また、実験を通して薬物候補となる活性化合物を発見するために、活性化合物を如何に少ない実験回数で発見するかが重要である。情報量最大という基準では、上記第１の問題点として、効率的に学習（能動学習、知識発見）することができない。このため、より良い仮説を生成すること（所望の結果を予測すること）ができないことがある。

特開平１１−３１６７５４号公報 特開２００１−２２９０２６号公報 セング（Ｓｅｕｎｇ）著「クエリー バイ コミッティ（Ｑｕｅｒｙ ｂｙ Ｃｏｍｍｉｔｔｅｅ）」１９９２年発行の国際会議の予稿集「プロシーディングス オブ ザ フィフス アニュアル エーシーエム ワークショップ オン コンピューテーショナル ラーニング セオリー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｆｉｆｔｈ ａｎｎｕａｌ ＡＣＭ ｗｏｒｋｓｈｏｐ ｏｎ ｃｏｍｐｕｔａｔｉｏｎａｌ ｌｅａｒｎｉｎｇ ｔｈｅｏｒｙ）」の２８７−２９４頁 ワームス（Ｗａｒｍｕｔｈ）著「サポートベクタマシン フォア アクティブ ラーニング イン ザ ドラッグ ディスカバリー プロセス（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ｆｏｒ Ａｃｔｉｖｅ Ｌｅａｒｎｉｎｇ ｉｎ ｔｈｅ Ｄｒｕｇ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｃｅｓｓ）」２００３年発行の論文誌「ジャーナル オブ ケミカル インフォメーション サイエンス（Ｊｏｕｒｎａｌ ｏｆ Ｃｈｅｍｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ）」４３巻２号６６７−６７３頁 ブライマン（Ｂｒｅｉｍａｎ）著「バギング プレディクターズ（Ｂａｇｇｉｎｇ Ｐｒｅｄｉｃｔｏｒｓ）」１９９６年発行の論文誌「マシンラーニング（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」２４巻２号１２３−１４０頁 フロインド（Ｆｒｅｕｎｄ）とシャピレ（Ｓｈａｐｉｒｅ）著「ア ディシジョン セオレティック ジェネラライゼーション オブ オンライン ラーニング アンド アン アプリケーション トゥー ブースティング（Ａ ｄｅｃｉｓｉｏｎ −ｔｈｏｒｅｔｉｃ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｏｆ ｏｎ−ｌｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｏｏｓｔｉｎｇ）」１９９５年発行の国際会議予稿集「プロシーディングス オブ セカンド ヨーロピアン コンファランス オン コンピューテーショナル ラーニング セオリー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｓｅｃｏｎｄ ｅｕｒｏｐｅａｎ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔａｔｉｏｎａｌ ｌｅａｒｎｉｎｇ ｔｈｅｏｒｙ）」２３−３７頁 ホ（Ｈｏ）著「ザ ランダム サブスペース メソッド フォア コンストラクティング ディシジョン フォレスト（Ｔｈｅ Ｒａｎｄｏｍ Ｓｕｂｓｐａｃｅ Ｍｅｔｈｏｄ ｆｏｒ Ｃｏｎｓｔｒｕｃｔｉｎｇ Ｄｅｃｉｓｉｏｎ Ｆｏｒｅｓｔｓ）」１９９８年発行の論文誌「アイトリプルイー トランザクションズ オン パタン アナリシス アンド マシン インテリジェンス（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）」２０巻８号８３２−８４４頁

本発明の課題は、所望の結果を予測することができる学習システムを提供することにある。

本発明の他の課題は、予測精度が安定する学習システムを提供することにある。

本発明の更に他の課題は、予測精度が向上する学習システムを提供することである。

以下に、［発明を実施するための最良の形態］で使用する番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］の記載との対応関係を明らかにするために付加されたものであるが、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。

本発明の学習システム（５０）は、入力装置（１）と処理装置（５）と記憶部（３３）と出力装置（４）とを具備する。処理装置（５）は、コンピュータであり、コンピュータプログラムである入力部（２１）と学習部（２１）と計算部（２３）と選択部（２３）と設定部（２４）とデータ更新部（２４）と制御部（２２）とを備えている。処理装置（５）は、以下に示すステップを実行する。
（ａ）ユーザの入力装置（１）の操作により、処理装置（５）の入力部（２１）は、そのラベルが設定されたデータである学習データと終了条件とを入力する（Ｓ１）。
（ｂ）処理装置（５）の学習部（２１）は、学習アルゴリズムを用いて、学習データを学習して仮説を生成する（Ｓ２４）。
記憶部（３３）には、そのラベルが設定されていないデータである複数の候補データが格納されている。
（ｃ）処理装置（５）の計算部（２３）は、記憶部（３３）を参照し、仮説を用いて、複数の候補データの各々に対するスコアを計算する（Ｓ４）。
（ｄ）処理装置（５）の選択部（２３）は、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択する（Ｓ４）。
（ｅ）ユーザの入力装置（１）の操作により、処理装置（５）の設定部（２４）は、ユーザにより決定されたラベルを上記選択された第１候補データに設定する（Ｓ５）。
（ｆ）処理装置（５）のデータ更新部（２４）は、上記選択された第１候補データを学習データに付加して学習部（２１）に出力する（Ｓ５）。このとき、学習部（２１）は、（ｂ）ステップを実行する。
（ｇ）終了条件が満たされないとき（Ｓ３−ＮＯ）、処理装置（５）の制御部（２２）は、（ｃ）ステップと（ｄ）ステップと（ｅ）ステップと（ｆ）ステップとが実行されるように、学習部（２１）と計算部（２３）と選択部（２３）と設定部（２４）とデータ更新部（２４）とを制御する。
（ｈ）終了条件が満たされたとき（Ｓ３−ＹＥＳ）、処理装置（５）の制御部（２２）は、（ｆ）ステップにて学習部（２１）により生成された仮説を出力装置（４）に出力する。

本発明の学習システム（５０）は、入力装置（１）と処理装置（５）と記憶部（３３）と出力装置（４）とを具備する。処理装置（５）は、コンピュータであり、コンピュータプログラムである入力部（２１）と学習部（２１）と計算部（２３）と選択部（２３）と設定部（２４）とデータ更新部（２４）と制御部（２２）とを備えている。処理装置（５）は、以下に示すステップを実行する。
（ａ）ユーザの入力装置（１）の操作により、処理装置（５）の入力部（２１）は、そのラベルが設定されたデータである学習データと終了条件とを入力する（Ｓ１）。
（ｂ）処理装置（５）の学習部（２１）は、学習アルゴリズムを用いて、アンサンブル学習により学習データを学習し複数の仮説を生成する（Ｓ２１〜Ｓ２６）。
記憶部（３３）には、そのラベルが設定されていないデータである複数の候補データが格納されている。
（ｃ）処理装置（５）の計算部（２３）は、複数の仮説に対して重み付き平均を施し、記憶部（３３）を参照し、複数の仮説を用いて、複数の候補データの各々に対するスコアを計算する（Ｓ４）。
（ｄ）処理装置（５）の選択部（２３）は、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択する（Ｓ４）。
（ｅ）ユーザの入力装置（１）の操作により、処理装置（５）の設定部（２４）は、ユーザにより決定されたラベルを上記選択された第１候補データに設定する（Ｓ５）。
（ｆ）処理装置（５）のデータ更新部（２４）は、上記選択された第１候補データを学習データに付加して学習部（２１）に出力する（Ｓ５）。このとき、学習部（２１）は、（ｂ）ステップを実行する。
（ｇ）終了条件が満たされないとき（Ｓ３−ＮＯ）、処理装置（５）の制御部（２２）は、（ｃ）ステップと（ｄ）ステップと（ｅ）ステップと（ｆ）ステップとが実行されるように、学習部（２１）と計算部（２３）と選択部（２３）と設定部（２４）とデータ更新部（２４）とを制御する。
（ｈ）終了条件が満たされたとき（Ｓ３−ＹＥＳ）、処理装置（５）の制御部（２２）は、（ｆ）ステップにて学習部（２１）により生成された複数の仮説を出力装置（４）に出力する。

本発明の学習システム（５０）によれば、以上の構成により、能動学習を行う際に、所望の結果を予測することができる。例えば、複数の候補データが前述のアンバランスなデータまたは前述の価値の異なるデータの場合に効率的に能動学習を行うことができる。
複数の候補データが前述のアンバランスなデータである場合、本発明の学習システム（５０）では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、情報数が少ない候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。
複数の候補データが前述の価値の異なるデータである場合、本発明の学習システム（５０）では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、価値の高い候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。

本発明の学習システム（５０）によれば、能動学習を行う際に、所望の結果を予測する予測精度が安定する。
本発明の学習システム（５０）では、第１候補データを選択するための基準が予めに決められているわけではない（必ずしも情報量最大の候補データを選択するわけではない）ために、選択される候補データが偏ることはない。このため、候補データ全体から反映されるような仮説を生成することができ、予測精度が安定する。

本発明の学習システム（５０）において、処理装置（５）の選択部（２３）は、複数の候補データの中から第１候補データを選択するための、予め定められた選択関数を有することが好ましい。この選択関数は、指数的に減少する関数であることが好ましい。

本発明の学習システム（５０）において、（ｂ）ステップにて、学習部（２１）は、アンサンブル学習により、学習データをリサンプリングして部分データを生成し（Ｓ２２）、学習データの属性をリサンプリングして部分属性を生成し（Ｓ２３）、部分データと部分属性とに基づいて学習データを学習する（Ｓ２４）。

本発明の学習システム（５０）によれば、能動学習を行う際に、アンサンブル学習により属性選択を行う場合、所望の結果を予測する予測精度が向上する。
本発明の学習システム（５０）では、学習データをリサンプリングすることに加えて、学習データの属性もリサンプリングするため、不要な属性を除くことができる。このため、本発明の学習システム（５０）では、部分データと不要な属性を除いた部分属性とにより学習データを学習し複数の仮説を生成した場合、従来の手法よりも迅速に所望の結果を予測することができ、予測精度が向上する。

本発明の学習システム（６０）は、入力装置（１）と処理装置（５）と記憶部（３３）と出力装置（４）とを具備する。処理装置（５）は、コンピュータであり、コンピュータプログラムである入力部（２１）と学習部（２１）と計算部（２３）と選択部（２３）とデータ更新部（２４）と制御部（２２）とを備えている。処理装置（５）は、以下に示すステップを実行する。
（ａ）ユーザの入力装置（１）の操作により、処理装置（５）の入力部（２１）は、そのラベルが設定されたデータである学習データと終了条件とを入力する（Ｓ１）。
（ｂ）処理装置（５）の学習部（２１）は、学習アルゴリズムを用いて、学習データを学習して仮説を生成する（Ｓ２４）。
記憶部（３３）には、そのラベルが設定されたデータである複数の候補データが格納されている。
（ｃ）処理装置（５）の計算部（２３）は、記憶部（３３）を参照し、仮説を用いて、複数の候補データの各々に対するスコアを計算する（Ｓ４）。
（ｄ）処理装置（５）の選択部（２３）は、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択する（Ｓ４）。
（ｅ）処理装置（５）のデータ更新部（２４）は、上記選択された第１候補データを学習データとして学習部（２１）に出力する（Ｓ６）。このとき、学習部（２１）は、（ｂ）ステップを実行する。
（ｆ）終了条件が満たされないとき（Ｓ３−ＮＯ）、処理装置（５）の制御部（２２）は、（ｃ）ステップと（ｄ）ステップと（ｅ）ステップとが実行されるように、学習部（２１）と計算部（２３）と選択部（２３）とデータ更新部（２４）とを制御する。
（ｇ）終了条件が満たされたとき（Ｓ３−ＹＥＳ）、処理装置（５）の制御部（２２）は、（ｅ）ステップにて学習部（２１）により生成された仮説を出力装置（４）に出力する。

本発明の学習システム（６０）は、入力装置（１）と処理装置（５）と記憶部（３３）と出力装置（４）とを具備する。処理装置（５）は、コンピュータであり、コンピュータプログラムである入力部（２１）と学習部（２１）と計算部（２３）と選択部（２３）とデータ更新部（２４）と制御部（２２）とを備えている。処理装置（５）は、以下に示すステップを実行する。
（ａ）ユーザの入力装置（１）の操作により、処理装置（５）の入力部（２１）は、そのラベルが設定されたデータである学習データと終了条件とを入力する（Ｓ１）。
（ｂ）処理装置（５）の学習部（２１）は、学習アルゴリズムを用いて、アンサンブル学習により学習データを学習し複数の仮説を生成する（Ｓ２１〜Ｓ２６）。
記憶部（３３）には、そのラベルが設定されたデータである複数の候補データが格納されている。
（ｃ）処理装置（５）の計算部（２３）は、複数の仮説に対して重み付き平均を施し、記憶部（３３）を参照し、複数の仮説を用いて、複数の候補データの各々に対するスコアを計算する（Ｓ４）。
（ｄ）処理装置（５）の選択部（２３）は、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択する（Ｓ４）。
（ｅ）処理装置（５）のデータ更新部（２４）は、上記選択された第１候補データを学習データとして学習部（２１）に出力する（Ｓ６）。このとき、学習部（２１）は、（ｂ）ステップを実行する。
（ｆ）終了条件が満たされないとき（Ｓ３−ＮＯ）、処理装置（５）の制御部（２２）は、（ｃ）ステップと（ｄ）ステップと（ｅ）ステップとが実行されるように、学習部（２１）と計算部（２３）と選択部（２３）とデータ更新部（２４）とを制御する。
（ｇ）終了条件が満たされたとき（Ｓ３−ＹＥＳ）、処理装置（５）の制御部（２２）は、（ｅ）ステップにて学習部（２１）により生成された複数の仮説を出力装置（４）に出力する。

本発明の学習システム（６０）によれば、以上の構成により、知識発見を行う際に、所望の結果を予測することができる。例えば、複数の候補データが前述のアンバランスなデータまたは前述の価値の異なるデータの場合に効率的に知識発見を行うことができる。
複数の候補データが前述のアンバランスなデータである場合、本発明の学習システム（６０）では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、情報数が少ない候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。
複数の候補データが前述の価値の異なるデータである場合、本発明の学習システム（６０）では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、価値の高い候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。

本発明の学習システム（６０）によれば、知識発見を行う際に、予測精度が安定する。
本発明の学習システム（６０）では、第１候補データを選択するための基準が予めに決められているわけではない（必ずしも情報量最大の候補データを選択するわけではない）ために、選択される候補データが偏ることはない。このため、候補データ全体から反映されるような仮説を生成することができ、予測精度が安定する。

本発明の学習システム（６０）において、処理装置（５）の選択部（２３）は、複数の候補データの中から第１候補データを選択するための、予め定められた選択関数を有することが好ましい。この選択関数は、指数的に減少する関数であることが好ましい。

本発明の学習システム（６０）において、（ｂ）ステップにて、学習部（２１）は、アンサンブル学習により、学習データをリサンプリングして部分データを生成し（Ｓ２２）、学習データの属性をリサンプリングして部分属性を生成し（Ｓ２３）、部分データと部分属性とに基づいて学習データを学習する（Ｓ２４）。

本発明の学習システム（６０）によれば、知識発見を行う際に、アンサンブル学習により属性選択を行う場合、所望の結果を予測する予測精度が向上する。
本発明の学習システム（６０）では、学習データをリサンプリングすることに加えて、学習データの属性もリサンプリングするため、不要な属性を除くことができる。このため、本発明の学習システム（６０）では、部分データと不要な属性を除いた部分属性とにより学習データを学習し複数の仮説を生成した場合、従来の手法よりも迅速に所望の結果を予測することができ、予測精度が向上する。

本発明の学習システムは、所望の結果を予測することができる。

本発明の学習システムは、予測精度が安定する。

本発明の学習システムは、予測精度が向上する。

添付図面を参照して、本発明による学習システムを実施するための最良の形態を以下に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る学習システムとして能動学習システム５０の構成を示すブロック図である。本発明の能動学習システム５０は、入力装置１と、データ処理装置５と、出力装置４とを具備する。データ処理装置５はコンピュータであり、データ処理装置５には、入力装置１と出力装置４とが接続されている。出力装置４としては表示装置、印刷装置が例示される。

データ処理装置５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６と、メモリ７と、メモリ７より容量が大きい大容量メモリとを具備する。メモリ７には、ＣＰＵ６が実行するためのコンピュータプログラムであるデータ処理部２と、記憶部３とが格納されている。データ処理部２は、学習プログラムである学習部２１と、制御プログラムである制御部２２と、データ選択プログラムであるデータ選択部２３と、データ更新プログラムであるデータ更新部２４とを具備する。制御部２２は、学習部２１、データ選択部２３、データ更新部２４を制御するプログラムである。記憶部３は、リサンプリングデータ記憶部３１、学習データ記憶部３２を具備する。リサンプリングデータ記憶部３１は、アンサンブル学習を行う場合に使われる。また、上記大容量メモリを候補データ記憶部３３と称する。

図２は、図１の機能ロジックを示す図である。

ユーザの入力装置１の操作により、データ処理部２の学習部２１は、学習データと下位学習アルゴリズムと終了条件とを入力する。学習データは、そのラベル（クラスまたは関数値）が設定されたデータである。学習データの詳細については後述する。下位学習アルゴリズムは、能動学習を行うためのコンピュータプログラムである。学習部２１は、入力した学習データと終了条件とを学習データ記憶部３２に格納する。本実施例では、下位学習アルゴリズムは、学習データと終了条件と共に入力されるが、予めに学習データ記憶部３２に格納されていてもよい。

学習部２１は、下位学習アルゴリズムを用いて学習処理を行う。アンサンブル学習により学習データのリサンプリングや属性選択を行う場合、学習部２１は、下位学習アルゴリズムを用いて、アンサンブル学習を行う。学習部２１は、アンサンブル学習により、学習データをリサンプリングして部分データを生成し、学習データの属性をリサンプリングして部分属性を生成し、部分データと部分属性とを含むリサンプリングデータをリサンプリングデータ記憶部３１に格納する。リサンプリング、仮説についての詳細は後述する。学習部２１は、リサンプリングデータ記憶部３１を参照して、リサンプリングデータに基づいて、学習データを学習し仮説を生成する。本実施例では、リサンプリングも下位学習アルゴリズムで実現するようにプログラムを作成した場合には、リサンプリングデータ記憶部３１は省略可能である。
アンサンブル学習を行う場合、学習部２１は、予め決められたリサンプリング回数分だけ上記の学習処理を繰り返して複数の仮説を得る。

候補データ記憶部３３には、複数の候補データが格納されている。複数の候補データの各々は、そのラベル（クラスまたは関数値）が設定されていないデータである。本実施例では、複数の候補データは、候補データ記憶部３３に予めに格納されているが、更新あるいは変更することができる。また、複数の候補データは、学習データと下位学習アルゴリズムと終了条件と共に入力されてもよい。
本実施例では、候補データ記憶部３３は、上記大容量メモリとしてメモリ７と分けられてデータ処理装置５に備えられているが、候補データの数が少ない場合、ＣＰＵ６が高速に計算できるため、メモリ７内に設けられてもよい。この場合、メモリ７の記憶部３は、更に、候補データ記憶部３３を具備する。

データ処理部２のデータ選択部２３は、データ選択処理を行う。データ選択処理では、データ選択部２３は、学習部２１により生成された複数の仮説に対して、重み付き平均を施す。データ選択部２３は、候補データ記憶部３３を参照し、複数の仮説を用いて、複数の候補データの各々に対するスコアを計算する。データ選択部２３は、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択する。このデータ選択部２３（データ選択プログラム）には、複数の候補データの中から第１候補データを選択するための、予め定められた選択関数が記載されている。選択関数を用いて第１候補データを選択することについての詳細は後述する。

データ処理部２のデータ更新部２４は、データ更新処理を行う。データ更新処理では、データ更新部２４は、データ選択部２３により選択された第１候補データを出力装置４に出力する。ユーザは、上記選択された第１候補データのラベル（クラスまたは関数値）を実験などで確定（決定）する。ユーザの入力装置１の操作により、データ更新部２４は、ユーザにより決定されたラベル（クラスまたは関数値）を上記選択された第１候補データに設定する。データ更新部２４は、上記選択された第１候補データを学習データに付加して学習部２１に出力し、候補データ記憶部３３に格納された第１候補データを削除する。

データ処理部２の制御部２２は、学習データ記憶部３２を参照して、終了条件が満たされないとき、上記の処理を実行するように学習部２１、データ選択部２３、データ更新部２４を制御する。制御部２２は、学習データ記憶部３２を参照して、終了条件が満たされたとき、学習部２１により生成された複数の仮説を出力装置４に出力する。

上記の学習データについて説明する。入力装置１によってデータ処理装置５に入力される学習データをＳとし、そのデータ数をｍ（ｍは１以上の整数）としたとき、ラベル（クラスまたは関数値）が設定された学習データＳは、数１のように表される。

ここで、ｘ_ｉは入力、ｙ_ｉは出力値を示す。例えば、創薬の場合、ｘ_ｉは化合物の表現、ｙ_ｉは活性の有無などである。ｙ_ｉは、ｙ_ｉ∈｛０、１｝でも、任意のクラスの集合でも、任意の関数値の集合でも構わない。ここでは、説明を簡単にするために、｛０、１｝とし、情報数が少ないクラス、もしくは価値の高いクラスを出力＝１の正例として以下説明するが、複数の候補データが前述のアンバランスなデータや前述の価値の異なるデータの場合以外でも本発明は適用できる。また、多クラスあるいは関数値の場合も、出力＝１の代わりに１つ以上のクラスあるいは関数値を割り当てることなどにより一般性を失わずに本発明を適用できる。または、多クラスの場合には、２クラスの分類を組み合わせることにより、分類を実現することもできる。

上記の下位学習アルゴリズムは、例えば、決定木、決定リスト、ニューラルネットワーク、ナイーブベイズ（Ｎａｉｖｅ Ｂａｙｅｓ）、ベイジアンネットワーク、遺伝的アルゴリズム、回帰分析、サポートベクタマシンなどの何らかの表現形を用いて入出力データを学習するアルゴリズムであれば何でもよい。
ここでは、アンサンブル学習としてバギングを用いて説明を行うが、本発明はブースティングなどの他のアンサンブル学習に適用してもよい。アンサンブル学習を行う場合、リサンプリング回数をＴとし、上記の学習処理をＴ回繰り返して複数の仮説としてＴ個の仮説を得る。

次に、本発明の能動学習システム５０の動作としてアンサンブル学習を行う場合について詳細に説明する。図３は、本発明の能動学習システム５０の動作を示すフローチャートである。

ユーザの入力装置１の操作により、データ処理部２の学習部２１は、入力処理として、学習データと下位学習アルゴリズムと終了条件とを入力する（ステップＳ１）。このとき、学習部２１は、終了条件を学習データ記憶部３２に格納する。

次に、学習部２１は、上記の学習処理として、学習データに対して、下位学習アルゴリズムを用いたアンサンブル学習を行う（ステップＳ２）。

まず、学習部２１は、学習データを学習データ記憶部３２に格納し、リサンプリング回数ｉを１にセットする（ステップＳ２１）。

次に、学習部２１は、アンサンブル学習により、学習データをリサンプリングして部分データを生成する（ステップＳ２２）。ここで、リサンプリングとは、例えば、ｍ個の学習データＳに対して、所定回数だけ１からｍまでの整数ｉをランダムに発生させ、その整数の番号の学習データ（ｘ_ｉ、ｙ_ｉ）をサンプリングすることなどである。

次いで、学習部２１は、不要な属性を減らすために、アンサンブル学習により、学習データと同時に学習データの属性もリサンプリングして部分属性を生成する（ステップＳ２３）。このとき、学習部２１は、部分データと部分属性とを含むリサンプリングデータをリサンプリングデータ記憶部３１に格納する。学習データの場合と異なり学習データの属性は同じ属性が存在しても意味が無いので同じ属性は削除する。適切な属性数の推定値に応じて予め決めた数だけ、属性をリサンプリングする。適切な属性数が推定できない場合には、元の属性数と同数だけリサンプリングする。なお、属性数が膨大過ぎるなどの場合には、この属性選択の前に既存の手法で予め決められた数だけ選択しておいてもよい。

次に、学習部２１は、リサンプリングデータ記憶部３１を参照して、リサンプリングデータに基づいて、下位学習アルゴリズムにより学習データを学習し仮説を生成する（ステップＳ２４）。仮説とは、任意の入力ｘに対して、そのラベルを出力するような表現形である。

次いで、学習部２１は、リサンプリング回数ｊをインクリメント（＋１）する（ステップＳ２５）。

次に、学習部２１は、リサンプリング回数ｊと設定リサンプリング回数Ｔとを比較する（ステップＳ２６）。リサンプリング回数ｊが設定リサンプリング回数Ｔ（Ｔは１以上の整数）を越えない場合（ステップＳ２６−ＮＯ）、学習部２１は、ステップＳ２２〜Ｓ２５を繰り返す。リサンプリング回数ｊが設定リサンプリング回数Ｔを越えた場合（ステップＳ２６−ＹＥＳ）、学習部２１は、Ｔ個の仮説を得る。

次に、データ処理部２の制御部２２は、学習データ記憶部３２を参照して、終了条件を満たしているか否かを判定する（ステップＳ３）。終了条件を満たしていなければ（ステップＳ３−ＮＯ）、制御部２２は、データ選択処理、データ更新処理、学習処理を実行するようにデータ選択部２３、データ更新部２４、学習部２１を制御する。

終了条件を満たしていない場合（ステップＳ３−ＮＯ）、データ処理部２のデータ選択部２３は、データ選択処理を行う（ステップＳ４）。データ選択処理では、スコア計算処理と選択処理とを含む。

データ選択処理（ステップＳ４）のスコア計算処理では、データ選択部２３は、学習部２１により生成されたＴ個の仮説に対して、重み付き平均を施す。データ選択部２３は、候補データ記憶部３３を参照し、Ｔ個の仮説を用いて、複数の候補データの各々に対するスコアを計算する。スコアは、各候補データの正例らしさの数値である。表現形式が決定木の場合には、例えば、スコアとして、候補データをその決定木で分類する際の各葉の学習データでの部分的正例の割合として数２を用いることができる。

ここで、Ｓ^ｔを候補データと同じ葉で分類される学習データの集合とする。上付きｔは階乗を表すものではなく、記号として用いられる。また、Ｓ^ｔのうち、Ｓ_ｐ ^ｔを正例のクラスに属する学習データの集合とし、入力（ｘ_ｉ、ｙ_ｉ）が葉ｔに含まれる重み×個数をｗ_ｉ ^ｔとする。ニューラルネットワークの場合は、例えば、出力値を用いることができる。

または、上記部分的正例の割合をなました値として、例えば、数３を用いることができる。

アンサンブル学習では、バギングの場合、例えば、各仮説のスコアの平均を用い、ブースティングの場合、例えば、各仮説のスコアの重み付きの値を用いる。

データ選択処理（ステップＳ４）の選択処理では、データ選択部２３は、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択する。候補データ記憶部３３に格納された候補データの数をＲ（Ｒは１以上の整数）とし、第１候補データの数をＢ（Ｂは１以上の整数）とする。最初に与えられた（入力した）学習データの数が十分多い場合（設定個数よりも多い場合）には、スコアが最大（スコア最大）の候補データから順にＢ個選択すればよい。これは、学習データの数が十分多いので、偏りが無いと考えられるためである。しかし、実際には、最初に与えられた（入力した）学習データの数は、候補データ記憶部３３に格納された候補データの数に比べて少なく、スコア最大の候補データを選択することは、選択すべき候補データが偏ってしまい解が不安定になる可能性がある。そこで、データ選択部２３は、上記の選択関数として以下に示すのような指数的に減少する関数に基づいて第１候補データを選択する。

まず、データ選択部２３は、候補データ記憶部３３に格納されたＲ個の候補データを、例えば、正例スコア（ＰＳ）の大きい順に並べる。あるいは、例えば、正例スコアに適当な定数で重み付けた正例スコアの分散もしくは標準偏差などを加えた値の大きい順に並べる。あるいは、例えば、｜ＰＳ−０．５｜の順に並べる。これは、前述のアンバランスなデータや前述の価値の異なるデータである場合に限らず通常の能動学習の場合に適した順番である。どのような順番で並べるかは、ユーザーが入力装置１を用いて選択関数のパラメータとして指定することができる。また、データ選択部２３（データ選択プログラム）には、複数の選択関数が記載されていて、選択関数のパラメータを指定するのと同様に、ユーザーが入力装置１を用いて複数の選択関数の中から１つの選択関数を選択することができる。Ｂ個の第１候補データを選択する場合には、例えば、選択関数として指数関数ｆ（ｚ）＝Ａ・ｅ^ｚ（ｚは１以上の整数）が与えられ、数４が成り立つ定数Ａを定める。

図４に示されるように、数４は、ｚ番目の第１候補データを所定範囲８（０から指数関数ｆ（ｚ）の値までの範囲）の中から選択することにより、Ｒ個の候補データからＢ個の第１候補データを選択した時に、ちょうどＲ個の候補データ全体９から選択されるように定数Ａを定めるものである。数４の変形により、定数Ａは以下のように求めることができる。

データ選択部２３は、Ｒ個の候補データをスコアの順に参照し、ｚ番目に選択する第１候補データを、１／ｆ（ｚ）の確率で選択するものとする。選択確率１／ｆ（ｚ）が１に近い場合、スコア上位（スコア最大も含む）の第１候補データをほとんど選択し、選択確率１／ｆ（ｚ）が０に近い場合、第１候補データをまばらに選択する。

次に、データ処理部２のデータ更新部２４は、データ更新処理を行う（ステップＳ５）。データ更新処理では、設定処理と更新処理とを含む。

データ更新処理（ステップＳ５）の設定処理では、データ更新部２４は、データ選択部２３により選択された第１候補データを出力装置４に出力する。ユーザは、上記選択された第１候補データのラベル（クラスまたは関数値）を実験などで確定（決定）する。ユーザの入力装置１の操作により、データ更新部２４は、ユーザにより決定されたラベル（クラスまたは関数値）を上記選択された第１候補データに設定する。

データ更新処理（ステップＳ５）の更新処理では、データ更新部２４は、上記選択された第１候補データを学習データに付加して学習部２１に出力し、候補データ記憶部３３に格納された第１候補データを削除する。その後、学習部２１は、学習処理（ステップＳ２）を実行する。

次に、制御部２２は、学習データ記憶部３２を参照して、終了条件を満たしているか否かを判定する（ステップＳ３）。終了条件を満たしていれば（ステップＳ３−ＹＥＳ）、制御部２２は、学習部２１により生成されたＴ個の仮説を最終仮説として出力装置４に出力する。

終了条件としては、（Ａ）条件、（Ｂ）条件、（Ｃ）条件、（Ｄ）条件、（Ｅ）条件のいずれか１つが挙げられる。（Ａ）条件では、例えば、予め定めた反復回数Ｎを越えたら終了とする。（Ｂ）条件では、予め定めた数の正例が発見できれば終了とする。（Ｃ）条件では、学習データが十分多い場合には、学習データの一部を評価データとして学習に用いずに残しておき、評価データの予測精度が予め定めた値よりも高くなれば終了とする。（Ｄ）条件では、例えばバギングの場合には、推定した予測精度が予め定めた値よりも高くなれば終了とする。予測精度の推定方法は、各学習データに対して、その学習データが用いられなかった仮説でのバギング結果で予測する。これを全ての学習データに対して実行して予測精度を推定する。（Ｅ）条件では、予測精度の傾きが予め定めた値よりも小さくなれば終了とする。

例えば終了条件が（Ａ）条件である場合、制御部２２は、ステップＳ１にて反復回数Ｊを１にセットしておき、データ更新処理（ステップＳ５）が終了したときに反復回数Ｊをインクリメント（＋１）にする。制御部２２は、ステップＳ３にて反復回数Ｊと予め定めた反復回数Ｎとを比較し、反復回数Ｊが予め定めた反復回数Ｎを超えた場合、学習部２１により生成されたＴ個の仮説を出力装置４に出力する。能動学習システム５０では、終了条件を満たさなければ学習データＳの数が（Ｂ×Ｊ）ずつ増える。

本発明の能動学習システム５０の動作としてアンサンブル学習を行う場合について説明したが、アンサンブル学習を行わない場合では、上記のステップＳ２１〜Ｓ２３、Ｓ２５、Ｓ２６は不要である。この場合、ステップＳ２にて学習部２１により生成される仮説の数は１つであるため、データ選択処理（ステップＳ４）のスコア計算処理にて、データ選択部２３は、学習部２１により生成された仮説に対して、重み付き平均を施す必要はない。
また、下位学習アルゴリズムによる学習は、アンサンブル学習としてバギングを用いる場合には独立に行うことができるので、並列に実行することも可能である。
また、学習データとして、属性が少な過ぎる、あるいは全ての属性が重要であると類推されているなど不要な属性を減らす必要が無い場合には、上記のステップＳ２３を省くことができる。

次に、本発明の能動学習システム５０の効果について説明する。

本発明の能動学習システム５０によれば、能動学習を行う際に、所望の結果を予測することができる。例えば、複数の候補データが前述のアンバランスなデータまたは前述の価値の異なるデータの場合に効率的に能動学習を行うことができる。
複数の候補データが前述のアンバランスなデータである場合、本発明の能動学習システム５０では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、情報数が少ない候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。
複数の候補データが前述の価値の異なるデータである場合、本発明の能動学習システム５０では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、価値の高い候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。

本発明の能動学習システム５０では、複数の候補データの中から、第１候補データを選択するときに、必ずしも情報量最大の候補データを選択するわけではない。本発明の能動学習システム５０では、前述のアンバランスなデータ、前述の価値の異なるデータを含む第１候補データを選択する手法として、上述の選択関数（指数的な関数）を用いる。このため、データ空間から一様にデータが選択され、解の不安定さを防ぐことができる。学習データの数が少ないにも関わらず、最大スコアの候補データばかりを選択した場合、部分的に、例えば決定木で部分的に負例が不足して、より正確な仮説が生成できなくなる。このように、複数の候補データの中から、前述のアンバランスなデータ、前述の価値の異なるデータを含む第１候補データを選択するための選択関数を用いることが好ましい。

本発明の能動学習システム５０によれば、能動学習を行う際に、所望の結果を予測する予測精度が安定する。
本発明の能動学習システム５０では、第１候補データを選択するための基準が予めに決められているわけではない（必ずしも情報量最大の候補データを選択するわけではない）ために、選択される候補データ（第１候補データ）が偏ることはない。つまり、学習がある程度進んで、候補データに対するスコアが類似してきた場合、予めに決められたスコアを選択したのでは、例えば決定木のある部分木のデータばかりが選択される可能性があるが、本発明の能動学習システム５０では、確率的に選択しているので、適切にばらついて選択データ（選択される候補データ）が偏ることが無くデータ空間から一様にデータが選択され、解の不安定さを防ぐことができる。このため、候補データ全体から反映されるような仮説を生成することができ、予測精度が安定する。

本発明の能動学習システム５０によれば、能動学習を行う際に、アンサンブル学習により属性選択を行う場合、所望の結果を予測する予測精度が向上する。
本発明の能動学習システム５０では、学習データをリサンプリングすることに加えて、学習データの属性もリサンプリングするため、不要な属性を除くことができる。これにより、データや不要な属性数に依存する最適な選択確率が幾つであっても、ある程度カバーすることができ、予測精度が向上する。また、属性数が少なくなることにより計算効率が向上するため、予測精度が向上する。元の属性数と同数だけリサンプリングすると、平均的には属性の約６割が選択されることになるが、前述した従来の手法のように５割などと予め定めて５割の属性をランダムに選択した場合よりも広く分散させることができる。
このように、本発明の能動学習システム５０では、部分データと不要な属性を除いた部分属性とにより学習データを学習し複数の仮説を生成した場合、従来の手法よりも迅速に所望の結果を予測することができ、予測精度が向上する。

本発明の能動学習システム５０では、前述のアンバランスなデータや前述の価値の異なるデータで下位学習アルゴリズムに決定木や回帰木を使用する場合に、第１候補データに前述のアンバランスなデータ、前述の価値の異なるデータが含まれるように、スコアの計算に葉での正例の割合もしくはそれをなました値を用いる（数２、数３参照）。このため、本発明の能動学習システム５０によれば、アンバランスなデータや価値の異なるデータを考慮して、より良い仮説を生成すること（所望の結果を予測すること）ができる。

次に、本発明の能動学習システム５０の動作について具体的な例を用いて説明する。本発明の能動学習システム５０として、創薬スクリーニングで、候補データ記憶部３３から活性化合物を探索する問題に適用した場合を考える。この場合、活性化合物がデータ数の少ない価値の高い正例に相当し、非活性化合物がデータ数の多い価値の低い負例に相当する。また、下位学習アルゴリズムは決定木を学習するアルゴリズムとし、アンサンブル学習としてバギングを行うものとする。
学習部２１は、ステップＳ１にて、活性の有無が明らかになっている学習データと、決定木を学習するアルゴリズム（下位学習アルゴリズム）と、終了条件とを受け取り、学習処理（ステップＳ２）にて、現時点のデータ、すなわち、学習データからサンプリングにより生成した複数の部分サンプルを、決定木の下位学習アルゴリズムに学習させ、複数の決定木を得る。
次に、制御部２２は、ステップＳ３にて終了条件を満たしているかを判定し、満たしているなら、得られた複数の決定木を出力装置４に出力し、終了する。
満たしていなければ、データ選択部２３は、データ選択処理（ステップＳ４）にて、候補データ記憶部３３に格納された複数の候補データに対して、得られた複数の決定木の各々の正例スコアを上述した手法で計算し平均を取る。こうして計算された複数の候補データに対するスコアに応じて予め定めた選択関数に従って選択する第１候補データを決める。
選択された第１候補データのラベルが化合物の活性実験などで確定された場合、データ更新部２５は、データ更新処理（ステップＳ５）にて、入力装置１から入力されたラベルを第１候補データに設定する。データ更新部２５は、そのラベル付き選択データ（第１候補データ）を学習データに追加し、候補データ記憶部３３からその選択データを削除する。学習部２１は、第１候補データが追加された学習データにより能動学習を続行する。

（第２実施形態）
本発明の第２実施形態に係る学習システムでは、本発明の第１実施形態に係る学習システム（能動学習システム５０）と重複する説明を省略する。図５は、本発明の第２実施形態に係る学習システムとして知識発見システム６０の構成を示すブロック図である。知識発見システム６０のデータ処理部２は、能動学習システム５０のデータ処理部２のデータ更新部２４に代えて、データ更新部２５を具備する。

図６は、図５の機能ロジックを示す図である。

候補データ記憶部３３には、複数の候補データが格納されている。知識発見システム６０の場合、複数の候補データの各々は、そのラベル（クラスまたは関数値）が設定されたデータである。

データ処理部２のデータ更新部２５は、データ更新処理を行う。知識発見システム６０の場合、データ更新処理では、データ更新部２５は、データ選択部２３により選択された第１候補データを学習データとして学習部２１に出力し、候補データ記憶部３３に格納された第１候補データを削除する。

次に、本発明の知識発見システム６０の動作としてアンサンブル学習を行う場合について詳細に説明する。図７は、本発明の知識発見システム６０の動作を示すフローチャートである。

データ処理部２は、能動学習システム５０と同様にステップＳ１〜Ｓ４を実行する。
次に、データ処理部２のデータ更新部２５は、データ更新処理を行う（ステップＳ６）。

データ更新処理（ステップＳ６）では、データ更新部２５は、データ選択部２３により選択された第１候補データを学習データとして学習部２１に出力し、候補データ記憶部３３に格納された第１候補データを削除する。その後、学習部２１は、学習処理（ステップＳ２）を実行する。

本発明の知識発見システム６０の動作としてアンサンブル学習を行う場合について説明したが、アンサンブル学習を行わない場合では、能動学習システム５０の場合と同様に上記のステップＳ２１〜Ｓ２３、Ｓ２５、Ｓ２６は不要である。この場合、ステップＳ２にて学習部２１により生成される仮説の数は１つであるため、データ選択処理（ステップＳ４）のスコア計算処理にて、データ選択部２３は、学習部２１により生成された仮説に対して、重み付き平均を施す必要はない。

次に、本発明の知識発見システム６０の効果について説明する。本発明の知識発見システム６０の効果については、能動学習システム５０とほぼ同様である。

本発明の知識発見システム６０によれば、知識発見を行う際に、所望の結果を予測することができる。例えば、複数の候補データが前述のアンバランスなデータまたは前述の価値の異なるデータの場合に効率的に再学習（知識発見）を行うことができる。
複数の候補データが前述のアンバランスなデータである場合、本発明の知識発見システム６０では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、情報数が少ない候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。
複数の候補データが前述の価値の異なるデータである場合、本発明の知識発見システム６０では、仮説を用いて複数の候補データの各々に対するスコアを計算し、上記計算されたスコアに基づいて、複数の候補データの中から、第１候補データを選択するため、価値の高い候補データを選択することができ、学習データのラベル（クラス、関数値）に属する多様な候補データを得ることができる。このため、より良い仮説を生成すること（所望の結果を予測すること）ができる。

本発明の知識発見システム６０では、複数の候補データの中から、第１候補データを選択するときに、必ずしも情報量最大の候補データを選択するわけではない。本発明の知識発見システム６０では、前述のアンバランスなデータ、前述の価値の異なるデータを含む第１候補データを選択する手法として、上述の選択関数（指数的な関数）を用いる。このため、データ空間から一様にデータが選択され、解の不安定さを防ぐことができる。学習データの数が少ないにも関わらず、最大スコアの候補データばかりを選択した場合、部分的に、例えば決定木で部分的に負例が不足して、より正確な仮説が生成できなくなる。このように、複数の候補データの中から、前述のアンバランスなデータ、前述の価値の異なるデータを含む第１候補データを選択するための選択関数を用いることが好ましい。

本発明の知識発見システム６０によれば、知識発見を行う際に、所望の結果を予測する予測精度が安定する。
本発明の知識発見システム６０では、第１候補データを選択するための基準が予めに決められているわけではない（必ずしも情報量最大の候補データを選択するわけではない）ために、選択される候補データ（第１候補データ）が偏ることはない。つまり、学習がある程度進んで、候補データに対するスコアが類似してきた場合、予めに決められたスコアを選択したのでは、例えば決定木のある部分木のデータばかりが選択される可能性があるが、本発明の知識発見システム６０では、確率的に選択しているので、適切にばらついて選択データ（選択される候補データ）が偏ることが無くデータ空間から一様にデータが選択され、解の不安定さを防ぐことができる。このため、候補データ全体から反映されるような仮説を生成することができ、予測精度が安定する。

本発明の知識発見システム６０によれば、知識発見を行う際に、アンサンブル学習により属性選択を行う場合、所望の結果を予測する予測精度が向上する。
本発明の知識発見システム６０では、学習データをリサンプリングすることに加えて、学習データの属性もリサンプリングするため、不要な属性を除くことができる。これにより、データや不要な属性数に依存する最適な選択確率が幾つであっても、ある程度カバーすることができ、予測精度が向上する。また、属性数が少なくなることにより計算効率が向上するため、予測精度が向上する。元の属性数と同数だけリサンプリングすると、平均的には属性の約６割が選択されることになるが、前述した従来の手法のように５割などと予め定めて５割の属性をランダムに選択した場合よりも広く分散させることができる。
このように、本発明の知識発見システム６０では、部分データと不要な属性を除いた部分属性とにより学習データを学習し複数の仮説を生成した場合、従来の手法よりも迅速に所望の結果を予測することができ、予測精度が向上する。

本発明の知識発見システム６０では、前述のアンバランスなデータや前述の価値の異なるデータで下位学習アルゴリズムに決定木や回帰木を使用する場合に、第１候補データに前述のアンバランスなデータ、前述の価値の異なるデータが含まれるように、スコアの計算に葉での正例の割合もしくはそれをなました値を用いる（数２、数３参照）。このため、本発明の知識発見システム６０によれば、アンバランスなデータや価値の異なるデータを考慮して、より良い仮説を生成すること（所望の結果を予測すること）ができる。

次に、本発明の知識発見システム６０の動作について具体的な例を用いて説明する。本発明の知識発見システム６０として、創薬スクリーニングで、候補データ記憶部３３から活性化合物を探索する問題に適用した場合を考える。この場合、活性化合物がデータ数の少ない価値の高い正例に相当し、非活性化合物がデータ数の多い価値の低い負例に相当する。また、下位学習アルゴリズムは決定木を学習するアルゴリズムとし、アンサンブル学習としてバギングを行うものとする。
学習部２１は、ステップＳ１にて、活性の有無が明らかになっている学習データと、決定木を学習するアルゴリズム（下位学習アルゴリズム）と、終了条件とを受け取り、学習処理（ステップＳ２）にて、現時点のデータ、すなわち、学習データからサンプリングにより生成した複数の部分サンプルを、決定木の下位学習アルゴリズムに学習させ、複数の決定木を得る。
次に、制御部２２は、ステップＳ３にて終了条件を満たしているかを判定し、満たしているなら、得られた複数の決定木を出力装置４に出力し、終了する。
満たしていなければ、データ選択部２３は、データ選択処理（ステップＳ４）にて、候補データ記憶部３３に格納された複数の候補データに対して、得られた複数の決定木の各々の正例スコアを上述した手法で計算し平均を取る。こうして計算された複数の候補データに対するスコアに応じて予め定めた選択関数に従って選択する第１候補データを決める。
能動学習システム５０とは異なり、複数の候補データのラベルは既に既知である。このため、第１候補データのラベルも既に既知である。データ更新部２５は、データ更新処理（ステップＳ５）にて、そのラベル付き選択データ（第１候補データ）を学習データとし、候補データ記憶部３３からその選択データを削除する。学習部２１は、学習データ（第１候補データ）により知識発見を続行する。

本発明の学習システムは、例えば、創薬スクリーニングで活性化合物を探索するなどのバイオインフォマティクスといった用途に適用できる。特に、本発明の学習システムは、前述のアンバランスなデータや前述の価値の異なるデータを含む複数の候補データから第１候補データを選択するようなデータマイニングといった用途に適用可能である。

図１は、本発明の第１実施形態に係る学習システムとして能動学習システムの構成を示すブロック図である。 図２は、図１の機能ロジックを示す図である。 図３は、本発明の第１実施形態に係る学習システムとして能動学習システムの動作を示すフローチャートである。 図４は、本発明の学習システムに適用される選択関数として数４を説明するための図である。 図５は、本発明の第２実施形態に係る学習システムとして知識発見システムの構成を示すブロック図である。 図６は、図５の機能ロジックを示す図である。 図７は、本発明の第２実施形態に係る学習システムとして知識発見システムの動作を示すフローチャートである。

符号の説明

１ 入力装置
２ データ処理部
３ 記憶部
４ 出力装置
５ データ処理装置
６ ＣＰＵ
７ メモリ
２１ 学習部
２２ 制御部
２３ データ選択部
２４ データ更新部
２５ データ更新部
３１ リサンプリングデータ記憶部
３２ 学習データ記憶部
３３ 候補データ記憶部

Claims (21)

1. そのラベルが設定されたデータである学習データと終了条件とを入力する入力部と、
   学習アルゴリズムを用いて、前記学習データを学習して仮説を生成する学習部と、
   そのラベルが設定されていないデータである複数の候補データが格納された記憶部と、
   前記記憶部を参照し、前記仮説を用いて、前記複数の候補データの各々に対するスコアを計算する計算部と、
   前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択する選択部と、
   ユーザにより決定されたラベルを前記選択された第１候補データに設定する設定部と、
   前記選択された第１候補データを前記学習データに付加して前記学習部に出力するデータ更新部と、
   出力装置と、
   前記終了条件が満たされたとき、前記学習部により生成された前記仮説を前記出力装置に出力する制御部と
   を具備する学習システム。
2. そのラベルが設定されたデータである学習データと終了条件とを入力する入力部と、
   学習アルゴリズムを用いて、アンサンブル学習により前記学習データを学習し複数の仮説を生成する学習部と、
   そのラベルが設定されていないデータである複数の候補データが格納された記憶部と、
   前記複数の仮説に対して重み付き平均を施し、前記記憶部を参照し、前記複数の仮説を用いて、前記複数の候補データの各々に対するスコアを計算する計算部と、
   前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択する選択部と、
   ユーザにより決定されたラベルを前記選択された第１候補データに設定する設定部と、
   前記選択された第１候補データを前記学習データに付加して前記学習部に出力するデータ更新部と、
   出力装置と、
   前記終了条件が満たされたとき、前記学習部により生成された前記複数の仮説を前記出力装置に出力する制御部と
   を具備する学習システム。
3. そのラベルが設定されたデータである学習データと終了条件とを入力する入力部と、
   学習アルゴリズムを用いて、前記学習データを学習して仮説を生成する学習部と、
   そのラベルが設定されたデータである複数の候補データが格納された記憶部と、
   前記記憶部を参照し、前記仮説を用いて、前記複数の候補データの各々に対するスコアを計算する計算部と、
   前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択する選択部と、
   前記選択された第１候補データを前記学習データとして前記学習部に出力するデータ更新部と、
   出力装置と、
   前記終了条件が満たされたとき、前記学習部により生成された前記仮説を前記出力装置に出力する制御部と
   を具備する学習システム。
4. そのラベルが設定されたデータである学習データと終了条件とを入力する入力部と、
   学習アルゴリズムを用いて、アンサンブル学習により前記学習データを学習し複数の仮説を生成する学習部と、
   そのラベルが設定されたデータである複数の候補データが格納された記憶部と、
   前記複数の仮説に対して重み付き平均を施し、前記記憶部を参照し、前記複数の仮説を用いて、前記複数の候補データの各々に対するスコアを計算する計算部と、
   前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択する選択部と、
   前記選択された第１候補データを前記学習データとして前記学習部に出力するデータ更新部と、
   出力装置と、
   前記終了条件が満たされたとき、前記学習部により生成された前記複数の仮説を前記出力装置に出力する制御部と
   を具備する学習システム。
5. 前記学習部は、前記アンサンブル学習により、前記学習データをリサンプリングして部分データを生成し、前記学習データの属性をリサンプリングして部分属性を生成し、前記部分データと前記部分属性とに基づいて前記学習データを学習する
   請求項２又は４に記載の学習システム。
6. 前記選択部は、
   前記複数の候補データの中から前記第１候補データを選択するための、予め定められた選択関数を有する
   請求項１〜５のいずれか一項に記載の学習システム。
7. 前記選択関数は、指数的に減少する関数である
   請求項６に記載の学習システム。
8. 入力装置と処理装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる学習方法であって、
   （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
   （ｂ）前記処理装置が、学習アルゴリズムを用いて、前記学習データを学習して仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
   （ｃ）前記処理装置が、前記記憶部を参照し、前記仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
   （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
   （ｅ）ユーザの前記入力装置の操作により前記処理装置が、ユーザにより決定されたラベルを前記選択された第１候補データに設定するステップと、
   （ｆ）前記処理装置が、前記選択された第１候補データを前記学習データに付加し、前記（ｂ）ステップを実行するステップと、
   （ｇ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップと前記（ｆ）ステップとを実行するステップと、
   （ｈ）前記終了条件が満たされたとき、前記処理装置が、前記（ｆ）ステップにより生成された前記仮説を前記出力装置に出力するステップと
   を具備する学習方法。
9. 入力装置と処理装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる学習方法であって、
   （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
   （ｂ）前記処理装置が、学習アルゴリズムを用いて、アンサンブル学習により前記学習データを学習し複数の仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
   （ｃ）前記処理装置が、前記複数の仮説に対して重み付き平均を施し、前記記憶部を参照し、前記複数の仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
   （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
   （ｅ）ユーザの前記入力装置の操作により前記処理装置が、ユーザにより決定されたラベルを前記選択された第１候補データに設定するステップと、
   （ｆ）前記処理装置が、前記選択された第１候補データを前記学習データに付加し、前記（ｂ）ステップを実行するステップと、
   （ｇ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップと前記（ｆ）ステップとを実行するステップと、
   （ｈ）前記終了条件が満たされたとき、前記処理装置が、前記（ｆ）ステップにより生成された前記複数の仮説を前記出力装置に出力するステップと
   を具備する学習方法。
10. 入力装置と処理装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる学習方法であって、
    （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
    （ｂ）前記処理装置が、学習アルゴリズムを用いて、前記学習データを学習して仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
    （ｃ）前記処理装置が、前記記憶部を参照し、前記仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
    （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
    （ｅ）前記処理装置が、前記選択された第１候補データを前記学習データとして前記（ｂ）ステップを実行するステップと、
    （ｆ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップとを実行するステップと、
    （ｇ）前記終了条件が満たされたとき、前記処理装置が、前記（ｅ）ステップにより生成された前記仮説を前記出力装置に出力するステップと
    を具備する学習方法。
11. 入力装置と処理装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる学習方法であって、
    （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
    （ｂ）前記処理装置が、学習アルゴリズムを用いて、アンサンブル学習により前記学習データを学習し複数の仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
    （ｃ）前記処理装置が、前記複数の仮説に対して重み付き平均を施し、前記記憶部を参照し、前記複数の仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
    （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
    （ｅ）前記処理装置が、前記選択された第１候補データを前記学習データとして前記（ｂ）ステップを実行するステップと、
    （ｆ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップとを実行するステップと、
    （ｇ）前記終了条件が満たされたとき、前記処理装置が、前記（ｅ）ステップにより生成された前記複数の仮説を前記出力装置に出力するステップと
    を具備する学習方法。
12. 前記（ｂ）ステップは、前記アンサンブル学習により、前記学習データをリサンプリングして部分データを生成し、前記学習データの属性をリサンプリングして部分属性を生成し、前記部分データと前記部分属性とに基づいて前記学習データを学習する
    請求項９又は１１に記載の学習方法。
13. 前記処理装置は、
    前記複数の候補データの中から前記第１候補データを選択するための、予め定められた選択関数を有する
    請求項８〜１２のいずれか一項に記載の学習方法。
14. 前記選択関数は、指数的に減少する関数である
    請求項１３に記載の学習方法。
15. 入力装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる方法を、前記コンピュータに実行させる学習プログラムであって、
    （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
    （ｂ）前記処理装置が、学習アルゴリズムを用いて、前記学習データを学習して仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
    （ｃ）前記処理装置が、前記記憶部を参照し、前記仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
    （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
    （ｅ）ユーザの前記入力装置の操作により前記処理装置が、ユーザにより決定されたラベルを前記選択された第１候補データに設定するステップと、
    （ｆ）前記処理装置が、前記選択された第１候補データを前記学習データに付加し、前記（ｂ）ステップを実行するステップと、
    （ｇ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップと前記（ｆ）ステップとを実行するステップと、
    （ｈ）前記終了条件が満たされたとき、前記処理装置が、前記（ｆ）ステップにより生成された前記仮説を前記出力装置に出力するステップと
    を前記コンピュータに実行させる学習プログラム。
16. 入力装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる方法を、前記コンピュータに実行させる学習プログラムであって、
    （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
    （ｂ）前記処理装置が、学習アルゴリズムを用いて、アンサンブル学習により前記学習データを学習し複数の仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
    （ｃ）前記処理装置が、前記複数の仮説に対して重み付き平均を施し、前記記憶部を参照し、前記複数の仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
    （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
    （ｅ）ユーザの前記入力装置の操作により前記処理装置が、ユーザにより決定されたラベルを前記選択された第１候補データに設定するステップと、
    （ｆ）前記処理装置が、前記選択された第１候補データを前記学習データに付加し、前記（ｂ）ステップを実行するステップと、
    （ｇ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップと前記（ｆ）ステップとを実行するステップと、
    （ｈ）前記終了条件が満たされたとき、前記処理装置が、前記（ｆ）ステップにより生成された前記複数の仮説を前記出力装置に出力するステップと
    を前記コンピュータに実行させる学習プログラム。
17. 入力装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる方法を、前記コンピュータに実行させる学習プログラムであって、
    （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
    （ｂ）前記処理装置が、学習アルゴリズムを用いて、前記学習データを学習して仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
    （ｃ）前記処理装置が、前記記憶部を参照し、前記仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
    （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
    （ｅ）前記処理装置が、前記選択された第１候補データを前記学習データとして前記（ｂ）ステップを実行するステップと、
    （ｆ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップとを実行するステップと、
    （ｇ）前記終了条件が満たされたとき、前記処理装置が、前記（ｅ）ステップにより生成された前記仮説を前記出力装置に出力するステップと
    を前記コンピュータに実行させる学習プログラム。
18. 入力装置と記憶部と出力装置とを具備するコンピュータを用いて、そのラベルが設定されたデータである学習データを学習させる方法を、前記コンピュータに実行させる学習プログラムであって、
    （ａ）ユーザの前記入力装置の操作により前記処理装置が、前記学習データと終了条件とを入力するステップと、
    （ｂ）前記処理装置が、学習アルゴリズムを用いて、アンサンブル学習により前記学習データを学習し複数の仮説を生成するステップと、前記記憶部には、そのラベルが設定されていないデータである複数の候補データが格納され、
    （ｃ）前記処理装置が、前記複数の仮説に対して重み付き平均を施し、前記記憶部を参照し、前記複数の仮説を用いて、前記複数の候補データの各々に対するスコアを計算するステップと、
    （ｄ）前記処理装置が、前記計算されたスコアに基づいて、前記複数の候補データの中から、第１候補データを選択するステップと、
    （ｅ）前記処理装置が、前記選択された第１候補データを前記学習データとして前記（ｂ）ステップを実行するステップと、
    （ｆ）前記終了条件が満たされないとき、前記処理装置が、前記（ｃ）ステップと前記（ｄ）ステップと前記（ｅ）ステップとを実行するステップと、
    （ｇ）前記終了条件が満たされたとき、前記処理装置が、前記（ｅ）ステップにより生成された前記複数の仮説を前記出力装置に出力するステップと
    を前記コンピュータに実行させる学習プログラム。
19. 前記（ｂ）ステップは、前記アンサンブル学習により、前記学習データをリサンプリングして部分データを生成し、前記学習データの属性をリサンプリングして部分属性を生成し、前記部分データと前記部分属性とに基づいて前記学習データを学習する
    請求項１６又は１８に記載の学習プログラム。
20. 前記処理装置は、
    前記複数の候補データの中から前記第１候補データを選択するための、予め定められた選択関数を有する
    請求項１５〜１９のいずれか一項に記載の学習プログラム。
21. 前記選択関数は、指数的に減少する関数である
    請求項２０に記載の学習プログラム。

Images