JP2010033213A - 規則学習方法、プログラム及び装置 - Google Patents
規則学習方法、プログラム及び装置 Download PDFInfo
- Publication number
- JP2010033213A JP2010033213A JP2008193067A JP2008193067A JP2010033213A JP 2010033213 A JP2010033213 A JP 2010033213A JP 2008193067 A JP2008193067 A JP 2008193067A JP 2008193067 A JP2008193067 A JP 2008193067A JP 2010033213 A JP2010033213 A JP 2010033213A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- weight
- learning case
- feature
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】評価値の高い素性を複数個1学習ラウンドで一度に抽出したとしても、複数個の素性に対応する確信度を一括して算出するのではなく、対応する確信度の算出及び重みの更新を上記複数個の素性の各々について行うことによって、トレーニングエラーの上限値を増加させることなく、高速に規則学習を実施することができるようになる。
【選択図】図11
Description
Y. Freund and L. Mason. The alternating decision tree learning algorithm,In Proc.of 16th ICML,pages124-133,1999 R. E. Schapire and Y. Singer. Improved boosting using confidence-rated predictions. Machine Learning,37(3):297-336,1999 R. E. Schapire and Y. Singer. Boostexter:A boosting-based system for text categorization. Machine Learning,39(2/3):135-168,2000
まず、Boostingアルゴリズムが扱う問題について述べる。ここでχを事例集合とし、扱うラベル集合をy={−1、+1}とする。また、学習の目的は、学習データS={(x1,y1),...,(xm,y1)}から、マッピングF:χ−>yを導出することである。
二つの素性集合x、x’において、xが有する全ての素性をx’が有する場合には、xはx’の部分素性集合と呼び、次のように記す。
x⊆x’
以上述べたような前提を元に、本技術の実施の形態を説明する。図10に本実施の形態におけるシステムの機能ブロック図を示す。本システムは、学習データなどの入力を行うための学習データ入力部1と、学習データ入力部1によって入力された学習データなどを格納する学習データ格納部3と、学習データ格納部3に格納されているデータを用いて本実施の形態における主要な処理を実施する規則学習部5と、規則学習部5の処理結果である規則データを格納する規則データ格納部7と、生成された規則を適用して分類を行う対象である分類データを入力するための分類データ入力部9と、分類データ入力部9によって入力された分類データを格納する分類データ格納部11と、規則データ格納部7に格納されている規則データを、分類データ格納部11に格納されている処理対象データに適用して、分類を行う規則適用部13と、規則適用部13の処理結果を格納する処理結果格納部15とを有する。
A.BoosTexterにおけるAdaBoostの収束性
まず、非特許文献3のTheorem1にて証明されているAdaBoost(重みについて正規化を行うもの。以下、AdaBoost-normalizedと呼ぶ。)のトレーニングエラーの上限値について紹介する。このトレーニングエラーの上限値は各ラウンドでの事例の重みの積となることを示す。続いて、いかなる規則が追加された場合においても、トレーニングエラーの上限値は、一つ前のトレーニングエラーの上限値より減少するかあるいは同一となることを示す。
非特許文献1におけるAdaTrees学習アルゴリズムで用いられているAdaBoost(重みを正規化しないもの。以下、AdaBoost-unnormalizedと呼ぶ。)のトレーニングエラーの上限値は、各ラウンドでの更新後の事例の重みの和となる。このことを、非特許文献3のTheorem1に基づき導出する。また、AdaTrees学習アルゴリズムで用いられているAdaBoostにおいて、いかなる規則が追加された場合においても、トレーニングエラーの上限値は、一つ前のトレーニングエラーの上限値より減少するかあるいは、最悪の場合でも同一となることを示す。
さらに、固有名詞か否かを判別する学習データ(12821単語のうち1340単語が固有名詞)を用いて、学習時間毎に、学習データに対してどれだけの精度で固有名詞を判別できるかを測定した結果を、図25に示す。図25のグラフにおいて、横軸は学習時間を表し、縦軸は精度を表す。精度Fは、以下の式で算出される。
F=2*Recall*Precision/(Recall+Precision)
Recall=正しく固有名詞と判別できた数/固有名詞の数
Precision=正しく固有名詞と判別できた数/固有名詞と答えた数
図1の処理フローより図2の処理フロー、図2の処理フローより本実施の形態における処理フローを採用した方が、明らかに早く精度が向上することが分かる。このように図2の処理フローと本実施の形態における処理フローとは、その構造が単に異なるだけではなく、学習速度も向上することが分かる。
さらに、木やグラフを分類する弱学習器を扱うBoostingアルゴリズムであっても最初に計算を開始する素性をあるバケットに存在するものと制限することで、同様に適用することができる。
文献:Kudo, Taku, Matsumoto, Yuji. A Boosting Algorithm for Classification of Semi-Structured Text. 2004,. Proceedings of EMNLP 2004, 301-308.
文献:Taku Kudo, Eisaku Maeda, Yuji Matsumoto. An Application of Boosting to Graph Classification. 2004. Proceedings of NIPS 2004.
で算出されるようにしてもよい。
で算出されるようにしてもよい。
1又は複数の素性を含む素性集合と−1と+1のうちいずれかであるラベルとを含む学習事例と当該学習事例の重みとの組み合わせを複数格納する学習事例データ格納部に登録されている各素性について、確信度の算出を行うべき素性を選択するための評価値を前記学習事例のデータ及び当該学習事例の重みとを用いて算出し、前記素性に対応して評価値格納部に格納する評価値算出ステップと、
前記評価値格納部に格納されている前記評価値の大きい順に所定個数の素性を選択する選択ステップと、
選択された前記所定個数の素性のうち1つの素性について、前記学習事例データ格納部に登録されている前記学習事例のデータ及び当該学習事例の重みとを用いて前記確信度を算出して前記1つの素性と前記確信度の組を規則データ格納部に格納すると共に、前記学習事例のデータと当該学習事例の重みと当該1つの素性に対応する前記確信度とを用いて次の段階で用いるべき各学習事例の重みを算出し、前記学習事例データ格納部に格納されている重みを更新する更新ステップと、
前記更新ステップを前記所定個数の素性のうち残余の素性について繰り返す繰り返しステップと、
前記評価値算出ステップと前記選択ステップと前記更新ステップと前記繰り返しステップとを所定回数繰り返すステップと、
を含み、コンピュータにより実行される規則学習方法。
前記素性fと、前記素性集合xiと、前記ラベルyiと、前記学習事例の重みwiと、前記学習事例の件数mとから、前記評価値gが、
で算出される付記1記載の規則学習方法。
前記素性fと、前記素性集合xiと、前記ラベルyiと、前記学習事例の重みwiと、前記学習事例の件数mと、所定の調整値εとから、前記確信度cが、
で算出される付記1記載の規則学習方法。
t回目の処理における前記素性ft及び前記確信度ctと、前記素性集合xiと、前記ラベルyiと、前記t回目の処理における前記学習事例の重みwt,iと、前記学習事例の件数mとから、t+1回目の処理のための前記学習事例の重みwt+1,iが、
1又は複数の素性を含む素性集合と−1と+1のうちいずれかであるラベルとを含む学習事例と当該学習事例の重みとの組み合わせを複数格納する学習事例データ格納部に登録されている各素性について、確信度の算出を行うべき素性を選択するための評価値を前記学習事例のデータ及び当該学習事例の重みとを用いて算出し、前記素性に対応して評価値格納部に格納する評価値算出ステップと、
前記評価値格納部に格納されている前記評価値の大きい順に所定個数の素性を選択する選択ステップと、
選択された前記所定個数の素性のうち1つの素性について、前記学習事例データ格納部に登録されている前記学習事例のデータ及び当該学習事例の重みとを用いて前記確信度を算出して前記1つの素性と前記確信度の組を規則データ格納部に格納すると共に、前記学習事例のデータと当該学習事例の重みと当該1つの素性に対応する前記確信度とを用いて次の段階で用いるべき各学習事例の重みを算出し、前記学習事例データ格納部に格納されている重みを更新する更新ステップと、
前記更新ステップを前記所定個数の素性のうち残余の素性について繰り返す繰り返しステップと、
前記評価値算出ステップと前記選択ステップと前記更新ステップと前記繰り返しステップとを所定回数繰り返すステップと、
を、コンピュータに実行させるための規則学習プログラム。
1又は複数の素性を含む素性集合と−1と+1のうちいずれかであるラベルとを含む学習事例と当該学習事例の重みとの組み合わせを複数格納する学習事例データ格納部と、
評価値格納部と、
前記学習事例データ格納部に登録されている各素性について、確信度の算出を行うべき素性を選択するための評価値を前記学習事例のデータ及び当該学習事例の重みとを用いて算出し、前記素性に対応して前記評価値格納部に格納する評価値算出手段と、
前記評価値格納部に格納されている前記評価値の大きい順に所定個数の素性を選択する選択手段と、
規則データ格納部と、
選択された前記所定個数の素性のうち1つの素性について、前記学習事例データ格納部に登録されている前記学習事例のデータ及び当該学習事例の重みとを用いて前記確信度を算出して前記1つの素性と前記確信度の組を前記規則データ格納部に格納すると共に、前記学習事例のデータと当該学習事例の重みと当該1つの素性に対応する前記確信度とを用いて次の段階で用いるべき各学習事例の重みを算出し、前記学習事例データ格納部に格納されている重みを更新する更新手段と、
を有し、
前記更新手段の処理を、前記所定個数の素性の各々について繰り返し実施させ、
前記評価値算出手段による処理と前記選択手段による処理と前記更新手段による処理を前記所定個数の素性の各々について繰り返させる処理とを所定回数繰り返させる
規則学習装置。
5 規則学習部 7 規則データ格納部
9 分類データ入力部 11 分類データ格納部
13 規則適用部 15 処理結果格納部
Claims (3)
- 1又は複数の素性を含む素性集合と−1と+1のうちいずれかであるラベルとを含む学習事例と当該学習事例の重みとの組み合わせを複数格納する学習事例データ格納部に登録されている各素性について、確信度の算出を行うべき素性を選択するための評価値を前記学習事例のデータ及び当該学習事例の重みとを用いて算出し、前記素性に対応して評価値格納部に格納する評価値算出ステップと、
前記評価値格納部に格納されている前記評価値の大きい順に所定個数の素性を選択する選択ステップと、
選択された前記所定個数の素性のうち1つの素性について、前記学習事例データ格納部に登録されている前記学習事例のデータ及び当該学習事例の重みとを用いて前記確信度を算出して前記1つの素性と前記確信度の組を規則データ格納部に格納すると共に、前記学習事例のデータと当該学習事例の重みと当該1つの素性に対応する前記確信度とを用いて次の段階で用いるべき各学習事例の重みを算出し、前記学習事例データ格納部に格納されている重みを更新する更新ステップと、
前記更新ステップを前記所定個数の素性のうち残余の素性について繰り返す繰り返しステップと、
前記評価値算出ステップと前記選択ステップと前記更新ステップと前記繰り返しステップとを所定回数繰り返すステップと、
を含み、コンピュータにより実行される規則学習方法。 - 1又は複数の素性を含む素性集合と−1と+1のうちいずれかであるラベルとを含む学習事例と当該学習事例の重みとの組み合わせを複数格納する学習事例データ格納部に登録されている各素性について、確信度の算出を行うべき素性を選択するための評価値を前記学習事例のデータ及び当該学習事例の重みとを用いて算出し、前記素性に対応して評価値格納部に格納する評価値算出ステップと、
前記評価値格納部に格納されている前記評価値の大きい順に所定個数の素性を選択する選択ステップと、
選択された前記所定個数の素性のうち1つの素性について、前記学習事例データ格納部に登録されている前記学習事例のデータ及び当該学習事例の重みとを用いて前記確信度を算出して前記1つの素性と前記確信度の組を規則データ格納部に格納すると共に、前記学習事例のデータと当該学習事例の重みと当該1つの素性に対応する前記確信度とを用いて次の段階で用いるべき各学習事例の重みを算出し、前記学習事例データ格納部に格納されている重みを更新する更新ステップと、
前記更新ステップを前記所定個数の素性のうち残余の素性について繰り返す繰り返しステップと、
前記評価値算出ステップと前記選択ステップと前記更新ステップと前記繰り返しステップとを所定回数繰り返すステップと、
を、コンピュータに実行させるための規則学習プログラム。 - 1又は複数の素性を含む素性集合と−1と+1のうちいずれかであるラベルとを含む学習事例と当該学習事例の重みとの組み合わせを複数格納する学習事例データ格納部と、
評価値格納部と、
前記学習事例データ格納部に登録されている各素性について、確信度の算出を行うべき素性を選択するための評価値を前記学習事例のデータ及び当該学習事例の重みとを用いて算出し、前記素性に対応して前記評価値格納部に格納する評価値算出手段と、
前記評価値格納部に格納されている前記評価値の大きい順に所定個数の素性を選択する選択手段と、
規則データ格納部と、
選択された前記所定個数の素性のうち1つの素性について、前記学習事例データ格納部に登録されている前記学習事例のデータ及び当該学習事例の重みとを用いて前記確信度を算出して前記1つの素性と前記確信度の組を前記規則データ格納部に格納すると共に、前記学習事例のデータと当該学習事例の重みと当該1つの素性に対応する前記確信度とを用いて次の段階で用いるべき各学習事例の重みを算出し、前記学習事例データ格納部に格納されている重みを更新する更新手段と、
を有し、
前記更新手段の処理を、前記所定個数の素性の各々について繰り返し実施させ、
前記評価値算出手段による処理と前記選択手段による処理と前記更新手段による処理を前記所定個数の素性の各々について繰り返させる処理とを所定回数繰り返させる
規則学習装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008193067A JP5206196B2 (ja) | 2008-07-28 | 2008-07-28 | 規則学習方法、プログラム及び装置 |
US12/505,529 US8296249B2 (en) | 2008-07-28 | 2009-07-20 | Rule learning by updating training example and a remaining feature weights |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008193067A JP5206196B2 (ja) | 2008-07-28 | 2008-07-28 | 規則学習方法、プログラム及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010033213A true JP2010033213A (ja) | 2010-02-12 |
JP5206196B2 JP5206196B2 (ja) | 2013-06-12 |
Family
ID=41569518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008193067A Active JP5206196B2 (ja) | 2008-07-28 | 2008-07-28 | 規則学習方法、プログラム及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8296249B2 (ja) |
JP (1) | JP5206196B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9348810B2 (en) | 2013-06-28 | 2016-05-24 | Fujitsu Limited | Model learning method |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160127319A1 (en) * | 2014-11-05 | 2016-05-05 | ThreatMetrix, Inc. | Method and system for autonomous rule generation for screening internet transactions |
EP3371749A1 (en) | 2015-11-06 | 2018-09-12 | Google LLC | Regularizing machine learning models |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8108324B2 (en) * | 2008-05-15 | 2012-01-31 | Intel Corporation | Forward feature selection for support vector machines |
-
2008
- 2008-07-28 JP JP2008193067A patent/JP5206196B2/ja active Active
-
2009
- 2009-07-20 US US12/505,529 patent/US8296249B2/en active Active
Non-Patent Citations (5)
Title |
---|
CSNG200700238003; 佐古 淳, 他2名: 'AdaBoostを用いたシステムへの問い合わせと雑談の判別' 情報処理学会研究報告 第2006巻, 第136号, 20061222, p.19-24, 社団法人情報処理学会 * |
CSNG200800055105; 飯伏 勝俊, 他2名: 'MeSHの階層構造に基づくMEDLINEアブストラクトの自動分類' 言語処理学会第6回年次大会発表論文集 , 20000307, p.435-438, 言語処理学会 * |
JPN6013001901; 飯伏 勝俊, 他2名: 'MeSHの階層構造に基づくMEDLINEアブストラクトの自動分類' 言語処理学会第6回年次大会発表論文集 , 20000307, p.435-438, 言語処理学会 * |
JPN6013001902; 佐古 淳, 他2名: 'AdaBoostを用いたシステムへの問い合わせと雑談の判別' 情報処理学会研究報告 第2006巻, 第136号, 20061222, p.19-24, 社団法人情報処理学会 * |
JPN6013001903; Andrea Esuli, et al.: 'MP-Boost: A Multiple-Pivot Boosting Algorithm and Its Application to Text Categorization' Proceedings of the 13th International Symposium on String Processing and Information Retrieval (SPIR , 2006 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9348810B2 (en) | 2013-06-28 | 2016-05-24 | Fujitsu Limited | Model learning method |
Also Published As
Publication number | Publication date |
---|---|
JP5206196B2 (ja) | 2013-06-12 |
US8296249B2 (en) | 2012-10-23 |
US20100023466A1 (en) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11604956B2 (en) | Sequence-to-sequence prediction using a neural network model | |
WO2019169719A1 (zh) | 文摘自动提取方法、装置、计算机设备及存储介质 | |
US8918348B2 (en) | Web-scale entity relationship extraction | |
JP7293498B2 (ja) | サンプル一致度評価による能動学習 | |
Zaremba et al. | Learning to discover efficient mathematical identities | |
Ahmed et al. | A novel decision tree classification based on post-pruning with Bayes minimum risk | |
JP2008257732A (ja) | 文書のクラスタリング又は範疇化のための方法 | |
US11481560B2 (en) | Information processing device, information processing method, and program | |
Angeli et al. | Stanford’s 2014 slot filling systems | |
JP6553180B2 (ja) | 言語検出を行うためのシステムおよび方法 | |
WO2014073206A1 (ja) | 情報処理装置、及び、情報処理方法 | |
JP6172317B2 (ja) | 混合モデル選択の方法及び装置 | |
KR20220024990A (ko) | L2TL(Learning to Transfer Learn)을 위한 프레임워크 | |
JP2019204214A (ja) | 学習装置、学習方法、プログラム及び推定装置 | |
JP5206196B2 (ja) | 規則学習方法、プログラム及び装置 | |
US9348810B2 (en) | Model learning method | |
Chen et al. | Uncover the ground-truth relations in distant supervision: A neural expectation-maximization framework | |
Hosseini et al. | Pool and accuracy based stream classification: a new ensemble algorithm on data stream classification using recurring concepts detection | |
JP6770709B2 (ja) | 機械学習用モデル生成装置及びプログラム。 | |
JP5206197B2 (ja) | 規則学習方法、プログラム及び装置 | |
JP5175585B2 (ja) | 文書処理装置、電子カルテ装置および文書処理プログラム | |
JP2015225662A (ja) | 人名ユニット辞書の拡張方法、人名言語の認識方法及び人名言語の認識装置 | |
WO2021033515A1 (ja) | 情報処理装置、方法及びプログラム | |
Culp et al. | On adaptive regularization methods in boosting | |
WO2022070105A1 (en) | Systems and methods for enforcing constraints to predictions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5206196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |