JP2000003282A

JP2000003282A - 分類規則学習装置

Info

Publication number: JP2000003282A
Application number: JP10164984A
Authority: JP
Inventors: Nobuhiro Yugami; 伸弘湯上; Aoshi Okamoto; 青史岡本; Tadako Oota; 唯子太田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-06-12
Filing date: 1998-06-12
Publication date: 2000-01-07

Abstract

(57)【要約】【課題】訓練事例を基に、分類効率が高く、かつ、分
類精度も高い分類規則を生成できる分類規則学習装置を
提供する。【解決手段】入力部１０から属性値と所属クラスが与
えられた訓練事例の情報を規則学習部２０に入力し、属
性値を属性値量子化部２１により量子化した後、各訓練
事例に対して規則をそれぞれ生成する。規則の生成にあ
たり他の訓練事例にも共通する条件は該当する訓練事例
をまとめて共通に処理することにより生成時間を短縮す
る。生成された規則は、分類規則生成部３０に入力さ
れ、訓練事例を正しく分類する規則の最小セット集合で
ある主分類規則とその他の補助分類規則とを分類規則と
して生成し、出力部５０から出力する。主分類規則によ
り分類効率の高い分類処理が可能となり、補助分類規則
により分類精度の高い分類が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、エキスパートシス
テムなどにおける入力事例の分類処理を行うための分類
規則を自動的に生成する分類規則学習装置に関する。

【０００２】

【従来の技術】近年の情報処理技術の発達により、コン
ピュータシステムにより、多種多様な情報処理が可能と
なっている。エキスパートシステムなどでは入力事例に
対する分類処理が重要な処理となっている。

【０００３】分類処理はシステムに用意された分類規則
により実行される。入力事例を分類規則に照らし、条件
判断処理を実行して正しい所属クラスを決定することに
より分類する。このように、分類処理性能は、システム
に用意された分類規則に依存するため、如何に効率の良
い分類規則を生成して用意するかという点が重要な課題
となっている。ここで、効率の良い分類規則とは、より
少ない分類規則数、より少ない条件判断処理数により、
入力事例の所属クラスを正しく決定して分類できる規則
の集合を意味する。この分類規則の生成に関し、コンピ
ュータシステムにより自動的に学習させて生成する試み
が行われている。それは、属性値と正しい所属クラスが
与えられている訓練事例をコンピュータシステムに入力
し、準備した学習アルゴリズムにより分類規則を学習、
生成させ、自動的に分類規則を生成するものである。

【０００４】既述したように分類処理効率は分類規則に
依存するため、従来の分類規則の学習アルゴリズムは処
理効率の高い分類規則の生成という観点から設計されて
いた。例えば、従来の分類規則学習装置で採用されてい
る学習アルゴリズムとしては、ＩＤ３、Ｃ４．５、ＡＱ
などがある。これらの分類規則の学習アルゴリズムは、
いずれも与えられた訓練事例の分類を正しく行うことが
できる最小の規則集合を求めることが特徴であった。つ
まり、如何に少ない規則数、少ない条件判断処理数によ
り訓練事例を正しい所属クラスに分類するかという観点
から改良された分類規則学習アルゴリズムであった。

【０００５】ＩＤ３によれば、一つの訓練事例は、二つ
以上の分類規則の条件部を満足するものはなく、一つの
分類規則により所属クラスへの分類が決定されている。
すなわち、他の分類規則によって既に分類が可能となっ
ている訓練事例のみを分類するような規則は、他の分類
規則と重複する冗長な分類規則であるので学習されな
い。この特徴により、より少ない分類規則数、条件判断
処理数による効率的な分類規則の学習、生成が可能とな
る。

【０００６】

【発明が解決しようとする課題】上記従来の技術で述べ
たように、従来の分類規則学習装置は、如何に少ない規
則数、少ない条件判断処理数により訓練事例を正しい所
属クラスに分類するかという観点から改良された分類規
則学習アルゴリズムにより分類規則を生成していたが、
以下のような問題があった。

【０００７】従来の分類規則学習装置によれば、分類規
則の分類効率の向上が図られている反面、分類精度の低
下を招くという問題があった。つまり、分類効率の向上
のため分類規則数を絞り込んだため、前提となった訓練
事例に対しては最適な分類処理が実行できるが、反面、
訓練事例以外の事例に対する適応性が失われていた。実
際の分類処理にあたって入力される事例は必ずしも訓練
事例に含まれていないために間違った分類処理や、事例
に有効に適用できる分類規則の不存在により分類不能と
なる割合が多くなるという問題が生じていた。

【０００８】本発明は、上記従来の分類規則学習装置に
おける問題点に鑑み、訓練事例を基に、分類効率が高
く、かつ、分類精度も高い分類規則を生成できる分類規
則学習装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に本発明にかかる分類規則学習装置は、入力部と、規則
学習部と、分類規則生成部と、出力部とを備え、前記入
力部により属性値と所属クラスがあらかじめ与えられて
いる訓練事例が入力され、前記規則学習部により前記入
力されたそれぞれの訓練事例の持つ各属性値と所属クラ
スの関係を表わす規則を生成し、前記分類規則生成部に
より前記生成されたそれぞれの規則の集合を分類規則と
して編集・生成することを特徴とする。

【００１０】かかる構成により、訓練事例の持つ属性値
と所属クラスの関係を表わす情報のすべてを規則として
作成し、規則の集合を生成することで分類規則のカバー
できる事例の範囲を増加させることができる。

【００１１】また、上記課題を解決するために本発明に
かかる分類規則学習装置は、入力部と、規則学習部と、
分類規則生成部と、出力部とを備え、前記入力部により
属性値と所属クラスがあらかじめ与えられている訓練事
例が入力され、前記規則学習部により前記入力されたそ
れぞれの訓練事例の持つ各属性値と所属クラスの関係を
表わす規則を生成し、前記分類規則生成部により、前記
生成された規則群の部分集合であってすべての訓練事例
を所属クラスに分類できる最小セットを主分類規則と
し、前記規則群のうち前記主分類規則以外の規則を補助
分類規則とし、分類規則を前記主分類規則と補助分類規
則から編集・生成することを特徴とする。

【００１２】かかる構成により、効率的で高速な分類処
理を可能とする規則の最小セットである主分類規則と、
主分類規則で分類できない属性値を持つ事例を柔軟にカ
バーする補助分類規則とを備えた分類規則を生成するこ
とができ、分類処理において高速性、柔軟性、分類精度
の向上を図ることができる分類規則を生成することがで
きる。

【００１３】次に、前記規則学習部が、前記入力された
訓練事例の属性のうち数値で表わされる属性に対する量
子化幅を設定する属性値量子化部を備え、前記規則学習
部が、前記属性値量子化部により設定された量子化幅で
量子化した訓練事例の属性値を基に規則を生成すること
が好ましい。

【００１４】かかる構成により、訓練事例から生成する
分類規則が、設定した量子化幅に応じた属性値条件で表
現されることとなり、分類規則を属性値に関して量子化
したものとすることができる。

【００１５】次に、前記規則学習部が、前記規則生成処
理において、規則を形成する条件連言のうちの一の条件
の設定にあたり、前記一の条件を満たすすべての訓練事
例に対してそれぞれの規則の条件連言に前記一の条件を
追加することにより、各訓練事例の規則の条件連言の生
成処理を共通に処理することが好ましい。

【００１６】次に、前記規則学習部による前記規則生成
処理において、複数の属性の組み合わせによる条件を持
つ規則の生成も含むことが好ましい。かかる構成によ
り、訓練事例から複数の属性の組み合わせの条件により
記述できる規則も生成することができ、生成される規則
の数を低減でき、分類規則の生成処理を高速化すること
ができる。

【００１７】次に、前記規則学習部が、学習量設定部を
備え、前記規則学習部は、規則の学習量が前記学習量設
定部の設定量に達すれば、学習を終了し、前記分類規則
生成部は、学習済みの規則を基に分類規則を編集・生成
することが好ましい。

【００１８】かかる構成により、分類規則の学習を一定
量で終了させることができ、分類規則生成を効率的に行
うことができる。つまり、分類規則学習量として分類規
則数を採用して生成する分類規則数を一定数に制限する
と、一定の分類精度を得るとともに分類規則の生成に費
やす時間が短くなる。また、分類規則学習量として学習
時間を採用すると、設定時間内において分類規則の生成
が終了できるので時間的制約がある環境での分類規則生
成に有利である。

【００１９】次に、前記規則学習部が、前記規則生成処
理において、規則を形成する条件連言のうちの一の条件
の設定にあたり、条件の持つエントロピーの大きさを評
価することにより条件設定の優先順位を付ける条件選択
部を備えることが好ましい。

【００２０】かかる構成により、分類規則の生成におい
てエントロピーの大きな条件を優先して処理を実行する
ことができ、効率の良い条件連言からなる分類規則から
優先して生成することができる。分類規則学習において
時間的制約がある場合などに有効である。

【００２１】次に、前記規則学習部が、分類規則重み設
定部を備え、前記規則学習部は、生成したそれぞれの規
則に対して重み付け処理を行い、重み付きの規則を前記
分類規則生成部へ出力することが好ましい。

【００２２】かかる構成により、それぞれ生成された分
類規則に対する確信度を設定することができ、未知の事
例に対する分類処理に際して、より確信度の高い分類規
則を強く反映した分類処理とすることができ、分類精度
の向上を図ることができる。

【００２３】次に、本発明にかかる分類規則学習装置
は、さらに、主分類規則記憶領域と補助分類記憶領域を
備えた分類規則記憶部と、分類処理部とを備え、前記分
類規則記憶部が、前記生成された主分類規則を前記主分
類規則記憶領域に記憶し、前記生成された補助分類規則
を前記補助分類規則記憶領域に記憶し、前記入力部によ
り各属性値を持つ事例が入力され、前記分類処理部によ
り、前記入力事例の所属クラスが前記記憶した主分類規
則により決定できる場合は当該クラスに分類し、前記入
力事例の所属クラスが前記記憶した主分類規則により決
定できないときは前記補助分類規則により所属クラスを
決定して分類することにより、入力事例の分類処理を実
行できることを特徴とすることを特徴とする。

【００２４】かかる構成により、入力事例に対して主分
類規則を適用して分類処理を実行することにより効率的
で高速な分類処理が可能となり、かつ、主分類規則で分
類できない属性値を持つ事例に対して補助分類規則を適
用して分類処理を実行することにより柔軟で精度の良い
分類処理が可能となり、高速性と柔軟性を兼ね備えた分
類を実行することができる。

【００２５】また、本発明にかかる分類規則学習装置を
実現する処理ステップを記録したコンピュータ読み取り
可能な記録媒体は、属性値と所属クラスがあらかじめ与
えられている訓練事例の入力を受け付ける処理ステップ
と、前記入力されたそれぞれの訓練事例の持つ各属性値
と所属クラスの関係を表わす規則を生成する処理ステッ
プと、前記生成されたそれぞれの規則の集合を分類規則
として編集・生成する処理ステップとを備えた処理プロ
グラム記録したことを特徴とする。

【００２６】かかる構成により、コンピュータを利用し
て、訓練事例の持つ属性値と所属クラスの関係を表わす
情報のすべてを規則として作成し、規則の集合を生成す
ることで分類規則のカバーできる事例の範囲を増加させ
ることができる分類規則学習装置を実現することができ
る。

【００２７】また、本発明にかかる分類規則学習装置を
実現する処理ステップを記録したコンピュータ読み取り
可能な記録媒体は、属性値と所属クラスがあらかじめ与
えられている訓練事例の入力を受け付ける処理ステップ
と、前記入力されたそれぞれの訓練事例の持つ各属性値
と所属クラスの関係を表わす規則を生成する処理ステッ
プと、前記生成された規則群の部分集合であってすべて
の訓練事例を所属クラスに分類できる最小セットを主分
類規則とし、前記規則群のうち前記主分類規則以外の規
則を補助分類規則とし、分類規則を前記主分類規則と補
助分類規則から編集・生成する処理ステップとを備えた
処理プログラムを記録したことを特徴とする。

【００２８】かかる構成により、コンピュータを利用し
て、効率的で高速な分類処理を可能とする規則の最小セ
ットである主分類規則と、主分類規則で分類できない属
性値を持つ事例を柔軟にカバーする補助分類規則とを備
えた分類規則を生成する分類規則学習装置を実現するこ
とができる。

【００２９】

【発明の実施の形態】以下、本発明の実施形態にかかる
分類規則学習装置について、図面を参照しながら説明す
る。

【００３０】（実施形態１）実施形態１にかかる分類規
則学習装置は、属性値と所属クラスが与えられた訓練事
例の入力を基に、入力されたそれぞれの訓練事例から属
性とその値から導いた条件連言と所属クラスの関係を記
述した規則をそれぞれ生成し、規則の集合を分類規則と
して編集・生成するものである。本実施形態１では、分
類規則の生成にあたり、規則のうち、訓練事例を正しく
分類し得る最小セットの規則の集合を主分類規則とし、
規則のうち主分類規則以外のものの集合を補助分類規則
として分けて生成するものとする。これは、主分類規則
による分類処理の効率性、高速性の確保と、補助分類規
則による分類処理の柔軟性、精度の向上を図ることので
きる分類規則の生成を狙ったものである。

【００３１】本実施形態１にかかる分類規則学習装置の
全体構成の概略と本装置による処理流れの全体像を図面
を参照しつつ説明する。図１は、本発明にかかる分類規
則学習装置の概略構成図、図２は、入力される訓練事例
の例を示す図、図３は、本装置による処理流れの全体像
を処理ステップとして表わしたフローチャート、図４
は、訓練事例から規則が生成される様子表わした図、図
５は、規則生成処理ステップの詳細を示したフローチャ
ート、図６は、生成された分類規則の主分類規則と補助
分類規則の関係を概念的に示した図、図７は、本発明の
分類規則学習装置により生成した分類規則と従来例の分
類規則学習装置により生成した分類規則の分類精度を比
較した図である。

【００３２】図１に示すように、本実施形態１にかかる
分類規則学習装置は、大別して入力部１０、規則学習部
２０、分類規則生成部３０、制御部４０、出力部５０と
を備えている。なお、図示していないが、システム全体
の制御処理に必要なメモリ、デバイス類は装備している
ものとする。

【００３３】入力部１０は、あらかじめ各属性値と所属
するクラスが与えられた訓練事例が入力される部分であ
る。ここで、入力される訓練事例の例を図２に示す。説
明を簡潔にするために、訓練事例の持つ属性はａ１〜ａ
４までの４つとし、属性値は０または１の２値とし、所
属クラスはＰかＮの２クラスとして説明する。本来この
事例全体は、ａ１＝１かつａ２＝１である、または、ａ
３＝１ならばクラスＰそれ以外ならクラスＮという規則
を持ち、全体では図２に示す１６個の事例が存在するも
のとする。ここでは、全１６個のうち、訓練事例として
訓練事例１から訓練事例５までの５つが与えられたもの
として説明する。

【００３４】規則学習部２０は、属性値量子化部２１
と、規則生成部２２と、分類規則生成部３０とを備えて
いる。ここで、属性値量子化部２１は、入力部１０から
入力された訓練事例の持つ各属性値を量子化する部分で
ある。これは、訓練事例の属性値をあらかじめ量子化し
ておくことにより生成される規則が必要以上に細かくな
らないようにする効果が得られる。なお、属性値量子化
部２１の量子化幅は調整して設定できることが好まし
い。分類規則学習装置の細かいチューニングを可能とす
るためである。本実施形態１では、量子化幅は１に設定
されているものとするが、本実施形態１で例に挙げた訓
練事例は図２に示したようにその属性値は１か０の２値
であり、量子化の必要のないものが挙げられている。

【００３５】規則生成部２２は、訓練事例の属性値と所
属クラスの関係から規則を生成する部分である。この規
則は、各属性値の範囲を記述する条件の集合である条件
連言と、前記条件連言を満足する事例が所属するクラス
の情報を含んでいる。なお、条件連言を構成する各条件
は一つの属性に対するものに限られず、２つ以上の属性
の組み合わせに対する属性値の範囲を記述するものであ
っても構わない。この規則生成処理の詳細については後
述する。

【００３６】分類規則生成部３０は、規則生成部２２に
より生成されたそれぞれの規則の集合を整理して分類規
則として生成する部分である。それぞれの規則の和集合
をとることにより分類規則として生成しても良いが、本
実施形態１では、生成した規則の集合群のうち、訓練事
例を正しく分類するための規則の最小セットである主分
類規則としてまとめ、その他の規則の集合を補助分類規
則としてまとめ、分類規則を主分類規則と補助分類規則
により生成するものとする。これは、生成する分類規則
として、効率的で少ない規則数からなる主分類規則のサ
ブセットにより分類処理の効率性と高速性を確保し、冗
長性がある故に柔軟性がありカバーできる事例範囲が広
い補助分類規則のサブセットにより分類処理精度の向上
を図るものである。

【００３７】制御部４０は、本分類規則学習装置の処理
全体を制御する部分である。出力部５０は、本分類規則
学習装置により生成された分類規則を出力する部分であ
り、図１には図示されていないが、出力部５０から出力
された分類規則は、実施形態５において後述する本発明
にかかる分類処理部２００において利用され、効率的で
高速、かつ、柔軟性があり分類精度の高い分類処理部２
００を実現する。

【００３８】本発明にかかる分類規則学習装置の処理の
流れの全体像は以下の通りである。まず、入力部１０か
ら、訓練事例が入力される（ステップＳ３０１）。ここ
での説明では、図２に示した訓練事例１から訓練事例５
が入力されたとする。図２に示すように各訓練事例は、
属性ａ１から属性ａ４まで“０”または“１”の２値の
属性値を持ち、ＰまたはＮのクラスに所属する。上記訓
練事例のデータに併せて、必要があれば他の情報も入力
しても良い。例えば、訓練事例集合の識別ＩＤ、後述す
る属性値量子化部２１の量子化幅の設定値などである。

【００３９】次に、入力された訓練事例の情報は、規則
学習部２０に渡され、まず、属性値量子化部２１におい
て属性値の量子化が行われる（ステップＳ３０２）。こ
こでは属性値量子化部２１の設定は０を基点として量子
化幅が１に設定されたものとする。入力された訓練事例
１から訓練事例５の属性値はすべて“０”または“１”
であるので、ここでは量子化による属性値のまるめは行
われない。

【００４０】次に、各訓練事例の情報は、規則生成部２
２に入力され、属性とその値から条件連言を導き、その
条件連言と分類処理結果となる所属クラスの関係を記述
した規則を導く（ステップＳ３０３）。ここで、条件連
言とは１または複数の条件により記述される条件の集合
を指し、例えば、各条件がＡＮＤ条件で結ばれる。ま
た、原則として一つの訓練事例から一つの規則が生成さ
れる。

【００４１】この規則の導出のステップＳ３０３を、図
４のツリー図と図５の処理フローチャートを参照しつつ
詳細に説明する。規則は各訓練事例ごとに独立して導出
しても良いが、条件連言の生成にあたり共通に処理でき
る条件部を共通に処理することが可能であり、本実施形
態１では、規則生成の高速化を図るため、共通条件を共
通に処理する方式を採用する。

【００４２】図４は、訓練事例から規則が生成される様
子表わした図である。図４に示すように、ツリーには、
ノード（４０１〜４０７）とノードを結ぶ枝がある。各
ノードのステータスとして３つの情報［Ｂ，Ｓ，Ｔ］を
モニタする。ここで、Ｂとは、そのノードの現在の分類
規則の条件の集合であり、Ｓとは、条件集合Ｂにより得
られるノードに含まれる訓練事例の集合であり、Ｔと
は、条件集合Ｂを満足する全訓練事例の集合である。

【００４３】図５は規則生成の処理ステップＳ３０３の
処理内容の詳細のフローチャートである。まず、ノード
のステータスを読み込む（ステップＳ５０１）。ここで
は、ルートノードであるので、そのステータスは［φ，
Ｓ｛１〜５｝，Ｔ｛１〜５｝］である。

【００４４】次に、Ｔに含まれる訓練事例の所属クラス
が一つか複数であるかを調べる（ステップＳ５０２）。
所属クラスが一つであれば、条件集合Ｂを規則の条件連
言として出力し（ステップＳ５０７）、複数あれば次の
ステップＳ５０３に進む。ここでは、訓練事例１，２，
４がＰ、訓練事例３，５がＮであり、所属クラスが２つ
あるので、ステップＳ５０３に進む。

【００４５】次に、Ｓに含まれる各訓練事例について、
各訓練事例の持つ属性とその値の関係を記述した全ての
条件を抽出し（ステップＳ５０３）、抽出した条件から
ノードを詳細化するための条件として一つの条件を選択
する（ステップＳ５０４）。つまり、訓練事例１に対し
ては、抽出される条件は、ａ１＝１，ａ２＝１，ａ３＝
０，ａ４＝１の４つであり、この４条件の中から、一つ
の条件を選択する。この選択は、例えば、条件の持つエ
ントロピーを評価してエントロピーが最大となるものを
選択する。つまり、分類の条件として訓練事例をもっと
も有効に拡散するものを選択するものとする。条件の持
つエントロピーの評価法としては、例えば、“informat
ion gain”、“gain ratio”、“gini index”、“カイ
自乗検定”などが知られているが、ここでは“informat
ion gain”を用いて説明する。

【００４６】“information gain”の評価値は、以下の
（数１）で定義される。

【００４７】

【数１】

【００４８】ここで、Ｎ(Ｘ)は集合Ｘに含まれる事例の
数、Ｔ’はＴに属する事例のうち、評価対象の条件を満
足する事例の集合、Ｔ”は評価対象の条件を満足しない
事例の集合を表わす。Ｈ(ｃ，Ｘ)は、集合Ｘ中の、クラ
スｃ着目したときのエントロピーで、（数２）のように
定義される。

【００４９】

【数２】Ｈ(c，X)＝−ｐ(c，X)log₂ｐ(c，X)−(１−ｐ
(c，X))log₂(１−ｐ(c，X)) ただし、ｐ(c，X)は、事例集合Ｘの中でクラスｃの事例
が占める割合である。また、０log₂０は０であるとす
る。

【００５０】ここで、上記の“information gain”の評
価値は，クラスｃの割合が減少した場合にも大きな値を
とる。つまり条件ｔによってクラスｃに属する事例が多
く省かれるものも評価値が大きくなる。この点は、クラ
スｃに所属する事例を分類する規則の評価としては不適
切であるので、（数３）に示す条件を付加して評価す
る。

【００５１】

【数３】

【００５２】（数３）に示すように、クラスｃの割合が
減少する場合には、符号を反転させたものを評価値と
し、評価値が最大の条件を選択する。なお、評価値が同
じ条件が複数ある場合には、基本的には、任意に選んで
も良いが、ここでは、属性の番号の若いものを選択する
こととする。

【００５３】さて、訓練事例１の４条件、ａ１＝１，ａ
２＝１，ａ３＝０，ａ４＝１のそれぞれの“informatio
n gain”の評価値を求める。まず、ａ１＝１について、
所属クラスがｐであるので、Ｈ(ｐ，Ｔ)＝−(３/５)・log₂(３/５)−(２/５)・log
₂(２/５)＝0.970951 条件ａ１＝１を満足する訓練事例集合Ｔ’は｛１，２，
４，５｝であり、満足しない訓練事例Ｔ”は｛３｝であ
るので、Ｈ(ｐ，Ｔ’)＝−(３/４)・log₂(３/４)−(１/４)・log
₂(１/４)＝0.811278 Ｈ(ｐ，Ｔ”)＝−(０/１)・log₂(０/１)−(１/１)・log
₂(１/１)＝0 この条件ａ１＝１は、クラスＰの割合を増加させるの
で、ｅ(ａ1＝１,Ｐ,Ｔ)＝ｉ.ｇ(ａ１＝１,Ｐ,Ｔ) ＝0.970951-{４/５・0.811278＋１/５・０}＝0.321928 以下、同様に他の条件ａ２＝１，ａ３＝０，ａ４＝１に
ついても求めると、ｅ(ａ２＝１,Ｐ,Ｔ)＝0.321928 ｅ(ａ３＝０,Ｐ,Ｔ)＝−0.419973 ｅ(ａ４＝１,Ｐ,Ｔ)＝−0.170951 以上より、評価値は、条件ａ１＝１と、ａ２＝１が同じ
く一番大きい。ここでは属性の番号の若い属性に対する
条件ａ１＝１を選択する。

【００５４】上記の訓練事例１に対する処理と同様の処
理を残りの他の訓練事例について行う。訓練事例２から
条件ａ３＝１、訓練事例３から条件ａ３＝０、訓練事例
４から条件ａ３＝１、訓練事例５から条件ａ３＝０が選
択される。

【００５５】なお、ここでは、各訓練事例から生成する
条件が一つの属性とその値から決まる条件を採り上げて
説明したが、必ずしも一つの属性に限る必要はなく、２
つ以上の属性とそれらの値の組み合わせから定まる条件
としても良い。

【００５６】次に、ステップＳ５０５に進む。ステップ
Ｓ５０５では、各訓練事例から選択された条件の集合Ａ
を生成する。ここでは、Ａ＝｛ａ１＝１，ａ３＝１，ａ
３＝０｝となる。ここで、注目すべき点は、５つの訓練
事例に対する条件連言の抽出過程において、それぞれ５
つの訓練事例から抽出した５つ条件の集合Ａを作ること
により、個別に処理する場合に比べて、同一条件のもの
をまとめた結果、３つの条件となり、条件連言の生成が
共通に処理できる点である。

【００５７】次に、ステップＳ５０５で生成した条件集
合Ａの各条件に対応するノードを生成する（ステップＳ
５０６）。ステップＳ５０４において条件ａ１＝１を選
択した訓練事例は訓練事例１であり、全訓練事例中、条
件ａ１＝１を満足する訓練事例は１，２，４，５である
ので、図４に示すように、条件ａ１＝１により詳細化さ
れたノード４０２が保持する情報は、（｛ａ１＝１｝，
｛１｝，｛１，２，４，５｝）となる。同様に、条件ａ
３＝１，ａ３＝０により詳細化されたノード４０３、ノ
ード４０４が生成される。

【００５８】ステップＳ５０６で生成された各ノードに
対して、上記のステップＳ５０１〜ステップＳ５０６を
繰り返して適用することにより、選択した条件によりノ
ードを詳細化して行く。ここで、選択された条件は、条
件の集合Ｂに逐次加えられて行く。

【００５９】次に、ステップＳ５０２において、Ｔに含
まれる訓練事例の所属クラスが一つか複数であるかを調
べた結果、所属クラスが一つであり、条件集合Ｂを規則
の条件連言として出力するステップＳ５０７を説明す
る。

【００６０】図４に示すように、ノード４０５、ノード
４０３、ノード４０６、ノード４０７にそれぞれ含まれ
る訓練事例集合Ｔの各事例は、すべて所属クラスがＰま
たはＮのいずれか一方である。例えば、ノード４０５の
訓練事例集合Ｔは、訓練事例１，２，４であり、３者と
も所属クラスがＰである。従ってノード４０３の条件集
合Ｂ｛(ａ１＝１),(ａ２＝１)｝が規則の条件連言とし
て出力される。ここで条件連言と所属クラスの記述であ
る規則は、ｉｆａ１＝１＆ａ２＝１ｔｈｅｎｃｌａｓｓ＝Ｐのような形式で表現できる。

【００６１】ノード４０３、４０６、４０７に対しても
同様に規則が出力され、規則生成処理が終了する。以上
のステップＳ５０１〜ステップＳ５０７により、以下の
規則が生成される。

【００６２】規則１：ｉｆａ３＝１ｔｈｅｎｃｌａｓｓ＝Ｐ規則２：ｉｆａ１＝１＆ａ２＝１ｔｈｅｎｃｌａ
ｓｓ＝Ｐ規則３：ｉｆａ１＝０＆ａ３＝０ｔｈｅｎｃｌａ
ｓｓ＝Ｎ規則４：ｉｆａ２＝０＆ａ３＝１ｔｈｅｎｃｌａ
ｓｓ＝Ｎ各規則がカバーする訓練事例は、以下のようになる。

【００６３】規則１：訓練事例２、訓練事例４規則２：訓練事例１、訓練事例２、訓練事例４規則３：訓練事例３規則４：訓練事例５さて、上記の規則生成処理ステップＳ５０１〜ステップ
Ｓ５０８により規則１〜４を生成した後（図３の処理ス
テップＳ３０３）、図３の処理ステップＳ３０４以降に
進む。

【００６４】分類規則生成部３０は、規則生成部２２に
より生成されたそれぞれの規則の集合を整理して分類規
則として生成する。それぞれの規則の和集合をとること
により分類規則として生成しても良いが、本実施形態１
では、生成した規則の集合群のうち、訓練事例を正しく
分類するための規則の最小セットである主分類規則とし
てまとめ、その他の規則の集合を補助分類規則としてま
とめ、分類規則を主分類規則と補助分類規則により生成
する。

【００６５】まず、分類規則生成部３０は、規則１〜４
を読み込み、各規則をカバーする訓練事例を調べ、各訓
練事例を正しく分類するための最小セットを探索する
（ステップＳ３０４）。ここでは、訓練事例１から訓練
事例５のすべてが含まれる規則の最小セットは、規則
２，規則３，規則４の３つのセットであることが分か
る。

【００６６】分類規則生成部３０は、規則２，規則３，
規則４の集合を主分類規則とし、規則１を補助分類規則
として分類規則を生成する（ステップＳ３０５）。この
ように、主分類規則は、訓練事例の分類に対して最も少
ない規則数からなり効率的かつ高速な分類処理に利用す
ることのできる分類規則となっていることが分かる。ま
た、補助分類規則は、与えられた訓練事例のみの分類処
理にとっては冗長となる規則であるが、分類規則全体に
対して柔軟性を与え、カバーできる事例範囲を拡張する
ものであり、分類精度の向上を与えるものとなってい
る。

【００６７】この様子を、概念的に表わした図が図６で
ある。図６は、生成された分類規則の主分類規則と補助
分類規則の関係を概念的に示した図である。図６から分
かるように、事例番号５、６、９、１０、１３、１４
は、主分類規則では判別して分類できないが、補助分類
規則により正しく分類できることが分かる。このよう
に、主分類規則のみの場合に比べ、補助分類規則を加え
ることにより分類精度が向上することが分かる。

【００６８】以上、生成した分類規則を出力部５０から
出力し（ステップＳ３０６）、分類処理部２００におい
て分類規則が利用される。ここで、本発明の分類規則学
習装置により生成した分類規則と従来例の分類規則学習
装置により生成した分類規則の分類精度を比較し、本発
明にかかる分類規則生成装置の効果を示す。従来の分類
規則学習装置で学習する規則として、広く用いられてい
るＩＤ３と比較する。ＩＤ３によれば、本実施形態で用
いた訓練事例１から訓練事例５により学習される分類規
則は、ＩＤ３分類規則１：ｉｆａ３＝１ｔｈｅｎｃｌａｓ
ｓ＝ＰＩＤ３分類規則２：ｉｆａ２＝１＆ａ３＝０ｔｈ
ｅｎｃｌａｓｓ＝ＰＩＤ分類規則３：ｉｆａ２＝０＆ａ３＝０ｔｈｅ
ｎｃｌａｓｓ＝Ｎ以上の３つの規則が学習される。ＩＤ３と本発明の分類
規則学習装置で学習される分類規則を比較すると、分類
精度において、本装置で学習される分類規則の方がＩＤ
３より優れている。つまり、事例１１、事例１２に対し
ては、ＩＤ３が正しいクラスＮに対して分類クラスがＰ
となっており、間違った分類がされてしまうが、本装置
で学習される分類規則は、事例１１、１２に対しては補
助分類規則が適用されて正しく分類されていることが分
かる。

【００６９】高速性についても、規則数において、ＩＤ
３が３つ、本装置の分類規則のうち優先的に割り当てら
れる主分類規則の規則数が３つと同じであり、主分類規
則でカバーできない事例に対してのみ補助的に利用され
る補助分類規則数が１つであり、高速性については大差
がないと言える。

【００７０】さらに、本装置により生成した分類規則
と、従来装置により生成した分類規則の分類精度比較の
結果を示す。図７は、分類規則の学習方式の評価で標準
的に用いられるベンチマーク問題において、ＩＤ３を用
いた学習装置である“Ｃ４．５”と本発明の分類規則学
習装置で生成される分類規則の分類精度の比較結果であ
る。なお、比較は“５ fold cross validation”の結果
である。なお、“５ fold cross validation”とは、事
例集合を５等分し、各部分集合に含まれる事例を、残り
の４つに含まれる事例から学習した結果で分類すること
により分類精度を求めるものである。図７から明らかな
ように、本発明にかかる分類規則学習装置で学習される
分類規則の分類精度は、従来の分類規則に比べて標準的
なベンチマークテストにおいても明らかに優れているこ
とが分かる。

【００７１】以上のように、本実施形態１にかかる分類
規則学習装置は、分類規則として主分類規則と補助分類
規則を生成することにより、効率的で少ない規則数から
なる主分類規則により分類処理の効率性と高速性を確保
し、冗長性がある故に柔軟性がありカバーできる事例範
囲が広い補助分類規則により分類処理精度の向上を図る
ことができる分類規則を生成することができる。

【００７２】（実施形態２）本実施形態２にかかる分類
規則学習装置は、実施形態１と同様、属性値と所属クラ
スが与えられた訓練事例の入力を基に、入力されたそれ
ぞれの訓練事例から属性とその値から導いた条件連言と
所属クラスの関係を記述した規則をそれぞれ生成し、規
則の集合を分類規則として生成するものであるが、本実
施形態２では、分類規則の学習にあたり、学習に用いる
規則の生成において制限を設けることを特徴とするもの
である。一般に、分類規則の学習において、時間的制約
など一定の制約環境下での実施となる一方、分類対象の
事例数がかなり大きい場合や、生成する条件が複雑であ
る場合があり、予定の分類規則の学習の完了が困難であ
る場合がある。本実施形態２にかかる分類規則学習装置
は、かかる問題を解決するものである。上記問題点を解
決するための構成以外のものは、実施形態１と同様のも
ので良く、ここでの説明は適宜省略するものとする。

【００７３】本実施形態２にかかる分類規則学習装置の
全体構成の概略と本装置による処理流れの全体像を図面
を参照しつつ説明する。図８は、本実施形態２にかかる
分類規則学習装置の概略構成図、図９は、本装置による
処理流れの全体像を処理ステップとして表わしたフロー
チャートである。図８は、本実施形態２にかかる分類規
則学習装置の概略構成図を示している。図８に示すよう
に、本実施形態２は、規則学習部２０に代え、規則学習
部２０ａを備えた構成になっている。規則学習部２０ａ
は、実施形態１の規則学習部２０に比べてさらに学習量
制御部２３を備えていることが特徴である。規則学習部
２０ａを除いた各構成要素は、実施形態１で同じ番号を
付して説明した各構成要素と同様であるのでここでの説
明は省略し、規則学習部２０ａを中心に説明する。な
お、実施形態１と同様、図示していないが、システム全
体の制御処理に必要なメモリ、デバイス類などは装備し
ている。

【００７４】規則学習部２０ａは、属性値量子化部２
１、規則生成部２２、分類規則生成部３０、学習量制御
部２３を備えている。学習量制御部２３は、分類規則学
習に対する制限を設定、保持する学習量設定部２４と、
学習量モニタ部２５と、学習終了指示部２６を備えてい
る。

【００７５】学習量設定部２４は、利用者などによる装
置の分類規則学習に対する制限の設定を受け付け、保持
する部分であり、制限情報は、例えば、学習許容時間、
学習分類規則数などがある。制限情報の入力は、入力部
１０から入力しても良く、学習量設定部２４が別途入力
インタフェースを用意しても良い。

【００７６】学習量モニタ部２５は、規則生成部２２に
よる規則の生成状況をモニタする部分で、制限情報が学
習許容時間ならば、タイマとして学習時間をモニタし、
制限情報が学習分類規則数ならば、生成されつつある規
則数をカウントすることにより学習分類規則数をモニタ
する。

【００７７】学習終了指示部２６は、学習量モニタ部２
５のモニタ量が、学習量設定部２４の設定量に達したこ
とを検知すると、規則生成部２２に対して直接に、また
は、制御部４０を介して、規則生成部２２の処理を終了
するように指示を出す部分である。

【００７８】図９により学習量制御部２３の動作を中心
とした処理ステップを説明する。ここでは実施形態１の
図３、図５のフローチャートで示した処理ステップと重
複する部分の説明は適宜省略する。

【００７９】まず、入力部１０から、訓練事例の情報が
入力される。ここでは、学習量設定部２４に設定する学
習量の制限情報も併せて入力されるものとする。入力さ
れた学習量制限情報が学習量設定部２４に設定される
（ステップＳ９０１）。ここでは、学習量の制限情報は
分類規則数とし、その数をｎとする。なお、学習量設定
部２４が入力部１０以外に別途入力インタフェースを備
えている場合は、当該インタフェースから学習量の情報
が入力される。

【００８０】次に、属性量子化部２１により、訓練事例
の情報の属性値が量子化される（ステップＳ９０２）。
次に、規則生成部２２により、規則の生成が開始され
る。学習量モニタ部２５の学習量のモニタも開始される
（ステップＳ９０３）。なお、学習量モニタ部２５のモ
ニタ値は初期化されていたことは言うまでもない。

【００８１】実施形態１において説明した規則生成処理
と同様の処理が、規則生成部２２の中で行われ、図４に
示したように、各ノードに含まれる訓練事例集合Ｔに含
まれる訓練事例すべての所属クラスが同じとなったもの
から順次、規則が出力され、分類規則生成部３０に出力
され、学習量モニタ部２５はその出力数をカウントする
（ステップＳ９０４）。

【００８２】学習量モニタ部２５は、カウント数がｎに
達したか否かを調べ（ステップＳ９０５）、カウント数
がｎに達した場合に、学習終了指示部２６に制限条件が
満たされたことを通知し、通知を受けた学習終了指示部
２６は、規則生成部２２に対して規則生成処理の強制終
了を通知する（ステップＳ９０６）。なお、学習終了指
示部２６による規則生成部２２への直接の通知に代え、
制御部４０を介した通知としても良い。

【００８３】規則生成部２２は、前記強制終了通知があ
ると、適切に強制終了処理を行い、分類規則生成部３０
は、分類規則の編集を開始する（ステップＳ９０７）。
分類規則生成部３０は、分類規則を生成後、出力部５０
を介して生成した分類規則を出力する（ステップＳ９０
８）。

【００８４】以上、説明したように、分類規則学習に対
する制限がある環境下においても、本発明にかかる分類
規則生成装置を適用することができる。（実施形態３）本実施形態３にかかる分類規則学習装置
は、実施形態１と同様、属性値と所属クラスが与えられ
た訓練事例の入力を基に、入力されたそれぞれの訓練事
例から属性とその値から導いた条件連言と所属クラスの
関係を記述した規則をそれぞれ生成し、規則の集合を分
類規則として生成するものであるが、本実施形態３で
は、分類規則の学習にあたり、学習に用いる規則に対し
て分類精度の高さを反映した重み付けを行い、学習する
分類規則の分類精度をより高めることを特徴とするもの
である。

【００８５】規則の重み付けとしては、以下に示すよう
に、いくつかの方法がある。第一番目は、当該規則がカ
バーできる訓練事例の数に比例して重みを付ける方法で
ある。一般に、生成される規則の分類精度、つまりその
規則の持つ確信度は、訓練事例が偏りなく適切に選ばれ
たものであれば、当該規則が適用できる訓練事例の数に
およそ比例すると言える。

【００８６】第二番目は、各訓練事例が規則の重みに与
える寄与を同一とし、重みはそれらの総和とするもので
ある。つまり、規則ｒにカバーされる訓練事例の集合を
Ｉ(ｒ)、訓練事例ｉをカバーする規則の数をｎ(ｉ)とす
ると、規則の重みＷ(ｒ)は以下の（数４）で与えられ
る。

【００８７】

【数４】

【００８８】その他、規則の優劣を同等としてすべての
重みを同じするもの、規則の条件記述部分の複雑さによ
り重みをつけるものなど多数ある。ここでは、第二番目
の重み付け方法を採用して説明する。もっとも重み付け
の方法はこの方法に限らないことは言うまでもない。

【００８９】なお、本実施形態３にかかる分類規則学習
装置は、重み付けに関する部分以外の構成は、実施形態
１と同様のもので良く、ここでの説明は適宜省略するも
のとする。

【００９０】本実施形態３にかかる分類規則学習装置の
全体構成の概略と本装置による処理流れの全体像を図面
を参照しつつ説明する。図１０は、本実施形態３にかか
る分類規則学習装置の概略構成図を示している。図１０
に示すように、本実施形態３は、分類規則生成部２０に
代え、規則学習部２０ｂを備えた構成になっている。規
則学習部２０ｂは、実施形態１の規則学習部２０に比べ
てさらに重み付け処理部３１を備えていることが特徴で
ある。規則学習部２０ｂを除いた各構成要素は、実施形
態１で同じ番号を付して説明した各構成要素と同様であ
るのでここでの説明は省略し、規則学習部２０ｂを中心
に説明する。なお、実施形態１と同様、図示していない
が、システム全体の制御処理に必要なメモリ、デバイス
類などは装備している。

【００９１】規則学習部２０ｂは、属性値量子化部２
１、規則生成部２２、分類規則生成部３０、重み付け処
理部３１を備えている。重み付け処理部３１は、規則生
成部２２により生成されたそれぞれの規則に対する重み
付け処理を実行する部分である。重み付け処理後の規則
が分類規則生成部３０において分類規則として編集され
る。

【００９２】図１１により重み付け処理部３１の動作を
中心とした処理ステップを説明する。ここでは実施形態
１の図３、図５のフローチャートで示した処理ステップ
と重複する部分の説明は適宜省略する。

【００９３】まず、入力部１０から、訓練事例その他必
要な情報が入力される（ステップＳ１１０１）。ここで
は、実施形態１で用いた図２に示す訓練事例１〜５が入
力されたものとする。

【００９４】次に、属性量子化部２１により、訓練事例
の情報の属性値が量子化される（ステップＳ１１０
２）。次に、規則生成部２２により、規則の生成が開始
される。実施形態１において説明した規則生成処理と同
様の処理が、規則生成部２２の中で行われ、図４に示し
たように、各ノードに含まれる訓練事例集合Ｔに含まれ
る訓練事例すべての所属クラスが同じとなったものから
順次、規則が出力され、分類規則生成部３０に出力され
る（ステップＳ１１０３）。ここでは、実施形態１と同
様、４つの規則が生成されたものとする。

【００９５】次に、分類規則生成部３０は、全ての規則
の入力が終了した時点で、重み付け処理部３１に対し
て、入力された規則の重み量の算出を依頼する（ステッ
プＳ１１０４）。

【００９６】重み付け処理部３１は、各訓練事例ごと
に、各訓練事例が満足する規則の数を調べる（ステップ
Ｓ１１０５）。ここでは、訓練事例１、訓練事例３、訓
練事例５が満足する規則はそれぞれ１つのみであり、訓
練事例２と訓練事例４が満足する規則はそれぞれ２つあ
る。つまり、ｎ(１)＝ｎ(３)＝ｎ(５)＝１，ｎ(２)＝ｎ
(４)＝２である。

【００９７】重み付け処理部３１は、各規則の重み量を
計算する（ステップＳ１１０６）。ここでは、（数４）
に従って計算し、規則１〜４のそれぞれの重み量Ｗ(１)
〜Ｗ(４)として、以下の結果が得られる。

【００９８】Ｗ(１)＝１／ｎ(２)＋１／ｎ(４)＝１Ｗ(２)＝１／ｎ(１)＋１／ｎ(２)＋１／ｎ(４)＝２Ｗ(３)＝１／ｎ(３)＝１Ｗ(４)＝１／ｎ(５)＝１重み付け処理部３１は、分類規則生成部３０に対して、
計算した重み量を出力し、分類規則生成部３０は、入力
された重み量をもって各規則に重み付けした後、分類規
則として編集する（ステップＳ１１０７）。

【００９９】分類規則生成部３０は、分類規則を生成
後、出力部５０を介して生成した分類規則を出力する
（ステップＳ１１０８）。以上、説明したように、学習
する規則に適宜重み付けを施すことにより、分類規則を
チューニングすることができ、分類精度の向上を図るこ
とができる。

【０１００】（実施形態４）本実施形態４は、本発明に
かかる分類規則学習装置が、学習した分類規則を用いて
分類処理を実行する分類処理部を備えたものである。実
施形態１〜実施形態３で示したような本発明にかかる分
類規則学習装置により生成した分類規則は、従来の分類
装置において読み込まれ、広く適用が可能であるが、こ
こでは特に、分類規則が主分類規則と補助分類規則を備
えたものである場合において本発明にかかる分類処理部
の特徴的な処理について説明する。

【０１０１】本実施形態４にかかる分類規則学習装置の
構成の概略と本装置による処理流れの全体像を図面を参
照しつつ説明する。図１２は、本実施形態４にかかる分
類規則学習装置の概略構成図、図１３は、本装置による
処理流れの全体像を処理ステップとして表わしたフロー
チャートである。

【０１０２】図１２に示すように、本装置は、分類規則
学習装置１００と分類処理部２００を備えており、分類
規則学習装置１００は、実施形態１〜実施形態３におい
て説明した分類規則学習装置と同様のものであり、分類
規則を学習、生成するものである。

【０１０３】分類処理部２００は、入力部２１０、分類
規則記憶部２２０、分類処理部２３０、制御部２４０、
出力部２５０を備えている。なお、図示していないが、
システム全体の制御処理に必要なメモリ、デバイス類は
装備しているものとする。

【０１０４】入力部２１０は、データが入力される部分
であり、分類規則学習装置１００により生成された分類
規則のデータが入力され、また、分類処理実行時には、
分類する事例のデータが入力される。

【０１０５】分類規則記憶部２２０は、分類規則学習装
置１００により生成された分類規則を記憶保持する部分
であり、記憶領域として、主分類規則記憶領域２２１と
補助分類規則記憶領域２２２を備えている。

【０１０６】分類処理部２３０は、入力事例の分類処理
を行う部分であり、入力部１０からの事例入力に対し
て、分類規則記憶部２２０に記憶された主分類規則、補
助分類規則に沿って分類処理を実行する。

【０１０７】制御部２４０は、本分類装置の処理全体を
制御する部分である。出力部２５０は、本分類装置によ
り分類処理された結果を出力する部分である。

【０１０８】本発明にかかる分類装置の処理の流れの全
体像は以下の通りである。まず、入力部２１０から、分
類規則が入力される（ステップＳ１３０１）。入力され
る分類規則は、主分類規則と補助分類規則を備えている
ものとする。ここでは、例として、実施形態１で説明し
た分類規則が入力されたものとする。つまり、主分類規
則として、規則２、３、４からなる分類規則の集合が与
えられ、補助分類規則として、規則１からなる分類規則
の集合が与えられる。

【０１０９】次に、入力された分類規則が、分類規則記
憶部２２０に記憶される。主分類規則が主分類規則記憶
領域２２１に記憶され、補助分類規則が補助分類規則記
憶領域２２２に記憶される（ステップＳ１３０２）。

【０１１０】以上のステップＳ１３０１〜ステップＳ１
３０２を、分類処理実行前に行っておくことが好まし
い。次に、分類処理実行の手順を説明する。まず、分類
処理する事例が入力部２１０より読み込まれる（ステッ
プＳ１３０３）。

【０１１１】分類処理部２３０は、まず、読み込まれた
事例の持つ属性とその値を読み、主分類規則記憶領域２
２１に記憶されている主分類規則に照らし、条件を満足
する分類規則を探索する（ステップＳ１３０４）。

【０１１２】条件を満足する分類規則が見つかれば、そ
の分類規則が示すクラスに対してその事例を分類する
（ステップＳ１３０５）。もし見つからなければ、ステ
ップＳ１３０６に進み、補助分類規則記憶領域２２２に
記憶されている補助分類規則に照らし、条件を満足する
分類規則を探索する（ステップＳ１３０６）。

【０１１３】条件を満足する分類規則が見つかれば、そ
の分類規則が示すクラスに対してその事例を分類する
（ステップＳ１３０７）。もし見つからなければ、分類
不能時の処理を実行する（ステップＳ１３０８）。ここ
で、分類不能時の処理としては、分類不能という結果を
付す処理や、分類不能事例に対してあらかじめ決められ
たクラスに対して分類する処理などがある。

【０１１４】入力事例に対して、上記処理ステップＳ１
３０３〜ステップＳ１３０８を繰り返す。以上が本分類
規則学習装置の分類処理を中心とした処理の流れである
が、特徴的な部分は、入力事例に対して主分類規則によ
る条件判断を優先的に実行し、主分類規則により分類処
理ができないときに限り、補助分類規則による条件判断
を実行する点である。この処理により、訓練事例により
得られた分類規則としての最小セットである主分類規則
による高速かつ効率的な分類処理と、未知の事例に対す
る柔軟性と分類精度向上を提供する補助分類規則による
分類処理とを併せ持つ分類処理を実現することができ
る。

【０１１５】なお、上記実施形態４では、本発明にかか
る分類規則学習装置が、分類処理部２００を備える構成
としたが、分類処理部２００の構成部分を分類規則学習
装置とは別モジュール（別装置）として切り分けた構成
であっても良いことは言うまでもない。

【０１１６】（実施形態５）上記に説明した本発明にか
かる分類規則学習装置は、上記の構成を実現する処理ス
テップを記述したプログラムをコンピュータ読み取り可
能な記録媒体に記録して提供することにより、各種コン
ピュータを用いて構築することができる。

【０１１７】本発明にかかる分類規則学習装置を実現す
る処理ステップを備えたプログラムを記録した記録媒体
は、図１４に図示した記録媒体の例に示すように、ＣＤ
−ＲＯＭ３０２やフレキシブルディスク３０３等の可搬
型記録媒体３０１だけでなく、ネットワーク上にある記
録装置内の記録媒体３００や、コンピュータのハードデ
ィスクやＲＡＭ等の記録媒体３０５のいずれであっても
良く、プログラム実行時には、プログラムはコンピュー
タ３０４上にローディングされ、主メモリ上で実行され
る。

【０１１８】

【発明の効果】本発明にかかる分類規則学習装置によれ
ば、高速で高効率な特徴と、柔軟性があり高精度な特徴
とを併せ持つ分類規則を学習し、かかる分類規則を提供
することができる。

【０１１９】また、本発明にかかる分類規則学習装置に
よれば、分類規則の学習量に対する制限を設けることが
でき、時間的制約がある環境での分類規則の学習など、
利用者の要望に沿った分類規則の学習を実現することが
できる。

【０１２０】また、本発明にかかる分類規則学習装置
は、規則に対して重み付けを行って分類規則を生成する
ことができ、分類精度を向上するように分類規則をチュ
ーニングすることができる。

【図面の簡単な説明】

【図１】本発明の実施形態１にかかる分類規則学習装
置の概略構成図

【図２】入力される訓練事例の例を示す図

【図３】実施形態１にかかる分類規則学習装置の処理
流れの全体像を示したフローチャート

【図４】訓練事例から規則が生成される様子表わした

【図５】規則生成処理ステップの詳細を示したフロー
チャート

【図６】生成された分類規則の主分類規則と補助分類
規則の関係を概念的に示した図

【図７】本発明の分類規則学習装置により生成した分
類規則と従来例の分類規則学習装置により生成した分類
規則の分類精度を比較した図

【図８】本発明の実施形態２にかかる分類規則学習装
置の概略構成図

【図９】実施形態２にかかる分類規則学習装置の処理
流れの全体像を示したフローチャート

【図１０】本発明の実施形態３にかかる分類規則学習
装置の概略構成図

【図１１】実施形態３にかかる分類規則学習装置の処
理流れの全体像を示したフローチャート

【図１２】本発明の実施形態４にかかる分類規則学習
装置の概略構成図

【図１３】実施形態４にかかる分類規則学習装置の処
理流れの全体像を示したフローチャート

【図１４】記録媒体の例

【符号の説明】

１０，２１０入力部２０規則学習部２１属性値量子化部２２規則生成部２３学習量制御部２４学習量設定部２５学習量モニタ部２６学習終了指示部３０分類規則生成部３１重み付け処理部４０，２４０制御部５０，２５０出力部１００分類規則学習装置２００分類処理部２２０分類規則記憶部２２１主分類規則記憶領域２２２補助分類規則記憶領域２３０分類処理部３００回線先のハードディスク等の記録媒体３０１ＣＤ−ＲＯＭやフレキシブルディスク等の可搬
型記録媒体３０２ＣＤ−ＲＯＭ３０３フレキシブルディスク３０４コンピュータ３０５コンピュータ上のＲＡＭ／ハードディスク等の
記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者太田唯子神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】属性とクラスにより表わされる事例の入
力に対して属性値を基に所属クラスを予測して分類する
分類規則を生成する装置であって、入力部と、規則学習部と、分類規則生成部と、出力部と
を備え、前記入力部により属性値と所属クラスがあらか
じめ与えられている訓練事例が入力され、前記規則学習
部により前記入力されたそれぞれの訓練事例の持つ各属
性値と所属クラスの関係を表わす規則を生成し、前記分
類規則生成部により前記生成されたそれぞれの規則の集
合を分類規則として編集・生成することを特徴とする分
類規則学習装置。
【請求項２】属性とクラスにより表わされる事例集合
の入力に対して属性値を基に所属クラスを予測して分類
する分類規則を生成する装置であって、入力部と、規則学習部と、分類規則生成部と、出力部と
を備え、前記入力部により属性値と所属クラスがあらか
じめ与えられている訓練事例が入力され、前記規則学習
部により前記入力されたそれぞれの訓練事例の持つ各属
性値と所属クラスの関係を表わす規則を生成し、前記分
類規則生成部により、前記生成された規則群の部分集合
であってすべての訓練事例を所属クラスに分類できる最
小セットを主分類規則とし、前記規則群のうち前記主分
類規則以外の規則を補助分類規則とし、分類規則を前記
主分類規則と補助分類規則から編集・生成することを特
徴とする分類規則学習装置。
【請求項３】前記規則学習部が、前記入力された訓練
事例の属性のうち数値で表わされる属性に対する量子化
幅を設定する属性値量子化部を備え、前記規則学習部
が、前記属性値量子化部により設定された量子化幅で量
子化した訓練事例の属性値を基に規則を生成する請求項
１または２に記載の分類規則学習装置。
【請求項４】前記規則学習部が、前記規則生成処理に
おいて、規則を形成する条件連言のうちの一の条件の設
定にあたり、前記一の条件を満たすすべての訓練事例に
対してそれぞれの規則の条件連言に前記一の条件を追加
することにより、各訓練事例の規則の条件連言の生成処
理を共通に処理する請求項１または２に記載の分類規則
学習装置。
【請求項５】前記規則学習部による前記規則生成処理
において、複数の属性の組み合わせによる条件を持つ規
則の生成も含む請求項１または２に記載の分類規則学習
装置。
【請求項６】前記規則学習部が、学習量設定部を備
え、前記規則学習部は、規則の学習量が前記学習量設定部の
設定量に達すれば、学習を終了し、前記分類規則生成部
は、学習済みの規則を基に分類規則を編集・生成する請
求項１または２に記載の分類規則学習装置。
【請求項７】前記規則学習部が、前記規則生成処理に
おいて、規則を形成する条件連言のうちの一の条件の設
定にあたり、条件の持つエントロピーの大きさを評価す
ることにより条件設定の優先順位を付ける条件選択部を
備えた請求項１または２に記載の分類規則学習装置。
【請求項８】前記規則学習部が、分類規則重み設定部
を備え、前記規則学習部は、生成したそれぞれの規則に対して重
み付け処理を行い、重み付きの規則を前記分類規則生成
部へ出力する請求項１または２に記載の分類規則学習装
置。
【請求項９】主分類規則記憶領域と補助分類記憶領域
を備えた分類規則記憶部と、分類処理部とを備え、前記
分類規則記憶部が、前記生成された主分類規則を前記主
分類規則記憶領域に記憶し、前記生成された補助分類規
則を前記補助分類規則記憶領域に記憶し、前記入力部に
より各属性値を持つ事例が入力され、前記分類処理部に
より、前記入力事例の所属クラスが前記記憶した主分類
規則により決定できる場合は当該クラスに分類し、前記
入力事例の所属クラスが前記記憶した主分類規則により
決定できないときは前記補助分類規則により所属クラス
を決定して分類することにより、入力事例の分類処理を
実行できることを特徴とする請求項２に記載の分類規則
学習装置。
【請求項１０】属性とクラスにより表わされる事例集
合の入力に対して属性値を基に所属クラスを予測して分
類する分類規則を生成する分類装置を実現する処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、属性値と所属クラスがあらかじめ与えられている訓練事
例の入力を受け付ける処理ステップと、前記入力された
それぞれの訓練事例の持つ各属性値と所属クラスの関係
を表わす規則を生成する処理ステップと、前記生成され
たそれぞれの規則の集合を分類規則として編集・生成す
る処理ステップとを備えた処理プログラム記録したこと
を特徴とする記録媒体。
【請求項１１】属性とクラスにより表わされる事例集
合の入力に対して属性値を基に所属クラスを予測して分
類する分類規則を生成する分類装置を実現する処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、属性値と所属クラスがあらかじめ与えられている訓練事
例の入力を受け付ける処理ステップと、前記入力された
それぞれの訓練事例の持つ各属性値と所属クラスの関係
を表わす規則を生成する処理ステップと、前記生成され
た規則群の部分集合であってすべての訓練事例を所属ク
ラスに分類できる最小セットを主分類規則とし、前記規
則群のうち前記主分類規則以外の規則を補助分類規則と
し、分類規則を前記主分類規則と補助分類規則から編集
・生成する処理ステップとを備えた処理プログラムを記
録したことを特徴とする記録媒体。