JP2003256801A - データ分類方法、データ分類装置及びデータ分類プログラムを格納した記憶媒体。 - Google Patents

データ分類方法、データ分類装置及びデータ分類プログラムを格納した記憶媒体。

Info

Publication number
JP2003256801A
JP2003256801A JP2002051926A JP2002051926A JP2003256801A JP 2003256801 A JP2003256801 A JP 2003256801A JP 2002051926 A JP2002051926 A JP 2002051926A JP 2002051926 A JP2002051926 A JP 2002051926A JP 2003256801 A JP2003256801 A JP 2003256801A
Authority
JP
Japan
Prior art keywords
kernel function
classification
data
value
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002051926A
Other languages
English (en)
Inventor
Takeshi Sadohara
健 佐土原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2002051926A priority Critical patent/JP2003256801A/ja
Publication of JP2003256801A publication Critical patent/JP2003256801A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 【課題】 属性間の論理的な関係に基づく分類器で、高
い分類精度を持つものを学習することを可能にする、デ
ータ分類方法、データ分類装置及びデータ分類プログラ
ムを格納した記憶媒体を提供する。 【解決手段】 カーネル法を用いたデータ分類法におい
て、データを記述する属性の論理的な関係に基づく分類
器を、学習するために論理カーネル関数を用いると同時
に、学習の結果得られた分類器を、論理カーネル関数を
用いて分析し、分類に寄与しない次元を取り除いて仮説
空間の次元縮小を行う容量制御機構を備えた。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、データ分類方法、
データ分類装置及びデータ分類プログラムを格納した記
憶媒体に係わり、 特に、データを記述する属性を論理
命題と考えるときに、 属性間に成立する論理的な関係
を学習することで得られる分類器を用いるデータ分類方
法、データ分類装置及びデータ分類プログラムを格納し
た記憶媒体に関する。
【０００２】計算機技術の進歩により、大量の情報が計
算機可読な形式で蓄積されている産業界では、大量の情
報に潜在している様々な現象を人間の力だけで把握する
ことは困難になっている。そこで、計算機の力を借り
て、蓄積された大量のデータを分析し、そこから有用な
現象や知識を抽出するデータマイニング技術が必要にな
る。中でも、幾つかのカテゴリに分類されたデータを分
析することで、未知のデータを正しく分類できる分類器
を学習する分類学習と呼ばれるデータマイニング技術
は、文書の分類、医療診断、与信審査、マーケティング
等の広範囲の応用を持つ技術である。
【０００３】分類学習においては、精度の高い分類器の
効率の良い学習が求められると同時に、ユーザが、デー
タに潜在する現象を理解したり、分類の妥当性を検証し
たりするために、分類の根拠をユーザに理解しやすい形
式で提示できることが要求される。このような要求に対
して、データを記述する属性間に成立する論理的な関係
を学習して得られる分類器を用いるデータ分類法は、分
類の根拠を論理的な規則としてユーザに提示することが
できる。本発明は、属性間の論理的な関係に基づく分類
器をカーネル法を用いて効率良く学習し、それを用いて
データを高精度に分類するというデータ分類方法、デー
タ分類装置及びデータ分類プログラムを格納した記憶媒
体に関する。
【０００４】
【従来の技術】属性間の論理的な関係に基づく分類器
を、訓練データから学習するデータ分類手法の多くは、
原理的にはブール関数の帰納学習問題を解いていると言
える。まず、データが、０と１の値をとるｄ個の命題変
数のベクトル（ｘ１，…，ｘｄ）として記述されている
場合、あるいは何らかの方法でそのようなベクトルに変
換可能な場合を考え、学習アルゴリズムには訓練データ
として、｛（Ｘ１，ｙ１），…，（Ｘｎ，ｙｎ）｝を与
える。ここで、Ｘｉ∈｛０，１｝ｄｙｉ∈｛１，−１｝
であり、ｙｉはＸｉがあるクラスに分類できるか否かを
表わしている。そして、学習アルゴリズムは、未知のデ
ータがそのクラスに分類できるか否かを判定するブール
関数ｆ：｛０，１｝ｄ → ｛１，−１｝を、訓練デー
タから帰納学習する。
【０００５】その際、限られた数の訓練データから、未
知のデータのクラスを予測できる汎化能力を備えるため
に、多くの学習手法では、命題ｘ１，…，ｘｄから構成
される複合命題（例えばｘ１∧¬ｘ２∧ｘ３）が分類に
どの程度貢献しているかを、訓練データを用いて分析す
る方法が用いられる。しかしながら、このような複合命
題は命題の連言に限ったとしても、３のｄ乗個存在し、
ｄが大きくなるとき複合命題の数は指数関数的に増加す
るので、任意の複合命題の貢献度を考慮に入れた分類器
の学習を行うことは計算量的に困難であると考えられて
きた。従って、代表的な分類学習アルゴリズムＣ４．５
（参考文献 Ｊ．Ｒ．Ｑｕｉｎｌａｎ．Ｃ４．５：Ｐｒ
ｏｇｒａｍｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉ
ｎｇ．Ｍｏｒｇａｎ ｋａｕｆｍａｎｎ，１９９３．参
照）では、要素命題の分類に対する貢献度しか分析しな
い。このような制限により、Ｃ４．５では、複合命題の
貢献度が正しく評価できず、それにより分類の精度が落
ちてしまう現象が報告されている。
【０００６】これに対して、データを記述する属性から
合成される合成属性の分類に対する貢献度を考慮に入れ
ることのできるカーネル法（参考文献 Ａｄｖａｎｃｅ
ｓｉｎ Ｋｅｒｎｅｌ Ｍｅｔｈｏｄｓ：Ｓｕｐｐｏｒ
ｔ Ｖｅｃｔｏｒ Ｌｅａｒｎｉｎｇ．ＭＩＴ Ｐｒｅ
ｓｓ，１９９８．参照）と呼ばれるデータ分類方法が知
られている。カーネル法を用いることで、非常に多くの
合成属性の分類に対する貢献度を、合成属性の数に依存
しない計算量で分析し、高い分類精度を持つ分類器を効
率良く学習できる。
【０００７】例えば、カーネル法を用いる代表的な分類
学習アルゴリズムであるＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ
Ｍａｃｈｉｎｅ（ＳＶＭ）（参考文献 Ｖ．Ｖａｐｎ
ｉｋ．Ｔｈｅ Ｎａｔｕｒｅ ｏｆ Ｓｔａｔｉｓｔｉ
ｃａｌ ＬｅａｒｎｉｎｇＴｈｅｏｒｙ．Ｓｐｒｉｎｇ
ｅｒ−Ｖｅｒｌａｇ，１９９５．参照）は、データＸｉ
（１≦ｉ≦ｎ）を合成属性で張られた高次元の特徴空間
に特徴写像φで写像し、その特徴空間上で、φ（Ｘｉ）
を正と負の２つのクラスに線形分離する超平面ｇ（Ｚ）
＝０を学習する。そして、未知のデータＸが与えられる
と、ｇ（φ（Ｘ））を計算し、ｇ（φ（Ｘ））≧０ で
あれば正のクラスに分類し、ｇ（φ（Ｘ））＜０であれ
ば負のクラスにＸを分類する。ＳＶＭにおける超平面の
学習は、凸２次計画問題に帰着され、特徴空間の内積＜
φ（Ｕ）・φ（Ｖ）＞が効率良く計算できさえすれば、
非線形計画法を用いて効率良く解くことが可能である。
この特徴空間の内積を効率良く計算する関数、
【０００８】
【数２２】
【０００９】は、カーネル関数と呼ばれる。凸二次計画
問題の解をαｉ（１≦ｉ≦ｎ）、ｂとするとき、カーネ
ル関数を用いて、ｇは以下のように表すことができる。
【００１０】
【数２３】
【００１１】ＳＶＭを用いてブール関数の帰納学習を行
うためには、ブール関数の学習に適した特徴空間と特徴
空間に対するカーネル関数を設計することが望ましい。
ＳＶＭを用いたブール関数の学習に基づくデータ分類法
として、特開２０００−２９３５０２号公報や特開２０
０１−２２７２７号公報が知られているが、いずれも、
ブール関数の学習に適した特徴空間とカーネル関数の使
用は考慮されていないために、十分な分類精度が達成さ
れていない。一方、特願２００１−２６８８８５におい
ては、任意のブール関数が選言標準形で記述できること
に注目し、命題変数から構成される任意の連言が張る特
徴空間とこの空間に対する選言標準形カーネル関数、
【００１２】
【数２４】 （ただし、s は、ビット列 NOT(U XOR V) において、値
1 を持つビットの数。）
【００１３】が提案されており、計算機実験により、選
言標準形カーネル関数の有効性が示されている。
【００１４】しかし、さらに詳細な実験により、選言標
準形カーネル関数を用いると、命題変数の数が増加する
とき、分類精度が低下することが明らかになった。この
現象は、命題変数の数の増加に対して、連言の数が指数
関数的に増加するので、分類に寄与しない連言の影響が
無視できなくなるためと考えられる。従って、このよう
な分類精度の低下を改善するためには、連言が分類に寄
与するかどうかを分析して、分類に寄与しない連言を取
り除いて特徴空間の次元を適切に縮小させるような、容
量制御法が必要になる。
【００１５】もしも、このような容量制御法が実現でき
れば、次元が縮小された特徴空間上の学習には、既に知
られている幾つかのカーネル関数を用いることができ
る。例えば、選言標準形カーネル関数が張る特徴空間か
ら、否定を含む連言を取り除いて得られる部分空間に対
するカーネル関数としては、単調選言標準形カーネル関
数が知られている。あるいは、選言標準形カーネル関数
が張る特徴空間から、長さがｋよりも大きな連言を取り
除いて得られる部分空間に対しては、ｋ−選言標準形カ
ーネル関数が知られている。一般に、このような連言が
張る特徴空間に対するカーネル関数群を、論理カーネル
関数と呼ぶ。
【００１６】
【発明が解決しようとする課題】データが、命題変数の
ベクトルとして記述されている場合、あるいは何らかの
方法でそのようなベクトルに変換可能な場合に、未知の
データがあるクラスに分類できるか否かを判定するブー
ル関数を、論理カーネル関数を用いたカーネル法により
学習する際、分類に寄与しない連言を取り除いて仮説空
間の次元を縮小する容量制御機構の実現が、本発明の主
要な課題である。本発明は、このような容量制御機構を
備えたブール関数の学習手法を用いて、属性間の論理的
な関係に基づく分類器で、高い分類精度を持つものを学
習することを可能にする、データ分類方法、データ分類
装置及びデータ分類プログラムを格納した記憶媒体を提
供することを目的とする。
【００１７】
【課題を解決するための手段】本出願の請求項１に記載
した発明は、論理カーネル関数を用いたカーネル法によ
り学習された分類器、すなわち、連言が張る特徴空間上
の超平面を論理カーネル関数を用いて分析し、分類に寄
与しない連言を取り除いて次元を縮小した部分仮説空間
を求め、この部分仮説空間上で再学習を行い、より分類
精度の高い分類器を学習する。
【００１８】部分仮説空間を求めるために、本発明が依
拠する原理は、構造的損失最小化（Ｓｔｒｕｃｔｕｒａ
ｌ Ｒｉｓｋ Ｍｉｎｉｍｉｚａｔｉｏｎ；ＳＲＭ）原
理である（参考文献 Ｖ．Ｖａｐｎｉｋ．Ｔｈｅ Ｎａ
ｔｕｒｅ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎ
ｉｎｇ Ｔｈｅｏｒｙ． Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌ
ａｇ，１９９５．参照）。ＳＲＭによれば、２つの仮説
空間Ｓ１、Ｓ２にＳ２⊆Ｓ１の関係があり、ｇ１∈Ｓ１
とｇ２∈Ｓ２が訓練データに対して同じ分類誤差を持つ
とき、未知データに対する分類精度はｇ２の方がｇ１よ
りも高いことが期待できる。
【００１９】従って、特徴空間Ｓ１で学習された超平面
ｇ１（Ｚ）＝０が訓練データに対して、分類誤差εを持
つとき、次元を縮小して得られる特徴空間Ｓ２（Ｓ２⊆
Ｓ１）上で分類誤差εを持つ超平面ｇ２（Ｚ）＝０が存
在するかどうかを調べて、もしも存在すれば、縮小され
た次元は分類に寄与しないと考えられ、仮説空間をＳ ２
に制限することで分類精度の向上が期待できる。本発明
は、そのようなｇ２が存在するかどうかを調べる目的
で、以下のように、論理カーネル関数を再び用いる。
【００２０】今、Ｓ１を張るカーネル関数をＫ１、Ｓ２
を張るカーネル関数をＫ２とし、ｇ １が
【００２１】
【数２５】
【００２２】と表されていると仮定する。このとき、ｇ
１をＳ２に射影して得られる関数ｇ’は
【００２３】
【数２６】
【００２４】と表せることがわかっている。従って、
ｇ’を用いて訓練データに対する分類誤差を評価して、
これがεであれば、仮説空間をＳ２に縮小することで分
類精度の向上が期待できる。
【００２５】図１は、本出願の請求項１に記載した発明
の原理を説明するための図である。正例と負例の２つの
クラスに属する訓練データが入力されると（Ｓ１）、あ
る論理カーネルが張る特徴空間上で訓練データを線型分
離する超平面を、カーネル法を用いて学習する（Ｓ
２）。学習された超平面は、より次元の小さな特徴空間
を張る別の論理カーネル関数を用いて分析され、次元縮
小の妥当性が検証される（Ｓ３）。もしも、次元縮小が
妥当であれば、この部分仮設空間で再び超平面の学習が
行われる（Ｓ２）。このような過程を，１回あるいは複
数回繰り返し，最終的な超平面を得る。そして、テスト
データが入力されると（Ｓ４）、学習した超平面を用い
て、このデータが正例であるか負例であるかを分類し
（Ｓ５）、その結果を出力する（Ｓ６）。
【００２６】本出願の請求項２に記載の発明は、上述し
た次元縮小に用いられる論理カーネル関数として、否定
を含まない連言が張る特徴空間に対する単調選言標準形
カーネル関数、
【００２７】
【数２７】
【００２８】を用いる。ただし、s は、U と V のビッ
ト積 U AND V において、値 1 を持つビットの数を表
す。単調選言標準形カーネル関数を用いることで、否定
を含む連言を取り除いて次元を縮小した部分空間への射
影ｇ’を容易に計算できるので、このような次元縮小の
妥当性を検証できる。すなわち、本出願の請求項２に記
載の発明は、単調選言標準形カーネル関数を用いて次元
縮小を行うという容量制御機構を備える、請求項１記載
のデータ分類方法である。
【００２９】本出願の請求項３に記載の発明は、上述し
た次元縮小に用いられる論理カーネル関数として、長さ
が高々ｋの連言が張る特徴空間に対するｋ−選言標準形
カーネル関数、
【００３０】
【数２８】
【００３１】を用いる。ただし、s は、U と V の排他
的ビット和のビット否定 NOT(U XOR V)において、値 1
を持つビットの数を表す。ｋ−選言標準形カーネル関数
を用いることで、長さがｋよりも長い連言を取り除いて
次元を縮小した部分空間への射影ｇ’を容易に計算でき
るので、このような次元縮小の妥当性を検証できる。す
なわち、本出願の請求項３記載の発明は、ｋ−選言標準
形カーネル関数を用いた次元縮小を行うという容量制御
機構を備える、請求項１記載のデータ分類方法である。
【００３２】本出願の請求項４に記載の発明は、上述し
た次元縮小に用いられる論理カーネル関数として、長さ
が高々ｋの否定を含まない連言が張る特徴空間に対する
ｋ−単調選言標準形カーネル関数、
【００３３】
【数２９】
【００３４】を用いる。ただし、s は、U と V のビッ
ト積 U AND V において、値 1 を持つビットの数を表
す。ｋ−単調選言標準形カーネル関数を用いることで、
否定を含まない長さが高々ｋの連言以外の全ての連言を
取り除いて次元を縮小した部分空間への射影ｇ’を容易
に計算できるので、このような次元縮小の妥当性を検証
できる。すなわち、本出願の請求項４記載の発明は、ｋ
−単調選言標準形カーネル関数を用いた次元縮小を行う
という容量制御機構を備える、請求項１記載のデータ分
類方法である。
【００３５】本出願の請求項５に記載の発明は、上述し
た次元縮小に用いられる論理カーネル関数として、指定
された命題変数から構成される連言が張る特徴空間に対
する部分選言標準形カーネル関数、
【００３６】
【数３０】
【００３７】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U と V の排他的ビ
ット和のビット否定 NOT(U XOR V) と m のビット積に
おいて、値 1 を持つビットの数を表す。部分選言標準
形カーネル関数を用いることで、指定された変数から構
成される連言以外の全ての連言を取り除いて次元を縮小
した部分空間への射影ｇ’を容易に計算できるので、こ
のような次元縮小の妥当性を検証できる。すなわち、本
出願の請求項５に記載の発明は、部分選言標準形カーネ
ル関数を用いた次元縮小を行うという容量制御機構を備
える、請求項１記載のデータ分類方法である。
【００３８】本出願の請求項６に記載の発明は、上述し
た次元縮小に用いられる論理カーネル関数として、指定
された命題変数から構成される否定を含まない連言が張
る特徴空間に対する部分単調選言標準形カーネル関数、
【００３９】
【数３１】
【００４０】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U と V のビット積
U AND V と m のビット積において、値 1 を持つビッ
トの数を表す。部分単調選言標準形カーネル関数を用い
ることで、指定された変数から構成される否定を含まな
い連言以外の全ての連言を取り除いて次元を縮小した部
分空間への射影ｇ’を容易に計算できるので、このよう
な次元縮小の妥当性を検証できる。すなわち、本出願の
請求項６に記載の発明は、部分単調選言標準形カーネル
関数を用いた次元縮小を行うという容量制御機構を備え
る、請求項１記載のデータ分類方法である。
【００４１】本出願の請求項７に記載の発明は、上述し
た次元縮小に用いられる論理カーネル関数として、指定
された命題変数から構成される長さが高々ｋである連言
が張る特徴空間に対する部分ｋ−選言標準形カーネル関
数、
【００４２】
【数３２】
【００４３】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U と V の排他的ビ
ット和のビット否定 NOT(U XOR V) と m のビット積に
おいて、値 1 を持つビットの数を表す。部分ｋ−選言
標準形カーネル関数を用いることで、指定された変数か
ら構成される長さが高々ｋの連言以外の全ての連言を取
り除いて次元を縮小した部分空間への射影ｇ’を容易に
計算できるので、このような次元縮小の妥当性を検証で
きる。すなわち、本出願の請求項７に記載の発明は、部
分ｋ−選言標準形カーネル関数を用いた次元縮小を行う
という容量制御機構を備える、請求項１記載のデータ分
類方法である。
【００４４】本出願の請求項８に記載の発明は、上述し
た次元縮小に用いられる論理カーネル関数として、指定
された命題変数から構成される長さが高々ｋで否定を含
まない連言が張る特徴空間に対する部分ｋ−単調選言標
準形カーネル関数、
【００４５】
【数３３】
【００４６】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U と V のビット積
U AND V と m のビット積において、値 1 を持つビッ
トの数を表す。部分ｋ−単調選言標準形カーネル関数を
用いることで、指定された変数から構成される長さが高
々ｋの否定を含まない連言以外の全ての連言を取り除い
て次元を縮小した部分空間への射影ｇ’を容易に計算で
きるので、このような次元縮小の妥当性を検証できる。
すなわち、本出願の請求項８に記載の発明は、部分ｋ−
単調選言標準形カーネル関数を用いた次元縮小を行うと
いう容量制御機構を備える、請求項１記載のデータ分類
方法である。
【００４７】本出願の請求項９に記載した発明は、論理
カーネル関数を用いたカーネル法により学習された分類
器、すなわち、連言が張る特徴空間上の超平面を論理カ
ーネル関数を用いて分析し、分類に寄与しない連言を取
り除いて次元を縮小した部分仮説空間を求め、この部分
仮説空間上で再学習を行うことで分類精度の向上を図る
という容量制御機構を備えたデータ分類装置である。
【００４８】図２は、本出願の請求項９に記載した発明
の構成図である。本出願の請求項９に記載した発明は、
学習機構（２１）、容量制御機構（２２）、分類判定機
構（２３）の３つの要素から構成される。学習機構（２
１）は、連言が張る特徴空間上で、正例と負例の２つの
クラスに属する訓練データを、線型分離する超平面とし
て、ブール関数を学習する。容量制御機構（２２）は、
学習機構によって得られた分離超平面を、論理カーネル
関数を用いて分析し、分類に寄与しない連言を取り除く
ことで、特徴空間の次元を縮小する。分類判定機構（２
３）は、学習機構と容量制御機構を用いて最終的に得ら
れたブール関数を用いて、テストデータが正例であるか
負例であるかを判定する。
【００４９】本出願の請求項１０に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、否
定を含まない連言が張る特徴空間に対する単調選言標準
形カーネル関数、
【００５０】
【数３４】
【００５１】を用いる。ただし、s は、U AND V におい
て、値 1 を持つビットの数を表す。単調選言標準形カ
ーネル関数を用いることで、否定を含む連言を取り除い
て次元を縮小した部分空間への射影ｇ’を容易に計算で
きるので、このような次元縮小の妥当性を検証できる。
すなわち、本出願の請求項１０に記載の発明は、単調選
言標準形カーネル関数を用いて次元縮小を行うという容
量制御機構を備える、請求項９記載のデータ分類装置で
ある。
【００５２】本出願の請求項１１に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、長
さが高々ｋの連言が張る特徴空間に対するｋ−選言標準
形カーネル関数、
【００５３】
【数３５】
【００５４】を用いる。ただし、s は、NOT(U XOR V)
において、値 1 を持つビットの数を表す。ｋ−選言標
準形カーネル関数を用いることで、長さがｋよりも長い
連言を取り除いて次元を縮小した部分空間への射影ｇ’
を容易に計算できるので、このような次元縮小の妥当性
を検証できる。すなわち、本出願の請求項１１記載の発
明は、ｋ−選言標準形カーネル関数を用いた次元縮小を
行うという容量制御機構を備える、請求項９記載のデー
タ分類装置である。
【００５５】本出願の請求項１２に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、長
さが高々ｋの否定を含まない連言が張る特徴空間に対す
るｋ−単調選言標準形カーネル関数、
【００５６】
【数３６】
【００５７】を用いる。ただし、s は、U AND V におい
て、値 1 を持つビットの数を表す。ｋ−単調選言標準
形カーネル関数を用いることで、否定を含まない長さが
高々ｋの連言以外の全ての連言を取り除いて次元を縮小
した部分空間への射影ｇ’を容易に計算できるので、こ
のような次元縮小の妥当性を検証できる。すなわち、本
出願の請求項１２記載の発明は、ｋ−単調選言標準形カ
ーネル関数を用いた次元縮小を行うという容量制御機構
を備える、請求項９記載のデータ分類装置である。
【００５８】本出願の請求項１３に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される連言が張る特徴空間に
対する部分選言標準形カーネル関数、
【００５９】
【数３７】
【００６０】を用いる。ただし、m を、指定された変数
に対しては値 1 を持ち、それ以外の変数に対しては値
0 を持つビット列とするとき、s は、NOT(U XOR V) AND
m において、値 1 を持つビットの数を表す。部分選言
標準形カーネル関数を用いることで、指定された変数か
ら構成される連言以外の全ての連言を取り除いて次元を
縮小した部分空間への射影ｇ’を容易に計算できるの
で、このような次元縮小の妥当性を検証できる。すなわ
ち、本出願の請求項１３に記載の発明は、部分選言標準
形カーネル関数を用いた次元縮小を行うという容量制御
機構を備える、請求項９記載のデータ分類装置である。
【００６１】本出願の請求項１４に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される否定を含まない連言が
張る特徴空間に対する部分単調選言標準形カーネル関
数、
【００６２】
【数３８】
【００６３】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U AND V AND m に
おいて、値 1 を持つビットの数を表す。部分単調選言
標準形カーネル関数を用いることで、指定された変数か
ら構成される否定を含まない連言以外の全ての連言を取
り除いて次元を縮小した部分空間への射影ｇ’を容易に
計算できるので、このような次元縮小の妥当性を検証で
きる。すなわち、本出願の請求項１４に記載の発明は、
部分単調選言標準形カーネル関数を用いた次元縮小を行
うという容量制御機構を備える、請求項９記載のデータ
分類装置である。
【００６４】本出願の請求項１５に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される長さが高々ｋである連
言が張る特徴空間に対する部分ｋ−選言標準形カーネル
関数、
【００６５】
【数３９】
【００６６】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、NOT(U XOR V) AND
m において、値 1 を持つビットの数を表す。部分ｋ−
選言標準形カーネル関数を用いることで、指定された変
数から構成される長さが高々ｋの連言以外の全ての連言
を取り除いて次元を縮小した部分空間への射影ｇ’を容
易に計算できるので、このような次元縮小の妥当性を検
証できる。すなわち、本出願の請求項１５に記載の発明
は、部分ｋ−選言標準形カーネル関数を用いた次元縮小
を行うという容量制御機構を備える、請求項９記載のデ
ータ分類装置である。
【００６７】本出願の請求項１６に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される長さが高々ｋで否定を
含まない連言が張る特徴空間に対する部分ｋ−単調選言
標準形カーネル関数、
【００６８】
【数４０】
【００６９】を用いる。ただし、指定された変数に対し
ては値１を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U AND V AND m に
おいて、値１を持つビットの数を表す。部分ｋ−単調選
言標準形カーネル関数を用いることで、指定された変数
から構成される長さが高々ｋの否定を含まない連言以外
の全ての連言を取り除いて次元を縮小した部分空間への
射影ｇ’を容易に計算できるので、このような次元縮小
の妥当性を検証できる。すなわち、本出願の請求項１６
に記載の発明は、部分ｋ−単調選言標準形カーネル関数
を用いた次元縮小を行うという容量制御機構を備える、
請求項９記載のデータ分類装置である。
【００７０】本出願の請求項１７に記載した発明は、論
理カーネル関数を用いたカーネル法により学習された分
類器、すなわち、連言が張る特徴空間上の超平面を、論
理カーネル関数を用いて分析し、分類に寄与しない連言
を取り除いて次元を縮小した部分仮説空間を求め、この
部分仮説空間上で再学習を行うことで、分類精度の向上
を図るという容量制御プロセスを備えた、データ分類プ
ログラムを格納した記憶媒体である。
【００７１】本出願の請求項１７に記載の発明は、大き
く分けて、学習プロセス、容量制御プロセス、分類プロ
セスの３つのプロセスを有する。学習プロセスでは、連
言が張る特徴空間上で、正例と負例の２つのクラスに属
する訓練データを線型分離する超平面として、ブール関
数を学習する。容量制御プロセスでは、学習プロセスに
よって得られた分離超平面を、論理カーネル関数を用い
て分析し、分類に寄与しない連言を取り除くことで、特
徴空間の次元を縮小する。分類プロセスは、学習プロセ
スと容量制御プロセスにより最終的に得られたブール関
数を用いて、テストデータが正例であるか負例であるか
を判定する。
【００７２】本出願の請求項１８に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、否
定を含まない連言が張る特徴空間に対する単調選言標準
形カーネル関数、
【００７３】
【数４１】
【００７４】を用いる。ただし、s は、U AND V におい
て、値 1 を持つビットの数を表す。単調選言標準形カ
ーネル関数を用いることで、否定を含む連言を取り除い
て次元を縮小した部分空間への射影ｇ’を容易に計算で
きるので、このような次元縮小の妥当性を検証できる。
すなわち、本出願の請求項１８に記載の発明は、単調選
言標準形カーネル関数を用いて次元縮小を行うという容
量制御プロセスを有する、請求項１７記載のデータ分類
プログラムを格納した記憶媒体である。
【００７５】本出願の請求項１９に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、長
さが高々ｋの連言が張る特徴空間に対するｋ−選言標準
形カーネル関数、
【００７６】
【数４２】
【００７７】を用いる。ただし、s は、NOT(U XOR V)
において、値 1 を持つビットの数を表す。ｋ−選言標
準形カーネル関数を用いることで、長さがｋよりも長い
連言を取り除いて次元を縮小した部分空間への射影ｇ’
を容易に計算できるので、このような次元縮小の妥当性
を検証できる。すなわち、本出願の請求項１９記載の発
明は、選言標準形カーネル関数を用いた次元縮小を行う
という容量制御プロセスを有する、請求項１７記載のデ
ータ分類プログラムを格納した記憶媒体である。
【００７８】本出願の請求項２０に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、長
さが高々ｋの否定を含まない連言が張る特徴空間に対す
るｋ−単調選言標準形カーネル関数、
【００７９】
【数４３】
【００８０】を用いる。ただし、s は、U AND V におい
て、値 1 を持つビットの数を表す。ｋ−単調選言標準
形カーネル関数を用いることで、否定を含まない長さが
高々ｋの連言以外の全ての連言を取り除いて次元を縮小
した部分空間への射影ｇ’を容易に計算できるので、こ
のような次元縮小の妥当性を検証できる。すなわち、本
出願の請求項２０記載の発明は、ｋ−単調選言標準形カ
ーネル関数を用いた次元縮小を行うという容量制御プロ
セスを有する、請求項１７記載のデータ分類プログラム
を格納した記憶媒体である。
【００８１】本出願の請求項２１に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される連言が張る特徴空間に
対する部分選言標準形カーネル関数、
【００８２】
【数４４】
【００８３】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、NOT(U XOR V) AND
m において、値 1 を持つビットの数を表す。部分選言
標準形カーネル関数を用いることで、指定された変数か
ら構成される連言以外の全ての連言を取り除いて次元を
縮小した部分空間への射影ｇ’を容易に計算できるの
で、このような次元縮小の妥当性を検証できる。すなわ
ち、本出願の請求項２１に記載の発明は、部分選言標準
形カーネル関数を用いた次元縮小を行うという容量制御
プロセスを有する、請求項１７記載のデータ分類プログ
ラムを格納した記憶媒体である。
【００８４】本出願の請求項２２に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される否定を含まない連言が
張る特徴空間に対する部分単調選言標準形カーネル関
数、
【００８５】
【数４５】
【００８６】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U AND V AND m に
おいて、値 1 を持つビットの数を表す。部分単調選言
標準形カーネル関数を用いることで、指定された変数か
ら構成される否定を含まない連言以外の全ての連言を取
り除いて次元を縮小した部分空間への射影ｇ’を容易に
計算できるので、このような次元縮小の妥当性を検証で
きる。すなわち、本出願の請求項２２に記載の発明は、
部分単調選言標準形カーネル関数を用いた次元縮小を行
うという容量制御プロセスを有する、請求項１７記載の
データ分類プログラムを格納した記憶媒体である。
【００８７】本出願の請求項２３に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される長さが高々ｋである連
言が張る特徴空間に対する部分ｋ−選言標準形カーネル
関数、
【００８８】
【数４６】
【００８９】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、NOT(U XOR V) AND
m において、値 1 を持つビットの数を表す。部分ｋ−
選言標準形カーネル関数を用いることで、指定された変
数から構成される長さが高々ｋの連言以外の全ての連言
を取り除いて次元を縮小した部分空間への射影ｇ’を容
易に計算できるので、このような次元縮小の妥当性を検
証できる。すなわち、本出願の請求項２３に記載の発明
は、部分ｋ−選言標準形カーネル関数を用いた次元縮小
を行うという容量制御プロセスを有する、請求項１７記
載のデータ分類プログラムを格納した記憶媒体である。
【００９０】本出願の請求項２４に記載の発明は、上述
した次元縮小に用いられる論理カーネル関数として、指
定された命題変数から構成される長さが高々ｋで否定を
含まない連言が張る特徴空間に対する部分ｋ−単調選言
標準形カーネル関数、
【００９１】
【数４７】
【００９２】を用いる。ただし、指定された変数に対し
ては値 1 を持ち、それ以外の変数に対しては値 0 を持
つビット列を m とするとき、s は、U AND V AND m に
おいて、値 1 を持つビットの数を表す。部分ｋ−単調
選言標準形カーネル関数を用いることで、指定された変
数から構成される長さが高々ｋの否定を含まない連言以
外の全ての連言を取り除いて次元を縮小した部分空間へ
の射影ｇ’を容易に計算できるので、このような次元縮
小の妥当性を検証できる。すなわち、本出願の請求項２
４に記載の発明は、部分ｋ−単調選言標準形カーネル関
数を用いた次元縮小を行うという容量制御プロセスを有
する、請求項１７記載のデータ分類プログラムを格納し
た記憶媒体である。
【００９３】
【発明の実施の形態】図３は、データ分類装置の利用法
の概略図である。通常、データは、命題のベクトルとし
て記述されているとは限らないので、データ変換装置
（１）により、各属性が０あるいは１の値をとるビット
列に変換する。このような変換装置を経由して得られる
訓練データとテストデータは、本発明のデータ分類装置
（２）に入力される。
【００９４】まず、学習機構（２１）は、正例と負例の
２つのクラスに属する訓練データを、連言が張る特徴空
間上で線型分離する超平面として、ブール関数を学習す
る。そして、容量制御機構（２２）において、学習機構
によって得られた分離超平面を論理カーネル関数を用い
て分析し、分類に寄与しない連言を取り除くことで特徴
空間の次元を縮小する。このような過程を１回あるいは
複数回繰り返して最終的に得られたブール関数を用い
て、分類判定機構（２３）が、テストデータが正例であ
るか負例であるかを判定する。
【００９５】なお、一般にはクラスの数は２つとは限ら
ず、データをｋ個（ｋ≧２）のクラスに分類しなければ
いけない場合も多いが、このような場合にも、本発明を
利用することは可能である。なぜならば、一般に、ｋ個
のクラスに分類する分類問題は、あるクラスに属するか
否かを判定するｋ個の２分類問題に帰着されるからであ
る。従って、ｋ分類問題に対しては、各クラスに属する
か否かの判定ごとに本発明の分類装置（２）を用いるこ
ととして、合計ｋ台の分類装置の出力を総合して最も妥
当なクラスを決定することができる。
【００９６】
【実施例】以下に、ランダムに生成したブール関数ｆの
入出力例から、ｆを学習する実験について記述する。こ
の実験では、ｆとして選言標準形論理式をランダムに生
成し、やはりランダムに生成したｆの入出力例（訓練デ
ータ）から、複数のデータ分類方法を用いて、ブール関
数を学習し、学習された関数の分類精度を測定する。こ
のような実験を、訓練データの数、命題変数の数やｆの
複雑さといったパラメータを様々に変化させて、複数の
データ分類方法の性能を比較した。
【００９７】この実験では、特定のブール関数に偏らな
い平均的な分類精度を比較検討するために、次のよう方
法で分類精度を測定した。まず、ランダムに１００個の
ブール関数を生成する。そして、各ブール関数ごとに、
ｎ個の訓練データと２０００個のテストデータを一様分
布の下でランダムに生成し、訓練データから学習された
ブール関数のテストデータに対する分類精度、すなわ
ち、正しく分類されたテストデータの割合を測定する。
こうして得られた１００回の測定の平均をとり、各デー
タ分類方法の分類精度とした。
【００９８】ブール関数のランダムな生成は、以下のよ
うな方法で選言標準形論理式を生成することによりなさ
れた。選言標準形論理式の連言の長さの平均をａとし、
ｄ個の命題変数は確率ａ／ｄで連言の要素として選択さ
れ、さらに確率１／２で負リテラルとなるものとする。
連言の数は、正負のデータが、ほぼ同じ割合で生成され
るように、２のａ−２乗個とした。
【００９９】表１は、ｄ＝１６、ａ＝８とするとき、ｎ
に対する分類精度の変化を示している。表中、ＢＫＣの
行は、本出願の請求項２に記載したデータ分類方法の分
類精度である。それ以下の行は、従来のデータ分類方法
の分類精度を表していて、ＮＢＣの行は、 Ｎａｉｖｅ
Ｂａｙｅｓ Ｃｌａｓｓｉｆｉｅｒの分類精度を、Ｃ
４．５の行は、Ｑｕｉｎｌａｎによる決定木学習アルゴ
リズムによる分類精度を表している。この結果から、本
出願の請求項２に記載したデータ分類方法は、従来の方
法に比べて、一定水準の分類精度を達成するために必要
な訓練データの数が少なくて済むことがわかる。
【０１００】
【表１】
【０１０１】表２は、ｎ＝１０００、ａ＝８とすると
き、ｄに対する分類精度の変化を示している。この結果
から、本出願の請求項２に記載したデータ分類方法は、
命題変数の数が増加しても極端に性能が落ちることはな
く、全ての場合において、従来の方法よりも分類精度が
高いことがわかる。
【０１０２】
【表２】
【０１０３】表３は、ｎ＝１０００、ｄ＝１６とすると
き、ａに対する分類精度の変化を示している。なお、こ
の実験に限り、連言の長さは平均ａではなく、正確にａ
とし、連言の数は２のａ−１乗個とした。この結果か
ら、本出願の請求項２に記載したデータ分類方法は、様
々な複雑さを持つ選言標準形論理式に対して、従来の方
法よりも分類精度が高いことがわかる。
【０１０４】
【表３】
【０１０５】
【発明の効果】以上の通り、本発明によれば、未知のデ
ータがあるクラスに分類できるか否かを判定するブール
関数を、論理カーネル関数を用いたカーネル法により学
習する際、分類に寄与しない連言を取り除いて仮説空間
の次元を縮小する容量制御が可能になる。これにより、
属性間の論理的な関係に基づく分類器で、高い分類精度
を持つものを学習可能にする、データ分類方法、データ
分類装置及びデータ分類プログラムを格納した記憶媒体
を実現することができる。
【図面の簡単な説明】
【図１】本発明によるデータ分類方法の原理を説明する
ための図である。
【図２】本発明によるデータ分類の装置の構成図であ
る。
【図３】本発明によるデータ分類方法の実施形態の概略
図である。
【符号の説明】
１ データ変換装置 ２ データ分類装置 ２１ データ分類装置における分類器学習機構 ２２ データ分類装置における容量制御機構 ２３ データ分類装置における分類判定機構

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 カーネル法を用いたデータ分類法におい
    て、データを記述する属性の論理的な関係に基づく分類
    器を、学習するために論理カーネル関数を用いると同時
    に、学習の結果得られた分類器を、論理カーネル関数を
    用いて分析し、分類に寄与しない次元を取り除いて仮説
    空間の次元縮小を行う容量制御機構を備えたデータ分類
    方法。
  2. 【請求項２】 請求項１に記載のデータ分類方法におい
    て、学習の結果得られた分類器の分析に用いる論理カー
    ネル関数として、否定を含まない連言の分類に対する寄
    与を分析可能な単調選言標準形カーネル関数、 【数１】 （ただし、s は、ビット列 U AND V において、値 1 を
    持つビットの数。）を用いる容量制御機構を備えたデー
    タ分類方法。
  3. 【請求項３】 請求項１に記載のデータ分類方法におい
    て、学習の結果得られた分類器の分析に用いる論理カー
    ネル関数として、長さが高々ｋの連言の分類に対する寄
    与を分析可能なｋ−選言標準形カーネル関数、 【数２】 （ただし、s は、ビット列 NOT(U XOR V) において、値
    1 を持つビットの数。）を用いる容量制御機構を備え
    たデータ分類方法。
  4. 【請求項４】 請求項１に記載のデータ分類方法におい
    て、学習の結果得られた分類器の分析に用いる論理カー
    ネル関数として、長さが高々ｋの否定を含まない連言の
    分類に対する寄与を分析可能なｋ−単調選言標準形カー
    ネル関数、 【数３】 （ただし、s は、ビット列 U AND V において、値 1 を
    持つビットの数。）を用いる容量制御機構を備えたデー
    タ分類方法。
  5. 【請求項５】 請求項１に記載のデータ分類方法におい
    て、学習の結果得られた分類器の分析に用いる論理カー
    ネル関数として、指定された命題変数から構成される連
    言の分類に対する寄与を分析可能な部分選言標準形カー
    ネル関数、 【数４】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、NOT(U XOR V) AND m において、値 1 を
    持つビットの数。）を用いる容量制御機構を備えたデー
    タ分類方法。
  6. 【請求項６】 請求項１に記載のデータ分類方法におい
    て、学習の結果得られた分類器の分析に用いる論理カー
    ネル関数として、指定された命題変数から構成される否
    定を含まない連言の分類に対する寄与を分析可能な部分
    単調選言標準形カーネル関数、 【数５】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、U AND V AND m において、値 1を持つビ
    ットの数。）を用いる容量制御機構を備えたデータ分類
    方法。
  7. 【請求項７】 請求項１に記載のデータ分類方法におい
    て、学習の結果得られた分類器の分析に用いる論理カー
    ネル関数として、指定された命題変数から構成される長
    さが高々ｋの連言の分類に対する寄与を分析可能な部分
    ｋ−選言標準形カーネル関数、 【数６】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、NOT(U XOR V) AND m において、値 1 を
    持つビットの数。）を用いる容量制御機構を備えたデー
    タ分類方法。
  8. 【請求項８】 請求項１に記載のデータ分類方法におい
    て、学習の結果得られた分類器の分析に用いる論理カー
    ネル関数として、指定された命題変数から構成される長
    さが高々ｋの否定を含まない連言の分類に対する寄与を
    分析可能な部分ｋ−単調選言標準形カーネル関数、 【数７】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、U AND V AND m において、値 1を持つビ
    ットの数。）を用いる容量制御機構を備えたデータ分類
    方法。
  9. 【請求項９】 カーネル法を用いたデータ分類装置であ
    って、データを記述する属性の論理的な関係に基づく分
    類器を学習するために論理カーネル関数を用いると同時
    に、学習の結果得られた分類器を、論理カーネル関数を
    用いて分析し、分類に寄与しない次元を取り除いて仮説
    空間の次元縮小を行う容量制御機構を備えたデータ分類
    装置。
  10. 【請求項１０】 請求項９に記載のデータ分類装置にお
    いて、学習の結果得られた分類器の分析に用いる論理カ
    ーネル関数として、否定を含まない連言の分類に対する
    寄与を分析可能な単調選言標準形カーネル関数、 【数８】 （ただし、s は、ビット列 U AND V において、値 1 を
    持つビットの数。）を用いる容量制御機構を備えたデー
    タ分類装置。
  11. 【請求項１１】 請求項９に記載のデータ分類装置にお
    いて、学習の結果得られた分類器の分析に用いる論理カ
    ーネル関数として、長さが高々ｋの連言の分類に対する
    寄与を分析可能なｋ−選言標準形カーネル関数、 【数９】 （ただし、s は、ビット列 NOT(U XOR V) において、値
    1 を持つビットの数。）を用いる容量制御機構を備え
    たデータ分類装置。
  12. 【請求項１２】 請求項９に記載のデータ分類装置にお
    いて、学習の結果得られた分類器の分析に用いる論理カ
    ーネル関数として、長さが高々ｋの否定を含まない連言
    の分類に対する寄与を分析可能なｋ−単調選言標準形カ
    ーネル関数、 【数１０】 （ただし、s は、ビット列 U AND V において、値 1 を
    持つビットの数。）を用いる容量制御機構を備えたデー
    タ分類装置。
  13. 【請求項１３】 請求項９に記載のデータ分類装置にお
    いて、学習の結果得られた分類器の分析に用いる論理カ
    ーネル関数として、指定された命題変数から構成される
    連言の分類に対する寄与を分析可能な部分選言標準形カ
    ーネル関数、 【数１１】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、NOT(U XOR V) AND m において、値 1 を
    持つビットの数。）を用いる容量制御機構を備えたデー
    タ分類装置。
  14. 【請求項１４】 請求項９に記載のデータ分類装置にお
    いて、学習の結果得られた分類器の分析に用いる論理カ
    ーネル関数として、指定された命題変数から構成される
    否定を含まない連言の分類に対する寄与を分析可能な部
    分単調選言標準形カーネル関数、 【数１２】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、U AND V AND m において、値 1を持つビ
    ットの数。）を用いる容量制御機構を備えたデータ分類
    装置。
  15. 【請求項１５】 請求項９に記載のデータ分類装置にお
    いて、学習の結果得られた分類器の分析に用いる論理カ
    ーネル関数として、指定された命題変数から構成される
    長さが高々ｋの連言の分類に対する寄与を分析可能な部
    分ｋ−選言標準形カーネル関数、 【数１３】 （ただし、指定された変数に対しては値１を持ち、それ
    以外の変数に対しては値０を持つビット列を m とする
    とき、s は、NOT(U XOR V) AND m において、値 1を持
    つビットの数。）を用いる容量制御機構を備えたデータ
    分類装置。
  16. 【請求項１６】 請求項９に記載のデータ分類装置にお
    いて、学習の結果得られた分類器の分析に用いる論理カ
    ーネル関数として、指定された命題変数から構成される
    長さが高々ｋの否定を含まない連言の分類に対する寄与
    を分析可能な部分ｋ−単調選言標準形カーネル関数、 【数１４】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、ビット列 (U AND V) AND m において、
    値 1 を持つビットの数。）を用いる容量制御機構を備
    えたデータ分類装置。
  17. 【請求項１７】 カーネル法を用いたデータ分類装置に
    搭載されるデータ分類プログラムを格納した記憶媒体で
    あって、データを記述する属性の論理的な関係に基づく
    分類器を学習するために論理カーネル関数を用いると同
    時に、学習の結果得られた分類器を、論理カーネル関数
    を用いて分析し、分類に寄与しない次元を取り除いて仮
    説空間の次元縮小を行う容量制御プロセスを備えたデー
    タ分類プログラムを格納した記憶媒体。
  18. 【請求項１８】 請求項１７に記載のデータ分類プログ
    ラムを格納した記憶媒体において、学習の結果得られた
    分類器の分析に用いる論理カーネル関数として、否定を
    含まない連言の分類に対する寄与を分析可能な単調選言
    標準形カーネル関数、 【数１５】 （ただし、s は、ビット列 U AND V において、値 1 を
    持つビットの数。）を用いる容量制御プロセスを備えた
    データ分類プログラムを格納した記憶媒体。
  19. 【請求項１９】 請求項１７に記載のデータ分類プログ
    ラムを格納した記憶媒体において、学習の結果得られた
    分類器の分析に用いる論理カーネル関数として、長さが
    高々ｋの連言の分類に対する寄与を分析可能なｋ−選言
    標準形カーネル関数、 【数１６】 （ただし、s は、ビット列 NOT(U XOR V) において、値
    1 を持つビットの数。）を用いる容量制御プロセスを
    備えたデータ分類プログラムを格納した記憶媒体。
  20. 【請求項２０】 請求項１７に記載のデータ分類プログ
    ラムを格納した記憶媒体において、学習の結果得られた
    分類器の分析に用いる論理カーネル関数として、長さが
    高々ｋの否定を含まない連言の分類に対する寄与を分析
    可能なｋ−単調選言標準形カーネル関数、 【数１７】 （ただし、s は、ビット列 U AND V において、値 1 を
    持つビットの数。）を用いる容量制御プロセスを備えた
    データ分類プログラムを格納した記憶媒体。
  21. 【請求項２１】 請求項１７に記載のデータ分類プログ
    ラムを格納した記憶媒体において、学習の結果得られた
    分類器の分析に用いる論理カーネル関数として、指定さ
    れた命題変数から構成される連言の分類に対する寄与を
    分析可能な部分選言標準形カーネル関数、 【数１８】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、ビット列 NOT(U XOR V) AND m におい
    て、値 1 を持つビットの数。）を用いる容量制御プロ
    セスを備えたデータ分類プログラムを格納した記憶媒
    体。
  22. 【請求項２２】 請求項１７に記載のデータ分類プログ
    ラムを格納した記憶媒体において、学習の結果得られた
    分類器の分析に用いる論理カーネル関数として、指定さ
    れた命題変数から構成される否定を含まない連言の分類
    に対する寄与を分析可能な部分単調選言標準形カーネル
    関数、 【数１９】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、ビット列 (U AND V) AND m において、
    値 1 を持つビットの数。）を用いる容量制御プロセス
    を備えたデータ分類プログラムを格納した記憶媒体。
  23. 【請求項２３】 請求項１７に記載のデータ分類プログ
    ラムを格納した記憶媒体において、学習の結果得られた
    分類器の分析に用いる論理カーネル関数として、指定さ
    れた命題変数から構成される長さが高々ｋの連言の分類
    に対する寄与を分析可能な部分ｋ−選言標準形カーネル
    関数、 【数２０】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、ビット列 NOT(U XOR V) AND m におい
    て、値 1 を持つビットの数。）を用いる容量制御プロ
    セスを備えたデータ分類プログラムを格納した記憶媒
    体。
  24. 【請求項２４】 請求項１７に記載のデータ分類プログ
    ラムを格納した記憶媒体において、学習の結果得られた
    分類器の分析に用いる論理カーネル関数として、指定さ
    れた命題変数から構成される長さが高々ｋの否定を含ま
    ない連言の分類に対する寄与を分析可能な部分ｋ−単調
    選言標準形カーネル関数、 【数２１】 （ただし、指定された変数に対しては値 1 を持ち、そ
    れ以外の変数に対しては値 0 を持つビット列を m とす
    るとき、s は、ビット列 (U AND V) AND m において、
    値 1 を持つビットの数。）を用いる容量制御プロセス
    を備えたデータ分類プログラムを格納した記憶媒体。
JP2002051926A 2002-02-27 2002-02-27 データ分類方法、データ分類装置及びデータ分類プログラムを格納した記憶媒体。 Pending JP2003256801A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002051926A JP2003256801A (ja) 2002-02-27 2002-02-27 データ分類方法、データ分類装置及びデータ分類プログラムを格納した記憶媒体。

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002051926A JP2003256801A (ja) 2002-02-27 2002-02-27 データ分類方法、データ分類装置及びデータ分類プログラムを格納した記憶媒体。

Publications (1)

Publication Number Publication Date
JP2003256801A true JP2003256801A (ja) 2003-09-12

Family

ID=28663776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002051926A Pending JP2003256801A (ja) 2002-02-27 2002-02-27 データ分類方法、データ分類装置及びデータ分類プログラムを格納した記憶媒体。

Country Status (1)

Country Link
JP (1) JP2003256801A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005345154A (ja) * 2004-05-31 2005-12-15 Kyushu Electric Power Co Inc 異常予兆検出方法および装置
JP2006099565A (ja) * 2004-09-30 2006-04-13 Kddi Corp コンテンツ識別装置
US8396816B2 (en) 2007-01-12 2013-03-12 Nec Corporation Kernel function generating method and device and data classification device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005345154A (ja) * 2004-05-31 2005-12-15 Kyushu Electric Power Co Inc 異常予兆検出方法および装置
JP2006099565A (ja) * 2004-09-30 2006-04-13 Kddi Corp コンテンツ識別装置
JP4553300B2 (ja) * 2004-09-30 2010-09-29 Ｋｄｄｉ株式会社 コンテンツ識別装置
US8396816B2 (en) 2007-01-12 2013-03-12 Nec Corporation Kernel function generating method and device and data classification device

Similar Documents

Publication Publication Date Title
Gao et al. A general framework for mining concept-drifting data streams with skewed distributions
Guo et al. Learning from imbalanced data sets with boosting and data generation: the databoost-im approach
Diefenbacher et al. DCTRGAN: Improving the precision of generative models with reweighting
Wang et al. A comparative study of threshold-based feature selection techniques
Jia et al. Improving the quality of explanations with local embedding perturbations
JP5353443B2 (ja) データ分類器作成装置、データ分類装置、データ分類器作成方法、データ分類方法、データ分類器作成プログラム、データ分類プログラム
Li et al. Classifiability-based omnivariate decision trees
Montanes et al. Scoring and selecting terms for text categorization
CN110472225B (zh) 基于词扩展lda的铁路事故原因分析方法
CN110674865A (zh) 面向软件缺陷类分布不平衡的规则学习分类器集成方法
Mücke et al. Learning Bit by Bit: Extracting the Essence of Machine Learning.
Zaitseva et al. A new method for analysis of Multi-State systems based on Multi-valued decision diagram under epistemic uncertainty
CN113468291A (zh) 基于专利网络表示学习的专利自动分类方法
Chubarian et al. Interpretability of Bayesian Network Classifiers: OBDD Approximation and Polynomial Threshold Functions.
Phienthrakul et al. Evolutionary strategies for multi-scale radial basis function kernels in support vector machines
Ibrahim et al. On feature selection methods for accurate classification and analysis of emphysema ct images
JP2003256801A (ja) データ分類方法、データ分類装置及びデータ分類プログラムを格納した記憶媒体。
CN111126443A (zh) 基于随机游走的网络表示学习方法
Mustafa et al. Fine-grained analysis of structured output prediction
Wong et al. Grammar-based genetic programming with dependence learning and Bayesian network classifier
Stefanovic et al. Investigation on learning parameters of self-organizing maps
JP2004326465A (ja) 文書分類用の学習装置、及びこれを用いた文書分類方法並びに文書分類装置
Jabbari et al. Obtaining accurate probabilistic causal inference by post-processing calibration
JP7249125B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
Elomaa et al. Progressive rademacher sampling

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060404