JP2003331254A - 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 - Google Patents
分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体Info
- Publication number
- JP2003331254A JP2003331254A JP2002136536A JP2002136536A JP2003331254A JP 2003331254 A JP2003331254 A JP 2003331254A JP 2002136536 A JP2002136536 A JP 2002136536A JP 2002136536 A JP2002136536 A JP 2002136536A JP 2003331254 A JP2003331254 A JP 2003331254A
- Authority
- JP
- Japan
- Prior art keywords
- input vector
- component
- coefficient value
- learning
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】本発明は、入力ベクトルと学習用データにより
得られた定数ベクトルとの内積の関数となる多項式の値
を算出することで、入力ベクトルの属するクラスを判定
するときにあって、その判定に要する計算時間を大幅に
削減できるようにする新たな分類技術の提供を目的とす
る。 【解決手段】多項式の値を算出する場合に、従来技術に
従うと膨大な数の内積計算が必要になるのに対して、入
力ベクトルの持つ非ゼロ値成分の個数がそれほど多くな
いことを考慮して、あらかじめ各成分の係数値を算出し
て保存しておいて、その中から、入力ベクトルの持つ非
ゼロ値成分の指す係数値を取得することでわずかな積和
計算や加算により多項式の値を算出するように処理す
る。これにより、入力ベクトルの属するクラスを判定す
るときにあって、その判定に要する計算時間を大幅に削
減できるようになる。
得られた定数ベクトルとの内積の関数となる多項式の値
を算出することで、入力ベクトルの属するクラスを判定
するときにあって、その判定に要する計算時間を大幅に
削減できるようにする新たな分類技術の提供を目的とす
る。 【解決手段】多項式の値を算出する場合に、従来技術に
従うと膨大な数の内積計算が必要になるのに対して、入
力ベクトルの持つ非ゼロ値成分の個数がそれほど多くな
いことを考慮して、あらかじめ各成分の係数値を算出し
て保存しておいて、その中から、入力ベクトルの持つ非
ゼロ値成分の指す係数値を取得することでわずかな積和
計算や加算により多項式の値を算出するように処理す
る。これにより、入力ベクトルの属するクラスを判定す
るときにあって、その判定に要する計算時間を大幅に削
減できるようになる。
Description
【０００１】
【発明の属する技術分野】本発明は、入力ベクトルと学
習用データにより得られた定数ベクトルとの内積の関数
となる多項式の値を算出することで、入力ベクトルの属
するクラスを判定する分類方法及びその装置と、その分
類方法の実現に用いられる分類プログラム及びそのプロ
グラムを記録した記録媒体とに関する。
習用データにより得られた定数ベクトルとの内積の関数
となる多項式の値を算出することで、入力ベクトルの属
するクラスを判定する分類方法及びその装置と、その分
類方法の実現に用いられる分類プログラム及びそのプロ
グラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】自然言語処理システムや画像処理システ
ムや音声認識システムなどにおいて、あらかじめ正解の
分かっている学習用データからデータの分類の仕方を自
動的に学習する教師あり学習では、サポート・ベクトル
・マシン（V.N.Vapnik:The Nature of Statistical Lea
rning Theory,Springer,1995) などのカーネル関数を用
いた学習手法が、決定木や決定リストなどの他の学習手
法に比べて高性能であることが知られている。
ムや音声認識システムなどにおいて、あらかじめ正解の
分かっている学習用データからデータの分類の仕方を自
動的に学習する教師あり学習では、サポート・ベクトル
・マシン（V.N.Vapnik:The Nature of Statistical Lea
rning Theory,Springer,1995) などのカーネル関数を用
いた学習手法が、決定木や決定リストなどの他の学習手
法に比べて高性能であることが知られている。
【０００３】このカーネル関数としては内積を用いたも
のが主流である。しかし、内積に基づくカーネル関数を
用いた場合、分類にかかる時間が従来手法に比べてきわ
めて遅いことが知られている。
のが主流である。しかし、内積に基づくカーネル関数を
用いた場合、分類にかかる時間が従来手法に比べてきわ
めて遅いことが知られている。
【０００４】これは、ひとつのデータの分類に、数千回
から数十万回という膨大な回数の内積計算が必要なため
である。
から数十万回という膨大な回数の内積計算が必要なため
である。
【０００５】そこで、０でない成分同士だけを記録し比
較することによって、内積計算を高速にするなどの方法
が取られている。それでも、従来手法に比べて実行速度
は１桁〜３桁程度遅い。
較することによって、内積計算を高速にするなどの方法
が取られている。それでも、従来手法に比べて実行速度
は１桁〜３桁程度遅い。
【０００６】
【発明が解決しようとする課題】サポート・ベクトル・
マシンなどのカーネル関数に基づく手法は、従来手法と
比べて処理時間が遅いため、大量のデータを短時間で処
理しなければならないような分野ではほとんど利用され
ていないのが実情である。
マシンなどのカーネル関数に基づく手法は、従来手法と
比べて処理時間が遅いため、大量のデータを短時間で処
理しなければならないような分野ではほとんど利用され
ていないのが実情である。
【０００７】このような分野では、人間が分類プログラ
ムを作成したり、決定木などのような精度は低いが実行
の速い従来の学習手法が用いられている。
ムを作成したり、決定木などのような精度は低いが実行
の速い従来の学習手法が用いられている。
【０００８】しかしながら、サポート・ベクトル・マシ
ンなどのカーネル関数に基づく手法は高性能であり、大
量のデータを短時間で処理しなければならないような分
野でも用いることができるようにしていくことが望まれ
ている。
ンなどのカーネル関数に基づく手法は高性能であり、大
量のデータを短時間で処理しなければならないような分
野でも用いることができるようにしていくことが望まれ
ている。
【０００９】本発明はかかる事情に鑑みてなされたもの
であって、入力ベクトルと学習用データにより得られた
定数ベクトルとの内積の関数となる多項式の値を算出す
ることで、入力ベクトルの属するクラスを判定するとき
にあって、その判定に要する計算時間を大幅に削減でき
るようにする新たな分類技術の提供を目的とする。
であって、入力ベクトルと学習用データにより得られた
定数ベクトルとの内積の関数となる多項式の値を算出す
ることで、入力ベクトルの属するクラスを判定するとき
にあって、その判定に要する計算時間を大幅に削減でき
るようにする新たな分類技術の提供を目的とする。
【００１０】
【課題を解決するための手段】この目的を達成するため
に、本発明の分類装置は、入力ベクトルと学習用データ
により得られた定数ベクトルとの内積の関数となる多項
式の値を算出することで、入力ベクトルの属するクラス
を判定するときにあって、多項式を入力ベクトルの成
分ごとに展開するときの各成分の係数値を記憶する記憶
手段と、多項式を入力ベクトルの成分ごとに展開した
ときの各成分の係数値を算出して、記憶手段に保存する
算出手段と、記憶手段を検索することで、入力ベクト
ルの持つ非ゼロ値成分の指す係数値を取得する取得手段
と、取得手段の取得した係数値を使って多項式の値を
算出することで、入力ベクトルの属するクラスを判定す
る判定手段とを備えるように構成する。
に、本発明の分類装置は、入力ベクトルと学習用データ
により得られた定数ベクトルとの内積の関数となる多項
式の値を算出することで、入力ベクトルの属するクラス
を判定するときにあって、多項式を入力ベクトルの成
分ごとに展開するときの各成分の係数値を記憶する記憶
手段と、多項式を入力ベクトルの成分ごとに展開した
ときの各成分の係数値を算出して、記憶手段に保存する
算出手段と、記憶手段を検索することで、入力ベクト
ルの持つ非ゼロ値成分の指す係数値を取得する取得手段
と、取得手段の取得した係数値を使って多項式の値を
算出することで、入力ベクトルの属するクラスを判定す
る判定手段とを備えるように構成する。
【００１１】そして、この構成を採るときにあって、算
出手段は、係数値を算出して記憶手段に保存する処理を
行うときにあって、算出した係数値の大きさを評価する
ことで不要な成分を削除する削除手段を備えて、その削
除手段により不要な成分の削除された係数値を記憶手段
に保存するように処理することがある。
出手段は、係数値を算出して記憶手段に保存する処理を
行うときにあって、算出した係数値の大きさを評価する
ことで不要な成分を削除する削除手段を備えて、その削
除手段により不要な成分の削除された係数値を記憶手段
に保存するように処理することがある。
【００１２】そして、この構成を採るときにあって、算
出手段の算出した係数値の大きさを評価することで、不
要な成分を削除する削除手段と、不要な成分の削除され
た学習用データを使って多項式を再学習する再学習手段
とを備えることがある。
出手段の算出した係数値の大きさを評価することで、不
要な成分を削除する削除手段と、不要な成分の削除され
た学習用データを使って多項式を再学習する再学習手段
とを備えることがある。
【００１３】以上の各処理手段により実現される本発明
の分類方法はコンピュータプログラムで実現できるもの
であり、このコンピュータプログラムは、半導体メモリ
などような適当な記録媒体に記録して提供することがで
きる。
の分類方法はコンピュータプログラムで実現できるもの
であり、このコンピュータプログラムは、半導体メモリ
などような適当な記録媒体に記録して提供することがで
きる。
【００１４】このように構成される本発明の分類装置で
は、学習用データにより得られた多項式ｇ（ｘ）を入力
ベクトルの成分ごとに展開するときの各成分の係数値を
算出して、記憶手段に保存した後、分類対象の入力ベク
トルが与えられると、記憶手段を検索することで、その
入力ベクトルの持つ非ゼロ値成分の指す係数値を取得し
て、その取得した係数値を使って多項式ｇ（ｘ）の値を
算出することで、入力ベクトルの属するクラスを判定す
る。
は、学習用データにより得られた多項式ｇ（ｘ）を入力
ベクトルの成分ごとに展開するときの各成分の係数値を
算出して、記憶手段に保存した後、分類対象の入力ベク
トルが与えられると、記憶手段を検索することで、その
入力ベクトルの持つ非ゼロ値成分の指す係数値を取得し
て、その取得した係数値を使って多項式ｇ（ｘ）の値を
算出することで、入力ベクトルの属するクラスを判定す
る。
【００１５】このとき、記憶手段として大規模なものを
用意しなくても済むようにするために、算出した係数値
の大きさを評価することで不要な成分を削除し、その不
要な成分を削除した係数値を記憶手段に保存するように
処理することがある。
用意しなくても済むようにするために、算出した係数値
の大きさを評価することで不要な成分を削除し、その不
要な成分を削除した係数値を記憶手段に保存するように
処理することがある。
【００１６】そして、分類精度の向上や処理速度の向上
を図るために、算出した係数値の大きさを評価すること
で、不要な成分を削除し、その不要な成分の削除された
学習用データを使って多項式を再学習するように処理す
ることがある。
を図るために、算出した係数値の大きさを評価すること
で、不要な成分を削除し、その不要な成分の削除された
学習用データを使って多項式を再学習するように処理す
ることがある。
【００１７】このようにして、本発明では、入力ベクト
ルと学習用データにより得られた定数ベクトルとの内積
の関数となる多項式の値を算出する場合に、従来技術に
従うと膨大な数の内積計算が必要になるのに対して、入
力ベクトルの持つ非ゼロ値成分の個数がそれほど多くな
いことを考慮して、あらかじめ各成分の係数値を算出し
て保存しておいて、その中から、入力ベクトルの持つ非
ゼロ値成分の指す係数値を取得することでわずかな積和
計算や加算により多項式の値を算出するように処理する
ことから、入力ベクトルの属するクラスを判定するとき
にあって、その判定に要する計算時間を大幅に削減でき
るようになる。
ルと学習用データにより得られた定数ベクトルとの内積
の関数となる多項式の値を算出する場合に、従来技術に
従うと膨大な数の内積計算が必要になるのに対して、入
力ベクトルの持つ非ゼロ値成分の個数がそれほど多くな
いことを考慮して、あらかじめ各成分の係数値を算出し
て保存しておいて、その中から、入力ベクトルの持つ非
ゼロ値成分の指す係数値を取得することでわずかな積和
計算や加算により多項式の値を算出するように処理する
ことから、入力ベクトルの属するクラスを判定するとき
にあって、その判定に要する計算時間を大幅に削減でき
るようになる。
【００１８】そして、本発明では、この構成を採るとき
にあって、係数の小さい属性を削除することで、メモリ
を削減したり、分類精度を向上させたり、処理速度をさ
らに向上させることができるようになる。
にあって、係数の小さい属性を削除することで、メモリ
を削減したり、分類精度を向上させたり、処理速度をさ
らに向上させることができるようになる。
【００１９】
【発明の実施の形態】以下、実施の形態に従って本発明
を詳細に説明する。
を詳細に説明する。
【００２０】図１に本発明の一実施形態例を図示する。
【００２１】図中、１は学習用データファイル、２は分
類データファイル、３は分類結果ファイル、１０は学習
手段、１１は算出手段、１２は削除手段、１３は記憶手
段、１４は再学習手段、１５は判定手段、１６は取得手
段である。
類データファイル、３は分類結果ファイル、１０は学習
手段、１１は算出手段、１２は削除手段、１３は記憶手
段、１４は再学習手段、１５は判定手段、１６は取得手
段である。
【００２２】この学習用データファイル１は、学習用の
データを格納する。分類データファイル２は、分類対象
となる入力ベクトルを格納する。分類結果ファイル３
は、分類結果を格納する。
データを格納する。分類データファイル２は、分類対象
となる入力ベクトルを格納する。分類結果ファイル３
は、分類結果を格納する。
【００２３】学習手段１０は、学習用データファイル１
に格納される学習用データを使って、入力ベクトルと定
数ベクトルとの内積の関数となる多項式ｇ（ｘ）を学習
する。
に格納される学習用データを使って、入力ベクトルと定
数ベクトルとの内積の関数となる多項式ｇ（ｘ）を学習
する。
【００２４】算出手段１１は、学習手段１０の学習した
多項式ｇ（ｘ）を入力ベクトルの成分（属性）ごとに展
開するときの各成分の係数値を算出して、記憶手段１３
に保存する。
多項式ｇ（ｘ）を入力ベクトルの成分（属性）ごとに展
開するときの各成分の係数値を算出して、記憶手段１３
に保存する。
【００２５】削除手段１２は、算出手段１１の算出した
係数値の大きさを評価することで、不要な成分を削除す
る。この削除手段１２が設けられるときには、算出手段
１１は、不要な成分の削除された係数値を記憶手段１３
に保存することになる。
係数値の大きさを評価することで、不要な成分を削除す
る。この削除手段１２が設けられるときには、算出手段
１１は、不要な成分の削除された係数値を記憶手段１３
に保存することになる。
【００２６】再学習手段１４は、削除手段１２により不
要な成分の削除された学習用データを使って多項式を再
学習することで、多項式ｇ（ｘ）を再学習する。
要な成分の削除された学習用データを使って多項式を再
学習することで、多項式ｇ（ｘ）を再学習する。
【００２７】判定手段１５は、分類データファイル２に
格納される入力ベクトルの属するクラスを判定して、分
類結果ファイル３に格納する。
格納される入力ベクトルの属するクラスを判定して、分
類結果ファイル３に格納する。
【００２８】取得手段１６は、例えば判定手段１５に備
えられて、記憶手段１３を検索することで、入力ベクト
ルの持つ非ゼロ値成分の指す係数値を取得する。
えられて、記憶手段１３を検索することで、入力ベクト
ルの持つ非ゼロ値成分の指す係数値を取得する。
【００２９】サポート・ベクトル・マシンなど、カーネ
ル関数を用いて分類する場合、以下の決定関数（上述の
多項式）を計算することによってデータが分類される。
ル関数を用いて分類する場合、以下の決定関数（上述の
多項式）を計算することによってデータが分類される。
【００３０】ｇ（ｘ）＝Σωi Ｋ（ｘ，ｚi ）＋ｂ
但し、Σはｉ＝１〜ｍの総和
ここで、ｘは入力ベクトルであり、ｇ（ｘ）の符号によ
りｘが分類される。ｚ i は定数ベクトルであり、サポー
ト・ベクトル・マシンの場合にはサポート・ベクトルと
呼ばれる訓練データの代表である。ｍは定数ベクトルｚ
i の数である。ωi は定数である。
りｘが分類される。ｚ i は定数ベクトルであり、サポー
ト・ベクトル・マシンの場合にはサポート・ベクトルと
呼ばれる訓練データの代表である。ｍは定数ベクトルｚ
i の数である。ωi は定数である。
【００３１】但し、サポート・ベクトル以外の定数ベク
トルを使う方法も提案されており、必ずしもｚi がサポ
ート・ベクトルである必要はないし、これらの定数ベク
トルがサポート・ベクトル・マシンの学習手法で求めら
れる必要もなく、要するに決定関数が上記の形式をして
いればよい。
トルを使う方法も提案されており、必ずしもｚi がサポ
ート・ベクトルである必要はないし、これらの定数ベク
トルがサポート・ベクトル・マシンの学習手法で求めら
れる必要もなく、要するに決定関数が上記の形式をして
いればよい。
【００３２】現実のデータを精度よく分類しようとする
と、定数ベクトルの数ｍが数千から数十万になることは
珍しくない。すると、入力ベクトルｘをこの式に従って
分類するためには、数千から数十万の内積計算を実行し
なければならない。これが計算時間のネックとなってい
る。
と、定数ベクトルの数ｍが数千から数十万になることは
珍しくない。すると、入力ベクトルｘをこの式に従って
分類するためには、数千から数十万の内積計算を実行し
なければならない。これが計算時間のネックとなってい
る。
【００３３】しかし、多くの応用分野において、各入力
ベクトルｘを特徴づける属性（成分）は、実際には数十
個程度におさまることが多い。ベクトル表現をする都合
上、次元が数万〜数十万次元になるだけであり、各入力
ベクトルｘは、実質的には数個から数十個の属性の値で
表されることが多い。
ベクトルｘを特徴づける属性（成分）は、実際には数十
個程度におさまることが多い。ベクトル表現をする都合
上、次元が数万〜数十万次元になるだけであり、各入力
ベクトルｘは、実質的には数個から数十個の属性の値で
表されることが多い。
【００３４】たとえば、文中の英単語をいくつかのクラ
ス（たとえば品詞）に分類するという課題を考える。英
単語は「report」のようにまったく同じ形でも、前後の
文脈によって動詞になったり名詞になったりする。
ス（たとえば品詞）に分類するという課題を考える。英
単語は「report」のようにまったく同じ形でも、前後の
文脈によって動詞になったり名詞になったりする。
【００３５】単語は数万〜数十万あるので、単語ごとに
数値軸を設けてベクトル表現すると、数万〜数十万次元
になってしまう。品詞分類で前後の文脈を考慮するた
め、分類したい単語の直前、直後の単語もその単語の属
性として考慮すると、ベクトルの次元数はこの３倍にな
る。
数値軸を設けてベクトル表現すると、数万〜数十万次元
になってしまう。品詞分類で前後の文脈を考慮するた
め、分類したい単語の直前、直後の単語もその単語の属
性として考慮すると、ベクトルの次元数はこの３倍にな
る。
【００３６】見かけ上は次元が多いが、実際に利用して
いる属性は、３単語、つまり３つにすぎない。つまり、
ｇ（ｘ）は３つの属性の関数にすぎず、この点に着目す
ると、処理速度を大幅に向上させることができる。
いる属性は、３単語、つまり３つにすぎない。つまり、
ｇ（ｘ）は３つの属性の関数にすぎず、この点に着目す
ると、処理速度を大幅に向上させることができる。
【００３７】以下では、２次の多項式カーネルＫ（ｘ，
ｚi ） Ｋ（ｘ，ｚi ）＝（ｃ0 ＋ｃ1 ｘ・ｚi ）2 但し、ｃ0,ｃ1 は定数 を考える。
ｚi ） Ｋ（ｘ，ｚi ）＝（ｃ0 ＋ｃ1 ｘ・ｚi ）2 但し、ｃ0,ｃ1 は定数 を考える。
【００３８】図１に示した算出手段１１は、この多項式
カーネルを成分ごとに展開して各成分（属性）の係数を
求める処理を行う。
カーネルを成分ごとに展開して各成分（属性）の係数を
求める処理を行う。
【００３９】入力ベクトルｘを、
ｘ＝（ｘ〔１〕, ．．．．，ｘ〔Ｄ〕）
であるとし、定数ベクトルｚi を、
ｚi ＝（ｚi 〔１］，．．．．，ｚi ［Ｄ］）
であるとすると、この多項式カーネルは、
Ｋ（ｘ，ｚi ）＝（ｃ0 ＋ｃ1 ｘ・ｚi ）2
＝ｃ0 2＋２ｃ0 ｃ1 ｘ・ｚi ＋ｃ1 2（ｘ・ｚi ）2
のように展開できる。
【００４０】ここで、
ｘ・ｚi ＝Σｘ〔ｈ〕ｚi 〔ｈ］
但し、Σはｈ＝１〜Ｄの総和
を考慮すると、ｇ（ｘ）は、
【００４１】
【数１】
【００４２】のように変形できる。
【００４３】但し、Ｗ0 , Ｗ1 〔ｈ〕, Ｗ2 〔ｈ〕, Ｗ
3 〔ｈ，ｋ〕は、
3 〔ｈ，ｋ〕は、
【００４４】
【数２】
【００４５】を表している。
【００４６】この式を用いれば、ゼロでないｘ［ｈ］の
数が数個から数十個程度のとき、ゼロでないｘ［ｈ］ｘ
［ｋ］の数も数個からせいぜい数百個程度であり、その
係数との積和を計算するだけで判定ができるため、数千
から数十万の内積計算が必要となるもとの計算方法に比
べて、大幅な処理時間の圧縮が望める。
数が数個から数十個程度のとき、ゼロでないｘ［ｈ］ｘ
［ｋ］の数も数個からせいぜい数百個程度であり、その
係数との積和を計算するだけで判定ができるため、数千
から数十万の内積計算が必要となるもとの計算方法に比
べて、大幅な処理時間の圧縮が望める。
【００４７】さらに、すべてのベクトルの成分が０と１
しか取らない場合には、ｘ［ｈ］ｘ［ｋ］、ｚi ［ｈ］
ｚi ［ｋ］を計算する必要もないので、ｇ（ｘ）は、
しか取らない場合には、ｘ［ｈ］ｘ［ｋ］、ｚi ［ｈ］
ｚi ［ｋ］を計算する必要もないので、ｇ（ｘ）は、
【００４８】
【数３】
【００４９】のように変形できる。
【００５０】但し、Ｗ1 ' 〔ｈ〕, Ｗ3 〔ｈ，ｋ〕は、
【００５１】
【数４】
【００５２】を表している。
【００５３】つまり、数個からせいぜい数百個の定数を
足して行くだけで決定関数ｇ（ｘ）を計算できるように
なる。
足して行くだけで決定関数ｇ（ｘ）を計算できるように
なる。
【００５４】ここで、ほとんどがゼロのベクトルをコン
パクトに表すために、 ｚi ＝（０.1，０，０.4，０，０，０，０.2） を ｚi ＝｛１：０.1，３：０.4，７：０.2｝ と表したり、 ｚi ＝（１，０，１，０，０，０，１） を ｚi ＝｛１，３，７｝ と表すというように、非ゼロ要素の成分番号と値とのペ
アを使ってベクトルを表現するようにしている。
パクトに表すために、 ｚi ＝（０.1，０，０.4，０，０，０，０.2） を ｚi ＝｛１：０.1，３：０.4，７：０.2｝ と表したり、 ｚi ＝（１，０，１，０，０，０，１） を ｚi ＝｛１，３，７｝ と表すというように、非ゼロ要素の成分番号と値とのペ
アを使ってベクトルを表現するようにしている。
【００５５】算出手段１１の処理について具体的に説明
するならば、算出手段１１は、すべてのベクトルの成分
が０と１しか取らない場合には、図２の係数計算アルゴ
リズムに従って、すべてのｚi を調べて、上述の〔数
４〕式に従って、Ｗ1 ' 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあ
らかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたとき
に、対応する係数が直ちに取り出せるようにと、図１に
示す記憶手段１３に保存しておく。
するならば、算出手段１１は、すべてのベクトルの成分
が０と１しか取らない場合には、図２の係数計算アルゴ
リズムに従って、すべてのｚi を調べて、上述の〔数
４〕式に従って、Ｗ1 ' 〔ｈ〕とＷ3 〔ｈ，ｋ〕とをあ
らかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定されたとき
に、対応する係数が直ちに取り出せるようにと、図１に
示す記憶手段１３に保存しておく。
【００５６】ここで、図２に示す係数計算アルゴリズム
では、ｃ0,ｃ1 がともに１であることを仮定しており、
ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍す
ることになる。
では、ｃ0,ｃ1 がともに１であることを仮定しており、
ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍す
ることになる。
【００５７】この記憶手段１３に記憶される係数を受け
て、図１に示した判定手段１５は、入力ベクトルｘが与
えられる度に、必要な係数を記憶手段１３から取り出し
てｇ（ｘ）を計算する。
て、図１に示した判定手段１５は、入力ベクトルｘが与
えられる度に、必要な係数を記憶手段１３から取り出し
てｇ（ｘ）を計算する。
【００５８】例えば、入力ベクトルｘが「ｘ＝｛１，
３，８｝」の場合には、図３及び図４に示すように、 ｇ（ｘ）＝Ｗ0 ＋Ｗ1 ' 〔１〕＋Ｗ1 ' 〔３〕＋Ｗ1 '
〔８〕＋Ｗ3 〔１，３〕＋Ｗ3 〔１，８〕＋Ｗ3 〔３，
８〕 によりｇ（ｘ）が求められることになるので、判定手段
１５は、この式に含まれる７個の係数を記憶手段１３か
ら読み出して、その総和を算出することで、ｇ（ｘ）を
直ちに計算することができるようになる。
３，８｝」の場合には、図３及び図４に示すように、 ｇ（ｘ）＝Ｗ0 ＋Ｗ1 ' 〔１〕＋Ｗ1 ' 〔３〕＋Ｗ1 '
〔８〕＋Ｗ3 〔１，３〕＋Ｗ3 〔１，８〕＋Ｗ3 〔３，
８〕 によりｇ（ｘ）が求められることになるので、判定手段
１５は、この式に含まれる７個の係数を記憶手段１３か
ら読み出して、その総和を算出することで、ｇ（ｘ）を
直ちに計算することができるようになる。
【００５９】一方、算出手段１１は、非ゼロ要素に１以
外の値がある場合には、図５の係数計算アルゴリズムに
従って、すべてのｚi を調べて、上述の〔数２〕式に従
って、Ｗ0 とＷ1 〔ｈ〕とＷ2 〔ｈ〕とＷ3 〔ｈ，ｋ〕
とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定され
たときに、対応する係数が直ちに取り出せるようにと記
憶手段１３に保存しておく。
外の値がある場合には、図５の係数計算アルゴリズムに
従って、すべてのｚi を調べて、上述の〔数２〕式に従
って、Ｗ0 とＷ1 〔ｈ〕とＷ2 〔ｈ〕とＷ3 〔ｈ，ｋ〕
とをあらかじめ計算し、〔ｈ〕や〔ｈ，ｋ〕が指定され
たときに、対応する係数が直ちに取り出せるようにと記
憶手段１３に保存しておく。
【００６０】ここで、図５に示す係数計算アルゴリズム
では、ｃ0,ｃ1 がともに１であることを仮定しており、
ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍す
ることになる。
では、ｃ0,ｃ1 がともに１であることを仮定しており、
ｃ0,ｃ1 が１以外のときには、この計算結果を定数倍す
ることになる。
【００６１】この記憶手段１３に記憶される係数を受け
て、判定手段１５は、入力ベクトルｘが与えられる度
に、必要な係数を記憶手段１３から取り出してｇ（ｘ）
を計算する。
て、判定手段１５は、入力ベクトルｘが与えられる度
に、必要な係数を記憶手段１３から取り出してｇ（ｘ）
を計算する。
【００６２】例えば、入力ベクトルｘが「ｘ＝｛１：
０.3，３：０.5，８：−０.2｝」の場合には、 ｇ（ｘ）＝Ｗ0＋（Ｗ1 〔１〕＊ｘ〔１〕＋Ｗ2 〔１〕
＊ｘ〔１〕＊ｘ〔１〕）＋（Ｗ1 〔３〕＊ｘ〔３〕＋Ｗ
2 〔３〕＊ｘ〔３〕＊ｘ〔３〕）＋（Ｗ1 〔８〕＊ｘ
〔８〕＋Ｗ2 〔８〕＊ｘ〔８〕＊ｘ〔８〕）＋Ｗ3
〔１，３〕＊ｘ〔１〕＊ｘ〔３〕＋Ｗ3 〔１，８〕＊ｘ
〔１〕＊ｘ〔８〕＋Ｗ3 〔３，８〕＊ｘ〔３〕＊ｘ
〔８〕 によりｇ（ｘ）が求められることになるので、判定手段
１５は、この式に含まれる１０個の係数を記憶手段１３
から読み出し、「ｘ〔１〕＝０.3，ｘ〔３〕＝０.5，ｘ
〔８〕＝−０.2」として、この式の計算を行うことで、
ｇ（ｘ）を直ちに計算することができるようになる。
０.3，３：０.5，８：−０.2｝」の場合には、 ｇ（ｘ）＝Ｗ0＋（Ｗ1 〔１〕＊ｘ〔１〕＋Ｗ2 〔１〕
＊ｘ〔１〕＊ｘ〔１〕）＋（Ｗ1 〔３〕＊ｘ〔３〕＋Ｗ
2 〔３〕＊ｘ〔３〕＊ｘ〔３〕）＋（Ｗ1 〔８〕＊ｘ
〔８〕＋Ｗ2 〔８〕＊ｘ〔８〕＊ｘ〔８〕）＋Ｗ3
〔１，３〕＊ｘ〔１〕＊ｘ〔３〕＋Ｗ3 〔１，８〕＊ｘ
〔１〕＊ｘ〔８〕＋Ｗ3 〔３，８〕＊ｘ〔３〕＊ｘ
〔８〕 によりｇ（ｘ）が求められることになるので、判定手段
１５は、この式に含まれる１０個の係数を記憶手段１３
から読み出し、「ｘ〔１〕＝０.3，ｘ〔３〕＝０.5，ｘ
〔８〕＝−０.2」として、この式の計算を行うことで、
ｇ（ｘ）を直ちに計算することができるようになる。
【００６３】図６に、本実施形態例の処理フローを図示
する。図中の左側に示す処理フローが算出手段１１の実
行する処理を示しており、図中の右側に示す処理フロー
が判定手段１５の実行する処理を示している。
する。図中の左側に示す処理フローが算出手段１１の実
行する処理を示しており、図中の右側に示す処理フロー
が判定手段１５の実行する処理を示している。
【００６４】ここで、この処理フローでは、すべてのベ
クトルの成分が０と１しか取らないことを想定してい
る。
クトルの成分が０と１しか取らないことを想定してい
る。
【００６５】この処理フローに示すように、算出手段１
１は、分類処理に入る前の前処理要求が発行されると、
図４中の左側の処理フローに示すように、すべてのｚi
を調べて、上述の〔数４〕式に従って、Ｗ1 ' 〔ｈ〕と
Ｗ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，
ｋ〕が指定されたときに、対応する係数が直ちに取り出
せるようにと記憶手段１３に保存する処理を行う。
１は、分類処理に入る前の前処理要求が発行されると、
図４中の左側の処理フローに示すように、すべてのｚi
を調べて、上述の〔数４〕式に従って、Ｗ1 ' 〔ｈ〕と
Ｗ3 〔ｈ，ｋ〕とをあらかじめ計算し、〔ｈ〕や〔ｈ，
ｋ〕が指定されたときに、対応する係数が直ちに取り出
せるようにと記憶手段１３に保存する処理を行う。
【００６６】一方、判定手段１５は、分類要求が発行さ
れると、図４中の右側の処理フローに示すように、先ず
最初に、ステップ１０で、分類要求の入力ベクトルを受
け取り、続くステップ１１で、記憶手段１３から、入力
ベクトルの持つ非ゼロ要素の指す係数を取り出す。
れると、図４中の右側の処理フローに示すように、先ず
最初に、ステップ１０で、分類要求の入力ベクトルを受
け取り、続くステップ１１で、記憶手段１３から、入力
ベクトルの持つ非ゼロ要素の指す係数を取り出す。
【００６７】続いて、ステップ１２で、その取り出した
係数に従って決定関数ｇ（ｘ）を計算し、続くステップ
１３で、その計算した決定関数ｇ（ｘ）の値の符号に従
って、入力ベクトルの属するクラスを決定して、分類結
果ファイル３にその決定結果を格納して、処理を終了す
る。
係数に従って決定関数ｇ（ｘ）を計算し、続くステップ
１３で、その計算した決定関数ｇ（ｘ）の値の符号に従
って、入力ベクトルの属するクラスを決定して、分類結
果ファイル３にその決定結果を格納して、処理を終了す
る。
【００６８】このようにして、本実施形態例に従う場
合、分類要求の入力ベクトルが与えられると、数個から
せいぜい数百個の定数を足して行くだけで決定関数ｇ
（ｘ）を計算できるようになることから、きわめて高速
に入力ベクトルの属するクラスを決定できるようにな
る。
合、分類要求の入力ベクトルが与えられると、数個から
せいぜい数百個の定数を足して行くだけで決定関数ｇ
（ｘ）を計算できるようになることから、きわめて高速
に入力ベクトルの属するクラスを決定できるようにな
る。
【００６９】以上に説明した例では、２次の多項式カー
ネルを想定したが、３次以上の多項式カーネルの場合に
も、同様に式を成分ごとに展開して各属性および属性の
積に対する係数を求めることができることは言うまでも
ない。
ネルを想定したが、３次以上の多項式カーネルの場合に
も、同様に式を成分ごとに展開して各属性および属性の
積に対する係数を求めることができることは言うまでも
ない。
【００７０】上述したように、算出手段１１は、定数ベ
クトルｚi と定数ωi と定数ｂとから各属性の係数Ｗi
を計算する。しかし、この方法では、内積を含む式を成
分ごとに展開するため、係数の表が膨大な数にのぼり、
大規模な記憶装置（記憶手段１３）を必要とするという
問題が発生する。
クトルｚi と定数ωi と定数ｂとから各属性の係数Ｗi
を計算する。しかし、この方法では、内積を含む式を成
分ごとに展開するため、係数の表が膨大な数にのぼり、
大規模な記憶装置（記憶手段１３）を必要とするという
問題が発生する。
【００７１】図１に示す削除手段１２は、この問題を緩
和するために用意されるものである。
和するために用意されるものである。
【００７２】すなわち、削除手段１２は、すべてのベク
トルの成分が０と１しか取らない場合で説明するなら
ば、各属性ｈについて、ｘ［ｈ］にかかわる係数Ｗ1 '
〔ｈ〕、Ｗ3 ［ｈ，ｋ］、Ｗ3 ［ｋ，ｈ］の大きさを評
価する関数Ｅ（ｈ）を用いて、この属性を採用するのか
削除してよいのかを判断する。たとえば、この関数Ｅ
（ｈ）として、Ｗ1 ' ［ｈ］、Ｗ3 ［ｈ，ｋ］、Ｗ
3 ［ｋ，ｈ］の絶対値の最大値や、絶対値の和、あるい
は、二乗和などを利用することができる。
トルの成分が０と１しか取らない場合で説明するなら
ば、各属性ｈについて、ｘ［ｈ］にかかわる係数Ｗ1 '
〔ｈ〕、Ｗ3 ［ｈ，ｋ］、Ｗ3 ［ｋ，ｈ］の大きさを評
価する関数Ｅ（ｈ）を用いて、この属性を採用するのか
削除してよいのかを判断する。たとえば、この関数Ｅ
（ｈ）として、Ｗ1 ' ［ｈ］、Ｗ3 ［ｈ，ｋ］、Ｗ
3 ［ｋ，ｈ］の絶対値の最大値や、絶対値の和、あるい
は、二乗和などを利用することができる。
【００７３】そして、削除手段１２は、Ｅ（ｈ）がある
閾値θ未満の属性をすべてｇ（ｘ）から削除した場合
に、どの程度成績が下がるのかを調べる。たとえば、学
習用データに対する成績が低下しない範囲でθをできる
限り大きくすることで、沢山の属性を削除することが可
能である。
閾値θ未満の属性をすべてｇ（ｘ）から削除した場合
に、どの程度成績が下がるのかを調べる。たとえば、学
習用データに対する成績が低下しない範囲でθをできる
限り大きくすることで、沢山の属性を削除することが可
能である。
【００７４】このようにして、削除手段１２を備えるよ
うにすると、算出手段１１の算出した係数の中に含まれ
る不要な係数を削除することができるようになること
で、記憶手段１３の規模を小さなものにできるようにな
る。
うにすると、算出手段１１の算出した係数の中に含まれ
る不要な係数を削除することができるようになること
で、記憶手段１３の規模を小さなものにできるようにな
る。
【００７５】図１に示した再学習手段１４は、削除手段
１２が不要な属性を削除したあとに、選ばれた属性だけ
を用いてもう一度決定関数ｇ（ｘ）を学習するのに用い
られる。
１２が不要な属性を削除したあとに、選ばれた属性だけ
を用いてもう一度決定関数ｇ（ｘ）を学習するのに用い
られる。
【００７６】再学習に用いる装置は、最初の学習に用い
た装置と同じでも、違っていてもかまわない。たとえ
ば、最初の学習では２次のカーネルを用い、再学習では
ガウシアン・カーネルを用いてもよいのである。
た装置と同じでも、違っていてもかまわない。たとえ
ば、最初の学習では２次のカーネルを用い、再学習では
ガウシアン・カーネルを用いてもよいのである。
【００７７】余分な属性が削除されることにより、最初
の属性での学習結果を上回る成績が上がることがある。
また、すべての属性を用いた場合と比べて、定数ベクト
ルの数が少なくてすむことが多い。特にガウシアン・カ
ーネルや高次の多項式などのように、成分による展開が
困難なカーネルの場合、もとの定義式にしたがって計算
するしかないが、この場合、定数ベクトルの数が減れ
ば、それに比例して計算時間が短縮されるため、とくに
有効である。
の属性での学習結果を上回る成績が上がることがある。
また、すべての属性を用いた場合と比べて、定数ベクト
ルの数が少なくてすむことが多い。特にガウシアン・カ
ーネルや高次の多項式などのように、成分による展開が
困難なカーネルの場合、もとの定義式にしたがって計算
するしかないが、この場合、定数ベクトルの数が減れ
ば、それに比例して計算時間が短縮されるため、とくに
有効である。
【００７８】
【実施例】図７に、本発明の一実施例を図示する。
【００７９】図中、１は図１に示した学習用データファ
イル、２は図１に示した分類データファイル、３は図１
に示した分類結果ファイル、１００は学習装置、２００
は係数決定装置、３００は不要属性削除装置、４００は
記憶装置、５００は再学習装置、６００は判定処理装置
である。
イル、２は図１に示した分類データファイル、３は図１
に示した分類結果ファイル、１００は学習装置、２００
は係数決定装置、３００は不要属性削除装置、４００は
記憶装置、５００は再学習装置、６００は判定処理装置
である。
【００８０】学習用データファイル１に格納される学習
用データには、学習に用いるデータの特徴ベクトルｘi
と、その正しい分類ｙi ＝±１とが与えられている。こ
の学習用データをサポート・ベクトル・マシンなどの学
習装置１００に与えることにより、まず、オリジナルの
決定関数ｇ（ｘ）が得られる。
用データには、学習に用いるデータの特徴ベクトルｘi
と、その正しい分類ｙi ＝±１とが与えられている。こ
の学習用データをサポート・ベクトル・マシンなどの学
習装置１００に与えることにより、まず、オリジナルの
決定関数ｇ（ｘ）が得られる。
【００８１】学習装置１００に、たとえば２次のカーネ
ルを用いると、係数決定装置２００は、決定関数ｇ
（ｘ）をｘの成分で展開したときの係数Ｗi を出力す
る。この時点で実行に必要なメモリなどに問題がなけれ
ば、判定処理装置６００は、展開して得られた係数をそ
のまま用いることになる。
ルを用いると、係数決定装置２００は、決定関数ｇ
（ｘ）をｘの成分で展開したときの係数Ｗi を出力す
る。この時点で実行に必要なメモリなどに問題がなけれ
ば、判定処理装置６００は、展開して得られた係数をそ
のまま用いることになる。
【００８２】一方、メモリ不足などで記憶装置４００に
係数をすべて保存しておくことができない場合などに
は、不要属性削除装置３００により、判定に与える影響
の少ない属性を削除していく。このとき、展開した決定
関数ｇ（ｘ）の各属性（成分）ｘ［ｈ］は一般に複数の
項に含まれるため、それらすべての係数を考慮して判断
しなければならない。
係数をすべて保存しておくことができない場合などに
は、不要属性削除装置３００により、判定に与える影響
の少ない属性を削除していく。このとき、展開した決定
関数ｇ（ｘ）の各属性（成分）ｘ［ｈ］は一般に複数の
項に含まれるため、それらすべての係数を考慮して判断
しなければならない。
【００８３】ひとつの方法として、それらの係数の絶対
値の最大値を基準とする方法を用いる。これ以外にも、
たとえば、係数の絶対値の和や平方和など、いくつもの
評価関数を利用することが考えられる。
値の最大値を基準とする方法を用いる。これ以外にも、
たとえば、係数の絶対値の和や平方和など、いくつもの
評価関数を利用することが考えられる。
【００８４】いずれにせよ、その評価関数の値が小さい
属性から順に削除していって、学習用データに対する判
定結果が変化しない限り属性を削除していくことによ
り、結果に影響を与えない単純化が可能になる。
属性から順に削除していって、学習用データに対する判
定結果が変化しない限り属性を削除していくことによ
り、結果に影響を与えない単純化が可能になる。
【００８５】実行環境次第では、成績が若干低下して
も、メモリを削減する必要がある場合もあるので、学習
用データに対する成績とメモリ使用量との二つの評価基
準を合わせて評価し、両方の要求を適度に満たすところ
で打ち切ってもよい。
も、メモリを削減する必要がある場合もあるので、学習
用データに対する成績とメモリ使用量との二つの評価基
準を合わせて評価し、両方の要求を適度に満たすところ
で打ち切ってもよい。
【００８６】実際には、少しずつ削っていく方法は効率
が悪いので、２分法など、適当な高速探索方法でどれく
らいの値までの属性を捨てるかを決定することが可能で
ある。
が悪いので、２分法など、適当な高速探索方法でどれく
らいの値までの属性を捨てるかを決定することが可能で
ある。
【００８７】これで成績に影響の少ない属性を削除し、
使用メモリ量を削減することができるようになる。使用
メモリ量の削減に加えて、計算に必要な属性の数が減る
ことで、処理速度がさらに向上する。この段階で、判定
処理装置６００に処理を渡してもよい。
使用メモリ量を削減することができるようになる。使用
メモリ量の削減に加えて、計算に必要な属性の数が減る
ことで、処理速度がさらに向上する。この段階で、判定
処理装置６００に処理を渡してもよい。
【００８８】以上により、不要な属性が分かったので、
これで再学習装置５００により再学習を行なうこともで
きる。サポート・ベクトル・マシンは、不要な属性がか
なり多い場合でも従来手法に比べれば良好な成績を納め
ているが、データ次第では、余分な属性のせいで成績が
下がっている場合がある。そのようなケースでは、有効
な属性だけに絞って再学習することによって、成績が向
上する場合がある。
これで再学習装置５００により再学習を行なうこともで
きる。サポート・ベクトル・マシンは、不要な属性がか
なり多い場合でも従来手法に比べれば良好な成績を納め
ているが、データ次第では、余分な属性のせいで成績が
下がっている場合がある。そのようなケースでは、有効
な属性だけに絞って再学習することによって、成績が向
上する場合がある。
【００８９】その場合は、再学習の結果を判定処理装置
６００で利用する方が好ましい。再学習を再度２次のカ
ーネルで行なった場合などには、係数決定以降の処理を
もう一度行なうことができる。
６００で利用する方が好ましい。再学習を再度２次のカ
ーネルで行なった場合などには、係数決定以降の処理を
もう一度行なうことができる。
【００９０】再学習にガウシアン・カーネルのように展
開の困難なカーネル関数を用いても、すべての属性を用
いた場合に比べて定数ベクトルの数ｍが減る効果があ
る。属性の削減と再学習とを交互に繰り返すことによ
り、場合によっては大幅に属性や定数ベクトルの数、処
理時間を減らすことができる。
開の困難なカーネル関数を用いても、すべての属性を用
いた場合に比べて定数ベクトルの数ｍが減る効果があ
る。属性の削減と再学習とを交互に繰り返すことによ
り、場合によっては大幅に属性や定数ベクトルの数、処
理時間を減らすことができる。
【００９１】
【発明の効果】以上説明したように、本発明によれば、
自然言語処理システム、画像処理システム、音声認識シ
ステムなどにおいて、単語列、画像、音声などを複数の
クラスに分類する場合に、実行時に何十万もの内積計算
を行なうのではなく、ごくわずかの積和計算あるいは単
なる足し算で等価な計算を行なうことができるようにな
る。
自然言語処理システム、画像処理システム、音声認識シ
ステムなどにおいて、単語列、画像、音声などを複数の
クラスに分類する場合に、実行時に何十万もの内積計算
を行なうのではなく、ごくわずかの積和計算あるいは単
なる足し算で等価な計算を行なうことができるようにな
る。
【００９２】さらに、係数の小さい属性を削除すること
で、メモリを削減したり、分類精度を向上させたり、処
理速度をさらに向上させることができるようになる。
で、メモリを削減したり、分類精度を向上させたり、処
理速度をさらに向上させることができるようになる。
【図１】本発明の一実施形態例である。
【図２】係数計算アルゴリズムの説明図である。
【図３】決定関数の算出処理の説明図である。
【図４】決定関数の算出処理の説明図である。
【図５】係数計算アルゴリズムの説明図である。
【図６】本発明の実行する処理フローの一実施形態例で
ある。
ある。
【図７】本発明の一実施例である。
１ 学習用データファイル
２ 分類データファイル
３ 分類結果ファイル
１０ 学習手段
１１ 算出手段
１２ 削除手段
１３ 記憶手段
１４ 再学習手段
１５ 判定手段
１６ 取得手段
Claims (9)
- 【請求項１】 入力ベクトルと学習用データにより得ら
れた定数ベクトルとの内積の関数となる多項式の値を算
出することで、入力ベクトルの属するクラスを判定する
分類装置において、 上記多項式を入力ベクトルの成分ごとに展開するときの
各成分の係数値を記憶する記憶手段と、 上記記憶手段を検索することで、入力ベクトルの持つ非
ゼロ値成分の指す係数値を取得する取得手段と、 上記取得手段の取得した係数値を使って上記多項式の値
を算出することで、入力ベクトルの属するクラスを判定
する判定手段とを備えることを、 特徴とする分類装置。 - 【請求項２】 請求項１記載の分類装置において、 上記多項式を入力ベクトルの成分ごとに展開するときの
各成分の係数値を算出して、上記記憶手段に保存する算
出手段を備えることを、 特徴とする分類装置。 - 【請求項３】 請求項２記載の分類装置において、 上記算出手段の算出した係数値の大きさを評価すること
で、不要な成分を削除する削除手段を備えることを、 特徴とする分類装置。 - 【請求項４】 請求項２記載の分類装置において、 上記算出手段の算出した係数値の大きさを評価すること
で、不要な成分を削除する削除手段と、 上記不要な成分の削除された学習用データを使って上記
多項式を再学習する再学習手段とを備えることを、 特徴とする分類装置。 - 【請求項５】 入力ベクトルと学習用データにより得ら
れた定数ベクトルとの内積を変数に持つ多項式の値を算
出することで、入力ベクトルの属するクラスを判定する
分類方法において、 上記多項式を入力ベクトルの成分ごとに展開するときの
各成分の係数値を算出して、記憶装置に保存する過程
と、 上記記憶装置を検索することで、入力ベクトルの持つ非
ゼロ値成分の指す係数値を取得する過程と、 上記取得した係数値を使って上記多項式の値を算出する
ことで、入力ベクトルの属するクラスを判定する過程と
を備えることを、 特徴とする分類方法。 - 【請求項６】 請求項５記載の分類方法において、 上記保存する過程では、算出した係数値の大きさを評価
することで不要な成分を削除し、その不要な成分を削除
した係数値を上記記憶装置に保存することを、 特徴とする分類方法。 - 【請求項７】 請求項５記載の分類方法において、 上記算出した係数値の大きさを評価することで、不要な
成分を削除する過程と、 上記不要な成分の削除された学習用データを使って上記
多項式を再学習する過程とを備えることを、 特徴とする分類方法。 - 【請求項８】 請求項５ないし７のいずれか１項に記載
の分類方法の実現に用いられる処理をコンピュータに実
行させるための分類プログラム。 - 【請求項９】 請求項５ないし７のいずれか１項に記載
の分類方法の実現に用いられる処理をコンピュータに実
行させるためのプログラムを記録した分類プログラムの
記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002136536A JP3889663B2 (ja) | 2002-05-13 | 2002-05-13 | 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002136536A JP3889663B2 (ja) | 2002-05-13 | 2002-05-13 | 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003331254A true JP2003331254A (ja) | 2003-11-21 |
| JP3889663B2 JP3889663B2 (ja) | 2007-03-07 |
Family
ID=29698526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002136536A Expired - Lifetime JP3889663B2 (ja) | 2002-05-13 | 2002-05-13 | 分類装置、分類方法、分類プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3889663B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008524675A (ja) * | 2004-12-17 | 2008-07-10 | ザ ユニバーシティー オブ クイーンズランド | 判別器のための特徴削減方法 |
| JP2012093976A (ja) * | 2010-10-27 | 2012-05-17 | Internatl Business Mach Corp <Ibm> | クラスタリング・システム、方法及びプログラム |
| JP7361759B2 (ja) | 2018-08-15 | 2023-10-16 | セールスフォース インコーポレイテッド | 機械学習システムのためのデータのトレーニングセットでの後知恵バイアスに関連付けられているデータの包含のインスタンスの削減 |
-
2002
- 2002-05-13 JP JP2002136536A patent/JP3889663B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008524675A (ja) * | 2004-12-17 | 2008-07-10 | ザ ユニバーシティー オブ クイーンズランド | 判別器のための特徴削減方法 |
| JP2012093976A (ja) * | 2010-10-27 | 2012-05-17 | Internatl Business Mach Corp <Ibm> | クラスタリング・システム、方法及びプログラム |
| US8805841B2 (en) | 2010-10-27 | 2014-08-12 | International Business Machines Corporation | Clustering system, method and program |
| JP7361759B2 (ja) | 2018-08-15 | 2023-10-16 | セールスフォース インコーポレイテッド | 機械学習システムのためのデータのトレーニングセットでの後知恵バイアスに関連付けられているデータの包含のインスタンスの削減 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3889663B2 (ja) | 2007-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388651B (zh) | 一种基于图核和卷积神经网络的文本分类方法 | |
| CN109189925B (zh) | 基于点互信息的词向量模型和基于cnn的文本分类方法 | |
| JP5744228B2 (ja) | インターネットにおける有害情報の遮断方法と装置 | |
| JPH10187754A (ja) | ドキュメント分類装置及び方法 | |
| JP2005158010A (ja) | 分類評価装置・方法及びプログラム | |
| CN111832282B (zh) | 融合外部知识的bert模型的微调方法、装置及计算机设备 | |
| CN110688452B (zh) | 一种文本语义相似度评估方法、系统、介质和设备 | |
| JP6816481B2 (ja) | 削減条件特定方法、削減条件特定プログラム及び削減条件特定装置 | |
| CN110210028A (zh) | 针对语音转译文本的领域特征词提取方法、装置、设备及介质 | |
| JP6738769B2 (ja) | 文ペア分類装置、文ペア分類学習装置、方法、及びプログラム | |
| WO2020199595A1 (zh) | 基于词袋模型的长文本分类方法、装置、计算机设备及存储介质 | |
| CN110532388B (zh) | 文本聚类的方法、设备和存储介质 | |
| CN112632984A (zh) | 基于描述文本词频的图模型移动应用分类方法 | |
| CN112231482A (zh) | 基于可伸缩表示学习的长短文本分类方法 | |
| Niyozmatova et al. | Classification based on decision trees and neural networks | |
| CN111723203A (zh) | 一种基于终生学习的文本分类方法 | |
| CN110347853B (zh) | 一种基于循环神经网络的图像哈希码生成方法 | |
| CN110619046A (zh) | 一种基于故障跟踪表的故障识别方法 | |
| CN111091001B (zh) | 一种词语的词向量的生成方法、装置及设备 | |
| CN111737467B (zh) | 一种基于分段卷积神经网络的对象级情感分类方法 | |
| AU2021279033A1 (en) | Method, non-transitory computer-readable storage medium, and apparatus for searching an image database | |
| CN112765357A (zh) | 文本分类方法、装置和电子设备 | |
| CN112445914A (zh) | 文本分类方法、装置、计算机设备和介质 | |
| CN111767724A (zh) | 一种文本相似度计算方法及系统 | |
| JP3178406B2 (ja) | 階層型文章分類装置およびプログラムを記録した機械読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060913 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3889663 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131208 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |