JP2003527686A

JP2003527686A - 事物を多数のクラスから１つまたは複数のクラスのメンバーとして分類する方法

Info

Publication number: JP2003527686A
Application number: JP2001567422A
Authority: JP
Inventors: チェン，ユアン，ヤン
Original assignee: チェン，ユアン，ヤン
Priority date: 2000-03-16
Filing date: 2001-03-15
Publication date: 2003-09-16
Also published as: EP1279109A1; CN1423781A; WO2001069410A1; US20020010691A1; CA2402916A1; MXPA02009001A; AU2001259025A1

Abstract

(57)【要約】並列分散処理を実行する機構および方法を開示する。多数のノードが荷重結合により結び付けられている（図１および１２）。荷重結合は関連ノード（３０）の尤度関数に基づいて更新される。また、ノードへの入力はｔ‐ノルム（３０６）またはｔ‐コノルム関数を使用して統合され、出力は確率および信頼性測度（３０８）を表す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

本発明は一般的にはパターン分類および知識発見の問題を解決するためにファ
ジィ集合および統計理論を利用して統計的検証のファジィ分析（ＦＡＳＥ）を実
施する機構および方法に関する。ＦＡＳＥのいくつかの特徴は人間の判断のそれ
に類似している。これはデータ情報から学習し、信頼性の知識にそれらを組み込
み、信頼性を新しい情報に更新する。また、本発明はプロージブルニューラルネ
ットワーク（ＰＬＡＮＮ）と呼ばれるものに関する。

【０００２】

【従来の技術】

アナログ並列分散マシン、またはニューラルネットワーク、は可能性、信頼性
および確率測度を含むファジイ理論を処理する。ファジィ理論がアナログマシン
に対して行うことはブール論理がデジタルコンピュータに対して行うことと同じ
である。ブール論理を使用すると、デジタルコンピュータを利用して定理の証明
、チェスの試合、または正確な規則や既知の規則を持つ他の多くのアプリケーシ
ョンを実行することができる。同様に、ファジィ理論に基づくと、アナログマシ
ンを用いて規則が本質的、不確定、または矛盾するものである、近似推量、妥当
推量および信頼性判断を行うことができる。ブール論理が特例またはデフォルト
であるのに対して、信頼性判断は可能性および信頼性測度によって表される。統
計的検証のファジィ分析（ＦＡＳＥ）はアナログ並列分散マシンによってより効
果的に処理することができる。さらに、ＦＡＳＥはファジィ／信頼性規則を抽出
することができるため、分散処理および記号処理へのリンクとしての役目を果た
すこともできる。

【０００３】より高い正確性およびより迅速なコンピュータ処理を提供するパターン分類の
ためのマシン学習アルゴリズムは絶えず探し求められている。しかし、有効なデ
ータ検証の非一貫性、属性により提供される不十分な情報、およびクラスの境界
のあいまいさのため、マシン学習アルゴリズム（および人間のエキスパート）は
常に正確な分類を行うとは限らない。特別な事例の分類における不確定性がある
場合、それを明確にするためさらに情報が必要なこともある。これは医療診断、貸付査定、および他の多くの適用例でよく発生する。

【０００４】したがって、データサンプルを保持せず新しい属性情報で信頼性を更新する方
法を有することが好ましい。そのような方法はコンピュータ処理に重い負担をか
けることなく追加検証（属性）を追加するメリットを提供する。現在の分類方法のもう１つの問題は単純ベイズ仮定と呼ばれる仮定の広範囲に
わたる採用である。更新したベイズ信頼性は、新しい属性は前の属性と独立であ
るという仮定または条件付き確率は推定できるという仮定のいずれかを必要とす
る属性値の重ね合わせに依存する。この仮定は一般的に真ではなく、新しい属性
が結果において適正より大きい影響を持つ原因になる。

【０００５】

【課題を解決するための手段】

これらの難問を克服するため、本発明は可能性測度に基づきファジィ集合理論
のｔ‐ノルム関数を使用して属性情報を統合する分類方法を提供する。その方法
をここに記載し、統計的検証のファジィ分析（ＦＡＳＥ）と呼ぶ。マシン学習プ
ロセスはトレーニングサンプルから母集団までの帰納的推論である推量とみなす
ことができる。ここで参考として取り入れられているY. Y. Chen, Bernoulli Tr
ials : From a Fuzzy Measure Point of View. J. Math. Anal. Appl., vol. 17
5, pp. 392-404, 1993およびY. Y. Chen, Statistical Inference based on the
Possibility and Belief Measures, Trans. Amer. Math. Soc., vol. 347, pp.
1855-1863, 1995に述べられているように、確率測度による帰納的信頼性よりも
可能性および信頼性測度による帰納的信頼性を評価する方がより有利である。

【０００６】ＦＡＳＥはいくつかの好ましい性質を持つ。それはノイズ耐性および不明な値
を処理できることであり、したがって多くの属性を検討できる。データの規模が
大きくなると多くのパターンは分離可能になるため、これは重要である。また、ＦＡＳＥは分類に加えて知識発見に対しても有利である。データから抽出した統計パターンは、順番にエキスパートシステムに対する命
題になる、信頼性の知識によって表すことができる。これらの命題は推論規則に
よって結びつけることができる。したがって、マシン学習からエキスパートシス
テムまで、ＦＡＳＥは帰納的推量から演繹的推量までの改良リンクを提供する。

【０００７】さらに、接続されているニューロンの尤度関数に基づいて更新される荷重結合
を含むプロージブルニューラルネットワーク（ＰＬＡＮＮ）が提供される。ニュ
ーロンへの入力はｔ‐コノルム関数に従って統合され、出力は可能性および信頼
性測度を表す。

【０００８】

【発明の実施の形態】

１．FASEの方法論および特性 Cをクラス変数にして、A_i,..., A_nを属性変数にし、Posを可能性測度にする。
Y. Y. Chen, Bernoulli Trials : From a Fuzzy Measure Point of View, J. Ma
th. Anal. Appl., Vol. 175, pp. 392-404, 1993で開発された統計的推論に基づ
き、前提の信頼性が情報を与えるものでない場合、

【０００９】

【数１】

【００１０】を得る。

【００１１】

【数２】

【００１２】は例がクラスＣに属する信頼性測度または確信度（ＣＦ）である。方程式（１）とベイズの式の違いは単に規格化定数の違いである。確率測度に
おける加法ノルム（積分）は１であり、可能性測度におけるsupノルムは１であ
る。クラス割り当てに関して、ベイズ分類器は最大可能性に再び等しくなる事後
確率の極大に基づく。マシン学習においては、トレーニングサンプルの制限および／または属性が多
数のため、複合確率Pr (A₁,..., A_n | C)はデータから直接推定されないことが
非常に多い。この問題は規模の問題に類似している。[i_l,..., i_k]が区分[1,...
, n]を形成している条件付き確率Pr (A_i | C)またはPr (A_i1..., A _ik | C)を別
々に推定した場合、これらを組み合わせる適切な操作が必要とされる。

【００１３】次にファジィ集合の論理積によく使用されるｔ‐ノルム関数の定義を与える。
ファジィ共通集合／ｔ‐ノルムは伝達性および連結性がある２項演算T : [0, 1]
× [0, 1]→[0, 1]であり、次の条件式(cf. [5])を満たす。

【００１４】

【数３】

【００１５】以下は文献で頻繁に使用されるｔ‐ノルムの例である。最小: M (a, b) ＝ min (a, b) 積: П (a, b) ＝ ab 有界差分: W (a, b) ＝ max (0, a + b-1) するとW≦П≦Mを得る。異なる属性関係に基づくと、異なる信頼性更新規則を得る。一般的には以下の
とおりである：

【００１６】

【数４】

【００１７】

【数５】

【００１８】はｔ‐ノルム操作である。A₁とA₂が独立である場合、

【００１９】

【数６】

【００２０】は積Пである（Y. Y. Chen, Bernoulli Trials : From a Fuzzy Measure Point
of View, J. Math. Anal. Appl., Vol. 175, pp. 392-404, 1993）。そしてA₁と
A₂が完全に独立である場合、たとえばPr (A₁| A₂)＝1かつPr (A₂| A₂)＝1である
場合、以下の式を得る:

【００２１】

【数７】

【００２２】 ^は最小化操作である。これはPos (C| A₁, A₂)＝Pos (C| A₁)＝Pos (C| A₂)であ
るため成り立つ。ここで注意するのはA₁、A₂が互いの関数である場合、これらは
完全に従属であり、したがって検証が無効になることである。属性間の関係が一般的に不明であるとき、ｔ‐ノルムはПとMの間で信頼性更
新のために用いることができる。したがって、実際の従属関係を知る必要がなく
、属性間の従属度を変化させる補正をより厳密に行うｔ‐ノルムを選択すること
ができる。簡単化のため、対象を以下のような一般的な

【００２３】

【数８】

【００２４】を持つすべての属性を統合するモデルにのみ限定する。：

【００２５】

【数９】

【００２６】たとえば

【００２７】

【数１０】

【００２８】が積Пと等しい場合など、特例としてこれは単純ベイズ分類器を含む。Y. Y. Ch
en, Statistical Inference based on the Possibility and Belief Measures,
Trans. Amer. Math. Soc., vol. 347, pp. 1855-1863, 1995に示されているとお
り、積規則は検証の重みの追加を意味している。属性が従属である場合、これは
検証の重みを過度に補正する。ＦＡＳＥの特徴のいくつかは以下のとおりである：（ａ）任意のｔ‐ノルムについて、属性Aiが情報を与えるものでない場合、たと
えばPos (C＝c_j| A_i)＝1,∀jである場合：

【００２９】

【数１１】

【００３０】これはT (a, 1)＝aであるため成り立つ。方程式（６）は情報を与えない属性が分類全体のいかなる検証にも寄与してい
ないことを示し、これは例A_iが不明であるかA_iが定数であるときに発生する。同
様にA_iがホワイトノイズである場合、

【００３１】

【数１２】

【００３２】であるため、これは分類にわずかな情報しか提供しない。したがって、ＦＡＳＥ
にはノイズ耐性がある。（ｂ）任意のｔ‐ノルムについて、いくつかのiに対しPos (C| A_i)＝0である
場合：

【００３３】

【数１３】

【００３４】これはT (a, 0)＝0であるため成り立つ。方程式（７）は信頼性更新プロセスがより妥当性が低いクラス／仮説、たとえ
ば

【００３５】

【数１４】

【００３６】を削除することによって検証に基づいていることを示す。このプロセスを生き残
ったものが真となる。（ｃ）２項分類について、Bel (C＝ c_j| A₁) ＝aかつBel (C≠ c_i | A₂)＝bか
つ0 ＜ b ≦ aである場合：

【００３７】

【数１５】

【００３８】 (a-b)/ (1-b)≦aであれば、方程式（８）は矛盾する検証は前の信頼性に対す
る我々の確信度を下げることを示す。ただし、コンピュータ処理は使用されたｔ
‐ノルムに同じく関係しない。検証が同じ方向性を示す場合、たとえばBel (C＝
c_j| A_i) ＝aかつBel (C＝c_j | A₂)＝b、0 ＜ a, b≦1である場合、我々の確信度
は上がる。M (最小)とП (積)の間のｔ‐ノルム関数に対する確信性測度Bel (C
＝c_j| A_i, A₂)の範囲はmax (a, b)からa+b-abまでである。ｔ‐ノルムが大きい
ほどそれが考慮される検証の重みは弱くなる。この性質はｔ‐ノルムの強度と呼
ぶことができる。

【００３９】したがって、我々が異なるｔ‐ノルムを用いて属性を組み合わせた場合、コン
ピュータ処理は互いに全く類似している。また、これは独立の仮定が成り立たな
いことが非常に多いにもかかわらず、単純ベイズ分類器が十分に機能できる理由
を説明する。２．プロージブルニューラルネットワーク人間の推量には、２つの思考モードがある：予想と尤度である。予想は将来の真の状態を計画または予測するために使用される。尤度は現在の
状態の真実性を判断するために使用される。２つの思考モードは排他的なもので
はなく、むしろ相互に作用し合っている。たとえば、判断を行うために我々は自
身の状況を認識する必要がある。確率測度と可能性測度のハイブリッドである、
これらの２つの思考モデルと相互に影響する統計的推論モデルはChen（1993）に
より議論された。

【００４０】マシン学習およびパターン分類における統計的推論とニューラルネットワーク
の間の関係は研究者の注目を少なからず集めてきた。前の結合はベイズ推論とい
う言葉で議論された（例はKononenko I. (1989) Bayesian Neural Networks, Bi
ological Cybernetics 61 : 361-370 ;およびMacKay D. J. C., A Practical Ba
yesian Framework for Backpropagation Networks. Neural Computation 4, 448
-472, 1992 ;またはVapnik V., Statistical Learning Theory, Wiley, N. Y.,
1998の統計的学習理論を参照）。ベイズニューラルネットワークはネットワーク
の荷重分散に前の信頼性を割り当てる必要がある。残念ながら、これは大規模ネ
ットワークのコンピュータ処理をほぼ不可能にする。統計的学習理論は推論の不
確実性測度を持たず、したがって変数の再学習なしに新しい情報を更新すること
はできない。

【００４１】本発明によれば、各変数Xには２つの明確な意味がある。１つはXの母集団分布
と考えるP (X)であり、もう１つは母集団に基づいたランダムサンプルPr (X)で
ある。母集団P (X)が未知である場合、これはファジィ変数またはファジィ関数
（Chen（1993）では定常変数または定常過程と呼ばれている）とみなすことがで
きる。サンプル統計に基づくと、P (X)の尤度を推定することができる。母集団
に可能性測度を使用する利点はこれが万能の空の前提を持つことであり、したが
ってベイズ推論のように前提が役目を持つとみなす必要はない。

【００４２】本発明によれば、Xはニューロンを表す２値変数である。すべての場合に、X＝ 1は発火しているニューロンを表し、X ＝ 0は静止して
いるニューロンを表す。ニューロンXとニューロンYの間の荷重結合は以下のとお
り与えられる：

【００４３】

【数１６】

【００４４】これは２つのニューロン間の相互情報量である。ニューロンのシナプスの重みを情報理論にリンクすることにはいくつかの利点
がある。まず、知識はシナプスの重みによって与えられる。また、情報とエネル
ギーに互換性がある。したがって、ニューロン学習は統計的推論である。統計的推論の観点から、結合された１組のニューロンのニューロン活動は２つ
の従属ランダム変数に対するBernoulli試行により与えられる。１つのランダム
変数のBernoulli試行はChen（1993）で議論されている。

【００４５】 P (X)＝θ₁、P (Y)＝θ₂、P (X, Y)＝θ₁₂かつg (θ₁, θ₂, θ₁₂)＝log (θ₁ ₂ /θ₁θ₂)とする。データx、yが与えられているω₁₂の尤度関数は

【００４６】

【数１７】

【００４７】これはファジィ集合理論の拡張原理に基づいている。x、y（重みω₁₂に基づく
）のメモリを持つシナプスは新しい情報x_t、y_tを受け取るとき、重みの尤度関数
は以下の尤度規則により更新される：

【００４８】

【数１８】

【００４９】当業者は（１１ａ）がHebbの規則を表すことを認識する。現在のニューラルネ
ットワーク研究はすべての様態の近似法を使用している。ベイズ推論は前の仮定
を必要とし、確立測度は変換のもとでスカラー不変量でない。方程式（１１ａ）
は並列分散コンピュータ処理マシンにおいてシナプスの重みを制御するように電
子機器を設計するために使用できる。データ分析について、ω₁₂の確信性測度は、Y. Y. Chen, Statistical Infere
nce based on the Possibility and Belief Measures, Trans. Amer. Math. Soc
., Vol. 347, pp. 1855 1863, 1995に述べられているように、α‐カット集合ま
たは１‐α尤度間隔により表される。これはトレーニングサンプルのサイズが小
さい場合にのみ必要である。サンプルのサイズが十分大きい場合、θ₁、θ₂およ
びθ₁₂の推定最大尤度から計算できるω₁₂の推定最大尤度は十分である。θ₁＝
Σ_i x_i/n, θ₂＝Σ_i y_i/n, θ₁₁＝Σ_i x_i y_i/nであるため、

【００５０】

【数１９】

【００５１】が得られる。（１１ａ）および（１１ｂ）の両方の方程式をプロージブルニューラルネット
ワーク（ＰＬＡＮＮ）で重みを更新するため使用してもよい。方程式（１１ｂ）
はデータ分析に使用される。方程式（１１ａ）は並列分散マシンまたはシミュレ
ーテッドニューラルネットワークで使用してもよい。図１で説明されているとお
り、方程式（９）からXとYが肯定的に関連している場合ω₁₂ > 0であり、XとYが
否定的に関連している場合ω₁₂＜0であり、XとYが統計的に独立である場合のみ
ω₁₂＝0であることがわかる。

【００５２】ニューロンXおよびニューロンYがほぼ独立である場合、たとえば

【００５３】

【数２０】

【００５４】である場合、ネットワーク全体のコンピュータ処理には影響しないため、これら
の結合は省略することができる。したがって最初完全に結合されていたネットワ
ークはトレーニング後いくつかの階層構造を持つまばらに結合されたネットワー
クにすることができる。ニューロンはエネルギーを節約するために荷重結合を解
放して、さらなる情報処理目的の荷重結合を増やすことができるため、このこと
は有利である。本発明に従うプロージブルニューラルネットワーク（ＰＬＡＮＮ）は相互情報
によって与えられた荷重結合を持つ完全に結合されたネットワークである。これ
は通常、回帰ネットワークと呼ばれる。

【００５５】荷重結合の対称性はネットワークの安定状態を保証する（Hopfield, J. J., L
earning Algorithm and Probability Distributions in Feed-Forward and Feed
-Back Networks, Proceedings at the National Academy of Science, U. S. A.
, 8429 8433 (1985)）。X_iはニューロンX_iに結合されておりX_iに対して発火する
ニューロン集団である。X_iの活性は以下の式によって与えられる。

【００５６】

【数２１】

【００５７】信号関数は決定論的または確率論的であることが可能であり、伝達関数はシグ
モイドまたはバイナリしきい値型が可能である。それぞれが異なる種類のマシン
を表す。本発明は、生物学的な脳により近いため、確率シグモイド関数に焦点を
あわせる。 Ackley, D. H., Hinton, G. E.およびT. J. Sejnowski, A Learning Algorith
m for Boltzmann, Cognitive Sci. 9, pp. 147-169 (1985)で述べられていると
おり、相乗活性を持つ確率シグモイドモデルはボルツマンマシンに対応する。し
かし、方程式（１１ａ）によってニューロンが受け取った各データ情報が自動的
にシナプスの重みに追加されるため、本発明のＰＬＡＮＮ学習アルゴリズムはボ
ルツマンマシンよりはるかに高速である。したがって、本発明のトレーニング方
法は生物学的なニューロンの活動をより正確にモデル化している。

【００５８】本発明は妥当推量を行う機能を持つ。この機能を持つニューラルネットワーク
が図２に示されている。上記のとおり、ニューラルネットワークは統計的検証の
ファジィ分析（ＦＡＳＥ）を使用している。図２からわかるように、示されてい
る実施形態は多数のクラスニューロン４に結合している多数の属性ニューロン２
を持つ、１層ニューラルネットワーク１である。属性ニューロン２はクラスニュ
ーロン４に荷重結合６で結合されている。それぞれのクラスニューロンは属性ニ
ューロン２からの入力を統合する。信号変換を行うとｔ‐コノルム関数はｔ‐ノ
ルムになり、したがってＦＡＳＥはｔ‐ノルムを使用して情報を統合する。

【００５９】統計的にクラスニューロンと独立である属性ニューロンはクラスニューロンに
対する荷重結合を持たない。したがって、統計的に独立なニューロンは特定のク
ラスに対するいかなる検証にも寄与しない。たとえば、図２では属性ニューロン
A₂とクラスニューロンC_iの間の結合はない。同様に属性ニューロンA₃とクラスニ
ューロンC₂の間の結合はない。クラスニューロン４に送られる信号は確率である。クラスニューロン４は発揮
重み８で相互結合されている。競合性のある性質のため、各クラスニューロンの
エネルギーは他のクラスニューロンの出力を弱める。確率間の差分は信頼性測度
である。したがって、２つのクラスニューロンが非常に類似した可能性測度を持
つ場合、信頼性測度は低い。低い信頼性エネルギーは実際に特定のクラスニュー
ロンが正しい出力である信頼性が低いことを表す。それに対して、１つのクラス
ニューロンの可能性測度が他のどのクラスニューロンよりもはるかに高い場合、
信頼性測度は高く、正しいクラスニューロンが選択されたことのより高い確信を
示す。

【００６０】図２の例では、属性ニューロン間の荷重結合は推定されていない。しかし、属
性間の真の関係は属性ニューロン間で異なる種類の抑制重みおよび発揮重みを持
ちうる。したがって、属性ニューロンのエネルギーは他の属性ニューロンのエネ
ルギーを相殺することもある。平均ｔ‐ノルムは最善を実行する。一般的に使用される単純ベイズ仮定では、すべての属性は相互に独立している
。したがって、属性ニューロン間に荷重結合は存在しない。このスキームのもと
では、クラスニューロンは過剰な情報／エネルギーを受け取り、信頼性はすぐに
０または１に近づく。属性ニューロン間の重みを考慮に入れると、属性ニューロ
ンの独立性がより正確に表されるため、ＦＡＳＥはより頑強厳密である。

【００６１】当業者は本発明の広範な適用範囲を認める。各出力ニューロン信号はファジィ
クラスであることも可能で、その意味は状況に依存する。分類に関する出力は可
能性および信頼性を意味する。予測に関する出力は確率を意味する。他の意味が
存在することも可能であることは好ましいことであり、さらなる研究を行えば発
見される。上記のとおり、人間の思考には２つのモードがある：予想および尤度である。
予想はフォワードニューラルネットワークでモデル化することができる。尤度は
バックワードニューラルネットワークを使用してモデル化することができる。好
ましくは、ニューラルネットワークは完全に結合されたネットワークであり、ネ
ットワークが逆方向または順方向のどちらに働くかはイベントのタイミングによ
って決定される。フォワードニューラルネットワークではデータ情報により強化
されないエネルギーは分散し、確率測度は小さい。バックワードニューラルネッ
トワークはエネルギーを受け取るため、可能性は大きい。いくつかのニューロン
がほぼ同程度の可能性を持つ場合、これらの発揮結合はこれらの活動を減少させ
、より高いエネルギーレベルを持つニューロンのみが活性のままになる。

【００６２】図３はイメージ認識を実施するニューラルネットワークを示す。ネットワーク
１０はノードまたはニューロンの第１層１２および第２層１４を備えている。ま
た、このネットワークは第３層１６を有する。この説明図では、ネットワークは
下位イメージ情報を入力層１２で受け取る。入力ノードは第２層ニューロン１４
に点火し、グランマおよびグランパが最高位の統合入力を受け取る。ただし、可
能性値が非常に近いため、イメージがどちらか一方を表す信頼性は非常に小さい
。したがって、ネットワークはイメージがグランマまたはグランパのものである
ことを認識するが、どちらであるかを認識していることは確信していない。ただ
し、この情報は「オールドパーソン」１６を表すニューロンの非常に高い可能性
および信頼性の値にさらに統合される。

【００６３】したがって、属性ニューロンがイメージ認識ネットワークに対する入力を表す
場合、下位イメージは最終的にオールドパーソンとして分類することができる。
これはフォワードネットワークの例である。フォワードネットワークはバックワ
ードネットワークと相互作用してもよい。このような設計はART（Grossberg S.,
The Adaptive Brain, 2 Vol. Amsterdam : Elsevier（1987））で議論されてい
る。このタイプのネットワークは確率と可能性の相互作用として解釈することが
可能であり、Chen（1993）で議論されているように、妥当性測度になる。

【００６４】本発明に従うプロージブルニューラルネットワークは図４に示されているよう
に荷重結合を計算および更新する。データは手順２０でネットワークに入力され
る。ニューロンXおよびYを結合する特定の荷重結合に対して、３つの尤度計算が
実行される。尤度関数は上記の方程式（１０）に従って処理される。尤度関数は
パラメータθ₁ 22、パラメータθ₂ 24、およびパラメータθ₁₂ 26に対して計算
される。次に、荷重結合の尤度関数は対数変換および最適化２８により処理され
る。最後に、上記の尤度規則を使用して荷重結合３０のメモリを更新する。

【００６５】次にニューラルネットワークのデータコーディングを説明する。各ニューロン
を特定のデータ値が存在するかどうかを表す指標関数にする。データ値間の関係
に関する情報があれば、多くのネットワークアーキテクチャをニューロン結合に
追加することができる。変数がkカテゴリ尺度で離散的である場合、これは通常
のバイナリコーティングスキームであるX＝ (X₁, X₂,..., X_k)により表すことが
できる。ただし、これらのカテゴリが互いに排他的である場合、抑制結合は競合性を持
たせるため任意の１組のニューロンに割り当てられる。変数が順序尺度である場
合、近接ニューロン間に弱い抑制結合、遠隔ニューロン間に強い抑制結合を使用
して適切な順序でX₁, X₂,..., X_kを配置する。変数が連続的である場合、X₁, X₂ ,..., X_kは適切な順序の間隔または破棄の指標関数である。隣接ニューロン間に
発揮結合、遠隔ニューロンに抑制結合を割り当てることができる。優れた候補の
１つはコホーネンネットワークアーキテクチャである。連続変数はある程度の精
度での測定のみが可能であるため、有限の長さを持つバイナリベクトルで十分で
ある。ファジィのカテゴリは通常は順序尺度であるため、この手段はファジィ集
合コーディングも対象とする。

【００６６】パターン分類の問題に関しては、その解決方法は競合的なクラスネットワーク
と、属性ネットワークを結びつけている。トレーニングサンプルのクラスラベル
に提供されている情報により、それらのネットワークは教師付き学習、半管理学
習、または単純な教師なし学習を実施することができる。分類スキームの種類を
考慮することもできる。クラス変数は連続的であることが可能あり、クラスカテ
ゴリはクリスプまたはファジィであることが可能である。クラスニューロン間の
荷重結合を設計することにより、クラスを階層型にしたり、非関連型に配置する
ことができる。

【００６７】天気予報や株式相場予想などの問題の予測について、ＰＬＡＮＮは不確実性測
度を用いて予想を行う。これは常に学習を続けるため、常に予想が更新され続け
る。ニューロン学習メカニズムは普遍的であることの認識が重要である。妥当推量
プロセスは知覚レベルの表層プロセスである。ロボット学習の問題に関して、Ｐ
ＬＡＮＮプロセスはロボットの学習プロセスを高速化する。ＰＬＡＮＮは知られている最速のマシン学習プロセスである。これは重みを更
新する正確な公式を有し、コンピュータ処理は一次統計量および二次統計量のみ
を含む。

【００６８】ＰＬＡＮＮは主に大規模データのコンピュータ処理に使用される。（ｉ）並列分散マシンのＰＬＡＮＮトレーニング本発明に従う並列分散マシンは以下のように構築されうる。並列分散マシンは
多くの処理ユニットで構築されており、方程式（１１ａ）に記述されているとお
りに重みを更新する処理を行う装置である。マシンは加法的活性関数を使用するようにプログラムされている。トレーニン
グデータはニューラルネットワークマシンに入力される。重みは各処理済みデー
タに更新される。データは要望のとおりにマシンが機能するまで入力される。最
後に、一度マシンが要望のとおりに機能すると、マシンが固有のタスクの実行を
継続するように重みは凍結される。代替方法として、相互学習プロセスの重みを
連続的に更新できるようにすることも可能である。

【００６９】（ｉｉ）シミュレーテッドニューラルネットワークのＰＬＡＮＮトレーニング本発明に従うシミュレーテッドニューラルネットワークは以下のように構築さ
れうる。(X₁, X₂,..., X_N)がネットワーク内のニューロンを表すとし、ω_ijがX_i とX_jの間の荷重結合であるとする。重みはランダムに割り当ててもよい。データ
が入力され、一次統計量および二次統計量が計算される。統計情報はレジスタに
記録される。データレコードの規模が大きい場合、相互情報量が低い、より小さ
い規模のデータに分割してもよい。次に小規模データに対して別々に統計量が計
算される。さらにデータを入力してレジスタに格納することもできる。重みω_ij はデータ入力からの統計量を方程式（１１）に基づいて処理することによって定
期的に更新される。その後パフォーマンスをテストすることができる。

【００７０】例として、犬のほえ声データを考える。速度が遅いトレーニングでは、それに
よる犬のほえ声データは荷重結合情報なしに繰り返し入力されてもよい。より多
くのデータが入力されると重みは発達していく。速度が速いトレーニングでは、
荷重結合を持つ犬のほえ声データがネットワークに入力されてもよい。異なる種
類の変数に対して適切なデータコーディングスキームを選択してもよい。データ
は要望のとおりにネットワークが機能するまで入力される。（ｉｉｉ）データ分析のＰＬＡＮＮデータ分析にＰＬＡＮＮを使用するためには、データはより小さい規模の区分
まで小さくされていることが好ましい。このとき、一次統計量および二次統計量
は各区分に対して処理を行ってもよい。中程度の強度のｔ‐コノルム／ｔ‐ノル
ムが情報の統合に使用される。変数間の真の関係は平均的なものとなる。

【００７１】本発明は統計的推論、物理学、生物学、および情報理論を１つの枠組みの中で
リンクさせる。それぞれが他者によって説明されることが可能である。McCulloc
h, W. S.およびPitts, A logical Calculus of Ideas Immanent in Neuron Acti
vity, Bulletin of Mathenaatical Biology 5, pp. 115-133, 1943はニューロン
がバイナリしきい値型信号関数を使用した処理全般を行うことができることを示
している。本発明は方程式（１１ａ）に与えられた重み関数を使用してニューロ
ンを結合することによって処理全般を実行する。

【００７２】当業者は異なる信号関数を使用した、万能アナログ処理マシン、万能デジタル
処理マシン全般、および２種類のハイブリッドマシンが記述され構築されること
が可能であることを認識する。３．ＦＡＳＥ処理および実験結果ファジィクラスおよび／または連続クラスと同様に、ファジィ属性および／ま
たは連続属性を含む分類に対してもＦＡＳＥが同等の成功をもって適用されるこ
とは当業者には明らかである。連続属性に対しては、カーネル推定器Dを用いる
。選択されている密度推定

【００７３】

【数２２】

【００７４】についてはW. Scott, Multivariate Density Estimation : Theory, Practice,
and Visualization., John Wiley & Sons, 1992, chap. 6, pp. 125を参照する
。簡単化のためKは一様になるように選択する。離散属性に対しては、最大尤度
推定を使用する。各属性からの推定確率は可能性に規格化され、方程式（１２）
のとおりｔ‐ノルムにより組み合わせられる。これらのｔ‐ノルムは幅広いファジィ演算子を含むため、属性情報を統合する
以下の２種類のｔ‐ノルムを検討する。１つはM. J. Frank, On the Simultaneo
us Associativity of F (x, y) and X + y-F (x, y), Aequationes Math., Vol.
19, pp. 194-226, 1979により提案された次のものである：

【００７５】

【数２３】

【００７６】 s→0であればT_s ＝ M、s→1であればT_s＝П、およびs→∞であればT_s ＝ Wを
得る。もう１種類のｔ‐ノルムはB. Schweizer and A. Sklar, Associative Functio
ns and Abstract Semi-groups. Publ. Math. Debrecen, Vol. 10, pp. 69-81, 1
963により提案された次のものである：

【００７７】

【数２４】

【００７８】 p→∞であればT_p ＝ M、p→0であればT_p ＝П、およびp→1であればT_p ＝ Wを
得る。二項分類に関して、各属性の識別力を対象とする場合、発散の情報（S. Kullb
ack, Information Theory and Statistics, Dover, New York, Chap. 1, pp. 6,
1968を参照）を以下に与えられるとおり適用することができる：

【００７９】

【数２５】

【００８０】ＦＡＳＥは前提の考慮を必要としない。ただし、可能性測度について前提を尤
度に重ね合わせる場合、これはあるクラスの検証の評価を下げる。おおざっぱな
意味では、前提もまた一種の検証であるとみなすことができる。我々の実験で使用したデータ集合は1998年版UCIレポジトリC. L. Blake、およ
びC. J. Merz、マシン学習データベースUCIレポジトリ[http ://www. ics. uci.
edu/~mlearn/MLltepository. html]から得た。５層相互検証法（R. A. Kohavi,
Study of Cross-Validation and Bootstrap for Accuracy Estimation and Mod
el Selection, Proceedings of the Fourteenth International Joint Conferen
ce for Artificial Intelligence, Morgan Kaufmann, San Francisco, pp. 1137
-1143, 1995を参照）は精度予測に使用された。このコンピュータ処理は値が不
明なものを含め、すべてのレコードに基づく。トレーニング集合ではこれらの不
明でない値がモデル推定に有効な情報を提供する。信頼性０として割り当てられ
る不明な値が例にある場合、その分類はより少数の属性に基づく。

【００８１】しかし、非常に多くの場合、すべての属性を正しく分類する必要はない。疝痛データの値の３０％が不明であっても、ＦＡＳＥは十分に機能する。

【００８２】

【表１】

【００８３】積よりも強力なｔ‐ノルムは影響が少なく同等に機能しないため、これらは含
まれない。最小化規則は属性間の最も強固な検証を反映する。これは、ＤＮＡデ
ータなど、多数の独立した属性を統合する必要がある場合には十分に機能しない
。ただし、投票データなど、属性が互いに強く依存している場合には最もよく機
能する。いくつかのデータ集合では、分類は使用されたｔ‐ノルムに影響されない。こ
のことは方程式（２）および（３）により説明できる。ただし、より弱いｔ‐ノ
ルムは通常、特に属性数が多い場合、確信性測度に対してより妥当性のある推定
を提供する。これらが真の確信性測度でなくても、より低いＣＦは通常、矛盾す
る属性が存在することを示す。したがって、これらは分類に不可欠な情報を提供
する。ｃｒｘデータの例では、s ＝. 1のＦＡＳＥ分類器は約８５％の精度であ
る。より高い確信度を持つこれらのインスタンスを考える場合、たとえばCF > .
9の場合、９５％を超える精度を実現することができる。

【００８４】４．知識発見および推論規則クラス属性のデータ情報に基づくと、規則などのエキスパートシステムはＦＡ
ＳＥ方法論を用いることにより抽出することができる。文献におけるその歴史的
根拠およびその共通認知について、フィッシャーのアイリスデータを使用してこ
れを図示する：図５から図７はクラスの確率からクラスの確信度およびファジィ集合までの変
換を示す。図５は３種のペタル幅の確率分布を示し、図６はペタル幅の関数とし
てクラスの確信度（ＣＦ）曲線を示し、そして図７は「大きな」ペタル幅のファ
ジィメンバーシップを示す。

【００８５】図５から図７は分類の確率分布および確信度（ＣＦ）として表されるその信頼
性測度への変換を示す。ＣＦは正であると想定されるが、負の数によって仮定の
反証を表すことが便利である。 Bel (C| A)は「Aであれば確信度CFのCである」と解釈することができる。当業
者はAが１つの値、集合、またはファジィ集合であることが可能であることを認
める。一般的に、信頼性測度は以下のとおり計算することができる：

【００８６】

【数２６】

【００８７】図７に示されているように、

【００８８】

【数２７】

【００８９】を「大きな」ペタル幅のファジィ集合とすると、「ペタル幅が大きければアイリ
ス種はバージニアである」のような規則を得る。この命題の確信度は前提

【００９０】

【数２８】

【００９１】の真と一致し、このことは特記する必要はない。したがって、ＦＡＳＥ方法論の
もとでは、ファジィ集合およびファジィ命題はデータから客観的に導くことがで
きる。各信頼性が述べることはCを確認する命題、Cを反証する命題、またはそのいず
れでもない命題である。命題のCFが低い場合、これは組み合わせられた信頼性にあまり大きい影響を与
えず、無視することができる。高い信頼度を持つこれらの命題のみが抽出されて
エキスパートシステム規則として使用される。命題の確信度を組み合わせるため
の推論規則は方程式（３）で与えられるとおりｔ‐ノルムに基づいている。C. L
. Blake、およびC. J. Merzの1998年版マシン学習データベースのUCIレポジトリ
[http ://www. ics. uci. edu/-mleam/MLRepository. html]には、MYCIN CFモデ
ルをＦＡＣＥの特例とみなすことが可能であり、その組み合わせ規則（E. H. Sh
ortliffe and B. G. Buchanan, A Model of Inexact Reasoning in Medicine, M
athematical Biosciences, Vol. 23, pp. 351-379, 1975を参照）は確率測度の
もとで積規則と等価であることが示されている。したがって、MYCIN推論は意識
せずに命題の独立性を仮定する。

【００９２】組み合わせられた信頼性Bel (C| A₁, A₂)は「A₁かつA₂であれば確信度CFを持
つCである」と解釈することができる。しかし、非常に多くの場合、たとえばXOR
問題などでは、高い信頼度を得るために両方の属性が必要とされない限り、規則
などの命題を設置することはない。このときは結合確率の推定および可能性およ
び信頼性測度への変換が必要になる。上記の説明で、我々はパターン分類および知識発見に対するＦＡＳＥ方法論の
一般的な枠組みを紹介した。実験に関して我々は調査を一般的なｔ‐ノルムを使
用して属性情報を統合する単純モデルに限定した。そのようなモデルの利点はコ
ンピュータ処理が速く、発見された知識の強調が簡単なことである。図５から図
７に示されているように、個々のクラス属性が分類の識別情報を提供する場合、
これは十分に機能することができる。これらの状況では厳密な信頼性モデルはあ
まり重要ではない。XOR問題など、分類の問題が属性の結合関係に依存している
場合、このモデルはうまくいかない。すべてのクラス属性の結合確率を推定する
ことが好ましいが、組み合わせの影響があれば常に制限が存在する。さらに、確
率推定の規模が大きい場合、抽出された知識はあまり理解しやすいものではない
。属性情報を使用した信頼性更新の方法が常に好ましい。

【００９３】図８は本発明に従いＦＡＳＥを実施するために使用できるシステム１００のブ
ロック図である。システム１００は、ユーザー入力装置１０２、出力装置１０４
、およびプロセッサ１０８に接続されたメモリ１０６を含む、コンピュータを含
むことが可能である。出力装置１０４はＣＲＴモニタまたはＬＣＤモニタなどの
視覚表示装置、プロジェクタおよびスクリーン、プリンタ、またはユーザーが視
覚的にイメージを見ることができるようにする他のあらゆる装置が可能である。
メモリ１０６は一連の命令１１０、および演算が行われるデータ１１２の両方を
格納することが好ましい。当業者は分離したメモリもまた命令１１０およびデー
タ１１２の両方を格納するために使用できることを当然として認める。

【００９４】メモリ１０６は静的または動的ＲＡＭを使用して実装されることが好ましい。ただし、メモリもまたフレキシブルディスクおよびディスクドライブ、書き換
え可能な光ディスクおよびディスクドライブ、ハードドライブ、フラッシュメモ
リ、または類似品を使用して実装することが可能である。ユーザー入力装置１０２はキーボード、マウスなどのポインティング装置、タ
ッチスクリーン、視覚インタフェース、マイクロフォンやアナログ‐デジタルオ
ーディオコンバータなどの音声インタフェース、スキャナ、テープリーダー、ま
たはユーザーがシステムに情報を入力できるようにする他のあらゆる装置が可能
である。

【００９５】プロセッサ１０８はプログラム可能多目的コンピュータに実装することが好ま
しい。ただし、当業者により理解されるように、プロセッサ１０８は特殊目的コ
ンピュータ、プログラム可能マイクロプロセッサまたはマイクロコントローラと
回路素子を集積した周辺機器、ＡＳＩＣまたは他の集積回路、デジタル信号プロ
セッサ、個別素子回路などのハードワイヤード電子回路または論理回路、ＰＬＤ
、ＰＬＡ、ＦＰＧＡやＰＡＬなどのプログラム可能論理素子、またはその類似品
に実装することも可能である。一般的に、図９から図１１に示されている手順を
実装する能力を有するあらゆる装置はプロセッサ１０８の実装に使用することが
できる。

【００９６】好ましい実施形態では、統計的検証のファジィ分析を実施するシステムはアナ
ログ並列分散マシンまたはニューラルネットワークにインストールされているコ
ンピュータソフトウェアプログラムである。当業者により、コンピュータソフト
ウェアプログラムはパーソナルコンピュータ、ミニコンピュータおよび大型コン
ピュータを含む、デジタルとアナログ両方の、異なるプロセッサアーキテクチャ
を有する、たとえばX86ベース、Macintosh G3 Motorolaプロセッサベースのコン
ピュータ、およびSPARCとULTRA-SPARCアーキテクチャに基づいたワークステーシ
ョン、およびそれらすべてのそれぞれの複製品を含む、様々な種類のコンピュー
タでインストールおよび実行が可能であることが理解される。また、プロセッサ
１０８は表示装置に表示されているイメージをユーザーが編集できるようにする
グラフィカルユーザーインタフェースエディタを含んでもよい。

【００９７】代替方法では、統計的検証のファジィ分析を実施するシステムも人間のプログ
ラミングを必要としない新しい系統のマシンに設計される。これらのマシンはデータを通して学習し、以後の判断のために知識を組織化す
る。ハードウェアまたはニューラルネットワークは多くの相互結合を持つ処理ユ
ニットの集合体であり、相互結合の強さはちょうど人間のように学習プロセスを
通して修正することが可能である。代替手段は事後信頼性の推定にニューラルネットワークを使用する。ほとんど
の文献（たとえばM. D. Richard and R. P. Lippmann, Neural Networks Classi
fiers Estimate Bayesian a Posteriori Probabilities, Neural Computation,
Vol. 3, pp. 461‐483, 1991）は事後信頼性を確率測度により表すが、同様に可
能性測度により表すこともできる。発見的には可能性および信頼性測度は仮説を
形成するためニューロン活動の競合性のある性質を表現することにより適してい
る。マシン学習の他の多くの原則、たとえばE-Mアルゴリズム、もまた確率（期
待値）と可能性（最大尤度）測度の相互作用により解釈することができる。

【００９８】図９から図１１はデータベースに入力する情報やデータベースから取得する情
報を分析する統計的検証のファジィ分析を説明するフローチャートである。確率
および信頼性判断に基づく好ましい分類方法が図９に説明されている。図９に説
明されている方法は図８で説明されているようにコンピュータシステム１００の
ようなコンピュータシステムにより実施することが可能であり、また当業者によ
って容易に理解されるようにアナログ分散マシンまたはニューラルネットワーク
によっても実施することができる。以下の記述は離散属性を使用した本発明に従
う方法を説明する。ただし、当業者によって認められるように、本発明の方法は
ファジィ属性の連続属性を使用してほぼ同様に適用することができる。同じよう
に、本実施形態が簡単化を目的として離散クラスを使用して説明されていること
によらず、本発明の方法は連続またはファジィクラスに対してほぼ同様に適用さ
れる。手順２００では、分類される項目の一例に相当するデータがデータベース
１１２から取得され処理のためプロセッサ１０８に伝送される。この特別な例の
データは多数の属性に関連付けられた多数の値を有する。手順２０２では、属性
データが可能性のあるＮ個のクラスそれぞれに対して処理される。一般的なデジ
タルコンピュータでは属性データは可能性のあるクラスそれぞれに対して順番に
処理しなければならない場合があるので、アナログ分散マシンまたはニューラル
ネットワークでそれぞれのクラスに対する属性データを同時に処理できることが
好ましい。手順２０４では、属性データが選択されたｔ‐ノルム、好ましくは上
記のｔ‐ノルムのいずれか、に従い各クラスに統合される。手順２０６では、各
クラスの統合値が選択された最大の統合値と比較される。手順２０８では、可能
性および信頼性メッセージが選択された統合値に関連付けられたクラスに対して
計算される。可能性値は手順２０６で選択された最大統合値によって特定のクラ
スに関連付けられた特定の統合値を割ることにより計算される。

【００９９】信頼度測定は次の最大可能性値から特定のクラスの可能性値を引くことにより
計算される。手順２０４の最大統合値に相当するクラスは常に可能性が１になる
ため、選択されたクラスに対する信頼性測度はαを２番目に大きい可能性値とし
て（1-α）に換算する。手順１０では、特定の例が最大の可能性値により選択さ
れたクラスに属するという仮説に対する信頼性または真実性が表示部１０４に出
力される。図１０は本発明に従う好ましい教師付き学習方法を説明する。手順３００では
トレーニングデータがデータベース１１２から受信される。トレーニングデータ
は各レコードのクラスラベルだけでなく多数の属性値を含む。手順３０２では、
確率推定がトレーニングデータの各レコードに対して実施される。手順３０４で
は、各レコードの属性データが、特定のレコードが可能性のある各クラスに属す
るという仮説をテストするため一度に１つずつ渡される。手順３０６では、各ク
ラスに対して、選択されたｔ‐ノルム関数を使用して属性データが統合される。
手順３０８では、統合された属性値が可能性値に変換される。最後に、手順３１
０では、各属性から得られた分類に役立つ情報の量に従い処理済みの各レコード
に対して各属性に帰する重みが更新される。トレーニングデータの各レコードに
ついてマシンにより決定された分類を有効なクラスラベルと比較して、正しい分
類が行われていれば重みを増やし、誤った分類が行われていれば減らす。このこ
とに関して、各属性に帰するように重量を適切に調整することにより、マシンは
クラスラベルが有効でない以後のデータの分類を学習することができる。

【０１００】図１１は本発明を使用した好ましい知識発見方法を説明する。手順４００では
トレーニングデータがデータベース１１２から取得される。確率推定は手順４０
２で実施される。手順４０４では、各レコードが各クラスに対してテストされる
。手順４０６では、選択されたｔ‐ノルム関数に従い各クラスに対する属性が統
合される。手順４０８では、統合値が可能性に変換される。手順４１０では、手
順４０８で生成された可能性から信頼性値が計算される。最後に、手順４１２で
は、有効な知識に従い最大の信頼性を持つ各クラスに対して信頼性値が選別され
る。したがって、図１１で説明されている方法を使用すると、最も有効な属性を
識別できる。したがって、処理から属性の最終使用を除外することにより以降の
分類におけるコンピュータ処理の過負荷を減らすことができる。

【０１０１】図１２は本発明に従うニューラルネットワークを説明する。ニューラルネット
ワークは多数の入力ノード４５０を備える。入力ノード４５０は多数の出力ノー
ド４５２それぞれに対してコネクタ４５４により結合される。各出力ノード４５
２は順番に確信度ノード４５８により受信される出力４５６を作り出す。図１３は確率的処理を実行するベイズニューラルネットワークを説明し、それ
を本発明に従う可能性ニューラルネットワークと比較する。両方のニューラルネ
ットワークは多数の入力ポート５００および中間層ポート５０２を有する。中間
層の出力はベイズニューラルネットワークと比較すると可能性ニューラルネット
ワークでは異なる方法で計算される。ベイズニューラルネットワークで示されて
いるように、中間層ノード５０２の出力は確率的であるため、これは合計すると
１になる。しかし、可能性ネットワークでは最も可能性が高い選択肢、オールド
ウーマン、には値１が与えられており、さらに、次の最高値、オールドマン、に
は比較的低い値（０．８）が与えられている。その結果、可能性ニューラルネッ
トワークは下位入力イメージをグランマとして分類するが、グランパの上限値が
グランマの上限値よりも著しく低くはないため、グランマの分類が正しいことの
信頼性は比較的低い。また、これはベイズニューラルネットワークでも示される
。ただし、さらに情報が有効になればわかるように、追加の属性はベイズニュー
ラルネットワークより簡単に可能性ニューラルネットワークに同化する。追加の
属性が可能性ニューラルネットワークで有効になった場合、新しい情報は単に既
存の情報に追加され、その結果可能性出力が更新される。ベイズニューラルネッ
トワークでは、それに比べて、新しい情報を組み込むには、確率的出力をもう一
度合計すると１になるように確率的出力をそれぞれ再処理する必要がある。

【０１０２】したがって、可能性的ネットワークは少なくとも分類においてベイズニューラ
ルネットワークと同程度に有効であり、確信度に付加メリットがあり、情報処理
コストが低い。本発明を説明するために有利な実施形態が選択されているが、本発明の範囲か
ら逸脱することなくその中に様々な変更および修正を行うことが可能であること
が当業者により理解される。

【０１０３】

【発明の効果】【図面の簡単な説明】

本発明の好ましい実施形態の詳細を以下の図面を参照として以下に記載する。

【図１】相互情報とニューロン結合の関係。

【図２】多数の属性ニューロンおよびクラスニューロンの相互結合。

【図３】神経ネットワークにおける尤度判断。

【図４】２つのニューロン間で重みを更新する処理を示すフローチャート。

【図５】ペタル幅の確率分布。

【図６】ペタル幅の関数としての分類の確信度曲線。

【図７】大きなペタル幅のファジィメンバーシップ。

【図８】統計的検証のファジィ分析を実施するシステムの機能ブロック図。

【図９】信頼性判断の認識プロセスを示すフローチャート。

【図１０】教師付き学習の認識プロセスを示すフローチャート。

【図１１】知識発見の認識プロセスを示すフローチャート。

【図１２】本発明に従う二層ニューラルネットワーク図。

【図１３】使用におけるベイズニューラルネットワークおよび可能性ニューラルネットワ
ークの例示図。

【符号の説明】

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ

Claims

【特許請求の範囲】

【請求項１】事物を多数のクラスから１つまたは複数のクラスのメンバーとして分類する方
法であり、前記事物がそこに関連付けられた多数の属性を有し、（ａ）前記多数のクラスそれぞれに対して、前記各属性に基づいて属性値を割
り当て、前記各属性値は前記事物が前記属性に基づいて関連付けられたクラスの
メンバーであることの相対的可能性を表し、（ｂ）前記の多数のクラスそれぞれに対して、ｔ‐ノルム関数を使用して前記
属性値を統合し、（ｃ）最大の統合値を選択し、（ｄ）前記事物が前記の最大統合値に関連付けられているクラスに属すること
を決定し、（ｅ）前記の最大統合値および２番目に大きい統合値の相対的な大小に基づい
て確信度を決定する、手順を備えた方法。
【請求項２】（ｆ）各属性により提供される相対情報に基づく前記属性値の規格化をさらに
備えた、請求項１に記載の方法。
【請求項３】事物を多数のクラスから１つまたは複数のクラスのメンバーとして分類するよ
うにマシンをトレーニングする方法であって、（ａ）前記マシンにトレーニングデータを提供し、前記トレーニングデータは
多数のレコードを備え、各レコードはそこに関連付けられた属性データを有し、
前記属性データは多数の可能性がある属性に関連付けられている値を備え、各レ
コードはそのレコードが属するクラスを示すそこに関連付けられたクラス値をさ
らに有し、（ｂ）前記の可能性がある属性それぞれに対して、ほぼすべての前記レコード
における属性を示す値の分布に基づいて各レコードの前記属性データを規格化し
、（ｃ）前記レコードそれぞれに対して、有効な属性データにｔ‐ノルム演算を
実行して、前記可能性がある各クラスの可能性値を生成し、前記可能性値はレコ
ードが特定の前記クラスのいずれかに属することの相対的可能性に相当し、（ｄ）前記多数のクラスそれぞれに対して、前記クラスに関連付けられている
クラス値を有するほぼすべてのレコードを統合し、各属性に対して前記クラスの
正しい決定と各属性が一致する度合いに相当する重みを生成する、手順を備えた方法。
【請求項４】（ｅ）前記レコードそれぞれに対して、最大可能性値を有する１つまたは複数
のクラスの信頼性値を生成し、前記信頼性値は前記クラスの可能性値と次の最大
可能性値の差分を表し、（ｆ）しきい値を超える信頼性値が生成されたレコードに関連付けられている
属性から情報を与える属性のリストを生成する、手順をさらに備えた、請求項３に記載の方法。
【請求項５】多数のクラスから１つまたは複数のクラスのメンバーとして項目を分類するた
めに役立つ多数の関数を実装するマシン命令が格納されている記憶メディア、そこに関連付けられている多数の属性を有する前記事物、マシン命令がコンピュータにより実行されるとき、（ａ）前記多数のクラスそれぞれに対して、各前記属性に基づいて属性値を割
り当て、それぞれの前記属性値は前記事物が前記属性に基づいて関連付けられた
クラスのメンバーであることの相対的確率を表し、（ｂ）前記多数のクラスそれぞれに対して、ｔ‐ノルム関数を使用して前記属
性値を統合し、（ｃ）最大の統合値を選択し、（ｄ）前記事物が前記の最大統合値に関連付けられているクラスに属すること
を決定し、（ｅ）前記最大統合値と２番目に大きい統合値の相対的な大小に基づいて確信
度を決定する、ことを含む前記関数、を備えた、コンピュータによる使用に適合する製造品。
【請求項６】多数のクラスから１つまたは複数のクラスのメンバーとして事物を分類するよ
うマシンをトレーニングするために役立つ多数の関数を実装するマシン命令が格
納されている記憶メディア、（ａ）コンピュータにトレーニングデータを提供し、前記トレーニングデータ
は多数のレコードを備え、各レコードはそこに関連付けられている属性データを
有し、前記属性データは可能性がある多数の属性に関連付けられている値を備え
、各レコードはレコードが属するクラスを示すそこに関連付けられたクラス値を
さらに有し、（ｂ）前記可能性がある属性それぞれに対して、ほぼすべての前記レコードに
おける属性を示す値の分布に基づいて各レコードの前記属性データを規格化し、（ｃ）前記レコードそれぞれに対して、有効な属性データにｔ‐ノルム演算を
実行して、前記可能性がある各クラスの可能性値を生成し、前記可能性値はレコ
ードが特定の前記クラスのいずれかに属することの相対的可能性に相当し、（ｄ）前記の多数のクラスそれぞれに対して、前記クラスに関連付けられてい
るクラス値を有するほぼすべてのレコードを統合し、各属性に対して前記クラス
の正しい決定と各属性が一致する度合いに相当する重みを生成する、ことを含む前記関数、を備えた、コンピュータによる使用に適合する製造品。
【請求項７】（ｅ）前記レコードそれぞれに対して、最大可能性値を有する１つまたは複数
のクラスの信頼性値を生成し、前記信頼性値は前記クラスの可能性値と次の最大
可能性値の差分を表し、（ｆ）しきい値を超える信頼性値が生成されたレコードに関連付けられている
属性から情報を与える属性のリストを生成する、ことを前記関数がさらに含む、請求項６に記載の品。
【請求項８】多数のクラスから１つまたは複数のクラスのメンバーとしての事物の分類に適
合し、前記事物がそこに関連付けられた多数の属性を有する装置であって、出力装置および入力装置、プロセッサ、およびそこに格納されている一連の関
数を実行するマシン実行可能命令を有し、一連のデータレコードの受信および格
納に適合するメモリ、（ａ）前記入力装置で分類のために検索される前記事物に相当するデータレコ
ードを受信し、前記データレコードは前記事物の属性に相当する属性値を備え、（ｂ）前記多数のクラスそれぞれに対して、ｔ‐ノルム関数を使用して前記属
性値を統合することによって統合値を生成し、（ｃ）前記統合値から最大統合値を選択し、（ｄ）前記最大統合値に基づいて多数のクラスの中から最も可能性が高いクラ
スを決定し、（ｅ）前記最大統合値と２番目に大きい統合値の相対的な大小に基づいて確信
度を決定し、（ｆ）前記最も可能性が高いクラスおよび前記確信度を前記出力装置に出力す
る、ことを含む前記関数、を備えた装置。
【請求項９】多数のクラスから１つまたは複数のクラスのメンバーとして事物を分類するた
めのトレーニングに適合し、前記事物がそこに関連付けられた多数の属性を有す
る装置であって、出力装置および入力装置、プロセッサ、およびそこに格納されている一連の関
数を実行するマシン実行可能命令を有し、一連のデータレコードの受信および格
納に適合する記憶装置、（ａ）前記入力装置でトレーニングデータを受信し、前記トレーニングデータ
は多数のレコードを備え、各レコードはそこに関連付けられている属性データを
有し、前記属性データは多数の属性に関連付けられている値を備え、各レコード
はレコードが属するクラスを示すそこに関連付けられたクラス値をさらに有し、（ｂ）前記属性それぞれに対して、ほぼすべての前記レコードにおける属性を
示す値の分布に基づいて各レコードの前記属性データを規格化し、（ｃ）前記レコードそれぞれに対して、有効な属性データにｔ‐ノルム演算を
実行して、前記可能性がある各クラスの可能性値を生成し、前記可能性値はレコ
ードが特定の前記クラスのいずれかに属することの相対的可能性に相当し、（ｄ）前記多数のクラスそれぞれに対して、前記クラスに関連付けられている
クラス値を有するほぼすべてのレコードを統合し、各属性に対して前記クラスの
正しい決定と各属性が一致する度合いに相当する重みを生成する、ことを含む前記関数、を備えた装置。
【請求項１０】（ｅ）前記レコードそれぞれに対して、最大可能性値を有する１つまたは複数
のクラスの信頼性値を生成し、前記信頼性値は前記クラスの可能性値と次の最大
可能性値の差分を表し、（ｆ）しきい値を超える信頼性値が生成されたレコードに関連付けられている
属性から情報を与える属性のリストを生成する、ことを前記関数がさらに備えた、請求項９に記載の装置。
【請求項１１】（ｇ）前記出力装置を介した前記信頼性値および前記リストの出力を前記関数
がさらに備えた、請求項１０に記載の装置。
【請求項１２】少なくとも入力層および出力層を備え、入力層は多数の入力ノードを有し、出
力層は多数の出力ノードを有し、出力ノードがｔ‐ノルム関数に従って各入力ノ
ードからの入力を統合し、ｔ‐ノルム関数の結果を表す出力を生成するときに、
特定の出力ノードが正しい出力を表している可能性を表す重み付けされた入力を
各入力ノードから各出力ノードが受信するようなニューラルネットワーク。
【請求項１３】少なくとも入力層、出力層、および少なくとも１つの確信度ノードを備え、入
力層は多数の入力ノードを有し、出力層は多数の出力ノードを有し、各入力ノー
ドから特定の出力ノードが正しい出力を表している可能性を表す重み付けされた
入力を各出力ノードは受信し、確信度ノードは各出力ノードからの入力を受信す
るものであって、出力ノードがｔ‐ノルム関数に従って各入力ノードからの入力
を統合し、ｔ‐ノルム関数の結果を表す出力を生成し、確信度ノードが出力ノー
ドからの最大出力と出力ノードからの２番目に大きい出力の差分を表す出力を生
成する、ニューラルネットワーク。
【請求項１４】ネットワークが多数の確信度ノードを含み、そのそれぞれが各出力ノードから
の入力を受信し、各確信度ノードの出力が出力ノードからの最大出力と出力ノー
ドからの２番目に大きい出力の差分を表す、請求項１３に記載のニューラルネッ
トワーク。
【請求項１５】少なくとも入力層および出力層を備え、前記入力層が多数の入力ニューロンを
有し、前記出力層が多数の出力ニューロンを有する、前記ニューロンそれぞれが
少なくとも１つの他のニューロンへの荷重結合を有し、前記荷重結合が相互情報
に相当し、前記相互情報が重みの尤度関数により表されるような万能並列分散処
理マシン。
【請求項１６】前記荷重結合の値が２つのニューロンの尤度関数を重ね合わせ、その結果を規
格化することにより決定される、請求項１５に記載のマシン。
【請求項１７】前記マシンがアナログ並列分散マシンである請求項１５に記載のマシン。
【請求項１８】前記マシンがデジタル並列分散マシンである請求項１５に記載のマシン。
【請求項１９】前記マシンがデジタルおよびアナログのハイブリッド並列分散マシンである請
求項１５に記載のマシン。
【請求項２０】多数の入力ニューロンを有する入力層および多数の出力ニューロンを有する出
力層を備え、前記ニューロンそれぞれが少なくとも１つの他のニューロンへの荷
重結合を有する手段であって、（ａ）前記マシンにトレーニングデータを供給し、前記トレーニングデータが
多数のレコードを備え、各レコードはそこに関連付けられた少なくとも１つのニ
ューロンを有し、前記レコードが前記の関連付けられたニューロンの結合された
ニューロンに対する信号を発火させるようなものであり、（ｂ）前記荷重結合の重みを尤度規則を使用して更新し、前記規則は結合され
たニューロンそれぞれが発火する尤度および両方のニューロンがともに発火する
尤度に基づいており、（ｃ）前記の結合されたニューロンそれぞれにおいてｔ‐ノルム演算を使用し
て前記信号を統合し、（ｄ）前記マシンのパフォーマンスを評価し、（ｅ）手順（ａ）から（ｄ）を繰り返す、手順を備えた、ニューラルネットワークをトレーニングする手段。