JP2002519747A

JP2002519747A - ｎ項組又はＲＡＭベース・ニューラルネットワーク分類システム及び方法

Info

Publication number: JP2002519747A
Application number: JP2000556291A
Authority: JP
Inventors: リンネベルウ，クリスチャン; マルティニヨルゲンセン，トーマス
Original assignee: インテリックスアクティーゼルスカブ
Priority date: 1998-06-23
Filing date: 1999-06-21
Publication date: 2002-07-02
Also published as: DE69904181D1; CN1313975A; PL345044A1; IL140397A0; EP1093638B1; WO1999067694A2; NZ508930A; US6999950B1; ATE228691T1; AU4498699A; AU753822B2; CN1256700C; CA2335060A1; WO1999067694A3; EP1093638A2; CA2335060C

Abstract

(57)【要約】本発明は、ｎ項組又はＲＡＭベース・ニューラルネットワーク分類方法及びシステム、より詳細には、決定基準が出力スコアを得るためにかつ分類を得るために出力スコアを比較するために適用され、トレーニングプロセスの間に決定される、ｎ項組又はＲＡＭベース分類システムに関する。すなわち、本発明は、多数のｎ項組又はルックアップテーブルから成り、各ｎ項組又はルックアップテーブルが少なくとも可能なクラスのサブセットに対応する多数の行から成り、かつサンプリングされたトレーニング入力データ例の信号又は要素によって番地づけられる多数の列から成るネットワークによって定義できるコンピュータ分類システムをトレーニングするシステム及び方法に関する。

Description

【発明の詳細な説明】

【０００１】（技術分野）本発明は、一般にｎ項組又はＲＡＭベース・ニューラルネットワーク分類シス
テム、より詳細には、出力スコアを得るためにかつ分類を得るために出力スコア
を比較するために適用され決定基準がトレーニングプロセスの間に決定される、
ｎ項組又はＲＡＭベース分類システムに関する。

【０００２】（背景技術）ニューラルネットワーク分類システムの入力に適用される電気信号又は２進コ
ード、より正確には、信号のベクトルに代表されるオブジェクト又はパターンを
分類する既知の方法は、いわゆる学習又はトレーニングフェーズの実施を含んで
いる。このフェーズは一般に、学習又はトレーニングセットと呼ばれる一つ又は
それ以上の信号のセットを用いて、想定された分類の実行機能を可能な限り効率
よく満たす分類ネットワークの構成からなり、ここで分類されことが望まれるク
ラスの中の一つのクラスにおけるこれらの信号のそれぞれのメンバーシップは既
知である。この方法は、監督付き学習あるいは教師付き学習として知られている
。

【０００３】指導付き学習を用いた分類ネットワークのサブクラスは、メモリベース学習を
用いたネットワークである。ここで、最も古いメモリベースネットワークの一つ
は、ＢｌｅｄｓｏｅとＢｒｏｗｎｉｎｇ（Ｂｌｅｄｓｏｅ，Ｗ．Ｗ．ａｎｄＢ
ｒｏｗｎｉｎｇ，Ｉ，１９５９年，“ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ
ａｎｄｒｅａｄｉｎｇｂｙｍａｃｈｉｎｅ”，ｔｈｅＥａｓｔｅｒｎ
ＪｏｉｎｔＣｏｍｐｕｔｅｒＣｏｎｆｅｒｅｎｃｅの会報、２２５〜２３
２頁）によって提案されたｎ項組ネットワークであり、最近では、Ｍｏｒｃｉｎ
ｉｅｃとＲｏｈｗｅｒ（Ｍｏｒｃｉｎｉｅｃ，Ｍ，ａｎｄＲｏｈｗｅｒ，Ｒ．
，１９９６年、“Ａｔｈｅｏｒｅｔｉｃａｌａｎｄｅｘｐｅｒｉｍｅｎｔ
ａｌａｃｃｏｕｎｔｏｆｎ−ｔｕｐｌｅｃｌａｓｓｉｆｉｅｒｐｅｒ
ｆｏｒｍａｎｃｅ”，ＮｅｕｒａｌＣｏｍｐ．，６２９−６４２頁）とによっ
て記載されている。

【０００４】このようなメモリベースシステムの利点の一つは、学習フェーズ及び分類時の
非常に速い計算時間である。「ＲＡＭネットワーク」あるいは「重みなしニュー
ラルネットワーク」としても知られている既知のｎ項組ネットワークの場合、学
習は、パターンの特徴をランダムアクセスメモリ（ＲＡＭ）に記録することによ
って達成し、それは該システムへトレーニングセットを一度だけ実施する必要が
ある。

【０００５】従来のＲＡＭベースニューラルネットワークのトレーニング手順は、Ｊｏｒｇ
ｅｎｓｅｎ（本発明の共同発明者）等によってＲＡＭベースニューラルネットワ
ークに関する最近の書籍への寄稿（Ｔ．Ｍ．Ｊｏｒｇｅｎｓｅｎ，Ｓ．Ｓ．Ｃｈ
ｒｉｓｔｅｎｓｅｎ，ａｎｄＣ．Ｌｉｉｓｂｅｒｇ，“Ｃｒｏｓｓ−ｖａｌｉ
ｄａｔｉｏｎａｎｄｉｎｆｏｒｍａｔｉｏｎｍｅａｓｕｒｅｓｆｏｒ
ＲＡＭｂａｓｅｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ”，ＲＡＭ−ｂａｓｅｄ
ｎｅｕｒａｌｎｅｔｗｏｒｋｓ，Ｊ．Ａｕｓｔｉｎ，ｅｄ，ＷｏｒｌｄＳ
ｉｃｉｅｎｔｉｆｉｃ，Ｌｏｎｄｏｎ，７７〜８８頁、１９９８年）に記載され
ている。該寄稿は、ＲＡＭベースニューラルネットワークがどのように多数のル
ックアップテーブル（ＬＵＴ）から構成すると判断されるかについて記載されて
いる。各ＬＵＴは２進入力データベクトルのサブセットを精査する。従来のスキ
ームにおいては、使われるビットはランダムに選択される。サンプリングされた
ビットシーケンスは、アドレスを構築するのに用いられる。このアドレスは、Ｌ
ＵＴの中の特定のエントリ（列）に対応する。ＬＵＴの中の行の数は、可能なク
ラスの数に対応する。各クラスのために出力は０又は１の値をとることができる
。１の値は、特定のクラスに関する得票（ｖｏｔｅ）に対応する。分類を実行す
るとき、入力ベクトルがサンプリングされ、全てのＬＵＴからの出力ベクトルが
加えれ、その後、ｗｉｎｎｅｒ−ｔａｋｅｓ−ａｌｌ決定がなされて入力ベクト
ルが分類される。シンプルなネットワークのトレーニングを実行するために、出
力値は最初に０に設定されうる。トレーニングセットの各例のために、以下のス
テップが実行されるべきである。

【０００６】入力ベクトル及び対象クラスをネットワークへ提供し、全てのＬＵＴのために
対応する行エントリを計算し、全てのアクティブな列の中で対象クラスの出力値
に１を設定する。このようなトレーニング戦略を用いて各トレーニングパターンが常に真のクラ
スに関する最大数の得票を得ることが保障される。その結果、このようなネット
ワークはトレーニングセットに関して誤分類は行わないが、曖昧な決定が発生す
る場合がある。ここで、ネットワークの汎用化能力は、各ＬＵＴへの入力ビット
の数に直接に関係する。ＬＵＴが全ての入力ビットをサンプリングすると、ＬＵ
Ｔは純粋にメモリデバイスとして動作し、汎用化は実行されない。入力ビットの
数が減少するにつれて、曖昧な決定の増加という損失をともなって汎用化が増大
する。更に、ＬＵＴの分類及び汎用化能力は、調べられた入力ビットの現在のサ
ブセットに大いに依存する。「知的な」トレーニング手順は、入力データの最も
適切なサブセットを選択することである。

【０００７】Ｊｏｒｇｅｎｓｅｎ等はさらに、短い計算時間で低い分類エラー率を得るため
に、ＬＵＴごとに使うための入力接続の最適な数を選択する方法を示唆する１個
抜きクロスバリデーションテスト（ｌｅａｖｅ−ｏｎｅ−ｏｕｔｃｒｏｓｓ−
ｖａｌｉｄａｔｉｏｎｔｅｓｔ）と名付けられたものについて記載している。
このようなクロスバリデーションテストを実行するためには、番地づけられた列
及びクラスに対応するセル又は要素を番地づけする現在のトレーニング例の数に
ついての情報を得ることが必要である。ゆえにこれらの数はＬＵＴに記憶される
ことが提案されている。Ｊｒｇｅｎｓｅｎ等らはまた、ネットワークの中でＬ
ＵＴが、連続的にＬＵＴの新しいセットをトレーニングすること及び各ＬＵＴに
クロスバリデーションテストを実行することにより、どのようにより最適な方法
で選択できるか示唆している。従って、トレーニングセットを数回システムに提
供することによってＬＵＴが選択されるＲＡＭネットワークを有することが知ら
れている。

【０００８】ＲＡＭネットワークからの出力ベクトルは、各可能なクラスのための多数の出
力スコアを含む。上述したように、一つの決定は通常、一つの例を最も大きい出
力スコアを有するクラスに分類することによって実行される。このシンプルなｗ
ｉｎｎｅｒ−ｔａｋｅｓ−ａｌｌ（ＷＴＡ）スキームは、トレーニング例の真の
クラスが他のクラスのうちの一つに対して敗けることがないということを保障す
る。ＲＡＭネット分類スキームの一つの問題は、トレーニングセットに関してト
レーニングするとき、トレーニングクラスの間の例の分布がかなり歪んでおり、
しばしば不完全にふるまうということである。従って、性能に関するアーキテク
チャの特定のパラメータの影響の一般的な理解と同様に、ＲＡＭ分類システムの
ふるまいについてトレーニングデータの構成の影響を理解する必要が有る。この
ような理解から、分類スキームを修正してその性能及び他のスキームとの競争力
を改良することが可能である。このようなＲＡＭベース分類システムの改良は、
本発明によって提供される。

【０００９】（発明の概要）最近、ＴｈｏｍａｓＭａｒｔｉｎｉＪｏｒｇｅｎｓｅｎ及びＣｈｒｉｓｔ
ｉａｎＬｉｎｎｅｂｅｒｇ（本発明の発明者）は、例の分布の確率的パラメー
タ、有効なトレーニング例の数、及び各ＬＵＴ又はｎ項組のために用いられるア
ドレスラインｎの数に関して、期待されたｎ項組ネットの出力スコアに関する理
論解析を可能にした統計的な構成を提供した。得られた式から本発明者等は、異
なるシナリオでアーキテクチャのふるまいを研究することができた。さらに本発
明者等は、理論的結果に基づいて最大の帰納的な又は最大見込み推定量に近い近
似として処理するためにｎ項組分類スキームを修正するための提案を提供するこ
とになった。修正された決定基準は、例えば、トレーニングセットでトレーニン
グされたとき、トレーニングクラスの間の例の分布がかなり歪んでおり、ｎ項組
ネットがしばしば不完全にふるまうといういわゆる歪んだクラスの従来の問題を
処理することができる。従って、提案された分類スキームの変化は、アーキテク
チャの本質的な改良を実現できる。提案された決定基準に関する変化は、ランダ
ム記憶に基づく元のｎ項組アーキテクチャだけに適用できるものではない。また
、そのうちのいくつかはアドレスラインのより最適な選択を用いたり、拡張した
重みスキームを適用するなどの拡張したｎ項組スキームに適用できる。

【００１０】本発明の第１の態様によれば、多数のｎ項組又はルックアップテーブル（ＬＵ
Ｔｓ）から成り、各ｎ項組又はＬＵＴが少なくとも一つの可能なクラスのサブセ
ットに対応する多数の行から成り、かつ更にサンプリングされたトレーニング入
力データ例の信号又は要素によって番地づけられる多数の列から成り、各列が値
を持ったセルを有するベクトルによって定義される、ネットワークによって定義
できるコンピュータ分類システムをトレーニングする方法であって、対応するセ
ルアドレスが一つ又はそれ以上のトレーニング入力例のセットからサンプリング
された回数に基づいた情報を、少なくともセルの一部が具備する又は示すように
、一つ又はそれ以上の異なるクラスのための入力データ例のトレーニングセット
に基づいて列ベクトルのセル値を決定することからなる方法が提供される。該方
法は、さらに、少なくとも一つの、クラス当たりの出力スコア値の評価のための
一つ又はそれ以上の出力スコア関数を決定することと、及び／又は、勝利クラス
を決定するために得られた出力スコア値の少なくとも一部と組み合せて用いられ
る一つ又はそれ以上の決定規則を決定することからなる。

【００１１】上記出力スコア値は、決定された列ベクトルのセル値の少なくとも一部の情報
に基づいて評価又は決定されることが好ましい。本発明によれば、上記出力スコア関数及び／又は決定規則は、決定された列ベ
クトルのセル値の少なくとも一部の情報に基づいて決定されることが好ましい。
また、上記出力スコア関数を、一セットのパラメータ値によって決定された一フ
ァミリーの出力スコア関数から決定することも好ましい。このように、上記出力
スコア関数は、パラメータ値のセットからでも、決定された列ベクトルのセル値
の少なくとも一部の情報からでも、あるいは、パラメータ値のセット及び決定さ
れた列ベクトルのセル値の少なくとも一部の情報の両方からでも決定できる。

【００１２】本発明のトレーニング手順としては、２つのステップが考えられることを理解
すべきである。第１のステップは、列ベクトルのセル値を決定することからなり
、第２のステップは、出力スコア関数及び／又は決定規則を決定することからな
る。既に述べたように、列ベクトルセルは、一つ又はそれ以上の、既知のクラスの
入力データ例のトレーニングセットに基づいて決定されるが、出力スコア関数及
び／又は決定規則は、既知のクラスの入力データ例のバリデーションセットに基
づいて決定される。ここで、該バリデーションセットは、上記トレーニングセッ
トに等しいかあるいはその一部であるが、該バリデーションセットは、トレーニ
ングセットに含まれない１セットの例であってもよい。

【００１３】本発明によれば、上記トレーニング及び／又はバリデーション入力データ例は
、好ましくは、入力信号ベクトルとしてネットワークへ提供される。出力スコア関数の決定は、２つ又はそれ以上のクラスの中から勝利クラスを見
出すために用いられる出力スコアを計算する間、列ベクトルセルの内容を用いる
異なる方法を可能にするように実行されることが好ましい。列ベクトルセルの内
容が一つのクラスのスコア獲得のために用いられる方法は、どのクラスと比較さ
れるかによる。

【００１４】出力スペースにおいて２つ又はそれ以上のクラスを比較するとき用いられる決
定規則は、ＷＴＡ決定法に応じた決定規則からそれることができることが好まし
い。２つ又はそれ以上のクラスを選択するための決定規則を変えることは、クラ
スの出力スコアの個々の、変換を可能にすること及び、ＷＴＡ比較を維持するこ
とに等しい。これらの対応する変換は所定のクラスがどのクラスと比較されるか
による。

【００１５】どれだけの出力スコア関数を使うかの決定及び／又は出力スコア値に適用され
る決定規則の決定と同様に、どのように出力スコア関数が列ベクトルのセル値か
ら計算できるかの決定は、一つ又はそれ以上の、出力スコア関数及び／又は決定
規則のセットの初期化から成る。さらに、バリデーション例セットにおける性能を評価する情報尺度に基づいて
、出力スコア関数及び／又は決定規則の少なくとも一部を調整することが好まし
い。上記バリデーションセットがトレーニングセット又はその一部に等しい場合
、１個抜きクロスバリデーション評価もしくはこの概念を延長したものを用いる
ことが好ましい。

【００１６】本発明による出力スコア関数及び決定規則を決定又は調整するためには、列セ
ル値が決定されなければならない。ここで、列セル値の少なくとも一部は、対応
するセルアドレスがトレーニング入力例のセットからサンプリングされた回数の
関数として決定されることが好ましい。あるいは、該列セルの情報は、最大列セ
ル値が１であるように決定できるが、該セルの少なくとも一部は、対応するセル
アドレスがトレーニング入力例のセットからサンプリングされた回数の関数であ
る関連した値を有する。好ましくは、列ベクトルのセル値は、出力スコア関数及
び／又は決定規則の決定又は調整の前に決定され、記憶手段に記憶される。

【００１７】本発明によれば、好適な列ベクトルのセル値の決定方法は、（ａ）既知のクラスのトレーニング入力データ例を分類ネットワークへ適用し
、一つ又はそれ以上の列ベクトルを番地づけするトレーニングステップと、（ｂ）既知のクラスの行に対応する該番地づけされた列ベクトルのセル値又は
得票を、好ましくは一つ増分するトレーニングステップと、（ｃ）全てのトレーニング例が上記ネットワークに適用されるまで上記（ａ）
〜（ｂ）のステップを繰り返すトレーニングステップとから成る。

【００１８】しかし、本発明が、該セルが入力トレーニングセットによって番地づけされた
回数の代りの関数によって列セルの情報が決定される実施形態を網羅することを
理解すべきである。このように、セル情報は、該セルが番地づけされている全て
の回数を含むことを必要としないが、例えば、セルがゼロ回、１回、１回以上、
及び／または２回及び２回以上等訪ねられたときの表示を含んだ例でもよい。

【００１９】出力スコア関数及び決定規則を決定するためには、これらの出力スコア関数及
び決定規則を調整することが好ましく、その調整は一つ又はそれ以上の繰り返し
ステップを含んでよい。出力スコア関数及び決定規則の調整は、列ベクトルセル
値の少なくとも一部に基づいて包括的品質値を決定するステップと、包括的品質
値が所定の品質基準を満たすかどうかを決定するステップと、包括的品質基準が
満たされるまで、出力スコア関数の少なくとも一部、及び／又は決定規則の一部
を調整するステップとを含んでよい。

【００２０】該調整プロセスはまた、局所的品質値が選択された入力例のための特定の又は
所定の局所的品質基準を満たさない場合、実行される一つ又はそれ以上の調整を
用いた、各サンプリングされたバリデーション入力例のための局所的品質値の決
定を含んでもよい。一例として、出力スコア関数及び／又は決定規則の調整は、（ａ）バリデーションセットから入力例を選択するステップと、（ｂ）サンプリングされたバリデーション入力例に応じて、番地づけされた列
セル値の少なくとも一部の関数である局所的品質値を決定するステップと、（ｃ）局所的品質値が所定の局所的品質基準を満たすかどうかを決定し、局所
的品質基準が満たされない場合、出力スコア関数及び／又は決定規則の一つ又は
それ以上を調整するステップと、（ｄ）所定数のバリデーションセットの例から新たな入力例を選択するステッ
プと、（ｅ）全ての所定のバリデーション入力例について上記の局所的品質テストの
ステップ（ｂ）〜（ｄ）を繰り返すステップと、（ｆ）局所的品質テストの間に番地づけされる列ベクトルの少なくとも一部に
基づいて包括的品質値を決定するステップと、（ｇ）前記包括的品質値が所定の包括的品質基準を満たすかどうかを決定する
ステップと、（ｈ）包括的品質基準が満たされるまで、上記ステップ（ａ）〜（ｇ）を繰り
返すステップとを含んでよい。

【００２１】好ましくは、上述の調整プロセスのステップ（ｂ）〜（ｄ）がバリデーション
セットの全ての例に対して実行される。局所的及び／又は包括的品質値は、列セルの少なくとも一部の関数として定義
される。一つ又はそれ以上の品質値を用い、各々対応する品質基準を用いて出力スコア
関数及び／又は決定規則を調整するとき、所定回数の繰り返しの後、品質基準が
満たされない場合、調整繰り返しプロセスを停止することが好ましいことを理解
すべきである。

【００２２】調整プロセスの間、調整された出力スコア関数及び／又は決定規則は、各調整
の後に好ましくは記憶され、かつ該調整プロセスが包括的品質値の決定を含む場
合、決定した包括的品質値が、以前に別々に記憶された出力スコア関数及び／又
は決定規則あるいは構成値に対応する包括的品質値よりも包括的品質基準を満た
すのに近いならば、包括的品質値の決定のステップが、得られた出力スコア関数
及び／又は決定規則又は分類システム構成値を別々に記憶することに続いてもよ
い。

【００２３】本発明の実施の形態による分類システムをトレーニングする主な理由は、その
後の未知のクラスの入力例の分類プロセスにおいて高い信頼を得るためである。従って、本発明の別の態様によれば、上述した本発明の方法のいずれかに従っ
て構成されたコンピュータ分類システムを用いて入力データ例を複数のクラスの
うちの少なくとも一つに分類する方法であって、これにより各ｎ項組又はＬＵＴ
及び出力スコア関数及び／又は決定規則が、一つ又はそれ以上の、入力データ例
のトレーニング又はバリデーションセットを用いて決定され、（ａ）分類される入力データ例を構成された分類ネットワークへ適用し、列ベ
クトルをｎ項組又はＬＵＴのセットに番地づけすることと、（ｂ）出力スコア関数及び決定規則の所定のセットを用いて比較されるクラス
のセットを選択し、特定の行をｎ項組又はＬＵＴのセットに番地づけすることと
、（ｃ）出力スコア値を列ベクトルセルの関数として決定すること及び決定した
出力スコア関数を用いることと、（ｄ）決定した決定規則を用いて、計算された出力値を比較することと、（ｅ）該決定規則に従って、勝利クラスを選択することとを含む方法が提供さ
れる。

【００２４】本発明はまた、上述したトレーニング及び分類方法によるトレーニング及び分
類システムを提供する。すなわち、本発明によれば、記憶された多数のｎ項組又はルックアップテーブ
ル（ＬＵＴ）から成り、各ｎ項組又はＬＵＴが少なくとも可能なクラスのサブセ
ットに対応する多数の行から成り、かつサンプリングされたトレーニング入力デ
ータ例の信号又は要素によって番地づけられる多数の列から成り、各列が値を有
するセルを有するベクトルによって定義される、ネットワークによって定義でき
るコンピュータ分類システムをトレーニングするシステムであって、・既知のクラスのトレーニング入力データ例を受入れる入力手段と、・受入れた入力データ例をサンプリングし、列ベクトルを記憶されたｎ項組又
はＬＵＴのセットに番地づけする手段と、・既知のクラスに対応する特定の行をｎ項組又はＬＵＴのセットに番地づけす
る手段と、・所定のｎ項組又はＬＵＴを記憶する記憶手段と、・対応するセルアドレスが入力例のトレーニングセットからサンプリングされ
た回数に基づいた情報を具備する又は示すように、列ベクトルのセル値を決定す
る手段と、・一つ又はそれ以上の出力スコア関数及び／又は一つ又はそれ以上の決定規則
を決定する手段とを具備するシステムが提供される。

【００２５】ここで、出力スコア関数及び／又は決定規則の決定手段が、決定した列ベクト
ルのセル値の少なくとも一部の情報に基づいてこれらの関数及び／又は規則を決
定するようになされていることが好ましい。出力スコア関数を決定する手段は、該関数をパラメータ値のセットによって決
定された出力スコア関数のファミリーから決定するようになされている。このよ
うに出力スコア関数を決定する手段は、パラメータ値のセットからでも、決定さ
れた列ベクトルのセル値の少なくとも一部の情報からでも、あるいは、パラメー
タ値のセット及び決定された列ベクトルのセル値の少なくとも一部の情報の両方
からでも決定できるようになされている。

【００２６】本発明によれば、出力スコア関数及び／又は決定規則を決定する手段が、既知
のクラスの入力データ例のバリデーションセットに基づいて該関数及び／又は決
定規則を決定するようになされている。ここで、該バリデーションセットは、該
列セル値を決定するために用いられるトレーニングセットに等しいか又はその一
部でよいが、該バリデーションセットは、該トレーニングセットに含まれない例
のセットでもよい。

【００２７】本発明の好適な実施の形態による出力スコア関数及び決定規則を決定するため
に、該出力スコア関数及び決定規則を決定する手段は、一つ又はそれ以上の出力スコア関数及び／又は決定規則のセットを初期化する
手段と、入力例のバリデーションセットの少なくとも一部を用いて出力スコア関数及び
決定規則を調整する手段とを含む。

【００２８】既に上述したように、列セル値は出力スコア関数及び決定規則を決定するため
に決定されなければならない。ここで、列ベクトルのセル値を決定する手段が、
これらの値を、対応するセルアドレスがトレーニング入力例のセットからサンプ
リングされた回数の関数として決定するようになされていることが望ましい。あ
るいは、列ベクトル値を決定する手段がこれらのセル値を、最大列セル値が１で
あるように決定できるようになされているが、該セルの少なくとも一部は、対応
するセルアドレスが入力例のトレーニングセットからサンプリングされた回数の
関数である関連した値を有する。

【００２９】本発明の一つの実施の形態によれば、既知のクラスに属するトレーニング入力
データ例が分類ネットワークに適用された場合、一つ又はそれ以上の列ベクトル
を番地づけし、列ベクトルのセル値の決定手段が、該既知のクラスの行に対応す
る上記番地づけされた列ベクトルのセルの値又は得票を増分するようになされ、
該値が好ましくは一つ増分されることが好ましい。

【００３０】出力スコア関数及び決定規則の調整プロセスのために、出力スコア関数及び／
又は決定規則を調整する手段が、列ベクトルのセル値の少なくとも一部に基づいて包括的品質値を決定し、該包括的品質値が所定の包括的品質基準を満たすかどうかを決定し、該包括的品質基準が満たされるまで、出力スコア関数及び／又は決定規則の少なくとも一部を調整するようになされていることが好ましい。

【００３１】本発明による好適な実施の形態の一つの実施例として、出力スコア関数及び決
定規則を調整する手段は、（ａ）サンプリングされたバリデーション入力例に応じて、番地づけされたベクトルのセル値の少なくとも一部の関数である局所的品質値を決定し、（ｂ）局所的品質値が所定の局所的品質基準を満たすかどうかを決定し、（ｃ）該局所的品質基準が満たされていない場合、上記出力スコア関数及び／又は決定規則の一つ又はそれ以上を調整し、（ｄ）トレーニング入力例の所定数だけ、上記局所的品質テストを繰り返し、（ｅ）該局所的品質テストの間に番地づけされる列ベクトルの少なくとも一部に基づいて包括的品質値を決定し、（ｆ）該包括的品質値が所定の包括的品質基準を満たすかどうかを決定し、（ｇ）該包括的品質基準が満たされるまで、上記局所的及び包括的品質テストを繰り返すようになされている。

【００３２】出力スコア関数及び決定規則を調整する手段は、所定の繰り返し数の後、上記
包括的品質基準が満たされない場合には上記繰り返しプロセスを停止するように
なされている。好適な実施の形態において、ｎ項組又はＬＵＴを記憶する手段は
、調整された出力スコア関数及び決定規則を記憶する手段と、それまでで最良の
出力スコア関数及び決定規則又はそれまでで最良の分類システム構成値を記憶す
る分離手段とを具備する。ここで、出力スコア関数及び決定規則を調整する手段
は、決定した包括的品質値が、以前に別々に記憶されたそれまでで最良の出力ス
コア関数及び決定規則に対応する包括的品質値よりも包括的品質基準を満たすの
に近い場合、以前に別々に記憶されたそれまでで最良の出力スコア関数及び決定
規則を、得られ、調整された出力スコア関数及び決定規則と置き換えるようにな
されている。すなわち、該システムが所定の繰り返し回数内に包括的品質基準を
満たすことができなくても、該システムは常にこれまでで「最良の」システム構
成を構成することができる。

【００３３】本発明の別の態様によれば、未知のクラスの入力データ例を複数のクラスのう
ちの少なくとも一つに分類するシステムであって、各ｎ項組又はルックアップテーブル（ＬＵＴ）が少なくとも可能なクラスの数のサブセットに対応する多数の行から成り、かつサンプリングされた入力データ例の信号又は要素によって番地づけられる多数の列ベクトルから成り、トレーニング入力データ例の一つ又はそれ以上のセットに基づいて、トレーニングプロセスの間に、決定されたセル値を有する各列ベクトルからなる、ｎ項組又はＬＵＴの数又はセットを記憶する記憶手段と、バリデーション入力データ例の一つ又はそれ以上のセットに基づいて、トレーニング又はバリデーションプロセスの間に決定された各出力スコア関数及び／又は決定規則、一つ又はそれ以上の出力スコア関数及び／又は一つ又はそれ以上の決定規則を記憶する記憶手段と、さらに分類される入力データ例を受入れる入力手段と、受入れた入力データ例をサンプリングし、列ベクトルを記憶されたｎ項組又はＬＵＴのセットに番地づけする手段と、特定のクラスに対応する前記の行をｎ項組又はＬＵＴのセットに番地づけする手段と、記憶された出力スコア関数及び記憶された列ベクトル値の少なくとも一部を用いて出力スコア値を決定する手段と、出力スコア値及び記憶された決定規則に基づいて勝利クラスを決定する手段とを具備するシステムが提供される。

【００３４】列ベクトルのセル値及び本発明による分類システムの出力スコア関数及び／又
は決定規則は、上述のシステムのいずれかによるトレーニングシステムを用いて
決定されることが好ましいことを理解すべきである。従って、列ベクトルのセル
値及び出力スコア関数及び／又は決定規則は、上述の方法のいずれかによるトレ
ーニングプロセスの間に決定することができる。

【００３５】（発明の詳細な説明）以降に、アーキテクチャの列セルのトレーニングプロセスの１例と、分類プロ
セスの１例を含む、本発明による分類システムのアーキテクチャと概念について
より詳細に説明する。さらに、本発明の実施例による出力スコア関数および決定
規則のための学習プロセスの別例についても説明する。

【００３６】

【表１】

【００３７】表記以降の説明および例では、次のような表記を使用している。Ｘ：トレーニングセットｘ^*：トレーニングセットからの例Ｎ_x：トレーニングセットＸ内の例の数ｘ_j ^*：トレーニングセットＸの所定の順番からｊ番目例ｙ^*：特定の例（トレーニングセットの外において可能）Ｃ：クラスラベルＣ（ｘ^*）：例ｘ^*に関連したクラスラベル（真（Ｔｒｕｅ）のクラス）Ｃ_w：分類で得られた勝者クラスＣ_T：分類で得られた真のクラスＮ_c：ＬＵＴ内の行の最大数に対応したトレーニングクラスの数 Ω：ＬＵＴのセット（ＬＵＴの各々は、すべての可能なアドレス列のサブセットを１つだけ含むことができ、また、異なる列は既存のクラスのサブセットのみを登録することができる）。Ｎ_LUT：ＬＵＴの数Ｎ_COL：特定のＬＵＴ内で番地づけすることができる異なる列の数（ＬＵＴに従属）Ｘ_c：クラスＣとラベル付けされたトレーニング例のセット ν_iC：ｉ番目の列とＣ番目のクラスによって番地づけされたセル用のエントリカウンタａ_i（ｙ^*）：例ｙ^*によって番地づけされているｉ番目のＬＵＴ中の列の指数 ν^*：ＬＵＴネットワークのすべてのν_ic要素を含んだベクトルＱ_L：局所的品質関数Ｑ_G：包括的品質関数Ｂ^Ci,Cj：決定規則マトリックスＭ_ci,cj：コストマトリックスＳ・：スコア関数 Γ・：１個抜きクロスバリデーションスコア関数Ｐ：パスマトリックス β^*：パラメータベクトル Ξ：決定規則のセットｄ_c：クラスｃにおけるスコア値Ｄ（・）：決定関数アーキテクチャおよび概念の説明次に、複数のルックアップテーブル（ＬＵＴ）を備えたＲＡＭ分類ネットワー
クのブロック線図を示す図１と、本発明の１実施例による１つのルックアップテ
ーブル（ＬＵＴ）を備えた詳細なブロック線図を示す図２とを参照する。

【００３８】ＲＡＭネットまたはＬＵＴネットは多数のルックアップテーブル（ＬＵＴ）（
１．３）から構成されている。ＬＵＴの数をＮ_LUTと示す。分類されるべき入力
データベクトルｙ^*の1例を、ＬＵＴネットワークの入力モジュール（１．１）に
示すことができる。ＬＵＴの各々は、入力データの1部分をサンプリングするこ
とができ、ここで、異なる数の入力信号を別のＬＵＴ（１．２）にサンプリング
してもよい（原則として、１つのＬＵＴで全入力スペースをサンプリングするこ
とも可能である）。ＬＵＴの出力を、ＲＡＭ分類ネットワークの出力モジュール
（１．５）に供給（１．４）してもよい。

【００３９】図２では、各々のＬＵＴについて、ＬＵＴネットに現れている例のサンプリン
グされた入力データ（２．１）をアドレス選択モジュール（２．２）に供給でき
ることを示している。アドレス選択モジュール（２．２）は、入力データから、
ＬＵＴ内の1つまたはそれ以上の特定の列（２．３）のアドレスを計算すること
ができる。一つの例として入力例ｙ^*によって番地づけされたｉ番目のＬＵＴ内
の列の指数を、ａ_i（ｙ^*）として計算する。特定のＬＵＴ内の番地づけ可能な列
の数はＮ_COLと示され、概して、ＬＵＴによって異なる。ＬＵＴの特定の行内に
記憶されている情報は、特定のクラスＣ（２．４）に対応する。次に、行の最大
数がクラスの数Ｎ_cに対応する。列内のセルの数はＬＵＴ内の行数に対応する。
列ベクトルセルは当該の列のクラス特定エントリカウンタに対応してもよい。ｉ
番目の列とクラスＣによって番地づけされたセルのエントリカウンタ値はν_ic（
２．５）と示される。

【００４０】稼動中ＬＵＴ列（２．６）のν_ic値が、出力モジュール（１．５）に供給（１
．４）され、ここで、各々のクラスについて１つまたはそれ以上の出力スコアが
計算され、また、これらの出力スコアは、多くの決定規則との組合わせにおいて
、勝利クラスを決定する。ｘ^*∈Ｘはトレーニングで使用される入力データ例を示し、ｙ^*はトレーニン
グセットに属さない入力データ例を示すことにする。Ｃ（ｘ^*）はｘ^*が属するク
ラスを示すことにする。次に、ｙ^*に与えられたクラス指定が、各々のクラスに
ついて1つまたはそれ以上の出力スコアを計算することにより得られる。クラス
Ｃについて得た出力スコアは、ｙ^*例によって指定されたν_ic数の関数として計
算されるが、一般に、パラメータβ^*の数にも依存する。クラスｃのｍ番目の出
力スコアをＳ_cm（ν_ic，β^*）と表す。分類は、すべてのクラスから得た出力ス
コアを多数の決定規則と組合わせることによって得られる。決定規則の効果は、
所定の勝者クラス得るために、出力スコア値によって番地づけされるべき出力ス
コアスペース内に範囲を定義することである。決定規則のセットがΞと示され、
決定ボーダのセットに対応する。

【００４１】図３は、本発明によるコンピュータ分類システムのブロック線図の１例を示す
ものである。ここでは、ビデオカメラやデータベースのようなソースが、分類す
べき例を示す１つまたは複数の入力データ信号（３．０）を供給する。これらの
データが、所定の方法で入力データの特徴の抽出、減衰、及び変換が可能なタイ
プのプレ処理モジュール（３．１）に供給される。このようなプレ処理モジュー
ルの1例に、ＦＦＴボード（高速フーリエ変換）がある。次に、変換されたデー
タが、本発明によるＲＡＭネットワークを備えた分類ユニット（３．２）に供給
される。分類ユニット（３．２）は、関連する確実性を備えたランク付けされた
分類リストを出力する。標準のパーソナルコンピュータをプログラミングするた
めの、またはたとえば、ＲＡＭ回路およびデジタル信号プロセッサと組み合わせ
た、プログラム可能なゲートアレーを用いた、ハードウェアデバイスをプログラ
ミングすることにより、分類ユニットを実現することができる。これらのデータ
は、入手した分類をその他の関連情報と組み合わせるコンピュータモジュールと
いった後処理デバイス（３．３）で解釈することができる。最後に、この解釈の
結果が、アクチュエータのような出力デバイス（３．４）に供給される。

【００４２】アーキテクチャのイニシャルトレーニング図４のフローチャートは、本発明の1実施例による列ベクトルエントリカウン
タの決定あるいはセル分布、ν_iC-分布（４．０）のためのワンパス学習スキー
ムまたはプロセスを示し、以下のように説明することができる。１．セル値ν^*をゼロに設定することにより、全てのエントリカウンタまたは
列ベクトルセルをイニシャライズする（４．１）。２．トレーニングセットＸからネットワークに、第1のトレーニング入力例ｘ₁ ^* を与える（４．２，４．３）。３．第1のＬＵＴについて番地づけされた列を計算する（４．４，４．５）。４．ｘ^*のクラスラベルに対応する番地づけされた列の行におけるエントリカ
ウンタに１を足す（全てのＬＵＴにおいてν_ai(x ^* _),C(x ^* ₎を増加する）（４．６
）。５．残りのＬＵＴについてもステップ４を繰り返す（４．７，４．８）。６．残りのトレーニング入力例についてステップ３〜５を繰り返す（４．９，
４．１０）。トレーニング例の数をＮ_xと示す。

【００４３】出力スコア関数と決定規則のイニシャライズトレーニングしたネットワークを分類に使用する前に、出力スコア関数と決定
規則を初期化する必要がある。未知入力例の分類ＬＵＴが定義するべく列セルに対する値を決定するために本発明のＲＡＭネッ
トワークをトレーニングしたら、そのネットワークを、未知の入力データ例を分
類するために使用することができる。

【００４４】本発明による好ましい例において、分類は、決定規則Ξと、出力スコア関数か
ら得た出力スコアとを用いて実行される。Ξと出力スコアを引き出す決定関数を
Ｄ（・）で示す。勝者クラスを次のように表すことができる。

【００４５】

【数１】

【００４６】図６は、分類プロセス（６．０）が実行されるコンピュータ分類システムのオ
ペレーションのブロック線図を示す。このシステムは、例えば光センサシステム
を使用して、1つまたはそれ以上の入力信号を入手する（６．１）。入手した入
力データは、例えば低パスフィルタのような処理モジュールで前処理され（６．
３）、本発明の1実施例によればＬＵＴネットワークである分類モジュール（６
．３）に与えられる。次に、分類モジュールからの出力データが、例えば、サイ
クリック冗長チェック合計を計算するＣＲＣアルゴリズムのような後処理モジュ
ールにおいて後処理され（６．４）、その結果が、モニタ画面のような出力デバ
イスに伝送される。

【００４７】出力スコア関数パラメータβ^*の調整と決定規則Ξの調整通常、最初に決定されるβ^*の値と、ルールΞの最初のセットは、最良な選択
を示さない。そのため、本発明の好ましい実施例によれば、β^*値とΞルールの
最良化あるいは調整を行わなくてはならない。分類システムの性能を向上するべく、パラメータβ^*とルールΞを選択または
調整するために、本発明の1実施例によれば、β^*値とΞルールの性能を測定する
ための適切な品質関数の定義が提案される。これにより、局所的品質関数Ｑ_L（
ν^*，ｘ^*，Ｘ，β^*，Ξ）が定義され、ここで、ν^*はＬＵＴネットワークの全て
のν_ic要素を含んだベクトルを示している。局所的品質関数は、特定な例ｘ^*の
出力分類の確実性測定を行ってもよい。品質値が所定の基準を満たさない場合に
は、品質値に基準を満たさせるように、またはそれに近い状態にするために（こ
れが可能であれば）、β^*値とΞルールが調整される。

【００４８】さらに、包括的品質関数：Ｑ_G（ν^*，Ｘ，β^*，Ξ）を定義することができる
。包括的品質関数は、入力トレーニングセットの性能を全体として測定すること
ができる。図５は、本発明によってβ^*値とΞルールを調整または学習するためのフロー
チャートである。

【００４９】実施例１この例は、決定規則Ξを調整する最適化の方法を示すものである。Ｎ_cトレー
ニングクラスについて考える。クラスラベルｃは１〜Ｎ_cまでの整数である。各
々のクラスｃについて、単出力スコア関数を定義する。

【００５０】

【数２】

【００５１】ここで、δ_i,jはクロネッカーのデルタ（ｉ＝ｊ、または０である場合、δ_i,j＝
１）であり、

【００５２】

【数３】

【００５３】出力スコア関数の式は、パラメータベクトルβ^*によって決定される関数のフ
ァミリーと考えられることを示す。しかしながら、この例は、決定規則Ξを調整
する方法だけを示すものであり、β^*の調整方法ではない。表記を簡単にするた
めに、β^*内の全ての値を１に初期化する。そこで、

【００５４】

【数４】

【００５５】このβ^*の選択で、Ｓｃに考えられる出力値は０〜Ｎ_LUT（両方とも含まれる）の
整数である。与えられたクラスｃの一個抜きクロスバリデーションスコアまたは得票カウン
トは次の通りであり、

【００５６】

【数５】

【００５７】ここで、Ｃ_T（ｘ^*）は例ｘ^*の真のクラスを示す。考えられる全てのクラス間の組合わせ（ｃ₁，ｃ₂）、（ｃ₁∈[１，２，…Ｎ_c]
，ｃ₂∈｛１，２，…Ｎ_c｝）∧（ｃ₁≠ｃ₂）について、２つのクラスでスパンし
たスコアスペース内に適切な決定境界を求めたい。２つの対応した出力スコア値
に適用された所定の決定規則のセットに対応した決定を含むために、すなわち、
クラスｃ₁とクラスｃ₂のどちらが勝つかを求めるために、マトリックスＢ^c1,c2
が定義される。行と列の大きさは、２つの出力スコア値の許容範囲によって与え
られ、つまり、マトリックスの大きさは（Ｎ_LUT＋１）×（Ｎ_LUT＋１）である。
従って、行と列の指数は０〜Ｎ_LUTである。

【００５８】各々のマトリックス要素は３つの値：ｃ₁、ｃ₂、ｋ_AMBのいずれか１つを含ん
でおり、ここで、ｋ_AMBはｃ₁、ｃ₂とは異なる定数である。ここでは、ｋ_AMB＝０
を用いる。クラスｃ₁、クラスｃ₂の各々について求めた２つの出力スコア値Ｓ₁
、Ｓ₂は、マトリックスＢ^c1,c2内の要素ｂ^c1,c2 _s1,s2を、番地づけするために使
われる。番地づけした要素が値ｃ₁を含んでいる場合は、クラスｃ₁がクラスｃ₂
に勝つということである。指定された要素がｃ２を含んでいる場合は、クラスｃ ₂ がクラスｃ₁に勝つということである。最後に、指定された要素が値ｋ_AMBを含
んでいる場合には、決定が不確定であるということである。

【００５９】決定規則はＷＴＡ決定に対応して初期化される。これは、マトリックスＢ^c1,c ² 内の対角線に沿った決定境界を持つことに対応している。要素は、値ｋ_AMBを取
るために、この対角線に沿って初期化される。対角線の上また下において、対向
するクラス値が要素にラベル付けされる。初期化した決定境界を、ν_ai(x ^* _),c値を用いる情報尺度に従って調整する方法
を次に示す。

【００６０】以下に与えられた要素を用いてコストマトリックスＭ^c1,c2を作成する。

【００６１】

【数６】

【００６２】 α_c1,c2は、クラスｃ₁からの1例をクラスｃ₂に分類することに対応したコスト
を示し、α_c2,c1は、これと反対のエラーに関連したコストを示す。そこで、論
理的真が１と表現され、論理的偽が０と表現される。ｍ_0,0〜ｍ_NLUT,NLUTの最小限のコストパスは、以下の擬似コードで示すように
、例えば動的プログラミングアプローチを用いて算出することができる（このコ
ードは、Ｂ^c1,c2と同じ大きさのパスマトリックスＰ^c1,c2を使用する）。

【００６３】

【表２】

【００６４】

【表３】

【００６５】動的プログラミングアプローチは、境界の形状を制約する正則化の項により拡
張することができる。決定境界を求める別の方法には、関連するコストが最小化されるような方法で
、２つの制御点を伴うＢスプラインに当てはまるものがある。上述の方法から求めた決定境界を用いて、ある例を次の方法で分類することが
できる。・スコア値または得票数

【００６６】

【数７】

【００６７】を得るために、この例をネットワークに提示する。・全てのクラスについてスコア値の新規セットｄ_cを定義し、スコアをゼロに
初期化する。

【００６８】

【数８】

【００６９】・可能性のある全てのクラス間の組合わせ（ｃ₁，ｃ₂）をループし、得票値を
更新する。

【００７０】

【数９】

【００７１】

【数１０】

【００７２】上述した方法で求めた決定境界を使った１個抜きクロスバリデーションテスト
が以下の方法で入手することができる。・１個抜きスコア値または得票数

【００７３】

【数１１】

【００７４】を入手するために、例をネットワークに提示する。・全てのクラスについてスコア値の新規セットｄ_cを定義し、このスコアをゼ
ロに初期化する。

【００７５】

【数１２】

【００７６】・可能な全てのクラス間の組合わせ（ｃ₁，ｃ₂）を全てのループし、得票値を
更新する。

【００７７】

【数１３】

【００７８】

【数１４】

【００７９】図５を参照すると、上述の決定規則（境界）Ξのための調整方法は以下の通り
に説明することができる。・全ての値をβ^*を１に設定し、２×２ベースでＷＴＡスキームを選択し、ｎ
項組の分類子を、図４のフローチャートに従ってトレーニングすることによって
システムを初期化する。（５．０）・バッチモード最適化を選択する（５．１）・上述したように１個抜き分類を実行することで、全ての例をテストし（５．
１２）、得られた１個抜きクロスバリデーションエラー率を計算し、これをＱ_G
尺度として使用する。（５．１３）・ β^*の値と、対応するＱ_G値とを、Ξルール（Ｂ^c1,c2マトリックス）と同様
に記憶する。（５．１４）・Ｑ_G値が所定の基準を満たさないか、または、別の停止基準がこの基準を満
たす場合には、上述の動的プログラミングアプローチに従ってΞルールを調整す
る。（５．１６，５．１５）・Ｑ_G値が満たされた、または別の停止基準が基準に合った場合、合計エラー
率がもっとも低い組み合わせを選択する。（５．１７）上述の場合において、別の停止基準として、調整スキームを通る2つのループ
のみを許容する基準を使用する。

【００８０】実施例２この例は、β^*を調整する最適化方法を示す。各々のクラスについて、ここでも単出力スコアを定義する。

【００８１】

【数１５】

【００８２】

【数１６】

【００８３】この例では、β^*＝（ｋ₁，ｋ₂，…，ｋ_Nc）を使用する。さらに、別のクラス
からの出力スコアと比較した際にＷＴＡ決定を記述するために、Ξルールを初期
化する。・全てのｋ_c値を１に設定し、ＷＴＡスキームを選択し、図４のフローチャー
トに従って、ｎ項組の分類子をトレーニングすることによりシステムを初期化す
る。（５．０）・バッチモード最適化を選択する。（５．１）・１個抜きクロスバリデーションテスト（５．１２）を使って、Ｑ_Gとして用
いられる、求めた１個抜きクロスバリデーションエラー率を算出して、全ての例
をテストする。（５．１３）・ β^*の値と対応するＱ_Gの値とを記憶する。（５．１４）・ｋ_cj、ｋ_c1、Ｋ、ｋ_cncの可能な組み合わせを全てループし、ここで、ｋ_j∈
｛１，２，３、…ｋ_MAX｝である。（５．１６，５．１５）・最も低い総エラー率との組み合わせを選択する。（５．１７）実用的な使用について、ｋ_MAX値は、前のクラスの非対称度と、ＲＡＭネット
システムで使用されるアドレス指定ラインの数に依存している。

【００８４】実施例３この例も、β^*の調整方法を最適化する方法について説明しているが、しかし
ここでは局所的品質関数Ｑ_Lを使用している。各クラスに対して、多くの出力スコアに多くの競合クラス、すなわち、Ｎ_c−
１出力スコア、があると定義する。

【００８５】

【数１７】

【００８６】これらのスコア値を用いて、次の方法で決定を行う。・全てのクラスについてスコア値の新規セットｄ_cを定義し、これらのスコア
をゼロに初期化する。

【００８７】

【数１８】

【００８８】・全ての可能なクラス間の組み合わせ（ｃ₁，ｃ₂）をループし、得票値を更新
する。

【００８９】

【数１９】

【００９０】

【数２０】

【００９１】この例では次の式を用いる。

【００９２】

【数２１】

【００９３】さらに、別のクラスからの出力スコアと比較する際にＷＴＡ決定を記述するた
めに、Ξルールを初期化する。・全てのｋ_c1,c2-値を例えば２に設定し、ＷＴＡスキームを選択し、図４のフ
ローチャートに従って、ｎ項組の分類子をトレーニングすることにより、システ
ムを初期化する。（５．０）・バッチモードの最適化と対置するオンラインモードが選択される。（５．１
）・トレーニングセット（５．２，５．７，５．８）の全ての例について、以下
を実行する。・１個抜きクロスバリデーションで勝者クラスＣ_Wを得るために、各例をテス
トする。Ｑ_L-尺度と真のクラスＣ_Tを持ったＣ_Wとを比較する。（５．３、５．４
）・ＣＷ≠Ｃ_Tで１個抜きエラーが生じた場合、ｋ_CW,CTの値とｋ_CW,CTとは、例
えば０．１のように少量だけ増加することによって、また、０．０５のように少
量だけ減少させることによって調整される。調整によって値が１未満になってし
まう場合には、調整は行わない。（５．５，５．６）・全ての例の処理が終わったら、包括的情報尺度Ｑ_G（例えば、１個抜きエラ
ー率）が計算され、β^*とＱ_Gの値が記憶される。（５．９，５．１０）・Ｑ_Gまたは別の停止基準が満たされない場合には、上述のループを繰り返す
。（５．１１）・Ｑ_Gが満たされたか、または別の停止基準が満たされた場合には、記憶され
ているＱ_G値の最良値が、対応するパラメータ値β^*、決定規則Ξと共に選択され
る。（５．１７，５．１８）前述の本発明の好ましい例証的実施例の説明は、例証および説明の目的で行わ
れた。本発明を説明した通りの正確な形式に網羅的であったりまたは制限するこ
とを目的としたものではなく、また、当業者にとって本発明に多くの変更、応用
を加えることが可能である。ここで開示および請求した、基本的な趣旨を保持し
た上でのこのような変更の全ては本発明の範囲内に入るものである。

【図面の簡単な説明】

【図１】ルックアップテーブル（ＬＵＴ）が備えられたＲＡＭ分類ネットワークのブロ
ック線図である。

【図２】本発明の１実施例による単独のルックアップテーブル（ＬＵＴ）の詳細なブロ
ック線図である。

【図３】本発明によるコンピュータ分類システムのブロック線図である。

【図４】本発明の１実施例によるＬＵＴ列セル用の学習プロセスのフローチャートであ
る。

【図５】本発明の１実施例による学習プロセスのフローチャートを示す。

【図６】本発明による分類プロセスのフローチャートを示す。

【手続補正書】

【提出日】平成１３年１月２３日（２００１．１．２３）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ

Claims

【特許請求の範囲】

【請求項１】多数のｎ項組又はルックアップテーブル（ＬＵＴ）から成り
、各ｎ項組又はＬＵＴが少なくとも可能なクラスのサブセットに対応する多数の
行から成り、さらにサンプリングされたトレーニング入力データ例の信号又は要
素によって番地づけられる多数の列から成り、各列が値を有するセルを有するベ
クトルによって定義される、ネットワークによって定義できるコンピュータ分類
システムをトレーニングする方法において、対応するセルアドレスが一つ又はそれ以上のトレーニング入力例のセットから
サンプリングされた回数に基づいた情報を、少なくともセルの一部が具備する又
は示すように、一つ又はそれ以上の異なるクラスのための入力データ例のトレー
ニングセットに基づいて、列ベクトルのセル値を決定することと、少なくとも一つの、クラス当たりの出力スコア値の評価のための一つ又はそれ
以上の出力スコア関数を決定することと、及び／又は、勝利クラスを決定するために得られた出力スコアの少なくとも一部と共同して
用いられる一つ又はそれ以上の決定規則を決定することとを含み、前記出力スコア関数及び／又は決定規則は、前記決定された列ベクトルのセル
値の少なくとも一部の情報に基づいて決定されることを特徴とする方法。
【請求項２】前記出力スコア関数及び／又は決定規則は、入力データ例の
バリデーションセットに基づいて決定されることを特徴とする請求項１に記載の
方法。
【請求項３】前記バリデーションセットは、前記入力データ例のトレーニ
ングセットの少なくとも一部からなることを特徴とする請求項２に記載の方法。
【請求項４】前記出力スコア関数は、パラメータ値のセットによって決定
されることを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項５】前記出力スコア関数及び／又は決定規則の決定は、バリデー
ション例セットに関する性能を評価する情報尺度に基づいており、前記尺度の評
価は好ましくは、１個抜きクロスバリデーションテストであることを特徴とする
請求項１から４のいずれか１項に記載の方法。
【請求項６】出力スコアスペースが、出力スコア値を含んだ出力スコア変
数によって与えられ、かつ前記決定規則は、勝利クラスを得るために得られた出
力スコア値によって番地づけられる前記出力スコアスペースの中に領域を定義す
ることを特徴とする請求項１から５のいずれか１項に記載の方法。
【請求項７】前記出力スコア関数及び／又は決定規則の決定は、前記出力
スコア関数及び／又は決定規則を初期化することからなることを特徴とする請求
項１から６のいずれか１項に記載の方法。
【請求項８】前記出力スコア関数の初期化は、セットアップパラメータの
数を決定することからなることを特徴とする請求項７に記載の方法。
【請求項９】前記出力スコア関数の初期化は、全ての出力スコア関数を所
定のマッピング関数に設定することからなることを特徴とする請求項７又は８に
記載の方法。
【請求項１０】前記決定規則の初期化は、前記決定規則を所定の決定スキ
ームに設定することからなることを特徴とする請求項７から９のいずれか１項に
記載の方法。
【請求項１１】前記出力スコア関数及び／又は決定規則を調整することを
さらに含み、前記調整は、好ましくは情報尺度評価に基づくものであることを特
徴とする請求項１から１０のいずれか１項に記載の方法。
【請求項１２】前記情報尺度評価は、１個抜きクロスバリデーションテス
トであることを特徴とする請求項１１に記載の方法。
【請求項１３】前記調整は、前記セットアップパラメータの値を変化させ
ることからなることを特徴とする請求項８及び請求項１１から１２のいずれか１
項に記載の方法。
【請求項１４】前記列ベクトルのセル値の決定が、（ａ）既知のクラスのトレーニング入力データ例を分類ネットワークへ適用し
それにより、一つ又はそれ以上の列ベクトルを番地づけするトレーニングステッ
プと、（ｂ）前記既知のクラスの行に対応する前記番地づけされた列ベクトルの前記
セルの値又は得票を、好ましくは一つ増分するトレーニングステップと、（ｃ）全てのトレーニング例が前記ネットワークに適用されるまで上記（ａ）
〜（ｂ）のステップを繰り返すトレーニングステップとを含むことを特徴とする請求項１から１３のいずれか１項に記載の方法。
【請求項１５】前記調整プロセスが、前記列ベクトルセル値の少なくとも一部に基づいて包括的品質値を決定するス
テップと、前記包括的品質値が所定の品質基準を満たすかどうかを決定するステップと、前記包括的品質基準が満たされるまで、出力スコア関数の少なくとも一部、及
び／又は前記決定規則の一部を調整するステップとを含むことを特徴とする請求項１１から１４のいずれか１項に記載の方法。
【請求項１６】前記調整プロセスが、（ａ）前記バリデーションセットから入力例を選択するステップと、（ｂ）サンプリングされたバリデーション入力例に応じて、前記番地づけされ
た列セル値の少なくとも一部の関数である局所的品質値を決定するステップと、（ｃ）前記局所的品質値が所定の局所的品質基準を満たすかどうかを決定し、
前記局所的品質基準が満たされない場合、前記出力スコア関数及び／又は決定規
則の一つ又はそれ以上を調整するステップと、（ｄ）所定数のバリデーションセットの例から新たな入力例を選択するステッ
プと、（ｅ）全ての所定のバリデーション入力例について上記の局所的品質テストの
ステップ（ｂ）〜（ｄ）を繰り返すステップと、（ｆ）前記局所的品質テストの間に番地づけされる列ベクトルの少なくとも一
部に基づいて包括的品質値を決定するステップと、（ｇ）前記包括的品質値が所定の包括的品質基準を満たすかどうかを決定する
ステップと、（ｈ）前記包括的品質基準が満たされるまで、上記ステップ（ａ）〜（ｇ）を
繰り返すステップとを含むことを特徴とする請求項１１から１５のいずれか１項に記載の方法。
【請求項１７】前記ステップ（ｂ）〜（ｄ）が前記バリデーションセット
の全ての例について実行されることを特徴とする請求項１６に記載の方法。
【請求項１８】前記局所的及び／又は包括的品質値が前記列セルの少なく
とも一部の関数として定義されることを特徴とする請求項１５から１７のいずれ
か１項に記載の方法。
【請求項１９】前記調整繰り返しプロセスは、所定の繰り返し数の後、前
記品質基準が満たされない場合には停止されることを特徴とする請求項１５から
１８のいずれか１項に記載の方法。
【請求項２０】請求項１から１９のいずれか１項に従って構成されたコン
ピュータ分類システムを用いて入力データ例を複数のクラスのうちの少なくとも
一つに分類する方法であって、これにより、各ｎ項組又はＬＵＴ及び出力スコア
関数及び／又は決定規則のための列セル値が、一つ又はそれ以上の、入力データ
例のトレーニング又はバリデーションセットを用いて決定され、（ａ）分類される入力データ例を前記構成された分類ネットワークへ適用し、
列ベクトルをｎ項組又はＬＵＴのセットに番地づけすることと、（ｂ）出力スコア関数及び決定規則の所定のセットを用いて比較されるクラス
のセットを選択し、特定の行をｎ項組又はＬＵＴのセットに番地づけすることと
、（ｃ）決定した出力スコア関数を用いて、出力スコア値を列ベクトルセルの関
数として決定することと、（ｄ）決定した決定規則を用いて、計算された出力値を比較することと、（ｅ）前記決定規則に従って、勝利するクラスを選択することとを含むことを特徴とする方法。
【請求項２１】記憶された多数のｎ項組又はルックアップテーブル（ＬＵ
Ｔ）から成り、各ｎ項組又はルックアップテーブルが少なくとも可能なクラスの
サブセットに対応する多数の行から成り、かつサンプリングされたトレーニング
入力データ例の信号又は要素によって番地づけられる多数の列から成り、各列が
値を有するセルを有するベクトルによって定義されるネットワークによって定義
できる、コンピュータ分類システムをトレーニングするシステムにおいて、（ａ）既知のクラスのトレーニング入力データ例を受入れる入力手段と、（ｂ）受入れた入力データ例をサンプリングし、列ベクトルを記憶されたｎ項
組又はＬＵＴのセットに番地づけする手段と、（ｃ）既知のクラスに対応する特定の行をｎ項組又はルックアップテーブルの
セットに番地づけする手段と、（ｄ）所定のｎ項組又はＬＵＴを記憶する記憶手段と、（ｅ）対応するセルアドレスが入力例のトレーニングセットからサンプリング
された回数に基づいた情報を含む又は示すように、列ベクトルのセル値を決定す
る手段と、（ｆ）一つ又はそれ以上の出力スコア関数及び／又は一つ又はそれ以上の決定
規則を決定する手段とを含み、前記出力スコア関数及び／又は決定規則の決定手
段が、決定した列ベクトルのセル値の少なくとも一部の情報に基づいて前記関数
及び／又は決定規則を決定するようになされていることを特徴とするシステム。
【請求項２２】前記出力スコア関数の決定手段が、上記関数をパラメータ
値のセットによって決定された出力スコア関数のファミリーから決定するように
なされていることを特徴とする請求項２１に記載のシステム。
【請求項２３】前記出力スコア関数及び／又は決定規則の決定手段が、既
知のクラスの入力データ例のバリデーションセットに基づいて前記関数及び／又
は決定規則を決定するようになされており、前記バリデーションセットが、好ま
しくは列ベクトル値の決定に用いられるトレーニングセットの少なくとも一部か
らなることを特徴とする請求項２１又は２２に記載のシステム。
【請求項２４】前記出力スコア関数及び決定規則の決定手段が、一つ又は
それ以上の出力スコア関数及び／又は決定規則のセットを初期化する手段と、入
力例のバリデーションセットの少なくとも一部を用いて出力スコア関数及び決定
規則を調整する手段とを含むことを特徴とする請求項２１から２３のいずれか１
項に記載のシステム。
【請求項２５】列ベクトルのセル値の決定手段が、それらの値を、対応す
るセルアドレスがトレーニング入力例のセットからサンプリングされた回数の関
数として決定するようになされていることを特徴とする請求項２１から２４のい
ずれか１項に記載のシステム。
【請求項２６】既知のクラスに属するトレーニング入力データ例が前記分
類ネットワークに適用された場合、一つ又はそれ以上の列ベクトルを番地づけし
、前記列ベクトルのセル値の決定手段が、前記既知のクラスの行に対応する前記
番地づけされた列ベクトルのセルの値又は得票を増分するようになされ、前記値
が好ましくは一つ増分されることを特徴とする請求項２１から２５のいずれか１
項に記載のシステム。
【請求項２７】前記出力スコア関数及び／又は決定規則を調整する手段が
、列ベクトルのセル値の少なくとも一部に基づいて包括的品質値を決定し、前記包括的品質値が所定の包括的品質基準を満たすかどうかを決定し、前記包括的品質基準が満たされるまで、前記出力スコア関数及び／又は決定規
則の少なくとも一部を調整するようになされていることを特徴とする請求項２４から２６のいずれか１項に記載のシステム。
【請求項２８】前記出力スコア関数及び決定規則を調整する手段が、（ａ）サンプリングされたバリデーション入力例に応じて、前記番地づけされ
たベクトルのセル値の少なくとも一部の関数である局所的品質値を決定し、（ｂ）前記局所的品質値が所定の局所的品質基準を満たすかどうかを決定し、（ｃ）前記局所的品質基準が満たされていない場合、前記出力スコア関数及び
／又は決定規則の一つ又はそれ以上を調整し、（ｄ）トレーニング入力例の所定数だけ、前記局所的品質テストを繰り返し、（ｅ）前記局所的品質テストの間に番地づけされる列ベクトルの少なくとも一
部に基づいて包括的品質値を決定し、（ｆ）前記包括的品質値が所定の包括的品質基準を満たすかどうかを決定し、（ｇ）前記包括的品質基準が満たされるまで、前記局所的及び包括的品質テス
トを繰り返すようになされていることを特徴とする請求項２４から２７のいずれか１項に記載のシステム。
【請求項２９】前記出力スコア関数及び決定規則を調整する手段が、所定の繰り返し数の後、前記包括的品質基準が満たされない場合には上記繰り返
しプロセスを停止するようになされていることを特徴とする請求項２７又は２８
に記載のシステム。
【請求項３０】前記ｎ項組又はＬＵＴを記憶する手段が、調整された出力
スコア関数及び決定規則を記憶する手段と、それまでで最良の出力スコア関数及
び決定規則又はそれまでで最良の分類システム構成値を記憶する分離手段とを含
むことを特徴とする請求項２１から２９のいずれか１項に記載のシステム。
【請求項３１】前記出力スコア関数及び決定規則を調整する手段は、決定
した包括的品質値が、以前に別々に記憶されたそれまでで最良の出力スコア関数
及び決定規則に対応する包括的品質値よりも包括的品質基準を満たすのに近い場
合、以前に別々に記憶されたそれまでで最良の出力スコア関数及び決定規則を、
得られ、調整された出力スコア関数及び決定規則と置き換えるようになされてい
ることを特徴とする請求項３０記載のシステム。
【請求項３２】未知のクラスの入力データ例を複数のクラスのうちの少な
くとも一つに分類するシステムにおいて、各ｎ項組又はルックアップテーブル（ＬＵＴ）が少なくとも可能なクラスの数のサブセットに対応する多数の行から成り、かつサンプリングされた入力データ例の信号又は要素によって番地づけられる多数の列ベクトルから成り、かつトレーニング入力データ例の一つ又はそれ以上のセットに基づいて、トレーニングプロセスの間に、決定された、セル値を有する各列ベクトルから成るｎ項組又はルックアップテーブルの数又はセットを記憶する記憶手段と、さらにバリデーション入力データ例の一つ又はそれ以上のセットに基づいて、トレーニング又はバリデーションプロセスの間に各出力スコア関数及び／又は決定規則が決定される、一つ又はそれ以上の出力スコア関数及び／又は一つ又はそれ以上の決定規則を記憶する記憶手段と、分類される入力データ例を受入れる入力手段と、受入れた入力データ例をサンプリングし、列ベクトルを記憶されたｎ項組又はルックアップテーブルのセットに番地づけする手段と、特定のクラスに対応する特定の行をｎ項組又はＬＵＴのセットに番地づけする手段と、記憶された出力スコア関数及び記憶された列ベクトル値の少なくとも一部を用いて出力スコア値を決定する手段と、及び出力スコア値及び記憶された決定規則に基づいて勝利クラスを決定する手段とを含むことを特徴とするシステム。
【請求項３３】請求項２１から３１のいずれか１項によるトレーニングシ
ステムを用いて、前記列ベクトルのセル値及び前記分類システムの出力スコア関
数及び／又は決定規則が決定されることを特徴とする請求項３２に記載のシステ
ム。
【請求項３４】請求項１から１９のいずれか１項によるトレーニングプロ
セスの間に、前記列ベクトルのセル値及び前記出力スコア関数及び／又は決定規
則が決定されることを特徴とする請求項３２に記載のシステム。