JP2003030656A

JP2003030656A - 追加学習可能なパターン分離装置

Info

Publication number: JP2003030656A
Application number: JP2001212947A
Authority: JP
Inventors: Horyo Ro; 宝糧呂; Michinori Ichikawa; 道教市川
Original assignee: RIKEN Institute of Physical and Chemical Research
Current assignee: RIKEN Institute of Physical and Chemical Research
Priority date: 2001-07-13
Filing date: 2001-07-13
Publication date: 2003-01-31
Also published as: US20030050719A1

Abstract

(57)【要約】【課題】学習収束性を保証し、また、学習時間を大幅に
短縮することのできる追加学習可能なパターン分離装置
を提供する。【解決手段】多組間の分離の問題を２組間の分離の副問
題に分割し、２組間の分離の副問題を各組に含まれる多
要素の入力データ間の線形分離問題に分割し、多要素の
入力データ間の線形分離問題に分割した分離結果を最小
値演算と最大値演算とを用いて２組間の分離の副問題に
統合し、２組間の分離の副問題への統合によって得られ
た結果を最小値演算を用いて多組間の分離の問題に統合
するパターン分離装置において、新しい入力データを追
加するときに、新しい入力データと新しい入力データの
入力以前に学習された入力データとの間を分離する線形
分離を行う線形分離手段と、線形分離手段の分離結果を
２組間の分離の副問題に統合する統合手段とを追加す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、追加学習可能なパ
ターン分離装置に関し、さらに詳細には、画像や音声か
ら一次的な処理によって得られる多要素の入力データを
元に、当該画像や音声をその意味や階級やカテゴリーに
応じてパターンを組分けして分離することのできる追加
学習可能なパターン分離装置に関する。

【０００２】

【従来の技術】一般に、パターン分離装置において、分
離すべきパターンを学習するには、見本となる既知の入
力を数種与え、学習によって分離するパターン間の境界
をパターン装置内部に記憶させる必要がある。

【０００３】ところで、見本となる既知の入力を数種与
え、学習によって分離するパターン間の境界をパターン
装置内部に記憶させる際には、次の２つの問題が存在す
る。

【０００４】まず、第１の問題は、分離すべきパターン
の境界が複雑、即ち、線形分離不可能な場合には、学習
により完全分離の解に到達できない場合があるというこ
とである。つまり、分離すべきパターンの境界が線形分
離不可能なときは、学習収束性が保証されていないとい
う問題があった。

【０００５】次に、第２の問題は、分離すべきパターン
が少数の場合は学習に要する時間はそれほど問題になる
ことはないが、分離すべきパターンが多数になると学習
に要する時間が非常に長くなるということである。つま
り、分離すべきパターンが多数の場合には、学習時間が
長時間に及ぶようになって実用上の大きな問題となって
いた。

【０００６】

【発明が解決しようとする課題】本発明は、上記したよ
うな従来の技術の有する種々の問題点に鑑みてなされた
ものであり、その目的とするところは、学習収束性を保
証した追加学習可能なパターン分離装置を提供しようと
するものである。

【０００７】また、本発明の目的とするところは、学習
時間を大幅に短縮することのできる追加学習可能なパタ
ーン分離装置を提供しようとするものである。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明による追加学習可能なパターン分離装置は、
以下のようにしてなされたものである。

【０００９】即ち、本発明による追加学習可能なパター
ン分離装置は、多数のパターン間の分離問題を多数の２
つの入力データ間の線形分離処理を組み合わせて実現す
ることにより、学習収束性を保証するようにしたもので
ある。

【００１０】また、本発明による追加学習可能なパター
ン分離装置は、上記した線形分離処理の組み合わせ構造
に適した追加学習の手法を用いることにより、学習時間
を大幅に短縮するようにしたものである。

【００１１】ここで、本発明における多数の線形分離処
理は、２つの入力データを用いて行うものであって、反
復的学習を行うものではないので、学習時間は非常に短
くて済む。

【００１２】さらに、本発明における追加学習の手法
は、極めて簡単な規則（後述する「最小原理」と「最大
原理」である。）を用いるものであるので、アルゴリズ
ム化が簡単であり、かつ、全体の再計算を行う必要が無
く、追加入力パターンに関連した部分の修正計算あるい
は処理の追加を行うだけでよい。

【００１３】こうした本発明によれば、数百万の学習デ
ータからなる数千種の異なる組を正確に分離する装置を
構成することが可能であり、さらに、状況に応じて装置
に新しい学習データや新しい組を追加することが可能と
なる。

【００１４】なお、上記したように、本発明による追加
学習可能なパターン分離装置は、アルゴリズム化が簡単
であるので、電子回路やコンピュータを用いて容易に構
成することができる。

【００１５】即ち、本発明のうち請求項１に記載の発明
は、多組間の分離の問題を２組間の分離の副問題に分割
し、上記２組間の分離の副問題を各組に含まれる多要素
の入力データ間の線形分離問題に分割し、上記多要素の
入力データ間の線形分離問題に分割した分離結果を上記
２組間の分離の副問題に統合し、上記２組間の分離の副
問題への統合によって得られた結果を上記多組間の分離
の問題に統合するパターン分離装置において、新しい入
力データを追加するときに、上記新しい入力データと上
記新しい入力データの入力以前に学習された入力データ
との間を分離する線形分離を行う線形分離手段と、上記
線形分離手段の分離結果を２組間の分離の副問題に統合
する統合手段とを追加するようにしたものである。

【００１６】また、本発明のうち請求項２に記載の発明
は、多組間の分離の問題を２組間の分離の副問題に分割
し、前記２組間の分離の副問題を各組に含まれる多要素
の入力データ間の線形分離問題に分割し、前記多要素の
入力データ間の線形分離問題に分割した分離結果を前記
２組間の分離の副問題に統合し、前記２組間の分離の副
問題への統合によって得られた結果を前記多組間の分離
の問題に統合するパターン分離装置において、新しい入
力データを追加するときに、前記新しい入力データと前
記新しい入力データの入力以前に学習された入力データ
との間を分離する線形分離を行う線形分離手段と、前記
線形分離手段の分離結果を２組間の分離の副問題に統合
する第１の統合手段と、前記統合手段による前記２組間
の分離の副問題への統合によって得られた結果を多組間
の分離の問題に統合する第２の統合手段とを追加するよ
うにしたものである。

【００１７】ここで、上記新しい入力データの追加学習
は、本発明のうち請求項３に記載の発明のように、パタ
ーン分離動作中に行うようにすることができる。

【００１８】

【発明の実施の形態】以下、添付の図面を参照しなが
ら、本発明による追加学習可能なパターン分離装置の実
施の形態の一例を詳細に説明するものとする。

【００１９】まず、はじめに、本発明による追加学習可
能なパターン分離装置の基盤となる原理について説明す
る。

【００２０】（１）パターン分離問題の基本的理解パターン分離とは、画像や音声、脳波などの生信号の入
力信号（例えば、画像であれば２次元ビットマップ情報
であり、また、音声や脳波であれば波形情報が一般的で
ある。）から一次処理を施した多要素の数値情報（例え
ば、画像であればエッジを検出した線分情報や２次元フ
ーリエ変換の結果から主成分を抽出したものなどであ
り、また、音声や脳波であれば主周波数の倍波スペクト
ルなどが一般的である。）を意味やカテゴリーあるいは
階級などに応じて区別・分離することを意味する。

【００２１】また、ＤＮＡ塩基配列情報のように、生信
号を一次処理をしないでも直接に多要素の数値情報が存
在し、類似性に従った分類をするというような課題も同
じ方法により解決策を提供できるので、広い意味でパタ
ーン分離問題と見なすことができる。

【００２２】パターン分離装置の入力データとなる多要
素の数値情報の次元数は問題によって様々であるが、以
下においては理解を容易にするために、２要素（２次
元）の場合を例にして説明する。

【００２３】線形分離可能な問題に対しては、２次元の
平面が1次元の線で分離できるように、多次元の場合に
は１つ次元の下がった超平面により分離することができ
る。

【００２４】図１の符号１１においては、Ａ、Ｂおよび
Ｃの３つの組（本明細書においては、「組」（ｃｌａｓ
ｓ）を分類、カテゴリー、階級を総称するものとして定
義する。）に属する各４個、合計１２個の入力データの
２次元マップ上での分布を各文字が示している。この図
１において、点線で示されているのがこの３つの組を分
離するための境界線である。一般にこのような境界線は
複雑な曲線であって、この境界線を入力データから直接
に求めることは困難であるので、従来においてはニュー
ラル・ネットワークを用いた反復計算による学習などで
求めるようになされている。

【００２５】本発明の基盤となる原理は、この複雑な曲
線を直線の組み合わせで表現する手法にある。その手法
によれば、一切の繰り返し計算を行うことなく、確実に
境界を得ることができる。この本発明の基盤となる原理
は、本願発明者らが学術論文（「ＩＥＥＥＴＲＡＮＳ
ＡＣＴＩＯＮＳＯＮＮＥＵＲＡＬＮＥＴＷＯＲＫ
Ｓ，ＶＯＬ．１０，ＮＯ．５，ＳＥＰＴＥＭＢＥ
Ｒ１９９９，ｐ１２４４−ｐ１２５６」を参照す
る。）としてすでに開示しているが、本発明の理解のた
めには不可欠であるので、添付の図面を参照しながら、
以下に詳細に説明する。

【００２６】図２には、上記論文に示された本発明の基
盤となる原理に基づく追加学習可能なパターン分離装置
の概念図が示されている。

【００２７】この図２に示す追加学習可能なパターン分
離装置は、既知の入力データＸと、その入力データＸが
分類されるべき組

【数１】とを同時に入力して内部で学習し、学習を完了した場合
には、未知の入力データXだけを入力すると、パターン
分離結果をＹとして出力することができるものである。

【００２８】この追加学習可能なパターン分離装置は、
多組間分離問題を２組間分離問題へ分割する処理を行う
ための構成と、さらに２組間分割問題を線形分離可能な
問題に分割する処理を行うための構成と、線形分離問題
の学習（異なる組に属する入力データ間の１対１の線形
分離問題の学習）の処理を行うための構成と、線形分離
可能な問題を最小値演算と最大値演算とによって２組間
分割問題に統合する処理を行うための構成と、２組間分
離問題を最小値演算によって多組間分離問題に統合する
処理を行うための構成とが設けられている。これらの分
割の手法や統合の手法を制御するものが、「最小原理」
と「最大原理」とに基づく制御の手法である。

【００２９】本発明による追加学習可能なパターン分離
装置は、追加学習に関わる処理を付加するに際してこの
制御の手法を用いることにより、学習収束性を保証する
とともに学習時間を大幅に短縮するようにしたものであ
る。

【００３０】（２）多組間分離問題の２組間分離問題へ
の分割と統合本発明による追加学習可能なパターン分離装置は、複雑
な問題をそれよりは簡単な副問題に分割して処理するよ
うにしている。

【００３１】図１の符号１２、符号１３ならびに符号１
４はそれぞれ、符号１１に示した境界の中でそれぞれ次
のように分離する境界のみを示すものである。即ち、符
号１２は、符号１１に示した境界の中でＡ組に属するも
のとそうではないもの（この場合には、Ｂ組あるいはＣ
組に属するものである。）とに分離する境界を示してい
る。同様に、符号１３は、符号１１に示した境界の中で
Ｂ組に属するものとそうではないもの（この場合には、
Ａ組あるいはＣ組に属するものである。）とに分離する
境界を示し、また、符号１３は、符号１１に示した境界
の中でＣ組に属するものとそうではないもの（この場合
には、Ａ組あるいはＢ組に属するものである。）とに分
離する境界を示している。

【００３２】以上のような処理を行うことにより、符号
１１に示に示す複雑なパターン分離問題は、より簡単な
３つの副分離問題に分割することができる。この副分離
問題は、ある組に所属するかしないかという２分離問題
である。

【００３３】符号１２、符号１３ならびに符号１４にお
ける白抜きの領域は、それぞれの組（符号１２において
はＡ組であり、符号１３においてはＢ組であり、符号１
４においてはＣ組である。）に属する領域を示してい
る。

【００３４】この図１においては、それぞれの組に属す
る（真）、あるいは、属さない（偽）という２値化した
表現で示されているが、一般的には類似の程度を示す連
続的な値をとることもある。例えば、０から１の連続値
で表すならば、符号１２に関しては、Ａの入力データの
近傍では１に近く、境界に近い部分では０．５に近く、
Ｂの入力データの近傍では０に近いというようになる。

【００３５】なお、上記したような連続値をとる場合の
具体的な数値は、分離に用いる関数などで決定される。
ただし、本発明による追加学習可能なパターン分離装置
を理解するには、２値化した場合の表現で必要かつ十分
であるので、以下の説明においては、本発明の理解を容
易にするために２値化した場合の表現を用いることとす
る。

【００３６】ここで、上記した符号１２、符号１３なら
びに符号１４に示す３つ副分離問題は、さらに図３の符
号３０２乃至符号３０７に示した６つの副分離問題に分
割することができる。即ち、符号３０２の副分離問題
は、符号３０１に示す元の分離問題からＣ組に属するも
のを取り除き（より正確にはＣ組に属するものの存在を
無視して）、Ａ組に属するものとＢ組に属するものとを
分離するものであり、符号３０２における白抜きの領域
がＡ組の領域である。同様に、符号３０５の副分離問題
は、符号３０１に示す元の分離問題からＢ組に属するも
のを取り除き（より正確にはＢ組に属するものの存在を
無視して）、Ａ組に属するものとＣ組に属するものとを
分離するものであり、符号３０５における白抜きの領域
がＡ組の領域である。さらに、符号３０６の副分離問題
は、符号３０１に示す元の分離問題からＡ組に属するも
のを取り除き（より正確にはＡ組に属するものの存在を
無視して）、Ｂ組に属するものとＣ組に属するものとを
分離するものであり、符号３０６における白抜きの領域
がＢ組の領域である。

【００３７】図３から明らかなように、符号３０３は符
号３０２の反対の関係にあり、符号３０３はＢ組に属す
るものとＡ組に属するものとを分離するものであり、符
号３０３における白抜きの領域がＢ組の領域である。同
様に、符号３０４は符号３０５の反対の関係にあり、符
号３０４はＣ組に属するものとＡ組に属するものとを分
離するものであり、符号３０４における白抜きの領域が
Ｃ組の領域である。さらに、符号３０７は符号３０６の
反対の関係にあり、符号３０７はＣ組に属するものとＢ
組に属するものとを分離するものであり、符号３０７に
おける白抜きの領域がＣ組の領域である。

【００３８】ここで、Ａ組へ所属するものとして分離す
ることを示す符号３０２（Ａ組とＢ組との分離）と符号
３０５（Ａ組とＣ組との分離）との白抜き領域の共通部
分を求めると、符号３１１に示したＡ組を他の組から分
離するという境界が得られる。この共通部分は、それぞ
れに分割した副分離問題の最小値を求めることで得られ
ものであり、符号３０８に示した最小値演算子（ＭＩ
Ｎ）を作用させることにより得られる。

【００３９】最小値演算子３０８による最小値演算は、
符号３０２と符号３０５との白抜きの領域（真）と灰色
の領域（偽）とのように２値化した境界領域を対象とす
る場合には、論理演算のＡＮＤ（論理積）と等価であ
る。

【００４０】同様にして、符号３０９に示した最小値演
算子（ＭＩＮ）を用いて、符号３０３（Ｂ組とＡ組との
分離）と符号３０６（Ｂ組とＣ組との分離）との白抜き
領域の共通部分を求めると、符号３１２に示したＢ組を
他の組から分離するという境界が得られる。さらに、符
号３１０に示した最小値演算子（ＭＩＮ）を用いて、符
号３０４（Ｃ組とＡ組との分離）と符号３０７（Ｃ組と
Ｂ組との分離）との白抜き領域の共通部分を求めると、
符号３１３に示したＣ組を他の組から分離するという境
界が得られる。

【００４１】これら符号３１１、符号３１２ならびに符
号３１３は、図１に示す符号１２、符号１３ならびに符
号１４とそれぞれ等価である。即ち、元の分離問題を副
分離問題にそれぞれ分割して、分割した副分離問題の最
小値をとるという処理によって、副分離問題に分割した
ものを統合することができる。

【００４２】図４には、図３に示す手法の処理を実現す
るためのブロック構成図が示されている。

【００４３】図４において、入力データをＸ（符号４０
１）とすると、モジュール４０２は、入力データＸをＡ
組とＢ組とに分離するモジュールであり、入力データＸ
がＡ組に属する時に１（真）を出力し、入力データＸが
Ｂ組に属する時に０（偽）を出力する。これは、図３に
おける符号３０２に対応する出力を得るための回路であ
る。

【００４４】同様に、モジュール４０３は、入力データ
ＸをＡ組とＣ組とに分離するモジュールであり、入力デ
ータＸがＡ組に属する時に１（真）を出力し、入力デー
タＸがＣ組に属する時に０（偽）を出力する。これは、
図３における符号３０５に対応する出力を得るための回
路である。

【００４５】さらに、モジュール４０７は、入力データ
ＸをＢ組とＣ組とに分離するモジュールであり、入力デ
ータＸがＢ組に属する時に１（真）を出力し、入力デー
タＸがＣ組に属する時に０（偽）を出力する。これは、
図３における符号３０６に対応する出力を得るための回
路である。

【００４６】一方、モジュール４０５は、入力データＸ
をＢ組とＡ組とに分離するモジュールであり、入力デー
タＸをＡ組とＢ組とに分離するモジュール４０２と同一
の機能を備えたモジュール４０２’、即ち、入力データ
ＸをＡ組とＢ組とに分離するモジュール４０２’の出力
を反転することにより得られるので、モジュール４０
２’の後段に反転器（インバータ：ＩＮＶ）４０６が設
けられている。この反転器４０６は、モジュール４０
２’の「１」の出力を「０」に変換して出力し、モジュ
ール４０２’の「０」の出力を「１」に変換して出力す
る（なお、反転器（インバータ：ＩＮＶ）の出力値は、
０から１の連続値の場合には、「反転器の出力値＝１−
反転器への入力値」である。）。これは、図３における
符号３０３に対応する出力を得るための回路である。

【００４７】ここで、モジュール４０２とモジュール４
０２’とは同一の機能を実現するものであるので、実際
の回路構成においては、モジュール４０２の出力をモジ
ュール４０２’の出力として用いるように構成すること
により、Ｂ組とＡ組とを分離するモジュール４０５の構
成要素としてモジュール４０２’を別途配設する必要は
ない。

【００４８】同様に、モジュール４０９は、入力データ
ＸをＣ組とＡ組とに分離するモジュールであり、入力デ
ータＸをＡ組とＣ組とに分離するモジュール４０３と同
一の機能を備えたモジュール４０３’、即ち、入力デー
タＸをＡ組とＣ組とに分離するモジュール４０３’の出
力を反転することにより得られるので、モジュール４０
３’の後段に反転器（インバータ：ＩＮＶ）４１０が設
けられている。この反転器４１０は、モジュール４０
３’の「１」の出力を「０」に変換し、モジュール４０
３’の「０」の出力を「１」に変換する。これは、図３
における符号３０４に対応する出力を得るための回路で
ある。

【００４９】ここで、モジュール４０３とモジュール４
０３’とは同一の機能を実現するものであるので、実際
の回路構成においては、モジュール４０３の出力をモジ
ュール４０３’の出力として用いるように構成すること
により、Ｃ組とＡ組とを分離するモジュール４０９の構
成要素としてモジュール４０３’を別途配設する必要は
ない。

【００５０】さらに、モジュール４１２は、入力データ
ＸをＣ組とＢ組とに分離するモジュールであり、入力デ
ータＸをＢ組とＣ組とに分離するモジュール４０７と同
一の機能を備えたモジュール４０７’、即ち、入力デー
タＸをＢ組とＣ組とに分離するモジュール４０７’の出
力を反転することにより得られるので、モジュール４０
７’の後段に反転器（インバータ：ＩＮＶ）４１３が設
けられている。この反転器４１３は、モジュール４０
７’の「１」の出力を「０」に変換し、モジュール４０
７’の「０」の出力を「１」に変換する。これは、図３
における符号３０７に対応する出力を得るための回路で
ある。

【００５１】ここで、モジュール４０７とモジュール４
０７’とは同一の機能を実現するものであるので、実際
の回路構成においては、モジュール４０７の出力をモジ
ュール４０７’の出力として用いるように構成すること
により、Ｃ組とＡ組とを分離するモジュール４１２の構
成要素としてモジュール４０７’を別途配設する必要は
ない。

【００５２】次に、最小値演算子である最小値演算ユニ
ット４０４は、モジュール４０２の出力とモジュール４
０３の出力との論理積を得て、モジュール４０２の出力
とモジュール４０３の出力とを統合し、Ａ組の分離結果
Ｙ_１を出力する。

【００５３】同様に、最小値演算子である最小値演算ユ
ニット４０８は、モジュール４０５の出力とモジュール
４０７の出力との論理積を得て、モジュール４０５の出
力とモジュール４０７の出力とを統合し、Ｂ組の分離結
果Ｙ_２を出力する。

【００５４】さらに、最小値演算子である最小値演算ユ
ニット４１１は、モジュール４０９の出力とモジュール
４１２の出力との論理積を得て、モジュール４０９の出
力とモジュール４１２の出力とを統合し、Ｃ組の分離結
果Ｙ_３を出力する。

【００５５】上記のようにして、Ａ組の分離結果Ｙ_１、
Ｂ組の分離結果Ｙ_２およびＣ組の分離結果Ｙ_３が得られ
る。

【００５６】以上において説明したように、入力データ
を多数の組に分離する問題においては、その中の２組の
関係だけに注目して問題を分割することができ、その分
割した問題の結果の最小値を取ることで統合して元の問
題を解決することができる。

【００５７】（３）２組間分離問題のデータ間の１対１
線形分離問題への分割とその統合２組間分離問題は、一般に線形分離は不可能である。さ
らに、この問題を分割して線形分離可能な問題に帰着さ
せることを検討する。

【００５８】図５には、Ａ組とＢ組との２組間分離問題
の分割方法が示されている。入力データＢ１がＡ組に入
り込んだような形になっているので線形分離は不可能で
ある。

【００５９】この問題は、Ａ組に属する入力データ４個
とＢ組に属する入力データ４個とから構成されているの
で、この各データの関係はその積の１６通り存在する。
その１６通りの全ての場合について、組に１つのデータ
しかないより簡単な２組間分離問題に分割すると考え
て、分離境界と領域とを求める。

【００６０】まず、符号５０４に示されているものは、
入力データＡ１と入力データＢ１との２つのデータの間
を分離する直線により分離される領域である。このよう
に分離すべきデータが２つであり、かつ、それが異なる
組に属している場合には、必ず線形分離が可能であり、
直線あるいは単純な超平面によって線形分離することが
できる。この例の場合に最も妥当な分離境界の直線は、
分離すべき２点を結ぶ直線に直交し、これら２点から等
距離にある線である。同様に、他の１５通りの場合につ
いても、符号５０５乃至符号５１９に示したようにし
て、線形分離することができる。

【００６１】ここで、符号５０４、符号５０８、符号５
１２ならびに符号５１６に示すものは、いずれも入力デ
ータＡ１の分離に関わった分離問題の解である。従っ
て、最小値演算ユニット５２０によって、これら４つの
符号５０４、符号５０８、符号５１２ならびに符号５１
６を最小値演算することで統合し、入力データＡ１と入
力データＢの組との分離問題の解（符号５２４）を得る
ことができる。

【００６２】同様に、符号５０５、符号５０９、符号５
１３ならびに符号５１７に示すものは、いずれも入力デ
ータＡ２の分離に関わった分離問題の解である。従っ
て、最小値演算ユニット５２１によって、これら４つの
符号５０５、符号５０９、符号５１３ならびに符号５１
７を最小値演算することで統合し、入力データＡ２と入
力データＢの組との分離問題の解（符号５２５）を得る
ことができる。

【００６３】さらに、符号５０６、符号５１０、符号５
１４ならびに符号５１８に示すものは、いずれも入力デ
ータＡ３の分離に関わった分離問題の解である。従っ
て、最小値演算ユニット５２２によって、これら４つの
符号５０６、符号５１０、符号５１４ならびに符号５１
８を最小値演算することで統合し、入力データＡ３と入
力データＢの組との分離問題の解（符号５２６）を得る
ことができる。

【００６４】さらにまた、符号５０７、符号５１１、符
号５１５ならびに符号５１９に示すものは、いずれも入
力データＡ４の分離に関わった分離問題の解である。従
って、最小値演算ユニット５２３によって、これら４つ
の符号５０７、符号５１１、符号５１５ならびに符号５
１９を最小値演算することで統合し、入力データＡ４と
入力データＢの組との分離問題の解（符号５２７）を得
ることができる。

【００６５】次に、入力データＡ１、入力データＡ２、
入力データＡ３ならびに入力データＡ４の各点と入力デ
ータＢの組との分離問題の解をそれぞれ示す符号５２
４、符号５２５、符号５２６および符号５２７を、最大
値演算ユニット（ＭＡＸ）５２８を用いて最大値演算し
て統合すると、符号５２９に示した入力データＡの組と
入力データＢの組との分離問題の解が得られる。

【００６６】ここで、最大値演算ユニット（ＭＡＸ）５
２８によって行う最大値演算は、２値化された分離領域
を対象とするならば、論理演算のＯＲ（論理和）と等価
である。

【００６７】符号５２９と図３の符号３０２と比較する
と、符号５２９は直線により近似されているが、符号３
０２と類似した境界線と領域とが得られていることが分
かる。同様の処理をＡ組とＣ組との分離ならびにＢ組と
Ｃ組との分離に適応すれば、図３の符号３０５ならびに
符号３０６に対応した組対組の２分割問題は全て入力デ
ータ間の１対１線形分離問題の最小値（あるいは論理
積）とその結果の最大値（あるいは論理和）とによる統
合によって得ることができる。

【００６８】この性質は数学的に証明可能であり、その
点は発明者らの論文（「Ｐｒｏｃ．ｏｆＩＥＥＥ／Ｉ
ＮＮＳＩＪＣＮＮ，ｐ１５９−ｐ１６４」を参照す
る。）に示されている。

【００６９】図６には、図５に示す分離を処理するため
に必要なモジュールのブロック構成図が示されている。

【００７０】モジュール６０１は、入力データＡ１と入
力データＢ１との１対１線形分離を行うモジュールであ
る。このモジュール６０１は、図５の符号５０４の処理
を実現するためのモジュールであり、モジュール６０１
の出力は、入力データＡ１と入力データＢ１とを線また
は超平面によって１対１線形分離し、入力データＡ１に
近い側で１となり、入力データＢ１に近い側で０とな
る。

【００７１】同様に、モジュール６０２は、入力データ
Ａ１と入力データＢ２との１対１線形分離を行うモジュ
ールであり、また、モジュール６０３は、入力データＡ
１と入力データＢ３との１対１線形分離を行うモジュー
ルであり、また、モジュール６０４は、入力データＡ１
と入力データＢ４との１対１線形分離を行うモジュール
であって、それぞれデータＡ１に近い側で１を出力し、
入力データＢ２、Ｂ３またはＢ４に近い側で０を出力す
る。

【００７２】そして、最小値演算ユニット６１７によ
り、モジュール６０１、モジュール６０２、モジュール
６０３およびモジュール６０４の４つのモジュールの出
力の共通部分を統合する（２値化出力の場合には、ＡＮ
Ｄ（論理積）、で統合する。）。

【００７３】同様に、モジュール６０５、モジュール６
０６、モジュール６０７およびモジュール６０８のそれ
ぞれにおいて、入力データＡ２と入力データＢ１、入力
データＢ２、入力データＢ３ならびに入力データＢ４と
のそれぞれの１対１線形分離の処理を行い、最小値演算
ユニット６１８により統合する。

【００７４】さらに、モジュール６０９、モジュール６
１０、モジュール６１１およびモジュール６１２のそれ
ぞれにおいて、入力データＡ３と入力データＢ１、入力
データＢ２、入力データＢ３ならびに入力データＢ４と
のそれぞれの１対１線形分離の処理を行い、最小値演算
ユニット６１９により統合する。

【００７５】さらにまた、モジュール６１３、モジュー
ル６１４、モジュール６１５およびモジュール６１６の
それぞれにおいて、入力データＡ４と入力データＢ１、
入力データＢ２、入力データＢ３ならびに入力データＢ
４とのそれぞれの１対１線形分離の処理を行い、最小値
演算ユニット６２０により統合する。

【００７６】ここで、最大値演算ユニット６２１によっ
て、これら４つ最小値演算ユニット６１７、最小値演算
ユニット６１８、最小値演算ユニット６１９および最小
値演算ユニット６２０のそれぞれの統合結果を統合すれ
ば、入力データＡの組と入力データＢの組との２組間分
離問題を解く上位のモジュールを構成することができ
る。なお、この２組間分離問題を解く上位のモジュール
を、２組間分離モジュールＭ_Ａ，Ｂと称することとす
る。

【００７７】入力データＡの組と入力データＣの組との
２組間分離問題および入力データＢの組と入力データＣ
の組との２組間分離問題を解く上位のモジュールとし
て、図６に示す２組間分離モジュールＭ_Ａ，Ｂと同様の
２組間分離モジュールをそれぞれ構成して、それぞれ２
組間分離モジュールＭ_Ａ，Ｃ、２組間分離モジュールＭ
_Ｂ，Ｃとする。

【００７８】上記のようにして構成した２組間分離モジ
ュールＭ_Ａ，Ｂを図４に示すモジュール４０２として用
い、また、２組間分離モジュールＭ_Ａ，ｃを図４に示す
モジュール４０３として用い、また、２組間分離モジュ
ールＭ_Ｂ，ｃを図４に示すモジュール４０７として用い
る。

【００７９】ここで、モジュール４０２とモジュール４
０２’とは等価でありまた、モジュール４０３とモジュ
ール４０３’とは等価であり、また、モジュール４０７
とモジュール４０７’とは等価であるので、これらを使
用すれば、入力データＸ（４０１）をＹ_１、Ｙ_２、Ｙ_３
に組分けするパターン分離装置を構成することができ
る。

【００８０】以上の説明は、３つの組があって、各組に
４個の入力データがある場合に関するものであるが、こ
のパターン分離装置は組数、データ数について一般化す
ることが可能である。

【００８１】即ち、ｋ個の組からなり、ｉ組（ｉ＝１，
・・・．ｋ）にＬｉ個の入力データが存在するとものと
すると、ｋ組の多組間分離問題は、「ｋ（ｋ−１）」個
の２組間分離問題に分割することができる。その２組間
分離問題のうち半数は、組の関係が逆になったものなの
で、反転器（ＩＮＶ）を用いて反転演算することによっ
て代行することができるので、実際に計算する必要があ
る２組間分離問題は「ｋ（ｋ−１）／２」個である。

【００８２】ここで、ｋ組の中の任意の２組をｕ組とｖ
組とすると、この２組間分離問題は、Ｌｕ・Ｌｖ個の２
入力データ間の１対１の線形分離問題に分割することが
できる。従って、全体で、１対１の線形分離問題は、ｉ
に対して「ｉ＝１，・・・．ｋ」、ｊに対して「ｊ＝ｉ
＋１，・・・，ｋ」までの総和となる。つまり、

【数２】個である。

【００８３】これらの分割した問題に対する結果を集め
て統合するには、次の２つの原理である「最小原理」と
「最大原理」とを用いる。最小原理とは、「出力が真に
なる入力が同じで、出力が偽になる入力が異なる問題に
対応する分離モジュールの出力は最小値ユニットで統合
する。」ということを意味する。また、最大原理とは、
「出力が偽になる入力が同じで、出力が真になる入力が
異なる問題に対応する分離モジュールの出力は最大値ユ
ニットで統合する。」ということを意味する。

【００８４】こうした２つの原理を用いて、１対１の線
形分離問題を２組間分離問題に統合し、さらに、２組間
分離問題を多組間分離問題に統合することが必ずでき
る。また、この２つの原理に基づく問題分割や問題統合
法は、具体的な問題には依存するものではない。つま
り、この原理から誘導される問題分割のアルゴリズム
は、問題に対する知識などとは無関係に実行することが
できる。

【００８５】以上の原理的基盤に基づけば、複雑な境界
領域を持つ多数の入力データからの多組間の組分けパタ
ーン分離問題は、問題を多組間から２組間、さらに２組
間から各入力データ間の線形分離問題に分割し、その単
純な分離モジュールを多数個構築し、これらの出力を最
小値、最大値により統合することで必ず解くことができ
る。しかも、この方法では一切の反復演算を使用してお
らず、入力データから直接に計算によって求められる。
また、図４ならびに図６におけるブロック構成図に示し
た通り、モジュールの数は多いが各モジュールの構成は
それぞれ簡単であり、統合も２値化した演算を対象にす
れば論理積および論理和だけであるので、容易に電子回
路やコンピュータを用いて実現することができる。

【００８６】本発明による追加学習可能なパターン分離
装置は、上記の原理に基づいたパターン分離装置に次の
３つの特徴を付加したものである。

【００８７】（１）既存のパターン分離装置では、既に
存在する組に属する新しい入力データを正しく分離する
ことができない場合に、この新しい入力データを追加的
に学習するという特徴。

【００８８】（２）既に存在するどの組にも属さない新
しい入力データが存在する場合に、この新しい入力デー
タを追加的に学習するとともに、新しい組を追加すると
いう特徴。

【００８９】（３）上記の（１）と（２）の追加を、通
常のパターン分離動作と同時に行うことができ、全体の
再学習などを必要としないという特徴。

【００９０】上記の（１）、（２）および（３）に示す
特徴は、実際のパターン分離装置には必要不可欠な特徴
であり、上記の原理にこの特徴を加えることで、極めて
実用的な追加学習可能なパターン分離装置を構成するこ
とができる。

【００９１】以下、（４）、（５）および（６）におい
て、上記した３つの特徴を実現するための具体的な手法
を説明する。

【００９２】（４）新しい入力データをｚとする。入力
データｚが既にあるｋ個の組のうちｐ組に属する場合に
は、入力データｚに関して、ｐ組以外の組（ｋ−１個の
組）に属する全ての学習された入力データに対して、デ
ータ間の１対１の線形分離モジュールを構成する。その
総和は、

【数３】個である。

【００９３】これらのモジュールを、最小原理、最大原
理から決まるｐ組とｐ組以外の組を分離する２組間分離
モジュール内部に追加する。

【００９４】ここで、ｐ組以外の任意の組をｑ組とし
て、ｐ組に含まれる学習済み入力データはＬｐ個あって
Ｓ_１，・・・，Ｓ_Ｌｐとし、ｑ組に含まれる学習済み入
力データはＬｑ個あってＴ_１，・・・，Ｔ_Ｌｑとする。

【００９５】パターン分離装置の構成において、２組間
分離モジュールの組関係が反対のものを反転器（ＩＮ
Ｖ）を用いて反転演算することによって代用しているた
めに、Ｍ_ｐ，ｑが存在するならば、Ｍ_ｑ，ｐは存在しな
いので、２組間分離モジュールへの１対１線形モジュー
ルの追加方法は次の２つのケースがある。

【００９６】即ち、第１に、ｐ組とｑ組を分離する２組
間モジュールＭ_ｐ，ｑが存在する場合には、入力データ
ｚとｑ組に属する学習済みの全入力データ（Ｔ_１，・・
・，Ｔ_Ｌｑ）を分離する線形分離モジュールを最小値演
算ユニットで統合し、その出力を最大値演算ユニットで
再統合する手法をとる。図７には、この手法が示されて
いる（なお、図７においては、既存の構成に関しては省
略して示した。）。

【００９７】ここで、モジュール７０１乃至モジュール
７０９の１対１線形分離モジュールおよび最小値演算ユ
ニット７１３乃至最小値演算ユニット７１５は既存のも
のであり、追加されるのものは、入力データｚに関わる
１対１線形分離モジュールであるモジュール７１０、モ
ジュール７１１、モジュール７１２および最小値演算ユ
ニット７１６である。

【００９８】最大値ユニット７１７は既存の構成である
が、最小値演算ユニット７１６からの入力結線を追加さ
れている。

【００９９】次に、第２に、ｑ組とｐ組とを分離する２
組間モジュールＭ_ｑ，ｐが存在する場合には、入力デー
タｚとＴｉ（ｉ＝１，・・・，Ｌｑ）を分離する線形分
離モジュールを、Ｓ_１，・・・，Ｓ_ＬｐとＴｉとを分離
する線形分離モジュールと並べて、それぞれの最小値演
算ユニットに統合する。図８には、この手法が示されて
いる。なお、図８では、実際にはＬｑ個の変更がある
が、図面を簡略化して理解を容易にするために省略して
示した。

【０１００】ここで、例えば、既存の１対１線形分離モ
ジュール（モジュール８０１乃至モジュール８０３）
に、新しい１対１線形分離モジュール（モジュール８０
４）を並べて、この新たなモジュール８０４の出力を最
小値演算ユニット８１３の入力に追加し、モジュール８
０１乃至モジュール８０３と統合する。同様に、図８に
示すように、新しく構成した全ての１対１線形分離モジ
ュール（モジュール８０８やモジュール８１２である。
つまり、Ｔｉと入力データｚとを分離をする１対１線形
分離モジュールである。）の出力を、それぞれの最小値
演算ユニット（最小値演算ユニット８１４や最小値演算
ユニット８１６である。）の入力に追加し、既存の１対
１線形分離モジュールと統合する。

【０１０１】（５）新しい入力データをｚとして、入力
データｚが既にあるｋ個の組のどれにも属さない場合に
は、入力データｚが帰属する新しい組である「ｋ＋１」
番目の組を構成する。ここで、「ｉ＝１，・・・，ｋ」
に対して、ｉ組にはＬｉ個の入力データが学習されてい
るとし、ｉ組のｊ番目、（但し、ｊ＝１，・・・Ｌｉ）
の入力データを

【数４】とする。追加する新しい入力データｚと、「ｋ＋１」組
以外の全部の組（ｋ個の組）に属する全ての学習された
入力データ

【数５】に対して、データ間の１対１の線形分離モジュールを構
築する。その総和は、

【数６】個である。

【０１０２】この線形分離モジュールを使って、ｋ個の
２組間分離モジュールＭ_{ｉ，ｋ＋１}（ｉ＝１，・・・，
ｋ）を構築する。各２組間分離モジュールの内部は、最
小原理、最大原理から決まる構造に配置する。つまり、
Ｍ_{ｉ，ｋ＋１}の内部は、入力データｚとｉ組に属する全
ての入力との線形分離モジュールを最大値演算ユニット
で統合する構造となる。図９には、この手法が示されて
いる。図９においては、図面を簡略化して理解を容易に
するために、Ｍ_{１，ｋ＋１}からＭ_{ｋ，ｋ＋１}のｋ個の２
組間分離モジュールのうち３個のみを示した。

【０１０３】このように、各組に属す入力データ毎に入
力データｚを分離する１対１線形分離モジュールを、最
大値演算ユニットで統合する。

【０１０４】ここでは、追加される２組間分離モジュー
ルの内部構造には最小値演算ユニットを使う必要はない
が、将来、ｋ＋１組に入力データが追加される可能性を
考慮すると、各線形分離モジュールの出力と最大値演算
ユニットの入力の間に１入力の形式的な最小値演算ユニ
ットを予め配置しておいてもよい。

【０１０５】次に、これらの２組間分離モジュールを最
小原理によって決まる構造に追加して、多組間分離装置
を完成させる。つまり、新たに作ったｋ個の２組間分離
モジュールＭ_{ｉ，ｋ＋１}（ｉ＝１，・・・，ｋ）を既存
のｉ組の分離結果を得るための最小値演算ユニットにそ
れぞれ追加し、新たなｋ＋１組に対する分離結果を得る
ため、全てのＭ_{ｉ，ｋ＋１}を反転（インバーター：ＩＮ
Ｖ）したものを最小値演算ユニットで統合することによ
り多組間分離装置を完成する。図１０には、この手法が
示されている。図１０ではｋ個の追加されるモジュール
のうちで、図面を簡略化して理解を容易にするために、
３個のモジュールと新しい組を分離するための最小値演
算ユニットを示した。モジュール１００５、モジュール
１００９、モジュール１０１３が追加された２組間分離
モジュールである。追加された２組間分離モジュールと
反転器（ＩＮＶ）による反転演算によって合成されたｋ
＋１組を分離するモジュール群（モジュール１０１４乃
至モジュール１０１７）の出力を最小値演算ユニット１
０２１で統合することによって、新しいｋ＋１組の分離
出力Ｙ_ｋ＋１を追加する。

【０１０６】（６）上記した（４）ならびに（５）に説
明した追加する線形分離モジュールにおいて、追加する
線形分離モジュールの数は、学習した全入力データ数
か、それから同じ組に属するデータ数を減じた数であ
る。これは全体の線形分離モジュールの数に比べて、大
幅に少ない。例えば、ｋ組の問題で各組をｎ個（つま
り、Ｌｉ＝ｎ，ｉ＝１，・・・，ｋ）の入力データで学
習させた場合には、全体の線形分離モジュール数は「ｋ
×（ｋ−１）×ｎ^２／２」個であるが、追加学習に必要
な線形分離モジュール数は「ｋ×ｎ」個あるいは「（ｋ
−１）×ｎ」個である。つまり、「ｋ＞２」、「ｎ＞
２」において、必ず追加学習に必要な線形分離モジュー
ルは、全体学習よりも少ない計算で学習を行える。実用
上は、「ｋ＞１００」、「ｎ＞１００」以上になること
が十分予想されるので、従来の技術と比較すると桁違い
の短い時間で、追加学習を完了することができる。

【０１０７】従って、パターン分離動作を実行しなが
ら、誤りが発生した時点、あるいは、新しいデータを意
図的に追加したい時点で、追加学習を実行することがで
きるようになる。

【０１０８】（７）学習済みデータの削除と組の削除上記した追加学習可能なパターン分離装置が運用されて
いる状況において、一部の学習済みデータが不要になっ
たり、誤って学習されたりしたという状況において、こ
れを削除するのは、上記追加方法の逆の手続きを行うだ
けで容易に行うことができる。

【０１０９】即ち、ｐ組に属する学習済みデータＳｖを
削除するには、単純にＳｖが関わるデータ間の１対１線
形分離モジュールを削除し、それを統合する最小値演算
ユニットの入力線を１本削除するだけの処理を行えばよ
い。なお、統合している最小値演算ユニットが不要とな
る場合には、その最小値演算ユニットを削除する。

【０１１０】また、ｐ組全体が不要となった場合には、
Ｍ_ｐ，ｉあるいはＭ_ｉ，ｐのようなｐが関わる２組間分
離モジュールを全体のモジュール構造から削除し、これ
に関わる統合の最小値ユニットから入力線を削除し、ｐ
組の出力を統合している最小値演算ユニットを削除す
る。

【０１１１】上記の削除の際に、将来において削除する
データやモジュールが必要になる可能性がある場合に
は、モジュール自体やユニット自体は削除せず、関連す
るモジュールの出力から最小値演算ユニットに通じる結
線を論理的に切断すればよい（具体的には、論理的に常
に真になるようにすればよい。）。

【０１１２】以下、上記した（４）、（５）および
（６）の説明の理解を容易にするために、上記原理説明
に用いたものに類似した図面を用いてより具体的に説明
する。

【０１１３】なお、説明に用いる例示においては、上記
原理説明で構成されたパターン分離装置が既知の入力デ
ータを学習し、これまでの入力データの組み分け分離に
対して正しい線形分離モジュールが設定され、その出力
は妥当な分離特性を有していることを前提とする。例示
の具体的な特性は、図１１における符号１１０１に示さ
れたもので、上記の原理説明に用いたもの（図１乃至図
６参照）と同じであり、Ａ、Ｂ、Ｃの３組（ｋ＝３）が
あり、Ａ組に属する４個（Ｌ_Ａ＝４）の入力データ、Ｂ
組に属する４個（Ｌ_Ｂ＝４）の入力データ、Ｃ組に属す
る４個（Ｌ_Ｃ＝４）の入力データが学習データである。
これらから、入力データ対入力データの線形分離モジュ
ールを合計４８個構築する。構築した合計４８個線形分
離モジュールを最小値演算ユニット、最大値演算ユニッ
トで統合し、図６と構造的に等価な２組間分離モジュー
ルをＡ、Ｂ、Ｃ各組に対応して３個生成する。それぞれ
をＭ_Ａ，ＢとＭ_Ａ，ＣとＭ_Ｂ，Ｃとする。これらＭ
_Ａ，Ｂ、Ｍ_Ａ，Ｃ、Ｍ_Ｂ，Ｃの出力を、反転器（ＩＮ
Ｖ）と最小値演算ユニットとを用いて統合して、図４の
構造の多組間分離の結果を得るパターン分離装置を作成
してあるものと仮定する。

【０１１４】（８）新しい入力データが既存のｐ組に属
する場合の追加学習の例示新しい入力データが既存のいづれかの組に属する場合
は、全体のモジュール構造（図４参照）は変更する必要
はない。即ち、新しいデータが属するｐ組とそれ以外の
全ての組の２組間分離モジュールの内部を変更すること
になる。変更方法には、２組間分離モジュールの半数が
反転器（ＩＮＶ）による反転演算で代用されているた
め、次の（８−１）と（８−２）との２通りのケースが
ある。

【０１１５】（８−１）その組を分離する２組間分離モ
ジュールＭ_ｐ，ｑ（ｑはｐではない１からｋまでの任意
の値）が存在する場合以下の説明においては、ｐ＝Ａ、ｑ＝Ｃとして説明す
る。図１１の符号１１０１のような境界が学習されたパ
ターン分離装置に、○で囲んだＡ（以下、「○Ａ」と称
する。）で示したＡ組に属する入力データが入力される
と、出力はＡ組ではなく、Ｃ組として誤って出力される
ことになる。この場合、○Ａが正しくＡ組として分離す
ることができるように、境界を変更する必要が生じる。

【０１１６】○Ａの入力データを学習するには、Ａ組と
Ｃ組との境界の変更、即ち、○Ａの入力データ対Ｃ組に
属する全ての入力データ、合計４つの入力データ対入力
データの線形分離モジュールを追加する。その結果とし
て、符号１１０６に示したように、○ＡがＡ組に属する
ようにＡ組対Ｃ組の境界を変更すれば目的は達成され
る。この新しい入力データ○Ａを含んだＡ組対Ｃ組の境
界およびＡ組対Ｂ組の境界を最小値演算ユニットで統合
すれば、符号１１１２に示したように正しい２組間分離
結果が得られる。Ｃ組対Ａ組の２組間分離である符号１
１０５は、符号１１０６の反転演算であり、上位のモジ
ュール構造から自動的に更新されるので、特に追加の必
要はない。

【０１１７】つまり、既存の組に属する新しい入力デー
タを追加する場合には、関係する学習済みの入力データ
と新しい入力データとの間の線形分離モジュールの追加
とその出力の統合部分を追加することになる。

【０１１８】図１２には、新しい入力データ○Ａが追加
されたＡ組対Ｃ組の２組間分離モジュールＭ_Ａ，Ｃの内
部ブロック図が示されている。図１２に示すブロック構
成図の２組間分離モジュールＭ_Ａ，Ｃを追加する前の構
造は、図６に示したものと類似である。

【０１１９】但し、図６においてはＡ組対Ｂ組の例であ
るが、図１２ではＡ組対Ｃ組を示しているので、図６に
おける「Ｂ１」、「Ｂ２」、「Ｂ３」、「Ｂ４」を、図
１２における「Ｃ１」、「Ｃ２」、「Ｃ３」、「Ｃ４」
と読み替える必要がある。

【０１２０】また、図１２におけるモジュール１２０１
乃至モジュール１２１６は、図６におけるモジュール６
０１乃至モジュール６１６と構造的に同じであって、既
存の線形分離モジュールである、図１２で付加されたも
のは、線形分離モジュール１２１７乃至線形分離モジュ
ール１２２０、最小値演算ユニット１２２５および最小
値演算ユニット１２２５の出力を最大値演算ユニット１
２２６へ入力するための入力線である。

【０１２１】即ち、線形分離モジュール１２１７乃至線
形分離モジュール１２２０は、新しく学習すべき入力デ
ータ○Ａと、既存のＣ組に属する学習済みの入力データ
Ｃ１、入力データＣ２、入力データＣ３、入力データＣ
４に対する線形分離モジュールである。これを統合する
には最小値演算ユニット１２２５を用い、さらに、全体
を統合するために、最大値演算ユニット１２２６に１本
の入力線を追加し接続する。

【０１２２】この実施の形態においては、符号１１０３
から類推できるように、Ａ組対Ｂ組の２組間分離モジュ
ールは変更の必要がないように見える。しかしながら、
これは一般的ではなく、入力データ○Ａの追加は、同様
の操作によって、○Ａ対Ｂ組の各データを分離する４個
の線形分離モジュール作成して、Ａ組対Ｂ組の２組間分
離モジュールＭ_Ａ，Ｂにも追加する必要がある。しかし
ながら、Ａ組とは無関係のＢ組対Ｃ組の２組間分離モジ
ュールＭ_Ｂ，Ｃは変更する必要はない。

【０１２３】（８−２）その組を分離する２組間分離モ
ジュールＭ_ｑ，ｐ（ｑはｐではない１からｋまでの任意
の値）が存在する場合以下の説明においては、ｐ＝Ｃ、ｑ＝Ａとして説明す
る。図１３の符号１３０１は、既存のパターン分離装置
が学習した入力データとその境界領域を示している。こ
こに、Ｃ組に属する○で囲んだＣ（以下、「○Ｃ」と称
する。）の入力データを、追加学習することを考える。
基本的には、上記した（８−１）で説明したものと同じ
ように、Ｃ組とＡ組の境界を変更すれば目的は達成され
る。このため、入力データ○ＣとＡ組に属する全てのデ
ータに対応して、データ対データの線形分離モジュール
を追加する。Ａ組の学習データは４個なので、追加する
線形分離モジュールは４個である。ところが、図４にお
けるのモジュール４０９、モジュール４１０に示したよ
うに、元々のモジュール構造の中にＭ_Ｃ，Ａは存在せ
ず、Ｍ_Ａ，Ｃの結果を反転して使用している。従って、
作成した線形分離モジュールは、Ｍ_Ａ，Ｃに追加するこ
とになる。この場合には、図１４に示したＭ_Ａ， _Ｃ内部
構造のように、新たに作成した線形分離モジュール１４
０５、モジュール１４１０、モジュール１４１５および
モジュール１４２０をＡ組の全ての入力データ（入力デ
ータＡ１、入力データＡ２、入力データＡ３ならびに入
力データＡ４）に関して統合する最小値演算ユニット１
４２１、最小値演算ユニット１４２２、最小値演算ユニ
ット１４２３、最小値演算ユニット１４２４にそれぞれ
１個づつ追加する。

【０１２４】この実施の形態においては、符号１３０７
から類推できるように、Ｃ組対Ｂ組の２組間分離モジュ
ールの変更は必要ないように見える。しかし、これは一
般的ではなく、○Ｃの追加は、同様の操作によって、○
Ｃ対Ｂ組の各データを分離する４個の線形分離モジュー
ルを作成して、Ｃ組対Ｂ組の２組間分離モジュールＭ
_Ｂ，Ｃにも追加する必要がある。しかし、Ｃ組とは無関
係のＡ組対Ｂ組の２組間分離モジュールＭ_Ａ，Ｂは変更
する必要はない。

【０１２５】（９）新しい入力が既存の組ではない、新
しい組に属する場合の追加学習の例示新しい入力が既存の組に属さない新しい組に属すのであ
るから、まず、「ｋ＋１」組を増設する。従って、全体
のモジュール構造が変化する。図１５乃至図１７には、
「ｋ＝３」、「ｋ＋１＝Ｄ」とした場合の例が示されて
いる。

【０１２６】この例では、図１５における符号１５０１
のような既存のパターン分離特性示す装置に、符号１５
０２に示すような新しい入力データＤを追加学習させる
ことを検討する。新しいデータＤに対して、Ｄ組を新設
するので、２組間分離モジュールは既存の全ての組（Ａ
組、Ｂ組、Ｃ組）に対応して、Ａ組対Ｄ組
（Ｍ_Ａ，Ｄ）、Ｂ組対Ｄ組（Ｍ_Ｂ，Ｄ）、Ｃ組対Ｄ組
（Ｍ_Ｃ，Ｄ）の３つが追加される。この分離特性はそれ
ぞれ、符号１５１１、符号１５１２、符号１５１３に示
されたようなものになると予想できる。新しい３個の２
組間モジュールは、図１６に示すように既存のモジュー
ル構造に追加される。図１６において追加されたもの
は、モジュールＭ_Ａ，Ｄ１６０４、モジュールＭ_Ｂ，Ｄ
１６０８、モジュールＭ_Ｃ _，Ｄ１６１３、これらの反転
ユニットであるモジュール１６１４，モジュール１６１
６、モジュール１６１８、これらの反転ユニットを統合
する最小値演算ユニット１６２３である。また、既存の
最小値演算ユニット１６２０、最小値演算ユニット１６
２１、最小値演算ユニット１６２２には、追加されたモ
ジュールＭ_Ａ _，Ｄ１６０４、モジュールＭ_Ｂ，Ｄ１６０
８、モジュールＭ_Ｃ，Ｄ１６１３を統合するための入力
線がそれぞれ追加されている。

【０１２７】各２組間分離モジュールの内部は、図１７
に示したように構成する。即ち、Ｍ _Ａ，ＤはＡ組に属す
るすべての学習済み入力データＡ１、Ａ２、Ａ３、Ａ４
と新しい入力データＤの間の線形分離モジュールを最大
値演算ユニットで統合する。この２組間分離モジュール
と既存の２組間分離モジュール（図６参照）との違い
は、最小値演算ユニットがないことであるが、これは入
力データＤが１つなので、最小値演算ユニットが必要な
いためである。なお、形式的に入力１個の最小値演算ユ
ニットを配置してもよい。

【０１２８】ここで、上記したような本発明による追加
学習可能なパターン分離装置において、０から９の１０
種類の手書きアラビア数字７２９１個のデータを用いて
学習させた。使用したコンピュータはＳＵＮ社のＵｌｔ
ｒａ３０である。全部の学習データを９５１４の２組間
分離問題に分割したときの学習時間は９４０１秒だっ
た。そして、例えば、７２９２番目の入力データを追加
学習させるのに要する時間は、最大でも１．４５秒とな
る。

【０１２９】なお、上記した実施の形態の説明において
は、分割した問題に対する結果を集めて統合する際に用
いる「最小原理」と「最大原理」とを適用するに際し
て、最小値演算を行ってから最大値演算を行うようにし
たが、これに限られるものではなく、これとは逆に、最
大値演算を行ってから最小値演算を行うようにしてもよ
い。

【０１３０】

【発明の効果】本発明は、以上説明したように構成され
ているので、学習収束性を保証した追加学習可能なパタ
ーン分離装置を提供することができるという優れた効果
を奏する。

【０１３１】また、本発明は、以上説明したように構成
されているので、学習時間を大幅に短縮することのでき
る追加学習可能なパターン分離装置を提供することがで
きるという優れた効果を奏する。

【図面の簡単な説明】

【図１】多組間分離問題を説明するための説明図であ
る。。

【図２】発明者などによる論文に示された本発明の基盤
となる原理に基づく追加学習可能なパターン分離装置の
概念的構成を示すブロック構成図である。

【図３】多組間分離問題を６つの２組間分離問題に分割
する手法を示す説明図である。

【図４】図３に示すパターン分離を実行するパターン分
離装置のモジュール構造を示すブロック構成図である。

【図５】２組間分離問題を入力データ１対１の線形分離
問題へ分割する手法を示す説明図である。

【図６】図５における２組間分離問題を入力データ１対
１の線形分離問題として実行するモジュールの内部構造
を示すブロック構成図である。

【図７】既存の組にデータが追加される場合のモジュー
ル内部の変化を示すブロック構成図である。

【図８】既存の組にデータが追加される場合のモジュー
ル内部の変化を示すブロック構成図である。

【図９】新しい組に属すデータを分離するモジュールの
内部構造を示すブロック構成図である。

【図１０】新しい組を追加するときのモジュール構造の
変化を示すブロック構成図である。

【図１１】既存の組に属する新しいデータを追加する手
法を示すブロック構成図である。

【図１２】図１１の追加に伴うモジュール構造の追加を
示すブロック構成図である。

【図１３】既存の組に属する新しいデータを追加する手
法を示すブロック構成図である。

【図１４】図１２の追加に伴うモジュール構造の追加を
示すブロック構成図である。

【図１５】既存の組に属さない新しいデータを追加する
手法を示すブロック構成図である。

【図１６】図１５の追加に伴う全体モジュール構造の変
化を示すブロック構成図である。

【図１７】追加されるモジュールの内部構造を示すブロ
ック構成図である。

【符号の説明】

４０２乃至４１３モジュール４０４、４０８、４１１最小値演算ユニット

Claims

【特許請求の範囲】

【請求項１】多組間の分離の問題を２組間の分離の副
問題に分割し、前記２組間の分離の副問題を各組に含ま
れる多要素の入力データ間の線形分離問題に分割し、前
記多要素の入力データ間の線形分離問題に分割した分離
結果を前記２組間の分離の副問題に統合し、前記２組間
の分離の副問題への統合によって得られた結果を前記多
組間の分離の問題に統合するパターン分離装置におい
て、新しい入力データを追加するときに、前記新しい入力データと前記新しい入力データの入力以
前に学習された入力データとの間を分離する線形分離を
行う線形分離手段と、前記線形分離手段の分離結果を２組間の分離の副問題に
統合する統合手段とを追加する追加学習可能なパターン
分離装置。
【請求項２】多組間の分離の問題を２組間の分離の副
問題に分割し、前記２組間の分離の副問題を各組に含ま
れる多要素の入力データ間の線形分離問題に分割し、前
記多要素の入力データ間の線形分離問題に分割した分離
結果を前記２組間の分離の副問題に統合し、前記２組間
の分離の副問題への統合によって得られた結果を前記多
組間の分離の問題に統合するパターン分離装置におい
て、新しい入力データを追加するときに、前記新しい入力データと前記新しい入力データの入力以
前に学習された入力データとの間を分離する線形分離を
行う線形分離手段と、前記線形分離手段の分離結果を２組間の分離の副問題に
統合する第１の統合手段と、前記統合手段による前記２組間の分離の副問題への統合
によって得られた結果を多組間の分離の問題に統合する
第２の統合手段とを追加する追加学習可能なパターン分
離装置。
【請求項３】請求項１または請求項２に記載の追加学
習可能なパターン分離装置において、パターン分離動作中に前記新しい入力データの追加学習
を行う追加学習可能なパターン分離装置。