JP2002175515A - パターン認証装置 - Google Patents

Abstract

(57)【要約】 【課題】 識別対象のカテゴリ数と同数の小規模ニュー
ラルネットワークを用いることによりニューラルネット
ワークの高度の識別能力を損なうことなく、識別対象が
追加される際に学習に要する計算量の増大及び学習動作
の収束の不安定性という問題を解決することができるよ
うにしたパターン認証装置を提供する。 【解決手段】 識別対象の認証データをニューラルネッ
トワークに入力して、ニューラルネットワークからの出
力に基いて認証結果を出力するパターン認証装置におい
て、並列に配置された登録済みのニューラルネットワー
クと、ニューラルネットワーク選択用テンプレートと、
新規識別対象の認証データを新規カテゴリとして登録す
る際、新規ニューラルネットワークを追加し、また、駆
動するニューラルネットワークを選択するニューラルネ
ットワーク登録選択部と、選択駆動されたニューラルネ
ットワークからの出力結果を比較して認証結果を出力す
る出力比較部とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、小規模の複数のニ
ューラルネットワークを用いて、文字や図形などの認証
データを効率良く学習し、また識別対象のカテゴリを新
規に登録することが可能なパターン認証装置に関する。

【０００２】

【従来の技術】近年、認証すべき入力パターンをいくつ
かのカテゴリに分類し、分類されたカテゴリ数と同数の
出力素子を持つ単一の多層パーセプトロン（Multi Laye
r Perceptron，MLP）型ニューラルネットワークを用い
てパターン識別を実時間で行うパターン識別システムが
提案され、ニューラルネットワークの非線型特性によっ
て高度の識別能力を得られるようになってきた。

【０００３】

【発明が解決しようとする課題】しかしながら、単一の
ニューラルネットワークを用いた場合、識別対象のカテ
ゴリ数が１つ増加するだけであったとしても、増加した
出力素子への結合荷重の決定のためにはニューラルネッ
トワーク全体の再学習を行う必要がある。この問題点は
例えば紙幣識別のようなオフライン型登録を想定した場
合にはそれほど問題にはならないが、例えば個人認証の
ように逐次登録が必要とされるオンライン型登録の場合
には致命的な問題となり、市場で許容される待ち時間内
に学習を終了させることが非常に困難である。このよう
な問題はニューラルネットワークの学習に誤差逆伝播法
（Error Back Propagation，EBP）を用いていることに
起因され、学習に誤差逆伝播法を用いた場合に要する計
算量は指数オーダーであるため、識別対象のカテゴリ数
を減らすことで学習時間は著しく短縮できる。

【０００４】更に、登録済みのカテゴリ数が多い場合、
新規にカテゴリを追加するためのニューラルネットワー
クの学習が収束することが保証できない難点もある。従
って、従来の単一の大規模ニューラルネットワークによ
る処理を複数の小規模ニューラルネットワークによる処
理に切り替えることによって上述した問題が解決可能と
予想される。

【０００５】本発明は上述のような事情よりなされたも
のであり、本発明の目的は、単一の大規模ニューラルネ
ットワークを用いるのではなく複数の小規模ニューラル
ネットワークを用いることにより識別対象を認証するパ
ターン認証装置を提供することにあり、更に詳しくは、
ニューラルネットワークの非線型特性による高度の識別
能力を損なうことなく、識別対象が追加される際に学習
に要する計算量の増大及び学習動作の収束の不安定性と
いう問題を解決することができるようにし、且つ識別対
象のカテゴリ数と同数のニューラルネットワークを並列
に配置したパターン認証装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明は、小規模の複数
のニューラルネットワークを用いたパターン認証装置に
関し、本発明の上記目的は、識別対象の認証データをニ
ューラルネットワークに入力して、ニューラルネットワ
ークからの出力に基いて認証結果を出力するパターン認
証装置において、識別対象のカテゴリ数と同数が設けら
れ、並列に配置された登録済みのニューラルネットワー
クと、識別対象のカテゴリのデータ分布状態を登録した
ニューラルネットワーク選択用テンプレートと、新規識
別対象の認証データを新規カテゴリとして登録する際、
カテゴリ数が識別対象と同数になるよう新規ニューラル
ネットワークを追加し、当該追加したニューラルネット
ワークを登録済みニューラルネットワークに対して並列
に配置すると共に、識別対象のカテゴリのデータ分布状
態を前記ニューラルネットワーク選択用テンプレートに
登録し、また、前記ニューラルネットワーク選択用テン
プレートを参照することによって、駆動するニューラル
ネットワークを選択するニューラルネットワーク登録選
択部と、選択駆動されたニューラルネットワークからの
出力結果を比較して認証結果を出力する出力比較部とを
備えたことによって達成される。

【０００７】また、本発明の上記目的は、前記ニューラ
ルネットワーク登録選択部は、ニューラルネットワーク
の新規登録のとき、当該ニューラルネットワークの学習
データを強化データとし、前記強化データから求めた重
心と、前記ニューラルネットワーク選択用テンプレート
のカテゴリの重心間距離が所定以下の登録済みのカテゴ
リのデータを抑制データとして用いて、新規登録のニュ
ーラルネットワークの学習をすることにより、あるいは
前記ニューラルネットワーク登録選択部は、登録済みニ
ューラルネットワークの再学習のとき、前記ニューラル
ネットワーク選択用テンプレートを用いて、新規に登録
したカテゴリと登録済みのカテゴリとの重心間距離が所
定以下の登録済みカテゴリを選択し、選択した登録済み
のカテゴリのデータを強化データとし、前記新規に登録
したカテゴリのデータを抑制データとして用いて、選択
したカテゴリのニューラルネットワークの学習をするこ
とにより、あるいは認証データを認証するとき、前記ニ
ューラルネットワーク登録選択部は、当該認証データと
前記ニューラルネットワーク選択用テンプレートのカテ
ゴリの重心間距離が所定以下のカテゴリに対応する前記
登録済みニューラルネットワークを選択駆動し、前記出
力比較部は、選択駆動された前記登録済みニューラルネ
ットワークからの出力結果に基いて認証結果を出力する
ことにより、あるいは前記認証データが電子ペンにより
採取した筆圧波形から抽出した特徴量である画数と筆記
時間とから構成されることによって、より効果的に達成
される。

【０００８】

【発明の実施の形態】以下、図面に基づいて本発明の実
施の形態について詳細に説明する。なお、本実施形態は
筆記情報による個人認証を例として説明する。本実施形
態で言う識別対象は電子ペンにより採取した筆記者の筆
圧波形であり、認証データはその筆圧波形から抽出した
特徴量である画数と筆記時間とから構成される。

【０００９】図１は電子ペンにより採取した筆記者の筆
圧波形を示す図であり、横軸は筆記時間を示し、縦軸は
筆圧を示し、筆圧波形の山の数が画数となる。

【００１０】図２は本発明に係るパターン認証装置の構
成例を示す概略図である。図２に示すように、パターン
認証装置は、識別対象のカテゴリ数と同数のニューラル
ネットワーク２０と、ニューラルネットワーク選択用テ
ンプレート３０１を参照することにより駆動するニュー
ラルネットワーク２０を選択するためのニューラルネッ
トワーク登録選択部３０と、駆動された各ニューラルネ
ットワーク２０からの出力結果を比較した上で最後の認
証結果を出力する出力比較部４０とを備えている。各カ
テゴリに対し１個のニューラルネットワーク２０が対応
し、各ニューラルネットワーク２０にはそれぞれカテゴ
リが割り当てられている。

【００１１】図３は本発明に係るニューラルネットワー
ク２０の構成例を示す概略図である。図３に示すよう
に、１個のニューラルネットワーク２０は入力層２１
と、中間層２２と、出力層２３との３層からなるＭＬＰ
型ニューラルネットワークである。各ニューラルネット
ワーク２０の構成は全て共通とする。出力層２３内の素
子は該ニューラルネットワーク２０に割り当てられたカ
テゴリに属する認証データ１０が入力された場合に活性
化する強化素子２３１と、該ニューラルネットワーク２
０に割り当てられたカテゴリに属さない認証データ１０
が入力された場合に活性化する抑制素子２３２とから構
成される。ニューラルネットワーク２０は強化素子２３
１及び抑制素子２３２の反応値を参照することにより、
入力された認証データ１０がそのニューラルネットワー
ク２０に割り当てられたカテゴリに属する、属さない、
あるいは、判定不能という出力結果２３３を出す所属判
定を行う。

【００１２】次にニューラルネットワーク２０の学習に
ついて説明する。

【００１３】ニューラルネットワークＮＮ_Ａに割り当て
られたカテゴリＡに属する認証データをａ、属さない認
証データをａ’と表記する。カテゴリＡへの所属判定を
行うニューラルネットワークＮＮ_Ａはａを入力として与
えた場合には強化素子２３１の反応値が１、抑制素子２
３２の反応値が０となるように、一方、ａ’を入力とし
て与えた場合には強化素子２３１の反応値が０、抑制素
子２３２の反応値が１となるように誤差逆伝播法を用い
て学習を行う。

【００１４】教師信号で強化素子２３１の反応値が１、
抑制素子２３２の反応値が０であるような入力された認
証データを強化データ、教師信号で強化素子２３１の反
応値が０、抑制素子２３２の反応値がであるような入力
された認証データを抑制データと表記する。

【００１５】本発明のパターン認証装置は当該カテゴリ
に属するデータを強化データとして利用する。そして、
ニューラルネットワーク登録選択部３０では、ニューラ
ルネットワーク選択用テンプレート３０１に新規の学習
あるいは再学習を行うカテゴリのデータ分布状態を設定
した後に、新規の学習或いは再学習を行うカテゴリの近
くに位置するであろうカテゴリを選択し、選択されたカ
テゴリに属するデータを抑制データの候補とする。

【００１６】図４に示すように、カテゴリＡの強化デー
タはカテゴリＡに属する学習データから構成され、カテ
ゴリＡの抑制データはカテゴリＢに属するデータと、カ
テゴリＣに属するデータと、カテゴリＤに属するデータ
とから構成される。すなわち、学習の際に抑制データの
データセットを作成することにより、常に分離面の近く
に位置するデータを抑制データとして用いることが可能
となるので、カテゴリ数の増加と、ＮＮ_Ａの識別性能と
の間に正の相関関係が期待できることになる。

【００１７】次に重心の位置及び分離面について説明す
る。

【００１８】異なる三つのカテゴリＡ、Ｂ、Ｃの分離面
が図５（Ａ）に示すように形成されているとする。つま
り分離面の両端にまたがったカテゴリは存在しない。新
たなカテゴリＤを追加した（新規登録する）場合には、
例えば図５（Ｂ）に示すようになる。

【００１９】図６は各カテゴリ毎に識別に必要な分離面
を示す模式図であり、図６（Ａ）はカテゴリＡ、図６
（Ｂ）はカテゴリＢ、図６（Ｃ）はカテゴリＣ、図６
（Ｄ）はカテゴリＤを識別するのに必要な分離面を示す
模式図である。図５及び図６に示すような場合には、カ
テゴリＤを追加することにより再形成が必要となるのは
カテゴリＢとＤとを分離するための分離面のみであり、
カテゴリＢとＤとの分離ができればカテゴリＡやＣとの
分離が可能であるかを改めて検証する必要が無くなるの
で、学習時間が短縮化できる。

【００２０】登録済みのカテゴリと新規登録しようとす
るカテゴリとの間で分離面を形成する際にはデータが各
カテゴリ内に均等に分布していると仮定する。つまりデ
ータの重心はカテゴリの重心に一致する。よって、新規
登録しようとするカテゴリとの重心間距離が一定値以下
である登録済みカテゴリに対してのみ分離面の再形成を
行えば良い。

【００２１】図７は重心の位置と再形成の必要な分離面
との関係を示す模式図である。図中の円がカテゴリを表
し、円の中心がカテゴリの重心を表す。図７（Ａ）はカ
テゴリＤとカテゴリＣとの重心間距離またカテゴリＤと
カテゴリＡとの重心間距離が離れているため、カテゴリ
ＤはカテゴリＢとの分離面を再形成すれば結果的にカテ
ゴリＡとまたカテゴリＣとの分離も可能となる。図７
（Ｂ）はカテゴリＤとカテゴリＢとの重心間距離またカ
テゴリＤとカテゴリＣとの重心間距離が同じであるた
め、カテゴリＤとカテゴリＢとの分離面またカテゴリＤ
とカテゴリＣとの分離面を再形成する必要がある。登録
する際に登録するカテゴリの重心に近い登録済みカテゴ
リのデータを優先的に抑制データとして用いることによ
り学習の時間が大幅に短縮できる。

【００２２】ニューラルネットワーク選択用テンプレー
ト３０１はニューラルネットワーク２０の学習データを
用いて作成し、入力空間内のカテゴリのデータ分布状態
（位置関係）を格納する。また、ニューラルネットワー
ク選択用テンプレート３０１はニューラルネットワーク
登録選択部３０によって学習データが追加されるたびに
更新される。

【００２３】図８は本発明に係るニューラルネットワー
ク選択用テンプレート３０１のデータ構造の一例を示す
模式図である。図８に示すように、ニューラルネットワ
ーク選択用テンプレート３０１のデータは筆記時間３０
１Ｘと、画数３０１Ｙと、筆記時間３０１Ｘ及び画数３
０１Ｙという認証データ１０が属するカテゴリ３０１Ｚ
とから構成される。図９は、図８に示すようなニューラ
ルネットワーク選択用テンプレート３０１を二次元座標
系に表した図である。図９に示すように、横軸は筆記時
間３０１Ｘを示し、縦軸は画数３０１Ｙを示す。図９中
の白丸はそれぞれ登録済みのカテゴリ３０１Ｚである。
入力された認証データ１０（筆記時間３０１Ｘと画数３
０１Ｙ）が黒丸であるとすると、この筆記がカテゴリＤ
にもっとも近くなっていると判断される。

【００２４】各ニューラルネットワーク２０の規模が小
さくてもニューラルネットワーク２０の個数が多くなれ
ば、それらのニューラルネットワーク２０を駆動するの
に要する時間は無視できなくなるため、本発明のパター
ン認証装置では、駆動するニューラルネットワーク２０
の個数を減らすことを目的としたニューラルネットワー
ク登録選択部３０を設けている。

【００２５】認証データ１０が入力されたニューラルネ
ットワーク登録選択部３０は、ニューラルネットワーク
選択用テンプレート３０１を参照することにより、駆動
するニューラルネットワーク２０を選択する。よって当
該認証データ１０にとって不必要なニューラルネットワ
ーク２０の駆動が抑制される。

【００２６】図９を参照し、ニューラルネットワーク登
録選択部３０の選択処理を説明する。ニューラルネット
ワーク登録選択部３０は図９中の黒丸（入力された認証
データ）の近傍に存在する白丸（登録済みカテゴリ）の
みを求める。すなわち、ニューラルネットワーク登録選
択部３０は黒丸から各白丸までの距離を求めるのではな
く、黒丸を中心とした所定の半径の円形領域内に存在す
る白丸を抽出する処理を行う。従って、領域の大きさは
登録済みのカテゴリの数と関係なく所定の半径によって
決められているため、登録済みのカテゴリの数が大量で
あっても、一定時間内に駆動するニューラルネットワー
ク２０の選択処理を完了することが可能である。

【００２７】本発明に係るパターン認証装置を構成する
各ニューラルネットワーク２０は単一のカテゴリに属す
るかどうかという所属判定に特化しているため、想定外
の入力データに対する動作は保証されていない。想定し
た分布を著しく逸脱した入力された認証データ１０はニ
ューラルネットワーク２０の前段に設けたニューラルネ
ットワーク登録選択部３０により除外することが可能で
ある。入力された認証データ１０によっては、単一のニ
ューラルネットワーク２０が候補として駆動されること
も、複数のニューラルネットワーク２０が候補として駆
動されることもある。単一のニューラルネットワーク２
０が候補として駆動された場合には、当該ニューラルネ
ットワーク２０の出力結果２３３を本発明のパターン認
証装置の認証結果とする。複数のニューラルネットワー
ク２０が候補として駆動された場合には、ニューラルネ
ットワーク２０の後段に設けた出力比較部４０を介して
駆動された各ニューラルネットワーク２０からの出力結
果２３３を比較した上で最後の認証結果を出力する。

【００２８】出力比較部４０では、駆動された複数のニ
ューラルネットワーク２０からの複数の出力結果２３３
（判定値）を、後述する閾値ＴＨ１、ＴＨ２、ＴＨ３を
用いることにより比較し、パターン認証装置としての最
終判定を行う。本実施形態の場合では、それぞれＴＨ１
を０．６、ＴＨ２を０．４、ＴＨ３を０．１とする。ニ
ューラルネットワーク登録選択部３０で入力された認証
データ１０に基いてニューラルネットワーク選択用テン
プレート３０１により駆動された複数のニューラルネッ
トワーク２０を候補リストに載せる。

【００２９】なお、ニューラルネットワーク２０からの
出力結果２３３である強化素子２３１の反応値をＯ
_enforce、ニューラルネットワークからの出力結果２３
３である抑制素子２３２の反応値をＯ_inhibitとする。
また、Ｏ_enforce− Ｏ_inhibitを優位差とする。

【００３０】閾値ＴＨ１は当該カテゴリに属するかどう
かという所属判定を行うための閾値である。Ｏ_enforce
の値は入力された認証データ１０が当該カテゴリに属し
ている場合は大きな値を取る。Ｏ_enforceの値が閾値Ｔ
Ｈ１を上回った場合には、入力された認証データ１０が
当該カテゴリに属するという判定をする。一方、閾値Ｔ
Ｈ１に基いての判定により、充分な反応が得られなかっ
た各ニューラルネットワーク２０を候補リストから除外
する。閾値ＴＨ１に基いての判定を行い、且つ当該カテ
ゴリに属するという判定が出た各ニューラルネットワー
ク２０に対してのみ閾値ＴＨ２に基いての判定を行う。

【００３１】閾値ＴＨ２は充分な優位差を持っているか
どうかを確認するための閾値である。すなわち、Ｏ
_enforceの値が閾値ＴＨ１以上の値であっても、Ｏ
_inhibitの値が大きい場合には当該カテゴリに属しかつ
当該カテゴリに属さないということを意味する。入力さ
れた認証データ１０が当該ニューラルネットワーク２０
に割り当てられたカテゴリに属するならば、Ｏ_enforce
の値が大きい値であり、且つＯ_{inh ibit}の値は小さい値
であることとなり、つまり、優位差が閾値ＴＨ２を上回
る。逆に、優位差が閾値ＴＨ２より小さい場合には、つ
まり、充分な優位差が得られなかった場合には、当該ニ
ューラルネットワーク２０を候補リストから除外する。
閾値ＴＨ２に基いての判定を行い、且つ当該カテゴリに
属するという判定が出た各ニューラルネットワーク２０
に対してのみ閾値ＴＨ３に基いての判定を行う。

【００３２】閾値ＴＨ３は拮抗した強化素子２３１の反
応値が存在しないことを確認するための閾値である。閾
値ＴＨ１、ＴＨ２に基いての判定によって入力された認
証データ１０が属するであろうカテゴリの判定を行った
が、除外すべきではないニューラルネットワーク２０を
候補リストから除外しないように、閾値ＴＨ１、ＴＨ２
の値を所属という判定結果を得やすくするために少し小
さく設定した場合には、複数の候補ニューラルネットワ
ーク２０が候補リストに残ってしまう。閾値ＴＨ３に基
いての判定の目標は入力された認証データ１０が属する
唯一のカテゴリを確定させることなので、候補リストに
残った複数の候補ニューラルネットワーク２０の中から
単一の候補ニューラルネットワーク２０を確定するため
に、残った複数の候補ニューラルネットワーク２０の中
からＯ_enforceの値が最も大きいニューラルネットワー
ク２０を最終判定結果とする。

【００３３】ただし、拮抗するＯ_enforceが存在する場
合には誤認証を避けるために「判定失敗」とすることに
する。つまり、最大のＯ_enforceと２番目に大きいＯ
_enforceとの差がＴＨ３より小さい場合には「判定失
敗」とする。

【００３４】その上で候補に残っている各ニューラルネ
ットワーク２０をＯ_enforceの順にソーティングを行
い、最上位と第二位とのＯ_enforceの差と閾値ＴＨ３と
の差によって最終判定を行うことにする。閾値ＴＨ３に
よる最終判定を行うことにより拮抗した反応値が得られ
た場合であっても安定した判定結果として排除が期待で
きる。

【００３５】図１０は本発明に係る出力比較部４０の処
理手順を示すフローチャートである。先ず、閾値ＴＨ
１、閾値ＴＨ２、閾値ＴＨ３をそれぞれ設定し、ニュー
ラルネットワーク登録選択部３０が入力された認証デー
タ１０に基いて選択して駆動した全てのニューラルネッ
トワーク２０を候補リストに載せる（ステップＳ２０
１）。次に、駆動された全てのニューラルネットワーク
２０からの出力結果２３３（すなわち、強化素子２３１
の反応値Ｏ_enforce及び抑制素子２３２の反応値Ｏ_i
nhibit）を出力比較部４０に入力する（ステップＳ２０
２）。そして、駆動された全てのニューラルネットワー
ク２０からの出力結果２３３に対する出力比較処理が完
了したかどうかを判断する（ステップＳ２０３）。駆動
された全てのニューラルネットワーク２０からの出力結
果２３３に対する出力比較処理が完了してない場合に
は、当該ニューラルネットワーク２０の出力結果２３３
であるＯ_{enfo rce}の値が閾値ＴＨ１を上回るかどうかを
判断する（ステップＳ２０４）。Ｏ_{enf orce}の値が閾値
ＴＨ１を上回った場合には、入力された認証データ１０
が当該ニューラルネットワーク２０に割り当てられたカ
テゴリに属するという仮判定をし、優位差Ｏ_enforce−
Ｏ_inhibitが閾値ＴＨ２を上回るかどうかを判断する
（ステップＳ２０５）。Ｏ_enforceの値が閾値ＴＨ１を
上回ってない場合には、入力された認証データ１０が当
該ニューラルネットワーク２０に割り当てられたカテゴ
リに属さないという判定をし、当該ニューラルネットワ
ーク２０を候補リストから除外し（ステップＳ２０
６）、ステップＳ２０３に戻る。

【００３６】一方、優位差Ｏ_enforce− Ｏ_inhibitが閾
値ＴＨ２を上回った場合には、入力された認証データ１
０が当該ニューラルネットワーク２０に割り当てられた
カテゴリに属するという仮判定をし、当該ニューラルネ
ットワーク２０を候補リストに残したまま（ステップＳ
２０７）、ステップＳ２０３に戻る。優位差Ｏ_{enforc e}
− Ｏ_inhibitが閾値ＴＨ２を上回ってない場合には、入
力された認証データ１０が当該ニューラルネットワーク
２０に割り当てられたカテゴリに属さないという判定を
し、当該ニューラルネットワーク２０を候補リストから
除外し（ステップＳ２０６）、ステップＳ２０３に戻
る。

【００３７】また、駆動された全てのニューラルネット
ワーク２０からの出力結果２３３に対する出力比較処理
が完了した場合には、候補リストに残った全てのニュー
ラルネットワーク２０をＯ_enforceの順にソートする
（ステップＳ２０８）。そして、候補リストの最上位ニ
ューラルネットワーク２０と第二位ニューラルネットワ
ーク２０とのＯ_enforceの差が閾値ＴＨ３を上回るかど
うかを判断する（ステップＳ２０９）。候補リストの最
上位ニューラルネットワーク２０と第二位ニューラルネ
ットワーク２０とのＯ_enforceの差が閾値ＴＨ３を上回
った場合には、入力された認証データ１０が候補リスト
の最上位ニューラルネットワーク２０に割り当てられた
カテゴリに属するという最終判定をする（ステップＳ２
１０）。一方、候補リストの最上位ニューラルネットワ
ーク２０と第二位ニューラルネットワーク２０とのＯ
_enforceの差が閾値ＴＨ３を上回ってない場合には、入
力された認証データ１０に対し、該当するカテゴリ無し
という最終判定をし、つまり判定不能という結果となる
（ステップＳ２１１）。

【００３８】本発明のパターン認証装置は登録処理及び
認証処理という２種類の動作を行う。パターン認証装置
は認証可能なカテゴリの数を増やすために登録処理を行
い、新たなニューラルネットワーク２０を作成する。

【００３９】図１１を参照し、パターン認証装置の登録
処理動作を以下に説明する。

【００４０】まず、認証データ１０の登録を新規に行う
場合に、電子ペンにより採取した複数個の筆圧波形から
筆記時間３０１Ｘ及び画数３０１Ｙを特徴量として抽出
し、抽出された筆記時間３０１Ｘ及び画数３０１Ｙ（認
証データ１０）の重心は学習データとしてニューラルネ
ットワーク選択用テンプレート３０１に入力される（ス
テップＳ２０１）。入力されたカテゴリの分布状態はニ
ューラルネットワーク選択用テンプレート３０１に追加
され、ニューラルネットワーク選択用テンプレート３０
１がニューラルネットワーク登録選択部３０によって再
構成される（ステップＳ２０２）。続いて、ニューラル
ネットワーク登録選択部３０は、ニューラルネットワー
ク選択用テンプレート３０１を参照することにより、新
規に学習を行おうとするカテゴリに類似したカテゴリに
対応する学習済みニューラルネットワーク２０を選択す
る（ステップＳ２０３）。選択された全てのニューラル
ネットワーク２０に対して再学習の有無の必要性を確認
する（仮認証）（ステップＳ２０４）。

【００４１】全てのニューラルネットワーク２０に対し
て再学習の有無の必要性の確認が完了していなければ、
当該ニューラルネットワーク２０に対して再学習の必要
性を判断する（ステップＳ２０５）。当該ニューラルネ
ットワーク２０に対して再学習の必要性が有れば、当該
ニューラルネットワーク２０の抑制データを再生成する
（ステップＳ２０６）。つまり、当該ニューラルネット
ワーク２０の抑制データはパターン認証装置が保持する
当該カテゴリ用の抑制データと新規に登録するカテゴリ
に属するデータを用いて再生成される。より具体的に説
明すると、当該ニューラルネットワーク２０に割り当て
られたカテゴリに対し、新規に登録するデータによる評
価を行い、判定結果に応じて再学習に用いる抑制データ
の候補への追加の必要の有無を判断する。

【００４２】次に、当該ニューラルネットワーク２０を
学習させ、収束した後にステップＳ２０４に戻る（ステ
ップＳ２０７）。再学習の際に用いる学習データとして
は、強化データはパターン認証装置が保持している強化
データをそのまま用いる。抑制データはステップＳ２０
６において生成されるものを用いる。

【００４３】全てのニューラルネットワーク２０に対し
て再学習の有無の必要性の確認が完了した場合に、新規
に登録するカテゴリに対応するニューラルネットワーク
２０の抑制データを生成する（ステップＳ２０８）。抑
制データが生成されてから新規に登録するニューラルネ
ットワーク２０を学習させ、新規に登録するニューラル
ネットワーク２０の学習が収束したことを確認してパタ
ーン認証装置に対するカテゴリの登録処理が終了する
（ステップＳ２０９）。

【００４４】図１２を参照し、パターン認証装置の認証
処理動作を以下に説明する。なお、本発明で言う認証と
は大別して入力された認証データ１０が指定のカテゴリ
に属するか（認識）と、入力された認証データ１９がど
のカテゴリに属するか（識別）とに分けられる。前者は
単独のカテゴリのみの判定処理を行い、パターン認証装
置に与える認証データがこのカテゴリに属しているかと
いう判定を行う。一方、後者はパターン認証装置に登録
された全てのカテゴリが判定処理の候補となり、パター
ン認証装置に与える認証データに一致するカテゴリが存
在するかという判定を行う。本実施形態では、電子ペン
により採取した筆圧波形は指定した筆記者が書いたか
（認識）、或いは大勢の筆記者の中の誰が書いたか（識
別）の判定を行う。

【００４５】先ず、電子ペンにより採取した筆圧波形か
ら筆記時間３０１Ｘ及び画数３０１Ｙを特徴量として抽
出し、抽出された筆記時間３０１Ｘ及び画数３０１Ｙは
認証データ１０としてパターン認証装置に入力され（ス
テップＳ３０１）。パターン認証装置は、ニューラルネ
ットワーク登録選択部３０で、登録処理動作により作成
されたニューラルネットワーク選択用テンプレート３０
１を用いることにより、入力された認証データ１０に該
当すると思われるカテゴリに対応するニューラルネット
ワーク２０の選択を行う（ステップＳ３０２）。よっ
て、明らかに属さないと判断できるニューラルネットワ
ーク２０を除外すると共に駆動するニューラルネットワ
ーク２０の数を減らすことにより、認証処理動作時間の
短縮ができる。続いて、選択された全てのニューラルネ
ットワーク２０を駆動させ、所属判定を行わせる（ステ
ップＳ３０３、ステップＳ３０４）。選択された全ての
ニューラルネットワーク２０の所属判定が完了した場合
に、各ニューラルネットワーク２０の出力結果２３３を
出力比較部４０で比較処理することにより、パターン認
証装置としての最終判定が得られる（ステップＳ３０
５）。

【００４６】認証を行う場合には、パターン認証装置に
登録されている全てのカテゴリの中から指定したカテゴ
リに対する判定結果がパターン認証装置としての最終判
定となる。識別を行う場合には、パターン認証装置に登
録されている全てのカテゴリに対する判定結果を比較し
た上で得られた判定結果がパターン認証装置としての最
終判定となる。

【００４７】なお、上述した本発明の実施形態において
は、押圧検知機能付きの電子ペンを用いて書いた手書き
文字、記号等を認証する場合を例として説明したが、本
発明はこれに限られるものではない。例えば、心電図や
脳波などの波形に基づいて病気を診断する医療用診断装
置や、貨幣と偽造貨幣との識別や鑑別等を行う鑑別装置
などの装置に好適に適用することができる。

【００４８】また、ニューラルネットワーク登録選択部
３０はニューラルネットワーク選択部とニューラルネッ
トワーク登録部に機能分割しても良い。

【００４９】

【発明の効果】以上説明したように、識別対象のカテゴ
リ数と同数のニューラルネットワークを並列に配置した
本発明のパターン認証装置によれば、カテゴリ毎にニュ
ーラルネットワークを独立させることにより、個々のニ
ューラルネットワークの規模は小さくなるので学習に要
する時間を大幅に短縮することができる。

【００５０】認証データを新規に登録する際に、識別対
象のカテゴリ数と同数となるよう新しくニューラルネッ
トワークをパターン認証装置に追加し、新規に追加した
ニューラルネットワークを強化データ及び有効な抑制デ
ータを用いて学習させるので、新規に追加したニューラ
ルネットワークの学習時間を短縮することができ、特に
カテゴリ数が多い場合に効果が大きい。

【００５１】また、既に登録済みのニューラルネットワ
ークの再学習は、全ての登録済みのニューラルネットワ
ークに対して行うのではなく、ニューラルネットワーク
選択用テンプレートを用いて新規に追加したニューラル
ネットワークから登録済みのニューラルネットワークま
での重心間距離が所定以下の登録済みのニューラルネッ
トワークを選択して行うので、新規に登録する際の登録
済みのニューラルネットワークの再学習時間を大幅に短
縮することができる。

【００５２】すなわち、本発明のパターン認証装置によ
れば、登録カテゴリ数を沢山増やしても、ニューラルネ
ットワークの利点である高度の識別能力を損なうことが
無く、且つニューラルネットワーク選択用テンプレート
及び有効な抑制データを用いることにより、新規に追加
したニューラルネットワークの学習効率だけでなく、登
録済みのニューラルネットワークの学習効率も大幅に向
上させることができる。

【図面の簡単な説明】

【図１】電子ペンにより採取した筆記者の筆圧波形を示
す図である。

【図２】本発明に係るパターン認証装置の構成例を示す
概略図である。

【図３】本発明に係るニューラルネットワークの構成例
を示す概略図である。

【図４】強化データと抑制データとの関係を示す模式図
である。

【図５】異なるカテゴリ間の分離面を示す模式図であ
る。

【図６】各カテゴリ毎に識別に必要な分離面を示す模式
図である。

【図７】重心の位置と再形成の必要な分離面との関係を
示す模式図である。

【図８】ニューラルネットワーク選択用テンプレートの
データ構造の一例を示す模式図である。

【図９】図８に示すニューラルネットワーク選択用テン
プレートを二次元座標系に表した図である。

【図１０】本発明に係る出力比較部の処理手順を示すフ
ローチャートである。

【図１１】本発明に係るパターン認証装置の登録処理手
順を示すフローチャートである。

【図１２】本発明に係るパターン認証装置の認証処理手
順を示すフローチャートである。

【符号の説明】

１０ 認証データ ２０ ニューラルネットワーク ２１ 入力層 ２２ 中間層 ２３ 出力層 ２３１ 強化素子 ２３２ 抑制素子 ２３３ 出力結果 ３０ ニューラルネットワーク登録選択部 ３０１ ニューラルネットワーク選択用テンプレート ３０１Ｘ 筆記時間 ３０１Ｙ 画数 ３０１Ｚ カテゴリ ４０ 出力比較部 Ａ カテゴリ Ｂ カテゴリ Ｃ カテゴリ Ｄ カテゴリ ＮＮ_Ａ カテゴリＡに対応するニューラルネットワーク ａ ＮＮ_Ａに割り当てられたカテゴリＡに属する認証デ
ータ ａ’ ＮＮ_Ａに割り当てられたカテゴリＡに属さない認
証データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹田 史章 高知県香美郡土佐山田町宮の口185 高知 工科大学内 Ｆターム(参考） 5L096 BA08 HA11 JA09 KA09

Claims (5)

【特許請求の範囲】
1. 【請求項１】 識別対象の認証データをニューラルネッ
   トワークに入力して、ニューラルネットワークからの出
   力に基いて認証結果を出力するパターン認証装置におい
   て、 識別対象のカテゴリ数と同数が設けられ、並列に配置さ
   れた登録済みのニューラルネットワークと、 識別対象のカテゴリのデータ分布状態を登録したニュー
   ラルネットワーク選択用テンプレートと、 新規識別対象の認証データを新規カテゴリとして登録す
   る際、カテゴリ数が識別対象と同数になるよう新規ニュ
   ーラルネットワークを追加し、当該追加したニューラル
   ネットワークを登録済みニューラルネットワークに対し
   て並列に配置すると共に、識別対象のカテゴリのデータ
   分布状態を前記ニューラルネットワーク選択用テンプレ
   ートに登録し、また、前記ニューラルネットワーク選択
   用テンプレートを参照することによって、駆動するニュ
   ーラルネットワークを選択するニューラルネットワーク
   登録選択部と、 選択駆動されたニューラルネットワークからの出力結果
   を比較して認証結果を出力する出力比較部とを備えたこ
   とを特徴とするパターン認証装置。
2. 【請求項２】 前記ニューラルネットワーク登録選択部
   は、ニューラルネットワークの新規登録のとき、当該ニ
   ューラルネットワークの学習データを強化データとし、
   前記強化データから求めた重心と、前記ニューラルネッ
   トワーク選択用テンプレートのカテゴリの重心間距離が
   所定以下の登録済みのカテゴリのデータを抑制データと
   して用いて、新規登録のニューラルネットワークの学習
   をすることを特徴とする請求項１に記載のパターン認証
   装置。
3. 【請求項３】 前記ニューラルネットワーク登録選択部
   は、登録済みニューラルネットワークの再学習のとき、
   前記ニューラルネットワーク選択用テンプレートを用い
   て、新規に登録したカテゴリと登録済みのカテゴリとの
   重心間距離が所定以下の登録済みカテゴリを選択し、選
   択した登録済みのカテゴリのデータを強化データとし、
   前記新規に登録したカテゴリのデータを抑制データとし
   て用いて、選択したカテゴリのニューラルネットワーク
   の学習をすることを特徴とする請求項１又は２に記載の
   パターン認証装置。
4. 【請求項４】 認証データを認証するとき、前記ニュー
   ラルネットワーク登録選択部は、当該認証データと前記
   ニューラルネットワーク選択用テンプレートのカテゴリ
   の重心間距離が所定以下のカテゴリに対応する前記登録
   済みニューラルネットワークを選択駆動し、前記出力比
   較部は、選択駆動された前記登録済みニューラルネット
   ワークからの出力結果に基いて認証結果を出力すること
   を特徴とする請求項１乃至３のいずれかに記載のパター
   ン認証装置。
5. 【請求項５】 前記認証データが電子ペンにより採取し
   た筆圧波形から抽出した特徴量である画数と筆記時間と
   から構成されることを特徴とする請求項１乃至４のいず
   れかに記載のパターン認証装置。