JP2000298663A - ニューラルネットワークを用いた認識装置およびその学習方法 - Google Patents

Abstract

(57)【要約】 【課題】 ニューラルネットワークを用いた認識装置を
提供する。 【解決手段】 ニューラルネットワークを用いた認識装
置である。本発明の神経細胞用素子は、内部状態値を記
憶する内部状態値記憶手段と、内部状態値を他の神経細
胞用素子の出力、自分自身の出力、外部からの入力等に
基づいて更新する内部状態値更新手段と、内部状態値を
外部出力に変換する出力値生成手段とを有する。従っ
て、神経細胞用素子自身が入力されたデータの過去の履
歴を保持できるため、音声等の時系列データをニューラ
ルネットワークに特別な構成を設ける事無く処理でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
ワークを用いた認識装置およびその学習方法に関するも
ので、音声データ等の時系列データを処理する際、従来
の様に入力データの始端・終端を与えたり、考えられる
全ての始端・終端の組み合わせについて処理したりする
のではなく、神経細胞用素子自身が入力されたデータの
過去の履歴を保持できる構成とすることにより、音声等
の時系列データの処理を簡単なハードウェア構成でかつ
高精度の処理が可能となるような技術に関する。

【０００２】また、ニューラルネットワークにそのよう
な処理を行わせるためのニューラルネットワークの学習
方法に関する。

【０００３】

【背景技術及び発明が解決しようとする課題】従来の場
合、データ認識手段、特に時系列データの範疇を学習に
より認識する手段として実用的に用いられている手段
は、ダイナミックプログラミング（ＤＰ）法、隠れマル
コフモデル（ＨＭＭ）法、およびバックプロパゲーショ
ン学習法と多層パーセプトロン型ニューラルネットワー
クを用いた方法（ＭＬＰ法）とがある。これらの詳細に
ついては、例えば中川聖一著「確率モデルによる音声認
識」（電子情報通信学会）、中川、鹿野、東倉共著「音
声・聴覚と神経回路網モデル」（オーム社）等に記述さ
れている。

【０００４】このＤＰ法、ＨＭＭ法に共通する問題は教
師となるデータおよび認識対象となるデータに始端と終
端を必要とすることである。これらにおいて見かけ上始
端終端に依存しない処理をするためには、可能性のある
全ての始端終端についての処理を行い、最良の結果を与
える始端終端を試行錯誤的に発見するという方法があ
る。しかし、例えば長さＮのパタンの中から、ある範疇
に属するデータの部分を検出する場合を考えてみると、
始端の可能性としてはＮのオーダーの可能性があり、ま
た終端においてもＮのオーダーの可能性がある。つま
り、始端終端の組み合わせとしてはＮの自剰のオーダー
の可能性が考えられる。従ってこの場合においては、こ
の非常に多数の組み合わせの全てについて認識処理を行
わなければならない。そして、その処理には膨大な時間
がかかってしまう。

【０００５】また組み合わせの数という量的な問題以前
に、始端終端の存在という仮定自身に、より本質的な問
題がある。入力データに、ある範疇のデータがただ一つ
しか含まれないという条件であれば始端終端は自明であ
るが、一つ以上の範疇のデータが連続する場合において
は、そのような境界は自明ではない。特に、音声などの
時系列情報においては、そのような境界は明確に存在せ
ず、連続した２つの範疇のデータはその情報が重複する
遷移領域を経て一方から他方へ変化する。従って、デー
タの始端終端を仮定することはその正確度において非常
に大きな問題がある。

【０００６】従来法のもう一つの方法であるＭＬＰ法の
場合はこのようなデータの始端終端を特に仮定する必要
はない。しかしそれに代わって入力のデータ範囲という
意味での新たな始端終端の問題が起こる。つまり、ＭＬ
Ｐ法は基本的には静的なデータを認識するための方法で
あり、それに時系列データを認識させるためには、ある
時間範囲のデータを１つの入力データとして入力し、等
価的に時間情報を処理しなければならないという問題が
ある。この時間範囲はＭＬＰの構成上固定されたもので
なければならない。

【０００７】一方時系列データの長さは、その範疇によ
り、また同一範疇の中においても大きく変動する。例え
ば音声における音素を例にとれば、長い音素である母音
等と、短い音素である破裂音等の平均長さは１０倍以上
異なる。また同一音素内においても実際の音声中での長
さは２倍以上変動する。従って、仮にデータの入力範囲
を平均的な長さに設定したとすると、短い音素を認識す
る場合はその入力データの中には認識対象以外のデータ
が多数含まれることになり、また長い音素を認識する場
合はその入力データの中には認識対象のデータの一部し
か含まれないことになる。これらはいずれも認識能力を
下げる原因である。また音素毎に異なる入力長さを設定
したとしても、その音素自身の長さが変動するので問題
は同様である。また、このようなことは時系列情報一般
に見られることである。

【０００８】従来的なＤＰ法、ＨＭＭ法では、取り扱う
データの始端と終端とを必要とし、ＭＬＰ法では学習時
に入力範囲の始端と終端とを必要とする。しかし、時系
列情報においてはこれは原理的に明確にはできず、無理
に始端・終端を仮定することは認識能力を下げることに
なる。

【０００９】また、見かけ上これを緩和するためには全
ての始端終端の組み合わせについての処理を必要とな
り、膨大な処理が必要となる。

【００１０】

【課題を解決するための手段】これに対して、本発明の
ニューラルネットワークを用いた認識装置は、 １）ニューラルネットワークを構成する各神経細胞用素
子が、内部状態値記憶手段と、内部状態値記憶手段に記
憶された内部状態値とその神経細胞用素子に入力される
入力値とにより内部状態値を更新する内部状態値更新手
段と、内部状態値記憶手段の出力を外部出力値へ変換す
る出力値生成手段とを有する、 ２）内部状態値更新手段は入力値および内部状態値に重
みを付け積算する重み付き積算手段からなり、内部状態
値記憶手段は前記重み付き積算手段により積算された値
を積分する積分手段からなり、出力値生成手段は積分手
段により得られた値を予め設定された上限値と下限値の
間の値へ変換する出力値制限手段とからなる、 ３）前記１）または２）において、ニューラルネットワ
ークを構成するｉ番目の神経細胞用素子の内部状態値を
Ｘｉとし、τｉを時定数とし、神経細胞用素子への重み
付き入力値をＺｊ（ｊは０からｎ、ｎは０または自然
数）とすると、内部状態値更新手段が、

【００１１】

【数２】

【００１２】を満足する値へ内部状態値を更新する、 ４）前記１）ないし３）において、ｉ番目の神経細胞用
素子への重み付き入力値Ｚｊが、ｉ番目の神経細胞用素
子自身の出力に重みを剰算した値を含む、 ５）前記１）ないし４）において、ｉ番目の神経細胞用
素子への重み付き入力値Ｚｊが、ニューラルネットワー
クを構成する他の神経細胞用素子の出力に重みを剰算し
た値を含む、 ６）前記１）ないし５）において、ｉ番目の神経細胞用
素子への重み付き入力値Ｚｊが、ニューラルネットワー
クの外部から与えられたデータを含む、 ７）前記１）ないし６）において、ｉ番目の神経細胞用
素子への重み付き入力値Ｚｊが、ある固定された値に重
みを剰算した値を含む、 ８）前記１）ないし７）において、出力値生成手段が、
正負対称出力範囲を有する、 ９）前記１）ないし８）において、ニューラルネットワ
ークが少なくとも肯定出力、否定出力の２つの出力を持
つ、 １０）前記１）ないし９）において、認識装置は、認識
させたい入力の特徴抽出を行うと共に特徴抽出した値を
前記ニューラルネットワークへ入力する音声特徴抽出手
段と、ニューラルネットワークの出力値を認識結果に変
換する認識結果出力手段と、ニューラルネットワークを
構成する神経細胞用素子の内部状態値記憶手段に予め設
定された初期値を与える内部状態値初期化手段とを有す
る、 １１）前記１０）の認識装置において、ニューラルネッ
トワークに背景雑音を入力する背景雑音入力手段と、ニ
ューラルネットワークの出力から平衡状態を検出し、そ
の検出結果に基づき内部状態初期値設定手段に内部状態
値を変更する信号を出力する平衡状態検出手段とを設け
たこと、を特徴とする。

【００１３】また、本発明のニューラルネットワークを
用いた認識装置の学習方法は、１２）前記１０）または
１１）の認識装置が、ニューラルネットワークを学習さ
せる学習部を有し、その学習部が学習用入力データを記
憶する入力データ記憶手段と、入力データ記憶手段から
学習用入力データを選択する入力データ選択手段と、学
習用出力データを記憶する出力データ記憶手段と、選択
された入力データとその連鎖により学習用出力データを
選択する出力データ選択手段と、選択された学習用入力
データを特徴抽出部に入力すると共にニューラルネット
ワークの学習を制御する学習制御手段とを有し、学習制
御手段はニューラルネットワークの出力と出力データ選
択手段の出力とに基づいて神経細胞用素子の結合の重み
付けを変更する、 １３）前記１２）において、入力データ記憶手段は複数
個の範疇を有し、出力データ記憶手段は入力データ記憶
手段の各範疇に対応する範疇を有し、入力データ選択手
段は入力データ記憶手段の範疇から学習させたい複数個
のデータを選択し、出力データ選択手段は入力データ選
択手段により選択された学習用入力データに対応する学
習用出力データを選択し、学習制御部は入力データ選択
手段が選択した複数個のデータを１つに連結する入力デ
ータ連結手段と出力データ選択手段が選択した学習用出
力データを１つに連結する出力データ連結手段とを有
し、学習部は連結した１つの学習用入力データを音声特
徴抽出手段に入力すると共に、ニューラルネットワーク
の出力と出力連結手段の出力とに基づき神経細胞用素子
の結合の重み付けを変更する、 １４）前記１３）の範疇の数が２であること、 １５）前記１２）ないし１４）において、学習部は雑音
データを記憶する雑音データ記憶手段と、選択された学
習データに雑音データ記憶手段から選択された雑音を重
畳する雑音重畳手段とを有し、雑音重畳手段により雑音
が重畳された入力データを用いてニューラルネットワー
クを学習させる、 １６）前記１５）において、背景雑音を重畳させる位置
をずらして繰り返し学習させる、 １７）前記１５）において、はじめに背景雑音が重畳さ
れていない入力データで学習させた後に、同じ入力デー
タに背景雑音を重畳して学習させる、ことを特徴とす
る。

【００１４】このように、本発明のニューラルネットワ
ークを用いた認識装置及び学習方法によれば、 １）従来例では音声入力の長さＮの自剰に比例した処理
時間が必要であったが、本発明ではデータを１回のみ与
えれば良く非常に高速な処理が可能である、 ２）入力データを記憶するメモリーが非常に少なくても
良い、 ３）結果の正規化の必要がない、 ４）容易に連続処理が可能である、 ５）整数型のデータ表現でも十分な精度が得られる、 ６）肯定否定出力を組み合わせる事により、非常に高精
度の認識結果が得られる、 ７）より多出力の任意の情報を出力させる事ができる、 ８）対雑音性等を容易に向上させる事ができる、 ９）種々の時間スケールの現象への対応を学習により自
己組織的に行う事ができる、 １０）ＮＮの連想能力、情報の圧縮伸長能力を、目的に
合わせて最適に配置する構成が容易に行える、 １１）学習が極めて容易であり、そのための試行錯誤的
な部分が非常に少ない、などの効果がある。

【００１５】

【発明の実施の形態】図１は本発明におけるＮＮを構成
する神経細胞用素子（以下「ノード」という）の機能を
模式的に示したものである。図中１０４は１つのノード
全体を、１０１は内部状態値記憶手段を、１０２は１０
１に記憶された内部状態値及びノードに入力される入力
値に基づいて内部状態値を更新する内部状態値更新手段
を、１０３は内部状態値を外部出力へ変換する出力値生
成手段を示す。

【００１６】図２は、図１に示したノードの機能をより
具体的に示したものである。図中２０１はデータ入力手
段を、２０２は２０１により得られたデータ入力値に重
みを付け積算する重み付き積算手段を、２０３は積算さ
れたデータ値を積分する積分手段を、２０４は積分の結
果得られた値を予め設定されたある範囲の値へ変換する
出力値制限手段をそれぞれ模式的に示す。

【００１７】図３は図２の構成を電子回路にした一例で
ある。図中３０１は、図２のデータ入力手段と重み付き
積算手段を、また３０２は積分手段を、３０３は出力値
制限手段を示す。

【００１８】一方、図２８は従来のＭＬＰ法によるＮＮ
を構成するノードの機能を模式的に示したものである。
図中２８０３は１つのノード全体を、２８０１は内部状
態値を計算する内部状態値計算手段を、２８０２は２８
０１により計算された内部状態値を外部出力へ変換する
出力値生成手段を示す。

【００１９】同様に、図２９は図２８に示した従来のノ
ードの機能を具体的に示したもので、図中２９０１はデ
ータ入力手段を、２９０２は２９０１により得られたデ
ータ入力値に重みを付け積算する重み付き積算手段を、
２９０３は積算されたデータの値を予め設定されたある
範囲の値へ変換する出力値制限手段を示す。

【００２０】図３０は図２９の構成を電子回路にした例
である。図中３００１は、図２９のデータ入力手段と重
み付き積算手段を、また３００２は出力値制限手段を示
す。

【００２１】図１〜図３および図２８〜図３０から明ら
かな通り、本発明のノードは従来のノードにはなかった
積分手段を持つ。従って、従来のノードにおいては、そ
の出力が、その時点での入力のみにより決定されるとい
う意味で静的であったのに対し、本発明のノードは、そ
のノードへ入力されたデータの過去の履歴が、その積分
値として変換、保持されており、それにより出力が決ま
るという意味で動的であるといえる。

【００２２】つまり、従来の静的なノードを用いたＮＮ
で時系列データを処理しようとすれば、そのネットワー
クの構造としてデータの時間構造を取り込む必要があっ
たのに対し、本発明の動的なノードを用いたＮＮは、Ｎ
Ｎの構造等によらずにノードそのもので時系列データを
処理する事ができる。

【００２３】より具体的に言うと、従来のＮＮに時系列
データを処理させようとすると、その時間情報を空間情
報へ展開するような方法、例えば複数のタイミングで入
力されたデータを一つの入力データへまとめあげる等の
方法が必要となる。このためには、このまとめあげるデ
ータを記憶し、管理するためのハードウエアと処理が必
要となる。あるいは上で述べたような時間に依存する情
報を記憶するための、特別なコンテキスト素子が必要と
なる。さらに、このコンテキストを管理するハードウエ
アと処理も必要である。

【００２４】それに対し、本発明のＮＮによれば、コン
テキスト情報等は各々の素子の内部の積分値として記憶
されるため、ＮＮに特別な構造を設定する必要がない。
従って、入力データも、それぞれのタイミングのデータ
をそれぞれのタイミングで入力する、という最も単純な
入力方法で十分であり、時間情報を処理するための特別
なハードウエアや処理は全く必要としない。

【００２５】次に、本発明のノードおよびそのノードに
よって構成されるＮＮの実際の動作について説明する。
ノードの内部状態値をＸ、出力値をＹとし、ＸとＹの時
間変化において、現在の内部状態値をＸｃｕｒｒ、更新
された内部状態値をＸｎｅｘｔ、またその更新動作時に
ノードに入力される入力値をＺｉ（ｉは０〜ｎであり、
ｎはそのノードへの入力数）とする。内部状態値更新手
段の動作を形式的に関数Ｇと表すと、更新された内部状
態値Ｘｎｅｘｔは、 Ｘｎｅｘｔ＝Ｇ（Ｘｃｕｒｒ、Ｚ０、・・・、Ｚｉ、・・・、Ｚｎ） （１） と表現できる。式（１）の具体的な形は様々のものが考
えられるが、例えば１階の微分方程式を用いた次の式
（２）のようなものも可能である。

【００２６】

【数３】

【００２７】ここでτ_iはある時定数である。

【００２８】ここで、入力値Ｚｊをもう少し詳細に定義
すると、ある結合重みを乗算されたそのノード自身の
出力、ある結合重みを乗算された他のノードの出力、
等価的に内部状態更新手段へバイアスを与えるための
結合重みを乗算された固定出力値、そのノードにＮＮ
の外部から入力される外部入力、等が考えられる。そこ
で、このような入力値Ｚｊに対するｉ番目のノードの内
部状態値の更新を考える。内部状態値をＸｉ、任意のノ
ードの出力をＹｊ、ｊ番目のノードの出力をｉ番目のノ
ードの入力へ結合する結合強度をＷｉｊ、バイアス値を
θｉ、ｉ番目のノードへの外部入力値をＤｉとすると、
式（２）はより具体的に次のように書ける。

【００２９】

【数４】

【００３０】このようにして決定されたある瞬間のノー
ドの内部状態をＸとし、出力値生成手段の動作を形式的
に関数Ｆで表すと、ノードの出力Ｙは、 Ｙ＝Ｆ（Ｘ） （４） と表現できる。Ｆの具体的な形としては以下の式（５）
で示されるような正負対称出力のシグモイド（ロジステ
ィック）関数等が考えられる。

【００３１】

【数５】

【００３２】しかし、この関数型は必須のものではな
く、その他にもより単純な線形変換や、あるいはしきい
値関数等も考えられる。

【００３３】このように式に従い本発明におけるＮＮの
出力Ｙの時系列は計算される。

【００３４】図４は、本発明のノードにより構成された
ＮＮを使用した音声認識装置の１例を示すものである。
図中４０１は音声特徴抽出手段を、４０２は本発明のノ
ードによって構成されたＮＮを、４０３は認識結果の出
力手段を示す。音声特徴抽出手段により抽出された出力
２つのノードに入力されている。それから、このＮＮは
任意のノードが他の全てのノードと結合している全結合
型のＮＮとなっている。そして、ＮＮからは２つの出力
が認識結果出力手段に出力されている。本発明のＮＮで
は、出力数は任意に設定することができる。よって、単
語認識の場合などは、肯定出力、否定出力の２つの出力
を設けて、これらの出力から総合的に認識結果を判断し
て、認識精度を高めることができる。もちろんＮＮへの
入力数および出力数は図４の様に２つに限るものではな
く、幾つでも良い。

【００３５】図５〜図９に、本発明のノードにより構成
されたＮＮの他の構成例を示す。

【００３６】先ず始めは、図４のＮＮ４０２の構成のみ
をかえた例を図５に示す。ここではＮＮ４０２が、入力
層５０１、隠れ層５０２、出力層５０３から構成され
る。この構成は、従来技術のＭＬＰ法と見かけ上同一に
見える。しかし、本発明のノードにより構成されたＮＮ
は、従来技術のような先ず入力層の値が決定され、その
後にその値を入力とする隠れ層の値が決定され、以下同
様に出力層に至るまでの各層の値が逐次的に決定されて
いくといった、フィードフォワード型ネットワークでは
ない。

【００３７】本発明のノードを用いたＮＮは、ノード自
身が内部状態値を保持できるため従来技術のようなコン
テキスト層を必要とせずに時系列データを認識し、コン
テキスト層を有する従来技術と同等の結果を得る事がで
きる。また、全ての層の出力が同時に決定されるため従
来技術のＭＬＰ法よりも、より効率の良い並列処理が可
能である。

【００３８】さらに、本発明のノードを用いたＮＮは、
高い耐雑音性も有する。図１０のａ）は従来の単純なＭ
ＬＰ法におけるノードの入力と出力の対応を示すもので
ある。図より明らかなように、方形波的な入力にスパイ
ク的なノイズが重畳した信号が入力として与えられる
と、ほぼそのままの波形が出力に現れるのが判る。この
ようにＭＬＰ法のノードは、その入力を単純に出力に反
映するためノイズの影響をそのまま受けてしまう。

【００３９】しかし、本発明のノードは内部状態値とし
て時間的な履歴を記憶しており、その内部状態値と入力
との関数として次の内部状態値、そして出力値が決ま
る。従ってａ）と同様のスパイク的なノイズが入力に重
畳しても、図１０ｂ）に示すようにスパイク的な波形は
なまらされてその影響は小さくなり、良好な耐ノイズ性
が得ることができる。

【００４０】このような耐雑音性はコンテキスト層を持
つ従来技術においても多少は得る事ができるが、ＮＮを
構成するノードの一部について、その履歴情報を特別な
構成を持った外部ノードへ保存しなければならず、全て
のノードが自分自身の履歴情報を内部状態値として保持
する本発明におけるノードを用いた場合と比較してその
耐ノイズ性は劣る。

【００４１】次の例は、図５のＮＮの構成をより多層に
して、砂時計形ネットワークを構成した例で、図６に示
す。図中６０１は特徴抽出（又は情報圧縮）ネットワー
クを、６０２は伝達ネットワークを、６０３は認識（又
は情報伸長）ネットワークを示す。図６のＮＮの構成
も、一見従来のＭＬＰ法と同様である。しかし、その動
作は前述した通り全く異なる。このような構成をとるこ
とにより、本発明の効果を損なわずに時系列的な効果を
取り込んだ特徴抽出（又は情報圧縮）ＮＮ、及び時系列
的な効果を取り込んだ認識ネットワーク（又は情報伸
長）ネットワーク等の機能をモジュール化した音声認識
方法の構成も可能である。

【００４２】その次は、図６の伝達ネットワーク６０２
を、図７に示す情報送信機能７０２と情報受信機能７０
３に分割した例である。７０２と７０３の間の波線は、
これらが空間的・時間的に離れていても良い事を示す。
この波線が伝送線などの空間的な距離を示すとすると、
図７は音声圧縮伝送装置を示し、この波線が時間的な距
離を示すとすると、図７は例えば音声圧縮記録装置を示
す。もちろんここで圧縮される対象は音声に限られるも
のではなく、より一般的な情報であっても構わない。ま
た認識処理は広い意味での情報圧縮処理である事は言う
までもない。

【００４３】図７においても今まで述べてきた本発明の
効果は損なわれる事はない。例えば図１０で説明した耐
ノイズ性により、伝送線上での伝送誤りや雑音の混入、
あるいは記録媒体の欠陥や劣化等に対しても良好な体勢
を示すものである。

【００４４】次は、図４の構成を簡単にしたものであ
る。図８のＮＮは、自己回帰ループを持つことにより、
より広い時間的変動範囲の現象を取り扱うことができ
る。つまり、入力値Ｚのなかの自己回帰ループの部分の
結合の強さをＷとすると、この自己回帰ループを考える
ことは近似的に系の時定数τを以下の式に置き換えたこ
とに相当する。

【００４５】 τ÷（１−Ｗ） （６） このＷは以降に述べる学習により修正される値であるの
で、学習データに合わせて系の応答の時間スケールを最
適化することができる。従来のコンテキスト層を用いた
方法ではこのようなことを学習により自己組織的に行う
事はできず、人間が時間スケールに合わせたネットワー
クの設定を行う事が必要となる。

【００４６】図１１はこの効果を概念的に示した図であ
る。いま図の１１ａ）に示したような方形波の連続入力
があったとすると、この方形波の周期よりも系の応答時
定数が大きいと系の応答はａ）の出力のように前の出力
に次の出力が加算されていき、正しい認識結果を得る事
はできない。

【００４７】一方図８のように自己回帰ループのある系
では、系の時定数は学習により最適化されるので、その
応答は例えば図１１のｂ）のように修正される事が可能
であり、良い認識率を得る事ができる。

【００４８】このような系の時定数の学習機能と適当な
学習方法を組み合わせる事により、図６、図７のシステ
ムの耐雑音性等をさらに高める事ができる。

【００４９】そして最後のＮＮの構成例として、図８の
ＮＮをランダム結合ＮＮとした例を図９に示す。ランダ
ム結合ＮＮ９０２は、入力ネットワーク９０４と出力ネ
ットワーク９０５の２つのサブネットワークからなる。
本例では、入力ネットワークを全結合型のサブネットワ
ークとし、出力ネットワークをランダム結合型のサブネ
ットワークとして、２つのサブネットワークを１方向的
に接続する構成とした。

【００５０】このような構成により、先に述べてきたよ
うな効果に加えて、全結合型ＮＮによる連想能力を用い
て入力の欠陥を補う、あるいは対雑音性をあげる等の機
能、さらに一方向の結合を用いて情報の流れをヒューリ
スティックに処理し、情報の圧縮、伸長等を行う等機能
を、全体の構成の設計として最適に行う事ができる等の
効果が得られる。

【００５１】以上が、図４に示したＮＮの別の構成例で
あるが、次に音声認識装置そのものの他の構成例を見て
いく。

【００５２】図１２は、図４の音声認識装置に内部状態
初期値設定手段１２０４を追加したもので他は図４と同
一である。式（２）で示したように、本発明のＮＮの動
作は１階の微分方程式で記述される。従って、その動作
を決定するにあたっては、初期値が必要となる。内部状
態初期値設定手段は、ＮＮが動作をするために、予め決
められた初期値を全てのノードに与えるものである。図
１３に基づいて、本音声認識装置の動作手順を説明する
と、 １．内部状態初期値設定手段により、全てのノードに適
当に選択された初期内部状態値Ｘをセットし、それに対
応する出力Ｙをセットする。 ２．処理が終了であれば終わる。 ３．全てのノード各々において入力値Ｚの和を求める。
入力値Ｚは前に説明した通りであり、音声特徴抽出手段
によって抽出された音声特徴量は、外部入力値としてこ
のＺの一部として計算される。 ４．全てのノードそれぞれについて、３で求めたＺの和
と内部状態値Ｘそのものの値によりＸの値が更新され
る。 ５．更新されたＸの値により出力値Ｙが計算される。 ６．処理２へ戻る。 という手順になる。認識結果は出力に割り当てられたノ
ードの出力として認識結果出力手段に与えられる。

【００５３】以上が、本発明のノードを使用したＮＮに
よる音声認識装置の基本的な動作原理およびその構成で
あるが、この様なＮＮに所望の処理をさせるにはＮＮを
学習させることが必要となる。そこで、次にＮＮの学習
方法について説明する。

【００５４】図１４が、本発明の音声認識装置の学習方
法を示す構成図である。図中１４１０は、ＮＮ１４０２
を学習させるための学習部を示す。１４１１は所定の学
習用入力データが記憶された入力データ記憶手段、１４
１３は各学習用入力データに対応する模範となる出力デ
ータが記憶された出力データ記憶手段、１４１２は入力
データ記憶手段から学習させたい入力データを選択する
入力データ選択手段、同様に１４１４は出力データを選
択する出力データ選択手段、そして、１４１５はＮＮの
学習を制御する学習制御手段を示す。

【００５５】次に、この学習部による音声認識装置の学
習方法について図１３、図１４を参照しながら説明す
る。まず、全てのノードに予め設定された初期状態値Ｘ
をセットする。次に、学習させたい学習用入力データが
入力データ選択手段により選択される。選択された入力
データは学習制御手段に送られる。この時、選択した学
習用入力データに対応する学習用出力データが出力デー
タ選択手段により選択される。選択された出力データも
同様に学習用制御手段に送られる。選択された学習用入
力データは音声特徴抽出手段１４０１に入力され、ここ
で特徴抽出された特徴ベクトルがＮＮへ外部入力として
入力される。全てのノードについてそれぞれ入力Ｚの和
を求め、式（２）に従って内部状態値Ｘを更新する。そ
して、更新されたＸにより出力Ｙを求める。

【００５６】初期段階では、ＮＮの各ユニット間の結合
強度にはランダムな値が与えられている。したがって、
ＮＮから出力される出力値Ｙはでたらめな値である。

【００５７】以上の内容を、入力データ時系列の終わり
まで繰り返す。このようにして得られた、出力Ｙの時系
列に対して、次の式（７）で示される式により学習評価
値Ｃを求める。

【００５８】

【数６】

【００５９】ここで、Ｃはある学習評価値であり、Ｅは
ある誤差評価値である。式（７）に従い、Ｃの時系列は
図１５に示すような処理により計算される。

【００６０】この処理の具体的な例として、選択した学
習用入力データに対応する学習用出力データをＴとし、
学習用入力データに対応する出力値をＹとして、例えば
誤差評価関数として、次の式（８）で示されるkullback
-leibler距離を用いるとＥは、

【００６１】

【数７】

【００６２】と書ける。kullback-leibler距離を用いる
と、種々の要因により学習が高速になるという利点があ
る。

【００６３】また、式（８）と実質的に同一であるが、
出力値生成手段が対称出力である場合は、式（８）は次
の式（９）のように表される。

【００６４】

【数８】

【００６５】そうして、これらを用いる事により、式
（７）のより具体的な例として次の式（１０）が得られ
る。

【００６６】

【数９】

【００６７】以上を与える事により、結合強度Ｗの修正
則は、次の式（１１）で与えられる。

【００６８】

【数１０】

【００６９】ここで、αは小さな正の定数である。これ
に従い、出力が目的とする値になるように各ユニット間
の結合の強さを変更する。認識させたい音声データを繰
り返し入力し、少しずつ各ユニット間の結合の強さを変
更することにより、ネットワークから正しい値が出力さ
れるようになる。出力が収束するまでの繰り返し回数
は、数千回程度である。

【００７０】この学習則は、例示した全結合型のニュー
ラルネットワークのみではなく、層状結合等を特殊例と
して含む、より一般的なランダム結合ニューラルネット
ワークにも適用可能であるのは明らかである。

【００７１】次に、２つの学習用入力データを続けて入
力し、学習させる方法について、ＮＮが肯定出力と否定
出力の２つの出力を有する場合を例にして説明する。

【００７２】入力データを1つずつ用いた学習では、一
度ハイレベルになった肯定出力はローレベルに下げるこ
とができない。逆に、一度ローレベルになった否定出力
はハイレベルにあげることができない。つまり、入力デ
ータを１つずつ用いた学習では、図１６（ａ）に示すよ
うな、認識させたい入力データ（以下、「肯定データ」
という）を与えて肯定出力をハイレベルに上昇させる学
習（否定出力はローレベルのまま）、または図１６
（ｂ）に示すような、認識させたくないデータ（以下、
「否定データ」という）を与えて否定出力をハイレベル
に上昇させる学習（肯定出力はローレベルのまま）が行
われる。しかしながら、この学習では、肯定出力、否定
出力ともに一度ハイレベルに上昇した出力値が下降する
ことがない。

【００７３】したがって、肯定データと否定データが混
在した複数の音声データが連続して与えられた場合、肯
定データの出力で一度ハイレベルに上がった肯定出力
は、その後に否定データの入力があってもローレベルに
下がることはない。これは否定出力についても同様であ
る。

【００７４】そこで、本実施例では、図１７（ａ）〜
（ｄ）に示すような、２つの音声データを連続して与え
て、出力の上昇と下降の両方の学習する方法を用いた。
図１７（ａ）では否定データと肯定データを連続して入
力し、肯定出力の上昇、否定出力の上昇と下降を学ばせ
る。図１７（ｂ）では、肯定データと否定データを連続
して入力し、肯定出力の上昇と下降、否定出力の上昇を
学ばせる。図１７（ｃ）では、否定データを２つ連続し
て入力し、図１７（ａ）の学習で否定データの次は肯定
データであるといった誤った認識をＮＮに持たせないよ
うにする。同様に、図１７（ｄ）では、肯定データを２
つ連続して入力し、図１７（ｂ）の学習で、肯定データ
の次は否定データであるといった誤った認識をＮＮに持
たせないようにする。

【００７５】換言すればこのことは、ＮＮの動作の初期
値依存性の問題である。つまり、入力データを一つのみ
用いた学習ではその学習が特定の初期値のみから開始さ
れるため、その初期値においてのみ期待される能力を示
すような学習結果しか得られない。これをより一般的な
場合に適応できるようにするためには、様々な初期値に
対しても正確な反応が起こるように学習させなくてはな
らない。しかし、このような様々な初期値としては全て
の例を与える必要はない。実際の認識時においては、そ
の認識対象についての種々の制約により可能な初期値の
組み合わせは限られたものとなる。学習に２個以上のデ
ータの連鎖を用いることは、このような可能な初期値の
組み合わせを近似的に与えるものであり、この目的のた
めには２個のデータの連続のみにおいても十分によい結
果が得られる。もちろん３個以上の連続データを用いて
もよい。

【００７６】図１８は、この２つの連続入力をＮＮへ学
習させるための音声認識装置の構成図である。ここで
は、図１４で説明した入力データ記憶手段が、肯定デー
タ、否定データという２つの範疇から構成されている。
図中１８０１は様々な条件で収集された認識すべき単語
のデータ群である肯定データ記憶手段を、１８０２はも
う一つの範疇である認識すべき単語以外の例としての否
定データ記憶手段を、１８０３、１８０４はそれぞれの
範疇についての学習用出力データを記憶する出力データ
記憶手段である。ここでは、各範疇に３個のデータがあ
るとする。１８０５は入力データ選択手段を、１８０６
は出力データ選択手段を、１８０７は入力データ連結手
段を、１８０８は出力データ連結手段を、１８０９は学
習制御手段を、１８１０はＮＮをそれぞれ示す。

【００７７】入力データ選択手段により、肯定データ記
憶手段、否定データ記憶手段から学習用の入力データが
２つ選択される。その組み合わせについては、図１７で
説明した通りである。選択された２つの入力データは入
力データ連結手段で１つの連続データとなる。そして、
この連続データは音声特徴抽出手段で特徴抽出されＮＮ
へ入力される。ＮＮ内では、図１３の処理に従い出力値
が時系列的に計算される。ＮＮの出力は学習制御手段に
送られ、予め選択されている学習用出力データとの誤差
が計算され、各ノードの結合の重みが修正されることに
より、ＮＮが学習を重ねる。図１８では、ＮＮの出力を
肯定出力ノードと否定出力ノードの２個とし、１８０
３、１８０４中の実線が肯定データに対応する肯定出力
ノードの学習用出力、破線が否定データに対応する否定
出力ノードの学習用出力とした。

【００７８】そこで、この様な特徴を有するノードによ
り構成されたＮＮからなる音声認識装置の認識結果を、
図１８で説明した学習方法により学習させた場合を例に
次に示す。実際には、音声特徴抽出手段の出力として２
０次のＬＰＣケプストラムを仮定し、入力を２０、出力
を２、その他を１０として合計３２個のノードによりＮ
Ｎを構成した。

【００７９】まず学習であるが、認識させたい単語（肯
定データ）としては「とりあえず」を、それ以外の参照
用単語（否定データ）としては、「終点」、「腕前」、
「拒絶」、「超越」、「分類」、「ロッカー」、「山
脈」、「隠れピューリタン」の８単語を与えた。ＮＮの
出力としては、上の肯定データに対応する肯定出力と、
否定データに対応する否定出力の２つを考えた。学習用
出力としては、図１７で説明した４つの場合を想定し
た。この学習用出力の曲線部分は、そのデータの時間的
な中点に原点を持ち、かつそのデータの始端を−１０、
終端を１０に対応させた式（５）のシグモイド関数を０
〜０．９の範囲に変形したもの、あるいはそれを反転し
たものを用いた。また、学習用の話者は（株）ＡＴＲ自
動翻訳電話研究所の研究用日本語音声データベースの中
のＭＡＵとＦＳＵで行った。

【００８０】入力と出力の対応については、１フレーム
分の入力（この場合は２０次ＬＰＣケプトラム）を入力
し、一組の肯定出力、否定出力を得るものとした。従っ
て、従来のように複数フレームのデータを入力するよう
な必要はない。

【００８１】また、従来例のＭＬＰ法の変形である「フ
ィードバック結合を持つＢＰモデル」型ＮＮでは、学習
を収束させるのが困難であり、その学習用出力を試行錯
誤的に作成しなければならないという問題点があった
が、本発明の音声認識方法のＮＮは、以上の方法で学習
させることにより、数１００〜数１０００回の学習で所
望の出力を生成するようになった。また、学習用出力も
試行錯誤的な部分は全く無く一義的に決めることができ
る。

【００８２】図２５は、このような学習をさせたＮＮ
に、学習に用いなかった未知の単語を含むデータを与
え、その能力を検証した結果である。単語の種類の合計
は２１６単語であり、そのうちの９単語は学習に用いた
ものである。これらの２１６単語から様々な組み合わせ
の２単語連鎖のデータを作成し、検証に用いた。検証の
際の単語の出現総数は話者あたり１２９０単語である。
認識結果の判定は、肯定出力と否定出力の組み合わせに
よる判定とし、肯定出力が０．７５以上かつ否定出力が
０．２５以下であれば検出、肯定出力が０．２５以下か
つ否定出力が０．７５以上であれば非検出、それ以外は
困惑状態であるとした。この判定条件において、検出す
べき単語が無い位置で検出出力が得られた場合を挿入誤
り、検出すべき単語が有る位置において非検出出力が得
られた場合を欠落誤りとした。

【００８３】また、下の図２６は図２５と同じ実験を学
習に用いた話者以外の未知話者九人に対して行ったもの
である。

【００８４】図２５、図２６より明らかであるように、
本発明の音声認識方法によれば、僅かなデータを学習さ
せるだけで非常によい認識率を得ることができる。

【００８５】図１９は、連続した３個以上の単語の中か
ら認識対象とする単語を検出した例である。図中実線は
肯定出力を、破線は否定出力を示す。図より明らかなよ
うに、従来例のように、始端、終端を与えることなく単
語「とりあえず」を認識していることが判る。

【００８６】さらに、図２０は、未知単語中から認識対
象単語「とりあえず」を認識した例である。図１９と同
様に、実線は肯定出力を、破線は否定出力を示してい
る。このように、本発明の認識方法は、充分な汎化能力
を持っていることが分かる。

【００８７】これらを従来例と比較すると、図１９で与
えたデータの長さは合計１０４９個であるので、従来的
な始端、終端を与えて認識させる場合は単純に言って１
０４９の自剰個のオーダーの組み合わせを調べる必要が
ある。しかし、本発明は１０４９個のデータをそれぞれ
１回ずつ入力として与えるのみで良いので、従来の処理
方法と比較して、数百分の１の時間で処理できる。ま
た、データをそれぞれ１回だけ入力すればよいため、従
来のように始端、終端となり得る範囲のデータを記憶し
ておく必要がなく、データメモリーも少量しか必要な
く、その計算量も少なくなる。

【００８８】また、出力は従来例のＤＰ法、ＨＭＭ法の
ように単調増加、あるいは単調減少するのではなく、必
要な所でピーク値を持つため、出力値を入力データの長
さに対して正規化する必要もない。つまり、出力は常に
ある範囲（この例の場合は−１から１の間）にあり、か
つその値の持つ重みは認識区間のどこでも同じである。
この事は処理すべき値のダイナミックレンジが狭い事を
意味し、処理時に浮動小数点データや対数データを用い
なくとも、整数型のデータで充分な性能を出せることを
意味している。

【００８９】それから、肯定出力と否定出力の２つの出
力の総合的な判断により認識をしているため、例えば、
図２０の「購入」のところで肯定出力が立ち上がりかけ
ても、否定出力が下がらないために誤認識をするような
こともなく、音声認識処理の精度を向上させることがで
きる。もちろん、出力数は２に限るものではなく、必要
に応じて幾つ設けてもよい。例えば、現在入力されてい
るデータが学習に用いられたデータとどの程度類似して
いるかというような出力を加えることにより、更に認識
結果の精度を高める事ができる。さらに、それらを複数
個用いることにより、最適な結果を与えるＮＮを選択す
る事ができる。

【００９０】また、認識対象の単位も例示したような単
語のみではなく音節あるいは音素とすることもできる。
この場合には、比較的少数のＮＮによりその言語音声の
全体を認識することが可能となる。それにより、例えば
ディクテーションシステムが可能となる。さらに、認識
単位としては、上のような言語との対応を考えない抽象
的なものであってもよい。この様な認識単位を用いるこ
とは特に認識装置を情報圧縮に用いる場合に有効であ
る。

【００９１】図２１は、本発明の別の実施例を示すもの
で、図１２に示した音声認識装置に対して、背景雑音入
力手段２１０５および平衡状態検出手段２１０６が付加
されたものである。他は、図１２と同様である。

【００９２】図２１の構成において、どのように内部状
態初期値を決定するかの処理の流れを図２２に示す。図
中の背景雑音データの作成に関わる部分は、適当な初期
値設定手段、適当な定常入力作成手段、あるいは無入力
に対応するものとして無くてもよい。図２７は、この装
置を図１８に示した学習方法で学習させて認識した結果
を表したもので、実施例１の表１と表２に対応する結果
をまとめたものである。これは、約３秒の背景雑音入力
により平衡状態になったＮＮの内部状態値を初期値とし
て保存し、認識処理の際にはその値を式（２）の微分方
程式の初期値として用いたものである。

【００９３】図２７から明らかなように、本実施例の多
くの場合で単語の欠落誤りが実施例１の結果に比較して
改善されている。

【００９４】実際のより高機能な音声認識装置において
は、単純な音声認識機能に加えて、言語的な処理を用い
る事が多い。この際、挿入的な誤りはそのような言語的
な制約により訂正削除する事が比較的容易に可能である
が、欠落的な誤りをそのような言語的な制約で推論追加
する事は困難である。従って、本実施例に示したような
欠落誤り率の改善は、より高性能な音声認識装置を実現
するために重要な事柄である。

【００９５】図２３は、図１４の学習部に雑音データ記
憶手段と雑音データ重畳手段が付加された例である。基
本的な学習方法については、図１４に説明した通りであ
る。本実施例の特徴は、予め雑音成分を重畳したデータ
を学習用データとして用いる点にある。学習用データの
認識処理は、学習用データに含まれている雑音成分を除
去したデータについて認識が行われるように、ＮＮの各
ユニット間の重みが学習用制御手段によって調整され
る。つまり、ＮＮは学習用データに含まれる雑音成分を
明確に識別できるように学習させられる。

【００９６】では、どの様に学習用データへ雑音成分を
重畳するかであるが、学習データへの雑音成分の重畳
は、図２４に示す様に複数箇所で行われる。図中２４０
１は学習用データを、２４０２、２４０３は雑音成分を
示す。図２４（ｂ）は、図２４（ａ）の学習用データの
前段部分に雑音成分２４０２を重畳した例で、図２４
（ｃ）は、学習用データの後段部分に雑音成分２４０３
を重畳させた例である。この様に、学習用データの複数
の箇所に雑音成分を重畳させた重畳データを用いて、か
つ学習用データに重畳された雑音成分を除去したデータ
を認識するように学習させることにより、ＮＮは雑音成
分だけを明確に識別できるようになる。

【００９７】これによって、ＮＮは非定常雑音が重畳さ
れた音声データの雑音部分を正しく認識できるようにな
る。

【００９８】以上のように、本発明の音声認識装置及び
学習方法は、連続音声認識のみならず孤立音声認識に関
しても非常に有効である。

【００９９】また、本発明は音声認識に限らず、広く時
系列情報の処理においても有効であり、入力データと出
力データの対応が取れるものであれば、どの様な時系列
情報の処理も可能である。利用可能性としては、情報の
圧縮、伸長、波形等価、等が考えられる。

【図面の簡単な説明】

【図１】図１は、本発明のニューラルネットワークを構
成する神経細胞用素子を示す図である。

【図２】図２は、図１の神経細胞用素子を具体的な機能
に置き換えた図である。

【図３】図３は、図２の構成を電気回路に置き換えた例
である。

【図４】図４は、本発明の神経細胞用素子を用いて構成
されたニューラルネットワークを用いた認識装置を示す
図である。

【図５】図５は、図４のニューラルネットワークを３層
化した図である。

【図６】図６は、図５のニューラルネットワークをさら
に多層化した図である。

【図７】図７は、図６の伝達ネットワークを分割した図
である。

【図８】図８は、自己回帰ループを有するニューラルネ
ットワークを示す図である。

【図９】図９は、ランダム結合ニューラルネットワーク
を示す図である。

【図１０】図１０は、本発明の認識装置の耐雑音性を説
明するための図である。

【図１１】図１１は、本発明の認識装置の時間スケール
の学習項効果を説明するための図である。

【図１２】図１２は、本発明の神経細胞用素子を用いた
別の認識装置の構成を示す図である。

【図１３】図１３は、図１２の認識装置の動作手順を表
す図である。

【図１４】図１４は、本発明のニューラルネットワーク
を用いた認識装置の学習方法を示す図である。

【図１５】図１５は、本発明の学習方法の学習手順を示
す図である。

【図１６】図１６は、本発明の学習データの連結を示す
図である。

【図１７】図１７は、本発明の学習データの構成を示す
図である。

【図１８】図１８は、本発明のニューラルネットワーク
を用いた認識装置の学習方法を示す別の図である。

【図１９】図１９は、本発明の認識装置による音声単語
検出出力を示す図である。

【図２０】図２０は、本発明の認識装置による別の音声
単語検出出力を示す図である。

【図２１】図２１は、本発明の認識装置の別の構成を示
す図である。

【図２２】図２２は、図２１の認識装置の動作手順を示
す図である。

【図２３】図２３は、背景雑音重畳手段を有する認識装
置の学習方法を示す図である。

【図２４】図２４は、学習データへの雑音成分の重畳さ
せ方を示す図である。

【図２５】図２５は、本発明の学習方法で学習させたニ
ューラルネットワークに未知単語を与えたときの認識結
果を示す図である。

【図２６】図２６は、図２５を同様の処理を未知話者に
対して行った場合の認識結果を示す図である。

【図２７】図２７は、図２６と同様の処理を背景雑音を
与えて行った場合の認識結果を示す図である。

【図２８】図２８は、背景技術の神経細胞用素子を示す
図である。

【図２９】図２９は、図２８の神経細胞用素子を具体的
な機能に置き換えた図である。

【図３０】図３０は、図２９の構成を電気回路に置き換
えた図である。

【符号の説明】

１０１ 内部状態値記憶手段 １０２ 内部状態値更新手段 １０３ 出力値生成手段 １０４ ノード全体 ４０１ 音声特徴抽出手段 ４０２ ニューラルネットワーク ４０３ 認識結果出力手段

【手続補正書】

【提出日】平成１２年４月２６日（２０００．４．２
６）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００５８

【補正方法】変更

【補正内容】

【００５８】

【数６】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００６１

【補正方法】変更

【補正内容】

【００６１】

【数７】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００６４

【補正方法】変更

【補正内容】

【００６４】

【数８】

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００６６

【補正方法】変更

【補正内容】

【００６６】

【数９】

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 特願平4−159422 (32)優先日 平成４年６月18日(1992．6．18) (33)優先権主張国 日本（ＪＰ） (31)優先権主張番号 特願平4−159441 (32)優先日 平成４年６月18日(1992．6．18) (33)優先権主張国 日本（ＪＰ） (31)優先権主張番号 特願平4−161075 (32)優先日 平成４年６月19日(1992．6．19) (33)優先権主張国 日本（ＪＰ）

Claims (17)

【特許請求の範囲】
1. 【請求項１】 ニューラルネットワークを用いた認識装
   置において、前記ニューラルネットワークを構成する各
   神経細胞用素子が、内部状態値記憶手段と、前記内部状
   態値記憶手段に記憶された内部状態値とその神経細胞用
   素子に入力される入力値とに基づいて内部状態値を更新
   する内部状態値更新手段と、前記内部状態値記憶手段の
   出力を外部出力値へ変換する出力値生成手段とを有する
   ことを特徴とするニューラルネットワークを用いた認識
   装置。
2. 【請求項２】 前記内部状態値更新手段は前記入力値お
   よび前記内部状態値に重みを付け積算する重み付き積算
   手段からなり、前記内部状態値記憶手段は前記重み付き
   積算手段により積算された値を積分する積分手段からな
   り、前記出力値生成手段は前記積分手段により得られた
   値を予め設定された上限値と下限値の間の値へ変換する
   出力値制限手段とからなることを特徴とする請求１記載
   のニューラルネットワークを用いた認識装置。
3. 【請求項３】 前記ニューラルネットワークを構成する
   ｉ番目の前記神経細胞用素子の内部状態値をＸｉとし、
   τｉを時定数とし、前記神経細胞用素子への前記重み付
   き入力値をＺｊ（ｊは０からｎ、ｎは０または自然数）
   とすると、前記内部状態値更新手段が、 【数１】 を満足する値へ内部状態値を更新する事を特徴とする請
   求項１または請求項２に記載のニューラルネットワーク
   を用いた認識装置。
4. 【請求項４】 前記ｉ番目の神経細胞用素子への重み付
   き入力値Ｚｊが、前記ｉ番目の神経細胞用素子自身の出
   力に重みを剰算した値を含む事を特徴とする請求項１な
   いし請求項３に記載のニューラルネットワークを用いた
   認識装置。
5. 【請求項５】 前記ｉ番目の神経細胞用素子への重み付
   き入力値Ｚｊが、前記ニューラルネットワークを構成す
   る他の神経細胞用素子の出力に重みを剰算した値を含む
   事を特徴とする請求項１ないし請求項４に記載のニュー
   ラルネットワークを用いた認識装置。
6. 【請求項６】 前記ｉ番目の神経細胞用素子への重み付
   き入力値Ｚｊが、前記ニューラルネットワークの外部か
   ら与えられたデータを含む事を特徴とする請求項１ない
   し請求項５に記載のニューラルネットワークを用いた認
   識装置。
7. 【請求項７】 前記ｉ番目の神経細胞用素子への重み付
   き入力値Ｚｊが、ある固定された値に重みを剰算した値
   を含む事を特徴とする請求項１ないし請求項６に記載の
   ニューラルネットワークを用いた認識装置。
8. 【請求項８】 前記出力値生成手段が、正負対称出力範
   囲を有する事を特徴とする請求項１ないし請求項７に記
   載のニューラルネットワークを用いた認識装置。
9. 【請求項９】 前記ニューラルネットワークが少なくと
   も肯定出力、否定出力の２つの出力を持つことを特徴と
   する請求項１ないし請求項８に記載のニューラルネット
   ワークを用いた認識装置。
10. 【請求項１０】 前記認識装置は、認識させたい入力の
    特徴抽出を行うと共に特徴抽出した値を前記ニューラル
    ネットワークへ入力する音声特徴抽出手段と、前記ニュ
    ーラルネットワークの出力値を認識結果に変換する認識
    結果出力手段と、前記ニューラルネットワークを構成す
    る神経細胞用素子の内部状態値記憶手段に予め設定され
    た初期値を与える内部状態値初期化手段とを有すること
    を特徴とする請求項１〜請求項９記載のニューラルネッ
    トワークを用いた認識装置。
11. 【請求項１１】 請求項１０記載の認識装置において、
    前記ニューラルネットワークに背景雑音を入力する背景
    雑音入力手段と、前記ニューラルネットワークの出力か
    ら平衡状態を検出すると共に、前記平衡状態の検出に基
    づき内部状態初期値設定手段に予め設定された内部状態
    初期値を変更する信号を出力する平衡状態検出手段とを
    設けたことを特徴とするニューラルネットワークを用い
    た認識装置。
12. 【請求項１２】 請求項１０または請求項１１記載の認
    識装置において、前記認識装置は、前記ニューラルネッ
    トワークを学習させるための学習部を有し、前記学習部
    は学習用入力データを記憶する入力データ記憶手段と、
    前記入力データ記憶手段から学習用入力データを選択す
    る入力データ選択手段と、学習用出力データを記憶する
    出力データ記憶手段と、選択された入力データとその連
    鎖により学習用出力データを選択する出力データ選択手
    段と、選択された学習用入力データを前記特徴抽出部に
    入力すると共に前記ニューラルネットワークの学習を制
    御する学習制御手段とを有し、前記学習制御手段は前記
    ニューラルネットワークの出力と前記出力データ選択手
    段の出力とに基づき前記神経細胞用素子の結合の重み付
    けを変更することを特徴とするニューラルネットワーク
    を用いた認識装置の学習方法。
13. 【請求項１３】 請求項１２記載の認識装置の学習方法
    において、前記入力データ記憶手段は複数個の範疇を有
    し、前記出力データ記憶手段は前記入力データ記憶手段
    の各範疇に対応する範疇を有し、前記入力データ選択手
    段は前記入力データ記憶手段の範疇から学習させたい複
    数個のデータを選択し、前記出力データ選択手段は前記
    入力データ選択手段により選択された学習用入力データ
    に対応する学習用出力データを選択し、前記学習制御部
    は前記入力データ選択手段が選択した複数個のデータを
    １つに連結する入力データ連結手段と前記出力データ選
    択手段が選択した学習用出力データを１つに連結する出
    力データ連結手段とを有し、前記学習部は前記連結した
    １つの学習用入力データを音声特徴抽出手段に入力する
    と共に、前記ニューラルネットワークの出力と前記出力
    連結手段の出力とに基づき前記神経細胞用素子の結合の
    重み付けを変更することを特徴とするニューラルネット
    ワークを用いた認識装置の学習方法。
14. 【請求項１４】 前記範疇の数が２であることを特徴と
    する請求項１３記載のニューラルネットワークを用いた
    認識装置の学習方法。
15. 【請求項１５】 請求項１２ないし請求項１４に記載の
    ニューラルネットワークを使用した認識装置の学習方法
    において、前記学習部は雑音データを記憶する雑音デー
    タ記憶手段と、前記選択された学習データに前記雑音デ
    ータ記憶手段から選択された雑音を重畳する雑音重畳手
    段とを有し、前記雑音重畳手段により雑音が重畳された
    入力データを用いて前記ニューラルネットワークを学習
    させることを特徴とするニューラルネットワークを用い
    た認識装置の学習方法。
16. 【請求項１６】 前記背景雑音を重畳させる位置をずら
    して繰り返し学習させることを特徴とする請求項１５に
    記載のニューラルネットワークを用いた認識装置の学習
    方法。
17. 【請求項１７】 請求項１５に記載のニューラルネット
    ワークの学習方法において、はじめに背景雑音が重畳さ
    れていない入力データで学習させた後に、同じ入力デー
    タに背景雑音を重畳して学習させることを特徴とするニ
    ューラルネットワークを用いた認識装置の学習方法。