JP2021039216A - 音声認識装置、音声認識方法及び音声認識プログラム - Google Patents

Abstract

【課題】end-to-endの音声認識モデルを音響条件に適応させること。【解決手段】end-to-endのニューラルネットワークモデルは、計算部１２と適応部１１と第１変換部１３と第２変換部１４とから構成される。計算部１２は、音声特徴量の系列から、音響条件への適応のための特徴量である補助特徴量を計算する。また、適応部１１は、補助特徴量を用いて、音声特徴量を音響条件に適応させた適応済み音声特徴量を計算する。また、第１変換部１３及び第２変換部１４は、適応済み音声特徴量を、音声に対応するシンボル列を特定可能なデータに変換する。【選択図】図１

Description

本発明は、音声認識装置、音声認識方法及び音声認識プログラムに関する。

従来、ニューラルネットワーク（以降、ＮＮと表記する場合がある。）を用いた音声認識において、音声認識モデルを話者や環境等の音響条件に適応させる技術が知られている。例えば、入力特徴量に加えて、話者の声の特徴を表す特徴量（i-vector, ＳＳＮＮ（系列要約ネットワーク：Sequence summarizing neural network））を補助特徴量として追加することで、音響モデルの話者適応を実現する方法が知られている（例えば、非特許文献１を参照）。

ここで、非特許文献１に記載の技術は、従来の音響モデルと言語モデルとに基づく音声認識モデルを話者適応させる技術である。つまり、音声認識モデルは、音声信号を中間状態に変換する音響モデルと、中間状態をシンボル列を特定可能なデータに変換する言語モデルとで構成され、音響モデルと言語モデルはそれぞれ別個の学習用データに基づいて学習される。

また、１つのニューラルネットワークにより、音声信号をシンボル列を特定可能なデータに変換することができるend-to-endの音声認識モデルを用いた音声認識技術も知られている（非特許文献２）。この場合、音声認識モデルの入力である音声データと、出力であるシンボル列を特定可能なデータと、に基づいて、ニューラルネットワークの全てのパラメータが学習される。つまり、入力から出力を得るまでの中間処理過程の全てが、同じ基準に基づいてまとめて学習される。

K. Vesely, S. Watanabe, K. Zmolikova, M. Karafiat, L. Burget, and J. H. Cernocky, "Sequence summarizing neural network for speaker adaptation," in Proc. of ICASSP’16, 2016, pp. 5315-5319. S. Watanabe, T. Hori, S. Kim, J. R. Hershey, and T. Hayashi,"Hybrid CTC/attention architecture for end-to-end speech recognition," IEEE Journal of Selected Topics in Signal Processing, vol. 11, no. 8, pp. 1240-1253, 2017.

一般に、end-to-end学習された音声認識モデルを用いた音声認識のほうが、入力から理想的な出力が得られるように直接学習されるので、end-to-endではない学習をされた音響モデルと言語モデルを併用した音声認識よりも精度が高くなることが期待される。

一方で、end-to-end学習をしたとしても、学習時と異なる環境（学習用データとは異なる話者の音声、学習用データとは異なる雑音環境、等）において精度の良い音声認識結果を得るためには、学習済みの音声認識モデルを認識時の環境に応じて適応させる技術が必要となる。

しかしながら、非特許文献１はend-to-endではない音声認識モデルにおける音響モデルの話者適応技術であり、end-to-endの音声認識モデルとは前提とするモデルが異なるため、end-to-endの音声認識モデルにおける話者適用に利用することはできない。また、非特許文献２は、end-to-endの音声認識モデルを用いた音声認識技術であるが、話者適応の機能を有していない。

これまで、end-to-endの音声認識モデルを話者適応させる技術は知られていなかった。

上述した課題を解決し、目的を達成するために、音声認識装置の音声認識モデルは、入力された音声信号又は音声特徴量を当該音声信号に対応するシンボル列を特定可能なデータに直接変換するニューラルネットワークにより構成され、当該ニューラルネットワークは、声特徴量の系列から音響条件への適応のための特徴量である補助特徴量を計算する層（計算部）と、前記補助特徴量を用いて、音声特徴量を前記音響条件に適応させた適応済み音声特徴量を計算する層（適応部）と、を含むことを特徴とする。

本発明によれば、end-to-endの音声認識モデルを音響条件に適応させることができる。

図１は、第１の実施形態に係る音声認識装置の構成の一例を示す図である。 図２は、第１の実施形態に係る計算部の構成の一例を示す図である。 図３は、第１の実施形態に係る第２変換部の構成の一例を示す図である。 図４は、第１の実施形態に係る音声認識装置の処理の流れを示すフローチャートである。 図５は、第１の実施形態に係る補助特徴量の計算処理の流れを示すフローチャートである。 図６は、コーパスを示す図である。 図７は、実験結果を示す図である。 図８は、実験結果を示す図である。 図９は、第２の実施形態に係る学習装置の構成の一例を示す図である。 図１０は、その他の実施形態に係る第２変換部の構成の一例を示す図である。 図１１は、音声認識プログラムを実行するコンピュータの一例を示す図である。 図１２は、従来の音声認識装置の構成を示す図である。

以下に、本願に係る音声認識装置、音声認識方法及び音声認識プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

［従来の音声認識装置］
まず、非特許文献２に開示されている従来のend-to-end音声認識装置について説明する。図１２は、従来の音声認識装置の構成を示す図である。図１２に示すように従来の音声認識装置５０は、第１変換部５１及び第２変換部５２を有する。第１変換部と第２変換部とをあわせた全体が、１つのニューラルネットワークで構成されるend-to-endのモデルとなっている。

音声認識装置５０には、音声特徴量の系列が入力される。音声特徴量は、音声信号そのものであってもよいし、音声信号から抽出された特徴量であってもよい。第１変換部５１は、ニューラルネットワークの層の一部であり、入力された音声特徴量を中間表現に変換する。また、第２変換部５２は、ニューラルネットワークの層の一部であり、中間特徴量を、シンボル列を特定可能なデータに変換する。例えば、シンボル列を特定可能なデータとは、シンボル系列の各シンボルに対応する事後確率である。

ここで、音声認識装置５０の音声認識モデルは、第１変換部５１をencoderとし、第２変換部５２をdecoderとするencoder-decoderモデルである。また、音声認識装置５０の音声認識モデルは、音声特徴量を入力とし、シンボル系列の事後確率を出力するend-to-endの音声認識モデルである。また、音声認識装置５０の音声認識モデルの学習は、学習用のデータを入力した際に出力されるシンボル系列の事後確率が最適化されるように、第１変換部５１及び第２変換部５２のパラメータを更新していくことによって行われる。

また、音声認識装置５０の第２変換部５２は、単一のdecoderであってもよいし、ＣＴＣ decoderや注意機構を備えたものであってもよい（参考文献１：S. Watanabe, T. Hori, S. Kim, J. R. Hershey, and T. Hayashi,“Hybrid CTC/attention architecture for end-to-end speech recognition,” IEEE Journal of Selected Topics in Signal Processing, vol. 11, no. 8, pp. 1240-1253, 2017.）。

［第１の実施形態の音声認識装置の構成］
図１を用いて、第１の実施形態の音声認識装置の構成について説明する。図１は、第１の実施形態に係る音声認識装置の構成の一例を示す図である。図１に示すように、音声認識装置１０は、適応部１１、計算部１２、第１変換部１３及び第２変換部１４を有する。適応部１１と計算部１２と第１変換部１３と第２変換部１４とをあわせた全体が、１つのニューラルネットワークで構成されるend-to-endのモデルとなっている。音声認識装置１０は、適応部１１及び計算部１２を有している点で、図１２の音声認識装置５０と異なる。

図１に示すように、音声認識装置１０には、音声特徴量の系列Ｘが入力される。例えば、音声特徴量系列Ｘは、音声信号から計算されたＭＦＣＣ（Mel frequency cepstral coefficient）、ＦＢＡＮＫ（Log mel filterbank coefficients）、ΔＭＦＣＣ（ＭＦＣＣの１階微分）、ΔΔＭＦＣＣ（ＭＦＣＣの２階微分）、対数パワー、Δ対数パワー（対数パワーの１階微分）等である。音声特徴量系列Ｘは、音声信号そのものであってもよい。

また、音声認識装置１０は、音声特徴量の系列Ｘが入力された場合のシンボル系列ｗ_１，ｗ_２，…の各シンボルｗ_ｌの事後確率ｐ（ｗ_ｌ｜ｗ_１，…，ｗ_ｌ−ｌ，Ｘ）を出力する。シンボル系列とは、アルファベット、漢字、スペース等のあらゆるシンボルの系列である。また、音声認識装置１０は、シンボル系列の事後確率を用いて単語を探索し、探索した単語を出力するようにしてもよい。

また、補助特徴量は、音声認識の際に、音声認識モデルを音響条件に適応させるための特徴量である。音響条件の適応により、音声認識モデルの音響条件に対するロバスト性が向上し、音声認識の精度が向上する。

ここで、音響条件とは、音声が収集された際の環境や話者に関する条件である。例えば、話者に関する音響条件には、話者の性別、年齢、出身地域等がある。また、環境に関する音響条件には、フォーマル又はカジュアルといった場の雰囲気、雑音及び残響の状況等がある。また、その他の音響条件として、話題、過去のフレームにおける認識結果シンボル列の品詞、対話相手との関係（上司、部下、友人、初対面等）がある。また、i-vectorは、話者適応のための補助特徴量の一例である。

適応部１１は、補助特徴量を用いて、音声特徴量を音響条件に適応させた適応済み音声特徴量を計算する。適応部１１は、適応済み音声特徴量＾ｘ_ｔ（ｘ_ｔの直上に＾）を、（１）式のように計算する。

ここで、ｘ_ｔは、音声特徴量系列Ｘのフレームｔに対応する要素である。ｔは、フレームのインデックスである。つまり、音声特徴量系列Ｘの総フレーム数をＴ、ｘ_ｔをＤ次元実ベクトルとすると、Ｘ＝｛ｘ_ｔ∈Ｒ^Ｄ，ｔ＝１，…，Ｔ｝（ただし、Ｒ^ＤはＤ次元実ベクトル全体の集合）と書ける。

また、Ｐは、ベクトルである補助特徴量ｓの次元を、音声特徴量ｘ_ｔと同じ次元の実ベクトルに射影する変換行列である。このように、適応部１１は、学習済みの変換行列を用いて、補助特徴量を音声特徴量と同じ次元の実ベクトルに射影し、当該射影した実ベクトルを音声特徴量に加算することで適応済み音声特徴量を計算する。また、ｘ_ｔはＤ次元実ベクトルなので、ｓをＶ次元実ベクトルとすると、ＰはＤ×Ｖ実行列である。

つまり、適応部１１は、音声特徴量と補助特徴量を入力として適応済み音声特徴量に変換するニューラルネットワークの層（複数の層であってもよい）である。適応部１１における演算は、補助特徴量を音声特徴量と同じ次元のベクトルに射影し、当該射影したベクトルを音声特徴量に加算することに等しい。つまり、音声特徴量とは次数の異なる実ベクトルで補助特徴量が表現されていても、適応部１１の入力として受け付けることができる。これにより、音声認識装置１０のencoderを、補助特徴用に合わせて変更する必要がなくなる。

ここで、（１）式のように、音声特徴量ｘ_ｔに補助特徴量Ｐｓを加えることは、計算部１２の出力と、第１変換部１３の入力部分を結び付けていることに等しい。なお、計算部１２の出力は、補助特徴量ｓである。また、第１変換部の入力部部分とは、encoderの入力層である。つまり、本発明のend-to-endニューラルネットワークは、所定時間区間の音声特徴量を補助特徴量に変換する層（計算部１２）の出力と、音声特徴量を中間表現に変換する層（第１変換部１３）の入力層とを連結していることを特徴とする。これにより、シンプルなモデルで補助特徴量を計算することができる。

ここで、encoderの入力層が、Ｍ個の隠れユニットを持つものとする。また、Ｍ×（Ｄ＋Ｖ）行列であるＷにより、音声特徴量ｘ_ｔ及び補助特徴量ｓをencoderの入力層に合うようにＭ次元ベクトルに変換すると仮定する。このとき、変換式は、（２）式のように変形できる。

これより、（２）式の第３辺のＷ_ｘ ^−１Ｗ_ｓをＰと定義すれば、補助特徴量ｓに対応する（２）式のＷ_ｓの学習を行うことなく、Ｐを直接学習することができる。これにより、補助特徴量に合わせたencoderの設定の変更が不要になり、encoderで用いられるＣＮＮ（Convolutional neural network）をシンプルにすることができる。

計算部１２は、ニューラルネットワークを用いて、音声特徴量の系列から、音響条件への適応のための特徴量である補助特徴量を計算する。すなわち、図１に示すように、計算部１２は、音声特徴量系列Ｘの入力を受け付け、補助特徴量ｓを出力する。計算部１２は、end-to-end音声認識モデルを構成するニューラルネットワークの一部の層であり、この層は、音声特徴量の系列を補助特徴量に変換する役割を担う。ここでは、計算部１２は、音声特徴量を入力とするＳＳＮＮ（系列要約ネットワーク：Sequence summarizing neural network）により構成される。

計算部１２は、（３）式のように補助特徴量ｓを計算する。つまり、計算部１２は（３）式の演算を行うニューラルネットワークの層である。

ここで、図２に示すように、計算部１２は、第３変換部１１ａ及び統合部１１３を有する。図２は、第１の実施形態に係る計算部の構成の一例を示す図である。また、第３変換部１１ａは、完全結合を持つ階層型のニューラルネットワークである。図２の例では、第３変換部１１ａは、第１層１１１及び第２層１１２を有する。（３）式のｇ（・）は、第３変換部１１ａに対応するニューラルネットワークの層における変換を表す関数である。

また、統合部１１３は、第３変換部１１ａの出力を統合する。すなわち、（３）式に示すように、統合部１１３は、ｔ＝１からｔ＝Ｔまでの時間区間における、音声特徴量ｘ_ｔを入力としたときの第３変換部１１ａの出力ｇ（ｘ_ｔ）の平均を計算する。

このように、計算部１２は、所定の時間区間（１以上の時間フレームからなるとする）、すなわちｔ＝１からｔ＝Ｔまでの時間区間の音声特徴量の系列Ｘを基に補助特徴量ｓを計算する。つまり、補助特徴量を求める対象である所定の時間区間は、第１変換部１３で中間出力に変換する対象となる音声特徴量の時間区間（１フレーム）よりも大きい。言い換えれば、補助特徴量は、事後確率算出対象とするフレームｔの音声特徴量と、その前後少なくとも何れかの１以上のフレームの音声特徴量とを用いて算出される。これにより、音声認識装置１０は、認識対象の音声特徴量の前後のフレームの音声特徴量を考慮した補助特徴量を計算することができる。一方で、適応部１１は、時間区間内の単位時間ごと、すなわちｔ＝１からｔ＝Ｔまでのそれぞれの時間フレームについて適応済み音声特徴量＾ｘ_ｔを計算する。

なお、上記の例では、計算部１２における補助特徴量ｓは、時間に関係なく固定である物として説明した。つまり、事後確率算出対象とするフレームｔの値に関係なく、ｔ＝１からｔ＝Ｔの区間における音声特徴量の平均を補助特徴量ｓとしていた。

ただし、補助特徴量ｓは必ずしも時間不変である必要はなく、計算部１２は、時変の特徴量として補助特徴量ｓを計算しても良い。例えば、計算部１２は、事後確率算出対象とするフレームｔに応じて、算出対象の時間区間をずらして平均をとった移動平均を補助特徴量ｓとしても良い。

第１変換部１３及び第２変換部１４は、ニューラルネットワークの層の一部であり、適応済み音声特徴量を、音声に対応するシンボル列を特定可能なデータに変換する。また、第１変換部１３及び第２変換部１４は、既知のencoder-decoderと同様の構成であってよい。

例えば、第１変換部１３は、適応済み音声特徴量＾ｘ_ｔの入力を受け付け、中間表現ｈ_ｔを出力するencoderである。第１変換部１３は、例えば、ＶＧＧ（Very deep convolutional neural network（ＣＮＮ））層と、ＶＧＧ層に続くＢＬＳＴＭ（Bidirectional long short-term memory）層を有するものである。第１変換部１３が出力する中間表現ｈ_ｔは、（４）式のように表される。

図３に示すように、第２変換部１４は、中間表現Ｈ＝｛ｈ_ｔ，ｔ＝１，…，Ｔ｝の入力を受け付け、シンボル系列の事後確率ｐ（ｗ_ｌ｜ｗ_１，…，ｗ_ｌ−ｌ，Ｘ）を出力する。ここで、ｐ（ｗ_ｌ｜ｗ_１，…，ｗ_ｌ−ｌ，Ｘ）は、＾ｘ_ｔよりも前の時刻の適応済み音声特徴量から推定されたシンボル系列ｗ_１，…，ｗ_ｌ−ｌと音声特徴量Ｘとが与えられた下で、次のシンボルがｗ_ｌである確率を表す。図３は、第１の実施形態に係る第２変換部の構成の一例を示す図である。なお、事後確率は、音声に対応するシンボル列を特定可能なデータの一例である。

図３に示すように、第２変換部１４は、注意機構１４１及びデコーダ１４２を有する。また、第２変換部１４は、中間表現Ｈの入力を受け付け、事後確率を出力する。ただし、Ｈ＝｛ｈ_ｔ，ｔ＝１，…，Ｔ｝である。デコーダ１４２は、例えば、ＬＳＴＭ（Long short-term memory）層と、ＬＳＴＭ層と完全結合された層と、softmax層とを有するよう構成される。また、注意機構１４１は、シンボル系列のｌ番目のシンボルに対応する中間表現ｈ_１，…，ｈ_Ｔの重み付け和であるコンテクストベクトルｃ_ｌを、（５）式のように計算し、デコーダ１４２に受け渡す。

ここで、ｌ番目のシンボルの注意重みを｛ａ_ｌ，ｔ｝_ｔ＝１ ^Ｔ、デコーダ１４２のＲＮＮ（Recurrent neural network）の内部状態をｑ_ｌすると、注意機構１４１は、ａ_ｌ，ｔを（６）式のように計算する。なお、注意機構１４１は、参考文献１に記載された方法によってattention（・）を計算する。

また、第２変換部１４が出力する事後確率は、（７）式のように表される。decoder（・）はデコーダ１４２に対応するニューラルネットワークの層（複数層でもよい）における変換を表す関数である。

ここで、ｌは、予め用意されたシンボル系列のインデックスである。シンボル系列のシンボルの総数をＬとすると、Ｗ＝｛ｗ_ｌ∈Ｕ，ｌ＝１，…，Ｌ｝（ただし、Ｕは互いに異なるシンボルの集合）と書ける。これより、音声認識装置１０に入力された音声特徴量系列Ｘに対して出力されるシンボル系列がＷである事後確率は、（８）式のように表される。

［第１の実施形態の音声認識装置の処理］
図４を用いて、本実施形態の音声認識装置１０の処理の流れを説明する。図４は、第１の実施形態に係る音声認識装置の処理の流れを示すフローチャートである。図４に示すように、まず、音声認識装置１０は、音声特徴量系列の入力を受け付ける（ステップＳ１１）。

次に、音声認識装置１０は、補助特徴量を計算する（ステップＳ１２）。そして、音声認識装置１０は、補助特徴量を用いて適応済み音声特徴量を計算する（ステップＳ１３）。

ここで、音声認識装置１０は、適応済み音声特徴量を中間表現に変換する（ステップＳ１４）。さらに、音声認識装置１０は、中間表現を事後確率に変換する（ステップＳ１５）。最後に、音声認識装置１０は、事後確率を出力する（ステップＳ１６）。

図５を用いて、ステップＳ１２の補助特徴量の計算処理の流れを説明する。図５は、第１の実施形態に係る補助特徴量の計算処理の流れを示すフローチャートである。例えば、音声認識装置１０は、ＳＳＮＮを用いて補助特徴量の計算処理を行う。

図５に示すように、まず、音声認識装置１０は、ｔに１を代入する（ステップＳ１２１）。次に、音声認識装置１０は、第ｔフレームの部分補助特徴量ｇ（ｘ_ｔ）を計算する（ステップＳ１２２）。そして、音声認識装置１０は、ｔ＝Ｔであるか否かを判定する（ステップＳ１２３）。

このとき、ｔ＝Ｔであれば（ステップＳ１２３、Ｙｅｓ）、音声認識装置１０は、部分補助特徴量を統合する（ステップＳ１２５）。一方、ｔ＝Ｔでない場合（ステップＳ１２３、Ｎｏ）、音声認識装置１０は、ｔにｔ＋１を代入し（ステップＳ１２４）、ステップＳ１２２に戻り、処理を繰り返す。

［第１の実施形態の効果］
これまで説明してきたように、計算部１２は、音声特徴量の系列から、音響条件への適応のための特徴量である補助特徴量を計算する。また、適応部１１は、補助特徴量を用いて、音声特徴量を音響条件に適応させた適応済み音声特徴量を計算する。また、第１変換部１３及び第２変換部１４は、適応済み音声特徴量を、音声に対応するシンボル列を特定可能なデータに変換する。ここで、計算部１２、適応部１１、第１変換部１３、第２変換部１４は、音声特徴量を入力として事後確率を出力するend-to-endのニューラルネットワークの層の一部である。このように、音声認識装置１０は、音響条件への適応処理及び音声特徴量をシンボル列を特定可能なデータに変換する処理を、end-to-endで行うことができる。

なお、end-to-endのニューラルネットワークの各層のパラメータは、最終出力である事後確率についての所定の最適化基準を満たすように予め学習しておく。学習方法については後述する。

ここで、図６、図７及び図８を用いて、従来技術と実施形態を用いて行った実験について説明する。図６は、コーパスを示す図である。また、図７及び図８は、実験結果を示す図である。

実験は、図６に示すＷＳＪ、ＴＥＤ−ＬＩＵＭ及びＣＳＪという３つのコーパスを対象として行われた。ＷＳＪ及びＴＥＤ−ＬＩＵＭは、英語のコーパスである。また、ＣＳＪは、日本語のコーパスである。図６に示すように、コーパスごとに複数のテストデータがある。

図７及び図８において、Baselineは、参考文献１に記載された音声認識手法に対応している。また、adapt.enc.は、実施形態の手法に対応している。また、図７の表中の数字は文字誤り率（ＣＥＲ：Character error rate）である。また、図８の表中の数字は単語誤り率（ＷＥＲ：Word error rate）である。

図７に示すように、全てのテストデータで、実施形態の文字誤り率が、従来技術の文字誤り率より低くなった。また、図８に示すように、全てのテストデータで、実施形態の単語誤り率が、従来技術の単語誤り率以下になった。なお、＋ＲＮＮＬＭ（Recurrent neural network language model）は、decoderに、文字ベースの２層のＬＳＴＭを使ったことを示している。

［第２の実施形態］
ここで、第２の実施形態として、音声認識装置１０を構成するend-to-endニューラルネットワークのパラメータを学習するための学習装置について説明する。図９は、第２の実施形態に係る学習装置の構成の一例を示す図である。図９に示すように、学習装置２０は、事後確率算出部２０ａ及び更新部２５を有する。

事後確率算出部２０ａは、適応部２１、計算部２２、第１変換部２３及び第２変換部２４を有する。また、適応部２１、計算部２２、第１変換部２３及び第２変換部２４は、それぞれ音声認識装置１０の計算部１２、適応部１１、第１変換部１３及び第２変換部１４と同等の機能を有する。つまり、適応部２１、計算部２２、第１変換部２３及び第２変換部２４は、音声認識装置１０と同様に、音声特徴量を事後確率に変換するend-to-endのニューラルネットワークにより構成される。

更新部２５は、入力された音声特徴量と予め対応付けられた正解のシンボル系列（学習用に予め与えられているものとする）と、事後確率算出部２０ａによって計算されたシンボル系列の事後確率とから、事後確率算出部２０ａを１つのend-to-endのモデルとみなした損失関数を生成する。そして、更新部２５は、損失関数が小さくなるように事後確率算出部２０ａで用いられる各パラメータを更新する。このとき、更新部２５は、誤差逆伝播法等の既知のモデル最適化手法を用いることができる。

また、更新部２５によって更新されたパラメータは、音声認識装置１０で用いられる。このため、計算部１２で用いられるニューラルネットワークのパラメータ及び第１変換部１３及び第２変換部１４で用いられる各ニューラルネットワークのパラメータは、これら全体を１つのend-to-endのニューラルネットワークとみなして学習されたものとすることができる。

さらに、更新部２５は、適応部１１及び適応部２１で用いられる変換行列Ｐについても、end-to-endのモデルのパラメータの一部とみなし、各ニューラルネットワークのパラメータと同時に学習するようにしてもよい。

［その他の実施形態］
上記の実施形態では、図３に示すように、第２変換部１４が注意機構１４１及びデコーダ１４２を有するものとして説明した。一方で、図１０に示すように、第２変換部１４は、参考文献１に記載の構成と同様に、ＣＴＣデコーダ１４３を有していてもよい。図１０は、その他の実施形態に係る第２変換部の構成の一例を示す図である。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central Processing Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
一実施形態として、音声認識装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の音声認識処理を実行する音声認識プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の音声認識プログラムを情報処理装置に実行させることにより、情報処理装置を音声認識装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

また、音声認識装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の音声認識処理に関するサービスを提供する学習サーバ装置として実装することもできる。例えば、学習サーバ装置は、音声データ及び記号列データを入力とし、パラメータを出力とする学習サービスを提供するサーバ装置として実装される。この場合、学習サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の音声認識処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

図１１は、音声認識プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、音声認識装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、音声認識装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ 音声認識装置
１１、２１ 適応部
１１ａ 第３変換部
１２、２２ 計算部
１３、２３ 第１変換部
１４、２４ 第２変換部
２０ 学習装置
２０ａ 事後確率算出部
１１１ 第１層
１１２ 第２層
１１３ 統合部
１４１ 注意機構
１４２ デコーダ

Claims (8)

1. ニューラルネットワークを用いて、音声信号に対応する音声特徴量から認識結果であるシンボル系列を特定可能なデータを得る音声認識装置であって、
   前記ニューラルネットワークは、
   前記音声特徴量の系列を入力として、音響条件への適応のための特徴量である補助特徴量に変換する計算部と、
   前記補助特徴量を用いて、前記音声特徴量を前記音響条件に適応させた適応済み音声特徴量に変換する適応部と、
   前記適応済み音声特徴量を、音声に対応するシンボル列を特定可能なデータに変換する変換部と、
   を含むことを特徴とする音声認識装置。
2. 前記計算部の出力は、前記変換部の入力と連結されている
   ことを特徴とする請求項１記載の音声認識装置。
3. 前記適応部における変換は、
   前記補助特徴量を前記音声特徴量と同じ次元のベクトルに射影し、当該射影したベクトルを前記音声特徴量に加算するものである
   ことを特徴とする請求項１又は２記載の音声認識装置。
4. 前記適応部の入力となる前記補助特徴量は、前記適応部の変換対象とする前記音声特徴量に対応する時間フレームと、当該時間フレームの前後の１以上の時間フレームとにそれぞれ対応する音声特徴量から得たものである
   ことを特徴とする請求項１乃至３の何れか１項に記載の音声認識装置。
5. 前記計算部は、前記音声特徴量を入力とするＳＳＮＮ（Sequence summarizing neural network）を用いて前記補助特徴量を計算することを特徴とする請求項１乃至４の何れか１項に記載の音声認識装置。
6. 前記計算部で用いられるニューラルネットワークのパラメータ及び前記変換部で用いられるニューラルネットワークのパラメータは、各ニューラルネットワークを１つのend-to-endのニューラルネットワークとみなして学習されたものであることを特徴とする請求項１乃至５の何れか１項に記載の音声認識装置。
7. ニューラルネットワークにより、音声信号に対応する音声特徴量から認識結果であるシンボル系列を特定可能なデータを得る音声認識方法であって、
   前記ニューラルネットワークの計算部により、音声特徴量の系列を、音響条件への適応のための特徴量である補助特徴量に変換する計算工程と、
   前記ニューラルネットワークの適応部により、前記補助特徴量を用いて、前記音声特徴量を前記音響条件に適応させた適応済み音声特徴量を計算する適応工程と、
   前記ニューラルネットワークの変換部により、前記適応済み音声特徴量を、音声に対応するシンボル列を特定可能なデータに変換する変換工程と、
   を含むことを特徴とする音声認識方法。
8. コンピュータを、請求項１から６の何れか１項に記載の音声認識装置として機能させるための音声認識プログラム。

Images