JP2019078857A - 音響モデルの学習方法及びコンピュータプログラム - Google Patents
音響モデルの学習方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2019078857A JP2019078857A JP2017204873A JP2017204873A JP2019078857A JP 2019078857 A JP2019078857 A JP 2019078857A JP 2017204873 A JP2017204873 A JP 2017204873A JP 2017204873 A JP2017204873 A JP 2017204873A JP 2019078857 A JP2019078857 A JP 2019078857A
- Authority
- JP
- Japan
- Prior art keywords
- ctc
- learning
- rnn
- loss function
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
Description
LCTC+EP=λLCTC+(1−λ)LEP
として定義される。
図4の左側上段パネルに音声信号波形を示し、左側下段パネルに、上段パネルに示す音声信号波形に対して従来のCTCによる音響モデルが出力した各音素の確率を示し、右側パネルに認識された音素の名前と左側下段パネルにおけるグラフの線の種類を示した。図4の左側下段パネルにおいて、音響モデルの出力は、大部分の時刻においてBLK(空白)であることが分かる。また、時刻=1.00の近辺及び時刻1.75,2.00〜2.25の近辺では、BLKに代わって特定の音素の確率が1又は1に近い値となり、それ以外の音素の確率はほぼ0となっていることが分かる。こうした領域では、どの音素が発声されているのかが明確に判定できていることが分かる。
CTCでは、複数のフレームの各々について出力された音素候補として各音素だけではなく、前述したように空白(BLK)も採用される。そして出力される音素候補列において、連続する同一音素は1つにまとめ、空白は削除して音素を表すラベル列を表するようなマッピング関数φを採用する。例えば、音素候補のシーケンスπがπ={a-abba-}(「-」は空白を示す。)である場合、ラベル列φ(π)=aabaとなる。また、π={a--abaa}の場合にも、ラベル列φ(π)={aaba}となる。観測シーケンスxが与えられた時にラベルφ(π)として同じ値を生ずるような音響モデルの出力シーケンスπは複数個あるため、ラベルシーケンスLが得られる確率は、ラベルシーケンスlを生ずるような音素候補列の全体に亘る条件付き確率の和により与えられる。
そこで、本実施の形態における問題から、CTCでは正しい文の尤度が最大となるような学習を行うが、学習データが少ないと、認識単位(音素及び文字等)レベルのラベルについて、複数のラベル間での識別境界が曖昧になることが仮説として想定できる。この仮説に基づいて、以下のような学習基準を導入した。
上記手法により学習を行った音響モデルによりどのような認識精度が得られるかについて、以下に述べるような実験を行った。実験では、EESENフレームワーク(Yajie Miao, Mohammad Gowayyed, and Florian Metze, “EESEN: End-to-end speech recognition using deep RNN models and WFST-based decoding,” in The 2015 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU 2015). IEEE, 2015, pp. 167-174.)を用い、上記した損失関数を実装した。学習は以下のように行った。
上記した実施の形態に係る音響モデル学習装置202及び音声認識システム200は、コンピュータハードウェアと、そのハードウェア上でCPUによる実行されるコンピュータプログラムとにより実現できる。図7にこのコンピュータプログラムの概略の制御構造をフローチャート形式で示し、図8及び図9に上記音響モデル学習装置202及び音声認識システム200を実現するコンピュータハードウェアを示す。上記実施の形態及び実験では、モーメント付確率的勾配降下法によりパラメータを最適化している。
110 音声波形
112 入力音声信号
114 音声分析
116 音声特徴量
118、256 デコーダ
120、258 認識単語列
122、150、220 音響モデル
124、260 発音辞書
126、262 言語モデル
140、142 モデル
152 RNN
202 音響モデル学習装置
204 音声認識装置
206 学習データ記憶装置
210、250 音声データ
212、252 フレーム化部
214、254 特徴量計算部
216 発話文章
218 音響モデル学習部
Claims (6)
- コンピュータを用いた音響モデルの学習方法であって、
コンピュータが、音声認識に使用する音響特徴ベクトルの要素数と同数のノードを持つ入力層、識別対象となる音声単位の種類数と同数のノードを持つ出力層、並びに前記入力層及び前記出力層の間に配置された複数の隠れ層を含むRNNをコンピュータ上に構成するステップと、
コンピュータが、前記RNNのための学習データセットの記憶装置に接続するステップと、
前記RNNの動作を規定するパラメータを初期値に設定するステップと、
コンピュータが、前記記憶装置から読出した学習データセットを用い、前記パラメータに対する所定の損失関数LCTC+EPを最小化するように前記RNNの前記パラメータを最適化するステップとを含み、
前記損失関数LCTC+EPは、
前記学習データセット中の観測系列に対する正しいラベル系列の尤度が最大となるとき最小となるような第1の損失関数LCTCと、
前記学習データセット中の観測値に対するラベルの曖昧さに対する増加関数となるような第2の損失関数LEPと、
0<λ<1を満たす数値λとにより、
LCTC+EP=λLCTC+(1−λ)LEP
として定義される、学習方法。 - 前記数値λは0<λ≦0.050を満たすように選ばれる、請求項1から請求項3のいずれかに記載の学習方法。
- 前記最適化するステップは、
コンピュータが、前記記憶装置から読出した学習データセットを用い、前記所定の損失関数LCTC+EPを最小化するように、モーメント付確率的勾配降下法により前記RNNの前記パラメータを最適化するステップを含む、請求項1〜請求項4のいずれかに記載の学習方法。 - コンピュータを、請求項1〜請求項5の何れかに記載の学習方法を実行するよう機能させる、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017204873A JP2019078857A (ja) | 2017-10-24 | 2017-10-24 | 音響モデルの学習方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017204873A JP2019078857A (ja) | 2017-10-24 | 2017-10-24 | 音響モデルの学習方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019078857A true JP2019078857A (ja) | 2019-05-23 |
JP2019078857A5 JP2019078857A5 (ja) | 2020-12-10 |
Family
ID=66627776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017204873A Pending JP2019078857A (ja) | 2017-10-24 | 2017-10-24 | 音響モデルの学習方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019078857A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022530726A (ja) * | 2020-03-31 | 2022-07-01 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブ対象駆動方法、装置、デバイス、及び記録媒体 |
JP2022551068A (ja) * | 2020-01-16 | 2022-12-07 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 音声認識方法、装置及びコンピュータプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016212273A (ja) * | 2015-05-11 | 2016-12-15 | 国立研究開発法人情報通信研究機構 | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 |
-
2017
- 2017-10-24 JP JP2017204873A patent/JP2019078857A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016212273A (ja) * | 2015-05-11 | 2016-12-15 | 国立研究開発法人情報通信研究機構 | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 |
US20180121800A1 (en) * | 2015-05-11 | 2018-05-03 | National Institute Of Information And Communications Technology | Recurrent neural network training method, computer program therefor and speech recognition device |
Non-Patent Citations (1)
Title |
---|
高島 遼一: ""Connectionist temporal classificationの損失関数におけるサブワ", 日本音響学会 2017年 秋季研究発表会講演論文集CD−ROM [CD−ROM] (2017-09-11), JPN6021030051, 11 September 2017 (2017-09-11), ISSN: 0004561746 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022551068A (ja) * | 2020-01-16 | 2022-12-07 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 音声認識方法、装置及びコンピュータプログラム |
JP7282442B2 (ja) | 2020-01-16 | 2023-05-29 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 音声認識方法、装置及びコンピュータプログラム |
JP2022530726A (ja) * | 2020-03-31 | 2022-07-01 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブ対象駆動方法、装置、デバイス、及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chebotar et al. | Distilling knowledge from ensembles of neural networks for speech recognition. | |
JP5777178B2 (ja) | 統計的音響モデルの適応方法、統計的音響モデルの適応に適した音響モデルの学習方法、ディープ・ニューラル・ネットワークを構築するためのパラメータを記憶した記憶媒体、及び統計的音響モデルの適応を行なうためのコンピュータプログラム | |
US10249294B2 (en) | Speech recognition system and method | |
Graves et al. | Bidirectional LSTM networks for improved phoneme classification and recognition | |
Morgan et al. | Continuous speech recognition | |
Senior et al. | Context dependent phone models for LSTM RNN acoustic modelling | |
JP6509694B2 (ja) | 学習装置、音声検出装置、学習方法およびプログラム | |
Morgan et al. | An introduction to hybrid HMM/connectionist continuous speech recognition | |
Liu et al. | Reinforcement learning for emotional text-to-speech synthesis with improved emotion discriminability | |
Woellmer et al. | Keyword spotting exploiting long short-term memory | |
JP6884946B2 (ja) | 音響モデルの学習装置及びそのためのコンピュータプログラム | |
JP2016212273A (ja) | リカレント型ニューラルネットワークの学習方法及びそのためのコンピュータプログラム、並びに音声認識装置 | |
JP2019159654A (ja) | 時系列情報の学習システム、方法およびニューラルネットワークモデル | |
KR20180038707A (ko) | 동적 가중치 값과 토픽 정보를 이용하는 음성인식 방법 | |
JPWO2007105409A1 (ja) | 標準パタン適応装置、標準パタン適応方法および標準パタン適応プログラム | |
Mohamed et al. | HMM/ANN hybrid model for continuous Malayalam speech recognition | |
JP2019078857A (ja) | 音響モデルの学習方法及びコンピュータプログラム | |
JPH08211889A (ja) | 木構造を用いたパターン適応化方式 | |
JP6027754B2 (ja) | 適応化装置、音声認識装置、およびそのプログラム | |
JP3920749B2 (ja) | 音声認識用音響モデル作成方法、その装置、そのプログラムおよびその記録媒体、上記音響モデルを用いる音声認識装置 | |
Li et al. | Bidirectional LSTM Network with Ordered Neurons for Speech Enhancement. | |
JP2013117683A (ja) | 音声認識装置、誤り傾向学習方法、及びプログラム | |
JP6158105B2 (ja) | 言語モデル作成装置、音声認識装置、その方法及びプログラム | |
JP4964194B2 (ja) | 音声認識モデル作成装置とその方法、音声認識装置とその方法、プログラムとその記録媒体 | |
Zhou et al. | Learning and Modeling Unit Embeddings for Improving HMM-based Unit Selection Speech Synthesis. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220208 |