JP2021139995A - 語学学習支援装置、方法及びプログラム - Google Patents

Abstract

【課題】学習者のモチベーションを維持する語学学習支援技術を提供する。【解決手段】語学学習支援装置は、入力された音声信号に対して、第一音声認識モデルを用いて音声認識を行うことにより、音声認識結果を出力する音声認識部１と、母語話者用の音声認識モデルである第二音声認識モデルに基づく音声認識結果に含まれる音素系列である母語話者音素系列と、音声認識部が出力した音声認識結果に含まれる音素系列である正解音素系列とを比較することで発音誤り音素を検出し、検出された発音誤り音素に基づいて発音誤り傾向を求める発音誤り検出部２と、を備えている。【選択図】図１

Description

本発明は、語学学習を支援するための技術に関する。

非母語話者モデルの音声認識結果に対して、母語話者モデルで音素を置換する文法で音声認識を行い、発音誤り候補を出力する技術が知られている。

楽俊偉、塩沢文野、外山翔平、畑アンナマリア知寿江、山内豊、伊藤佳世子、齋藤大輔、峯松信明、「シャドーイング音声に対するDNNを用いたGOPスコアと手動スコアへの近接性」、日本音響学会講演論文集、2-P-31、2017年3月 張昊宇、齋藤大輔、峯松信明、小橋川哲、「日本人英語の発音多様性のモデル化と音素誤り自動検出への応用」、日本音響学会講演論文集、2-Q-4、2018年9月

非特許文献１の技術には、問題に対する正しい正解文が一意に分かっている必要があるため、読み上げ音声にしか適用できず、また正解の発音情報が必要となるため、コストを要するという問題があった。

また、非特許文献２の技術では、正解文の分かっていない読み上げ文以外では、音声認識が必要であり、発音誤り以外の認識誤りの影響を受けて、正しく評価されないという問題があった。

また、非特許文献１及び２では、正しく発音しないと評価されない減点方式に近い方式が採用されているため、学習者のモチベーションが維持できないという問題があった。

この発明は、学習者のモチベーションを維持することができる語学学習支援装置、方法及びプログラムを提供することを目的とする。

この発明の一態様による語学学習支援装置は、入力された音声信号に対して、第一音声認識モデルを用いて音声認識を行うことにより、音声認識結果を出力する音声認識部と、母語話者用の音声認識モデルである第二音声認識モデルに基づく音声認識結果に含まれる音素系列である母語話者音素系列と、音声認識部が出力した音声認識結果に含まれる音素系列である正解音素系列とを比較することで発音誤り音素を検出し、検出された発音誤り音素に基づいて発音誤り傾向を求める発音誤り検出部と、を備えている。

具体的な発音誤りの細かな誤りを指摘するわけではないため、学習者のモチベーションの低下を防ぐことができる。

図１は、語学学習支援装置の機能構成の例を示す図である。 図２は、語学学習支援方法の処理手続きの例を示す図である。 図３は、第二実施形態の語学学習支援装置の機能構成の例を示す図である。 図４は、コンピュータの機能構成例を示す図である。

以下、語学学習支援装置及び方法の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

[第一実施形態]
第一実施形態の語学学習支援装置は、図１に示すように、音声認識部１及び発音誤り検出部２を例えば備えている。

第一実施形態の語学学習支援方法は、語学学習支援装置の各構成部が、以下に説明する及び図２に示すステップＳ１からステップＳ２の処理を行うことにより例えば実現される。

以下、語学学習支援装置の各構成部について説明する。

<音声認識部１>
音声認識部１は、非母国語話者の音声信号と、第一音声認識モデルとが入力される。

例えば、「私は貴方が好きです。」という文を提示された日本人である学習者が、その文に対応する英文である"I love you."を発する。そして、その発した英文に対応する音声信号が音声認識部１に入力される。この例では、非母国語話者は日本人であり、母国語は英語である。

音声認識部１は、第一音声認識モデルを用いて音声認識を行うことにより、音声認識結果を出力する（ステップＳ１）。音声認識結果は、発音誤り検出部２に出力される。

第一音声認識モデルは、非母語話者音声の学習データから学習された学習者用音声認識モデルである。学習者用音声認識モデルは、音響モデル及び言語モデルを含んでいるものとする。

音声認識結果には、音声認識により得られた音素系列である正解音素系列が含まれているとする。

なお、音声認識部１は、例えば、音声認識スコアが低過ぎる場合や問題文に対する正解候補との一致率が低い場合には、リジェクトして学習者に再発声を促してもよい。

<発音誤り検出部２>
発音誤り検出部２には、非母国語話者の音声信号と、音声認識部１による音声認識結果と、第二音声認識モデルとが入力される。

発音誤り検出部２は、母語話者用の音声認識モデルである第二音声認識モデルに基づく音声認識結果に含まれる音素系列である母語話者音素系列と、音声認識部１が出力した音声認識結果に含まれる音素系列である正解音素系列とを比較することで発音誤り音素を検出し、検出された発音誤り音素に基づいて発音誤り傾向を求める（ステップＳ２）。求まった発音誤り傾向は、学習者に提示される。

なお、発音誤り検出部２は、正解音素系列については、入力された音声認識結果からそのまま得ても構わないし、音声認識結果を入力文法として音素認識を行って音素認識スコアを得て、同様に母語話者音素系列の音素認識スコアの方が高い箇所のみに絞って、発音誤り音素を検出してもよい。

まず、発音誤り検出部２は、入力された非母国語話者の音声信号に対して、母語話者用音響モデルである第二音声認識モデルと、音声認識結果から内部で生成した母語話者用認識誤り検出用文法とを用いて音声認識を行い、母語話者音響モデルで認識した音声認識結果を得る。この時、発音誤り検出部２は、音素認識スコアを保持していてもよい。

そして、発音誤り検出部２は、正解音素系列と、母語話者音素系列とを比較し、異なるものを発音誤り音素として検出する。

そして、発音誤り検出部２は、検出された発音誤り音素に基づいて発音誤り傾向を求める。求まった発音誤り傾向は、学習者に提示される。

このように、学習者に、発音誤り音素をそのまま提示するではなく、発音誤り傾向を提示することで、学習者のモチベーションの低下を防ぐことができる。

発音誤り検出部２は、例えば以下のように、発音誤り音素を分類することで発音誤り傾向を求める。

<分類の方法１>
発音誤り検出部２は、発音誤り音素を所定の音素の分類単位に分類することで、発音誤り音素が属する音素の分類単位を決定し、決定された音素の分類単位を発話誤り傾向とする。

所定の音素の分類単位の例は、流音「l, r」, 母音「a,i,u,e,o」である。もちろん、所定の音素分類単位は、子音等の他の音素分類単位を含んでいてもよい。

なお、所定の音素の分類単位については、例えば参考文献１及び参考文献２に記載されたものを用いることができる。

〔参考文献１〕［online］、［令和１年12月16日検索］、インターネット〈URL：http://faculty.wwu.edu/deguchm/j314/j314consonants.pdf〉
〔参考文献２〕木村琢也、小林篤志、"IPA（国際音声記号）新技術の動向"、［online］、［令和１年12月16日検索］、インターネット〈URL：https://www.jstage.jst.go.jp/article/jasj/66/4/66_KJ00006254176/_pdf〉

例えば、正解音素系列に含まれるある音素が"l"であり、そのある音素に対応する、母語話者音素系列に含まれる音素が"r"である場合には、発音誤り検出部２は、"l"を発音誤り音素として決定する。この場合、発音誤り検出部２は、発音誤り音素"l"は、流音「l, r」という音素の分類単位に分類することができる。このため、発音誤り検出部２は、流音という音素の分類単位を発音誤り傾向として決定する。

また、正解音素系列に含まれるある音素が"u"であり、そのある音素に対応する、母語話者音素系列に含まれる音素が""である場合には、発音誤り検出部２は、"u"を発音誤り音素として決定する。この場合、発音誤り検出部２は、発音誤り音素"u"は、母音「a,i,u,e,o」という音素の分類単位に分類することができる。このため、発音誤り検出部２は、母音という音素の分類単位を発音誤り傾向として決定する。

この場合、発音誤り検出部２は、音素の分類単位のみを学習者に提示してもよい。音素の分類単位のみを提示することにより、間違った指摘をする確率が減り、学習者に不快感を与えなくて済むというメリットがある。

<分類の方法２>
発音誤り検出部２は、発音誤り音素を、置換、脱落、挿入の何れかの発音誤りタイプに分類することで、発音誤り音素が属する発音誤りタイプを決定し、決定された発音誤りタイプを発音誤り傾向とする。

例えば、発音誤り検出部２は、正解音素系列と母語話者音素系列の照合したマッチング結果から上記の発音誤りタイプを決定する。照合は、動的計画法等を用いて行うことができる。

例えば、正解音素系列に含まれるある音素が"l"であり、そのある音素に対応する、母語話者音素系列に含まれる音素が"r"である場合には、発音誤り検出部２は、「置換」という発音誤りタイプを発音誤り傾向として決定する。

また、正解音素系列に含まれるある音素が"u"であり、そのある音素に対応する、母語話者音素系列に含まれる音素が""である場合には、発音誤り検出部２は、「脱落」という発音誤りタイプを発音誤り傾向として決定する。

また、母語話者音素系列に含まれるある音素が"u"であり、そのある音素に対応する、正解音素系列に含まれるある音素が""である場合には、発音誤り検出部２は、「挿入」という発音誤りタイプを発音誤り傾向として決定する。

この場合、発音誤り検出部２は、発音誤りタイプのみを学習者に提示してもよい。発音誤りタイプのみを提示することにより、間違った指摘をする確率が減り、学習者に不快感を与えなくて済むというメリットがある。

[第二実施形態]
第二実施形態の語学学習支援装置及び方法は、１つの入力音声信号からの発音誤り傾向
だけではなく、複数の音声信号からそれぞれ得られた複数の発音誤り傾向を統合させて、最終的な発音誤り傾向を求める。

以下、第一実施形態の語学学習支援装置及び方法と異なる部分を中心に説明する。第一実施形態の語学学習支援装置及び方法と同様の部分については説明を省略する。

図３に示すように、第二実施形態の語学学習支援装置は、発音誤り傾向統合部３を更に備えている。

音声認識部１及び発音誤り検出部２は、複数の音声信号のそれぞれに対して、ステップＳ１及びステップＳ２の処理を行い、複数の音声信号にそれぞれ対応する複数の発音誤り傾向を求める。複数の音声信号は、例えば、アプリケーションの問題毎に録音される音声データである。

この複数の発音誤り傾向は、発音誤り傾向統合部３に出力される。

<発音誤り傾向統合部３>
発音誤り傾向統合部３には、発音誤り検出部２により得られた複数の発音誤り傾向が入力される。

発音誤り傾向統合部３は、発音誤り検出部２により得られた複数の発音誤り傾向を統合することで、最終的な発音誤り傾向を求める（ステップＳ３）。

発音誤り傾向統合部３は、複数回出現した発音誤り傾向を、最終的な発音誤り傾向として出力してもよい。例えば、発音誤り傾向統合部３は、発音誤り傾向統合閾値を設け、発音誤り傾向統合閾値以上の回数出現した発音誤り傾向を、最終的な発音誤り傾向として出力してもよい。

発音誤り傾向統合閾値は、所望の結果が得られるように適宜設定される正の整数である。発音誤り傾向統合閾値は、語学学習支援装置及び方法のユーザが所定の入力装置を用いることにより発音誤り傾向統合部３に入力されてもよい。所定の入力装置の例は、キーボード、マウス等のポインティングデバイス、タッチパネルである。

また、発音誤り傾向統合部３は、最も多く出現した発音誤り傾向を検出してもよい。

例えば、第１の入力信号では、正解音素系列に含まれるある音素が"l"であり、そのある音素に対応する、母語話者音素系列に含まれる音素が"r"であり、発音誤り傾向が「置換」であるとする。

また、第２の入力信号では、母語話者音素系列に含まれるある音素が"u"であり、そのある音素に対応する、正解音素系列に含まれるある音素が""であり、発音誤り傾向が「挿入」であるとする。

また、第３の入力信号では、正解音素系列に含まれるある音素が"l"であり、そのある音素に対応する、母語話者音素系列に含まれる音素が"r"であり、発音誤り傾向が「置換」であるとする。

この場合、発音誤り傾向統合部３は、最も多く出現した発音誤り傾向である「置換」を、最終的な発音誤り傾向とする。

なお、発音誤り傾向統合部３は、過去に提示していない発音誤り傾向を、最終的な発音誤り傾向として出力してもよい。

このために、発音誤り傾向統合部３は、記憶部３１を備えている。記憶部３１には、過去に学習者に提示された発音誤り傾向が記憶される。

発音誤り傾向統合部３は、現在処理の対象となっている音声信号に対応する発音誤り傾向が記憶部３１に記憶されていない場合には、その発音誤り傾向を出力する。

例えば、音素"l"と音素"r"の「置換」である旨の発音誤り傾向と、音素"sh"と音素"s"の「置換」である旨の発音誤り傾向とが記憶部３１に記憶されているとする。

現在処理の対象となっている音声信号に対応する発音誤り傾向が、音素"l"と音素"r"の「置換」である旨の発音誤り傾向であるとする。この場合、発音誤り傾向統合部３は、記憶部３１には音素"l"と音素"r"の「置換」である旨の発音誤り傾向が記憶されているため、この発音誤り傾向を出力しない。

また、現在処理の対象となっている音声信号に対応する発音誤り傾向が、音素"v"と音素"b"の「置換」である旨の発音誤り傾向であるとする。この場合、発音誤り傾向統合部３は、記憶部３１には音素"v"と音素"b"の「置換」である旨の発音誤り傾向は記憶されていないため、この発音誤り傾向を出力する。

[第三実施形態]
第三実施形態の語学学習支援装置及び方法は、発音誤り傾向として、検出された発音誤り音素ではなく、正解音素系列に含まれる、前記検出された発音誤り音素に対応する音素についての情報を出力する。

以下、第一実施形態の語学学習支援装置及び方法と異なる部分を中心に説明する。第一実施形態の語学学習支援装置及び方法と同様の部分については説明を省略する。

第三実施形態の発音誤り検出部２は、正解音素系列に含まれる、検出された発音誤り音素に対応する音素についての情報を発音誤り傾向とする。

例えば、すなわち、正解音素系列に含まれるある音素が"l"であり、そのある音素に対応する、母語話者音素系列に含まれる音素が"r"であるとする。この場合、発音誤り検出部２は、"l"を発音誤り傾向とする。

このように、検出した発音誤り傾向のうち、元々発声したかった音素のみを出力する事になり、誤った発音の結果が正しくなくてもユーザに不快感を与えなくて済む。

[変形例]
以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。

実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

例えば、語学学習支援装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。

発音誤り検出部２は、発音誤り傾向に応じて学習者に提示するメッセージを変えてもよい。

例えば、発音誤り検出部２は、流音「l, r」という音素の分類単位を発音誤り傾向として決定した場合には、「lとrといった流音という音が間違え易いようです。」というメッセージを学習者に提示する。

また、例えば、発音誤り検出部２は、「脱落」という発音誤りタイプを発音誤り傾向として決定した場合には、「音が抜けてしまう脱落という現象が起きているようです。丁寧に明瞭に話すようにしましょう。」というメッセージを学習者に提示する。

[プログラム、記録媒体]
上記説明した語学学習支援装置における各種の処理機能をコンピュータによって実現する場合、語学学習支援装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上語学学習支援装置における各種の処理機能がコンピュータ上で実現される。例えば、上述の各種の処理は、図３に示すコンピュータの記録部２０２０に、実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ 音声認識部
２ 発音誤り検出部
３ 傾向統合部
３１ 記憶部

Claims (8)

1. 入力された音声信号に対して、第一音声認識モデルを用いて音声認識を行うことにより、音声認識結果を出力する音声認識部と、
   母語話者用の音声認識モデルである第二音声認識モデルに基づく音声認識結果に含まれる音素系列である母語話者音素系列と、前記音声認識部が出力した音声認識結果に含まれる音素系列である正解音素系列とを比較することで発音誤り音素を検出し、検出された発音誤り音素に基づいて発音誤り傾向を求める発音誤り検出部と、
   を含む語学学習支援装置。
2. 請求項１の語学学習支援装置であって、
   前記発音誤り検出部は、前記発音誤り音素を分類することで前記発音誤り傾向を求める、
   語学学習支援装置。
3. 請求項２の語学学習支援装置であって、
   前記発音誤り検出部により得られた複数の発音誤り傾向を統合することで、最終的な発音誤り傾向を求める発音誤り傾向統合部を更に含む、
   語学学習支援装置。
4. 請求項２の語学学習支援装置であって、
   前記発音誤り検出部は、前記発音誤り音素を、置換、脱落、挿入の何れかの発音誤りタイプに分類することで、前記発音誤り音素が属する発音誤りタイプを決定し、決定された発音誤りタイプを前記発音誤り傾向とする、
   語学学習支援装置。
5. 請求項１の語学学習支援装置であって、
   前記発音誤り検出部は、前記発音誤り音素を所定の音素の分類単位に分類することで、前記発音誤り音素が属する音素の分類単位を決定し、決定された音素の分類単位を前記発音誤り傾向とする、
   語学学習支援装置。
6. 請求項１の語学学習支援装置であって、
   前記発音誤り検出部は、正解音素系列に含まれる、前記検出された発音誤り音素に対応する音素についての情報を前記発音誤り傾向とする、
   語学学習支援装置。
7. 音声認識部が、入力された音声信号に対して、第一音声認識モデルを用いて音声認識を行うことにより、音声認識結果を出力する音声認識ステップと、
   発音誤り検出部が、母語話者用の音声認識モデルである第二音声認識モデルに基づく音声認識結果に含まれる音素系列である母語話者音素系列と、前記音声認識部が出力した音声認識結果に含まれる音素系列である正解音素系列とを比較することで発音誤り音素を検出し、検出された発音誤り音素に基づいて発音誤り傾向を求める発音誤り検出ステップと、
   を含む語学学習支援方法。
8. 請求項１から６の何れかの語学学習支援装置の各部としてコンピュータを機能させるためのプログラム。

Images