JP2011175074A - 音声合成装置及び方法、並びに音声合成プログラム - Google Patents
音声合成装置及び方法、並びに音声合成プログラム Download PDFInfo
- Publication number
- JP2011175074A JP2011175074A JP2010038709A JP2010038709A JP2011175074A JP 2011175074 A JP2011175074 A JP 2011175074A JP 2010038709 A JP2010038709 A JP 2010038709A JP 2010038709 A JP2010038709 A JP 2010038709A JP 2011175074 A JP2011175074 A JP 2011175074A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- phonetic symbol
- function
- learner
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
【解決手段】本発明は、単語の音声記号を保持する音声記号辞書、及びこの音声記号辞書を参照し言語テキスト中の単語を音声記号へ変換する音声記号変換機能と、音が変化する条件と変化後の音声記号を保持する音変化規則辞書、及び音声記号変換機能により得られた音声記号と音変化規則辞書とを参照し、音変化規則辞書により保持される音変化が生じる条件に合致する音声記号が含まれていた場合、当該箇所を当該音変化規則辞書の変化後の音声記号へと置換する音声記号置換機能と、音声記号を音声出力するテキスト音声合成機能とから成る。
【選択図】 図1
Description
(音声記号変換機能)
図3は、音声記号変換機能の処理手順の概要を説明する動作フロー図である。音声記号変換機能(3)は、受け取った英文テキストを単語へと分割し、各単語について、音声記号辞書(4)を参照して音声記号へ変換する。
(音声記号置換機能)
図4は、音声記号置換機能の処理手順を説明する動作フロー図である。図1に示す音声記号変換機能(3)より受け取った音声記号列内の音声記号について、音変化規則辞書(6)により保持される音変化規則の適用条件と比較する。もし条件に一致した場合は、当該箇所を当該音変化規則の変化後の音声記号へと置換する。単語の音声記号の検査が終了し、その単語がいずれの音変化規則の適用条件とも一致しなかった場合は、その単語の発音記号を元の単語の綴りへ再変換する。なお、元の単語の綴りへの再変換は、出力音声の品質向上(イントネーションやストレス等を考慮した自然な音声出力)のために行うが、利用する音声合成エンジン(8)のため品質向上が望めない場合は、必ずしも必要としない。また、自然な音声出力を得るため、最終的に生成された記号列の適切な箇所へ、イントネーションやストレス等に相当する記号を挿入することもできる。
(1) 音変化規則
音変化規則の例を以下に示す。なお、カッコ内の文字列は音声記号であり、”,”は音素の区切りを表し、”,,”は単語の区切りを表す。
・[破裂音,,鼻音]ならば[鼻音]へ置換する。(消失)
なお、破裂音には[K]や[T]等があり、鼻音には[N]や[M]などがある。
・[D,,D]ならば[,,D]へ置換する。(脱落)… 音変化規則1
・[N,,A]ならば[N,A]へ置換する。(連結)
・[T,,Y]ならば[CH]へ置換する。(同化)… 音変化規則2
このような規則を、296作成したことにより、英語の音変化の大部分をカバーすることができた。もし、音変化規則を追加する必要が生じた場合は、同様にして音変化規則を作成し補充すればよい。また、他の種類の音変化に対応する必要がある場合は、必要に応じて音変化規則へ情報を追加すればよい。たとえば音変化の一つとして知られる「弱化」への対応をする場合は、音変化規則の適用条件へ単語の品詞を追加すればよい。また、国や地域の情報を追加することにより、さまざまな国や地域の音変化に対応することができる。
(2)置換例
たとえば、good dayの音声記号の記号列は[G,UH1,D,,D,EY1]であり、前述の音変化規則1の適用条件である[D,,D]を含む。したがって、当該箇所が[,,D]へ置換され、最終的に[G,UH1,,D,EY1]となる。また、meet youの音声記号の記号列は[M,IY1,T,,Y,UW1]であり、前述の音変化規則2の適用条件である[T,,Y]を含むため、当該箇所が[CH]へ置換され、[M,IY1,CH,UW1]となる。
(テキスト音声合成機能)
図5は、テキスト音声合成機能の処理手順を説明する動作フロー図である。テキスト音声合成機能(7)は、まず、音声記号置換機能(5)より受け取った記号列の中の音声記号について、音声記号辞書(4)の音声記号表現法と音声合成エンジン(8)の音声記号表現法とが異なる場合は、当該箇所を音声合成エンジン(8)の表現法へと置換する。その後、生成した記号列を音声合成エンジン(8)を用いて音声出力する。
(オーサリング機能)
図8は、オーサリング機能の処理手順を説明する動作フロー図である。オーサリング機能(19)は、教材作成者(10)が作成した問題ファイル(英文テキスト)(11)を読み込み、各英文について次の処理を行う。まず、音声記号変換機能(3)および音声記号辞書(4)により音声記号へ変換し、次に音変化規則辞書(6)が適用可能か否かを検査する。もし適用可能である場合は、全ての適用可能な音変化規則識別子と単語の位置および当該英文テキストを問題データベース(22)へ記録する。問題データベース(22)へ蓄積される情報例は、以下のとおりである。
問題識別子,“英文”,音変化規則識別子(音変化が生じる単語の位置)
以下に、データの例を示す。
23,”What do you want?”, 6(0,1)
56,”What did you do last night?”, 6(0,1),9(4,5),15(1,2)
なお、大学英語教育学会基本語改訂委員会編「大学英語教育学会基本語リスト JACET List of 8000 Basic Words」などを用いて英文中の単語レベルを調べ、その情報を記録することにより、単語のレベルを考慮した問題作成が可能となる。
(問題選定機能)
図9は、問題選定機能の処理手順を説明する動作フロー図である。問題選定機能(14)は、学習者モデル(23)を参照し学習者(12)の弱点が記録されていない場合は、多様な種類の音変化規則識別子が付与された問題が選択されるよう配慮しながら問題データベース(22)よりランダムに問題を10問選択する。弱点が記録されている場合は、弱点と判断された音変化規則識別子が付与された問題を問題データベース(22)よりランダムに5問選択する。さらに、それ以外の識別子が付与されている問題の中から、多様な種類の音変化規則識別子が付与された問題が選択されるよう配慮しつつ問題データベース(22)よりランダムに問題を5問選択する。なお、問題選定数を10問、また弱点に相当する問題数を5問として説明したが、任意に変更することもできる。また、大学英語教育学会基本語改訂委員会編「大学英語教育学会基本語リスト JACET List of 8000 Basic Words」などを用いることにより、単語のレベルを考慮した問題選定が可能となる。
(出題機能)
図10は、出題機能の処理手順を説明する動作フロー図である。出題機能(15)は、直前の問題と同種の音変化を含む問題、および、既出の問題を選択しないよう注意し、問題選定機能(14)より受け取った問題の中からランダムに1問選択する。
(正誤判定機能)
図11は、正誤判定機能の処理手順を説明する動作フロー図である。正誤判定機能(17)は、学習者により入力された英文テキストと出題機能により出題された問題文とを公知の動的計画法によるマッチングにより比較し、単語および単語中の文字について正解(一致)または不正解(欠落、置換、過多)を判定し、当該結果を学習者に報知するとともに学習者モデルへ記録する。もし音変化が生じる単語が間違っていた場合は、音変化規則識別子も合わせて記録する。なお、学習者により入力された英文テキストと出題機能により出題された問題文との比較は、動的計画法以外の、例えば、文字列の完全一致による比較手法などのいかなる比較手法も用いることができる。また、音変化規則に対応した説明をシステム内に用意しておき、不正解と判断された場合に、当該音変化規則の説明を表示しても良い。また、正誤判定結果を学習者へ報知する際には、最初から詳細な情報を提示するのではなく、熟考を促すため、ヒントから詳細情報へと段階的に情報提供することもできる。
(弱点発見機能)
図12は、弱点発見機能の処理手順を説明する動作フロー図である。弱点発見機能(24)は、まず学習者モデルを参照し、各音変化規則の誤り頻度を求める。続いて、最も誤り頻度が高い音変化規則を弱点と同定する。最後に、その結果を学習者モデルへ記録する。
・問題識別子,正誤判定結果,学習者が入力した英文,不正解の場合は誤りに関する情報(音変化規則識別子,誤りの種類(単語/文字,単語/文字の位置,学習者が入力した単語/文字,正しい単語/文字))
・弱点と判定された音変化規則識別子
以下に,データの例を示す.
23,正解,”What do you want?”
56,不正解,”What did you do las night?”,(9,置換(単語,4, las, last), 不足(文字,4,3,t))
弱点,9,10
なお、新たに機能が増えた場合は、必要に応じて学習者モデルの内容または形式を変更すればよい。
本発明の音声合成プログラムを利用することにより、音声教材(音声ファイル)を作成することができる。ユーザが英文テキストを入力すると、音声合成プログラムにより音声出力をおこない、それを記録媒体(たとえばカセットテープなど)へ録音する。なお、音声はスピーカより出力するだけではなく、mp3などの形式で電子ファイルとして保存することも可能である。録音した音声は、教師が、教育現場において音声教材として使用できる。また、学習者自身が任意の英文を入力することで、その英文の音変化を確認することができる。その場合には、音変化が生じる場所や詳細な解説を提示することも可能である。
[音変化に関する学習形態の一例]
本発明の音声合成プログラムを利用することにより、音変化した音声と音変化していない音声とを聞き比べる学習をすることができる。まず学習者が英文を入力し、次に学習者はその英文を音変化させるか否かを指定する。音変化させると指定した場合は、音声合成プログラムを用いて音声出力する。音変化させない場合は、音声合成エンジンに英文をそのまま渡し音声出力する。
[通信教育/遠隔教育での利用]
本発明の音声合成プログラムは、通信教育などへの応用が可能である。通信教育受講者がCDなどの記録媒体またはダウンロードなどによりプログラムを受け取り、自宅のコンピュータへインストールする。問題の配布および学習者モデルの回収を通信教育業者がおこなう。また、Webサーバ上でプログラムを準備することで、通信教育受講者が自身のコンピュータへプログラムをインストールすることなく通信教育を実施することができる。
2 音声合成装置
3 音声記号変換機能
4 音声記号辞書
5 音声記号置換機能
6 音変化規則辞書
7 テキスト音声合成機能
8 音声合成エンジン
10 教材作成者
11 問題(英文テキスト)
12 学習者
14 問題選定機能
15 出題機能
17 正誤判定機能
18 ディクテーション学習支援装置
19 オーサリング機能
22 問題データベース
23 学習者モデル
24 弱点発見機能
Claims (13)
- 発音が前後の音の影響を受ける言語の言語テキストを音声合成する音声合成装置において、
単語の音声記号を保持する音声記号辞書、及びこの音声記号辞書を参照し言語テキスト中の単語を音声記号へ変換する音声記号変換手段と、
音が変化する条件と変化後の音声記号を保持する音変化規則辞書、及び前記音声記号変換手段により得られた音声記号と前記音変化規則辞書とを参照し、前記音変化規則辞書により保持される音変化が生じる条件に合致する音声記号が含まれていた場合、当該箇所を当該音変化規則辞書の変化後の音声記号の記号列へと置換する音声記号置換手段と、
生成された記号列を音声出力するテキスト音声合成手段と、
から成る音声合成装置。 - 前記音声記号変換手段は、言語テキストを受け取り、単語へと分割し、各単語について、前記音声記号辞書を参照して音声記号へ変換する請求項1に記載の音声合成装置。
- 前記テキスト音声合成手段は音声合成エンジンを用いて音声出力し、かつ、前記音声記号置換手段より受け取った音声記号について、前記音声記号辞書の音声記号表現法と音声合成エンジンの音声記号表現法とが異なる場合は、当該箇所を音声合成エンジンの表現法へと置換して音声出力する請求項1に記載の音声合成装置。
- さらに、言語テキストの問題を作成するためのオーサリング手段と、
前記オーサリング手段により作成された問題群を保持する問題データベースと、
前記問題データベースの中から所定数の問題を選定する問題選定手段と、
前記問題選定手段により得られた問題の中から1問選択する出題手段と、
前記出題手段により選択された問題を、学習者により入力された言語テキスト文字列と比較することで正誤判定を行う正誤判定手段とを備え、
前記出題手段により選択された問題の言語テキストを前記音声合成装置により音声出力することにより、その言語の音変化を学習するディクテーション学習支援装置を構成した請求項1に記載の音声合成装置。 - さらに、前記判定結果を保持する学習者モデルに蓄積された履歴より学習者の弱点を発見する弱点発見手段を備え、前記問題選定手段は、学習者の弱点が記録されている場合は、該学習者の弱点を考慮して問題データベースより問題を所定数選択する請求項4に記載の音声合成装置。
- 前記学習者モデルには、間違っていた判定結果である場合の音変化規則識別子も合わせて記録し、前記弱点発見手段は誤り頻度が高い音変化規則を同定し、当該音変化規則を学習者の弱点として学習者モデルに記録した請求項5に記載の音声合成装置。
- 前記オーサリング手段は、教材作成者より受け取った問題の言語テキストを、前記音声記号変換手段および前記音声記号辞書により音声記号へ変換し、前記音変化規則辞書により保持される音変化が生じる条件に合致する音声記号が含まれていた場合に当該規則識別子、及び当該英単語の位置および当該言語テキストを前記問題データベースへ記録する請求項6に記載の音声合成装置。
- 発音が前後の音の影響を受ける言語の言語テキストを音声合成する音声合成方法において、
単語の音声記号を保持する音声記号辞書を参照し言語テキスト中の単語を音声記号へ変換し、
前記変換された音声記号と、音が変化する条件と変化後の音声記号を保持する音変化規則辞書とを参照し、前記音変化規則辞書により保持される音変化が生じる条件に合致する音声記号が含まれていた場合、当該箇所を当該音変化規則辞書の変化後の音声記号の記号列へと置換し、
前記記号列を音声出力する、
ことから成る音声合成方法。 - 言語テキストの問題を作成するためのオーサリング機能と、該オーサリング機能により作成された問題群を保持する問題データベースとを備え、
前記問題データベースの中から所定数の問題を選定し、かつ、この選定された問題の中から1問を選択し、
前記選択された問題を音声出力し、
前記選択された問題を、学習者により入力された言語テキスト文字列と比較することで正誤判定を行ない、
言語テキストを用いてその言語の音変化を学習するディクテーション学習支援を行う請求項8に記載の音声合成方法。 - 前記判定結果を保持する学習者モデルに蓄積された履歴より学習者の弱点を発見し、かつ、学習者の弱点が記録されている場合は、該学習者の弱点を考慮して前記問題データベースより問題を所定数選択する請求項9に記載の音声合成方法。
- 発音が前後の音の影響を受ける言語の言語テキストを音声合成する音声合成プログラムにおいて、
単語の音声記号を保持する音声記号辞書、及びこの音声記号辞書を参照し言語テキスト中の単語を音声記号へ変換する音声記号変換機能と、
音が変化する条件と変化後の音声記号を保持する音変化規則辞書、及び前記音声記号変換機能により得られた音声記号と前記音変化規則辞書とを参照し、前記音変化規則辞書により保持される音変化が生じる条件に合致する音声記号が含まれていた場合、当該箇所を当該音変化規則辞書の変化後の音声記号の記号列へと置換する音声記号置換機能と、
前記記号列を音声出力するテキスト音声合成機能と、
から成る各機能をコンピュータに実現させるための音声合成プログラム。 - 言語テキストの問題を作成するためのオーサリング機能と、
前記オーサリング機能により作成された問題群を保持する問題データベースと、
前記問題データベースの中から所定数の問題を選定する問題選定機能と、
前記問題選定機能により得られた問題の中から1問選択する出題機能と、
前記出題機能により選択された問題を学習者により入力された言語テキスト文字列と比較することで正誤判定を行う正誤判定機能と、
前記正誤判定機能による判定結果を保持する学習者モデルとを備え、
前記出題機能により選択された問題の言語テキストを前記音声合成プログラムにより音声出力することにより、その言語の音変化を学習するディクテーション学習支援プログラムを構成した請求項11に記載の音声合成プログラム。 - さらに、前記判定結果を保持する前記学習者モデルに蓄積された履歴より学習者の弱点を発見する弱点発見機能を備え、前記問題選定機能は、学習者の弱点が記録されている場合は、該学習者の弱点を考慮して問題データベースより問題を所定数選択する請求項12に記載の音声合成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010038709A JP5794602B2 (ja) | 2010-02-24 | 2010-02-24 | 音声合成装置及び方法、並びに音声合成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010038709A JP5794602B2 (ja) | 2010-02-24 | 2010-02-24 | 音声合成装置及び方法、並びに音声合成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011175074A true JP2011175074A (ja) | 2011-09-08 |
JP5794602B2 JP5794602B2 (ja) | 2015-10-14 |
Family
ID=44687987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010038709A Expired - Fee Related JP5794602B2 (ja) | 2010-02-24 | 2010-02-24 | 音声合成装置及び方法、並びに音声合成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5794602B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016159064A1 (ja) * | 2015-03-31 | 2016-10-06 | Necソリューションイノベータ株式会社 | 要約筆記学習支援システム、要約筆記学習支援装置、要約筆記学習の支援方法、及びコンピュータ読み取り可能な記録媒体 |
CN109389969A (zh) * | 2018-10-29 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 语料库优化方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5955445B1 (ja) * | 2015-10-28 | 2016-07-20 | 株式会社リクルートホールディングス | 言語トレーニングシステム、言語トレーニング端末および言語トレーニングプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01200290A (ja) * | 1988-02-03 | 1989-08-11 | Sharp Corp | 音声合成装置 |
JPH07152392A (ja) * | 1993-11-30 | 1995-06-16 | Fujitsu Ltd | 音声合成装置 |
JPH11282494A (ja) * | 1998-03-27 | 1999-10-15 | Brother Ind Ltd | 音声合成装置および記憶媒体 |
JP2005172858A (ja) * | 2003-12-05 | 2005-06-30 | Nariko Matsuda | 言語学習材料提供方法及び言語学習教材 |
JP2007249023A (ja) * | 2006-03-17 | 2007-09-27 | Canon Inc | 音声合成装置及び音声合成方法 |
-
2010
- 2010-02-24 JP JP2010038709A patent/JP5794602B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01200290A (ja) * | 1988-02-03 | 1989-08-11 | Sharp Corp | 音声合成装置 |
JPH07152392A (ja) * | 1993-11-30 | 1995-06-16 | Fujitsu Ltd | 音声合成装置 |
JPH11282494A (ja) * | 1998-03-27 | 1999-10-15 | Brother Ind Ltd | 音声合成装置および記憶媒体 |
JP2005172858A (ja) * | 2003-12-05 | 2005-06-30 | Nariko Matsuda | 言語学習材料提供方法及び言語学習教材 |
JP2007249023A (ja) * | 2006-03-17 | 2007-09-27 | Canon Inc | 音声合成装置及び音声合成方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016159064A1 (ja) * | 2015-03-31 | 2016-10-06 | Necソリューションイノベータ株式会社 | 要約筆記学習支援システム、要約筆記学習支援装置、要約筆記学習の支援方法、及びコンピュータ読み取り可能な記録媒体 |
JPWO2016159064A1 (ja) * | 2015-03-31 | 2017-11-24 | Necソリューションイノベータ株式会社 | 要約筆記学習支援システム、要約筆記学習支援装置、要約筆記学習の支援方法、及びプログラム |
CN109389969A (zh) * | 2018-10-29 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 语料库优化方法及装置 |
CN109389969B (zh) * | 2018-10-29 | 2020-05-26 | 百度在线网络技术(北京)有限公司 | 语料库优化方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5794602B2 (ja) | 2015-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7292980B1 (en) | Graphical user interface and method for modifying pronunciations in text-to-speech and speech recognition systems | |
US7153139B2 (en) | Language learning system and method with a visualized pronunciation suggestion | |
KR100974002B1 (ko) | 영상 재생에 의한 외국어 뉘앙스 학습 시스템 | |
WO2004063902B1 (en) | Speech training method with color instruction | |
US20070009865A1 (en) | Method, system, program and data set which are intended to facilitate language learning thorugh learning and comprehension of phonetics and phonology | |
CA2640779A1 (en) | Computer-based language training work plan creation with specialized english materials | |
JP6389289B2 (ja) | 語学教材作成システム | |
US20100318346A1 (en) | Second language pronunciation and spelling | |
Cheng | Unfamiliar accented English negatively affects EFL listening comprehension: It helps to be a more able accent mimic | |
Ai | Automatic pronunciation error detection and feedback generation for call applications | |
JP5794602B2 (ja) | 音声合成装置及び方法、並びに音声合成プログラム | |
JP7093099B2 (ja) | 音声再生装置及び音楽再生プログラム | |
Sonia et al. | The importance of prosody in a proper English pronunciation for EFL learners | |
JP2016224283A (ja) | 外国語の会話訓練システム | |
JP6231510B2 (ja) | 外国語学習システム | |
Wilkinson et al. | Open-Source Consumer-Grade Indic Text To Speech. | |
KR20030079497A (ko) | 대화형 언어학습 시스템 및 서비스방법 | |
Martens et al. | Applying adaptive recognition of the learner’s vowel space to English pronunciation training of native speakers of Japanese | |
JP2000250401A (ja) | 言語学習方法、言語学習装置およびプログラムを記録した媒体 | |
JP6684853B2 (ja) | 音声学習システム、および音声学習方法 | |
KR100319448B1 (ko) | 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법 | |
JP6155102B2 (ja) | 学習支援装置 | |
JP6712511B2 (ja) | 音声学習システム、音声学習方法、及び記憶媒体 | |
Boonmee et al. | Accuracy of Natural Language Processing Algorithms in Representing Stressed Words in Closed Captioning | |
JP7338737B2 (ja) | 電子機器、その制御方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131031 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5794602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |