JP2016183992A - 音読評価装置、音読評価方法、及びプログラム - Google Patents
音読評価装置、音読評価方法、及びプログラム Download PDFInfo
- Publication number
- JP2016183992A JP2016183992A JP2015062769A JP2015062769A JP2016183992A JP 2016183992 A JP2016183992 A JP 2016183992A JP 2015062769 A JP2015062769 A JP 2015062769A JP 2015062769 A JP2015062769 A JP 2015062769A JP 2016183992 A JP2016183992 A JP 2016183992A
- Authority
- JP
- Japan
- Prior art keywords
- phrase
- score
- word
- phrases
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Document Processing Apparatus (AREA)
Abstract
【解決手段】音読評価装置Sは、話者が1以上の文節からなるフレーズを複数含む文を音読したときに発した音声の波形を示す音声波形データに基づいてフレーズ毎に算出された得点を取得する。そして、音読評価装置Sは、上記フレーズ毎の重みを決定し、決定したそれぞれの重みに応じた配点比率をフレーズ毎に決定し、上記取得されたフレーズ毎の得点を、上記決定した配点比率によりフレーズ毎に調整し、調整したフレーズ毎の得点に基づいて、複数のフレーズを含む文全体の音読に対する総得点を算出する。
【選択図】図5
Description
初めに、図1を参照して、本発明の一実施形態に係る音読評価装置Sの構成及び機能について説明する。図1は、本実施形態に係る音読評価装置Sの概要構成例を示す図である。なお、音読評価装置の一例として、パーソナルコンピュータや、携帯型情報端末(スマートフォン等)などが挙げられる。図1に示すように、音読評価装置Sは、通信部1、記憶部2、制御部3、操作部4、及びインターフェース(IF)部5等を備えて構成され、これらの構成要素はバス6に接続されている。操作部4は、ユーザからの操作指示を受け付け、受け付けた操作に応じた信号を制御部3へ出力する。インターフェース部5には、マイクM、及びディスプレイD等が接続される。マイクMは、語学学習や、アナウンス、朗読などの発声発話訓練等を行う話者が、文(文章)を音読したときに発した音声を集音する。文は、複数のフレーズ、または複数の文節を含む。フレーズは、1以上の文節からなり、一般に一息で話される文節のまとまりである。フレーズと文節は、それぞれ、1以上の単語を含む。そのため、文は、1以上の単語を含む。単語には、名詞、動詞、形容詞、副詞、及び接続詞等の自立語(単独で文節を構成できる品詞)や、助動詞及び助詞等の付属語(単独で文節を構成できない品詞)などがある。音読対象となる文の例として、例えば、語学学習またはアナウンス訓練や朗読訓練などで用いられる文章、または歌唱に用いられる歌詞文などが挙げられる。ディスプレイDは、制御部3からの表示指令にしたがって、例えば、話者の音読に対する評価を示す情報(例えば、得点)を画面に表示する。この評価には、声量の評価、抑揚(音高またはピッチともいう)の評価、滑舌の評価、スピード(音読スピード)の評価、間(間合い)の評価、総合評価などがある。なお、マイクM、及びディスプレイDは、音読評価装置Sと一体型であってもよいし、別体であってもよい。
次に、音読評価装置Sの動作の一例について、実施例1と実施例2に分けて説明する。実施例1では、所定の評価項目についての文全体の音読に対する総得点がフレーズ毎または文節毎の得点に基づいて算出される場合の例である。実施例2では、所定の評価項目についての文全体の音読に対する総得点が単語毎の得点に基づいて算出される場合の例である。
先ず、図5等を参照して、実施例1における制御部3の音読評価処理について説明する。図5は、実施例1における制御部3の音読評価処理の一例を示すフローチャートである。なお、以下に説明する音読評価処理では、複数のフレーズを含む文を例にとって説明するが、処理内容は複数の文節を含む文に対しても同じように適用できる。また、以下に説明する音読評価処理の前提として、基準音声波形データに基づいて特定された基準フレーズ区間、基準インターバル区間及び基準単語区間のデータと、基準音声波形データに基づいて所定時間毎に算出された声量及び抑揚のデータと、基準音声波形データに基づいて基準フレーズ区間毎に算出された声道の特徴量(MFCC)のデータとが、例えば、基準音声波形データの音声ファイルに対応付けられて記憶部2に記憶されているものとする。
次に、図7等を参照して、実施例2における制御部3の音読評価処理について説明する。図7は、実施例2における制御部3の音読評価処理の一例を示すフローチャートである。なお、以下に説明する音読評価処理の前提として、基準音声波形データに基づいて特定された基準単語区間及び基準インターバル区間のデータと、基準音声波形データに基づいて所定時間毎に算出された声量及び抑揚のデータと、基準音声波形データに基づいて単語(話者単語区間)毎に算出された声道の特徴量(MFCC)のデータとが、例えば、基準音声波形データの音声ファイルに対応付けられて記憶部2に記憶されているものとする。
2 記憶部
3 制御部
4 操作部
5 インターフェース部
6 バス
S 音読評価装置
Claims (19)
- 話者が1以上の文節からなるフレーズを複数含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記フレーズ毎に算出された得点を取得する取得手段と、
前記フレーズ毎の重みを決定する第1決定手段と、
前記第1決定手段により決定された前記フレーズ毎の重みに応じた配点比率を前記フレーズ毎に決定する第2決定手段と、
前記取得手段により取得された前記得点を、前記第2決定手段により決定された前記配点比率により前記フレーズ毎に調整し、調整したフレーズ毎の得点に基づいて、前記複数のフレーズを含む文全体の音読に対する総得点を算出する算出手段と、
を備えることを特徴とする音読評価装置。 - 前記文を前記複数のフレーズに区分して画面に表示させ、且つ前記複数のフレーズの中で相対的に高い重み付けがなされた前記フレーズを他のフレーズとは異なる表示態様で表示させる表示制御手段を更に備えることを特徴とする請求項1に記載の音読評価装置。
- 前記表示制御手段は、前記取得手段により前記フレーズ毎に取得された前記得点と、前記フレーズ毎に調整された得点との少なくとも何れか一方をそれぞれの前記フレーズに対応付けて前記画面に表示させることを特徴とする請求項1または2に記載の音読評価装置。
- 前記文のテキストデータを入力する第1入力手段と、
前記第1入力手段により入力されたテキストデータが示す文を複数の単語に分解する分解手段と、
単語の重要度を規定する参照情報を参照して、前記分解されたそれぞれの前記単語の重要度を特定する第1特定手段と、
を更に備え、
前記第1決定手段は、前記第1特定手段により特定された前記単語の重要度に基づいて、前記単語により構成されるフレーズの重みを前記フレーズ毎に決定することを特徴とする請求項1乃至3の何れか一項に記載の音読評価装置。 - 前記文を音読した得点算出の基準となる音声の波形を示す基準音声波形データを入力する第2入力手段と、
前記第2入力手段により入力された基準音声波形データが示す音声の波形に基づいて特定される前記フレーズの時間長を前記フレーズ毎に特定する第2特定手段と、を更に備え
前記第1決定手段は、前記第1特定手段により特定された前記単語の重要度と、前記第2特定手段により特定された前記フレーズの時間長とに基づいて、前記単語により構成されるフレーズの重みを前記フレーズ毎に決定することを特徴とする請求項4に記載の音読評価装置。 - 話者が複数の文節を含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記文節毎に算出された得点を取得する取得手段と、
前記文節毎の重みを決定する第1決定手段と、
前記第1決定手段により決定された前記文節毎の重みに応じた配点比率を前記文節毎に決定する第2決定手段と、
前記取得手段により取得された前記得点を、前記第2決定手段により決定された前記配点比率により前記文節毎に調整し、調整した文節毎の得点に基づいて、前記複数の文節を含む文全体の音読に対する総得点を算出する算出手段と、
を備えることを特徴とする音読評価装置。 - 前記文を前記複数の文節に区分して画面に表示させ、且つ前記複数の文節の中で相対的に高い重み付けがなされた前記文節を他の文節とは異なる表示態様で表示させる表示制御手段を更に備えることを特徴とする請求項6に記載の音読評価装置。
- 前記表示制御手段は、前記取得手段により前記文節毎に取得された前記得点と、前記文節毎に調整された得点との少なくとも何れか一方をそれぞれの前記文節に対応付けて前記画面に表示させることを特徴とする請求項6または7に記載の音読評価装置。
- 前記文のテキストデータを入力する第1入力手段と、
前記第1入力手段により入力されたテキストデータが示す文を複数の単語に分解する分解手段と、
単語の重要度を規定する参照情報を参照して、前記分解されたそれぞれの前記単語の重要度を特定する第1特定手段と、
を更に備え、
前記第1決定手段は、前記第1特定手段により特定された前記単語の重要度に基づいて、前記単語により構成される文節の重みを前記文節毎に決定することを特徴とする請求項6乃至8の何れか一項に記載の音読評価装置。 - 前記文を音読した得点算出の基準となる音声の波形を示す基準音声波形データを入力する第2入力手段と、
前記第2入力手段により入力された基準音声波形データが示す音声の波形に基づいて特定される前記文節の時間長を前記文節毎に特定する第2特定手段と、を更に備え、
前記第1決定手段は、前記第1特定手段により特定された前記単語の重要度と、前記第2特定手段により特定された前記文節の時間長とに基づいて、前記単語により構成される文節の重みを前記文節毎に決定することを特徴とする請求項9に記載の音読評価装置。 - 話者が複数の単語を含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記単語毎に算出された得点を取得する取得手段と、
前記文のテキストデータを入力する入力手段と、
前記入力手段により入力されたテキストデータが示す文を複数の単語に分解する分解手段と、
単語の重要度を規定する参照情報を参照して、前記分解されたそれぞれの前記単語の重要度を特定する特定手段と、
前記特定手段により特定された前記単語毎の重要度に応じた配点比率を前記単語毎に決定する決定手段と、
前記取得手段により取得された前記得点を、前記決定手段により決定された前記配点比率により前記単語毎に調整し、調整した単語毎の得点に基づいて、前記複数の単語を含む文全体の音読に対する総得点を算出する算出手段と、
を備えることを特徴とする音読評価装置。 - 前記文を前記複数の単語に区分して画面に表示させ、且つ前記複数の単語の中で相対的に高い重要度が付与された前記単語を他の単語とは異なる表示態様で表示させる表示制御手段を更に備えることを特徴とする請求項11に記載の音読評価装置。
- 前記表示制御手段は、前記取得手段により前記単語毎に取得された前記得点と、前記単語毎に調整された得点との少なくとも何れか一方をそれぞれの前記単語に対応付けて前記画面に表示させることを特徴とする請求項12に記載の音読評価装置。
- 1つ以上のコンピュータにより実行される音読評価方法であって、
話者が1以上の文節からなるフレーズを複数含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記フレーズ毎に算出された得点を取得する取得ステップと、
前記フレーズ毎の重みを決定する第1決定ステップと、
前記第1決定ステップにより決定された前記フレーズ毎の重みに応じた配点比率を前記フレーズ毎に決定する第2決定ステップと、
前記取得ステップにより取得された前記得点を、前記第2決定ステップにより決定された前記配点比率により前記フレーズ毎に調整し、調整したフレーズ毎の得点に基づいて、前記複数のフレーズを含む文全体の音読に対する総得点を算出する算出ステップと、
を含むことを特徴とする音読評価方法。 - 話者が複数のフレーズを含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記フレーズ毎に算出された得点を取得する取得ステップと、
前記フレーズ毎の重みを決定する第1決定ステップと、
前記第1決定ステップにより決定された前記フレーズ毎の重みに応じた配点比率を前記フレーズ毎に決定する第2決定ステップと、
前記取得ステップにより取得された前記得点を、前記第2決定ステップにより決定された前記配点比率により前記フレーズ毎に調整し、調整したフレーズ毎の得点に基づいて、前記複数のフレーズを含む文全体の音読に対する総得点を算出する算出ステップと、
をコンピュータに実行させることを特徴とするプログラム。 - 1つ以上のコンピュータにより実行される音読評価方法であって、
話者が複数の文節を含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記文節毎に算出された得点を取得する取得ステップと、
前記文節毎の重みを決定する第1決定ステップと、
前記第1決定ステップにより決定された前記文節毎の重みに応じた配点比率を前記文節毎に決定する第2決定ステップと、
前記取得ステップにより取得された前記得点を、前記第2決定ステップにより決定された前記配点比率により前記文節毎に調整し、調整した文節毎の得点に基づいて、前記複数の文節を含む文全体の音読に対する総得点を算出する算出ステップと、
を含むことを特徴とする音読評価方法。 - 話者が複数の文節を含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記文節毎に算出された得点を取得する取得ステップと、
前記文節毎の重みを決定する第1決定ステップと、
前記第1決定ステップにより決定された前記文節毎の重みに応じた配点比率を前記文節毎に決定する第2決定ステップと、
前記取得ステップにより取得された前記得点を、前記第2決定ステップにより決定された前記配点比率により前記文節毎に調整し、調整した文節毎の得点に基づいて、前記複数の文節を含む文全体の音読に対する総得点を算出する算出ステップと、
をコンピュータに実行させることを特徴とするプログラム。 - 1つ以上のコンピュータにより実行される音読評価方法であって、
話者が複数の単語を含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記単語毎に算出された得点を取得する取得ステップと、
前記文のテキストデータを入力する入力ステップと、
前記入力ステップにより入力されたテキストデータが示す文を複数の単語に分解する分解ステップと、
単語の重要度を規定する参照情報を参照して、前記分解されたそれぞれの前記単語の重要度を特定する特定ステップと、
前記特定ステップにより特定された前記単語毎の重要度に応じた配点比率を前記単語毎に決定する決定ステップと、
前記取得ステップにより取得された前記得点を、前記決定ステップにより決定された前記配点比率により前記単語毎に調整し、調整した単語毎の得点に基づいて、前記複数の単語を含む文全体の音読に対する総得点を算出する算出ステップと、
を含むことを特徴とする音読評価方法。 - 話者が複数の単語を含む文を音読したときに発した音声の波形を示す音声波形データに基づいて前記単語毎に算出された得点を取得する取得ステップと、
前記文のテキストデータを入力する入力ステップと、
前記入力ステップにより入力されたテキストデータが示す文を複数の単語に分解する分解ステップと、
単語の重要度を規定する参照情報を参照して、前記分解されたそれぞれの前記単語の重要度を特定する特定ステップと、
前記特定ステップにより特定された前記単語毎の重要度に応じた配点比率を前記単語毎に決定する決定ステップと、
前記取得ステップにより取得された前記得点を、前記決定ステップにより決定された前記配点比率により前記単語毎に調整し、調整した単語毎の得点に基づいて、前記複数の単語を含む文全体の音読に対する総得点を算出する算出ステップと、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015062769A JP6314884B2 (ja) | 2015-03-25 | 2015-03-25 | 音読評価装置、音読評価方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015062769A JP6314884B2 (ja) | 2015-03-25 | 2015-03-25 | 音読評価装置、音読評価方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016183992A true JP2016183992A (ja) | 2016-10-20 |
JP6314884B2 JP6314884B2 (ja) | 2018-04-25 |
Family
ID=57242839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015062769A Active JP6314884B2 (ja) | 2015-03-25 | 2015-03-25 | 音読評価装置、音読評価方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6314884B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053839A (zh) * | 2017-12-11 | 2018-05-18 | 广东小天才科技有限公司 | 一种语言练习成果的展示方法及麦克风设备 |
JP2022164740A (ja) * | 2018-03-22 | 2022-10-27 | カシオ計算機株式会社 | 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム |
CN116631452A (zh) * | 2023-04-06 | 2023-08-22 | 深圳市亚通桥文化传播有限公司 | 一种基于人工智能的绘本录音播放阅读管理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002156897A (ja) * | 2000-11-17 | 2002-05-31 | Fuji Xerox Co Ltd | 発音学習装置 |
JP2008191551A (ja) * | 2007-02-07 | 2008-08-21 | Advanced Telecommunication Research Institute International | 発音評定装置、およびプログラム |
US20160055763A1 (en) * | 2014-08-25 | 2016-02-25 | Casio Computer Co., Ltd. | Electronic apparatus, pronunciation learning support method, and program storage medium |
-
2015
- 2015-03-25 JP JP2015062769A patent/JP6314884B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002156897A (ja) * | 2000-11-17 | 2002-05-31 | Fuji Xerox Co Ltd | 発音学習装置 |
JP2008191551A (ja) * | 2007-02-07 | 2008-08-21 | Advanced Telecommunication Research Institute International | 発音評定装置、およびプログラム |
US20160055763A1 (en) * | 2014-08-25 | 2016-02-25 | Casio Computer Co., Ltd. | Electronic apparatus, pronunciation learning support method, and program storage medium |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053839A (zh) * | 2017-12-11 | 2018-05-18 | 广东小天才科技有限公司 | 一种语言练习成果的展示方法及麦克风设备 |
CN108053839B (zh) * | 2017-12-11 | 2021-12-21 | 广东小天才科技有限公司 | 一种语言练习成果的展示方法及麦克风设备 |
JP2022164740A (ja) * | 2018-03-22 | 2022-10-27 | カシオ計算機株式会社 | 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム |
JP7367819B2 (ja) | 2018-03-22 | 2023-10-24 | カシオ計算機株式会社 | 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム |
CN116631452A (zh) * | 2023-04-06 | 2023-08-22 | 深圳市亚通桥文化传播有限公司 | 一种基于人工智能的绘本录音播放阅读管理系统 |
CN116631452B (zh) * | 2023-04-06 | 2024-01-02 | 深圳市亚通桥文化传播有限公司 | 一种基于人工智能的绘本录音播放阅读管理系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6314884B2 (ja) | 2018-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10789290B2 (en) | Audio data processing method and apparatus, and computer storage medium | |
Eyben et al. | The Geneva minimalistic acoustic parameter set (GeMAPS) for voice research and affective computing | |
CN106898340B (zh) | 一种歌曲的合成方法及终端 | |
CN109949783B (zh) | 歌曲合成方法及系统 | |
Mertens | The prosogram: Semi-automatic transcription of prosody based on a tonal perception model | |
US20020086269A1 (en) | Spoken language teaching system based on language unit segmentation | |
US20210335364A1 (en) | Computer program, server, terminal, and speech signal processing method | |
JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
EP2779159A1 (en) | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon | |
CN111370024B (zh) | 一种音频调整方法、设备及计算机可读存储介质 | |
JP4586615B2 (ja) | 音声合成装置,音声合成方法およびコンピュータプログラム | |
CN104008752A (zh) | 语音识别装置及方法、以及半导体集成电路装置 | |
JP6314884B2 (ja) | 音読評価装置、音読評価方法、及びプログラム | |
JPH08286693A (ja) | 情報処理装置 | |
JP2008040259A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP6728116B2 (ja) | 音声認識装置、音声認識方法およびプログラム | |
JP4808641B2 (ja) | 似顔絵出力装置およびカラオケ装置 | |
US10403304B1 (en) | Neural networks for identifying the potential of digitized audio to induce frisson in listeners | |
JP2016157097A (ja) | 音読評価装置、音読評価方法、及びプログラム | |
JP6433063B2 (ja) | 音声加工装置、及びプログラム | |
US20140074468A1 (en) | System and Method for Automatic Prediction of Speech Suitability for Statistical Modeling | |
JP4744338B2 (ja) | 合成音声生成装置 | |
CN111091810A (zh) | 基于语音信息的vr游戏人物表情控制方法及存储介质 | |
JP6786065B2 (ja) | 音声評定装置、音声評定方法、教師変化情報の生産方法、およびプログラム | |
KR102484006B1 (ko) | 음성 장애 환자를 위한 음성 자가 훈련 방법 및 사용자 단말 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6314884 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |