JP2002091472A - 音声言語の韻律表示装置、再生装置、類似度判定装置、音声言語処理装置、および記録媒体 - Google Patents
音声言語の韻律表示装置、再生装置、類似度判定装置、音声言語処理装置、および記録媒体Info
- Publication number
- JP2002091472A JP2002091472A JP2000283480A JP2000283480A JP2002091472A JP 2002091472 A JP2002091472 A JP 2002091472A JP 2000283480 A JP2000283480 A JP 2000283480A JP 2000283480 A JP2000283480 A JP 2000283480A JP 2002091472 A JP2002091472 A JP 2002091472A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- fundamental frequency
- model
- prosody
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033764 rhythmic process Effects 0.000 title abstract 5
- 230000002123 temporal effect Effects 0.000 claims abstract description 37
- 238000009499 grossing Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims description 74
- 238000012937 correction Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000008602 contraction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000007257 malfunction Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 239000010979 ruby Substances 0.000 description 2
- 229910001750 ruby Inorganic materials 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】
【課題】 音声言語の韻律表示装置、再生装置、類似度
判定装置、音声言語処理装置、および記録媒体に関し、
語学学習や音声言語の研究を視覚的，聴覚的に支援す
る。 【解決手段】 本発明装置は、音声言語の韻律の特徴を
予め分析して記憶したデータベース１０１からモデル音
声を取り込むとともにモデル音声と同一内容のユーザー
音声を入力し、モデル音声とユーザー音声の時間的対応
付けの結果に従って修正された当該入力音声の韻律を表
示する。分析部１０３により、ユーザー音声の韻律を分
析する。時間的対応付け部１０４および修正部１０５に
より、この分析結果とモデル音声との時間的対応付けを
行なう。時間伸縮部１０６、平滑化／補間部１０７、差
分算出部１０９、および表示データ生成部１０８によ
り、修正結果に従って、グラフ的に表示を行なうための
表示データを生成する。
判定装置、音声言語処理装置、および記録媒体に関し、
語学学習や音声言語の研究を視覚的，聴覚的に支援す
る。 【解決手段】 本発明装置は、音声言語の韻律の特徴を
予め分析して記憶したデータベース１０１からモデル音
声を取り込むとともにモデル音声と同一内容のユーザー
音声を入力し、モデル音声とユーザー音声の時間的対応
付けの結果に従って修正された当該入力音声の韻律を表
示する。分析部１０３により、ユーザー音声の韻律を分
析する。時間的対応付け部１０４および修正部１０５に
より、この分析結果とモデル音声との時間的対応付けを
行なう。時間伸縮部１０６、平滑化／補間部１０７、差
分算出部１０９、および表示データ生成部１０８によ
り、修正結果に従って、グラフ的に表示を行なうための
表示データを生成する。
Description
【０００１】
【発明の属する技術分野】本発明は音声言語の韻律表示
装置、再生装置、類似度判定装置および記録媒体に関
し、特に詳細には、語学教育や音声言語の研究などにお
いて、アクセント／イントネーションや個々の音の長さ
のバランスなどの所謂「韻律」を学習したり、分析した
りする際の視覚的／聴覚的支援技術に用いられる音声言
語の韻律表示装置、再生装置、類似度判定装置および記
録媒体関する。
装置、再生装置、類似度判定装置および記録媒体に関
し、特に詳細には、語学教育や音声言語の研究などにお
いて、アクセント／イントネーションや個々の音の長さ
のバランスなどの所謂「韻律」を学習したり、分析した
りする際の視覚的／聴覚的支援技術に用いられる音声言
語の韻律表示装置、再生装置、類似度判定装置および記
録媒体関する。
【０００２】
【従来の技術】従来、語学教育における韻律の学習法
は、教師の模範発声を聴取後、学習者がこれを真似て発
声し、教師が講評するという聴覚中心の学習であった。
教師が同席せず、テープなどに録音された模範音声（モ
デル音声）のみを聴取する場合においては、学習者は自
らの発声の良し悪しを判断する手段がなかった。
は、教師の模範発声を聴取後、学習者がこれを真似て発
声し、教師が講評するという聴覚中心の学習であった。
教師が同席せず、テープなどに録音された模範音声（モ
デル音声）のみを聴取する場合においては、学習者は自
らの発声の良し悪しを判断する手段がなかった。
【０００３】そこで、近年コンピュータを使って、語学
教育等における韻律の習得を支援する試み（特開平３−
２５２７００号公報、電子情報通信学会技術研究報告Ｓ
Ｐ９６−１８など）が行われるようになってきた。この
ようにコンピュータを使うことによって、聴覚的のみな
らず、視覚的にも学習者を支援することが可能になる。
これらには、音声学や音響学の分野で研究用に開発され
た計算機によるデジタル音声信号処理技術が応用されて
いる。
教育等における韻律の習得を支援する試み（特開平３−
２５２７００号公報、電子情報通信学会技術研究報告Ｓ
Ｐ９６−１８など）が行われるようになってきた。この
ようにコンピュータを使うことによって、聴覚的のみな
らず、視覚的にも学習者を支援することが可能になる。
これらには、音声学や音響学の分野で研究用に開発され
た計算機によるデジタル音声信号処理技術が応用されて
いる。
【０００４】
【発明が解決しようとする課題】しかし、この種のデジ
タル音声信号処理技術においては、音声の録音条件が悪
い場合、例えば環境騒音が大きい、マイクの使い方が不
適切、発声の仕方が悪いなどの条件下では正しい処理が
行えず、基本周波数の誤抽出などの誤動作が生じやす
い。また、誤動作しない場合でも、研究用の詳細な分析
結果をそのまま文字やグラフにしてコンピュータ画面に
表示しても、そのユーザーである専門知識のない一般人
にとっては、語学学習などの参考として分かりにくいな
どの欠点があり、一般ユーザーにも分かりやすく提示す
る技術は現在まで実用化されていない。
タル音声信号処理技術においては、音声の録音条件が悪
い場合、例えば環境騒音が大きい、マイクの使い方が不
適切、発声の仕方が悪いなどの条件下では正しい処理が
行えず、基本周波数の誤抽出などの誤動作が生じやす
い。また、誤動作しない場合でも、研究用の詳細な分析
結果をそのまま文字やグラフにしてコンピュータ画面に
表示しても、そのユーザーである専門知識のない一般人
にとっては、語学学習などの参考として分かりにくいな
どの欠点があり、一般ユーザーにも分かりやすく提示す
る技術は現在まで実用化されていない。
【０００５】本発明は上記の事情に鑑み、語学教育や音
声言語の研究などにおいて、アクセント／イントネーシ
ョンや個々の音の長さのバランスなどの所謂「韻律」を
対象とした場合に、予めモデルとなる模範的な発声をコ
ンピュータの記憶媒体に記憶しておき、これと同一内容
をユーザーが発声した場合に、その韻律の特徴をユーザ
ー音声とモデル音声とを比較して視覚的に表示したり、
ユーザーの音声の韻律をモデル音声の韻律にそっくり入
れ替えた変換音声を作成して聴覚的に呈示することで、
ユーザーへの語学教育や音声言語の研究を支援すること
のできる音声言語の韻律表示装置、再生装置、類似度判
定装置および記録媒体を提供することを目的としてい
る。
声言語の研究などにおいて、アクセント／イントネーシ
ョンや個々の音の長さのバランスなどの所謂「韻律」を
対象とした場合に、予めモデルとなる模範的な発声をコ
ンピュータの記憶媒体に記憶しておき、これと同一内容
をユーザーが発声した場合に、その韻律の特徴をユーザ
ー音声とモデル音声とを比較して視覚的に表示したり、
ユーザーの音声の韻律をモデル音声の韻律にそっくり入
れ替えた変換音声を作成して聴覚的に呈示することで、
ユーザーへの語学教育や音声言語の研究を支援すること
のできる音声言語の韻律表示装置、再生装置、類似度判
定装置および記録媒体を提供することを目的としてい
る。
【０００６】
【課題を解決するための手段】上記の目的を達成するた
めに請求項１の発明は、音声言語の韻律の特徴を予め分
析して記憶したデータベースからモデル音声を取り込む
とともに前記モデル音声と同一内容の音声を入力し、当
該入力音声の韻律を表示する音声言語の韻律表示装置で
あって、前記入力音声の韻律を分析する分析手段と、前
記分析手段による分析結果と前記モデル音声との時間的
対応付けを行なうことで、前記分析結果を修正する修正
手段と、前記修正手段による修正結果に従って、前記表
示をグラフ的に行なうための表示データを生成する表示
手段とを備えた形態の韻律表示装置を実施した。
めに請求項１の発明は、音声言語の韻律の特徴を予め分
析して記憶したデータベースからモデル音声を取り込む
とともに前記モデル音声と同一内容の音声を入力し、当
該入力音声の韻律を表示する音声言語の韻律表示装置で
あって、前記入力音声の韻律を分析する分析手段と、前
記分析手段による分析結果と前記モデル音声との時間的
対応付けを行なうことで、前記分析結果を修正する修正
手段と、前記修正手段による修正結果に従って、前記表
示をグラフ的に行なうための表示データを生成する表示
手段とを備えた形態の韻律表示装置を実施した。
【０００７】請求項２の発明は、請求項１において、前
記修正手段は、前記入力音声および前記モデル音声それ
ぞれの無音区間を省いてから時間的対応付けを行う形態
の韻律表示装置を実施した。
記修正手段は、前記入力音声および前記モデル音声それ
ぞれの無音区間を省いてから時間的対応付けを行う形態
の韻律表示装置を実施した。
【０００８】請求項３の発明は、請求項１において、前
記入力音声の有声音区間についての基本周波数を所定時
間間隔のフレーム単位で抽出する他の分析手段を備え、
前記表示手段は、前記修正結果に平滑化処理を行なうこ
とで、前記基本周波数の時間軌跡を滑らかに変化させて
前記表示を行なわせる形態の韻律表示装置を実施した。
記入力音声の有声音区間についての基本周波数を所定時
間間隔のフレーム単位で抽出する他の分析手段を備え、
前記表示手段は、前記修正結果に平滑化処理を行なうこ
とで、前記基本周波数の時間軌跡を滑らかに変化させて
前記表示を行なわせる形態の韻律表示装置を実施した。
【０００９】請求項４の発明は、請求項１において、前
記表示手段は、前記修正手段による前記時間的対応付け
の結果、前記モデル音声の有声部が前記分析結果の無声
部に対応すると判定された場合、当該対応区間の基本周
波数の時間軌跡を周辺の有声部の値を用いて補間し、前
記モデル音声の無声部が前記分析結果の有声部に対応す
ると判定された場合、当該対応区間は非表示とする形態
の韻律表示装置を実施した。
記表示手段は、前記修正手段による前記時間的対応付け
の結果、前記モデル音声の有声部が前記分析結果の無声
部に対応すると判定された場合、当該対応区間の基本周
波数の時間軌跡を周辺の有声部の値を用いて補間し、前
記モデル音声の無声部が前記分析結果の有声部に対応す
ると判定された場合、当該対応区間は非表示とする形態
の韻律表示装置を実施した。
【００１０】請求項５の発明は、請求項１において、前
記表示手段は、前記分析結果の有声音区間の両端部で抽
出された基本周波数が時間変化に対し不規則に変化する
と前記修正手段によって判定された場合、当該変化部分
のデータを前記有声音区間の別の部分の基本周波数の時
間軌跡の値を用いて補間する形態の韻律表示装置を実施
した。
記表示手段は、前記分析結果の有声音区間の両端部で抽
出された基本周波数が時間変化に対し不規則に変化する
と前記修正手段によって判定された場合、当該変化部分
のデータを前記有声音区間の別の部分の基本周波数の時
間軌跡の値を用いて補間する形態の韻律表示装置を実施
した。
【００１１】請求項６の発明は、請求項５において、前
記入力音声の有声音区間についての基本周波数を所定時
間間隔のフレーム単位で抽出する他の分析手段を備え、
前記表示手段は、前記分析結果の所定の有声音区間の端
部において、近傍の複数のフレームの基本周波数と前記
有声音区間の長さと前記有声音区間における時間位置に
よって決まる値が所定値よりも大きい部分がある場合
に、当該所定値よりも大きい部分が前記所定の有声音区
間の始端に近い場合は前記大きい部分から前記始端まで
の区間について、前記大きい部分が前記所定の有声音区
間の終端に近い場合は前記大きい部分から前記終端まで
の区間について前記補間を行う形態の韻律表示装置を実
施した。
記入力音声の有声音区間についての基本周波数を所定時
間間隔のフレーム単位で抽出する他の分析手段を備え、
前記表示手段は、前記分析結果の所定の有声音区間の端
部において、近傍の複数のフレームの基本周波数と前記
有声音区間の長さと前記有声音区間における時間位置に
よって決まる値が所定値よりも大きい部分がある場合
に、当該所定値よりも大きい部分が前記所定の有声音区
間の始端に近い場合は前記大きい部分から前記始端まで
の区間について、前記大きい部分が前記所定の有声音区
間の終端に近い場合は前記大きい部分から前記終端まで
の区間について前記補間を行う形態の韻律表示装置を実
施した。
【００１２】請求項７の発明は、請求項１において、前
記表示手段は、前記修正手段による前記時間的対応付け
の結果、前記モデル音声の有声音区間において基本周波
数の時間軌跡を非表示とした部分に対応する前記入力音
声の対応区間の基本周波数の時間軌跡を非表示とする形
態の韻律表示装置を実施した。
記表示手段は、前記修正手段による前記時間的対応付け
の結果、前記モデル音声の有声音区間において基本周波
数の時間軌跡を非表示とした部分に対応する前記入力音
声の対応区間の基本周波数の時間軌跡を非表示とする形
態の韻律表示装置を実施した。
【００１３】請求項８の発明は、音声言語の韻律の特徴
を予め分析して記憶したデータベースからモデル音声を
取り込むとともに前記モデル音声と同一内容の音声を入
力し、当該入力音声に所定の変換処理を行なって前記モ
デル音声の韻律に対応させて再生出力する音声言語の再
生装置であって、前記入力音声の韻律を分析する分析手
段と、前記分析手段による分析結果と前記モデル音声と
の時間的対応付けを行なうことで、前記分析結果を修正
する修正手段と、前記修正手段による修正結果に従って
再生音声を生成する手段であって、前記入力音声を前記
修正結果に従って時間伸縮し、前記修正手段による前記
時間的対応付けの結果に従って前記入力音声の有声音区
間の基本周波数を対応する前記モデル音声の有声音区間
の基本周波数と入れ替え、さらに、前記入れ替えた基本
周波数の時間軌跡のほぼ平均値を前記入力音声の基本周
波数の時間軌跡のほぼ平均値に合わせるように時間軌跡
を周波数軸でシフトした前記再生音声を生成する再生手
段とを備えた形態の再生装置を実施した。
を予め分析して記憶したデータベースからモデル音声を
取り込むとともに前記モデル音声と同一内容の音声を入
力し、当該入力音声に所定の変換処理を行なって前記モ
デル音声の韻律に対応させて再生出力する音声言語の再
生装置であって、前記入力音声の韻律を分析する分析手
段と、前記分析手段による分析結果と前記モデル音声と
の時間的対応付けを行なうことで、前記分析結果を修正
する修正手段と、前記修正手段による修正結果に従って
再生音声を生成する手段であって、前記入力音声を前記
修正結果に従って時間伸縮し、前記修正手段による前記
時間的対応付けの結果に従って前記入力音声の有声音区
間の基本周波数を対応する前記モデル音声の有声音区間
の基本周波数と入れ替え、さらに、前記入れ替えた基本
周波数の時間軌跡のほぼ平均値を前記入力音声の基本周
波数の時間軌跡のほぼ平均値に合わせるように時間軌跡
を周波数軸でシフトした前記再生音声を生成する再生手
段とを備えた形態の再生装置を実施した。
【００１４】請求項９の発明は、請求項８において、前
記データベースから平滑化された前記モデル音声の基本
周波数の時間軌跡を取り込む手段と、前記修正手段によ
る前記修正結果に平滑化処理を行なう平滑化手段とを備
え、前記再生手段は、前記平滑化された前記モデル音声
の基本周波数の時間軌跡と前記平滑化処理された前記入
力音声の基本周波数の時間軌跡の差分を求め、前記差分
と前記平滑化手段による平滑化前の前記入力音声の基本
周波数とを加算することで、前記入れ替えを行なう形態
の再生装置を実施した。
記データベースから平滑化された前記モデル音声の基本
周波数の時間軌跡を取り込む手段と、前記修正手段によ
る前記修正結果に平滑化処理を行なう平滑化手段とを備
え、前記再生手段は、前記平滑化された前記モデル音声
の基本周波数の時間軌跡と前記平滑化処理された前記入
力音声の基本周波数の時間軌跡の差分を求め、前記差分
と前記平滑化手段による平滑化前の前記入力音声の基本
周波数とを加算することで、前記入れ替えを行なう形態
の再生装置を実施した。
【００１５】請求項１０の発明は、音声言語の韻律の特
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声と前記モデル音声の韻律の類似度
を判定する類似度判定装置であって、前記入力音声の韻
律を分析する分析手段と、前記分析手段による分析結果
と前記モデル音声との時間的対応付けを行なうことで、
前記分析結果を修正する修正手段と、前記データベース
から平滑化された前記モデル音声の基本周波数の時間軌
跡を取り込む手段と、前記取り込んだ時間軌跡と前記修
正手段による修正結果に従って前記類似度の判定を行な
う判定手段とを備えた形態の類似度判定装置を実施し
た。
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声と前記モデル音声の韻律の類似度
を判定する類似度判定装置であって、前記入力音声の韻
律を分析する分析手段と、前記分析手段による分析結果
と前記モデル音声との時間的対応付けを行なうことで、
前記分析結果を修正する修正手段と、前記データベース
から平滑化された前記モデル音声の基本周波数の時間軌
跡を取り込む手段と、前記取り込んだ時間軌跡と前記修
正手段による修正結果に従って前記類似度の判定を行な
う判定手段とを備えた形態の類似度判定装置を実施し
た。
【００１６】請求項１１の発明は、請求項１０におい
て、前記判定手段は、前記修正手段による修正結果に従
って、前記入力音声の基本周波数の時間軌跡を算出する
手段と、前記取り込んだ時間軌跡および前記算出した時
間軌跡のフレーズ全体にわたる各平均値を算出する手段
と、前記取り込んだ時間軌跡と前記算出した時間軌跡の
差分から前記各平均値の差分を減算する手段とを備えた
形態の類似度判定装置を実施した。
て、前記判定手段は、前記修正手段による修正結果に従
って、前記入力音声の基本周波数の時間軌跡を算出する
手段と、前記取り込んだ時間軌跡および前記算出した時
間軌跡のフレーズ全体にわたる各平均値を算出する手段
と、前記取り込んだ時間軌跡と前記算出した時間軌跡の
差分から前記各平均値の差分を減算する手段とを備えた
形態の類似度判定装置を実施した。
【００１７】請求項１２の発明は、請求項１〜７のいず
れかに記載の韻律表示装置と、請求項８または９に記載
の再生装置とを備えた形態の音声言語処理装置を実施し
た。
れかに記載の韻律表示装置と、請求項８または９に記載
の再生装置とを備えた形態の音声言語処理装置を実施し
た。
【００１８】請求項１３の発明は、請求項１〜７のいず
れかに記載の韻律表示装置と、請求項１０または１１に
記載の類似度判定装置とを備えた形態の音声言語処理装
置を実施した。
れかに記載の韻律表示装置と、請求項１０または１１に
記載の類似度判定装置とを備えた形態の音声言語処理装
置を実施した。
【００１９】請求項１４の発明は、請求項８または９に
記載の再生装置と、請求項１０または１１に記載の類似
度判定装置とを備えた形態の音声言語処理装置を実施し
た。
記載の再生装置と、請求項１０または１１に記載の類似
度判定装置とを備えた形態の音声言語処理装置を実施し
た。
【００２０】請求項１５の発明は、請求項１〜７のいず
れかに記載の韻律表示装置と、請求項８または９に記載
の再生装置と、請求項１０または１１に記載の類似度判
定装置とを備えた形態の音声言語処理装置を実施した。
れかに記載の韻律表示装置と、請求項８または９に記載
の再生装置と、請求項１０または１１に記載の類似度判
定装置とを備えた形態の音声言語処理装置を実施した。
【００２１】請求項１６の発明は、音声言語の韻律の特
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声の韻律を表示する音声言語の韻律
表示方法のプログラムを記憶した記憶媒体であって、前
記プログラムはコンピュータに、前記入力音声の韻律を
分析する分析ステップと、前記分析ステップにおける分
析結果と前記モデル音声との時間的対応付けを行なうこ
とで、前記分析結果を修正する修正ステップと、前記修
正ステップにおける修正結果に従って、前記表示をグラ
フ的に行なうための表示データを生成する表示ステップ
とを実行させる形態の記録媒体を実施した。
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声の韻律を表示する音声言語の韻律
表示方法のプログラムを記憶した記憶媒体であって、前
記プログラムはコンピュータに、前記入力音声の韻律を
分析する分析ステップと、前記分析ステップにおける分
析結果と前記モデル音声との時間的対応付けを行なうこ
とで、前記分析結果を修正する修正ステップと、前記修
正ステップにおける修正結果に従って、前記表示をグラ
フ的に行なうための表示データを生成する表示ステップ
とを実行させる形態の記録媒体を実施した。
【００２２】請求項１７の発明は、請求項１６におい
て、前記修正ステップにおいて、前記入力音声および前
記モデル音声それぞれの無音区間を省いてから時間的対
応付けを行う形態の記録媒体を実施した。
て、前記修正ステップにおいて、前記入力音声および前
記モデル音声それぞれの無音区間を省いてから時間的対
応付けを行う形態の記録媒体を実施した。
【００２３】請求項１８の発明は、請求項１６におい
て、前記プログラムは前記入力音声の有声音区間につい
ての基本周波数を所定時間間隔のフレーム単位で抽出す
る他の分析ステップをさらに前記コンピュータに実行さ
せ、前記表示ステップにおいて、前記修正結果に平滑化
処理を行なうことで、前記基本周波数の時間軌跡を滑ら
かに変化させて前記表示を行なわせる形態の記録媒体を
実施した。
て、前記プログラムは前記入力音声の有声音区間につい
ての基本周波数を所定時間間隔のフレーム単位で抽出す
る他の分析ステップをさらに前記コンピュータに実行さ
せ、前記表示ステップにおいて、前記修正結果に平滑化
処理を行なうことで、前記基本周波数の時間軌跡を滑ら
かに変化させて前記表示を行なわせる形態の記録媒体を
実施した。
【００２４】請求項１９の発明は、請求項１６におい
て、前記表示ステップにおいて、前記修正ステップにお
ける前記時間的対応付けの結果、前記モデル音声の有声
部が前記分析結果の無声部に対応すると判定された場
合、当該対応区間の基本周波数の時間軌跡を周辺の有声
部の値を用いて補間し、前記モデル音声の無声部が前記
分析結果の有声部に対応すると判定された場合、当該対
応区間は非表示とする形態の記録媒体を実施した。
て、前記表示ステップにおいて、前記修正ステップにお
ける前記時間的対応付けの結果、前記モデル音声の有声
部が前記分析結果の無声部に対応すると判定された場
合、当該対応区間の基本周波数の時間軌跡を周辺の有声
部の値を用いて補間し、前記モデル音声の無声部が前記
分析結果の有声部に対応すると判定された場合、当該対
応区間は非表示とする形態の記録媒体を実施した。
【００２５】請求項２０の発明は、請求項１６におい
て、前記表示ステップにおいて、前記分析結果の有声音
区間の両端部で抽出された基本周波数が時間変化に対し
不規則に変化すると前記修正ステップによって判定され
た場合、当該変化部分のデータを前記有声音区間の別の
部分の基本周波数の時間軌跡の値を用いて補間する形態
の記録媒体を実施した。
て、前記表示ステップにおいて、前記分析結果の有声音
区間の両端部で抽出された基本周波数が時間変化に対し
不規則に変化すると前記修正ステップによって判定され
た場合、当該変化部分のデータを前記有声音区間の別の
部分の基本周波数の時間軌跡の値を用いて補間する形態
の記録媒体を実施した。
【００２６】請求項２１の発明は、請求項２０におい
て、前記プログラムは前記入力音声の有声音区間につい
ての基本周波数を所定時間間隔のフレーム単位で抽出す
る他の分析ステップをさらに前記コンピュータに実行さ
せ、前記表示ステップにおいて、前記分析結果の所定の
有声音区間の端部において、近傍の複数のフレームの基
本周波数と前記有声音区間の長さと前記有声音区間にお
ける時間位置によって決まる値が所定値よりも大きい部
分がある場合に、当該所定値よりも大きい部分が前記所
定の有声音区間の始端に近い場合は前記大きい部分から
前記始端までの区間について、前記大きい部分が前記所
定の有声音区間の終端に近い場合は前記大きい部分から
前記終端までの区間について前記補間を行う形態の記録
媒体を実施した。
て、前記プログラムは前記入力音声の有声音区間につい
ての基本周波数を所定時間間隔のフレーム単位で抽出す
る他の分析ステップをさらに前記コンピュータに実行さ
せ、前記表示ステップにおいて、前記分析結果の所定の
有声音区間の端部において、近傍の複数のフレームの基
本周波数と前記有声音区間の長さと前記有声音区間にお
ける時間位置によって決まる値が所定値よりも大きい部
分がある場合に、当該所定値よりも大きい部分が前記所
定の有声音区間の始端に近い場合は前記大きい部分から
前記始端までの区間について、前記大きい部分が前記所
定の有声音区間の終端に近い場合は前記大きい部分から
前記終端までの区間について前記補間を行う形態の記録
媒体を実施した。
【００２７】請求項２２の発明は、請求項１６におい
て、前記表示ステップにおいて、前記修正ステップにお
ける前記時間的対応付けの結果、前記モデル音声の有声
音区間において基本周波数の時間軌跡を非表示とした部
分に対応する前記入力音声の対応区間の基本周波数の時
間軌跡を非表示とする形態の記録媒体を実施した。
て、前記表示ステップにおいて、前記修正ステップにお
ける前記時間的対応付けの結果、前記モデル音声の有声
音区間において基本周波数の時間軌跡を非表示とした部
分に対応する前記入力音声の対応区間の基本周波数の時
間軌跡を非表示とする形態の記録媒体を実施した。
【００２８】請求項２３の発明は、音声言語の韻律の特
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声に所定の変換処理を行なって前記
モデル音声の韻律に対応させて再生出力する再生方法の
プログラムを記憶した記憶媒体であって、前記プログラ
ムはコンピュータに、前記入力音声の韻律を分析する分
析ステップと、前記分析ステップにおける分析結果と前
記モデル音声との時間的対応付けを行なうことで、前記
分析結果を修正する修正ステップと、前記修正ステップ
における修正結果に従って再生音声を生成するステップ
であって、前記入力音声を前記修正結果に従って時間伸
縮し、前記修正ステップにおける前記時間的対応付けの
結果に従って前記入力音声の有声音区間の基本周波数を
対応する前記モデル音声の有声音区間の基本周波数と入
れ替え、さらに、前記入れ替えた基本周波数の時間軌跡
のほぼ平均値を前記入力音声の基本周波数の時間軌跡の
ほぼ平均値に合わせるように時間軌跡を周波数軸でシフ
トした前記再生音声を生成する再生ステップとを実行さ
せる形態の記録媒体を実施した。
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声に所定の変換処理を行なって前記
モデル音声の韻律に対応させて再生出力する再生方法の
プログラムを記憶した記憶媒体であって、前記プログラ
ムはコンピュータに、前記入力音声の韻律を分析する分
析ステップと、前記分析ステップにおける分析結果と前
記モデル音声との時間的対応付けを行なうことで、前記
分析結果を修正する修正ステップと、前記修正ステップ
における修正結果に従って再生音声を生成するステップ
であって、前記入力音声を前記修正結果に従って時間伸
縮し、前記修正ステップにおける前記時間的対応付けの
結果に従って前記入力音声の有声音区間の基本周波数を
対応する前記モデル音声の有声音区間の基本周波数と入
れ替え、さらに、前記入れ替えた基本周波数の時間軌跡
のほぼ平均値を前記入力音声の基本周波数の時間軌跡の
ほぼ平均値に合わせるように時間軌跡を周波数軸でシフ
トした前記再生音声を生成する再生ステップとを実行さ
せる形態の記録媒体を実施した。
【００２９】請求項２４の発明は、請求項２３におい
て、前記プログラムは前記データベースから平滑化され
た前記モデル音声の基本周波数の時間軌跡を取り込むス
テップと、前記修正ステップにおける前記修正結果に平
滑化処理を行なう平滑化ステップとをさらに前記コンピ
ュータに実行させ、前記再生ステップにおいて、前記平
滑化された前記モデル音声の基本周波数の時間軌跡と前
記平滑化処理された前記入力音声の基本周波数の時間軌
跡の差分を求め、前記差分と前記平滑化ステップにおけ
る平滑化前の前記入力音声の基本周波数とを加算するこ
とで、前記入れ替えを行なう形態の記録媒体を実施し
た。
て、前記プログラムは前記データベースから平滑化され
た前記モデル音声の基本周波数の時間軌跡を取り込むス
テップと、前記修正ステップにおける前記修正結果に平
滑化処理を行なう平滑化ステップとをさらに前記コンピ
ュータに実行させ、前記再生ステップにおいて、前記平
滑化された前記モデル音声の基本周波数の時間軌跡と前
記平滑化処理された前記入力音声の基本周波数の時間軌
跡の差分を求め、前記差分と前記平滑化ステップにおけ
る平滑化前の前記入力音声の基本周波数とを加算するこ
とで、前記入れ替えを行なう形態の記録媒体を実施し
た。
【００３０】請求項２５の発明は、音声言語の韻律の特
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声と前記モデル音声の韻律の類似度
を判定する方法のプログラムを記憶した記憶媒体であっ
て、前記プログラムはコンピュータに、前記入力音声の
韻律を分析する分析ステップと、前記分析ステップにお
ける分析結果と前記モデル音声との時間的対応付けを行
なうことで、前記分析結果を修正する修正ステップと、
前記データベースから平滑化された前記モデル音声の基
本周波数の時間軌跡を取り込むステップと、前記取り込
んだ時間軌跡と前記修正ステップにおける修正結果に従
って前記類似度の判定を行なう判定ステップとを実行さ
せる形態の記録媒体を実施した。
徴を予め分析して記憶したデータベースからモデル音声
を取り込むとともに前記モデル音声と同一内容の音声を
入力し、当該入力音声と前記モデル音声の韻律の類似度
を判定する方法のプログラムを記憶した記憶媒体であっ
て、前記プログラムはコンピュータに、前記入力音声の
韻律を分析する分析ステップと、前記分析ステップにお
ける分析結果と前記モデル音声との時間的対応付けを行
なうことで、前記分析結果を修正する修正ステップと、
前記データベースから平滑化された前記モデル音声の基
本周波数の時間軌跡を取り込むステップと、前記取り込
んだ時間軌跡と前記修正ステップにおける修正結果に従
って前記類似度の判定を行なう判定ステップとを実行さ
せる形態の記録媒体を実施した。
【００３１】請求項２６の発明は、請求項２５におい
て、前記判定ステップは、前記修正ステップにおける修
正結果に従って、前記入力音声の基本周波数の時間軌跡
を算出するステップと、前記取り込んだ時間軌跡および
前記算出した時間軌跡のフレーズ全体にわたる各平均値
を算出するステップと、前記取り込んだ時間軌跡と前記
算出した時間軌跡の差分から前記各平均値の差分を減算
するステップとを備えた形態の記録媒体を実施した。
て、前記判定ステップは、前記修正ステップにおける修
正結果に従って、前記入力音声の基本周波数の時間軌跡
を算出するステップと、前記取り込んだ時間軌跡および
前記算出した時間軌跡のフレーズ全体にわたる各平均値
を算出するステップと、前記取り込んだ時間軌跡と前記
算出した時間軌跡の差分から前記各平均値の差分を減算
するステップとを備えた形態の記録媒体を実施した。
【００３２】上記請求項２または１７の形態によれば、
入力音声を発声する学習者または研究者がフレーズ内で
モデル音声には無い間を入れたり、逆に間を挿入すべき
ところを連続に発声した場合にもスペクトル的不整合を
回避して正しい時間的対応付けを行うことができる。
入力音声を発声する学習者または研究者がフレーズ内で
モデル音声には無い間を入れたり、逆に間を挿入すべき
ところを連続に発声した場合にもスペクトル的不整合を
回避して正しい時間的対応付けを行うことができる。
【００３３】上記請求項３または１８の形態によれば、
学習すべき韻律の特徴を単純化し、聴感的な音の高さの
変化に対応して分かりやすく表示することができる。
学習すべき韻律の特徴を単純化し、聴感的な音の高さの
変化に対応して分かりやすく表示することができる。
【００３４】上記請求項４〜６または１９〜２１の形態
によれば、学習者または研究者による入力音声の分析結
果を修正して基本周波数の時間軌跡を表示することがで
きる。
によれば、学習者または研究者による入力音声の分析結
果を修正して基本周波数の時間軌跡を表示することがで
きる。
【００３５】上記請求項７または２２の形態によれば、
予めモデル音声の分析結果に対して、学習すべき韻律の
特徴を分かりやすくするための修正を加えておくことに
より、学習者または研究者の入力音声についてもそれに
準拠した修正を加えた基本周波数の時間軌跡が表示でき
ることになる。
予めモデル音声の分析結果に対して、学習すべき韻律の
特徴を分かりやすくするための修正を加えておくことに
より、学習者または研究者の入力音声についてもそれに
準拠した修正を加えた基本周波数の時間軌跡が表示でき
ることになる。
【００３６】上記請求項８または２３の形態によれば、
韻律の学習を聴覚的に支援することができ、例えばモデ
ル音声が男性の声で、学習者または研究者が女性であっ
ても、正しい女性の声の高さで模範音声の韻律を持った
音声を再生することができる。
韻律の学習を聴覚的に支援することができ、例えばモデ
ル音声が男性の声で、学習者または研究者が女性であっ
ても、正しい女性の声の高さで模範音声の韻律を持った
音声を再生することができる。
【００３７】上記請求項９または２４の形態によれば、
学習者または研究者の入力音声の基本周波数の周波数変
換を行うことができ、学習者または研究者の入力音声の
基本周波数の変化量が部分的に極端に大きくなることを
防止でき、基本周波数変換を高品質に行うことができ
る。
学習者または研究者の入力音声の基本周波数の周波数変
換を行うことができ、学習者または研究者の入力音声の
基本周波数の変化量が部分的に極端に大きくなることを
防止でき、基本周波数変換を高品質に行うことができ
る。
【００３８】上記請求項１０または２５の形態によれ
ば、モデル音声に対する学習者の入力音声の韻律の類似
度を客観的に算出し、学習者に自らの発声のうまさを知
らせることができる。
ば、モデル音声に対する学習者の入力音声の韻律の類似
度を客観的に算出し、学習者に自らの発声のうまさを知
らせることができる。
【００３９】上記各請求項の形態によれば、語学教育や
音声言語の研究などにおいて、アクセント／イントネー
ションや個々の音の長さのバランスなどの所謂「韻律」
のモデルとなる模範的な発声と同じ内容を学習者または
研究者が発声した場合に、その韻律の特徴を学習者また
は研究者の音声とモデル音声とを比較して視覚的に表示
したり、学習者または研究者の音声の韻律をモデル音声
の韻律にそっくり入れ替えた変換音声を作成して聴覚的
に呈示する際に、基本周波数の誤抽出などの誤動作を低
減したり、語学学習などの参考になりやすい形に分析結
果を整形して表示することにより、学習者への語学教育
や研究者の音声言語の研究を支援することを可能とす
る。
音声言語の研究などにおいて、アクセント／イントネー
ションや個々の音の長さのバランスなどの所謂「韻律」
のモデルとなる模範的な発声と同じ内容を学習者または
研究者が発声した場合に、その韻律の特徴を学習者また
は研究者の音声とモデル音声とを比較して視覚的に表示
したり、学習者または研究者の音声の韻律をモデル音声
の韻律にそっくり入れ替えた変換音声を作成して聴覚的
に呈示する際に、基本周波数の誤抽出などの誤動作を低
減したり、語学学習などの参考になりやすい形に分析結
果を整形して表示することにより、学習者への語学教育
や研究者の音声言語の研究を支援することを可能とす
る。
【００４０】
【発明の実施の形態】図１は本発明に係る音声言語の韻
律表示装置、再生装置、類似度判定装置、および音声言
語処理装置の一実施例を示すブロック図である。
律表示装置、再生装置、類似度判定装置、および音声言
語処理装置の一実施例を示すブロック図である。
【００４１】１００は上記各装置として動作するコンピ
ュータ装置であり、ＣＰＵ、主記憶装置としてのＲＯ
Ｍ、補助記憶装置としてのＨＤＤ、ＦＤＤ、ＣＰＵの作
業エリアおよび一時的なデータ記憶領域としてのＲＡ
Ｍ、外部との音声データのやり取りに用いられるＩ／Ｆ
等のハードウエアを備えた周知の構成の汎用コンピュー
タ、例えば、市販のパーソナルコンピュータやワークス
テーションを使用することができる。これらハードウエ
アは図示を省略し、ＣＰＵによる処理の流れを機能的ブ
ロック図として示した。また、１０１はハードディスク
アレー等のモデル音声データベース部、１２０は表示装
置である。
ュータ装置であり、ＣＰＵ、主記憶装置としてのＲＯ
Ｍ、補助記憶装置としてのＨＤＤ、ＦＤＤ、ＣＰＵの作
業エリアおよび一時的なデータ記憶領域としてのＲＡ
Ｍ、外部との音声データのやり取りに用いられるＩ／Ｆ
等のハードウエアを備えた周知の構成の汎用コンピュー
タ、例えば、市販のパーソナルコンピュータやワークス
テーションを使用することができる。これらハードウエ
アは図示を省略し、ＣＰＵによる処理の流れを機能的ブ
ロック図として示した。また、１０１はハードディスク
アレー等のモデル音声データベース部、１２０は表示装
置である。
【００４２】この図に示すコンピュータ装置１００は、
上記補助記憶装置または外部記憶装置（図示せず）等の
本発明に係る記録媒体から音声言語の韻律表示方法、再
生方法、類似度判定方法、または音声言語処理方法のプ
ログラムをロードし、Ａ／Ｄ変換部１０２、分析部１０
３、時間的対応付け部１０４、修正部１０５、時間伸縮
部１０６、平滑化／補間部１０７、表示データ生成部１
０８、差分算出部１０９、加算部１１０、基本周波数変
換部１１１、Ｄ／Ａ変換部１１２、および類似度判定部
１１３としての機能を遂行することができる。
上記補助記憶装置または外部記憶装置（図示せず）等の
本発明に係る記録媒体から音声言語の韻律表示方法、再
生方法、類似度判定方法、または音声言語処理方法のプ
ログラムをロードし、Ａ／Ｄ変換部１０２、分析部１０
３、時間的対応付け部１０４、修正部１０５、時間伸縮
部１０６、平滑化／補間部１０７、表示データ生成部１
０８、差分算出部１０９、加算部１１０、基本周波数変
換部１１１、Ｄ／Ａ変換部１１２、および類似度判定部
１１３としての機能を遂行することができる。
【００４３】これら機能により、語学教育や音声言語の
研究などにおいて、アクセント／イントネーションや個
々の音の長さのバランスなどの所謂「韻律」を対象とし
た場合に、予めモデルとなる模範的な発声がディスク記
憶装置等に用意されていることを前提として、これと同
じ内容をユーザー（学習者または研究者）が発声した場
合に、その韻律の特徴をユーザー音声とモデル音声とを
比較して視覚的に表示したり、ユーザーの音声の韻律を
モデル音声の韻律にそっくり入れ替えた変換音声を作成
して聴覚的に呈示する際に、基本周波数の誤抽出などの
誤動作を低減したり、語学学習などの参考になりやすい
形に分析結果を整形して表示することにより、ユーザー
への語学教育や音声言語の研究を支援する手段を提供す
るものである。
研究などにおいて、アクセント／イントネーションや個
々の音の長さのバランスなどの所謂「韻律」を対象とし
た場合に、予めモデルとなる模範的な発声がディスク記
憶装置等に用意されていることを前提として、これと同
じ内容をユーザー（学習者または研究者）が発声した場
合に、その韻律の特徴をユーザー音声とモデル音声とを
比較して視覚的に表示したり、ユーザーの音声の韻律を
モデル音声の韻律にそっくり入れ替えた変換音声を作成
して聴覚的に呈示する際に、基本周波数の誤抽出などの
誤動作を低減したり、語学学習などの参考になりやすい
形に分析結果を整形して表示することにより、ユーザー
への語学教育や音声言語の研究を支援する手段を提供す
るものである。
【００４４】図１におけるモデル音声データベース部１
０１は、例えば語学学習の場合、学習の基本となるフレ
ーズを予めネイティブなアナウンサーなどが模範音声と
して発声したもの（以後、“モデル音声”と呼ぶ）を、
その基本周波数およびパワーやルビの位置、及びその音
声波形などとともにデータベース化してハードディスク
等の記憶装置（図示せず）に記憶したものである。
０１は、例えば語学学習の場合、学習の基本となるフレ
ーズを予めネイティブなアナウンサーなどが模範音声と
して発声したもの（以後、“モデル音声”と呼ぶ）を、
その基本周波数およびパワーやルビの位置、及びその音
声波形などとともにデータベース化してハードディスク
等の記憶装置（図示せず）に記憶したものである。
【００４５】データベース化の際には、“モデル音声”
に対して、例えばフレーム周期５ｍｓで有声／無声／無
音の判定と基本周波数の抽出（例えば、電子情報通信学
会論文誌Ａ、Ｖｏｌ．Ｊ８０−ＡＮｏ．９，ｐｐ．１３
４１−１３５０などの方法による）を行い、さらに手修
正を加えた後、各有声音区間単位で基本周波数の平滑化
（例えば、カットオフ周波数ｆｃ＝６ＨｚのＬＰＦ）を
行って基本周波数の時間軌跡を求める。この際、例えば
中国語では音節毎に第１声〜第４声および軽声のいずれ
かの音調がつくことを理解しやすくするため、実際には
有声音が連続する場合でも、基本周波数の時間軌跡上で
各音節の境界部分は非表示とし、切れ目を入れる修正を
目視で加えてデータベース化することにより、学習者ま
たは研究者の理解を促進することができる。
に対して、例えばフレーム周期５ｍｓで有声／無声／無
音の判定と基本周波数の抽出（例えば、電子情報通信学
会論文誌Ａ、Ｖｏｌ．Ｊ８０−ＡＮｏ．９，ｐｐ．１３
４１−１３５０などの方法による）を行い、さらに手修
正を加えた後、各有声音区間単位で基本周波数の平滑化
（例えば、カットオフ周波数ｆｃ＝６ＨｚのＬＰＦ）を
行って基本周波数の時間軌跡を求める。この際、例えば
中国語では音節毎に第１声〜第４声および軽声のいずれ
かの音調がつくことを理解しやすくするため、実際には
有声音が連続する場合でも、基本周波数の時間軌跡上で
各音節の境界部分は非表示とし、切れ目を入れる修正を
目視で加えてデータベース化することにより、学習者ま
たは研究者の理解を促進することができる。
【００４６】上記コンピュータ装置１００の処理を概略
的に説明すると、まず、ユーザーがＤ／Ａ変換部１１２
およびスピーカ（図示せず）を介してモデル音声を聴取
したり、表示装置１２０の画面に表示されたモデル音声
の基本周波数の時間軌跡を参考にして、モデル音声を真
似て、コンピュータ装置１００に接続されたマイクロホ
ン（図示せず）に向かって発声（以後、“ユーザー音
声”と呼ぶ）すると、Ａ／Ｄ変換部１０２を介して“ユ
ーザー音声”が音声波形としてコンピュータ装置１００
内に取り込まれる。取り込まれた音声波形は、その基本
周波数の時間軌跡が自動的に表示装置１２０の画面に表
示され、ユーザーは、自分が発声したものとモデル音声
の基本周波数の時間軌跡との違いを視覚的に知ることが
できる。
的に説明すると、まず、ユーザーがＤ／Ａ変換部１１２
およびスピーカ（図示せず）を介してモデル音声を聴取
したり、表示装置１２０の画面に表示されたモデル音声
の基本周波数の時間軌跡を参考にして、モデル音声を真
似て、コンピュータ装置１００に接続されたマイクロホ
ン（図示せず）に向かって発声（以後、“ユーザー音
声”と呼ぶ）すると、Ａ／Ｄ変換部１０２を介して“ユ
ーザー音声”が音声波形としてコンピュータ装置１００
内に取り込まれる。取り込まれた音声波形は、その基本
周波数の時間軌跡が自動的に表示装置１２０の画面に表
示され、ユーザーは、自分が発声したものとモデル音声
の基本周波数の時間軌跡との違いを視覚的に知ることが
できる。
【００４７】同時に、基本周波数変換部１１１により、
ユーザー音声の声質を保ちながらモデル音声の韻律を持
った、韻律変換された変換音声を生成する。したがって
ユーザーは、スピーカからの再生音によりユーザー音声
とモデル音声を聞き比べるだけでなく、同じユーザー音
声の声質の韻律変換前と韻律変換後の音声を聴覚的に聞
き比べることもできる。さらに、類似度判定部１１３に
より、モデル音声に対するユーザー音声の基本周波数時
間軌跡に関する類似度が判定され、判定結果が表示デー
タ生成部１０８に出力され、表示データに従って表示装
置１２０の画面に表示される。上記モデル音声データベ
ース１０１とコンピュータ装置１００を用いた本実施形
態によれば、ユーザーに対し視覚的および聴覚的支援を
実現して学習効果を高めることができる。
ユーザー音声の声質を保ちながらモデル音声の韻律を持
った、韻律変換された変換音声を生成する。したがって
ユーザーは、スピーカからの再生音によりユーザー音声
とモデル音声を聞き比べるだけでなく、同じユーザー音
声の声質の韻律変換前と韻律変換後の音声を聴覚的に聞
き比べることもできる。さらに、類似度判定部１１３に
より、モデル音声に対するユーザー音声の基本周波数時
間軌跡に関する類似度が判定され、判定結果が表示デー
タ生成部１０８に出力され、表示データに従って表示装
置１２０の画面に表示される。上記モデル音声データベ
ース１０１とコンピュータ装置１００を用いた本実施形
態によれば、ユーザーに対し視覚的および聴覚的支援を
実現して学習効果を高めることができる。
【００４８】以下、ユーザー音声の基本周波数時間軌跡
を表示する処理手順について説明する。コンピュータ装
置１００に取り込まれてＡ／Ｄ変換されたユーザー音声
波形に対し、分析部１０３により、例えばフレーム周期
５ｍｓで有声／無声／無音が判定され、基本周波数が抽
出（例えば、電子情報通信学会論文誌Ａ，Ｊ８０−ＡＮ
ｏ．９，ｐｐ．１３４１−１３５０などの方法による）
される。
を表示する処理手順について説明する。コンピュータ装
置１００に取り込まれてＡ／Ｄ変換されたユーザー音声
波形に対し、分析部１０３により、例えばフレーム周期
５ｍｓで有声／無声／無音が判定され、基本周波数が抽
出（例えば、電子情報通信学会論文誌Ａ，Ｊ８０−ＡＮ
ｏ．９，ｐｐ．１３４１−１３５０などの方法による）
される。
【００４９】分析部１０３による上記処理の一方で、モ
デル音声データベース部１０１に予め記憶してある、モ
デル音声の音声波形、有声／無声／無音の情報、有声音
区間内の非表示位置情報が時間的対応付け部１０４に取
り込まれる。さらに時間的対応付け部１０４には、ユー
ザー音声波形と、分析部１０３により得られた有声／無
声／無音の情報が取り込まれる。
デル音声データベース部１０１に予め記憶してある、モ
デル音声の音声波形、有声／無声／無音の情報、有声音
区間内の非表示位置情報が時間的対応付け部１０４に取
り込まれる。さらに時間的対応付け部１０４には、ユー
ザー音声波形と、分析部１０３により得られた有声／無
声／無音の情報が取り込まれる。
【００５０】次に、時間的対応付け部１０４はこれらの
情報を基に、モデル音声とユーザー音声の間で、ＬＰＣ
ケプストラムによるＤＰマッチングを用いて、両者の音
声波形の時間的対応付けを行なう。ところで、ユーザー
は、フレーズ内でモデル音声には無い間を入れたり、逆
に間を挿入すべきところを連続して発声することがあ
る。このような発声に対してはスペクトル的に不整合が
生じるため、時間的対応付けが正しく行われないことが
多い。そこで、両者の音声の無音と判定されている区間
を省いて（削除して）からＤＰマッチングを行って、両
者の音声間の有声／無声の照合結果および有声音区間内
の非表示位置の照合結果を生成する。時間的対応付け部
１０４はまた、モデル音声に対するユーザー音声の時間
伸縮情報を生成する。
情報を基に、モデル音声とユーザー音声の間で、ＬＰＣ
ケプストラムによるＤＰマッチングを用いて、両者の音
声波形の時間的対応付けを行なう。ところで、ユーザー
は、フレーズ内でモデル音声には無い間を入れたり、逆
に間を挿入すべきところを連続して発声することがあ
る。このような発声に対してはスペクトル的に不整合が
生じるため、時間的対応付けが正しく行われないことが
多い。そこで、両者の音声の無音と判定されている区間
を省いて（削除して）からＤＰマッチングを行って、両
者の音声間の有声／無声の照合結果および有声音区間内
の非表示位置の照合結果を生成する。時間的対応付け部
１０４はまた、モデル音声に対するユーザー音声の時間
伸縮情報を生成する。
【００５１】修正部１０５は、上記の照合結果と、分析
部１０３によって一定の時間間隔でフレーム毎に得たユ
ーザー音声の基本周波数とに従い以下の処理を行う。
部１０３によって一定の時間間隔でフレーム毎に得たユ
ーザー音声の基本周波数とに従い以下の処理を行う。
【００５２】修正部１０５によってまず、一定の時間間
隔のフレーム毎に得られたユーザー音声の基本周波数に
ついて、一連の有声音区間の両端のいくつかのフレーム
で抽出された基本周波数が乱れ、時間変化に対して不規
則に変化している場合、その値は後に行なう平滑化／補
間部１０７による平滑化のデータに含めないことにす
る。乱れていない場合には、滑らかに変化する基本周波
数の時間軌跡を表示するために、平滑化／補間部１０７
による平滑化処理をう。
隔のフレーム毎に得られたユーザー音声の基本周波数に
ついて、一連の有声音区間の両端のいくつかのフレーム
で抽出された基本周波数が乱れ、時間変化に対して不規
則に変化している場合、その値は後に行なう平滑化／補
間部１０７による平滑化のデータに含めないことにす
る。乱れていない場合には、滑らかに変化する基本周波
数の時間軌跡を表示するために、平滑化／補間部１０７
による平滑化処理をう。
【００５３】基本周波数の乱れの判定は、具体的には次
式（１）に従って行なう。
式（１）に従って行なう。
【００５４】
【数１】
【００５５】式（１）において、値Ａが１以上になった
場合には、以下のように平滑化／補間部１０７による補
間の対象区間を決定する。
場合には、以下のように平滑化／補間部１０７による補
間の対象区間を決定する。
【００５６】例えば、図２に示すように有声音区間の終
端（終了点）側において式（１）の値Ａが１以上になっ
た場合、このフレームより後の部分のフレーム（Ａが１
以上になったフレームを含む）のデータは平滑化のデー
タから除外し、除外したデータを、後に平滑化／補間部
１０７によって補間の対象区間とする。図２は有声音区
間の終端側について示したが、有声音区間の始端（開始
点）側において式（１）の値Ａが１以上になった場合
は、このフレームより前の部分のフレーム（Ａが１以上
になったフレームを含む）のデータは平滑化のデータか
ら除外し、除外したデータを、後に平滑化／補間部１０
７によって補間の対象区間とする。
端（終了点）側において式（１）の値Ａが１以上になっ
た場合、このフレームより後の部分のフレーム（Ａが１
以上になったフレームを含む）のデータは平滑化のデー
タから除外し、除外したデータを、後に平滑化／補間部
１０７によって補間の対象区間とする。図２は有声音区
間の終端側について示したが、有声音区間の始端（開始
点）側において式（１）の値Ａが１以上になった場合
は、このフレームより前の部分のフレーム（Ａが１以上
になったフレームを含む）のデータは平滑化のデータか
ら除外し、除外したデータを、後に平滑化／補間部１０
７によって補間の対象区間とする。
【００５７】なお、式（１）中の定数Ｃ1〜Ｃ3として、
Ｃ1＝０．２，Ｃ2＝３．０，Ｃ3＝２００程度を用いる
と良い結果が得られる。
Ｃ1＝０．２，Ｃ2＝３．０，Ｃ3＝２００程度を用いる
と良い結果が得られる。
【００５８】続いて修正部１０５により、時間的対応付
け部１０４によるＤＰマッチングの結果、モデル音声の
有声部にユーザー音声の無声部が対応した場合、そのユ
ーザー音声の区間についても、後の平滑化／補間部１０
７による基本周波数の平滑化のデータから除外し、平滑
化／補間部１０７による補間の対象区間とする。一方、
時間的対応付け部１０４によるＤＰマッチングの結果、
モデル音声の無声部にユーザー音声の有声部が対応した
場合、その区間は基本周波数時間軌跡を非表示とするよ
うに修正する。
け部１０４によるＤＰマッチングの結果、モデル音声の
有声部にユーザー音声の無声部が対応した場合、そのユ
ーザー音声の区間についても、後の平滑化／補間部１０
７による基本周波数の平滑化のデータから除外し、平滑
化／補間部１０７による補間の対象区間とする。一方、
時間的対応付け部１０４によるＤＰマッチングの結果、
モデル音声の無声部にユーザー音声の有声部が対応した
場合、その区間は基本周波数時間軌跡を非表示とするよ
うに修正する。
【００５９】さらに続いて修正部１０５により、時間的
対応付け部１０４によるＤＰマッチングの結果、モデル
音声の有声音区間でも基本周波数時間軌跡を非表示とし
た部分に対応するユーザー音声の区間について、同様に
基本周波数時間軌跡を非表示とするように修正する。
対応付け部１０４によるＤＰマッチングの結果、モデル
音声の有声音区間でも基本周波数時間軌跡を非表示とし
た部分に対応するユーザー音声の区間について、同様に
基本周波数時間軌跡を非表示とするように修正する。
【００６０】次に、上記の通りに修正されたユーザー音
声の基本周波数は、時間伸縮部１０６により、前述の通
り時間的対応付け部１０４によって生成された時間伸縮
情報に従ってモデル音声に合わせ時間伸縮される。時間
伸縮された基本周波数データＰｏ（ｔ）に対しては、平
滑化／補間部１０７によって、有声音区間で、非表示区
間にも補間対象区間にもなっていない部分について平滑
化（例えば、カットオフ周波数ｆｃ＝６ＨｚのＬＰＦ）
処理を行う。さらに平滑化／補間部１０７によって、こ
の平滑化データを用い、修正部１０５によって前述の通
りに補間対象区間とされている部分をその周辺の平滑化
済み基本周波数時間軌跡の値から最小自乗法により補間
し、ユーザー音声の平滑化済み基本周波数時間軌跡Ｐｕ
（ｔ）を生成する。
声の基本周波数は、時間伸縮部１０６により、前述の通
り時間的対応付け部１０４によって生成された時間伸縮
情報に従ってモデル音声に合わせ時間伸縮される。時間
伸縮された基本周波数データＰｏ（ｔ）に対しては、平
滑化／補間部１０７によって、有声音区間で、非表示区
間にも補間対象区間にもなっていない部分について平滑
化（例えば、カットオフ周波数ｆｃ＝６ＨｚのＬＰＦ）
処理を行う。さらに平滑化／補間部１０７によって、こ
の平滑化データを用い、修正部１０５によって前述の通
りに補間対象区間とされている部分をその周辺の平滑化
済み基本周波数時間軌跡の値から最小自乗法により補間
し、ユーザー音声の平滑化済み基本周波数時間軌跡Ｐｕ
（ｔ）を生成する。
【００６１】最後に表示データ生成部１０８によって、
モデル音声の平滑化済み基本周波数時間軌跡の平均値と
ユーザー音声の平滑化済み基本周波数時間軌跡の平均値
を合わせるように、基本周波数時間軌跡を周波数軸方向
に適宜シフトさせて調整し、上記の通り整形された時間
軌跡を表示装置１２０の画面に表示させる。図３は実際
の表示の一例を示し、白い軌跡がモデル音声の平滑化済
み基本周波数時間軌跡、黒い軌跡がユーザー音声の平滑
化済み基本周波数時間軌跡であり、これら軌跡ととも
に、画面上部に対応する中国語の文字の表示とルビ（読
み方）の表示がなされている。
モデル音声の平滑化済み基本周波数時間軌跡の平均値と
ユーザー音声の平滑化済み基本周波数時間軌跡の平均値
を合わせるように、基本周波数時間軌跡を周波数軸方向
に適宜シフトさせて調整し、上記の通り整形された時間
軌跡を表示装置１２０の画面に表示させる。図３は実際
の表示の一例を示し、白い軌跡がモデル音声の平滑化済
み基本周波数時間軌跡、黒い軌跡がユーザー音声の平滑
化済み基本周波数時間軌跡であり、これら軌跡ととも
に、画面上部に対応する中国語の文字の表示とルビ（読
み方）の表示がなされている。
【００６２】次に、基本周波数変換部１１１等による基
本周波数変換音声作成の処理手順について説明する。こ
の処理は、ユーザー音声の平滑化済み基本周波数時間軌
跡Ｐｕ（ｔ）が得られていれば、上記の表示処理と平行
して実行される。
本周波数変換音声作成の処理手順について説明する。こ
の処理は、ユーザー音声の平滑化済み基本周波数時間軌
跡Ｐｕ（ｔ）が得られていれば、上記の表示処理と平行
して実行される。
【００６３】まず、差分算出部１０９によりモデル音声
データベース部１０１からモデル音声の平滑化済み基本
周波数時間軌跡Ｐｍ（ｔ）を取得し、平滑化／補間部１
０７によるユーザー音声の平滑化済み基本周波数時間軌
跡Ｐｕ（ｔ）との差分（Ｐｍ（ｔ）−Ｐｕ（ｔ））を求
める。しかしこの差分には、両者の平均的な声の高さの
差も含まれている。そこで、差分算出部１０９によりさ
らに、Ｐｍ（ｔ）、Ｐｕ（ｔ）それぞれのフレーズ全体
にわたる平均値Ｐｍav、Ｐｕavを求め、この差分を上記
差分から減算してキャンセルすることで、純粋な基本周
波数の時間変化の差分Ｐｄ（ｔ）＝（Ｐｍ（ｔ）−Ｐｕ
（ｔ））−（Ｐｍav−Ｐｕav）を算出する。
データベース部１０１からモデル音声の平滑化済み基本
周波数時間軌跡Ｐｍ（ｔ）を取得し、平滑化／補間部１
０７によるユーザー音声の平滑化済み基本周波数時間軌
跡Ｐｕ（ｔ）との差分（Ｐｍ（ｔ）−Ｐｕ（ｔ））を求
める。しかしこの差分には、両者の平均的な声の高さの
差も含まれている。そこで、差分算出部１０９によりさ
らに、Ｐｍ（ｔ）、Ｐｕ（ｔ）それぞれのフレーズ全体
にわたる平均値Ｐｍav、Ｐｕavを求め、この差分を上記
差分から減算してキャンセルすることで、純粋な基本周
波数の時間変化の差分Ｐｄ（ｔ）＝（Ｐｍ（ｔ）−Ｐｕ
（ｔ））−（Ｐｍav−Ｐｕav）を算出する。
【００６４】次に、加算部１１０により、差分算出部１
０９によって算出された差分Ｐｄ（ｔ）と平滑化される
前のユーザー音声の基本周波数Ｐｏ（ｔ）とを加算し
て、最終的な変換音声の基本周波数の時間変化Ｐｏ
（ｔ）＋Ｐｄ（ｔ）を得る。これにより、ユーザー音声
の有声音区間の基本周波数を、時間的対応付けの結果に
より対応関係にあるモデル音声の有声音区間の基本周波
数に入れ替えた合成音声が作成されたことになる。
０９によって算出された差分Ｐｄ（ｔ）と平滑化される
前のユーザー音声の基本周波数Ｐｏ（ｔ）とを加算し
て、最終的な変換音声の基本周波数の時間変化Ｐｏ
（ｔ）＋Ｐｄ（ｔ）を得る。これにより、ユーザー音声
の有声音区間の基本周波数を、時間的対応付けの結果に
より対応関係にあるモデル音声の有声音区間の基本周波
数に入れ替えた合成音声が作成されたことになる。
【００６５】このようにして、変換音声の基本周波数の
時間変化、つまり、変換音声の基本周波数を求めること
により、例えばモデル音声が男性の声でユーザー音声が
女性の声であっても、ユーザーの女性の声の高さで模範
音声の韻律を持った音声を再生できるだけでなく、ユー
ザー音声の基本周波数の変化量が部分的に極端に大きく
なることを防止でき、基本周波数変換を高品質に行うこ
とができる。
時間変化、つまり、変換音声の基本周波数を求めること
により、例えばモデル音声が男性の声でユーザー音声が
女性の声であっても、ユーザーの女性の声の高さで模範
音声の韻律を持った音声を再生できるだけでなく、ユー
ザー音声の基本周波数の変化量が部分的に極端に大きく
なることを防止でき、基本周波数変換を高品質に行うこ
とができる。
【００６６】すなわち、基本周波数変換部１１１（例え
ば、電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ７３−ＡＮ
ｏ．３，ｐｐ．３８７−３９６などの方法による）によ
り、Ａ／Ｄ変換したユーザー音声波形の基本周期の変換
（モデル音声の有声音区間の基本周波数に入れ替えた基
本周波数の時間軌跡の平均的な値をユーザー音声の基本
周波数の時間軌跡の平均的な値に合わせるように時間軌
跡全体を周波数軸でシフトさせる）や個々の音の継続時
間長の変換を加算部１１０による基本周波数の時間変化
Ｐｏ（ｔ）＋Ｐｄ（ｔ）に従って逐次行ない、韻律をモ
デル音声のものに入れ替えた変換音声を生成し、Ｄ／Ａ
変換した音声をスピーカ（図示せず）から出力する。
ば、電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ７３−ＡＮ
ｏ．３，ｐｐ．３８７−３９６などの方法による）によ
り、Ａ／Ｄ変換したユーザー音声波形の基本周期の変換
（モデル音声の有声音区間の基本周波数に入れ替えた基
本周波数の時間軌跡の平均的な値をユーザー音声の基本
周波数の時間軌跡の平均的な値に合わせるように時間軌
跡全体を周波数軸でシフトさせる）や個々の音の継続時
間長の変換を加算部１１０による基本周波数の時間変化
Ｐｏ（ｔ）＋Ｐｄ（ｔ）に従って逐次行ない、韻律をモ
デル音声のものに入れ替えた変換音声を生成し、Ｄ／Ａ
変換した音声をスピーカ（図示せず）から出力する。
【００６７】次に、モデル音声に対するユーザー音声の
基本周波数時間軌跡に関する類似度判定の手順について
説明する。この類似度判定処理は、上記基本周波数変換
音声作成処理と並列して行なうことかできる。
基本周波数時間軌跡に関する類似度判定の手順について
説明する。この類似度判定処理は、上記基本周波数変換
音声作成処理と並列して行なうことかできる。
【００６８】差分算出部１０９により差分Ｐｄ（ｔ）が
求められると、類似度判定部１１３により、この差分Ｐ
ｄ（ｔ）＝（Ｐｍ（ｔ）−Ｐｕ（ｔ））−（Ｐｍav−Ｐ
ｕav）について、例えばその自乗を次式（２）のように
フレーズ区間全体にわたって積分して得られる値Ｂを基
準として、韻律の類似度を判定する。但し、（２）式に
おいてＴはフレーズの時間長であり、無声区間や無音区
間、あるいは修正部１０５により非表示と判定された区
間など、基本周波数の時間軌跡が表示されない部分はＰ
ｄ（ｔ）＝０として計算する。
求められると、類似度判定部１１３により、この差分Ｐ
ｄ（ｔ）＝（Ｐｍ（ｔ）−Ｐｕ（ｔ））−（Ｐｍav−Ｐ
ｕav）について、例えばその自乗を次式（２）のように
フレーズ区間全体にわたって積分して得られる値Ｂを基
準として、韻律の類似度を判定する。但し、（２）式に
おいてＴはフレーズの時間長であり、無声区間や無音区
間、あるいは修正部１０５により非表示と判定された区
間など、基本周波数の時間軌跡が表示されない部分はＰ
ｄ（ｔ）＝０として計算する。
【００６９】
【数２】
【００７０】（２）式に従い求められた類似度の判定結
果Ｂは、数値またはグラフなどによって、表示装置１２
０の画面に表示される（図示せず）。
果Ｂは、数値またはグラフなどによって、表示装置１２
０の画面に表示される（図示せず）。
【００７１】
【発明の効果】以上説明したように本発明に係る音声言
語の韻律表示装置、再生装置、類似度判定装置、音声言
語処理装置、および記録媒体によれば、語学教育や音声
言語の研究などにおいて、アクセント／イントネーショ
ンや個々の音の長さのバランスなどの所謂「韻律」のモ
デルとなる模範的な発声と同じ内容をユーザーが発声し
た場合に、その韻律の特徴をユーザー音声（学習者また
は研究者の入力音声）とモデル音声とを比較して視覚的
に表示したり、ユーザー音声の韻律をモデル音声の韻律
にそっくり入れ替えた変換音声を作成して聴覚的に呈示
する際に、基本周波数の誤抽出などの誤動作を低減した
り、語学学習などの参考になりやすい形に分析結果を整
形して表示することにより、学習者への語学教育や研究
者の音声言語の研究を支援することができる。
語の韻律表示装置、再生装置、類似度判定装置、音声言
語処理装置、および記録媒体によれば、語学教育や音声
言語の研究などにおいて、アクセント／イントネーショ
ンや個々の音の長さのバランスなどの所謂「韻律」のモ
デルとなる模範的な発声と同じ内容をユーザーが発声し
た場合に、その韻律の特徴をユーザー音声（学習者また
は研究者の入力音声）とモデル音声とを比較して視覚的
に表示したり、ユーザー音声の韻律をモデル音声の韻律
にそっくり入れ替えた変換音声を作成して聴覚的に呈示
する際に、基本周波数の誤抽出などの誤動作を低減した
り、語学学習などの参考になりやすい形に分析結果を整
形して表示することにより、学習者への語学教育や研究
者の音声言語の研究を支援することができる。
【図１】本発明に係る音声言語の韻律表示装置、再生装
置、類似度判定装置、および音声言語処理装置の一実施
例を示すブロック図である。
置、類似度判定装置、および音声言語処理装置の一実施
例を示すブロック図である。
【図２】本発明による有声音区間の終端側において式
（１）の値Ａが１以上になった場合の例を示す説明図で
ある。
（１）の値Ａが１以上になった場合の例を示す説明図で
ある。
【図３】本発明に係る一実施例による表示装置の実際の
表示例を示す説明図である。
表示例を示す説明図である。
１０１ モデル音声データベース部 １０２ Ａ／Ｄ変換部 １０３ 分析部 １０４ 時間的対応付け部 １０５ 修正部 １０６ 時間伸縮部 １０７ 平滑化／補間部 １０８ 表示データ生成部 １０９ 差分算出部 １１０ 加算部 １１１ 基本周波数変換部 １１２ Ｄ／Ａ変換部 １１３ 類似度判定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｂ 19/00 Ｇ０９Ｂ 19/06 Ｇ１０Ｌ 11/04 Ｇ１０Ｌ 3/00 Ｓ 11/02 Ｃ 13/08 Ｂ 15/00 Ｈ 15/02 ５５１Ｅ // Ｇ０９Ｂ 19/04 9/00 ３０１Ａ 19/06 Ｆターム(参考） 2C028 AA00 5B049 BB21 CC02 CC31 DD03 DD05 EE03 EE05 EE07 FF03 FF04 FF06 FF09 5B075 ND14 NS02 PP07 PP12 PP30 PQ02 PQ04 PQ14 PR06 QM08 UU40 5D015 CC12 CC13 KK02 LL05 5D045 AB13 AB30
Claims (26)
- 【請求項１】 音声言語の韻律の特徴を予め分析して記
憶したデータベースからモデル音声を取り込むとともに
前記モデル音声と同一内容の音声を入力し、当該入力音
声の韻律を表示する音声言語の韻律表示装置であって、 前記入力音声の韻律を分析する分析手段と、 前記分析手段による分析結果と前記モデル音声との時間
的対応付けを行なうことで、前記分析結果を修正する修
正手段と、 前記修正手段による修正結果に従って、前記表示をグラ
フ的に行なうための表示データを生成する表示手段とを
備えたことを特徴とする韻律表示装置。 - 【請求項２】 請求項１において、 前記修正手段は、前記入力音声および前記モデル音声そ
れぞれの無音区間を省いてから時間的対応付けを行うこ
とを特徴とする韻律表示装置。 - 【請求項３】 請求項１において、 前記入力音声の有声音区間についての基本周波数を所定
時間間隔のフレーム単位で抽出する他の分析手段を備
え、前記表示手段は、前記修正結果に平滑化処理を行な
うことで、前記基本周波数の時間軌跡を滑らかに変化さ
せて前記表示を行なわせることを特徴とする韻律表示装
置。 - 【請求項４】 請求項１において、 前記表示手段は、前記修正手段による前記時間的対応付
けの結果、前記モデル音声の有声部が前記分析結果の無
声部に対応すると判定された場合、当該対応区間の基本
周波数の時間軌跡を周辺の有声部の値を用いて補間し、
前記モデル音声の無声部が前記分析結果の有声部に対応
すると判定された場合、当該対応区間は非表示とするこ
とを特徴とする韻律表示装置。 - 【請求項５】 請求項１において、 前記表示手段は、前記分析結果の有声音区間の両端部で
抽出された基本周波数が時間変化に対し不規則に変化す
ると前記修正手段によって判定された場合、当該変化部
分のデータを前記有声音区間の別の部分の基本周波数の
時間軌跡の値を用いて補間することを特徴とする韻律表
示装置。 - 【請求項６】 請求項５において、 前記入力音声の有声音区間についての基本周波数を所定
時間間隔のフレーム単位で抽出する他の分析手段を備
え、 前記表示手段は、前記分析結果の所定の有声音区間の端
部において、近傍の複数のフレームの基本周波数と前記
有声音区間の長さと前記有声音区間における時間位置に
よって決まる値が所定値よりも大きい部分がある場合
に、当該所定値よりも大きい部分が前記所定の有声音区
間の始端に近い場合は前記大きい部分から前記始端まで
の区間について、前記大きい部分が前記所定の有声音区
間の終端に近い場合は前記大きい部分から前記終端まで
の区間について前記補間を行うことを特徴とする韻律表
示装置。 - 【請求項７】 請求項１において、 前記表示手段は、前記修正手段による前記時間的対応付
けの結果、前記モデル音声の有声音区間において基本周
波数の時間軌跡を非表示とした部分に対応する前記入力
音声の対応区間の基本周波数の時間軌跡を非表示とする
ことを特徴とする韻律表示装置。 - 【請求項８】 音声言語の韻律の特徴を予め分析して記
憶したデータベースからモデル音声を取り込むとともに
前記モデル音声と同一内容の音声を入力し、当該入力音
声に所定の変換処理を行なって前記モデル音声の韻律に
対応させて再生出力する音声言語の再生装置であって、 前記入力音声の韻律を分析する分析手段と、 前記分析手段による分析結果と前記モデル音声との時間
的対応付けを行なうことで、前記分析結果を修正する修
正手段と、 前記修正手段による修正結果に従って再生音声を生成す
る手段であって、前記入力音声を前記修正結果に従って
時間伸縮し、前記修正手段による前記時間的対応付けの
結果に従って前記入力音声の有声音区間の基本周波数を
対応する前記モデル音声の有声音区間の基本周波数と入
れ替え、さらに、前記入れ替えた基本周波数の時間軌跡
のほぼ平均値を前記入力音声の基本周波数の時間軌跡の
ほぼ平均値に合わせるように時間軌跡を周波数軸でシフ
トした前記再生音声を生成する再生手段とを備えたこと
を特徴とする再生装置。 - 【請求項９】 請求項８において、 前記データベースから平滑化された前記モデル音声の基
本周波数の時間軌跡を取り込む手段と、前記修正手段に
よる前記修正結果に平滑化処理を行なう平滑化手段とを
備え、 前記再生手段は、前記平滑化された前記モデル音声の基
本周波数の時間軌跡と前記平滑化処理された前記入力音
声の基本周波数の時間軌跡の差分を求め、前記差分と前
記平滑化手段による平滑化前の前記入力音声の基本周波
数とを加算することで、前記入れ替えを行なうことを特
徴とする再生装置。 - 【請求項１０】 音声言語の韻律の特徴を予め分析して
記憶したデータベースからモデル音声を取り込むととも
に前記モデル音声と同一内容の音声を入力し、当該入力
音声と前記モデル音声の韻律の類似度を判定する類似度
判定装置であって、 前記入力音声の韻律を分析する分析手段と、 前記分析手段による分析結果と前記モデル音声との時間
的対応付けを行なうことで、前記分析結果を修正する修
正手段と、 前記データベースから平滑化された前記モデル音声の基
本周波数の時間軌跡を取り込む手段と、 前記取り込んだ時間軌跡と前記修正手段による修正結果
に従って前記類似度の判定を行なう判定手段とを備えた
ことを特徴とする類似度判定装置。 - 【請求項１１】 請求項１０において、 前記判定手段は、 前記修正手段による修正結果に従って、前記入力音声の
基本周波数の時間軌跡を算出する手段と、 前記取り込んだ時間軌跡および前記算出した時間軌跡の
フレーズ全体にわたる各平均値を算出する手段と、 前記取り込んだ時間軌跡と前記算出した時間軌跡の差分
から前記各平均値の差分を減算する手段とを備えたこと
を特徴とする類似度判定装置。 - 【請求項１２】 請求項１〜７のいずれかに記載の韻律
表示装置と、請求項８または９に記載の再生装置とを備
えたことを特徴とする音声言語処理装置。 - 【請求項１３】 請求項１〜７のいずれかに記載の韻律
表示装置と、請求項１０または１１に記載の類似度判定
装置とを備えたことを特徴とする音声言語処理装置。 - 【請求項１４】 請求項８または９に記載の再生装置
と、請求項１０または１１に記載の類似度判定装置とを
備えたことを特徴とする音声言語処理装置。 - 【請求項１５】 請求項１〜７のいずれかに記載の韻律
表示装置と、請求項８または９に記載の再生装置と、請
求項１０または１１に記載の類似度判定装置とを備えた
ことを特徴とする音声言語処理装置。 - 【請求項１６】 音声言語の韻律の特徴を予め分析して
記憶したデータベースからモデル音声を取り込むととも
に前記モデル音声と同一内容の音声を入力し、当該入力
音声の韻律を表示する音声言語の韻律表示方法のプログ
ラムを記憶した記憶媒体であって、 前記プログラムはコンピュータに、 前記入力音声の韻律を分析する分析ステップと、 前記分析ステップにおける分析結果と前記モデル音声と
の時間的対応付けを行なうことで、前記分析結果を修正
する修正ステップと、 前記修正ステップにおける修正結果に従って、前記表示
をグラフ的に行なうための表示データを生成する表示ス
テップとを実行させることを特徴とする記録媒体。 - 【請求項１７】 請求項１６において、 前記修正ステップにおいて、前記入力音声および前記モ
デル音声それぞれの無音区間を省いてから時間的対応付
けを行うことを特徴とする記録媒体。 - 【請求項１８】 請求項１６において、 前記プログラムは前記入力音声の有声音区間についての
基本周波数を所定時間間隔のフレーム単位で抽出する入
力ステップをさらに前記コンピュータに実行させ、 前記表示ステップにおいて、前記修正結果に平滑化処理
を行なうことで、前記基本周波数の時間軌跡を滑らかに
変化させて前記表示を行なわせることを特徴とする記録
媒体。 - 【請求項１９】 請求項１６において、 前記表示ステップにおいて、前記修正ステップにおける
前記時間的対応付けの結果、前記モデル音声の有声部が
前記分析結果の無声部に対応すると判定された場合、当
該対応区間の基本周波数の時間軌跡を周辺の有声部の値
を用いて補間し、前記モデル音声の無声部が前記分析結
果の有声部に対応すると判定された場合、当該対応区間
は非表示とすることを特徴とする記録媒体。 - 【請求項２０】 請求項１６において、 前記表示ステップにおいて、前記分析結果の有声音区間
の両端部で抽出された基本周波数が時間変化に対し不規
則に変化すると前記修正ステップによって判定された場
合、当該変化部分のデータを前記有声音区間の別の部分
の基本周波数の時間軌跡の値を用いて補間することを特
徴とする記録媒体。 - 【請求項２１】 請求項２０において、 前記プログラムは前記入力音声の有声音区間についての
基本周波数を所定時間間隔のフレーム単位で抽出する他
の分析ステップをさらに前記コンピュータに実行させ、 前記表示ステップにおいて、前記分析結果の所定の有声
音区間の端部において、近傍の複数のフレームの基本周
波数と前記有声音区間の長さと前記有声音区間における
時間位置によって決まる値が所定値よりも大きい部分が
ある場合に、当該所定値よりも大きい部分が前記所定の
有声音区間の始端に近い場合は前記大きい部分から前記
始端までの区間について、前記大きい部分が前記所定の
有声音区間の終端に近い場合は前記大きい部分から前記
終端までの区間について前記補間を行うことを特徴とす
る記録媒体。 - 【請求項２２】 請求項１６において、 前記表示ステップにおいて、前記修正ステップにおける
前記時間的対応付けの結果、前記モデル音声の有声音区
間において基本周波数の時間軌跡を非表示とした部分に
対応する前記入力音声の対応区間の基本周波数の時間軌
跡を非表示とすることを特徴とする記録媒体。 - 【請求項２３】 音声言語の韻律の特徴を予め分析して
記憶したデータベースからモデル音声を取り込むととも
に前記モデル音声と同一内容の音声を入力し、当該入力
音声に所定の変換処理を行なって前記モデル音声の韻律
に対応させて再生出力する再生方法のプログラムを記憶
した記憶媒体であって、 前記プログラムはコンピュータに、 前記入力音声の韻律を分析する分析ステップと、 前記分析ステップにおける分析結果と前記モデル音声と
の時間的対応付けを行なうことで、前記分析結果を修正
する修正ステップと、 前記修正ステップにおける修正結果に従って再生音声を
生成するステップであって、前記入力音声を前記修正結
果に従って時間伸縮し、前記修正ステップにおける前記
時間的対応付けの結果に従って前記入力音声の有声音区
間の基本周波数を対応する前記モデル音声の有声音区間
の基本周波数と入れ替え、さらに、前記入れ替えた基本
周波数の時間軌跡のほぼ平均値を前記入力音声の基本周
波数の時間軌跡のほぼ平均値に合わせるように時間軌跡
を周波数軸でシフトした前記再生音声を生成する再生ス
テップとを実行させることを特徴とする記録媒体。 - 【請求項２４】 請求項２３において、 前記プログラムは前記データベースから平滑化された前
記モデル音声の基本周波数の時間軌跡を取り込むステッ
プと、前記修正ステップにおける前記修正結果に平滑化
処理を行なう平滑化ステップとをさらに前記コンピュー
タに実行させ、 前記再生ステップにおいて、前記平滑化された前記モデ
ル音声の基本周波数の時間軌跡と前記平滑化処理された
前記入力音声の基本周波数の時間軌跡の差分を求め、前
記差分と前記平滑化ステップにおける平滑化前の前記入
力音声の基本周波数とを加算することで、前記入れ替え
を行なうことを特徴とする記録媒体。 - 【請求項２５】 音声言語の韻律の特徴を予め分析して
記憶したデータベースからモデル音声を取り込むととも
に前記モデル音声と同一内容の音声を入力し、当該入力
音声と前記モデル音声の韻律の類似度を判定する方法の
プログラムを記憶した記憶媒体であって、 前記プログラムはコンピュータに、 前記入力音声の韻律を分析する分析ステップと、 前記分析ステップにおける分析結果と前記モデル音声と
の時間的対応付けを行なうことで、前記分析結果を修正
する修正ステップと、 前記データベースから平滑化された前記モデル音声の基
本周波数の時間軌跡を取り込むステップと、 前記取り込んだ時間軌跡と前記修正ステップにおける修
正結果に従って前記類似度の判定を行なう判定ステップ
とを実行させることを特徴とする記録媒体。 - 【請求項２６】 請求項２５において、 前記判定ステップは、 前記修正ステップにおける修正結果に従って、前記入力
音声の基本周波数の時間軌跡を算出するステップと、 前記取り込んだ時間軌跡および前記算出した時間軌跡の
フレーズ全体にわたる各平均値を算出するステップと、 前記取り込んだ時間軌跡と前記算出した時間軌跡の差分
から前記各平均値の差分を減算するステップとを備えた
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000283480A JP3701850B2 (ja) | 2000-09-19 | 2000-09-19 | 音声言語の韻律表示装置および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000283480A JP3701850B2 (ja) | 2000-09-19 | 2000-09-19 | 音声言語の韻律表示装置および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002091472A true JP2002091472A (ja) | 2002-03-27 |
| JP3701850B2 JP3701850B2 (ja) | 2005-10-05 |
Family
ID=18767837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000283480A Expired - Lifetime JP3701850B2 (ja) | 2000-09-19 | 2000-09-19 | 音声言語の韻律表示装置および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3701850B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005115391A (ja) * | 2003-10-08 | 2005-04-28 | Agfa Inc | テキストのディスプレイとオーディオの再生とを同期させるためのシステム及び方法 |
| JP2005195968A (ja) * | 2004-01-08 | 2005-07-21 | Roland Corp | ピッチ変換装置 |
| JP2005522708A (ja) * | 2002-04-15 | 2005-07-28 | エポス テクノロジーズ リミテッド | 測位データを得るための方法およびシステム |
| JP2007017733A (ja) * | 2005-07-08 | 2007-01-25 | Sharp Corp | 入力装置、入力システム、入力方法、入力処理プログラム、および、プログラム記録媒体 |
| WO2007058263A1 (ja) * | 2005-11-18 | 2007-05-24 | Yamaha Corporation | 語学学習装置、語学学習支援方法、プログラム及び記録媒体 |
| JP2007147783A (ja) * | 2005-11-24 | 2007-06-14 | Yamaha Corp | 語学学習装置 |
| AU2003264116B2 (en) * | 2002-08-07 | 2008-05-29 | Speedlingua S.A. | Audio-intonation calibration method |
| JP2008233542A (ja) * | 2007-03-20 | 2008-10-02 | Fujitsu Ltd | 韻律修正装置、韻律修正方法、および、韻律修正プログラム |
| WO2013046629A1 (ja) * | 2011-09-30 | 2013-04-04 | 旭化成株式会社 | 基本周波数抽出装置および基本周波数抽出方法 |
| US8861312B2 (en) | 2007-03-14 | 2014-10-14 | Qualcomm Incorporated | MEMS microphone |
| US8963890B2 (en) | 2005-03-23 | 2015-02-24 | Qualcomm Incorporated | Method and system for digital pen assembly |
| JP2015125203A (ja) * | 2013-12-26 | 2015-07-06 | カシオ計算機株式会社 | 音声出力装置及び音声出力プログラム |
| JP2017015823A (ja) * | 2015-06-29 | 2017-01-19 | ブラザー工業株式会社 | 発話練習装置、表示制御方法、及びプログラム |
| JP2018160137A (ja) * | 2017-03-23 | 2018-10-11 | カシオ計算機株式会社 | 音声データ検索装置、音声データ検索方法及び音声データ検索プログラム |
-
2000
- 2000-09-19 JP JP2000283480A patent/JP3701850B2/ja not_active Expired - Lifetime
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012027029A (ja) * | 2002-04-15 | 2012-02-09 | Epos Development Ltd | 測位データを得るための方法およびシステム |
| JP2005522708A (ja) * | 2002-04-15 | 2005-07-28 | エポス テクノロジーズ リミテッド | 測位データを得るための方法およびシステム |
| US9446520B2 (en) | 2002-04-15 | 2016-09-20 | Qualcomm Incorporated | Method and system for robotic positioning |
| US9195325B2 (en) | 2002-04-15 | 2015-11-24 | Qualcomm Incorporated | Method and system for obtaining positioning data |
| JP2015163893A (ja) * | 2002-04-15 | 2015-09-10 | クアルコム，インコーポレイテッド | 測位データを得るための方法およびシステム |
| JP2009244268A (ja) * | 2002-04-15 | 2009-10-22 | Epos Technologies Ltd | 測位データを得るための方法およびシステム |
| AU2003264116B2 (en) * | 2002-08-07 | 2008-05-29 | Speedlingua S.A. | Audio-intonation calibration method |
| US7634410B2 (en) | 2002-08-07 | 2009-12-15 | Speedlingua S.A. | Method of audio-intonation calibration |
| JP2005115391A (ja) * | 2003-10-08 | 2005-04-28 | Agfa Inc | テキストのディスプレイとオーディオの再生とを同期させるためのシステム及び方法 |
| JP4725948B2 (ja) * | 2003-10-08 | 2011-07-13 | アグフア・ヘルスケア・インコーポレーテツド | テキストのディスプレイとオーディオの再生とを同期させるためのシステム及び方法 |
| JP2005195968A (ja) * | 2004-01-08 | 2005-07-21 | Roland Corp | ピッチ変換装置 |
| JP4565846B2 (ja) * | 2004-01-08 | 2010-10-20 | ローランド株式会社 | ピッチ変換装置 |
| US8963890B2 (en) | 2005-03-23 | 2015-02-24 | Qualcomm Incorporated | Method and system for digital pen assembly |
| JP2007017733A (ja) * | 2005-07-08 | 2007-01-25 | Sharp Corp | 入力装置、入力システム、入力方法、入力処理プログラム、および、プログラム記録媒体 |
| WO2007058263A1 (ja) * | 2005-11-18 | 2007-05-24 | Yamaha Corporation | 語学学習装置、語学学習支援方法、プログラム及び記録媒体 |
| JP2007147783A (ja) * | 2005-11-24 | 2007-06-14 | Yamaha Corp | 語学学習装置 |
| US8861312B2 (en) | 2007-03-14 | 2014-10-14 | Qualcomm Incorporated | MEMS microphone |
| JP2008233542A (ja) * | 2007-03-20 | 2008-10-02 | Fujitsu Ltd | 韻律修正装置、韻律修正方法、および、韻律修正プログラム |
| WO2013046629A1 (ja) * | 2011-09-30 | 2013-04-04 | 旭化成株式会社 | 基本周波数抽出装置および基本周波数抽出方法 |
| JP2015125203A (ja) * | 2013-12-26 | 2015-07-06 | カシオ計算機株式会社 | 音声出力装置及び音声出力プログラム |
| JP2017015823A (ja) * | 2015-06-29 | 2017-01-19 | ブラザー工業株式会社 | 発話練習装置、表示制御方法、及びプログラム |
| JP2018160137A (ja) * | 2017-03-23 | 2018-10-11 | カシオ計算機株式会社 | 音声データ検索装置、音声データ検索方法及び音声データ検索プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3701850B2 (ja) | 2005-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10347238B2 (en) | Text-based insertion and replacement in audio narration | |
| US8719030B2 (en) | System and method for speech synthesis | |
| WO2005109399A1 (ja) | 音声合成装置および方法 | |
| US20040030555A1 (en) | System and method for concatenating acoustic contours for speech synthesis | |
| JPH11143346A (ja) | 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体 | |
| US9508338B1 (en) | Inserting breath sounds into text-to-speech output | |
| JP3701850B2 (ja) | 音声言語の韻律表示装置および記録媒体 | |
| KR20160122542A (ko) | 발음 유사도 측정 방법 및 장치 | |
| JP2003186379A (ja) | 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム | |
| JP2020507819A (ja) | スペクトル包絡線のフォルマントの周波数シフトによって声の音質を動的に修正するための方法および装置 | |
| JP2019008120A (ja) | 声質変換システム、声質変換方法、及び声質変換プログラム | |
| US7373294B2 (en) | Intonation transformation for speech therapy and the like | |
| JP2001282278A (ja) | 音声情報処理装置及びその方法と記憶媒体 | |
| US7627468B2 (en) | Apparatus and method for extracting syllabic nuclei | |
| RU2510954C2 (ru) | Способ переозвучивания аудиоматериалов и устройство для его осуществления | |
| JP4744338B2 (ja) | 合成音声生成装置 | |
| JP4778402B2 (ja) | 休止時間長算出装置及びそのプログラム、並びに音声合成装置 | |
| JP4430174B2 (ja) | 音声変換装置及び音声変換方法 | |
| Drioli et al. | Speaker adaptive voice source modeling with applications to speech coding and processing | |
| JP2006139162A (ja) | 語学学習装置 | |
| CN110164414B (zh) | 语音处理方法、装置及智能设备 | |
| EP1962278A1 (en) | Method and device for timing synchronisation | |
| JP3785892B2 (ja) | 音声合成装置及び記録媒体 | |
| JP5722295B2 (ja) | 音響モデル生成方法と音声合成方法とそれらの装置とプログラム | |
| JP2001125599A (ja) | 音声データ同期装置及び音声データ作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040914 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20041027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050610 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050708 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050714 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3701850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100722 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110722 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130722 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |