JP2003186379A - 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム - Google Patents

Abstract

(57)【要約】 【課題】適切な発声発話訓練のために必要な情報を訓練
者に提供する。 【解決手段】基準音声を出力するための音声再生出力処
理と、例えば基準音声を発声している人物の動画像を表
示装置に表示するための動画像再生処理と、基準音声に
対応し且つ発声のタイミング、発声長、音程及び促音を
表す図形を表示し、少なくとも発声部分を図形の色を変
更することにより表示する図形表示処理とを実行する。
これにより、訓練者は単に音声及び動画像にて他人が話
しているのをまねするだけでなく、図形によりプロソデ
ィを知覚し、発声することができるようになる。すなわ
ち、効果的な訓練を行うことができるようになる。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、発声発話訓練のた
めの情報処理技術に関する。

【０００２】

【従来の技術】従来から様々な方法で外国語習得希望者
や失語症患者をはじめとする言語障害者、構音障害者に
より発声発話訓練が行われていた。特に、失語症患者等
の発声発話訓練では、韻律を表す図形が予め印刷された
カードを先生が示しながら発声して、失語症患者等がそ
のまねをするといった方法や、手本となる音声データの
再生と予め用意された韻律を表す図形を表示するプログ
ラムを用いた発声発話訓練などが行われていた。

【０００３】

【発明が解決しようとする課題】しかし、従来の技術に
よっては、必ずしも外国語習得希望者や失語症患者等に
よる効果的な発声発話訓練が可能ではなかった。すなわ
ち、教材の作成が簡単且つ柔軟に行うことができなかっ
たり、外国語習得希望者や失語症患者等に対し適切な発
声発話訓練のために必要な情報を提供できなかったり、
その能力に応じた訓練も可能となっていなかった。

【０００４】従って、本発明の目的は、発声発話訓練の
ための教材データの作成を簡単且つ柔軟に行うための技
術を提供することである。

【０００５】また、他の目的は、適切な発声発話訓練の
ために必要な情報を訓練者に提供可能とする技術を提供
することである。

【０００６】さらに、他の目的は、訓練者の能力に応じ
た発声発話訓練を可能とする技術を提供することであ
る。

【０００７】さらに、他の目的は、訓練者による発声発
話訓練の結果をより客観的に提示可能とする技術を提供
することである。

【０００８】

【課題を解決するための手段】本発明の第１の態様は、
再生速度を動的に変更可能とする手段を含む発声者の動
画像及び音声の同期再生手段が組み込まれた発声発話訓
練装置である。これにより、訓練者の能力に併せて必要
な部分について適切な速度で動画像及び音声を再生する
ことができるようになる。

【０００９】本発明の第２の態様に係るプログラムは、
入力音声データを取得し、記憶装置に格納するステップ
と、入力音声データから、少なくとも当該音声の発声
長、音程及び促音に対応する、発声練習のための音声可
視化パラメータを抽出し、記憶装置に格納する音声可視
化パラメータ抽出ステップと、音声可視化パラメータに
従って、発声のタイミング、発声長、音程及び促音につ
いての情報を図形化し、表示装置に表示する表示ステッ
プとをコンピュータに実行させるためのプログラムであ
る。これにより簡単に練習のための音声可視化パラメー
タを生成することができ、柔軟な教材作成が可能とな
る。

【００１０】また、表示装置に表示された発声のタイミ
ング、発声長、音程及び促音についての情報を表す図形
を、修正指示に応じて修正して表示するステップと、修
正された図形の位置、長さ及び高さに応じて音声可視化
パラメータを変更し、記憶装置に格納するステップとを
さらにコンピュータに実行させるようにしてもよい。こ
れにより自動的に図形を生成した場合に、図形形状の修
正を簡単に行うことができるようになる。また、図形形
状の修正に応じて自動的に音声可視化パラメータを変更
することもできるようになる。

【００１１】なお、上で述べた音声パラメータ抽出ステ
ップが、入力音声データの音声シンボル（例えば所定レ
ベル（例えば平均以上）の音圧強度を有する部分）を切
り出すステップと、切り出された各音声シンボルについ
て時間的な位置、長さ及びピッチについての情報を抽出
するステップと、入力音声データ中の促音部の位置を検
出するステップとを含むような構成であっても良い。

【００１２】また、音声再生指示に応じて入力音声デー
タを再生処理するステップと、入力音声データの波形を
表示するステップとをさらにコンピュータに実行させる
ような構成であってもよい。これにより、より適切な図
形の修正を行うことができるようになる。

【００１３】さらに、上で述べた表示ステップが、音声
可視化パラメータのうち発声長に関するパラメータによ
り図形の長さを決定するステップと、音声可視化パラメ
ータのうち音程に関するパラメータにより図形の高さを
決定するステップと、音声可視化パラメータのうち促音
に関するパラメータにより促音の図形の位置を決定する
ステップとを含むような構成であってもよい。

【００１４】本発明の第３の態様に係るプログラムは、
基準音声を出力するための音声再生出力処理と、基準音
声を発声している人物の動画像を表示装置に表示するた
めの動画像再生処理と、基準音声に対応し且つ発声のタ
イミング、発声長、音程及び促音を表す図形を表示し、
当該図形の少なくとも発声部分の色を変更することによ
り表示する図形表示処理とをコンピュータに実行させる
ためのプログラムである。これにより、訓練者は単に音
声及び動画像にて他人が話しているのをまねするだけで
なく、図形によりプロソディを知覚し、発声することが
できるようになる。すなわち、効果的な訓練を行うこと
ができるようになる。

【００１５】また、音声再生出力処理と動画像再生処理
と図形表示処理とを同期させるための同期処理をさらに
コンピュータに実行させるような構成であってもよい。
これにより、より自然な発声状態を再現し、適切な発声
部分を提示できるようになる。

【００１６】なお、上で述べた図形表示処理が、基準音
声の少なくとも発声長、音程及び促音に対応する音声可
視化パラメータに従って、発声のタイミング、発声長、
音程及び促音についての情報を図形化する処理を含むよ
うな構成であってもよい。図形のデータとして保持する
のではなく音声可視化パラメータを保持することによ
り、再生速度の変更などに柔軟に対応することができる
ようになる。

【００１７】さらに、基準音声の再生速度変更指示にお
いて指定された再生速度に従って、基準音声及び基準音
声を発声している人物の動画像の再生速度と、基準音声
に対応し且つ発声のタイミング、発声長、音程及び促音
を表す図形の形状と、当該図形の色の変更速度とを変更
するための速度変更処理をさらにコンピュータに実行さ
せるような構成であってもよい。これにより、訓練者の
状態に応じて適切な速度で訓練を実施することができる
ようになる。

【００１８】また、上で述べた速度変更処理が、基準音
声の少なくとも発声長、音程及び促音に対応する音声可
視化パラメータを指定された再生速度に従って変更し、
記憶装置に格納する処理を含むような構成であってもよ
い。

【００１９】また、上で述べた速度変更処理が、基準音
声のデータを指定された再生速度に従って変更し、当該
基準音声のデータの縮張内容に関する縮張情報を生成す
る処理と、生成された縮張情報を用いて、基準音声の少
なくとも発声長、音程及び促音に対応する音声可視化パ
ラメータを変更する処理とを含むような構成であっても
よい。

【００２０】なお、速度変更処理を動的に実施するよう
にしてもよい。

【００２１】また、上で述べた同期処理において、基準
音声の再生速度変更指示において指定された再生速度に
対応する縮張情報を用いて、発声のタイミング、発声
長、音程及び促音を表す図形の色の変更と、動画像の再
生とを、指定された再生速度に応じて変更された基準音
声の再生に同期させるための情報を生成するような構成
であってもよい。すなわち、音声再生をマスタとしてそ
の他の再生及び表示をスレーブとする構成である。

【００２２】なお、訓練者は単に発声するだけでなく、
訓練者が発声した音声データを録音する処理をさらにコ
ンピュータに実行させるような場合もある。これにより
以下で説明するような評価処理を実施することができる
ようになる。

【００２３】すなわち、基準音声の音声データから抽出
される所定のパラメータ（例えばＬＰＣケプストラム係
数等）と訓練者の音声データから抽出される所定のパラ
メータとを用いて、訓練者が発声した音声と基準音声と
の類似度を分析する分析処理をさらにコンピュータに実
行させるような構成であってもよい。これにより、訓練
の達成度合いを見ることができるようになる。

【００２４】さらに、訓練者が発声した音声のデータと
基準音声のデータとを所定の事項について比較可能な態
様にて表示すると共に、訓練者が発声した音声と基準音
声との類似度に関する情報を表示する処理をさらにコン
ピュータに実行させるようにしてもよい。これにより、
より訓練の達成度合いを評価することができるようにな
る。

【００２５】また、上で述べた分析処理が、訓練者が発
声した音声データの音声シンボルと基準音声の音声デー
タの音声シンボルとの距離に関する情報を所定の方法で
算出し、記憶装置に格納する処理と、算出された距離に
関する情報を用いて、訓練者が発声した音声データの音
声シンボルと基準音声の音声データの音声シンボルとの
対応関係を検出する処理と、検出された対応関係を有す
る訓練者が発声した音声データの音声シンボルと基準音
声の音声データの音声シンボルとの距離に関する情報を
用いて、訓練者が発声した音声と基準音声との類似度に
関する情報を算出し、記憶装置に格納する処理とを含む
ような構成であってもよい。これにより客観的に達成度
を見ることができる。

【００２６】本発明の第４の態様に係るプログラムは、
訓練者が発声した音声のデータと基準音声のデータとを
所定の事項について比較可能な態様にて表示する処理
と、訓練者が発声した音声のデータの音声シンボルと基
準音声の音声データの音声シンボルとの距離に関する情
報を所定の方法（例えば実施の形態におけるＤＰ法）で
算出し、記憶装置に格納する処理と、算出された距離に
関する情報を用いて、訓練者が発声した音声データの音
声シンボルと基準音声の音声データの音声シンボルとの
対応関係を検出する処理と、検出された対応関係を有す
る訓練者が発声した音声データの音声シンボルと基準音
声の音声データの音声シンボルとの距離に関する情報を
用いて、訓練者が発声した音声と基準音声との類似度に
関する情報を算出し、表示装置に表示する処理とをコン
ピュータに実行させるためのプログラムである。これに
より、類似度等の客観的な数値と共に、波形や音声シン
ボル、ピッチやアクセント、フォルマント及びスペクト
ログラム等の音声のデータを比較することにより、発声
の内容を評価できるようになる。

【００２７】また、本発明の第４の態様において、訓練
者が発声した音声のデータについて検出された対応関係
の個数（例えば実施の形態における音声マッチ数）に関
する情報を算出し、表示装置に表示する処理をさらにコ
ンピュータに実行させるような構成であってもよい。対
応関係の個数についても、訓練者の達成度を測るために
重要な指標となり得るものである。

【００２８】さらに、上で述べた訓練者が発声した音声
と基準音声との類似度に関する情報が、少なくともスペ
クトル構造に関する類似度と音圧に関する類似度とのい
ずれかを含むような構成であってもよい。さらに、総合
的な類似度を含む場合もある。

【００２９】なお、上記プログラムはコンピュータにイ
ンストールされるとコンピュータ・システムとなる。ま
た、上記プログラムは、例えばフレキシブル・ディス
ク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハ
ードディスク等の記憶媒体又は記憶装置に格納される。
また、当該プログラムはネットワークを介して送信され
ることもある。なお、処理途中のデータについては、コ
ンピュータのメモリに一時保管される。

【００３０】

【発明の実施の形態】図１に本発明の一実施の形態に係
る処理の概要を示す。最初に、訓練に用いる動画像（例
えば基準となる音声を発声している人物（特に顔の部
分）の動画像）及び基準となる音声のデータを取得して
記憶装置に格納すると共に、基準となる音声の可視化パ
ラメータ算出処理を実施する（ステップＳ１）。このよ
うに基準となる音声の可視化パラメータを算出すること
により、可視化が自動化されると共に可視化により表示
される音声可視化記号（又は図形）そのものを記録する
のではないため速度変更などによる音声可視化記号の変
更などに柔軟に対処できるようになる。なお、この音声
可視化記号は、音声の音声長、音程、促音を視覚的に訓
練者に提示するための音声波形の模式図である。以下、
失語症患者をはじめとする言語障害者、構音障害者の発
声発話訓練用の仕様を一例として説明する。失語症患者
は高次脳機能障害により認知障害等を併発するため、説
明を要しない直感的に理解可能な表現が必要とされてお
り、このための音声可視化記号についても以下で示す。

【００３１】また、必ずしも自動的に生成した音声可視
化記号が適切ではない場合もあるので、確認を兼ねて、
音声可視化記号の修正処理を実施する（ステップＳ
３）。ユーザは、ＣＡＤ（Computer Aided Design）等
の図形編集プログラムにより図形を編集するのと同様な
操作にて簡単に音声の可視化パラメータを修正すること
ができる。すなわち、直接可視化パラメータの数値を修
正することなく、より適切な可視化パラメータの設定を
実施することができるようになる。ここまでの処理は訓
練素材編集時に行われる前処理であって、訓練者ではな
く手本となるデータを生成する者の指示により実施され
る。

【００３２】そして訓練者の指示に応じて、以上のよう
な前処理により生成された音声の可視化パラメータ及び
記憶装置に格納されている音声データ及び動画データと
を用いて、再生処理を実施する（ステップＳ５）。すな
わち、プロソディの視覚化と動画像及び音声との連動し
た訓練プレーヤを実現するものである。これにより、視
覚及び聴覚の強力なフィードバックにより、プロソディ
の知覚を促し、効果的な訓練手段を提供することができ
るようになる。この再生処理では、音声、動画像、そし
て音声の可視化パラメータから自動生成される音声可視
化記号とが同期して出力される。音声可視化記号につい
ては発声部分を明確にするために、音声出力に併せて色
が変更される。また、この再生処理では、訓練者の状態
に応じて再生速度を調整することができる。再生速度の
調整があっても訓練に支障が生じないよう、ピッチが変
わらないように音声データを変更し、当該音声データと
動画像データ並びに音声可視化記号の表示の同期を保つ
ための処理が実施される。また、訓練者の発声した音声
を録音しておき、次の分析処理を実施するようにしても
良い。

【００３３】最後に、再生処理において録音された訓練
者の音声のデータ及び基準となる音声のデータを対比可
能な態様で表示すると共に、訓練者の音声と基準となる
音声との類似度等を所定の項目について算出するといっ
た分析処理を実施する（ステップＳ７）。音声のデータ
の対比としては、例えば波形、音声シンボル、ピッチ、
アクセント、フォルマント、スペクトログラムといった
観点において行われる。また、類似度等を計算する項目
としては、例えばスペクトル構造に関する比較点数、音
圧に関する比較点数、所定の基準を満たした音声シンボ
ルの数、総合的な比較点数などである。これにより、数
値により類似度等を客観的に示すと共に、音声の波形等
を並べて表示することにより、訓練の達成度を評価でき
るようになる。

【００３４】図１の各ステップについて以下に詳しく述
べる。 １．可視化パラメータ算出処理（図１：ステップＳ１） 図２に可視化パラメータ算出処理のための機能ブロック
図を示す。訓練素材データ１１０としては、基準音声の
音声データ１１１と、例えば基準音声を発声している人
物の動画データ１１２とが含まれており、例えばＨＤＤ
（Hard Disk Drive）等の記憶装置に格納されている。
訓練素材データ１１０は、可視化パラメータ算出処理の
前に、通常のマイク等の音声入力手段及びデジタルビデ
オカメラ等の動画像入力手段により取得されたデータで
ある。ネットワークを介して取得する場合もある。基準
音声の音声データ１１１は、可視化パラメータ算出部１
０１により処理され、基準音声の可視化パラメータ情報
１０２が生成され、記憶装置に格納される。

【００３５】次に図３及び図４を用いて可視化パラメー
タ算出処理部１０１の処理を説明する。最初に、音声デ
ータ１１１を用いて音声全体における音圧の平均を算出
し、平均以上の音圧強度を有する部分を音声シンボルと
して切り出す（ステップＳ１１）。例えば図４（ａ）の
ような音声データ１１１を処理する場合、図４（ｂ）に
示すように平均以上の音圧強度を有する部分は、音声シ
ンボル４１及び４２となる。次に、各音声シンボルの位
置、長さ及びピッチ、並びにアクセント情報を音声デー
タ１１１から抽出し、記憶装置に格納する（ステップＳ
１３）。なお、アクセント情報については音声可視化記
号の表示処理には直接は用いられないが、後の処理に用
いられるため、この段階にて抽出される。そして、各音
声シンボルについて、促音部の有無及びその位置を検出
し、記憶装置に格納する（ステップＳ１５）。促音部の
検出の際には、促音と考えられる無音空隙部前後の音素
情報を音声認識にて統計解析し、確率的に空隙が促音で
あるか否かを判断する。上で抽出されたアクセント情報
を用いる場合もある。以上のようにして取得された各音
声シンボルの位置、長さ、ピッチ及び促音部についての
情報（有無及びその位置）並びにアクセント情報とを音
声可視化パラメータとしてファイルに格納する（ステッ
プＳ１７）。可視化パラメータ算出としては本ステップ
にて処理を終了させても良いが、例えば確認のため、各
音声シンボルの位置、長さ及びピッチ、並びに促音部の
位置に従って音声可視化記号を表示装置に表示する（ス
テップＳ１９）。図４（ａ）のような音声データを処理
する場合には、例えば図４（ｃ）に示すような音声可視
化記号が表示されるようになる。すなわち、音声シンボ
ル４１の位置、長さ及びピッチに応じて、記号４３の位
置、長さ及び高さが決定され、音声シンボル４２の位
置、長さ及びピッチに応じて、記号４４の位置、長さ及
び高さが決定される。なお、別途検出された促音部につ
いては、検出された位置に記号４５として表示される。

【００３６】なお図示していないが、ＬＰＣケプストラ
ム係数についても後に用いられるので、可視化パラメー
タ算出処理部１０１が算出し、可視化パラメータ情報１
０２に含める場合もある。なお、ＬＰＣケプストラム係
数の計算については、従来技術と何ら変わりないので、
ここで説明を省略する。

【００３７】２．音声可視化記号修正処理（図１：ステ
ップＳ３） 図３に示した処理にて音声可視化パラメータを生成し、
当該音声可視化パラメータを処理することにより音声可
視化記号を自動的に表示させることができるが、必ずし
も適切な音声可視化記号が表示されない場合がある。従
って、自動生成された音声可視化記号の修正が必要とな
る。

【００３８】この音声可視化記号の修正処理のための機
能ブロック図を図５に示す。記号修正処理部１２０に
は、音声再生部１２１と、音声可視化記号描画部１２３
と、可視化パラメータ編集部１２４とが含まれる。記号
修正処理部１２０は、ユーザからの指示入力１０４に応
じて処理を実施する。また、音声再生部１２１は音声デ
ータ１１１を再生出力するものである。音声可視化記号
描画部１２３は、可視化パラメータ情報１０２をそのま
ま用いて描画を行う場合もあれば、可視化パラメータ編
集部１２４により処理された可視化パラメータ情報を用
いて描画を行う場合もある。可視化パラメータ編集部１
２４は、可視化パラメータ情報１０２をユーザからの指
示入力１０４に従って変更する処理を実施し、指示入力
１０４が保存を指示するものである場合には編集済み可
視化パラメータ情報１０３として記憶装置に格納するも
のである。

【００３９】次に、図６及び７を用いて記号修正処理部
１２０の処理について説明する。図６は、ユーザが指示
入力１０４として記号修正処理部１２０の起動を指示し
た場合に表示される画面６０の一例を示す。記号修正処
理部１２０は音声視覚化エディタと呼ばれ、この音声視
覚化エディタ画面には、音声可視化記号の表示部分６１
と、音声波形データの表示部分６２と、図形（音声可視
化記号）の追加ボタン６３と、色の変更ボタン６４と、
音声再生ボタン６５と、自動生成ボタン６６と、図形の
サイズ変更ボタン群６７と、図形の位置変更ボタン群６
８と、図形の変更ボタン６９と、図形の削除ボタン７０
と、図形の全削除ボタン７１と、グリッド線（補助線）
の設定部分７２と、環境設定ボタン７３と、保存指示ボ
タン７４と、終了指示ボタン７５とが設けられている。

【００４０】音声再生部１２１は、音声波形データの表
示部分６２に音声データ１１１の音声波形データの表示
処理を実施すると共に、再生ボタン６５がクリックされ
た場合にはスピーカにて音声データ１１１の音声出力を
実施する。また、自動生成ボタン６６がクリックされた
場合には、音声可視化記号描画部１２３は、可視化パラ
メータ情報１０２を用いて音声可視化記号の表示部分６
１に音声可視化記号を表示する。図形の追加ボタン６
３、色の変更ボタン６４、サイズの変更ボタン群６７、
位置の変更ボタン群６８、図形の変更ボタン群６９、削
除ボタン７０又は全削除ボタン７１がクリックされた場
合には、可視化パラメータ編集部１２４が指示に従って
可視化パラメータ情報１０２を変更し、変更後の可視化
パラメータ情報を音声可視化記号描画部１２３が処理し
て、音声可視化記号の表示部分６１に表示する。なお、
色の変更ボタン６４がクリックされた場合には、当該色
の情報も色の変更指示があった音声可視化記号に対応す
る音声シンボルの情報として登録される。但し、本発明
の要旨からは外れる部分であるのでここでは以下説明を
省略する。保存ボタン７４がクリックされた場合には、
可視化パラメータ編集部１２４が、現在音声可視化記号
の表示部分６１に表示されている音声可視化記号に応じ
た編集済み可視化パラメータ情報１０３を記憶装置に格
納する。グリッド線の設定部分７２により設定がなされ
た場合には、音声可視化記号描画部１２３が音声可視化
記号の表示部分６１に、設定に従ったグリッド線を描画
する。なお、音声波形データの表示部分６２についても
グリッド線を描画するようにしても良い。環境設定ボタ
ン７３がクリックされた場合には記号修正処理部１２０
により環境設定が行われ、終了ボタン７５がクリックさ
れた場合には音声可視化エディタ画面６０がクローズさ
れる。なお、音声データ１１１の再生時に動画データ１
１２を共に再生するような構成であってもよい。

【００４１】図７に記号修正処理部１２０の処理フロー
をまとめておく。記号修正処理部１２０は、ユーザから
の指示入力１０４が再生指示（再生ボタン６５のクリッ
ク）であるか判断する（ステップＳ２１）。もし、再生
指示である場合には、音声再生部１２１は音声データ１
１１の再生出力を実施する（ステップＳ２３）。再生指
示でない場合には、ユーザからの指示入力１０４が音声
可視化記号の自動生成指示（自動生成ボタン６６のクリ
ック）であるか判断する（ステップＳ２５）。もし、音
声可視化記号の自動生成指示である場合には、音声可視
化記号描画部１２３が可視化パラメータ情報１０２を用
いて音声可視化記号の描画処理を実施する（ステップＳ
２７）。音声可視化記号の自動生成指示ではない場合に
は、図形の追加ボタン６３、色の変更ボタン６４、サイ
ズの変更ボタン群６７、位置の変更ボタン群６８、図形
の変更ボタン群６９、削除ボタン７０又は全削除ボタン
７１がクリックされる等して、記号修正指示が入力され
たか判断する（ステップＳ２９）。もし、記号修正指示
が入力された場合には、音声可視化記号描画部１２３が
記号修正指示に応じた修正後の音声可視化記号を表示装
置に表示する（ステップＳ３１）。なお、記号修正指示
に応じて可視化パラメータ情報１０２を可視化パラメー
タ編集部１２４が変更し、当該変更後の可視化パラメー
タ情報１０２を用いて音声可視化記号描画部１２３が修
正後の音声可視化記号を描画するようにしても良い。す
なわち、音声可視化記号の位置の変更により音声シンボ
ル又は促音部の位置を変更し、音声可視化記号の高さの
変更により音声シンボルのピッチを変更し、音声可視化
記号の長さの変更により音声シンボルの長さを変更し、
音声可視化記号の追加・削除により音声シンボル又は促
音部の追加・削除が行われる。また、この段階において
は音声可視化記号描画部１２３が、音声可視化記号の変
形のみを実施するだけであっても良い。

【００４２】記号修正指示ではないと判断された場合に
は、ユーザによる指示入力が保存指示（保存ボタン７３
のクリック）であるか判断する（ステップＳ３３）。も
し、保存指示である場合には、可視化パラメータ編集部
１２４は、表示中の音声可視化記号の位置、長さ及び高
さ、並びに促音部の位置に従う可視化パラメータ情報を
編集済み可視化パラメータ情報１０３として記憶装置に
保存する（ステップＳ３５）。ステップＳ３１において
既に修正指示に応じて可視化パラメータ情報が変更され
ている場合には、当該変更後の可視化パラメータ情報を
編集済み可視化パラメータ情報１０３とする。一方、ス
テップＳ３１において音声可視化記号の変更のみを実施
している場合には、表示されている音声可視化記号の位
置、長さ及び高さ、並びに促音部の位置に従って可視化
パラメータ情報１０２を変更し、当該変更後の可視化パ
ラメータ情報を編集済み可視化パラメータ情報１０３と
する。そして、保存指示ではない場合又はステップＳ２
３、ステップＳ２７、ステップＳ３１又はステップＳ３
５の後に、処理終了の指示（終了ボタン７５のクリッ
ク）がなされているか判断する（ステップＳ３７）。も
し、終了指示である場合には、処理を終了して音声視覚
化エディタ画面６０をクローズする。一方、終了指示で
はない場合には、ステップＳ２１に戻る。

【００４３】このような処理にて、音声可視化記号の時
間軸上の位置、長さ、高さ、促音部の有無及びその位置
を任意に変更可能となる。すなわち、より適切な音声可
視化記号を設定することができ、訓練者に対して提示可
能となる。なお、ユーザはグラフィカルなインターフェ
ースで音声可視化記号を修正するだけで、可視化パラメ
ータ情報の変更を自動的に行うことができるようにな
る。なお、音声可視化記号の変更は任意であるから、変
更を行わない場合もあり、その場合には可視化パラメー
タ情報１０２と編集済み可視化パラメータ情報１０３と
は同一である。

【００４４】３．再生処理（図１：ステップＳ５） ここでは、可視化パラメータ算出処理及び音声可視化記
号修正処理にて用意された編集済み可視化パラメータ情
報１０３と、基準音声の音声データ１１１及び動画デー
タ１１２とを用いた再生処理について説明する。

【００４５】再生処理における機能ブロック図を図８に
示す。図２と同様に訓練素材データ１１０には、動画デ
ータ１１２及び音声データ１１１が含まれる。再生速度
変換処理部１３０には、再生速度設定入力１０４により
指定された再生速度に従って動画データ１１２の動画の
フレーム数を変更するフレーム数変換部１３１と、再生
速度設定入力１０により指定された再生速度に従って音
声データの再生速度を変更するための話速変換部１３２
と、話速変換部１３２に生成され且つ指定された再生速
度に対応する縮張情報１３３と、縮張情報１３３に従っ
て編集済み可視化パラメータ情報１０３に対してパラメ
ータ縮張処理を実施するパラメータ縮張部１３４とが含
まれる。再生・表示処理部１４０には、フレーム数変換
部１３１により出力される動画データ１１２のフレーム
を表示する動画描画部１４１と、話速変換部１３２から
出力される音声データを再生する音声再生部１４２と、
話速変換部１３２が生成した縮張情報１３３に基づい
て、音声再生に動画再生及び音声可視化記号表示を同期
させるための同期信号１４６ａ及び１４６ｂを生成する
ための同期信号生成部１４３と、パラメータ縮張部１３
４により処理された編集済み可視化パラメータ情報１０
３を表示装置に表示する音声可視化記号描画部１４４
と、訓練中に訓練者が発声した音声を録音する訓練者音
声録音部１４５とが含まれる。なお、動画描画部１４１
と音声可視化記号描画部１４４は、コンピュータの処理
負荷の問題等から音声再生に同期できない場合もあり、
その場合には音声再生部１４２に補助信号１４７ａ及び
１４７ｂを出力して、音声再生部１４２の音声出力を停
止させることにより、音声再生、動画再生、及び音声可
視化表示を同期させる。訓練者音声録音部１４５により
録音された訓練者収録音声データ１０５は記憶装置に格
納される。また、再生・表示処理部１４０には訓練者か
ら指示入力１４８が入力され、指示入力１４８に従って
処理が実行される。

【００４６】再生速度設定入力１０４に従った動画デー
タのフレーム数変換処理は周知の技術でありここでは詳
しく述べない。但し、フレーム数変換部１３１は所定の
フレーム毎にマークを付しておき、動画描画部１４１は
同期信号生成部１４３により生成される同期信号１４６
ａに同期させてマークが付されたフレームを再生するよ
うに動作する。再生速度設定入力１０４に従った話速変
換部１４２による音程の変化を生じさせない話速変換処
理は、例えばピッチ−シンクロナス−オーバーラップ−
アッド（Pitch-Synchronous-Overlap-Add）法を用いる
ことにより実施することができる。なお、この方法は周
知であり、例えば、Eric Moulines andFrancis Charpen
tier:"PITCH-SYNCHRONOUS WAVEFORM PROCESSING TECHNI
QUES FOR TEXT-TO-SPEECH SYNTHESIS USING DIPHONES",
Speech Communication 9(1990)pp.453-467を参照のこ
と。なお、動画や音声の再生速度の変更については、例
えば特開２００１−２９０５００号公報、特開平１１−
８８８４４号公報、特開平９−２４８５６３号公報など
多数の文献に記載されており、ここでは詳しく述べな
い。

【００４７】話速変換部１３２は、縮張情報１３３も生
成する。この縮張情報１３３には、縮張の方法及び縮張
の程度に関する情報を含む。例えば、再生速度設定入力
において指定された速度（例えば０．７倍）に応じた縮
張を線形に実施する場合には、線形という情報とその割
合（例えば７０％）といった情報である。また、無音区
間を削除して再生速度を変更することも可能である。こ
の場合に縮張情報は例えば不連続という情報と縮張の割
合（例えば７０％）という情報である。パラメータ縮張
部１３４は、縮張情報１３３を受け取ると、編集済み可
視化パラメータ情報１０３の音声可視化記号の位置及び
長さを縮張情報１３３に従って変更する。例えば線形と
いう情報と７０％という情報を縮張情報１３３として取
得した場合には、パラメータ縮張部１３４は全体が７０
％の長さになるように音声シンボルの位置や長さ、並び
に促音部の位置を線形に変更する。無音区間を削除する
場合も、音声シンボル間を無くし、その上で例えば全体
が７０％の長さになるように音声シンボルの位置や長
さ、並びに促音部の位置を変更する。

【００４８】縮張情報１３３は、再生速度設定入力１０
４が入力されると直ぐに話速変換部１３２にて生成さ
れ、パラメータ縮張部１３４及び同期信号生成部１４３
に出力される。これにより、音声再生速度の動的な変更
が可能になる。すなわち、一つの基準音声の再生途中で
あっても、再生速度の変更を実施することができる。

【００４９】音声可視化記号描画部１４４は、最初にパ
ラメータ縮張部１３４から受け取った可視化パラメータ
情報に基づき音声可視化記号全体を表示装置に表示す
る。また、訓練者に発声部分を認識させるため、既に音
声が出力されている部分について音声可視化記号の色を
変更する。この具体的な表示例については後に説明す
る。なお、この音声可視化記号の色の変更描画処理につ
いては、同期信号生成部１４６ｂの同期信号に従って行
われる。このようにして、音声再生と、動画再生及び音
声可視化記号の色の変更描画処理は同期が取られる。

【００５０】図９に再生・表示処理部１４０による画面
表示例を示す。再生・表示処理部１４０は訓練プレイヤ
ーと呼ばれ、この訓練プレイヤー画面８９には、動画像
表示部９０と、音声可視化記号表示部９２と、訓練用デ
ータ一覧を表示するための一覧ボタン９３と、再生の制
御を行うボタン群９４と、訓練全体のナビゲーションを
指示するためのナビボタン９５と、再生の一時停止を行
うためのボタン９６（図９では一時停止中であるため
「手本再開」と表示されている）と、訓練を開始し、訓
練者が発声した音声の録音を開始するための練習ボタン
９７と、後に説明する分析処理に移行するための分析ボ
タン９８と、再生速度の変更を行うための速さボタン９
９と、ヘルプ画面を表示するための取り決めごとボタン
１００とが含まれる。

【００５１】動画描画部１４１の描画結果は動画像表示
部９０に表示される。また、音声可視化記号描画部１４
４の描画結果は音声可視化記号表示部９２に表示され
る。再生の制御を行うボタン群９４や一時停止を行うた
めのボタン９６の操作に従って、動画再生、音声再生、
音声可視化記号の色の変更処理は制御される。この処理
については通常の動画像再生処理などと同様であるから
説明を省略する。また、訓練者が発声した音声の録音を
開始するための練習ボタン９７がクリックされた場合に
は、訓練者音声録音部１４５が訓練者が発声した音声の
録音を開始し、訓練者収録音声データ１０５を記憶装置
に格納する。この処理も従来と変わらないのでこれ以上
述べない。訓練者収録音声データ１０５が生成され、分
析ボタン９８がクリックされると、後の述べる分析処理
が実施される。速さボタン９９がクリックされると、例
えば図１０のようなウインドウが表示される。ここで
は、再生速度を通常の再生速度に対する割合（％）の数
値にて入力欄１００１に入力しても良いし、数値バー１
００２のつまみ１００２ａを移動させて通常の再生速度
に対する割合の数値を入力するようにしても良い。更新
ボタン１００３がクリックされると、再生速度設定入力
１０４として話速変換部１３２及びフレーム数変換部１
３１に入力される。閉じるボタン１００４がクリックさ
れると、図１０のウインドウがクローズされる。

【００５２】音声可視化記号表示部９２に表示される音
声可視化記号は、音声の再生に併せて、発声部分を明示
するための色が変更されるようになっている。例えば図
１１（ａ）乃至（ｆ）に示すように、音声可視化記号は
左から順番に、発声部分を明示するために再生済みの部
分に色が塗られてゆく。これにより、聴覚と共に視覚上
においても再生位置の進行を知覚することができ、音声
可視化記号と音声及び動画との対応関係を認識しやすく
なる。なお、発声部分のみについて色の変更を実施する
ことも可能である。この色の変更の速度も、音声再生及
び動画再生に同期するようになっている。また、図１０
のウインドウにて再生速度の変更がなされれば、音声可
視化記号の形状も、指定された再生速度の変更に応じて
変更され、さらに色の変更速度も音声再生に同期される
ので変更される。

【００５３】以上説明した再生速度変換処理部１３０及
び再生・表示処理部１４０の処理フローを図１２にまと
めておく。再生速度変換処理部１３０は、例えば図１０
に示すようなウインドウからの再生速度設定入力１０４
を受け付け、再生速度設定情報を取得する（ステップＳ
４１）。なお、変更がない場合には、通常の再生速度の
設定がなされたものとする。次に、話速変換処理部１３
２は、再生速度設定情報に従って話速変換処理を実施す
る（ステップＳ４３）。この話速変換処理は、上で述べ
たように例えばPitch-Synchronous-Overlap-Add法によ
り実施される。なお、変更がない場合には処理を行わな
いようにしても良い。一方、フレーム数変換部１３１
は、再生速度設定情報に従って動画データ１１２のフレ
ーム数変換処理を実施する（ステップＳ４５）。この処
理についても従来と変わらないのでこれ以上述べない。
なお、再生速度の変更がない場合には処理を行わないよ
うにしても良い。そして、話速変換処理部１３２は、再
生速度設定情報に従って縮張情報１３３を生成する（ス
テップＳ４７）。すなわち、縮張の方法及び縮張の度合
いを示す情報を生成する。なお、縮張の方法については
例えば線形のみの場合には、縮張情報１３３に含める必
要はない。

【００５４】また、縮張情報１３３に基づいて、パラメ
ータ縮張部１３４は、編集済み可視化パラメータ情報１
０３に対してパラメータ縮張処理を実施する（ステップ
Ｓ５１）。すなわち、縮張情報１３３に基づいて、音声
シンボルの位置及び長さ、促音部の位置を変更する。な
お、再生速度の変更がない場合には、処理を行わなくと
も良い。

【００５５】そして、話速変換処理部１３２により生成
された縮張情報１３３に基づいて、同期信号生成部１４
３は動画描画部１４１に対する同期信号１４６ａと、音
声可視化記号描画部１４４に対する同期信号１４６ｂと
を生成する（ステップＳ４９）。この同期信号は、例え
ば所定の周期で生成されるものである。また、音声再生
部１４２が音声再生処理を実施し（ステップＳ５３）、
同期信号１４６ｂに応じて音声可視化記号描画部１４４
は音声可視化記号描画処理を実施し（ステップＳ５
５）、同期信号１４６ａに応じて動画描画部１４１は動
画描画処理を実施する（ステップＳ５７）。ステップＳ
５５及びステップＳ５７においては、処理負荷等により
同期信号に従って表示を行えない場合が生じ得るため、
音声可視化記号描画部１４４又は動画描画部１４１が補
助信号１４７ａ又は１４７ｂを音声再生部１４２に対し
て出力し、音声再生を一時停止させることにより同期を
とる場合もある。

【００５６】なお、音声可視化記号描画部１４４による
音声可視化記号描画処理においては、パラメータ縮張部
１３４により縮張された可視化パラメータ情報に基づき
すべての音声可視化記号を最初に表示し、発声部分を明
確にするため音声再生に従って再生済み部分の色を変更
する処理を実施する。この記号の色を変更する処理が音
声再生及び動画再生と同期される。

【００５７】訓練者は、音声再生、動画再生及び音声可
視化記号の色の変更処理中であっても再生速度の変更を
行うことができる。従って、再生中であっても、再生速
度変換処理部１３０は再生速度設定入力１０４を受け取
ったか監視している。従って、処理が終了するまでステ
ップＳ４１乃至Ｓ５７が繰り返される（ステップＳ５
９）。

【００５８】なお、図１２には示されていないが、訓練
者が練習ボタン９７をクリックすれば訓練者が発声した
音声が訓練者音声録音部１４５にて録音され、訓練者収
録音声データ１０５として記憶装置に格納される。この
訓練者収録音声データ１０５は、以下で説明する分析処
理にて使用される。

【００５９】以上説明したように、訓練者は、音声、動
画及び音声可視化記号により視覚的及び聴覚的に刺激を
受けて、発声訓練のために必要な適切な情報を取得しつ
つ、効果的な発声訓練を行うことができるようになる。
なお、動画の再生がない場合も生じ得る。

【００６０】４．分析処理（図１：ステップＳ７） 分析処理は、訓練者の達成度を分析して、客観的に提示
するための処理である。分析処理の機能ブロック図を図
１３に示す。分析素材データ１５０には、基準音声の音
声データ１１１と、訓練者収録音声データ１０５とが含
まれる。また、評価診断処理部１６０には、訓練者収録
音声データ１０５に対して可視化パラメータ算出処理を
実施する可視化パラメータ算出部１６１と、訓練者の可
視化パラメータ情報１６２と、基準音声の可視化パラメ
ータ情報１０６と訓練者の可視化パラメータ情報１６２
と用いて比較分析処理を実施する比較分析部１６３とが
含まれる。結果表示処理部１７０には、訓練者収録音声
データ１０５と可視化パラメータ算出部１６１により算
出された可視化パラメータ情報とを用いて訓練者の音声
情報を表示する訓練者音声情報描画部１７１と、基準音
声の音声データ１１１と基準音声の可視化パラメータ情
報１０６とを用いて基準音声の音声情報を表示する基準
音声情報描画部１７２と、比較分析部１６３による比較
分析結果を表示する分析結果表示部１７３とが含まれ
る。

【００６１】可視化パラメータ算出部１６１は、可視化
パラメータ算出部１０１と同様であって、各音声シンボ
ルを切り出し、各音声シンボルについて位置、長さ及び
ピッチ、並びにアクセント情報及びＬＰＣケプストラム
係数を抽出し、記憶装置にファイルとして格納する。分
析処理の段階においては、訓練者収録音声データ１０５
に対して可視化パラメータ算出処理を実施し、訓練者の
可視化パラメータ情報１６２を生成する。比較分析部１
６３は、基準音声の可視化パラメータ情報１０６（＝編
集済み可視化パラメータ情報１０３）と訓練者の可視化
パラメータ情報１６２とを用いて、比較分析処理を実施
し、訓練者の音声と基準音声との類似度等を数値にて算
出する。

【００６２】結果表示処理部１７０に含まれる訓練者音
声情報描画部１７１と基準音声情報描画部１７２は、訓
練収録音声データ１０５及び可視化パラメータ算出部１
６１から得られる例えば訓練者の音声波形、音声シンボ
ル、ピッチ、アクセント、フォルマント及びスペクトロ
グラムと、基準音声の音声データ１１１及び基準音声の
可視化パラメータ情報１０６から得られる例えば基準音
声の音声波形、音声シンボル、ピッチ、アクセント、フ
ォルマント及びスペクトログラムとを、対比可能な態様
で表示装置に表示する。また、分析結果表示部１７３
は、比較分析部１６３が算出した基準音声と訓練者の音
声との類似度等の数値及び対応する評価情報などを表示
装置に表示する。

【００６３】図１４に結果表示処理部１７０により表示
された画面例を示す。当該分析結果を表示する画面に
は、基準音声と訓練者音声の音声波形を色を変えて（図
１４では色は変えていない）重ねて表示する表示部分１
４００と、基準音声と訓練者音声の音声シンボルの対応
関係を表示するための表示部分１４０１と、基準音声と
訓練者音声のピッチを色を変えて（図１４では色は変え
ていない）重ねて表示する表示部分１４０２と、基準音
声と訓練者音声のアクセントを色を変えて（図１４では
色は変えていない）重ねて表示する表示部分１４０３
と、波形、音声シンボル、ピッチ、アクセント、フォル
マント、スペクトログラムのいずれの情報を表示するか
を指示するためのチェックボックス群１４０４と、比較
分析部１６３の分析結果を表示するための分析結果表示
部分１４０４と、基準音声と訓練者音声又は基準音声の
み又は訓練者音声のみの情報を表示するか選択するため
のコンボボックス１４０７と、基準音声の再生を行うた
めの手本音声ボタン１４０６と、訓練者音声の再生を行
うための練習音声ボタン１４０８と、表示部分１４００
乃至１４０３の再表示を指示するための再表示ボタン１
４０９と、図１４のウインドウを閉じるための閉じるボ
タン１４１０とが含まれる。なお、図示の都合上フォル
マント及びスペクトログラムについての表示部分につい
ては省略されている。また、表示部分１４００には、基
準音声の音声波形１４００ａと、訓練者音声の音声波形
１４００ｂとが表示される。表示部分１４０２には、基
準音声のピッチ１４０２ａと訓練者音声のピッチ１４０
２ｂとが表示される。さらに、表示部分１４０３には、
基準音声のアクセント１４０３ａと訓練者音声のアクセ
ント１４０３ｂとが表示される。

【００６４】音声波形の表示については、訓練者収録音
声データ１０５及び基準音声の音声データ１１１を用い
て行うことができる。音声シンボルの表示については、
基準音声の可視化パラメータ情報１０６に含まれる音声
シンボルの情報及び訓練者可視化パラメータ情報１６２
に含まれる音声シンボルの情報を用いて行うことができ
る。ピッチの表示については、基準音声の可視化パラメ
ータ情報１０６に含まれるピッチの情報及び訓練者可視
化パラメータ情報１６２に含まれるピッチの情報を用い
て行うことができるし、訓練者収録音声データ１０５及
び基準音声の音声データ１１１を用いても行うことがで
きる。アクセントの表示については、基準音声の可視化
パラメータ情報１０６に含まれるアクセント情報（音声
可視化には直接用いられていない）及び訓練者可視化パ
ラメータ情報１６２に含まれるアクセント情報を用いて
行うことができる。フォルマント及びスペクトログラム
の表示については、訓練者収録音声データ１０５及び基
準音声の音声データ１１１を用いて行うことができる。
これらの単純な表示については従来と同じであるからこ
れ以上述べない。

【００６５】分析結果表示部分１４０４には、総評の点
数とコメント、「手本に沿った発声」といった事項につ
いての点数とコメント、「発声内容（スペクトル包絡構
造の近似）」といった事項についての点数及びコメン
ト、「発声のアクセント（音圧の近似）」といった事項
についての点数及びコメントが含まれる。

【００６６】次に評価診断処理部１６０及び結果表示処
理部１７０の処理フローを図１５乃至図１７を用いて説
明する。まず、可視化パラメータ算出部１６１は、訓練
者収録音声データ１０５に対して可視化パラメータ算出
処理を実施し、生成される訓練者の可視化パラメータ情
報１６２を記憶装置に格納する（ステップＳ６５）。こ
こでは、図３に示した処理及びＬＰＣケプストラム係数
の計算を実施する。そして、比較分析部１６３は、基準
音声の可視化パラメータ情報１０６と訓練者の可視化パ
ラメータ情報１６２とを用いて比較分析処理を実施し、
分析結果を記憶装置に格納する（ステップＳ６７）。こ
の処理については図１６を用いて詳細に説明する。そし
て、分析結果表示部１７３は、比較分析部１６３による
比較分析処理の結果を表示装置に表示する（ステップＳ
６９）。さらに、訓練者音声情報描画部１７１及び基準
音声情報描画部１７２は、訓練者収録音声データ１０５
及び訓練者の可視化パラメータ情報１６２、基準音声の
音声データ１１１及び基準音声の可視化パラメータ情報
１０６を用いて、例えばチェックボックス群１４０４に
おいて指定された項目についての音声のデータを、基準
音声と訓練者音声とを対比可能な態様で表示装置に表示
する（ステップＳ７１）。

【００６７】このようにすることにより図１４のような
表示がなされ、訓練者や訓練者を指導する者は、訓練者
の達成度を数値や音声データの様々な側面で判断するこ
とができるようになる。

【００６８】次に、図１６を用いて比較分析処理の詳細
を説明する。比較分析部１６３は、訓練者の音声シンボ
ルを、時間軸上で早い時間に発声されたものから順に１
つ選択する（ステップＳ７３）。そして、選択された訓
練者の音声シンボルに対し、時間軸上で所定の範囲内
（所定の閾値以内）の位置にある基準音声の音声シンボ
ルを検出する（ステップＳ７５）。そして、この検出さ
れた基準音声の音声シンボルを順に一つ選択する（ステ
ップＳ７７）。ＤＰ法により、選択された訓練者の音声
シンボルと、検出され且つ選択された基準音声の音声シ
ンボルとの距離を算出し、記憶装置に格納する（ステッ
プＳ７９）。なお、ＤＰ法は周知でありここでは詳しく
述べない。距離については、ＬＰＣケプストラム係数に
より算出されるスペクトル構造の距離と、平均音圧の距
離と、シンボルの長さの距離である比較長とが含まれ
る。そして、各比較点数を、算出された距離の情報を用
いて算出する（ステップＳ８１）。各比較点数とは、ス
ペクトル構造の比較点数、音圧の比較点数、総合比較点
数であり、例えば以下の式で算出される。なお、ａから
ｍは定数である。 重み付き比較長＝（ｅｘｐ（比較長×ｊ）−ｋ）×ｍ スペクトル構造の比較点数＝（ｈ−スペクトル構造の距
離／重み付き比較長）×ｉ 音圧の比較点数＝（ｇ−音圧の距離／比較長）×ｈ 音圧比較重み付きのスペクトル構造＝スペクトル構造の
比較点数×log（音圧の比較点数×ｄ＋ｅ）×ｆ 総合比較点数＝音声比較重み付きのスペクトル構造比較
×ａ＋音圧の比較点数×ｂ 算出された各比較点数を音声シンボル毎に、後の使用の
ために記憶装置に格納する（ステップＳ８３）。

【００６９】比較分析部１６３は、ステップＳ７７乃至
Ｓ８３を、ステップＳ７５において検出された基準音声
の音声シンボル全てについて比較点数の算出が行われる
まで実施する（ステップＳ８５）。すなわち、検出され
た基準音声の音声シンボル全てについて比較点数の算出
が行われていない場合にはステップＳ７７に戻り、検出
された基準音声の音声シンボル全てについて比較点数の
算出がなされた場合には、ステップＳ８７に移行する。
ステップＳ８７では、算出した総合比較点数のうち最大
の値を有する基準音声の音声シンボルを、選択された訓
練者の音声シンボルに対応するものとして対応関係を記
憶装置に格納し、音声マッチ数を１インクリメントし、
現音声マッチ数を記憶装置に格納する（ステップＳ８
７）。これにより訓練者の音声シンボルと基準音声の音
声シンボルとの対応関係がわかり、その音声シンボルの
対応関係に応じたスペクトル構造の比較点数、音圧の比
較点数及び総合比較点数が確定する。

【００７０】例えば、図１７（ａ）は基準音声の音声波
形を示し、図１７（ｂ）は基準音声の音声シンボルを示
し、図１７（ｃ）は訓練者音声の音声波形を示し、図１
７（ｄ）は訓練者音声の音声シンボルを示している。こ
こでは基準音声の音声シンボル１７０１と訓練者音声の
音声シンボル１７０２とが対応している。例えば訓練者
音声の音声シンボル１７０３に対し、基準音声の音声シ
ンボル１７０１及び基準音声の音声シンボル１７０３が
時間軸上において所定の範囲内に入るためステップＳ７
７乃至ステップＳ８３の処理がなされる。しかし、基準
音声の音声シンボル１７０１についての総合比較点数が
基準音声の音声シンボル１７０３についての総合比較点
数より大きい値を有するので、訓練者音声の音声シンボ
ル１７０２に対応する基準音声の音声シンボルは１７０
１となる。

【００７１】そして、全ての訓練者の音声シンボルにつ
いて処理を行ったか判断する（ステップＳ８９）。処理
が行われていない訓練者の音声シンボルがある場合には
ステップＳ７３に戻る。また、全ての訓練者の音声シン
ボルについて処理が実施されていれば、各音声シンボル
から算出された比較点数の平均を比較点数の種類毎に算
出し、記憶装置に格納する。また、各比較カテゴリの評
価を決定する（ステップＳ９１）。例えば、「手本に沿
った発声」というカテゴリについては、「音声マッチ数
／基準音声の音声シンボル個数」の値を計算し、例えば
０−４０％については「いまひとつです」という評価を
割り当て、４１−７０％については「まずまずです」と
いう評価を割り当て、７１％−１００％については「良
好です」という評価を割り当てる。このカテゴリによ
り、訓練者が基準音声に対して積極的に発声しているか
判断できる。このカテゴリは図１４の表示部分１４０１
にも表れている。

【００７２】また、「発声内容（スペクトル包絡構造の
近似）」というカテゴリについては、スペクトル構造の
比較点数の平均値に基づき、例えば０／１００−４０／
１００については「いまひとつです」という評価を割り
当て、４１／１００−７０／１００については「まずま
ずです」という評価を割り当て、７１／１００−１００
／１００については「良好です」という評価を割り当て
る。このカテゴリにより、明朗な話し声であるかといっ
た判断ができる。この数値が高ければ訓練者の話す声が
基準音声に近いことになる。従って、この比較点数は訓
練者の向上度合いの尺度となる。なお、このカテゴリ
は、フォルマント及びスペクトログラムに関連してい
る。

【００７３】さらに、「発声のアクセント（音圧の近
似）」というカテゴリについては、音圧の比較点数の平
均値を基づき、例えば０／１００−４０／１００につい
ては「いまひとつです」という評価を割り当て、４１／
１００−７０／１００については「まずまずです」とい
う評価を割り当て、７１／１００−１００／１００につ
いては「良好です」という評価を割り当てる。このカテ
ゴリにより、訓練者音声の音量が基準音声の音量に近い
かといったことを判断することができる。なお、スペク
トル構造の比較点数との関連で、音圧の比較点数に比べ
て、スペクトル構造の比較点数が低い場合には、訓練者
の音声は第三者にとって判別しにくい傾向があり、基準
音声どおりの内容を性格に話せていない可能性があるこ
とがわかる。また、スペクトル構造の比較点数に比べて
音圧の比較点数が低い場合には、訓練者は基準音声の内
容を良好に発声しているが、それに比較すると音量が少
ないことを判断することができる。

【００７４】以上のような処理を実施することにより、
訓練者及び訓練者の指導者は、訓練者の発声の状態を客
観的に認識することができ、更なる練習及び指導を効果
的に実施できるようになる。

【００７５】以上本発明の一実施の形態を説明したが、
本発明はこれに限定されない。例えば、上では失語症患
者等のためのシステムを開示しているが、本発明は外国
語の発声発話練習などにも転用することができる。

【００７６】また、図２、図５、図８及び図１３の機能
ブロック図は、一例であって他の機能ブロック分けを行
うこともできる。また、機能ブロックに対応させてプロ
グラムモジュールを設けなくとも良い。さらに、説明の
都合上同様の機能を有する機能ブロックについても複数
示しているが、一つのモジュールにして共用してもよ
い。また、図６の音声視覚エディタの画面（ウインド
ウ）や、図９の訓練プレイヤー（ウインドウ）や図１４
の分析結果表示画面（ウインドウ）の構成は一例であっ
て、他の順番や配列にて表示するような構成であっても
よい。図１０についても同様である。また、図９におい
て表示される動画像は、基準音声を発声している人物の
動画像であるとしていたが、例えば発声内容に関連する
又は発声をイメージするアニメーションや動画像等であ
ってもよい。

【００７７】

【発明の効果】以上述べたように本発明によれば、発声
発話訓練のための教材データの作成を簡単且つ柔軟に行
うことができるようになる。

【００７８】また、適切な発声発話訓練のために必要な
情報を訓練者に提供可能とすることもできる。

【００７９】さらに、訓練者の能力に応じた発声発話訓
練を可能とすることもできる。

【００８０】さらに、訓練者による発声発話訓練の結果
をより客観的に提示可能とすることもできる。

【図面の簡単な説明】

【図１】本発明の処理フローの概要を示す図である。

【図２】本発明の一実施の形態に係る可視化パラメータ
算出処理の機能ブロック図である。

【図３】本発明の一実施の形態に係る可視化パラメータ
算出処理の処理フローを示す図である。

【図４】（ａ）音声波形、（ｂ）音声シンボル、（ｃ）
音声可視化記号の一例を示す図である。

【図５】本発明の一実施の形態に係る音声可視化記号修
正処理の機能ブロック図である。

【図６】音声可視化記号修正処理において表示されるウ
インドウの一例である。

【図７】本発明の一実施の形態に係る音声可視化記号修
正処理の処理フローを示す図である。

【図８】本発明の一実施の形態に係る再生処理の機能ブ
ロック図である。

【図９】再生処理において表示されるウインドウの一例
を示す図である。

【図１０】再生処理時において再生速度変更を指示する
ためのウインドウの一例を示す図である。

【図１１】音声可視化記号の色の変更を模式的に示す図
である。

【図１２】本発明の一実施の形態に係る再生処理の処理
フローを示す図である。

【図１３】本発明の一実施の形態に係る分析処理の機能
ブロック図である。

【図１４】分析処理において表示されるウインドウの一
例を示す図である。

【図１５】本発明の一実施の形態に係る分析処理の処理
フローを示す図である。

【図１６】比較分析部の処理フローを示す図である。

【図１７】音声シンボルの対応関係の一例を示す図であ
る。

【符号の説明】

１０１ 可視化パラメータ算出部 １１０ 訓練素材
データ １１１ 音声データ １１２ 動画データ １０２ 可視化パラメータ情報 １２０ 記号修正処
理部 １２１ 音声再生部 １２３ 音声可視化記号描画部 １２４ 可視化パラメータ編集部 １０４ 指示入力 １０３ 編集済み可視化パラメータ情報 １３０ 再生速度変換処理部 １３１ フレーム数変
換部 １３２ 話速変換部 １３３ 縮張情報 １３４ パラメータ縮張部 １０４ 再生速度設定入
力 １４０ 再生・表示処理部 １４１ 動画描画部 １４２ 音声再生部 １４３ 同期信号生成部 １４４ 音声可視化記号描画部 １４５ 訓練者音声
録音部 １４８ 指示入力 １０５ 訓練者収録音声データ １５０ 分析素材データ １６１ 評価診断処理部 １６１ 可視化パラメータ算出部 １６２ 訓練者の可視化パラメータ情報 １０６ 基準音声の可視化パラメータ情報 １７０ 結果表示処理部 １７１ 訓練者音声情報描
画部 １７２ 基準音声情報描画部 １７３ 分析結果表示
部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 服部 一郎 神奈川県横浜市中区尾上町２丁目27番 株 式会社アニモ内 Ｆターム(参考） 2C028 AA04 AA06 AA12 BA03 BB04 BC05 BD03 5C052 AB04 DD03 DD04 DD06 EE03 5D045 AB13 (54)【発明の名称】 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のための プログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュー タ・システム

Claims (24)

【特許請求の範囲】
1. 【請求項１】再生速度を動的に変更可能とする手段を含
   む、発声者の動画像及び音声の同期再生手段が組み込ま
   れた発声発話訓練装置。
2. 【請求項２】入力音声データを取得し、記憶装置に格納
   するステップと、 前記入力音声データから、少なくとも当該音声の発声
   長、音程及び促音に対応する、発声練習のための音声可
   視化パラメータを抽出し、記憶装置に格納する音声可視
   化パラメータ抽出ステップと、 前記音声可視化パラメータに従って、発声のタイミン
   グ、発声長、音程及び促音についての情報を図形化し、
   表示装置に表示する表示ステップと、 をコンピュータに実行させるためのプログラム。
3. 【請求項３】前記表示装置に表示された前記発声のタイ
   ミング、発声長、音程及び促音についての情報を表す図
   形を、修正指示に応じて修正して表示するステップと、 修正された図形の位置、長さ及び高さに応じて前記音声
   可視化パラメータを変更し、記憶装置に格納するステッ
   プと、 をさらにコンピュータに実行させるための請求項２記載
   のプログラム。
4. 【請求項４】前記音声パラメータ抽出ステップが、 前記入力音声データの、所定レベル以上の音圧強度を有
   する部分である音声シンボルを切り出すステップと、 切り出された各前記音声シンボルについて時間的な位
   置、長さ及びピッチについての情報を抽出するステップ
   と、 前記入力音声データ中の促音部の位置を検出するステッ
   プと、 を含むことを特徴とする請求項２又は３記載のプログラ
   ム。
5. 【請求項５】前記表示ステップが、 前記音声可視化パラメータのうち発声長に関するパラメ
   ータにより図形の長さを決定するステップと、 前記音声可視化パラメータのうち音程に関するパラメー
   タにより図形の高さを決定するステップと、 前記音声可視化パラメータのうち促音に関するパラメー
   タにより促音の図形の位置を決定するステップと、 を含む請求項２乃至４のいずれか１つ記載のプログラ
   ム。
6. 【請求項６】前記入力音声データの波形を表示するステ
   ップをさらにコンピュータに実行させるための請求項２
   乃至５のいずれか１つ記載のプログラム。
7. 【請求項７】基準音声を出力するための音声再生出力処
   理と、 前記基準音声を発声している人物の動画像を表示装置に
   表示するための動画像再生処理と、 前記基準音声に対応し且つ発声のタイミング、発声長、
   音程及び促音を表す図形を表示し、当該図形の少なくと
   も発声部分の色を変更することにより表示する図形表示
   処理と、 をコンピュータに実行させるためのプログラム。
8. 【請求項８】前記音声再生出力処理と前記動画像再生処
   理と前記図形表示処理とを同期させるための同期処理を
   さらにコンピュータに実行させるための請求項７記載の
   プログラム。
9. 【請求項９】前記図形表示処理が、 前記基準音声の少なくとも発声長、音程及び促音に対応
   する音声可視化パラメータに従って、発声のタイミン
   グ、発声長、音程及び促音についての情報を図形化する
   処理を含む請求項７又は８記載のプログラム。
10. 【請求項１０】前記基準音声の再生速度変更指示におい
    て指定された再生速度に従って、前記基準音声及び前記
    基準音声を発声している人物の動画像の再生速度と、前
    記基準音声に対応し且つ発声のタイミング、発声長、音
    程及び促音を表す図形の形状と、当該図形の色の変更速
    度とを変更するための速度変更処理をさらにコンピュー
    タに実行させるための請求項７乃至９のいずれか１つ記
    載のプログラム。
11. 【請求項１１】前記速度変更処理が、 前記基準音声の少なくとも発声長、音程及び促音に対応
    する音声可視化パラメータを前記指定された再生速度に
    従って変更し、記憶装置に格納する処理を含むことを特
    徴とする請求項１０記載のプログラム。
12. 【請求項１２】前記速度変更処理が、 前記基準音声のデータを前記指定された再生速度に従っ
    て変更し、当該基準音声のデータの縮張内容に関する縮
    張情報を生成する処理と、 生成された前記縮張情報を用いて、前記基準音声の少な
    くとも発声長、音程及び促音に対応する音声可視化パラ
    メータを変更する処理と、 を含む請求項１０記載のプログラム。
13. 【請求項１３】前記速度変更処理を動的に実施すること
    を特徴とする請求項１０乃至１２のいずれか１つ記載の
    プログラム。
14. 【請求項１４】前記同期処理において、 前記基準音声の再生速度変更指示において指定された再
    生速度に対応する縮張情報を用いて、前記発声のタイミ
    ング、発声長、音程及び促音を表す図形の色の変更と、
    前記動画像の再生とを、前記指定された再生速度に応じ
    て変更された前記基準音声の再生に同期させるための情
    報を生成することを特徴とする請求項８記載のプログラ
    ム。
15. 【請求項１５】訓練者が発声した音声データを録音する
    処理をさらにコンピュータに実行させるための請求項７
    乃至１４のいずれか１つ記載のプログラム。
16. 【請求項１６】前記基準音声の音声データから抽出され
    る所定のパラメータと前記訓練者の音声データから抽出
    される所定のパラメータとを用いて、前記訓練者が発声
    した音声と前記基準音声との類似度を分析する分析処
    理、 をさらにコンピュータに実行させるための請求項１５記
    載のプログラム。
17. 【請求項１７】前記訓練者が発声した音声のデータと前
    記基準音声のデータとを所定の事項について比較可能な
    態様にて表示すると共に、前記訓練者が発声した音声と
    前記基準音声との類似度に関する情報を表示する処理を
    さらにコンピュータに実行させるための請求項１６記載
    のプログラム。
18. 【請求項１８】前記分析処理が、 前記訓練者が発声した音声データの、所定レベル以上の
    音圧強度を有する部分である音声シンボルと前記基準音
    声の音声データの音声シンボルとの距離に関する情報を
    所定の方法で算出し、記憶装置に格納する処理と、 算出された前記距離に関する情報を用いて、前記訓練者
    が発声した音声データの音声シンボルと前記基準音声の
    音声データの音声シンボルとの対応関係を検出する処理
    と、 検出された前記対応関係を有する前記訓練者が発声した
    音声データの音声シンボルと前記基準音声の音声データ
    の音声シンボルとの距離に関する情報を用いて、前記訓
    練者が発声した音声と前記基準音声との類似度に関する
    情報を算出し、記憶装置に格納する処理と、 を含む請求項１７記載のプログラム。
19. 【請求項１９】訓練者が発声した音声のデータと基準音
    声のデータとを所定の事項について比較可能な態様にて
    表示する処理と、 前記訓練者が発声した音声のデータの、所定レベル以上
    の音圧強度を有する部分である音声シンボルと前記基準
    音声の音声データの音声シンボルとの距離に関する情報
    を所定の方法で算出し、記憶装置に格納する処理と、 算出された前記距離に関する情報を用いて、前記訓練者
    が発声した音声データの音声シンボルと前記基準音声の
    音声データの音声シンボルとの対応関係を検出する処理
    と、 検出された前記対応関係を有する前記訓練者が発声した
    音声データの音声シンボルと前記基準音声の音声データ
    の音声シンボルとの距離に関する情報を用いて、前記訓
    練者が発声した音声と前記基準音声との類似度に関する
    情報を算出し、表示装置に表示する処理と、 をコンピュータに実行させるためのプログラム。
20. 【請求項２０】前記訓練者が発声した音声のデータにつ
    いて検出された前記対応関係の個数に関する情報を算出
    し、表示装置に表示する処理をさらにコンピュータに実
    行させるための請求項１９記載のプログラム。
21. 【請求項２１】前記訓練者が発声した音声と前記基準音
    声との類似度に関する情報が、 少なくともスペクトル構造に関する類似度と音圧に関す
    る類似度とのいずれかを含むことを特徴とする請求項１
    ９又は２０記載のプログラム。
22. 【請求項２２】入力音声データを取得し、記憶装置に格
    納する手段と、 前記入力音声データから、少なくとも当該音声の発声
    長、音程及び促音に対応する、発声練習のための音声可
    視化パラメータを抽出し、記憶装置に格納する音声可視
    化パラメータ抽出手段と、 前記音声可視化パラメータに従って、発声のタイミン
    グ、発声長、音程及び促音についての情報を図形化し、
    表示装置に表示する手段と、 を有するコンピュータ・システム。
23. 【請求項２３】基準音声を出力するための音声再生出力
    手段と、 前記基準音声を発声している人物の動画像を表示装置に
    表示するための動画像再生手段と、 前記基準音声に対応し且つ発声のタイミング、発声長、
    音程及び促音を表す図形を表示し、当該図形の少なくと
    も発声部分の色を変更することにより表示する図形表示
    手段と、 を有するコンピュータ・システム。
24. 【請求項２４】訓練者が発声した音声のデータと基準音
    声のデータとを所定の事項について比較可能な態様にて
    表示する手段と、 前記訓練者が発声した音声のデータの、所定レベル以上
    の音圧強度を有する部分である音声シンボルと前記基準
    音声の音声データの音声シンボルとの距離に関する情報
    を所定の方法で算出し、記憶装置に格納する手段と、 算出された前記距離に関する情報を用いて、前記訓練者
    が発声した音声データの音声シンボルと前記基準音声の
    音声データの音声シンボルとの対応関係を検出する手段
    と、 検出された前記対応関係を有する前記訓練者が発声した
    音声データの音声シンボルと前記基準音声の音声データ
    の音声シンボルとの距離に関する情報を用いて、前記訓
    練者が発声した音声と前記基準音声との類似度に関する
    情報を算出し、表示装置に表示する手段と、 を有するコンピュータ・システム。