JP2006284645A - 音声再生装置およびその再生プログラムならびにその再生方法 - Google Patents

Abstract

【課題】 ユーザが聞き取りにくかった箇所のみを聞き取りやすい音声で読み上げの対象とする音声再生装置を提供する。
【解決手段】 第１の音声データベースＡ１１と、第２の音声データベースＡ１２と、音声再生部Ａ２１と、音声出力部Ａ２２と、音声切替位置情報を出力する音声切替位置判定部Ａ２３と、読み上げ位置情報を出力する読み上げ位置判定部Ａ２４と、読み上げ要求指示を受付ける指示入力部Ａ２６と、指示入力部Ａ２６に対して読み上げ要求指示が入力された場合、読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については音声再生部Ａ２１に第１、第２の音声データによる音声再生情報を作成させる制御部Ａ２５とを備える音声再生装置および再生プログラムならびにその再生方法である。
【選択図】 図１

Description

本発明は、音声再生装置および音声再生処理をコンピュータに実行させる音声再生プログラムおよび音声再生方法に係り、特にユーザが文書情報の再生内容を聞き取れなかった場合に、音声再生文中の判定位置から読み上げをする音声再生処理に関する。

従来の音声再生装置や音声合成装置における文章読み上げの処理として、以下に示すような方法がある。
（ａ）音声再生処理装置が、ユーザの読み上げ指定位置からテキスト情報に基づいて区切られた単位で巻き戻しを行い、テキスト情報の再発声の開始位置を決定し、再発声の開始位置から音質を変更して読み上げる（例えば、特許文献１）。
（ｂ）情報記録媒体が、ユーザの読み上げ指定位置から発音の節目またはそれら節目の複数に相当する文法的に区切られた単位で巻き戻しを行い、テキスト情報の再発声の開始位置を決定し、より細かく分割された単位で区切られた音声単位で読み上げる（例えば、特許文献２）。

特許文献１によれば、音声再生処理装置は、文書情報を読み出し、区切り位置を設定し、読み上げの要求指示があると、指示の操作時間幅を計測し、計測された操作時間幅と操作時間幅の基準値とを比較して、読み上げ開始位置となる区切り位置を決定する。加えて、音声再生処理装置は、読み上げの最中に、再度読み上げの要求指示があると、前の区切り位置に戻り、その区切り位置から音量や音声の周波数などを変えることにより音質を変えて再生するように音声出力を制御して、音質を変えた音声により再度読み上げることが可能になっている。

また、特許文献２によれば、情報記録媒体は、発音の節目を境に分割された第１音声情報列と、第１音声情報列と等価な単語列で第１音声情報列よりも遅延した発音で構成された第２音声情報列と、第１音声情報列および第２音声情報列が情報記録媒体のどの位置に記録されているかを示す記録位置識別情報から構成された第３音声情報列とを備え、第１音声情報列を第２音声情報列で言い換えて、再度読み上げることが可能になっている。
特開２００１−７５５８３号公報 （第１頁、図１） 特許第２５８１７００号公報 （第１３頁、図１）

しかしながら、特許文献１にみられるような従来の方法（ａ）では、聞き取りにくかった発音の位置を読み上げさせることができないという問題があった。

その理由は、読み上げ位置となる区切り位置が、あらかじめ文書情報によってのみ決定されているためである。

例えば、「The farmers eat fish on Fridays.」といった文の音声を再生する場合を考えてみる。この文を音声再生した場合、英語母国語話者以外の外国語話者に、聞き取りにくいと推測される箇所は、例えば「fish on」の箇所である。

この箇所を個々の単語の発音でみると、

のようになる。各々の単語「fish」、「on」を聞き取れる音声再生処理装置のユーザでも、文中の「fish on」の箇所になると、

「フィシアン」のように聞こえ、聞き取りにくくなると言われている。このように、文字上では離れている２つの単語が文章で読み上げられることによって連結し、単語の切れ目がわからなくなり、全く違う単語のように聞こえることがある。

これは、文における音声の連結の例であるが、ナチュラルスピードの音声再生文中でよくみられる現象である。このような単語の語間の音声連続の影響では、音素の連結のほか、音素の脱落、挿入、同化もしくは、異化などの単語単位での発声と異なる変形の場合が多くある。これらの場合には、何度聞き直しても単語に区切ることができず意味の理解に至らない場合が多々ある。

また、音声連続箇所に限らず、ある母国語話者には、母国語の音声体系から聞き取りにくい外国語の発音箇所が存在することが多い。

一方、特許文献１に示す従来方法では、この文書情報を読み出し、意味・文法的なまとまりを形成する単位を「（）と「」」で囲むと、「（（（The）（farmers））（eat （fish）） （on（Fridays.）））」となる。このまとまりを形成した結果に基づいて、単語単位より大きいまとまりで、ある区切り位置を「／」スラッシュ記号と数字ｎ（エヌ）で表す。

具体的には、／１，／２，．．．．．．， ／ｎでそれぞれ１番目のまとまり、２番目のまとまり、．．．．．．、ｎ番目のまとまりの区切りを表すと、上記の例では「The farmers ／１ eat fish ／２ on Fridays ／３.」となる。もしユーザがFridaysの箇所である「／３」で、読み上げ要求指示をした場合、従来の方法（ａ）では、一つ前の区切り位置である「／２」に戻り位置を決定し、「eat fish」の再度読み上げを行う。

しかし、音声再生処理装置のユーザが実際に聞き取りにくい箇所は、テキスト解析では区切り位置と認定された箇所の音声連続の影響による音素の連結が原因である「fish on」の箇所であるので、従来方法ではそうした発音上の情報を無視した「eat fish」の読み上げとなり、音声再生処理装置のユーザの聞き取りにくさの解消には到らないと考えられる。

第２の問題点は、特許文献２にみられるような従来の方法（ｂ）では、聞き取りにくかった発音の位置のみを読み上げさせることができない点である。

その理由は、読み上げ位置となる区切り位置が、あらかじめテキスト解析情報によってのみ決定されているためである。

例えば、「The farmers eat fish on Fridays.」といった文の音声を再生する場合を再度考えてみる。この文を音声再生した場合、英語母語話者以外の外国語話者に聞き取りにくいと推測される箇所は、例えば「fish on」の箇所である。

ここで、従来の方法（ｂ）によると、文法的なまとまりや、発音の区切りによってそれぞれ「The farmers ／１ eat fish ／２ on Fridays ／３.」や「The farmers ／１ eat fish on Fridays.」のように区切られた第１音声情報列と、第１音声情報列と等価な単語列で第１音声情報列よりも遅延した発音で構成された第２音声情報列があり、第１音声情報列と第２音声情報列の同期を第３音声情報列でとっている。もしユーザがFridaysの箇所で、読み上げ要求指示をした場合、従来の方法（ｂ）では、同期をとった文頭または「／１」に戻り位置を決定し、第１音声情報列よりも遅延した発音で読み上げを行う。

この場合、情報記録媒体のユーザが実際に聞き取りにくい箇所である「fish on」の箇所も第１音声情報列よりも遅延した発音で読み上げの対象となり、ユーザの聞き取りにくさの解消になると考えられるが、文法的なまとまりや、発音の区切りまで必ず戻って読み上げるため、聞き取りにくい対象のみを読み上げることにならない。例えば、文法的なまとまりや、発音の区切りが長い文の場合、聞き取りにくかった箇所以外の他の箇所も全て遅延した発音で読み上げされるため、聞き取りにくかった箇所に行き着くまでに時間がかかり、ユーザにリスニングの負担が余計にかかると考えられていた。

そこで本発明の目的は、上記の問題点に鑑みて考案されたもので、読み上げの際にユーザが聞き取りにくかった箇所のみを聞き取りやすい音声で読み上げの対象とすることを可能にする音声再生装置を提供することである。

上記目的を達成するために、本発明の第１の発明は、音声データに示される音声読み上げをする音声再生装置であって、
発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し出力する音声再生部と、
前記音声再生情報にしたがって音声を出力する音声出力部と、
前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御部と、
を備える音声再生装置である。

第２の発明は、読み上げ対象となるテキストの情報を音声読み上げをする音声再生装置であって、
単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
前記読み上げ対象となるテキストの情報を記憶しているコーパスと
前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成して、出力する解析部と、
前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し出力する音声再生部と、
前記音声再生情報にしたがって音声を出力する音声出力部と、
前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御部と、
を備えるものである。

第３の発明は、音声データに示される音声読み上げをする音声再生装置であって、
発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
前記中央演算装置の演算処理を制御する音声再生プログラムと、
前記音声再生プログラムを記憶するメモリーと
を備え、
前記中央演算装置は、
前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し、
前記音声再生情報にしたがって音声を出力し、
音声再生プログラムは、
前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記中央演算装置に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御をする
ものである。

第４の発明は、読み上げ対象となるテキストの情報を音声読み上げをする音声再生装置であって、
単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
前記読み上げ対象となるテキストの情報を記憶しているコーパスと
第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
前記中央演算装置の演算処理を制御する音声再生プログラムと、
前記音声再生プログラムを記憶するメモリーと
を備え、
前記中央演算装置は、
前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成し
前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し、
前記音声再生情報にしたがって音声を出力し、
音声再生プログラムは、
前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御をする
ものである。

第５の発明は、前記記憶装置が、前記読み上げ要求指示が行われて発音が聞き取り困難な箇所の、最近傍の箇所をマークして、マークした箇所を記憶するマーク格納部を備えたものである。

第６の発明は、前記マーク格納部が、マークした箇所のファイルのファイル名と、前記ファイルの位置と、マーキングのマーク種と、前記ファイルの特徴を示す付加情報とからなるテーブルを有するものである。

第７の発明は、前記音声出力部は、前記音声切替位置情報により、再生音声をより細かな単位で区切って再生するものである。

第８の発明は、前記音声出力部は、前記音声切替位置情報により、再生音声の周波数を変えて再生するものである。

第９の発明は、前記音声出力部は、前記音声切替位置情報により、再生音声の速度を前記通常読み上げ音声よりも遅くして再生するものである。

第１０の発明は、前記読み上げ要求位置の判定には、読み上げ対象となるテキスト情報をポーズで区切った結果を用いるものである。

第１１の発明は、前記音声再生装置が、前記読み上げ要求位置の判定および、前記読み上げ要求位置のうち前記音声切替位置をマーク格納部に記憶し、複数の前記読み上げ要求位置とそのうちの前記音声切替位置を選択して、前記読み上げ要求位置と前記音声切替位置とのみを飛び飛びに連続して再生するものである。

第１２の発明は、前記音声再生装置が、前記読み上げ要求指示が、同じ前記読み上げ要求位置で複数回あるときに、前記読み上げ要求位置の表示および同じ前記読み上げ要求位置のうち前記音声切替位置の開始位置および終了位置の両方もしくは一方を表示するものである。

第１３の発明は、前記音声再生装置が、前記読み上げ要求位置のうち前記音声切替位置の判定をした後に、同様の前記音声切替位置を持つ別の前記音声切替位置を判定して再生するものである。

第１４の発明は、前記音声再生部は、前記第１の音声情報列と前記第２の音声情報列とを用いて音声再生を行う代わりに、前記第１の音声情報列と前記第２の音声情報列とを用いて音声合成を行う音声合成機能を有するものである。

第１５の発明は、音声データに示される音声読み上げさせる音声再生プログラムであって、
発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
前記音声再生プログラムを記憶するメモリーと
を備えた前記音声再生装置に、前記音声再生プログラムが記憶され、
前記音声再生プログラムは、
前記音声再生装置のユーザからの読み上げ要求指示を受け付けるステップと、
前記読み上げ要求指示に基づいて、読み上げ要求指示位置を計算して読み上げ要求位置情報を作成するステップと、
前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成するステップと、
前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成するステップと、
前記第１および第２の音声データを用いて音声を再生するための音声再生情報を作成するステップと、
前記音声再生情報にしたがって音声を出力するステップと、
を有し、
前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声データおよび第２の音声データによる前記音声再生情報を作成させる制御をする
音声再生プログラムである。

第１６の発明は、読み上げ対象となるテキストの情報を音声読み上げさせる音声再生プログラムであって、
単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
前記読み上げ対象となるテキストの情報を記憶しているコーパスと
第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
前記音声再生プログラムを記憶するメモリーと
を備えた前記音声再生装置に、前記音声再生プログラムが記憶され、
前記音声再生プログラムは、前記音声再生装置のユーザからの読み上げ要求指示を受け付けるステップと、
前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成するステップと、
前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成するステップと、
前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成するステップと、
前記テキストの情報および第１の音声情報列ならびに第２の音声情報列を用いて、音声を再生するための音声再生情報を作成するステップと、
前記音声再生情報にしたがって音声を出力するステップと、
を有し、
前記音声再生プログラムは、
前記中央演算装置に対して読み上げ要求指示が入力されない場合には、前記中央演算装置に前記第２の音声情報列による音声再生情報を作成させ、前記中央演算装置に対して読み上げ要求指示が入力された場合には、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声情報列および前記第２の音声情報列による前記音声再生情報を作成させる制御をする
プログラムである。

第１７の発明は、音声データに示される音声読み上げをする音声再生方法であって、
発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し出力する音声再生部と、
前記音声再生情報にしたがって音声を出力する音声出力部と、
前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御部と、
を備え、音声再生する音声再生方法である。

第１８の発明は、読み上げ対象となるテキストの情報を音声読み上げをする音声再生方法であって、
単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
前記読み上げ対象となるテキストの情報を記憶しているコーパスと
前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成して、出力する解析部と、
前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し出力する音声再生部と、
前記音声再生情報にしたがって音声を出力する音声出力部と、
前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御部と、
を備え、音声再生する方法である。

第１９の発明は、音声データに示される音声読み上げをする音声再生方法であって、
発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
前記中央演算装置の演算処理を制御する音声再生プログラムと、
前記音声再生プログラムを記憶するメモリーと
を備え、
前記中央演算装置は、
前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し、
前記音声再生情報にしたがって音声を出力し、
音声再生プログラムは、
前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記中央演算装置に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御をする
方法である。

第２０の発明は、読み上げ対象となるテキストの情報を音声読み上げをする音声再生方法であって、
単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
前記読み上げ対象となるテキストの情報を記憶しているコーパスと
第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
前記中央演算装置の演算処理を制御する音声再生プログラムと、
前記音声再生プログラムを記憶するメモリーと
を備え、
前記中央演算装置は、
前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成し
前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し、
前記音声再生情報にしたがって音声を出力し、
音声再生プログラムは、
前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御をする
方法である。

第２１の発明は、前記記憶装置が、前記読み上げ要求指示が行われて発音が聞き取り困難な箇所の、最近傍の箇所をマークして、マークした箇所を記憶するマーク格納部を備えた方法である。

本発明では、読み上げ区間のための区切りとして、発音が聞き取り困難な箇所の区切りと、意味や文法的なまとまりの区切りとの２種類の区切りを用意して、音声再生装置のユーザが指示した読み上げ要求位置から聞き取りにくかった発音箇所を推定して、発音が聞き取り困難な箇所の区切り区間は音質を変更して読み上げを行なう。その際に、読み上げ全体の戻り位置は、意味や文法的なまとまりの区切りまで巻き戻しを行い、上記の発音が聞き取り困難な箇所以外は元の音質（通常読み上げ音声）での読み上げを行なう。

このように本発明によれば、音声再生装置のユーザが、意味や文法のまとまりでコンテクスト（文脈）を把握しながら、聞き取りにくい箇所のみをわかりやすい音声で効率的に聞くができる。

本発明によれば、読み上げの際にユーザが聞き取りにくかった箇所のみを聞き取りやすい音声で読み上げの対象とする音声再生装置および再生プログラムならびにその再生方法を得られる。

本発明を実施するための形態について図面を参照して詳細に説明する。

図１は、本発明の第１の実施形態である音声再生装置の構成例を示すブロック図である。

図１を参照すると、第１の実施形態の音声再生装置は、音声データを記憶する記憶装置Ａ１と、記憶装置Ａ１に記憶された音声データを用いて音声を再生するデータ処理装置Ａ２とを備えて構成され、記憶装置Ａ１とデータ処理装置Ａ２とは互いに接続されている。この音声再生装置は、音声データに示される音声読み上げをする機能を有する。

記憶装置Ａ１は、発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の音声の第１の音声データを記憶（格納）している第１の音声データベース（以下、音声データベース１と称する）Ａ１１と、第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報や音声の区切りであるポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶（格納）している第２の音声データベース（以下、音声データベース２と称する）Ａ１２とを備えて構成されている。

音声データベース１Ａ１１と、音声データベース２Ａ１２とは、互いに同期のとれており、音声データベース１Ａ１１に記憶された第１の音声データの要求があった場合には、音声データベース２Ａ１２に記憶されておりかつ要求があった第１の音声データと同じ音声情報を有する第２の音声データも同期して出力される。

また、音声データベース２Ａ１２に記憶された第２の音声データの要求があった場合には、音声データベース１Ａ１１に記憶されておりかつ要求があった第２の音声データと同じ音声情報を有する第１の音声データも同期して出力される。

また、音声データベース１Ａ１１に第１の音声データが記憶される場合には、第１の音声データと同じ音声情報を有する第２の音声データも音声データベース２Ａ１２に同期して記憶される。

また、音声データベース２Ａ１２に第２の音声データが記憶される場合には、第２の音声データと同じ音声情報を有する第１の音声データも音声データベース１Ａ１１に同期して記憶される。

データ処理装置Ａ２は、記憶装置Ａ１に記憶された第１、第２の音声データを用いて音声を再生するための音声再生情報を作成し出力する音声再生部Ａ２１と、音声再生部Ａ２１からの音声再生情報にしたがって音声を出力する音声出力部Ａ２２と、音声データベース１Ａ１１に記憶された第１の音声データを用いて再生する音声の音質を変更・切替する位置（これを、音声切替位置と称する）を判定して音声切替位置情報として出力する音声切替位置判定部Ａ２３と、音声データベース２Ａ１２に記憶された第２の音声データと音声切替位置判定部Ａ２３からの音声切替位置情報とを用いて音声を再生して読み上げをする音声の開始位置（戻り位置）と音声の停止位置とを判定し読み上げ位置情報として出力する読み上げ位置判定部Ａ２４と、音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部Ａ２６と、指示入力部Ａ２６に対して読み上げ要求指示が入力されない場合には、音声再生部Ａ２１に第２の音声データによる音声再生情報を作成させ、指示入力部Ａ２６に対して読み上げ要求指示が入力された場合には、読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については音声再生部Ａ２１に第１および第２の音声データによる音声再生情報を作成させる制御部Ａ２５とを備えて構成されている。

音声再生部Ａ２１は制御部Ａ２５および音声出力部Ａ２２ならびに記憶装置Ａ１に接続されており、制御部Ａ２５は音声切替位置判定部Ａ２３および読み上げ位置判定部Ａ２４ならびに指示入力部Ａ２６に接続されている。音声切替位置判定部Ａ２３および読み上げ位置判定部Ａ２４は記憶装置Ａ１に接続されており、音声切替位置判定部Ａ２３と読み上げ位置判定部Ａ２４とは互いに接続されている。

制御部Ａ２５は、指示入力部Ａ２６から得た読み上げ要求指示と、音声再生部Ａ２１から出力された音声再生情報とを、音声切替位置判定部Ａ２３と読み上げ位置判定部Ａ２４とに送出し、音声切替位置判定部Ａ２３から得られた音声切替位置情報と読み上げ位置判定部Ａ２４から得られた読み上げ位置情報とを音声再生部Ａ２１に送り、再度再生する読み上げ音声の情報を制御する機能を有する。

この制御部Ａ２５の制御により、指示入力部Ａ２６に対して読み上げ要求指示が入力されない場合には、音声再生部Ａ２１に第２の音声データによる音声再生情報を作成させ、指示入力部Ａ２６に対して読み上げ要求指示が入力された場合には、読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記音声再生部Ａ２１に第１および第２の音声データによる音声再生情報を作成させる。

次に、図１に示した第１の実施形態の音声再生装置の動作について、図２を参照して詳細に説明する。

図２は、記憶装置Ａ１内に記憶された音声データベース１Ａ１１の第１の音声データと音声データベース２Ａ１２の第２の音声データとを用いて、音声再生装置のユーザが聞き取りにくかった箇所の読み上げをする音声再生装置の動作例について示したフローチャートである。

図２を参照すると、まず、音声再生装置のユーザが指示入力部Ａ２６に対して聞き取りにくかった箇所の読み上げを要求・指示し、これに応じて指示入力部Ａ２６がユーザが聞き取りにくかった箇所の読み上げの要求指示を受け付ける（ステップＳ１１）。

次に、読み上げ要求指示を受け付けた指示入力部Ａ２６は、この受け付けを制御部Ａ２５に転送し、制御部Ａ２５は、指示入力部Ａ２６からの読み上げ要求指示と音声再生部Ａ２１からの音声再生情報とに基づいて、通常読み上げ音声のテキスト中から読み上げ要求指示位置を計算して判定する読み上げ要求位置の判定を行う（ステップＳ１２）。

ここで、読み上げ要求位置の判定を行うに当たっては、判定処理の方法は適宜定めるとよい。例えば、ユーザの読み上げ要求指示があった箇所から、予め計測された音声再生装置の通常読み上げ音声時の再生音声の平均話速に基づくか、ユーザが読み上げ要求指示を出す際の指示操作所要平均時間などに基づいて、ある一定の時間長やある一定の音節数または音素数分を読み上げ要求位置を予め決めておいて、この決めた一定の時間長やある一定の音節数または音素数分だけ遡った位置を読み上げ要求位置としてもよい。

また、別の例では、音声再生装置に接続された図示しないコンピュータがあり、このコンピュータの表示装置（ディスプレイ）の画面上のテキスト上で位置を示すカーソルというマークが置かれた位置を読み上げ要求位置としてもよい。

また、読み上げ対象となる通常読み上げ音声のテキスト中のテキスト情報（これは、音声データベース２Ａ１２に記憶された通常読み上げ音声の第２の音声データ）をポーズで区切った結果を用いることでもよい。

続いて、制御部Ａ２５は、判定された読み上げ要求位置の情報を音声切替位置判定部Ａ２３に送る。

音声切替位置判定部Ａ２３は、制御部Ａ２５から受け取った読み上げ要求位置の情報と音声データベース１Ａ１１に記憶された発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の音声の第１の音声データとを用いて、読み上げ要求位置から遡って一番近くかつ発音が聞き取り困難な箇所（区間）を読み上げ中の音声切替位置の開始位置として判定して、読み上げ要求位置を過ぎて聞き取り困難な箇所の終了する箇所を音声切替位置の終了位置として判定して、音声切替位置（音声切替区間）情報として出力する（ステップＳ１３）。

音声切替位置判定部Ａ２３は、音声切替位置判定部Ａ２３から出力された音声切替位置情報と制御部Ａ２５で判定された読み上げ要求位置の情報とを読み上げ位置判定部Ａ２４に転送する。

読み上げ位置判定部Ａ２４は、これらの転送された情報と、記憶装置Ａ１に要求して得られた音声データベース２Ａ１２内の意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データとを用いて、音声切替位置よりも遡って遠い位置にありかつ読み上げ要求位置から一番近く、意味や文法的なまとまりである区切り位置を探して、読み上げ開始の戻り位置として判定する。

さらに、音声切替位置および読み上げ要求位置を過ぎて最も近い意味や文法的なまとまりである区切り位置を読み上げ終了位置と判定して、この読み上げ開始の戻り位置と読み上げ終了位置とで決まる区間を読み上げ区間(位置)として判定し、読み上げ位置情報として音声再生部Ａ２１に出力する（ステップＳ１４）。

ここで、読み上げ要求位置から遡って一番近い音声切替位置と、意味や文法的なまとまりである区切り位置とが同じであった場合、読み上げ位置判定部Ａ２４は、音声切替位置を読み上げ開始の戻り位置として判定する。

また、音声切替位置および読み上げ要求位置が、音声切替位置および読み上げ要求位置を過ぎてから最も近い意味や文法的なまとまりである区切り位置と同じであった場合、読み上げ位置判定部Ａ２４は、音声切替位置および読み上げ要求位置を読み上げの終了位置として判定する。

この読み上げ開始の戻り位置と読み上げ終了位置とで決まる区間を読み上げ区間として判定する。

なお、ステップＳ１３とステップＳ１４は、その判定の順序を前後逆に行っても構わない。

この場合、読み上げ位置判定部Ａ２４は、ステップＳ１２において制御部Ａ２５で判定された読み上げ要求位置と、記憶装置Ａ１に要求して得られた音声データベース２Ａ１２内の意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データとを用いて、読み上げ要求位置から一番近い意味や文法的なまとまりである区切り位置を読み上げ要求位置から遡って探して、読み上げ開始の戻り位置として判定する。

さらに、読み上げ要求位置を過ぎた最も近い意味や文法的なまとまりである区切り位置を読み上げ終了位置と判定して、この読み上げ開始の戻り位置と読み上げ終了位置とで決まる区間を読み上げ区間(位置)として判定し、読み上げ位置情報として音声切替位置判定部Ａ２３に出力する。

このステップの後、読み上げ位置判定部Ａ２４から読み上げ位置情報を受け取った音声切替位置判定部Ａ２３は、この読み上げ位置情報と、音声データベース１Ａ１１に記憶された発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の音声の第１の音声データとを用いて、読み上げ開始の戻り位置から読み上げ要求位置に向かって読み上げ要求位置に一番近くかつ発音が聞き取り困難な箇所（区間）を読み上げ中の音声切替位置の開始位置として判定して、読み上げ要求位置を過ぎて聞き取り困難な箇所の終了する箇所を音声切替位置の終了位置として判定して、音声切替位置（音声切替区間）情報として読み上げ位置情報と共に、制御部Ａ２５を介して音声再生部Ａ２１に出力する。

この読み上げの要求指示に基づいた判定によって音声再生部Ａ２１は、音声データベース２Ａ１２内に格納している通常読み上げ音声の第２の音声データを音声再生部Ａ２１を経由して受け取り、読み上げ開始の戻り位置からこの通常読み上げ音声で読み上げを開始する（ステップＳ１５）。

さらに、通常読み上げ音声での読み上げ中に、音声切替位置判定部Ａ２３で判定された音声切替位置に達すると、音声出力部Ａ２２は、音声切替区間を音声データベース１Ａ１１に格納している聞き取りしやすい音質の第１の音声データを音声再生部Ａ２１を経由して受け取り、この聞き取りしやすい音質の音声に切り替えて読み上げをする（ステップＳ１６）。

記音声出力部Ａ２２は、聞き取りしやすい音質の音声に切り替える際しては、音声切替位置情報により、再生音声を通常読み上げ音声よりもより細かな単位で区切って再生してもよいし、再生音声の周波数を変えて再生してもよいし、再生音声の速度を通常読み上げ音声よりも遅くして再生してもよい。

最後に、読み上げ要求位置を過ぎて最も近い意味や文法的なまとまりである区切り位置に達すると、音声出力部Ａ２２は、読み上げを停止し（ステップＳ１７）、音声再生装置はユーザの読み上げ要求指示に基づいた音声再生動作を終了する。

ここで、読み上げ要求位置に達する前および読み上げ要求位置において、音声切替終了位置に達した場合は、音声出力部Ａ２２は、その音声切替終了位置より後の位置から音声データベース２Ａ１２内に格納している通常読み上げ音声の第２の音声データを音声再生部Ａ２１を経由して受け取り、この通常読み上げ音声での読み上げを再度開始する。読み上げ要求位置を過ぎて最も近い意味や文法的なまとまりである区切り位置に達すると、音声出力部Ａ２２は、読み上げを停止し（ステップＳ１７）、音声再生装置はユーザの読み上げ要求指示に基づいた音声再生動作を終了する。

次に、本発明の第２の実施形態である音声再生装置について説明する。

図３は、本発明の第２の実施形態である音声再生装置の構成例を示すブロック図である。

図３を参照すると、第２の実施形態の音声再生装置は、辞書およびテキスト情報を記憶する記憶装置Ｂ１と、記憶装置Ｂ１に記憶された辞書およびテキスト情報を用いて音声を再生するデータ処理装置Ｂ２とを備えて構成され、記憶装置Ｂ１とデータ処理装置Ｂ２とは互いに接続されている。この音声再生装置は、読み上げ対象となるテキストの情報を音声読み上げをする機能を有する。

記憶装置Ｂ１は、単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶（格納）している発音辞書Ｂ１１と、意味および文法よりなる第２の辞書情報を記憶（格納）している意味・文法辞書Ａ１２と、読み上げ対象となるテキストの情報を記憶（格納）しているコーパスＢ１３とを備えて構成されている。

データ処理装置Ｂ２は、図１に示した音声再生装置のデータ処理装置Ａ２と同様の機能を有する各部として、音声を再生するための音声再生情報を作成し出力する音声再生部Ｂ２１と、音声再生部Ｂ２１からの音声再生情報にしたがって音声を出力する音声出力部Ｂ２２と、第１の辞書情報を用いて再生する音声の音質を変更・切替する位置（これを、音声切替位置と称する）を判定して音声切替位置情報として出力する音声切替位置判定部Ｂ２３と、第２の辞書情報と音声切替位置判定部Ｂ２３からの音声切替位置情報とを用いて音声を再生して読み上げをする音声の開始位置（戻り位置）と音声の停止位置とを判定し読み上げ位置情報として出力する読み上げ位置判定部Ｂ２４と、音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部Ｂ２６と、音声再生部Ｂ２１と音声切替位置判定部Ｂ２３と読み上げ位置判定部Ｂ２４とを制御する制御部Ｂ２５とを備えていることに加え、発音辞書Ｂ１１に記憶された第１の辞書情報と意味・文法辞書Ｂ１２に記憶された第２の辞書情報とよって、コーパスＢ１３に記憶された読み上げ対象となるテキストの情報の内容を解析して、この解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げよりなる第２の音声情報列とを作成し、出力する解析部Ｂ２７を備えている。

制御部Ｂ２５は、指示入力部Ｂ２６に対して読み上げ要求指示が入力されない場合には、音声再生部Ｂ２１に第２の音声情報列による音声再生情報を作成させ、指示入力部Ａ２６に対して読み上げ要求指示が入力された場合には、読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記音声再生部Ｂ２１に第１および第２の音声情報列による音声再生情報を作成させる。

本実施形態においては、図１に示した記憶装置Ａ１を用いる代わりに、図３に示したような記憶装置Ｂ１を用い、図１に示したデータ処理装置Ａ２を用いる代わりに、図３に示したようなデータ処理装置Ｂ２を用いて、音声再生を行う。

なお、音声再生部Ｂ２１は、解析部Ｂ２７からの聞き取りしやすい第１の音声情報列と通常読み上げよりなる第２の音声情報列とを用いて音声再生を行う代わりに、解析部Ｂ２７からの聞き取りしやすい第１の音声情報列と通常読み上げよりなる第２の音声情報列とを用いて音声合成を行う機能を有する音声合成部であってもよい。

この場合、この音声合成部は、このようにして音声合成された音声を音声出力部Ｂ２２に出力し、音声出力部Ｂ２２は、この音声合成された音声により図１の音声出力部Ａ２２と同様に読み上げを行う。

尚、本実施の形態において、各ステップの処理を行うための制御をハードウェアの動作として行わせるのみでなく、音声再生装置の各構成部位を制御して処理を行わせる音声再生プログラムによって行ってもよい。

次に、図２、図３および図４を参照して、本実施の形態の動作を詳細に説明する。

第２の実施形態の音声再生装置は、図１および図２に示した第１の実施形態の記憶装置Ａ１内で音声データベース１Ａ１１と音声データベース２Ａ１２とのような音声データベースを用いる代わりに、図２に示したように、発音辞書Ｂ１１に記憶された第１の辞書情報および意味・文法辞書Ｂ１２に記憶された第２の辞書情報とを用いて、コーパスＢ１３のテキスト情報を解析することで、音声データベース１Ａ１１に記憶された第１の音声データと同様の発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の音声よりなる第１の音声情報列および音声データベース２Ａ１２に記憶された第２の音声データと同様の意味や文法的なまとまりの情報や音声の区切りであるポーズ単位のまとまり情報が付与された通常読み上げ音声よりなる第２の音声情報列を作成することが可能となり、この第１の音声情報列および第２の音声情報列を利用することによって、図２に示したステップＳ１５以降と同様の読み上げが行われる。この第２の実施形態の音声再生装置の動作について、図４に示すフローチャートにより説明する。

図３および図４を参照すると、音声再生装置のユーザが聞き取りにくかった箇所の読み上げを指示入力部Ｂ２６に対して要求・指示し、これに応じて指示入力部Ｂ２６がユーザが聞き取りにくかった箇所の読み上げの要求指示を受け付ける。

この読み上げの要求指示を受け付けた指示入力部Ｂ２６は、この読み上げの要求指示の受け付けを制御部Ｂ２５および音声再生部Ｂ２１を経由して、解析部Ｂ２７に転送する。

転送された読み上げの要求指示を受けた解析部Ｂ２７は、読み出し対象のコーパスＢ１３に格納された読み上げ対象となるテキストの情報を記憶装置Ｂ１から取り出す（ステップＳ２１）。

次に、解析部Ｂ２７は、コーパスＢ１３から取り出されたこのテキスト情報を、意味・文法辞書Ｂ１２に格納された意味および文法よりなる第２の辞書情報によって解析することで、意味や文法的なまとまりの情報や音声の区切りであるポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声情報列が得られる（ステップＳ２２）。

なお、第１の実施の形態と同様、前記読み上げ要求位置の判定の際には、読み上げ対象となるテキスト情報をポーズで区切った結果を用いることができる。

解析部Ｂ２７は、意味および文法よりなる第２の辞書情報によって解析した結果をさらに、発音辞書Ｂ１１に格納された単語の発音情報や聞き取りの困難な発音の第１の辞書情報によって解析する。この発音辞書Ｂ１１には、英語母語話者以外の外国語話者に特に聞き取りにくいと推測されるパターンの第１の辞書情報が格納されている。

これらの解析部Ｂ２７の解析によって、テキスト情報に例えば音素列や韻律情報、音声波形、音声などの発音の情報や聞き取りの困難な発音の情報を付与することで、発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列が得られ（ステップＳ２３）、解析部Ｂ２７の解析は終了する。

なお、ステップＳ２２とステップＳ２３は、その解析の順序を前後逆に行っても構わない。

このように解析部Ｂ２７の解析によって得られた第１の音声情報列は、第１の実施形態の音声データベース１Ａ１１における第１の音声データと同様の情報となっており、本実施形態においても図２に示したフローチャートと同様の手順において用いられる。

例えば、音声切替位置判定部Ａ２３が音声切替位置の判定を行う際には、第１の音声データの代わりに第１の音声情報列を用いて、図２のステップ１３で行った判定処理と同様の音声切替位置の判定を行うことができる。

また、このように解析部Ｂ２７の解析によって得られた第２の音声情報列は、第１の実施形態の音声データベース２Ａ１２における第２の音声データと同様の情報となっており、本実施形態においても図２に示したフローチャートと同様の手順において用いられる。

例えば、読み上げ位置判定部Ａ２４が読み上げ位置の判定を行う際には、第２の音声データの代わりに第２の音声情報列を用いて、図２のステップＳ１４で行った判定処理と同様の読み上げ位置の判定を行うことができる。

このようにして、本実施形態の音声再生装置も、図２に示したものと同様の手順により第１の実施形態と同様の処理を行い、音声再生を行うことができる。

尚、本実施の形態において、各ステップの処理を行うための制御をハードウェアの動作として行わせるのみでなく、音声再生装置の各構成部位を制御して処理を行わせる音声再生プログラムによって行ってもよい。

次に、本発明の第３の実施形態である音声再生装置について説明する。

図５は、本発明の第３の実施形態である音声再生装置の構成例を示すブロック図である。

図５を参照すると、第３の実施形態の音声再生装置は、音声データを記憶する記憶装置Ｃ１と、記憶装置Ｃ１に記憶された音声データを用いて音声を再生するデータ処理装置Ｃ２と、データ処理装置Ｃ２の動作を制御する音声再生プログラムＣ３とを備えて構成され、、音声再生装置は音声再生プログラムＣ３により動作し、記憶装置Ｃ１とデータ処理装置Ｃ２とは互いに接続されている。

記憶装置Ｃ１は、図１に示した記憶装置Ａ１と同様、第２の音声データベースＣ１２と互いの同期がとれており発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の音声の第１の音声データを記憶（格納）している第１の音声データベース（以下、音声データベース１と称する）Ｃ１１と、音声データベース１Ｃ１１と互いの同期がとれており意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶（格納）している第２の音声データベース（以下、音声データベース２と称する）Ｃ１２とを備えて構成されている。

データ処理装置Ｃ２は、図１に示したデータ処理装置Ａ２と同様の機能を有し、記憶装置Ｃ１に記憶された第１、第２の音声データに基づいて、音声再生を行うことができ、データ処理装置Ｃ２の構成は、図１に示したデータ処理装置Ａ２の制御部Ａ２５などの各構成部位の機能を一括して有し、演算処理する中央演算装置Ｃ２１と、データ処理装置Ｃ２の動作を制御する音声再生プログラムＣ３を記憶するためのメモリーＣ２２とを備えている。

音声再生プログラムＣ３は、データ処理装置Ｃ２のメモリーＣ２２に読み込まれて、データ処理装置Ｃ２の中央演算装置Ｃ２１およびメモリーＣ２２並びに記憶装置Ｃ１の動作を制御し、記憶装置Ｃ１内の音声データベース１Ｃ１１や音声データベース２Ｃ１２の内容を問い合わせたり、受け取ったりして図２に示したフローチャートと同様のデータ処理を行うための制御をする。

中央演算装置Ｃ２１は音声再生プログラムＣ３により、音声再生装置のユーザからの読み上げ要求指示を受け付けて（図２のステップＳ１１と同様）、この読み上げ要求指示に基づいて、通常読み上げ音声のテキスト中から読み上げ要求指示位置を計算して読み上げ要求位置情報を作成し（図２のステップＳ１２と同様）、第１の音声データを用いて再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成する（図２のステップＳ１３と同様）。

次に、中央演算装置Ｃ２１は、第２の音声データと音声切替位置情報とを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成した（図２のステップＳ１４と同様）後、第１および第２の音声データを用いて音声を再生するための音声再生情報を作成して、音声再生情報にしたがって音声を出力する（図２のステップＳ１５〜ステップＳ１７と同様）。

尚、この音声切替位置情報の作成と、読み上げ位置情報の作成とは、その作成の順序を前後逆に行っても構わない。

音声再生プログラムＣ３は、中央演算装置Ｃ２１に対して読み上げ要求指示が入力されない場合には、中央演算装置Ｃ２１に第２の音声データによる音声再生情報を作成させ、中央演算装置Ｃ２１に対して読み上げ要求指示が入力された場合には、読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については中央演算装置Ｃ２１に第１および第２の音声データによる音声再生情報を作成させる制御をすることで、中央演算装置Ｃ２１に音声再生を行わせている。

このようなデータ処理装置Ｃ２の動作を制御する音声再生プログラムＣ３により、図２に示した処理と同様の演算処理を中央演算装置Ｃ２１にて行い、処理結果を音声出力することができる。

尚、この音声再生プログラムＣ３は、第１の実施形態で言及した音声再生プログラムと同様であり、第１の実施形態の音声再生装置の各構成部位の代わりに中央演算装置Ｃ２１などの構成部位を制御して処理を行わせる音声再生のための処理を行うプログラムである。

次に、本発明の第４の実施形態である音声再生装置について説明する。

図６は、本発明の第４の実施形態である音声再生装置の構成例を示すブロック図である。

図６を参照すると、第４の実施形態の音声再生装置は、辞書情報およびテキスト情報を記憶する記憶装置Ｄ１と、記憶装置Ｄ１に記憶された辞書情報およびテキスト情報を用いて音声を再生するデータ処理装置Ｄ２と、データ処理装置Ｄ２の動作を制御する音声再生プログラムＤ３とを備えて構成され、記憶装置Ｄ１とデータ処理装置Ｄ２とは互いに接続されている。

記憶装置Ｄ１は、図３に示した記憶装置Ｂ１と同様、単語の発音情報や聞き取りの困難な発音の情報である第１の辞書情報を記憶（格納）している発音辞書Ｄ１１と、意味や文法情報である第２の辞書情報を記憶（格納）している意味・文法辞書Ｄ１２と、読み上げ対象となるテキストの情報を記憶（格納）しているコーパスＤ１３とを備えて構成されている。

データ処理装置Ｄ２は音声再生プログラムＤ３により、図３に示したデータ処理装置Ｂ２と同様の機能を有し、記憶装置Ｄ１に記憶された辞書情報およびテキスト情報に基づいて音声再生を行うことができ、データ処理装置Ｄ２の構成は、図３に示したデータ処理装置Ｂ２の制御部Ｂ２５などの各構成部位の機能を一括して有し、演算処理する中央演算装置Ｄ２１と、データ処理装置Ｄ２の動作を制御する音声再生プログラムＤ３を記憶するためのメモリーＤ２２とを備えている。

再生プログラムＤ３は、データ処理装置Ｄ２のメモリーＤ２２に読み込まれて、データ処理装置Ｄ２の中央演算装置Ｄ２１およびメモリーＤ２２並びに記憶装置Ｄ１の動作を制御し、記憶装置Ｄ１内の発音辞書Ｄ１１、意味・文法辞書Ｄ１２およびコーパスＤ１３の内容を問い合わせたり、受け取ったりして図２、図４に示したフローチャートと同様のデータ処理を行うための制御をする。

尚、この音声再生プログラムＤ３は、第２の実施形態で言及した音声再生プログラムと同様であり、第２の実施形態の音声再生装置の各構成部位の代わりに中央演算装置Ｄ２１などの構成部位を制御して処理を行わせる音声再生のための処理を行うプログラムである。

中央演算装置Ｄ２１は音声再生プログラムＣ３により、音声再生装置のユーザからの読み上げ要求指示を受け付けて、第１の辞書情報と、第２の辞書情報とよって、テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成する。

次に、中央演算装置Ｄ２１は、第１の音声情報列を用いて再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、第２の音声情報列と前記音声切替位置情報とを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成する。

尚、この音声切替位置情報の作成と、読み上げ位置情報の作成とは、その作成の順序を前後逆に行っても構わない。

中央演算装置Ｄ２１は、テキストの情報および第１の音声情報列ならびに第２の音声情報列を用いて、音声を再生するための音声再生情報を作成したのち、音声再生情報にしたがって音声を出力する。

音声再生プログラムＤ３は、中央演算装置Ｄ２１に対して読み上げ要求指示が入力されない場合には、中央演算装置Ｄ２１に第２の音声情報列による音声再生情報を作成させ、中央演算装置Ｄ２１に対して読み上げ要求指示が入力された場合には、読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については中央演算装置Ｄ２１に前記第１および第２の音声情報列による音声再生情報を作成させる制御をすることで、中央演算装置Ｃ２１に音声再生を行わせている。

このようなデータ処理装置Ｄ２の動作を制御する音声再生プログラムＤ３により、図２、図４に示した処理と同様の演算処理を中央演算装置Ｄ２１にて行い、処理結果を音声出力することができる。

次に、第１の実施形態の具体的な動作を実施例を用いて説明する。

ここに示す実施例１では、例えば、「The farmers eat fish on Fridays.」といった文の音声を再生する場合を想定する。

図１および図２で示したように記憶装置Ａ１内に記憶された音声データには、音声データベース１Ａ１１に記憶された第１の音声データと、音声データベース２Ａ１２に記憶された第２び音声データとの２種類のデータがある。

なお音声データは、発音に関する情報を含んでおり、この発音に関しては、一般的に発音記号によって表現されることが多いので、この本実施例においても英英辞典、英和辞書などでよく用いられている発音記号を使用するとよく、音声再生部Ａ２１は、この音声データの発音記号に応じてこの発音記号を読みとり、この発音記号の読み取りに応じて音声出力部Ａ２２は音声を出力するようにするとよい。

音声データベース１Ａ１１に記憶された第１の音声データは、発音が聞き取り困難な箇所を示す音声データ（情報）が記憶されるとともに、この発音が聞き取り困難な箇所を示す音声データに対応してこの箇所の発音を聞き取りしやすい音質の音声にした音声データが記憶されている。

例えば、音声データベース１Ａ１１には、上に示した「The farmers eat fish on Fridays.」の「fish on」の区間（箇所）が音声データとして、発音が聞き取り困難なままの音声で記憶されており、これと共に「fish on」の区間（箇所）を聞き取りやすい音質の音声にした音声データが記憶されている。

ここで、読み上げを行うある区切り開始位置を、「＜」カギ括弧開き記号およびアルファベットｐ（ピー）ならびに数字１〜ｎ（エヌ）で表すものと定義する。すなわち、＜ｐ１，＜ｐ２，．．．，＜ｐｎで、１番目の区切り開始位置、２番目の区切り開始位置、．．．、ｎ番目の区切り開始位置をそれぞれ表すものとする。

また同様に、１番目の区切り開始位置、２番目の区切り開始位置、．．．、ｎ番目の区切り開始位置の各区に対応するそれぞれ区切りの終了位置を、それぞれ「＞」カギ括弧閉じ記号で表すものと定義する。

このように定義することで、１番目の読み上げ区切り区間（この読み上げ区切り区間は、通常読み上げ音声で読み上げる区間もしくは発音が聞き取り困難な区間と同じことを意味し、この各区間単位で読み上げを行うことになる）は＜ｐ１＿＿＿＿＿＿＞と示すことができ、以下同様に、２番目の読み上げ区切り区間は＜ｐ２＿＿＿＿＿＿＞と示し、ｎ番目の読み上げ区切り区間は＜ｐｎ＿＿＿＿＿＿＞と示すことができる。

上記の「The farmers eat fish on Fridays.」の文に、上で定義したこれらの記号を付与すると、「fish on」は１番目の読み上げを行う区切り区間であるから、「The farmers eat ＜ｐ１ fish on＞ Fridays.」となる。

そして、音声データベース１Ａ１１には、通常読み上げ音声で読み上げる区間のうちの発音が聞き取り困難な区間として「fish on」が発音が聞き取り困難なままの音声で記憶されており、これと共に「fish on」を聞き取りやすい音質の音声にした音声データが対（組）になって第１の音声データとして記憶されている。

音声データベース２Ａ１２には、既に説明したように、意味や文法的なまとまりの情報が付与された通常読み上げ音声を第２の音声データとして記憶している。

音声データベース２Ａ１２内に記憶された第２の音声データには、従来方法（ａ）と同様に、この文章情報を読み出し、意味や文法的なまとまりを形成する単位で表すものとする。

ここで、意味や文法的なまとまりを形成するある区切り位置を「／」スラッシュ記号およびアルファベットｓ（エス）ならびに数字１〜ｎ（エヌ）で表す。例えば、／ｓ１，／ｓ２，．．．， ／ｓｎで、それぞれ１番目の文法・意味のまとまり、２番目の文法・意味のまとまり、．．．ｎ番目の文法・意味まとまりの区切りを表す。

本実施例の文例では、１番目の文法・意味のまとまりが「The farmers」でありこれを「The farmers／ｓ１」と表し、２番目の文法・意味のまとまりが「eat fish」でありこれを「eat fish／ｓ２」と表し、３番目の文法・意味のまとまりが「on Fridays 」でありこれを「on Fridays／ｓ３」と表した結果、音声データベース２Ａ１２には、「The farmers／ｓ１ eat fish／ｓ２ on Fridays／ｓ３.」といった意味や文法のまとまり区切りの付与された通常読み上げ音声の第２の音声データが記憶（格納）されている。

次に、音声再生装置における読み上げ要求位置の判定方法の一例について、図７を用いて説明する。

まず、データ処理装置Ａ２において、通常読み上げの再生音声の速度から再生される発話の平均速度（例えば、音声再生装置の通常読み上げ音声時の再生音声の平均話速は、６音節／秒）を予め計算しておき、この話速の平均計算結果を記憶装置Ａ１もしくはデータ処理装置Ａ２に記憶させておく（ステップＳ３１）。

この話速の平均計算結果は、必要に応じてデータ処理装置Ａ２において使用する。

次に、再生音声を聴いているユーザが、指示入力部Ａ２６に接続された後述するリモートコントローラーのキーボタン（図１６参照）を押すもしくは、指示入力部Ａ２６に接続された後述する集音装置（図１６参照）から発声指示をするなどの手段を用いて、聞き取りにくかった箇所「fish on」をその箇所より短時間過ぎた時点、例えば「Fridays」／fraideiz／の「ai」の位置を通過した時に読み上げの要求指示をしたとする。

指示入力部Ａ２６は、キーボタンなどを介してこのユーザからの読み上げの要求指示を受け付け（受理す）る（ステップＳ３２）。

このユーザからの読み上げの要求指示を受け付けた指示入力部Ａ２６は、この要求指示を受け付けた後、要求指示を制御部Ａ２５に転送する。この要求指示の受け付けに基づいて、制御部Ａ２５は、ユーザが指示入力部Ａ２６に読み上げの要求指示を入力した時刻の判定を行うことで、いつ読み上げ要求指示があったかを判定する（ステップＳ３３）。

制御部Ａ２５は、ステップＳ３３で判定した指示入力時の時刻に基づいて、指示入力部Ａ２６からの読み上げ要求指示と音声再生部Ａ２１からの音声再生情報とを用い、ユーザからの読み上げの要求指示に対応したテキスト中の音声再生位置を計算して判定する（ステップＳ３４）。

この読み上げ要求位置の判定は、ユーザが読み上げ要求指示を行った時点で、音声再生装置が、現在テキスト（文）のどの部分を読み上げているかを音声再生部Ａ２１からの音声再生情報を用いて判定していることに他ならない
次に、制御部Ａ２５は、予め計算され記憶装置Ａ１に記憶された平均話速と所定の指示操作所要平均時間とから、テキスト中の読み上げ要求位置を計算、判定する（ステップＳ３５）。

ここで、データ処理装置Ａ２における読み上げ要求位置の計算処理は、適宜定めてよい。例えば、ユーザの平均話速が６音節／秒であり、予め決められた所定の指示操作所要平均時間が０．１秒であったとき、読み上げ要求指示があった箇所から１音節遡った位置を読み上げ要求位置としてもよい。

ここで、ユーザの読み上げ要求指示は、「Fridays」／fraideiz／の／ai／の位置であるから、テキスト情報からそれより１音節分遡った位置を推測して、

位置を読み上げ要求位置と判定し、制御部Ａ２５に判定結果を送る。

読み上げ要求位置判定方法の他の実現方法の一例としては、再生音声を聴いているユーザが、キーボタンを押したり、集音装置を通して発声指示をするなどの手段を用いて、聞き取りにくかった箇所をその箇所より短時間過ぎた時点である、例えば「Fridays」／fraideiz／の／ai／の位置（箇所）で読み上げの要求指示をしたとしたとき、この読み上げの要求指示を出した時刻より所定の時間、例えば０．５秒遡った箇所を、読み上げ要求位置と判定してもよい。

次に、別の読み上げ要求位置判定方法の一例について、図８を参照して説明する。

図８は、図１、図３などに示した音声再生装置に接続された図示しないコンピュータがあり、このコンピュータの表示装置（ディスプレイ）の表示状態を示したものである。

表示装置には、ユーザが音声再生装置に読み上げをさせようとしているテキスト（文）（図８中では、Every day the man で始まる英文）が表示されており、例えば表示装置の画面上のテキスト（文）中で位置を示す細長い四角のマーク■といったカーソルが置かれた位置を次の読み上げ対象の読み上げ要求位置と判定する。図８中では、Alice.とSheとの間にカーソル■が位置しており、実際の表示装置の画面上ではこのカーソル■が点滅して読み上げ要求位置を示している。

ここで、ユーザが読み上げをさせようとしているテキスト（文）は、コンピュータの表示画面上に表示する代わりに音声テキストにして、何らかの音声の位置を示す音声マークをカーソル■の代わりに利用してもよい。

このようにして、図２のステップＳ１２で示した音声再生装置における読み上げ要求位置の判定が行われる。

次に、読み上げの音声切替位置の判定方法の一例について、図９を参照して説明する。

まず、図７で示したフローチャートの手順によって、制御部Ａ２５により判定された読み上げ要求位置「on」の情報は、制御部Ａ２５から音声切替位置判定部Ａ２３に転送され、音声切替位置判定部Ａ２３は、この読み上げ要求位置を受理する（ステップＳ４１）。

音声切替位置判定部Ａ２３は、制御部Ａ２５から転送された読み上げ要求位置「on」の情報に加え、記憶装置Ａ１の音声データベース１Ａ１１に記憶された発音が聞き取り困難な箇所の音声の音声データ（情報）「The farmers eat ＜ｐ１ fish on＞ Fridays.」を読み出す（ステップＳ４２）。

音声切替位置判定部Ａ２３は、読み上げ要求位置「on」から一番近い発音が聞き取り困難な箇所の１番目の区切り開始位置「＜ｐ１」を読み上げ中の音声切替開始位置と計算すると共に、１番目の区切り開始位置「＜ｐ１」に対応する区切り終了位置「＞」を音声切替終了位置と計算する（ステップＳ４３）。

音声切替位置判定部Ａ２３は、これらの計算結果により、音声切替開始位置と音声切り替え終了位置とで決定される区間を音声切替区間（音声切替位置）として判定する（ステップＳ４４）。

音声切替位置判定部Ａ２３は、このステップＳ４１〜Ｓ４４の手順で判定された結果を御御部Ａ２５に送る。

このようにして、図２のステップＳ１３で示した音声再生装置における読み上げの音声切替位置の判定が行われる。

続いて、読み上げ区間(位置)の判定方法の一例について、図１０を用いて説明する。

まず、読み上げ位置判定部Ａ２４は、制御部Ａ２５より図７で判定された読み上げ要求位置の情報を受理すると共に、音声切替位置判定部Ａ２３より図９で判定された音声切替位置（音声切替区間）の情報を受理する（ステップＳ５１）。

読み上げ位置判定部Ａ２４は、受理した読み上げ要求位置「on」の情報および音声切替開始位置「＜ｐ１」から音声切替終了位置「＞」までの音声切替区間情報に加えて、記憶装置Ａ１の音声データベース２Ａ１２内から音声から意味や文法的なまとまりの情報が付与された第２の音声データの情報「The farmers ／ｓ１ eat fish ／ｓ２ on Fridays ／ｓ３.」を読み出す（ステップＳ５２）。

さらに読み上げ位置判定部Ａ２４は、読み上げ要求位置「on」から一番近い音声切替開始位置「＜ｐ１」から音声切替終了位置「＞」までの音声切替区間よりも遠い位置にあり、意味や文法的なまとまりである区切り位置「／ｓ１」を読み上げ開始の戻り位置として計算する。

また読み上げ位置判定部Ａ２４は、音声切替開始位置「＜ｐ１」から音声切替終了位置「＞」までの音声切替区間および読み上げ要求位置「on」を過ぎて最も近い意味や文法的なまとまりである区切り位置「／ｓ３」を読み上げ終了位置として計算する（ステップＳ５３）。

これらの計算結果により、読み上げ位置判定部Ａ２４は、読み上げ区間の判定（決定）をする（ステップＳ５４）。

このようにして、図２のステップＳ１４で示した音声再生装置における読み上げ区間の判定が行われる
読み上げ位置判定部Ａ２４は、この読み上げ区間の判定結果を制御部Ａ２５に送る。

最後に、制御部Ａ２５は、読み上げ位置判定部Ａ２４から送られた読み上げ区間の判定結果に基づいて、音声再生部Ａ２１を経て音声出力部Ａ２２に対して読み上げ（音声再生）の指示を出す。

音声再生の指示を制御部Ａ２５から受けた音声再生部Ａ２１は、判定された戻り位置「／ｓ１」より通常読み上げ音声の第２の音声データを記憶している音声データベース２Ａ１２内の音声を音声出力部Ａ２２に送り、この通常読み上げ音声で「eat」と読み上げを開始する。

さらに、通常読み上げ音声での読み上げ（音声再生）中に、判定された音声切替開始位置「＜ｐ１」に達すると、音声切替開始位置「＜ｐ１」から始まる音声切替区間を音声データベース１Ａ１１内に記憶されている聞き取りしやすい音質の音声の第２の音声データによって音声切替終了位置「＞」まで「fish on」と読み上げをする。

ここで、聞き取りしやすい音質の音声を作成する方法としては、例えば元の音質の音声では音素連続となっており「フィシアン」のように聞こえやすい「fish on」の箇所をより細かな単語ごとの単位、例えば「fish」「on」とそれぞれの単語音声に区切って読むことで、読み上げの際に聞き取りやすいようにする。

また、聞き取りしやすい音質の音声を格納している音声データベース１内の音声で出力する際には、音声切替区間内では、音声出力部Ａ２２から出力する音声のボリュームを大きくしたり、通常読み上げ音声よりも音声の速度を緩やかなものにして、音質を変更してあってもよい。

最後に、ユーザが読み上げ要求指示した位置「on」を過ぎて、「Fridays」と読み上げて最も近い意味や文法的なまとまりである区切り位置「／ｓ３」に達すると、音声再生装置は読み上げを停止し、ユーザの読み上げ要求指示による読み上げ動作を終了する。

ここで、本実施例では読み上げ要求位置で音声切替終了位置に達したので、その位置より後「Fridays」から、通常読み上げ音声を格納している音声データベース２Ａ１２内の第２の音声データの音声で読み上げを再度開始し、読み上げ要求位置「on」を過ぎて最も近い意味や文法的なまとまりである区切り位置「／ｓ３」に達して、音声再生装置は読み上げを停止し、ユーザの読み上げ要求指示による読み上げ動作を終了している。

次に、第２の実施形態のより詳細かつ具体的な動作を、図３、図４を用いて実施例２により説明する。

例えば、第２の実施形態の場合の動作と同様に、「The farmers eat fish on Fridays.」といった文の音声を再生する場合を想定する。

図３、図４に示したように記憶装置Ｂ１内には、図１、図２に示した記憶装置Ａ１内の音声データベース１Ａ１１に格納されている第１の音声データおよび音声データベース２Ａ１２に格納されている第２の音声データの代わりに、発音辞書Ｂ１１に格納されている発音情報や聞き取りの困難な発音の第１の辞書情報と、意味・文法辞書Ｂ１２に格納されている意味や文法情報である第２の辞書情報と、コーパスＢ１３に格納されている読み上げ対象となるテキストの情報とが格納されている。

まず、解析部Ｂ２７は、コーパスＢ１３に記憶されている読み上げ対象となるテキスト情報を読み出す。ここでは、具体的に「The farmers eat fish on Fridays.」というテキストの情報をコーパスＢ１３から読み出す。

次に解析部Ｂ２７は、読み出されたテキストの情報を意味・文法辞書Ｂ１２に記憶された意味や文法の第２の辞書情報を用いてテキスト情報の解析を行い、意味や文法的なまとまりの情報が付与された通常読み上げよりなる第２の音声情報列を作成する。

ここで、テキスト情報の解析方法は適宜定めるとよい。

例えば、自然言語処理技術で用いられている一般的な方法の一つとして、自然言語で書かれた文書を、意味を持つ最小の言語単位（例えば、単語単位）である形態素に分割し、各形態素の品詞を見分ける形態素解析がある。

また、自然言語処理技術で用いられている一般的な別の方法として、意味・文法解析を行い、意味や文法的なまとまりを第２の音声情報列として明示する方法がある。

解析部Ｂ２７で解析を行う際には、これらの方法を用いるとよい。

次に、意味・文法辞書Ｂ１２の一例を、図１１を用いて説明する。図１１は、記憶装置Ｂ１の意味・文法辞書Ｂ１２に記憶された第２の辞書情報の内容を示す説明図である。

図１１の上方は、：コロン記号で区切られており、行の左から順に、０００１で始まる連番よりなるインデックス、その連番の右側に語彙の単語文字列、その単語文字列の右側に名詞、前置詞などの単語文字列の品詞を示すアルファベット記号（記号Ｎは名詞、記号Ｐは前置詞を示す）、そのアルファベット記号の右側に単語文字列の意味素性（動物（animal）や、人（human）、機能語（func）など各語彙の意味や属性）がそれぞれの行に記されることで情報が付与されている。

各語彙１つ１つは、それぞれ最も小さなまとまりを成す最小構成単位である。

このようにして、図から分かるように例えば、インデックス０９８２の行には、「on」という単語文字列が記載されており、この語彙「on」は、記号Ｐから前置詞であることが分かり、意味素性「func」から語彙「on」が機能語であることが分かる。

次に、図１１の下方は、先頭がアルファベットで始まる行が記されている。

これらの記載された行は、語彙の統合規則を格納している行である。

例えば、品詞Ｓは、品詞Ｎ（記号Ｎは、名詞であることを示している）と、品詞Ｖ（記号Ｖは、動詞であることを示している）とが、この順に並んだときに一つのまとまりを成している。

これを、第１行目では、Ｓ：＝Ｎ，Ｖ のように表記している。同様に第３行目では、ＰＰ：＝Ｐ，Ｎと表記されており、これは、品詞ＰＰは、品詞Ｐ（記号Ｐは、前置詞であることを示している）と、品詞Ｎ（記号Ｎは、名詞であることを示している）とが、この順に並んだときに一つのまとまりを成していることを示している。

第５行目では、ＶＰ：＝Ｐ，ＰＰと表記されており、これは、品詞ＶＰは、品詞Ｐ（記号Ｖは、前置詞であることを示している）と、品詞ＰＰとが、この順に並んだときに一つのまとまりを成していることを示している。

解析結果の一例として、「The farmers eat fish on Fridays.」というテキストの情報を意味・文法的なまとまりを形成する単位として「（）と「」」で囲むと、「（（（The） （farmers）） （eat （fish）） （on （Fridays.）））」」となり、このテキスト情報の解析に基づいて、単語単位より大きいまとまりで、ある区切り位置を「／」スラッシュ記号と数字ｎ（エヌ）で表す。例えば、／１，／２，．．．，／ｎで、１番目のまとまり、２番目のまとまり、．．．ｎ番目のまとまりのそれぞれの区切りを表すと、「The farmers ／１ eat fish ／２ on Fridays ／３.」となる。

このテキスト情報を解析した結果を発音辞書Ｂ１１に記憶された第１の辞書情報を用いてさらに解析し、この解析の結果からテキスト情報に、発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列を発音情報として付与する。

発音辞書Ｂ１１の一例を、図１２を用いて説明する。図１２は、記憶装置Ｂ１の意味・文法辞書Ｂ１１に記憶された第１の辞書情報の内容を示す説明図である。

図１２は、図の上方の行の左から順に、０００１で始まる連番よりなるインデックス、その連番の右側に語彙の単語文字列、その単語文字列の右側に単語文字列の発音を発音記号で示した音素列がそれぞれの行に記されることで情報が付与されている。

このようにして、図の上方から分かるように例えば、インデックス０９８２の行には、「on」という単語文字列が記載されており、この単語文字列「on」の発音が、その右側の発音記号で示された音素列で分かる。

その他に、発音辞書Ｂ１１には、必要に応じてイントネーションやアクセントを示す韻律情報、音声波形、発音記号に対応した音声などの発音情報が付与されていてもよい。

次に図中下方に示したように、発音辞書Ｂ１１内でインデックスがＮで始まるものは発音の困難な箇所を表している。

図の下方の行の左から順に、冒頭に記号Ｎを付し０００１で始まる連番よりなるインデックス、そのインデックスの右側に発音の困難な箇所の文字列、その文字列の右側に発音の困難な箇所の発音を発音記号で示した音素列がそれぞれの行に記され、発音情報が付与されている。

ここで、発音の困難な箇所は、全ての文字列が表示されているのではなく、単語内である任意の文字列が任意の数続く場合を含む場合には「＊」アスタリスク記号を用いて表現される。例えば、「an＊」と表示されている場合、この文字列は「and」でも「angelus」でもありうる。この発音の困難な箇所は、テキストを読み上げる文読みの情報でもあり、単語単位で読んだ場合とテキスト（文）の単位で読んだ場合では、発音の困難な箇所が異なることが多い。

この発音の困難な箇所は、一般的に発音が聞き取りにくい箇所でもある。これらの発音辞書Ｂ１１の第１の辞書情報に基づいて、コーパスＢ１３のテキスト情報を発音記号で表した音素列に置き換えることができる。

例えば、それぞれの単語の文字列からその発音を音素列に置換したもの

を作成し、文読みの情報、例えば音素連続の情報によりある文字列間の音を変形させた結果、例えば、「fish on」の「＊sh on」の箇所が

に連続した音素列

を表示する。さらに、図１２に示した発音の困難な箇所の情報Ｎ０００１「＊sh on」の情報を用いて判定する。

このとき例えば、テキスト（文）中のある区切り開始位置を「＜」カギ括弧開き記号およびアルファベットｐ（ピー）ならびに数字ｎ（エヌ）で表す。このようにして、＜ｐ１，＜ｐ２，．．．，＜ｐｎで、それぞれ１番目の区切り開始位置、２番目の区切り開始位置、．．．ｎ番目の区切り開始位置を表す。またそれぞれの区切り開始位置に対応する区切り終了位置を「＞」カギ括弧閉じ記号で表す。

上記の「The farmers eat fish on Fridays.」の文にこれらの記号を付与すると「The farmers eat ＜ｐ１ fish on＞ Fridays.」となり、聞き取りやすい音質の音声が「fish on」の区間発音辞書Ｂ１１に格納されている。

こうして解析部Ｂ２７により解析された結果によって第１の音声情報列および第２の音声情報列が作成された後、実施例１の動作と同様に、再生音声を聴いているユーザが、聞き取りにくかった箇所に対して読み上げの要求指示をした際に、音声再生装置は、読み上げ要求位置の判定を行うことで取りにくかった箇所の推定をし（図７参照）、音声を切り替えて読み上げをする音声区間の判定をし（図９参照）、読み上げ音声区間の判定（図１０）を行う。

ただし、実施例１と異なる点は、発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声である第１の音声データを格納している音声データベース１Ａ１１と、意味や文法的なまとまりの情報が付与された通常読み上げ音声である第２の音声データを格納している音声データベース２Ａ１２とを用いる代わりに、上記の解析結果を用いる点である。

次に、第１の実施形態および第２の実施形態の動作を図１３〜図１６を用いて、実施例３を詳細に説明する。

例えば、英語で書かれた「The farmers eat fish on Fridays.」といった文を、英語を母国語としない話者が聞き取り練習に利用する学習の場合を想定する。

図１３を参照すると、音声再生装置は、音声データを記憶する記憶装置Ｅ１と、記憶装置Ｅ１に記憶された音声データを用いて音声を再生するデータ処理装置Ｅ２とを備えて構成され、記憶装置Ｅ１とデータ処理装置Ｅ２とは互いに接続されている。

記憶装置Ｅ１は、互いの同期のとれており発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の音声の第１の音声データを記憶（格納）している第１の音声データベース（以下、音声データベース１と称する）Ｅ１１と、互いの同期のとれており意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶（格納）している第２の音声データベース（以下、音声データベース２と称する）Ｅ１２とを備えているほか、ユーザが読み上げ要求指示を行った箇所の最近傍の聞き取りにくい箇所を記憶するマーク格納部Ｅ１３を備えて構成されている。

データ処理装置Ｅ２は、記憶装置Ｅ１に記憶された第１、第２の音声データを用いて音声を再生するための音声再生情報を作成し出力する音声再生部Ｅ２１と、音声再生部Ｅ２１からの音声再生情報にしたがって音声を出力する音声出力部Ｅ２２と、音声データベース１Ｅ１１に記憶された第１の音声データを用いて再生する音声の音質を変更・切替する位置（これを、音声切替位置と称する）を判定して音声切替位置情報として出力する音声切替位置判定部Ｅ２３と、音声データベース２Ｅ１２に記憶された第２の音声データと音声切替位置判定部Ｅ２３からの音声切替位置情報とを用いて音声を再生して読み上げをする音声の開始位置（戻り位置）と音声の停止位置とを判定し読み上げ位置情報として出力する読み上げ位置判定部Ｅ２４と、音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部Ｅ２６と、音声再生部Ｅ２１と音声切替位置判定部Ｅ２３と読み上げ位置判定部Ｅ２４とを制御する制御部Ｅ２５とを備えて構成されている。

ここで、第１の実施形態の音声再生装置と異なる点は、記憶装置Ｅ１にマーク格納部Ｅ１３が設けられたことであり、その他の構成品は構成・機能・動作などが第１の形態の音声再生装置と同じである。

例えば、音声データベース１Ｅ１１には、英語母語話者以外の外国語話者に、特に、聞き取りにくいと推測される箇所、例えば「fish on」の箇所が、聞き取りやすい音質の音声で情報と共に格納されており、図１で示した音声データベース１Ａ１１と同様の機能・動作となっている。

このような第１の形態の音声再生装置と同じ部分の説明については、説明を省略する。

マーク格納部Ｅ１３は、ユーザが読み上げ要求指示を行った箇所の最も近い聞き取りにくい箇所をマークして、マークした箇所を記憶する機能を有している。
マーク格納部Ｅ１３には、各々音声データベース１Ｅ１１および音声データベース２Ｅ１２のマークした箇所のファイル名、ファイルもしくはファイル中の位置、重要度を求めるためのマーキングの回数、マーキングのマーク種、ファイルの特徴などを示す付加情報などが格納されている。

このマーク格納部Ｅ１３の格納テーブルの一例を、図１５に示す。

図は、左欄から順に、ファイル名の欄、ファイルの位置の欄、マーキングのマーク種の欄、ファイルの特徴などを示す付加情報の欄を示す。ここでは、ファイル名がＡＢＣであり、ファイルの位置は１２８バイト目であり、マーク種は＊＊＊（アスタリスク記号３個）であり、付加情報としてＴＯＥＩＣ用といったコメントが格納されていることが読み取れる。
ファイルの位置は音声データベース１Ｅ１１、音声データベース１Ｅ１１の場合、バイトの代わりに時間で表示することが一般的である。

また、図１４に示したような音声再生装置も実現可能である。

図１４は、音声再生装置の構成例を示すブロック図である。

図１４を参照すると、音声再生装置は、辞書情報およびテキスト情報を記憶する記憶装置Ｆ１と、記憶装置Ｆ１に記憶された辞書情報およびテキスト情報を用いて音声を再生するデータ処理装置Ｆ２とを備えて構成され、記憶装置Ｆ１とデータ処理装置Ｆ２とは互いに接続されている。

記憶装置Ｆ１は、単語の発音情報や聞き取りの困難な発音の情報を第１の辞書情報として記憶（格納）している発音辞書Ｆ１１と、意味や文法情報を第２の辞書情報として記憶（格納）している意味・文法辞書Ｆ１２と、読み上げ対象となるテキストの情報を記憶（格納）しているコーパスＦ１３とを備えているほか、ユーザが読み上げ要求指示を行った箇所の最近傍の聞き取りにくい箇所を記憶するマーク格納部Ｆ１４を備えて構成されている。

データ処理装置Ｆ２は、音声を再生するための音声再生情報を作成し出力する音声再生部Ｆ２１と、音声再生部Ｆ２１からの音声再生情報にしたがって音声を出力する音声出力部Ｆ２２と、第１の辞書情報を用いて再生する音声の音質を変更・切替する位置（これを、音声切替位置と称する）を判定して音声切替位置情報として出力する音声切替位置判定部Ｆ２３と、第２の辞書情報と音声切替位置判定部Ｆ２３からの音声切替位置情報とを用いて音声を再生して読み上げをする音声の開始位置（戻り位置）と音声の停止位置とを判定し読み上げ位置情報として出力する読み上げ位置判定部Ｆ２４と、音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部Ｆ２６と、音声再生部Ｆ２１と音声切替位置判定部Ｆ２３と読み上げ位置判定部Ｆ２４とを制御する制御部Ｆ２５と、記憶装置Ｆ１内の発音辞書Ｆ１１に記憶された第１の辞書情報と意味・文法辞書Ｆ１２に記憶された第２の情報とよって、コーパスＦ１３に記憶された読み上げ対象となるテキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げよりなる第２の音声情報列とを作成し、出力する解析部Ｆ２７とを備えている。

ここで、第２の実施形態の音声再生装置と異なる点は、記憶装置Ｆ１にマーク格納部Ｆ１３が設けられたことであり、その他の構成品は構成・機能・動作などが第２の形態の音声再生装置と同じであるので、説明については省略する。

マーク格納部Ｆ１４は、ユーザが読み上げ要求指示を行った箇所の最も近い聞き取りにくい箇所をマーキングして、そのマーキング箇所を記憶する機能を有しており、マーク格納部Ｆ１４には、図１５に示したような、各々発音辞書Ｆ１１、文法辞書Ｆ１２やコーパスＦ１３中のファイル名、ファイル中の位置、重要度を求めるためのマーキングの回数など納めるマーク種、付加情報が納められている。ファイルの位置は、コーパスＦ１３の場合には、バイト数などがデータとして納められている。

このような図１３、図１４で示した音声再生装置を使用する際に一例として音声再生装置の利用者は、聞き取りにくい箇所で読み上げ要求指示を行う場合には、図１６に示すような学習装置本体Ｇ１もしくはリモートコントローラーＧ２を用いて、読み上げ要求指示操作を行うとよい。

図示したように、学習装置本体Ｇ１には、キーボタンＧ１１、集音装置（マイク）Ｇ１２などが設けられており、キーボタンＧ１１による手元操作で読み上げ要求指示行ったり、集音装置（マイク）Ｇ１２による音声指示で読み上げ要求指示行ったりすることを可能にする。

リモートコントローラーＧ２には、キーボタンＧ２１、集音装置（マイク）Ｇ２２などが設けられており、キーボタンＧ２１による手元操作で読み上げ要求指示行ったり、集音装置（マイク）Ｇ２２による音声指示で読み上げ要求指示行ったりすることを可能にする。

ここで、音声再生装置の読み上げ要求位置の判定方法、読み上げの音声切替位置の判定方法、読み上げ区間(位置)の判定方法および読み上げ方法は、図１〜図１３で示したものと同様である。

本実施例では、さらに、実施例１に示したような音声データベース１Ａ１１、音声データベース２Ａ１２に格納されている第１、第２音声データ（一般的には、音声コーパスともいう）や実施例２に示したような記憶装置Ｂ１内の記憶内容に関して、利用者が読み上げ要求指示を行うたびに、利用者が聞き取りにくい各箇所にマーキングがつけられる。

このマーキングは、読み上げが終了した後でもその各マーキングが、マーク格納部Ｅ１３、Ｆ１４に保持されている。マーク格納部Ｅ１３、Ｆ１４に保持された各マーキングは、利用者の削除命令がない限り、削除されることはなく、マーク格納部Ｅ１３、Ｆ１４に保持・格納される。

このため、利用者が例えば寸劇やエッセイといった学習用コンテンツとなっている一定の文書単位ごとに、全文を聴かずとも、マーク格納部Ｅ１３、Ｆ１４に格納された各マーキングに基づいて、聞き取りにくかった各箇所を飛び飛びに再生し、復習ができるという効果が得られる。

このように、音声再生装置は、音声再生装置が、非母国語話者に聞き取り能力の訓練を行う外国語学習用として利用する際に、読み上げ位置の判定および読み上げ位置のうち音声切替位置をマーク格納部に記憶し、複数の読み上げ位置とそのうちの音声切替位置を選択して、読み上げ位置と音声切替位置とのみを飛び飛びに連続して再生することも可能となる。

また、利用者が聞き取りにくかった箇所を所定の回数以上、例えば三回以上読み上げ要求指示をすることにより、画面に少なくとも聞き取りにくいと判定された音声切替区間の文字列、例えば、「fish on」を表示する。

このとき、表示するのは、読み上げ音声区間の文字列全体で、その読み上げ音声区間に含まれる音声切替区間の文字列、例えば、「fish on」を強調表示してもよい。

また、読み上げ要求位置の表示は、同じ読み上げ要求位置のうち音声切替位置の開始位置および終了位置の両方もしくは一方を表示してもよい。

このように、音声再生装置は、非母国語話者に聞き取り能力の訓練を行う外国語学習用として利用する際に、読み上げ要求指示が同じ読み上げ位置で複数回あるときには、読み上げ位置の表示および同じ読み上げ位置のうち音声切替位置の開始位置および終了位置の両方もしくは一方を表示することも可能となる。

これらにより、発音の聞き取りにくい箇所をユーザが知ることで、発音の聞き取りにくい箇所の繰り返しの学習のための情報として活用することが可能となる。

次に、第２の実施形態の実施例を、図３を用いて詳細に説明する。

例えば、英語で書かれた「The farmers eat fish on Fridays.」といった文を、英語を母国語としない話者が聞き取り練習に利用する場合を想定する。

記憶装置Ｂ１内には、実施例２（図３参照）と同様、発音情報や聞き取りの困難な発音の情報である第１の辞書情報を格納している発音辞書Ｂ１１と、意味や文法情報である第２の辞書情報を格納している意味・文法辞書Ｂ１２と、読み上げ対象となるテキストの情報を格納しているコーパスＢ１３とが設けられている。発音の解析に用いるための発音辞書Ｂ１１には、英語母語話者以外の外国語話者に特に聞き取りにくいと推測されるパターンが予め格納されている。

音声再生装置のユーザ（利用者）は、実施例３と同様に図１６に示すような学習装置本体Ｇ１もしくはリモートコントローラーＧ２を用いて、読み上げ要求指示操作を行う。

図示したように、学習装置本体Ｇ１には、キーボタンＧ１１、集音装置（マイク）Ｇ１２などが設けられており、キーボタンＧ１１による手元操作で読み上げ要求指示行ったり、集音装置（マイク）Ｇ１２による音声指示で読み上げ要求指示行ったりすることを可能にする。

ここで、音声再生装置の読み上げ要求位置の判定方法、読み上げの音声切替位置の判定方法、読み上げ区間(位置)の判定方法および読み上げ方法は、実施例２で示したものと同様である。

リモートコントローラーＧ２には、キーボタンＧ２１、集音装置（マイク）Ｇ２２などが設けられており、キーボタンＧ２１による手元操作で読み上げ要求指示行ったり、集音装置（マイク）Ｇ２２による音声指示で読み上げ要求指示行ったりすることを可能にする。

本実施例では、さらに、ユーザの読み上げ要求指示を受けて、データ処理装置Ｂ２が音声切替位置の判定をする（図２、図９参照）際に、聞き取りにくいと判定された発音辞書Ｂ１１中のパターン、例えば発音の困難な箇所の情報インデックスＮ０００１の「＊sh on」（図１２参照）を用いて、同じようなパターンで別の例をコーパスＢ１３中から検索する。

具体的には、実施例２と同様、発音の困難な箇所「＊sh on」が判定されると、その情報を解析部Ｂ２７に送り、解析部Ｂ２７は、コーパスＢ１３中で少なくとも「＊sh on」と同様なパターンの箇所、例えば「ash on」や「dish on」、もしくは「＊sh on」と同様なパタンを含む文例「Don't drop cigarette ash on the carpet.」や「Look at the main dish on the table.」もしくは「＊sh on」と同様なパターンを含む意味・文法で区切られた例えば句のような例「cigarette ash on the carpet.」や「the main dish on the table」を解析し、解析部Ｂ２７は解析結果を音声再生部Ｂ２１に送り、この解析結果を受け取った音声再生部Ｂ２１は、この解析結果に基づく音声再生情報を音声出力部Ｂ２２に出力し、音声出力部Ｂ２２はインデックスＮ０００１と同じようなパターンで別の例の音声を出力する音声再生を行う。

このように、音声再生装置が、非母国語話者に聞き取り能力の訓練を行う外国語学習用に用いられ、読み上げ位置のうち音声切替位置の判定をした後に、同様の発音が聞き取りにくい位置（音声切替位置）を持つ別の音声切替位置を判定して再生することが可能となり、ユーザは聞き取りにくい発音のパターンを他の例でも繰り返し聴くことで、その聞き取りにくいパターンを集中的に聞き取り練習することが可能となる。

以上説明したように、本発明によれば次に示す優れた効果を得られる。
（１）音声再生装置は、発音の聞き取りにくい箇所で音声連続の影響による音素の連結が原因である部分を、音声が聞き取りやすい第１の音声データによって音声再生することで、従来方法では発音上の情報を無視した「eat fish」のような読み上げを解消し、ユーザの聞き取りにくさを解消している。
（２）音声再生装置は、音声切替位置を判定することで、聞き取りにくかった発音の位置のみを音声を切り替えて読み上げさせることができる。
（３）音声再生装置は、聞き取りにくかった箇所に再度行き着くまでに時間が掛からず、ユーザのリスニングの負担を軽減しつつ、発音の聞き取り困難な箇所を発音の聞き取りやすい音質の音声で再生して、ユーザが再度聞くことができる。

第１の実施形態である音声再生装置の構成例を示すブロック図である。 第１の実施形態である音声再生装置の動作例を示すフローチャートである。 第２の実施形態である音声再生装置の構成例を示すブロック図である。 第２の実施形態である音声再生装置の動作例を示すフローチャートである。 第３の実施形態である音声再生装置の構成例を示すブロック図である。 第４の実施形態である音声再生装置の構成例を示すブロック図である。 音声再生装置における読み上げ要求位置の判定方法の一例を示すフローチャートである。 音声再生装置の別の読み上げ要求位置判定方法の一例を示す説明図である。 音声再生装置の読み上げの音声切替位置の判定方法の一例を示すフローチャートである。 音声再生装置の読み上げ区間(位置)の判定方法の一例を示すフローチャートである。 記憶装置の意味・文法辞書の一例を示す説明図である。 記憶装置の発音辞書の一例を示す説明図である。 第１の実施の形態である音声再生装置がさらにマーク格納部を有する構成例を示すブロック図である。 第２の実施の形態である音声再生装置がさらにマーク格納部を有する構成例を示すブロック図である。 マーク格納部の格納の一例を示す説明図である。 語学学習用の端末の一例を示す概観図である。

符号の説明

Ａ１ 記憶装置
Ａ１１ 音声データベース１
Ａ１２ 音声データベース２
Ａ２ データ処理装置
Ａ２１ 音声再生部
Ａ２２ 音声出力部
Ａ２３ 音声切替位置判定部
Ａ２４ 読み上げ位置判定部
Ａ２５ 制御部
Ａ２６ 指示入力部
Ｂ１ 記憶装置
Ｂ１１ 発音辞書
Ｂ１２ 意味・文法辞書
Ｂ１３ コーパス
Ｂ２ データ処理装置
Ｂ２１ 音声再生部
Ｂ２２ 音声出力部
Ｂ２３ 音声切替位置判定部
Ｂ２４ 読み上げ位置判定部
Ｂ２５ 制御部
Ｂ２６ 指示入力部
Ｂ２７ 解析部
Ｃ１ 記憶装置
Ｃ１１ 音声データベース１
Ｃ１２ 音声データベース２
Ｃ２ データ処理装置
Ｃ３ 音声再生プログラム
Ｄ１ 記憶装置
Ｄ１１ 発音辞書
Ｄ１２ 意味・文法辞書
Ｄ１３ コーパス
Ｄ２ データ処理装置
Ｄ３ 音声再生プログラム
Ｅ１ 記憶装置
Ｅ１１ 音声データベース１
Ｅ１２ 音声データベース２
Ｅ１３ マーク格納部
Ｅ２ データ処理装置
Ｅ２１ 音声再生部
Ｅ２２ 音声出力部
Ｅ２３ 音声切替位置判定部
Ｅ２４ 読み上げ位置判定部
Ｅ２５ 制御部
Ｅ２６ 指示入力部
Ｆ１ 記憶装置
Ｆ１１ 発音辞書
Ｆ１２ 意味・文法辞書
Ｆ１３ コーパス
Ｆ１４ マーク格納部
Ｆ２ データ処理装置
Ｆ２１ 音声再生部
Ｆ２２ 音声出力部
Ｆ２３ 音声切替位置判定部
Ｆ２４ 読み上げ位置判定部
Ｆ２５ 制御部
Ｆ２６ 指示入力部
Ｆ２７ 解析部
Ｇ１ 学習装置本体（語学学習用端末本体）
Ｇ２ リモートコントローラー（語学学習用端末リモートコントローラー）
Ｇ１１ キーボタン
Ｇ１２ 集音装置（マイク）
Ｇ２１ キーボタン
Ｇ２２ 集音装置（マイク）

Claims (21)

1. 音声データに示される音声読み上げをする音声再生装置であって、
   発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
   前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
   前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し出力する音声再生部と、
   前記音声再生情報にしたがって音声を出力する音声出力部と、
   前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
   前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
   前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
   前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御部と、
   を備えることを特徴とする音声再生装置。
2. 読み上げ対象となるテキストの情報を音声読み上げをする音声再生装置であって、
   単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
   意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
   前記読み上げ対象となるテキストの情報を記憶しているコーパスと
   前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成して、出力する解析部と、
   前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し出力する音声再生部と、
   前記音声再生情報にしたがって音声を出力する音声出力部と、
   前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
   前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
   前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
   前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御部と、
   を備えることを特徴とする音声再生装置。
3. 音声データに示される音声読み上げをする音声再生装置であって、
   発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
   前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
   第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
   前記中央演算装置の演算処理を制御する音声再生プログラムと、
   前記音声再生プログラムを記憶するメモリーと
   を備え、
   前記中央演算装置は、
   前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
   前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
   前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
   前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し、
   前記音声再生情報にしたがって音声を出力し、
   音声再生プログラムは、
   前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記中央演算装置に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御をする
   ことを特徴とする音声再生装置。
4. 読み上げ対象となるテキストの情報を音声読み上げをする音声再生装置であって、
   単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
   意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
   前記読み上げ対象となるテキストの情報を記憶しているコーパスと
   第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
   前記中央演算装置の演算処理を制御する音声再生プログラムと、
   前記音声再生プログラムを記憶するメモリーと
   を備え、
   前記中央演算装置は、
   前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
   前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成し
   前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
   前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
   前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し、
   前記音声再生情報にしたがって音声を出力し、
   音声再生プログラムは、
   前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御をする
   ことを特徴とする音声再生装置。
5. 前記記憶装置が、前記読み上げ要求指示が行われて発音が聞き取り困難な箇所の、最近傍の箇所をマークして、マークした箇所を記憶するマーク格納部を備えた請求項１〜４いずれかに記載の音声再生装置。
6. 前記マーク格納部が、マークした箇所のファイルのファイル名と、前記ファイルの位置と、マーキングのマーク種と、前記ファイルの特徴を示す付加情報とからなるテーブルを有する請求項１〜５記載の音声再生装置。
7. 前記音声出力部は、前記音声切替位置情報により、再生音声をより細かな単位で区切って再生する請求項１〜６いずれかに記載の音声再生装置。
8. 前記音声出力部は、前記音声切替位置情報により、再生音声の周波数を変えて再生する請求項１〜７いずれかに記載の音声再生装置。
9. 前記音声出力部は、前記音声切替位置情報により、再生音声の速度を前記通常読み上げ音声よりも遅くして再生する請求項１〜８いずれかに記載の音声再生装置。
10. 前記読み上げ要求位置の判定には、前記読み上げ対象となるテキスト情報をポーズで区切った結果を用いる請求項１〜９いずれかに記載の音声再生装置。
11. 前記音声再生装置が、前記読み上げ要求位置の判定および、前記読み上げ要求位置のうち前記音声切替位置をマーク格納部に記憶し、複数の前記読み上げ要求位置とそのうちの前記音声切替位置を選択して、前記読み上げ要求位置と前記音声切替位置とのみを飛び飛びに連続して再生する請求項１〜１０いずれかに記載の音声再生装置。
12. 前記音声再生装置が、前記読み上げ要求指示が、同じ前記読み上げ要求位置で複数回あるときに、前記読み上げ要求位置の表示および同じ前記読み上げ要求位置のうち前記音声切替位置の開始位置および終了位置の両方もしくは一方を表示する請求項１〜１１いずれかに記載の音声再生装置。
13. 前記音声再生装置が、前記読み上げ要求位置のうち前記音声切替位置の判定をした後に、同様の前記音声切替位置を持つ別の前記音声切替位置を判定して再生する請求項１〜１２いずれかに記載の音声再生装置。
14. 前記音声再生部は、前記第１の音声情報列と前記第２の音声情報列とを用いて音声再生を行う代わりに、前記第１の音声情報列と前記第２の音声情報列とを用いて音声合成を行う音声合成機能を有する請求項１〜１３いずれかに記載の音声再生装置。
15. 音声データに示される音声読み上げさせる音声再生プログラムであって、
    発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
    前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
    第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
    前記音声再生プログラムを記憶するメモリーと
    を備えた前記音声再生装置に、前記音声再生プログラムが記憶され、
    前記音声再生プログラムは、
    前記音声再生装置のユーザからの読み上げ要求指示を受け付けるステップと、
    前記読み上げ要求指示に基づいて、読み上げ要求指示位置を計算して読み上げ要求位置情報を作成するステップと、
    前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成するステップと、
    前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成するステップと、
    前記第１および第２の音声データを用いて音声を再生するための音声再生情報を作成するステップと、
    前記音声再生情報にしたがって音声を出力するステップと、
    を有し、
    前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声データおよび第２の音声データによる前記音声再生情報を作成させる制御をする
    ことを特徴とする音声再生プログラム。
16. 読み上げ対象となるテキストの情報を音声読み上げさせる音声再生プログラムであって、
    単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
    意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
    前記読み上げ対象となるテキストの情報を記憶しているコーパスと
    第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
    前記音声再生プログラムを記憶するメモリーと
    を備えた前記音声再生装置に、前記音声再生プログラムが記憶され、
    前記音声再生プログラムは、前記音声再生装置のユーザからの読み上げ要求指示を受け付けるステップと、
    前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成するステップと、
    前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成するステップと、
    前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成するステップと、
    前記テキストの情報および第１の音声情報列ならびに第２の音声情報列を用いて、音声を再生するための音声再生情報を作成するステップと、
    前記音声再生情報にしたがって音声を出力するステップと、
    を有し、
    前記音声再生プログラムは、
    前記中央演算装置に対して読み上げ要求指示が入力されない場合には、前記中央演算装置に前記第２の音声情報列による音声再生情報を作成させ、前記中央演算装置に対して読み上げ要求指示が入力された場合には、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声情報列および前記第２の音声情報列による前記音声再生情報を作成させる制御をする
    ことを特徴とする音声再生プログラム。
17. 音声データに示される音声読み上げをする音声再生方法であって、
    発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
    前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
    前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し出力する音声再生部と、
    前記音声再生情報にしたがって音声を出力する音声出力部と、
    前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
    前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
    前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
    前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御部と、
    を備え、音声再生することを特徴とする音声再生方法。
18. 読み上げ対象となるテキストの情報を音声読み上げをする音声再生方法であって、
    単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
    意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
    前記読み上げ対象となるテキストの情報を記憶しているコーパスと
    前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成して、出力する解析部と、
    前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し出力する音声再生部と、
    前記音声再生情報にしたがって音声を出力する音声出力部と、
    前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報として出力する音声切替位置判定部と、
    前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報として出力する読み上げ位置判定部と、
    前記音声再生装置のユーザからの読み上げ要求指示を受け付ける指示入力部と、
    前記指示入力部に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記音声再生部に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御部と、
    を備え、音声再生することを特徴とする音声再生方法。
19. 音声データに示される音声読み上げをする音声再生方法であって、
    発音が聞き取り困難な箇所の情報が付与された聞き取りのしやすい音質の第１の音声データを記憶している第１の音声データベースと、
    前記第１の音声データと同じ音声を示し、意味や文法的なまとまりの情報やポーズ単位のまとまり情報が付与された通常読み上げ音声の第２の音声データを記憶している第２の音声データベースと、
    第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
    前記中央演算装置の演算処理を制御する音声再生プログラムと、
    前記音声再生プログラムを記憶するメモリーと
    を備え、
    前記中央演算装置は、
    前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
    前記第１の音声データを用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
    前記第２の音声データを用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
    前記第１の音声データおよび前記第２の音声データを用いて音声を再生するための音声再生情報を作成し、
    前記音声再生情報にしたがって音声を出力し、
    音声再生プログラムは、
    前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については、前記中央演算装置に前記第１の音声データおよび前記第２の音声データにより前記音声再生情報を作成させる制御をする
    ことを特徴とする音声再生方法。
20. 読み上げ対象となるテキストの情報を音声読み上げをする音声再生方法であって、
    単語の発音およびや聞き取りの困難な発音よりなる第１の辞書情報を記憶している発音辞書と、
    意味および文法よりなる第２の辞書情報を記憶している意味・文法辞書と、
    前記読み上げ対象となるテキストの情報を記憶しているコーパスと
    第１の音声データおよび第１の音声データに基づいて、演算処理をする中央演算装置と、
    前記中央演算装置の演算処理を制御する音声再生プログラムと、
    前記音声再生プログラムを記憶するメモリーと
    を備え、
    前記中央演算装置は、
    前記音声再生装置のユーザからの読み上げ要求指示を受け付けて、
    前記第１の辞書情報と、前記第２の辞書情報とよって、前記テキストの情報の内容を解析して、解析の結果から発音が聞き取り困難な箇所の情報が付与された聞き取りしやすい音質の音声よりなる第１の音声情報列と、意味や文法的なまとまりの情報が付与された通常読み上げの音声よりなる第２の音声情報列とを作成し
    前記第１の音声情報列を用いて、再生する音声の音質を切り替える位置を判定して音声切替位置情報を作成し、
    前記第２の音声情報列を用いて、音声を再生して読み上げをする音声の開始位置と音声の停止位置とを判定し、読み上げ位置情報を作成し、
    前記テキストの情報および前記第１の音声情報列ならびに前記第２の音声情報列を用いて、音声を再生するための音声再生情報を作成し、
    前記音声再生情報にしたがって音声を出力し、
    音声再生プログラムは、
    前記中央演算装置に対して読み上げ要求指示が入力された場合に、前記読み上げ位置情報に示される音声の開始位置と音声の停止位置の箇所については前記中央演算装置に前記第１の音声情報列および前記第２の音声情報列により前記音声再生情報を作成させる制御をする
    ことを特徴とする音声再生方法。
21. 前記記憶装置が、前記読み上げ要求指示が行われて発音が聞き取り困難な箇所の、最近傍の箇所をマークして、マークした箇所を記憶するマーク格納部を備えた請求項１７〜２０いずれかに記載の音声再生方法。

Images