JP2015055793A - 音声合成装置、音声合成方法、およびプログラム - Google Patents

音声合成装置、音声合成方法、およびプログラム Download PDF

Info

Publication number
JP2015055793A
JP2015055793A JP2013189845A JP2013189845A JP2015055793A JP 2015055793 A JP2015055793 A JP 2015055793A JP 2013189845 A JP2013189845 A JP 2013189845A JP 2013189845 A JP2013189845 A JP 2013189845A JP 2015055793 A JP2015055793 A JP 2015055793A
Authority
JP
Japan
Prior art keywords
information
notation
speech
correction
morpheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013189845A
Other languages
English (en)
Other versions
JP6411015B2 (ja
Inventor
淳哉 斎藤
Junya Saito
淳哉 斎藤
野田 拓也
Takuya Noda
拓也 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013189845A priority Critical patent/JP6411015B2/ja
Publication of JP2015055793A publication Critical patent/JP2015055793A/ja
Application granted granted Critical
Publication of JP6411015B2 publication Critical patent/JP6411015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】合成音声の質を向上させるためのユーザの修正の負担を低減することが可能な音声合成装置、音声合成方法、およびプログラムを提供する。
【解決手段】入力部は、音声合成の対象とする自然言語の言語表記の入力を受付ける。記憶部は、品詞情報とアクセント句情報とに関連付けて、韻律情報の修正内容を示す修正情報を記憶する。修正部は、言語処理部により生成された品詞情報とアクセント句情報とに関連付けて、前記修正情報が前記記憶部に記憶されている場合に、前記言語処理部により生成された韻律情報を前記修正情報に基づき修正する。音声合成部は、前記修正部による修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する。
【選択図】図1

Description

本発明は、音声合成装置、音声合成方法、およびプログラムに関する。
ユーザが入力した日本語表記(漢字仮名交じり文など)を合成音声に変換して読み上げる音声合成技術が知られている。このような音声合成技術では、言語処理によって、日本語表記を、合成音声の表現に関わる韻律記号を表記した中間表記に変換し、中間表記にしたがって合成音声を生成する。
中間表記は、日本語表記から言語処理によって自動生成するが、精度が十分でないことが多い。そこで、日本語表記から合成音声に変換する際には、音声合成装置による自動変換と、ユーザによる修正作業の相互作用によって、対話的に発音情報を作成するようにしている例がある。固定された複数の文例パターンに、変化する部分をはめ込んで音声合成を行う例もある。また、入力文を解析し、生成規則に従って第一の中間言語文字列を生成し、重み付けを行う方法が知られている。この方法では、中間言語文字列の変更調整を行って第二の中間言語文字列を生成して重み付けを行い、第一または第二の中間言語文字列のうち信頼性、重み付けの高い方を選定して出力することにより、自然な音声を出力することを目指している。さらに、入力された合成音声信号、及び文字並び、モーラ数、アクセント型に基づいて、複数の自然発声された音声から合成しようとする音声に最も近い音声のピッチパターンを探しだし、このピッチパターンをもとに合成を行う技術も知られている。(例えば、特許文献1〜4参照)
特開平9−171392号公報 特開平9−134190号公報 特開2000−56786号公報 特開平9−34492号公報
しかしながら、情報技術を用いた教材用音声や、博物館や展示会の説明用音声などの高品質が求められる場面では、ユーザは何度も合成音声を聴取して中間表記を修正する必要があり、ユーザの負担が大きい。しかも、上記のような従来の技術では、不自然なアクセントになったり、修正パターンに適合する場合が少なすぎたり、複数文に依存した大局的な意味に依存する音声が合成されなかったりするという問題がある。
また、中間表記を修正した後、日本語表記が、原稿の訂正等よって変更される場合がある。この場合、単純には、変更された日本語表記から言語処理によって、新たに中間表記を自動生成する必要があるが、ユーザが以前に修正した中間表記の情報は消えてしまうため、再び同様の修正が必要になり、再びユーザに負担を強いることになる。
ひとつの側面によれば、本発明の目的は、音声合成において、合成音声の質を向上させるためのユーザの修正の負担を低減することである。
ひとつの態様である音声合成装置は、入力部、言語処理部、記憶部、修正部、音声合成部を有している。入力部は、音声合成の対象とする自然言語の言語表記の入力を受付ける。言語処理部は、少なくとも前記自然言語の形態素に対応する読み、品詞、アクセント句、および前記アクセント句に関する韻律を含む情報が登録された辞書情報に基づき前記言語表記を解析する。また、言語処理部は、前記言語表記に含まれる形態素と前記形態素に対応する品詞情報とを含む形態素表記、並びに、アクセント句のまとまりを示すアクセント句情報と前記アクセント句の韻律を示す韻律情報とを含む中間表記を生成する。記憶部は、品詞情報とアクセント句情報とに関連付けて、韻律情報の修正内容を示す修正情報を記憶する。修正部は、前記言語処理部により生成された品詞情報とアクセント句情報とに関連付けて、前記修正情報が前記記憶部に記憶されている場合に、前記言語処理部により生成された韻律情報を前記修正情報に基づき修正する。音声合成部は、前記修正部による修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する。
なお、上述した態様に係る音声合成装置による音声処理方法、および音声処理方法をコンピュータに行わせるためのプログラムであっても、上述した態様に係る音声合成装置と同様の作用効果を奏するので、前述した課題が解決される。
実施形態の音声合成装置、音声合成方法、およびプログラムによれば、合成音声の質を向上させるためのユーザの修正の負担を低減することができる。
第1の実施の形態による音声合成装置の機能の一例を示すブロック図である。 第1の実施の形態によるアクセント強度の修正を概念的に示す図である。 第1の実施の形態による言語処理の一例を示す図である。 第1の実施の形態によるアクセント強度の修正の一例を示す図である。 第1の実施の形態による日本語表記の変更の一例を示す図である。 第1の実施の形態による変更後の日本語表記の言語処理の一例を示す図である。 第1の実施の形態による変更形態素検索の一例を示す図である。 第1の実施の形態による形態素表記と中間表記との対応付けの一例を示す図である。 第1の実施の形態によるアクセント強度の修正判定の一例を示す図である。 第1の実施の形態による音声合成装置による処理を示すフローチャートである。 第2の実施の形態による音声合成装置の構成の一例を示す機能ブロック図である。 第2の実施の形態によるテンプレートの一例を示す図である。 第2の実施の形態によるテンプレートDBを参照する例を概念的に示す図である。 第2の実施の形態による音声合成装置の処理の一例を示すフローチャートである。 第3の実施の形態による音声合成装置の構成の一例を示す機能ブロック図である。 韻律情報の変形例を示す図である。 韻律情報の変形例を示す図である。 標準的なコンピュータのハードウエア構成の一例を示す図である。
(第1の実施の形態)
以下、図1から図7を参照しながら第1の実施の形態による音声合成装置1について説明する。説明の都合上、韻律記号の一例としてアクセント強度に着目して説明するが、他の韻律記号も適用可能である。アクセント強度は、アクセント句に対応して定められ、そのアクセント句の強弱を制御するという特徴をもつ韻律記号の一つである。他の韻律記号とは、例えば、音程高低、抑揚大小、話速緩急、音量大小などを示す記号である。以下に示す韻律記号の表記は一例であり、これに限定されない。
本実施の形態は、入力された日本語表記(漢字仮名交じり文など)に対応する合成音声においてアクセント強度の修正が行われる場合を想定している。この場合に、入力された日本語表記の一部を変更した変更後の日本語表記に、変更前の日本語表記における修正と同様にアクセント強度の修正を実行するか否かを自動的に判定する。なお、変更後の日本語表記に、変更前の日本語表記における修正と同様にアクセント強度の修正を実行することを、アクセント強度、または韻律情報を引き継ぐと表現するものとする。以下、初めにアクセント強度の修正が行われる日本語表記を第1の日本語表記、第1の日本語表記において日本語表記の一部が変更された日本語表記を第2の日本語表記という。
図1は、第1の実施の形態による音声合成装置1の機能の一例を示すブロック図である。図1に示すように、音声合成装置1は、入出力部5、言語処理部7、音声合成部9、中間表記修正部11、記憶部21を有している。中間表記修正部11は、変更検索部13、形態素対応付け部15、修正判定部17、韻律修正部19を有している。音声合成装置1の上記の各機能は、例えば、記憶部21に記憶されたプログラムをプロセッサが読み込んで実行することにより実現されるようにしてもよい。また、少なくとも一部の機能を例えば半導体集積回路などにより実現するようにしてもよい。音声合成装置1は、例えば記憶部21に、言語処理を行うための辞書、音声合成に使用する音声を記憶するようにしてもよい。
制御部3は、音声合成装置1の動作を制御する。入出力部5は、音声合成装置1への情報の入出力を行う機能であり、例えば、タッチパネル、キーボードなどの入力装置、表示装置、スピーカなどの出力装置を含む。言語処理部7は、例えば日本語の品詞情報、アクセント情報などを含む辞書に基づき、日本語表記の言語処理を行い、形態素表記、中間表記などを出力する。形態素表記は、例えば、形態素ごとに分割された日本語表記と、対応する品詞情報を含む情報である。中間表記は、例えば、日本語表記のヨミと、日本語表記におけるひとつのアクセント句に対応する語句を示すアクセント句情報と、アクセント句に対応するアクセント強度とに基づく表記である。音声合成部9は、例えば中間表記、および予め録音された例えば単語毎、文節毎などの音声に基づいて、音声を合成する。記憶部21は、情報を記憶する装置であり、音声合成装置1の動作を制御するプログラムや、各処理を行うための情報等を記憶するようにしてもよい。
中間表記修正部11は、言語処理部7で出力された中間表記に修正が必要であるか否かを判定し、必要な場合には自動的に修正する。詳しくは、変更検索部13は、第1の日本語表記の形態素表記と、第2の日本語表記の形態素表記とから、日本語表記における変更部分の形態素を検索する。形態素対応付け部15は、入力された第1の日本語表記と、言語処理部7から出力された第1の日本語表記の中間表記に対し行われた修正後の中間表記とを対応付ける。
修正判定部17は、第2の日本語表記に基づき言語処理部7で生成された中間表記において、アクセント強度の修正が必要であるか否かを判定する。すなわち、修正判定部17は、第1および第2の日本語表記において、例えば、品詞情報とアクセント句情報とが一対一に対応している場合に、第2の日本語表記に対応するアクセント強度を修正すると判定する。すなわち、第1の日本語表記において行われたアクセント強度の修正が、修正後の第2の日本語表記のアクセント強度に引き継がれる。これにより、第2の日本語表記の、第1の日本語表記で変更された形態素を含むアクセント句のアクセント強度は、第1の日本語表記において修正された後のアクセント強度とされる。このようにして、修正判定部17は、音声合成の対象の日本語表記のアクセント強度を、先に言語処理された日本語表記における修正後のアクセント強度に修正するか否かを判定する。韻律修正部19は、修正判定部17の判定結果に基づき、中間表記を修正する。
以下の説明においては、音声合成装置1における各動作は、例えば後述する演算処理装置が所定のプログラムを読み込むことにより実行される場合も含み、便宜的に上述した各機能が処理を行うとして説明する。
図2は、本実施の形態による中間表記修正の一例を表示例により概念的に示す図である。図2の表示例40aに示すように、処理(a)において、第1の日本語表記に対応する日本語表記41が入力される。日本語表記41は、「東京近辺に雷注意報が・・・」という日本語文を示している。表示例40bに示すように、日本語表記41は、処理(b)において、例えば言語処理部7により、韻律情報43に変換される。ここで、韻律情報43=「トーキョーキ’ンペンニ」「カミナリチューイ’ホーガ&」である。
表示例40cに示すように、処理(c)において、ユーザにより韻律情報43におけるアクセント強度が強アクセント「’」から弱アクセント「*」に修正され、韻律情報45とされている。ここで、韻律情報45=「トーキョーキ*ンペンニ」「カミナリチューイ*ホーガ&」となる。
表示例40dに示すように、処理(d)では、第1の日本語表記の日本語表記41の一部が修正され、日本語表記47とされている。日本語表記47は、「京都周辺に濃霧警報が・・・」という第2の日本語表記である。表示例40eのように、処理(e)では、言語処理部7が、日本語表記47を解析して、形態素表記、中間表記を出力する。変更検索部13は、形態素表記を比較して、日本語表記41と日本語表記47との異なる形態素を検索する。修正判定部17は、検索された異なる形態素に対応する品詞情報、アクセント句情報を比較して、アクセント強度を修正するか否か判定する。判定の結果、「濃霧警報が」の部分のアクセント強度が「雷注意報が」で修正されたアクセント強度に設定され、韻律情報49が出力される。
ところで、上記のように「東京近辺に」を「京都周辺に」に変更した場合、それぞれ形態素解析すると、「東京」(固有名詞)と「近辺」(普通名詞)と「に」(格助詞)および、「京都」(固有名詞)と「周辺」(普通名詞)と「に」(格助詞)になる。例えば、形態素の品詞の並びのみに基づき韻律を修正する例では、「東京近辺に」にマッチする品詞の並びの前例があれば、同じ品詞の並びが「京都周辺に」もマッチするため、両者は共通のアクセント強度を持つことになる。この方法は、意味という点では正しいが、聴感という点では正しくない。ここで、「東京近辺に」および「京都周辺に」をアクセント句に分割すると、「東京周辺に」および「京都」「周辺に」となり、アクセント句の個数が1つから2つに変化している。この例は、アクセント句の個数変化によって大きく聴感的に変化しているためである。このように、アクセント強度はアクセント句に紐づいているため、「東京周辺に」のアクセント強度をどのように「京都」と「周辺に」に反映させるかは、自明でない。このため、上記のように、本実施の形態においては、品詞情報とアクセント句情報との両方の一対一対応を中間表記の修正の条件としている。
なお、例えば、ある文中の「東京に」を「京都に」に変更する場合には、「東京に」、「京都に」の品詞情報は、それぞれ(固有名詞)(格助詞)であり、アクセント句も単一であるため、修正の条件が満たされることになる。
以下、図3から図9を参照しながら、中間表記修正の一例について説明する。図3は、日本語表記41に基づき、言語処理部7により、形態素表記52と中間表記44とが生成されることを示す図である。品詞情報51は、日本語表記41に含まれる品詞を示す情報であり、言語処理部7により日本語表記41が形態素解析された結果出力される。形態素区切り情報42は、品詞情報51と日本語表記41との対応を示す情報である。形態素表記52は、品詞情報51および形態素区切り情報42を対応させた情報である。
韻律情報43は、日本語表記41に基づき音声合成を行う際の、合成音声の表現に係る表記であり、言語処理部7により日本語表記41が言語処理された結果に基づき出力される、アクセント強度などの韻律情報を含む情報である。アクセント句情報54は、日本語表記41におけるアクセントの区切りを示す情報である。中間表記44は、韻律情報43とアクセント句情報54とを対応させた情報である。
例えば、日本語表記41=「東京近辺に、雷注意報が発令された。」に対する形態素単位の形態素区切り情報42とは、「東京」「近辺」「に」「雷」「注意報」「が」「発令」「さ」「れ」「た」というような情報である。品詞情報51とは、「東京」は固有名詞、「近辺」は普通名詞、「に」は格助詞、というような情報である。固有名詞、普通名詞などは、品詞の種類である。例えば品詞情報51では、品詞の数は6個である。韻律情報43とは、「トーキョーキ’ンペンニ」「カミナリチューイ’ホーガ&」等の情報である。韻律情報43では、「’」は、強アクセントを示している。また図3の例では、品詞情報51、アクセント句情報54によれば、一つのアクセント句に含まれる品詞の数は、3個ずつである。
図4は、中間表記44に対して行われる、アクセント強度の修正例を示している。中間表記55では、韻律情報43においてアクセント強度が修正され、韻律情報45とされている。韻律情報45では、韻律情報43の「カミナリチューイ’ホーガ&」における強アクセント「’」に代えて、弱アクセント「*」と修正されている。これにより、日本語表記41に対応する韻律情報は、例えば、「トーキョーキ’ンペンニ、カミナリチューイ*ホーガ ハツレーサレタ。」となる。
なお、「’」、「*」は、アクセント位置およびアクセント強度を指定する韻律記号である。「’」はそのアクセント句のアクセント強度が強であること、「*」は弱であることを意味する。「、」「。」は、呼気段落境界を指定し、「、」「。」および「 」(全角スペース)はアクセント句境界を指定している。アクセント句境界に挟まれた文字列をアクセント句と呼ぶ。「&」は、鼻濁音を示す韻律記号である。
図5は、日本語表記41の変更の一例を示している。図5に示すように、日本語表記41=「東京近辺に、雷注意報が・・・」を日本語表記47=「(京都周辺)に(濃霧警報)が・・・」と変更している。括弧は、変更された部分を示す。
図6は、日本語表記47に基づき、言語処理部7により、形態素表記58と中間表記61とが生成されることを示している。品詞情報57は、日本語表記47に含まれる品詞を示す情報であり、言語処理部7により日本語表記47が形態素解析された結果出力される。形態素区切り情報48は、品詞情報57と日本語表記47との対応を示す情報である。形態素表記58は、品詞情報57および形態素区切り情報48を対応させた情報である。
韻律情報59は、日本語表記47に基づく合成音声の表現にかかわる表記であり、言語処理部7により出力される、アクセント強度を含む情報である。アクセント句情報60は、日本語表記47におけるアクセントの区切りを示す情報である。中間表記61は、韻律情報59とアクセント句情報60とを対応させた情報である。
図7は、変更された形態素を検索する例を示す図である。図7に示すように、形態素表記52と形態素表記58とを比較して、互いに異なる形態素を検索する。変更形態素表記53は、形態素表記52において形態素表記58と異なる形態素を示す情報である。変更形態素表記62は、形態素表記58において形態素表記52と異なる形態素を示す情報である。
図8は、変更形態素表記53と中間表記55とを対応付ける例を示す図である。対応情報56は、日本語表記41における変更を示す変更形態素表記53と韻律情報を修正した後の中間表記55とを対応付けた情報である。
図9は、変更後の日本語表記47に対し、修正後の韻律情報45に応じた修正を行う修正判定例を示している。図9に示すように、変更情報63は、中間表記61と変更形態素表記62とを対応付けた情報である。修正判別情報64、修正参照情報65は、アクセント句情報54とアクセント句情報60、品詞情報51と品詞情報57において、それぞれ一対一に対応するアクセント句を示す情報である。一対一に対応するとは、一つのアクセント句に対応する品詞の数と種類が一致していることである。この一対一に対応するアクセント句に修正参照情報65におけるアクセント強度が適用されて修正が引き継がれ、韻律情報66が生成される。なお、中間表記67は、韻律情報66とアクセント句情報60とを対応させた情報である。
この例では日本語表記47に対し韻律情報66が出力され、音声合成部9は、韻律情報66に基づき音声を合成する。なお、上記の例では、「東京周辺に」のアクセント強度は「京都近辺に」には適用されないが、「雷警報が」で修正されたアクセント強度は、「濃霧警報が」に適用されることになる。
以下、フローチャートを参照しながら、本実施の形態による音声合成装置1の動作についてさらに説明する。図10は、音声合成装置1の動作を示すフローチャートである。図10に示すように、入出力部5は、日本語表記の入力を受付ける(S71)。例えば、入出力部5は、第1の日本語表記に対応する日本語表記41を受付ける。入出力部5は、受付けた日本語表記41を、例えば表示例40aのように表示してもよい。このとき、日本語表記41を修正可能なように、Graphical User Interface(GUI)等によって、ユーザへ提示するように構成されることが好ましい。
言語処理部7は、受付けた例えば日本語表記41に対して形態素解析や係り受け解析などを行い、形態素表記52、中間表記55を生成する(S72)。例えば、図3に示したように、形態素表記52は、品詞情報51および形態素区切り情報42を含む。例えば、中間表記44は、韻律情報43およびアクセント句情報54を含む。
ここで、音声合成部9は、生成された中間表記55に基づき音声を合成して入出力部5より出力する。例えば図2の表示例40bにおいて、再生ボタンを表示し、再生ボタンが選択されると音声を出力するようにしてもよい。音声の出力は、例えばスピーカにより行うようにしてもよい。入出力部5は、中間表記44において、ユーザの修正が入力されると修正を受付ける。例えば、図2の処理(c)に示したように、アクセント強度の変更を受付ける(S73)。さらに、図4に示したように、中間表記44において、韻律情報43が韻律情報45に修正される。
図2の処理(d)に示したように、入出力部5は、例えば、日本語表記41の一部の修正を受付ける。修正された日本語表記は、日本語表記47となる(S74)。図6に示したように、言語処理部7は、日本語表記47を言語処理して、形態素表記58、中間表記61を生成する(S75)。
変更検索部13は、形態素表記52と形態素表記58との対応をとる(S76)。また、変更検索部13は、図7に示すように、形態素表記52と形態素表記58との対応に基づき、変更形態素表記53および変更形態素表記62を生成する。すなわち、変更検索部13は、形態素区切り情報42と形態素区切り情報48とを比較して異なる形態素を抽出し、変更形態素表記53、62を生成する。形態素対応付け部15は、図8に示したように、変更形態素表記53と中間表記55との対応に基づき、対応情報56を生成する(S77)。対応情報56は、記憶部21に記憶される。このとき、記憶部21は、例えば、音声合成装置1に内蔵された半導体メモリ等とすることができる。
修正判定部17は、変更形態素表記62で抽出された変更された形態素を含む未処理のアクセント句があるか否かを判別する(S78)。未処理のアクセント句がない場合には(S78:NO)、韻律修正部19は、その時点での中間表記を出力する(S81)。また、音声合成部9は、出力された中間表記に基づき音声を合成する(S82)。
変更形態素表記62で抽出された変更された形態素を含み、未処理のアクセント句がある場合には(S78:YES)、修正判定部17は、それぞれのアクセント句が、韻律情報修正条件を満たすか否かを判定する(S79)。韻律情報修正条件とは、ここでは、例えば、当該形態素が含まれるアクセント句に対応する品詞情報57、アクセント句情報60共に、品詞情報51、アクセント句情報54と一対一に対応していることである。
修正判定部17が、韻律情報修正条件を満たしていると判定した場合には(S79:YES)、韻律修正部19は、中間表記61における当該アクセント句のアクセント強度を、中間表記55における当該アクセント句のアクセント強度に修正する(S80)。さらに韻律修正部19は、処理をS78に戻す。修正判定部17は、韻律情報修正条件を満たしていないと判定した場合には(S79:NO)、処理をS78に戻す。
以上説明したように、第1の実施の形態による音声合成装置1によれば、言語処理部7は、入出力部5を介して入力された日本語表記41などの言語処理を行う。この言語処理により、例えば、品詞情報51、形態素区切り情報42を含む形態素表記52、韻律情報43、アクセント句情報54を含む中間表記44が生成される。
音声合成部9は、生成された中間表記44に基づき、音声を合成し出力する。入出力部5は、出力された音声に基づき、韻律情報43の修正が入力されると、修正を受付ける。
入出力部5が、例えば、日本語表記41の一部を修正した日本語表記47を受付けると、言語処理部7は、日本語表記47の言語処理を行う。この言語処理により、例えば、品詞情報57、形態素区切り情報48を含む形態素表記58、韻律情報59、アクセント句情報60を含む中間表記61が生成される。
変更検索部13は、形態素表記52と形態素表記58との対応に基づき、変更形態素表記53および変更形態素表記62を取得する。すなわち、変更検索部13は、形態素区切り情報42と形態素区切り情報48とを比較して、異なる形態素を抽出する。形態素対応付け部15は、入力された第1の日本語表記の形態素表記52と、第1の日本語表記が言語処理されて言語処理部7から出力された中間表記に対し行われた修正を反映した修正後の中間表記55とを対応付け、対応情報56を生成する。対応情報56は、例えば記憶部21に記憶される。
修正判定部17は、抽出された変更形態素表記62に基づき、変更されたそれぞれの形態素が含まれるアクセント句ごとに品詞情報とアクセント句情報とが対応情報56と共通(一対一に対応している)か否かを判定する。変更検索部13は、形態素区切り情報42と形態素区切り情報48とで変化している形態素の周囲、もしくは全ての形態素に対して、形態素単位で判定を行う。一対一に対応しているか否かの判定は、マッチング処理で広く行われている例えば、Dynamic Programming(DP)マッチングを利用することで実現できる。共通な場合には、韻律情報59の対応するアクセント句のアクセント強度を、韻律情報45のアクセント強度に修正する。
以上詳細に説明したように、音声合成装置1によれば、第1の日本語表記の言語処理結果に基づき生成された合成音声に対して韻律情報の修正を行った場合、修正に関する情報を記憶部21に記憶する。修正に関する情報とは、韻律情報に関する修正内容と、修正した箇所に対応する少なくとも品詞情報およびアクセント句情報を含む情報である。第1の日本語表記とは別の第2の日本語表記の言語処理結果に、第1の日本語表記の韻律情報の修正箇所と対応するアクセント句があるか否かを判定する。対応するアクセント句がある場合に、第2の日本語表記の対応するアクセント句の韻律情報を、第1の日本語表記に対する修正と同様に修正することで、韻律情報の修正を自動的に反映する。
対応するアクセント句とは、第1と第2の日本語表記において、品詞情報とアクセント句情報とが一対一に対応したアクセント句である。これにより、修正を行ったアクセント句と対応するアクセント句の韻律情報を、修正を行った後の韻律情報に自動的に修正し、修正を引き継ぐ。例えば、第1の日本語表記において、一部が変更されて第2の日本語表記となっている場合には、この修正を変更にかかわる全ての変更形態素を含むアクセント句について行う。さらに、ユーザが日本語表記、または中間表記の修正または変更を繰り返した場合は、以上の処理を繰り返す。
以上のように、第1の実施の形態による音声合成装置1によれば、韻律情報の修正が行われた場合に、修正が行われた韻律情報に対応する品詞情報とアクセント句情報とを有する日本語表記に、修正を引き継ぐことができる。すなわち、音声合成装置1は、アクセント句の品詞の数と種類が同一である場合に、記憶部に記憶された修正情報と同様に、韻律情報の修正を行うと判定することができる。ユーザの修正または変更が日本語表記に行われた場合には、既にユーザによる修正または変更のあった韻律を、修正または変更が行われた部分に自動的に反映させることができる。これにより、自然な合成音声を生成するために、ユーザが手動で韻律を繰り返し修正するなどの手間が大幅に縮小され、簡易に高品質の合成音声を生成することが可能になる。
本実施の形態によれば、既に行われた韻律情報の修正を、日本語表記の変更された箇所に反映させるために、品詞情報とアクセント句情報とが一対一に対応するか否かを判別し、対応する場合に修正を引き継ぐことができる。具体的には、形態素対応付け部15が、変更後の日本語表記に関する品詞情報と中間表記とを対応付ける。これにより、修正判定部17は、変更検索部13が検索した、修正された形態素を含むアクセント句の全形態素の品詞が、修正前のアクセント句と一対一に対応する品詞情報を有しているか否かを判別することができる。
このように品詞情報を使用することで、変更前後で形態素の持つ意味が類似しているか否か判別することができる。また、アクセント句を使用することで、変更前後で合成音声にしたときに聴感上類似しているか否かを判別することができる。これにより、意味が類似し、かつ聴覚上類似している場合のみ、音声合成装置1は、すでに修正を行ったアクセント句と同様の韻律の修正を行うことができる。よって、文脈および韻律を考慮した中間表記を生成することができ、アクセント強度等が無理に引き継がれてかえって不自然なアクセント強度になってしまうことを防止することができるので、合成音声の適切な修正が可能である。また、品詞のみ、あるいはアクセント句のみが一致した場合にアクセントを同様に修正するような例と比べると、より自然な音声とすることができる。
教材音声や説明用音声など、高音質が求められる場合でも、十分な精度で合成音声を生成することができる。また、中間表記を修正した後、日本語表記が、原稿の訂正等よって変更される場合や、修正が繰り返される場合でも、ユーザが以前に修正した中間表記の情報を再利用することができる。よって、ユーザに修正のための負担を繰り返し強いることを回避でき、コストを削減できる。
モーラ数およびアクセント型の並びに基づいて引き継ぐような場合のように、制約が厳しすぎ、多くの場合に、アクセント強度を引き継ぐことができない、という事態も回避される。
以上の構成により、ユーザの修正した韻律記号を適切に引き継ぎ、ユーザの負担となる修正コストの削減に寄与する。
(第2の実施の形態)
以下、第2の実施の形態による音声合成装置100について、図11から図14を参照しながら説明する。第2の実施の形態による音声合成装置100において、第1の実施の形態による音声合成装置1と同様の構成および動作については同一番号を付し、重複説明を省略する。本実施の形態においては、言語処理部7により生成された中間表記にかかわらず用いる中間表記を指定する場合に、用いる中間表記および対応する形態素表記をテンプレートとして記憶する。そして、音声合成装置100は、音声合成対象の日本語表記の中間表記を生成する際に、テンプレートを参照する。
図11は、第2の実施の形態による音声合成装置100の構成の一例を示す機能ブロック図である。図11に示すように、音声合成装置100は、入出力部5、言語処理部7、音声合成部9、中間表記修正部103、記憶部21を有している。記憶部21には、テンプレートData Base(DB)117が記憶されるようにしてもよい。中間表記修正部103は、DB登録部105、テンプレート検索部113、テンプレート対応付け部115、韻律修正部19を有している。音声合成装置100の上記の各機能は、例えば、記憶部21に記憶されたプログラムをプロセッサが読み込んで実行することにより実現されるようにしてもよい。また、一部もしくは全ての機能を例えば半導体集積回路などにより実現するようにしてもよい。
中間表記修正部103は、テンプレートDB117を参照して、言語処理部7で出力された中間表記に修正が必要であるか否かを判定し、必要な場合には自動的に修正する。DB登録部105は、言語処理部7により生成される中間表記とは別の中間表記に関する情報をテンプレートDB117に登録する。登録の対象となる中間表記は、例えば、入出力部5を介して入力される。DB登録部105は、品詞情報、アクセント句情報および韻律情報を対応付けて登録する。テンプレートDB117は、例えば、品詞情報、アクセント句情報および韻律情報を対応付けて記憶したデータベースである。
テンプレート検索部113は、修正された日本語表記、または新たに登録された日本語表記の中間表記が、テンプレートDB117に登録済の情報とマッチするか否か検索する。テンプレート対応付け部115は、マッチするテンプレートがある場合、対象の日本語表記とテンプレートとの対応付を行う。韻律修正部19は、マッチするテンプレートがある場合に、テンプレート対応付け部115で対応付けられた、対応するアクセント強度をテンプレートDB117に記憶されているアクセント強度に修正する。
なお、以下の説明においては、音声合成装置1における各動作は、例えば後述する演算処理装置が所定のプログラムを読み込むことにより実行される場合も含み、便宜的に上述した各機能が処理を行うとして説明する。
図12は、テンプレート125の一例を示す図である。図12に示すように、テンプレート125は、アクセント句情報121、品詞情報122、日本語表記例123、アクセント強度情報124を有している。日本語表記例123は、テンプレート125にマッチすると判別される日本語表記の例を示す情報である。日本語表記例123において「#」は、品詞情報が一致するどのような形態素でもよいことを示している。日本語表記例123は、この例では、日本語表記の前半の格助詞と、日本語表記の後半の「発令されました。」とが指定されているが、これに限定されない。アクセント強度情報124は、韻律情報の一例である。アクセント強度情報124として、「指定なし」という情報が登録されているが、これは、修正の必要がないことを示している。
図13は、日本語表記47が入力された場合にテンプレートDB117を参照する例を概念的に示す図である。図13に示すように、テンプレートDB117には、例えば、テンプレート135、145、155等、少なくとも一つのテンプレートが登録されている。テンプレート135は、アクセント句情報131、品詞情報132、日本語表記例133、アクセント強度情報134を有している。他のテンプレート145、155も同様である。アクセント強度情報134は、韻律情報の一例である。
図13においては、日本語表記47から生成されたアクセント句情報60、品詞情報57、形態素区切り情報48が示されている。この例では、アクセント句情報60がアクセント句情報131と一対一に対応し、品詞情報57が品詞情報132と一対一に対応するため、日本語表記47は、テンプレート135にマッチすることになる。よって、アクセント強度情報134を中間表記に適用することになる。
具体的には、アクセント句情報131=「(アクセント句)(アクセント句)(アクセント句)」、品詞情報132=「(固有名詞)(普通名詞)(格助詞)(普通名詞)(格助詞」である。これに対しアクセント強度情報134=「(強アクセント(’))(弱アクセント(*))(弱アクセント(*))」と登録されている。一方、日本語表記47については、図6において示したように、言語処理により韻律情報59が生成される。このとき韻律情報59は、アクセント強度情報134に基づき「シューヘンニ’」が「シューヘンニ*」と修正され、「ノームケ’ーホーガ&」が「ノームケ*ーホーガ&」と修正されることになる。
図14は、第2の実施の形態による音声合成装置100の処理を示すフローチャートである。図14に示した処理の前に、例えばDB登録部105は、例えば、韻律情報に修正のあった日本語表記の形態素解析結果および中間表記に基づき、テンプレートDB117に登録を行うものとする。例えば、図3に示した形態素表記52と図4に示した修正後の中間表記55とに基づきテンプレートを登録する。または、ユーザが手動で入出力部5を介して登録内容を入力するようにしてもよい。
図14に示すように、入出力部5は、例えば日本語表記47の入力を受付ける(S161)。言語処理部7は、日本語表記47を言語処理し、形態素表記58および中間表記61を出力する(S162)。テンプレート検索部113は、出力された形態素表記58における品詞情報57と中間表記61におけるアクセント句情報60とを、テンプレートDB117のテンプレートとマッチするか否か検索する(S163)。このとき、テンプレート検索部113は、品詞情報57およびアクセント句情報60がそれぞれ一対一に対応付けられるテンプレートがあるか否かを検索する。なお、テンプレートとして日本文の一部が指定されている場合には、その日本語表記についても一致するか否かを検索する。
マッチするテンプレートがない場合には(S163:NO)、韻律修正部19は、その時点での中間表記をそのまま出力する(S166)。マッチするテンプレートがある場合には(S163:YES)、テンプレート対応付け部115は、テンプレートDB117におけるテンプレートと例えば韻律情報59とを対応付ける(S164)。韻律修正部19は、韻律情報59をマッチした例えばテンプレート135に基づき修正し(S165)、テンプレートに基づく中間表記を出力する(S166)。音声合成部9は、中間表記に基づき音声を合成する(S167)。
ここで、図13のテンプレートDB117の例を参照しながら、テンプレート検索部113の動作についてさらに説明する。ここでは、品詞情報とアクセント強度以外に、日本語表記の一部を合わせて登録しているが、これはなくてもよい。
例えば、日本語表記47の「京都周辺に濃霧警報が」は、テンプレート135にはマッチするが、テンプレート145にはマッチしない。「京都周辺に」が「京都」と「周辺に」の2アクセント句であり、テンプレート145のアクセント句情報141と一致しないためである。このような検索は、例えば、形態素単位のDPマッチングを利用することで実現できる。
DPマッチングでは、まず、テンプレート検索部113は、ユーザの入力した日本語表記を言語処理して生成した例えば形態素表記58と、テンプレートデータベースに格納されたテンプレートの形態素表記に対して、形態素ごとの置換コストを次のように定義する。そして、テンプレート検索部113は、言語処理部7により生成された形態素表記58と、テンプレートの形態素表記との異なる部分に関して、挿入コストおよび削除コストを1として、形態素単位でDPマッチングを行う。挿入コストは、例えば、テンプレートDB117のテンプレートになく、形態素表記58にある形態素がある場合に「1」とすることができる。削除コストは、例えば、テンプレートDB117のテンプレートにあり、形態素表記58にない形態素がある場合に「1」とすることができる。
1)2つの形態素の品詞および文字列そのものが一致するならば置換コスト=0
2)2つの形態素の品詞が一致しかつテンプレートの形態素が「#」ならば置換コスト=0
3)上記2つの条件を満たさない場合、置換コスト=1
次に、形態素表記58の中で、置換・挿入・削除コストの合計が0となるような部分があるかを調べ、さらに、その部分に対応するアクセント句と形態素の包含関係がテンプレートのアクセント句と形態素の包含関係と一致しているか確認する。一致するならば、そのテンプレートはマッチしていると判定する。以上を繰り返すことで、テンプレートデータベースからマッチしているテンプレートを検索できる。
以上説明したように、本実施の形態による音声合成装置100によれば、例えば言語処理部7で生成された中間表記とは別の中間表記を含むテンプレートを作成する。音声合成対象の日本語表記が入力されると、言語処理の結果の形態素表記、中間表記をテンプレートDB117で検索し、マッチするか否かを判定する。
テンプレートにマッチするか否かは、少なくとも品詞情報とアクセント句情報で判断する。具体的にどのような形態素であるかを指定し、検索してもよい。なお、テンプレートDB117は、テンプレートを1つ以上格納する。
テンプレートDB117に登録する情報に、例えば日本語表記例133、143、153などのように日本語表記の一部を登録することもできる。これにより、単語や形態素の並びといった局所的な意味だけでなく、複数文に依存した大局的な意味にも依存させて、適切にアクセント強度を設定することができる。テンプレートDB117を自由に書き換え可能とすることにより、ユーザの要求により合致した合成音声を生成することができる。
以上の構成により、あらかじめ、テンプレートDB117にテンプレートを登録しておけば、ユーザが日本語表記を入力し、言語処理で中間表記を自動生成する際に、登録しておいたテンプレートに基づき韻律情報を修正することができる。また、テンプレートに品詞情報とアクセント句情報を使用することで、文脈と韻律を考慮して適切に韻律情報を修正することができ、ユーザが中間表記を再び修正する手間の削減に寄与する。
(第3の実施の形態)
以下、第3の実施の形態による音声合成装置200について、図15を参照しながら説明する。第3の実施の形態による音声合成装置200において、第1または第2の実施の形態による音声合成装置1、100と同様の構成および動作については同一番号を付し、重複説明を省略する。本実施の形態においては、音声合成装置200において、中間表記に修正が施された場合に、修正後の韻律情報および対応する品詞情報、アクセント句情報を自動的にテンプレートDB117に登録して、テンプレートDB117を更新する。
図15は、第3の実施の形態による音声合成装置200の構成の一例を示す機能ブロック図である。図15に示すように、音声合成装置200は、入出力部5、言語処理部7、音声合成部9、中間表記修正部103、記憶部21を有している。記憶部21には、テンプレートData Base(DB)117が記憶されることが好ましい。中間表記修正部203は、DB登録部105、テンプレート検索部113、テンプレート対応付け部115、韻律修正部19、テンプレート更新部205を有している。音声合成装置200の上記の各機能は、例えば、記憶部21に記憶されたプログラムをプロセッサが読み込んで実行することにより実現されるようにしてもよい。また、一部もしくは全ての機能を例えば半導体集積回路などにより実現するようにしてもよい。
テンプレート更新部205は、音声合成装置200において、中間表記に修正が施された場合に、修正後の中間表記の韻律情報、および少なくとも対応する品詞情報およびアクセント句情報を互いに関連付けて自動的にテンプレートDB117に登録または更新する。中間表記修正部203は、音声合成を行う際には、最新のテンプレートDB117を参照して、テンプレートとのマッチングを判定する。その他の構成および動作は、第2の実施の形態による音声合成装置100と同様である。
以上説明したように、第3の実施の形態による音声合成装置200によれば、音声合成装置100による効果に加え、自動的にテンプレートDB117を登録および更新することができる。よって、さらにきめ細かく韻律情報修正を反映することができ、さらにユーザの修正の手間を削減しながら良質の音声を合成することが可能になる。
(変形例)
以下、図16、17を参照しながら、第1から第3の実施の形態に適用可能な変形例について説明する。本変形例が適用される音声合成装置は、音声合成装置1、100、200のいずれでもよい。第1から第3の実施の形態において説明した音声合成装置1、100、200の構成および動作については、重複説明を省略する。
図16は、韻律情報として話速情報を用いる例である。図16に示すように、韻律情報211として「トーキョーキ’ンペンニ、カミナリチューイ’ホーガ▽ ハツレーサレタ。」とされる。ここで「▽」は、話速を遅くすることを示す韻律記号とする。このとき、図16において下線を付した「カミナリチューイ’ホーガ」に対応する品詞情報=「(普通名詞)(普通名詞)(格助詞)」、アクセント句情報=「(アクセント句)」と一対一に対応するアクセント句に関して、中間表記に韻律記号「▽」が適用されることになる。例えば、話速を早くする韻律記号「△」を用いることもできる。
図17は、韻律情報として音量情報を用いる例である。図17に示すように、韻律情報215として「トーキョーキ’ンペンニ、カミナリチューイ’ホーガ↑ ハツレーサレタ。」とされる。ここで「↑」は、音量を大きくすることを示す韻律記号とする。このとき、図17において下線を付した「カミナリチューイ’ホーガ」に対応する品詞情報=「(普通名詞)(普通名詞)(格助詞)」、アクセント句情報=「(アクセント句)」と一対一に対応するアクセント句に関して、中間表記に韻律記号「↑」が適用されることになる。例えば、音量を小さくする韻律記号「↓」を用いることもできる。
以上のように、本変形例によれば、アクセント強度以外の様々な韻律記号にも、韻律記号の自動修正を行うことが可能である。よって、より高品質の合成音声を生成するための手間がさらに低減される。
上記第1から第3の実施の形態および変形例において、中間表記修正部11、103、203は、修正部の一例であり、入出力部5は、入力部、韻律修正受付部、言語変更受付部の一例である。また、入出力部5、DB登録部105は、登録受付部の一例である。形態素対応付け部15、テンプレート更新部205は、対応付け部の一例である。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、上記第1から第3の実施の形態および変形例においては、日本語表記について説明したが、上記のような言語処理が可能な他の自然言語についても適用が可能である。
形態素対応付け部15は、図8に示したように、変更形態素表記53と中間表記55との対応付を行う。しかし中間表記55は、ユーザにより修正が加えられた中間表記となるため、場合によっては、読み等が変更され、単純に対応をとることができない場合がある。このような場合には、例えば、変更された形態素の周囲のみの対応を取るようにしてもよい。対応をとる範囲の決定方法として、当該形態素の前後に連続する当該形態素と同一の品詞の形態素とするようにしてもよい。または、該当する日本語表記の全形態素に対してDPマッチングを行うことで、全形態素の対応をとることができる。
上記第1から第3の実施形態および変形例では、形態素表記が品詞情報を含んでいるが、品詞情報は、上記の例に限定されない。例えば、名詞や動詞などの大まかな分類、もしくは、固有名詞や自立動詞などの詳細な分類、もしくは、固有名詞でも地名、製品名といった、より詳細で意味に係るものを使用するようにしてもよい。また、種類が同一と判別する組み合わせを規定するようにしてもよい。詳細になるほど韻律情報の修正条件が厳しくなるので、韻律情報を引き継がせたい度合いに応じて修正を行うか否かを選択することが可能となり、韻律記号の修正の精度が向上する。
変更検索部13が変更された形態素を検索する際には、ユーザが日本語表記を変更した前後の形態素の一部もしくは全てに対して、変更形態素を検索するようにしてもよい。これにより、効率的に変更形態素を検索し、計算速度の向上に寄与することができる。
アクセント強度の指定は、強弱などの他、言語処理の結果をそのまま使用する「指定なし」でもよい。テンプレートDB117に登録されるテンプレートは、文単位のテンプレート以外に、アクセント句単位や、句読点などで区切られる呼気段落単位などのテンプレートでもよい。これにより、より合成音声の品質向上が期待される。
テンプレート更新部205は、例えば、中間表記の修正があるごとに、テンプレートを更新するようにしてもよい。また、DB登録部105、テンプレート更新部205は、例えば、GUIなどを用いたユーザによる手動の登録入力を受付けるようにしてもよい。
ここで、上記第1から第3の実施の形態および変形例による音声合成方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図18は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図18に示すように、コンピュータ300は、Central Processing Unit(CPU)302、メモリ304、入力装置306、出力装置308、外部記憶装置312、媒体駆動装置314、ネットワーク接続装置等がバス310を介して接続されている。
CPU302は、コンピュータ300全体の動作を制御する演算処理装置である。メモリ304は、コンピュータ300の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ304は、例えばRandom Access Memory(RAM)、Read Only Memory(ROM)等である。入力装置306は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をCPU302に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置308は、コンピュータ300による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、CPU302により送付される表示データに応じてテキストや画像を表示する。
外部記憶装置312は、例えば、ハードディスクなどの記憶装置であり、CPU302により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置314は、可搬記録媒体316に書き込みおよび読み出しを行うための装置である。CPU302は、可搬記録媒体316に記録されている所定の制御プログラムを、記録媒体駆動装置314を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体316は、例えばCompact Disc(CD)−ROM、Digital Versatile Disc(DVD)、Universal Serial Bus(USB)メモリ等である。ネットワーク接続装置318は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス310は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
上記第1から第3の実施の形態および変形例による音声合成方法をコンピュータに実行させるプログラムは、例えば外部記憶装置312に記憶させる。CPU302は、外部記憶装置312からプログラムを読み出し、コンピュータ300に音声合成の動作を行なわせる。このとき、まず、音声合成の処理をCPU302に行わせるための制御プログラムを作成して外部記憶装置312に記憶させておく。そして、入力装置306から所定の指示をCPU302に与えて、この制御プログラムを外部記憶装置312から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体316に記憶するようにしてもよい。また、例えばテンプレートDB117は、ネットワーク接続装置318を介して接続される他のコンピュータなどの記憶装置に設けられるようにしてもよい。また、上記音声合成処理の少なくとも一部を、ネットワーク接続装置318を介して接続される他のコンピュータで行うことも可能である。
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
音声合成の対象とする自然言語の言語表記の入力を受付ける入力部と、
少なくとも前記自然言語の形態素に対応する読み、品詞、アクセント句、および前記アクセント句に関する韻律を含む情報が登録された辞書情報に基づき前記言語表記を解析し、前記言語表記に含まれる形態素と前記形態素に対応する品詞情報とを含む形態素表記、並びに、アクセント句のまとまりを示すアクセント句情報と前記アクセント句の韻律を示す韻律情報とを含む中間表記を生成する言語処理部と、
品詞情報とアクセント句情報とに関連付けて、韻律情報の修正内容を示す修正情報を記憶する記憶部と、
前記言語処理部により生成された品詞情報とアクセント句情報とに関連付けて、前記修正情報が前記記憶部に記憶されている場合に、前記言語処理部により生成された韻律情報を前記修正情報に基づき修正する修正部と、
前記修正部による修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する音声合成部と、
を有することを特徴とする音声合成装置。
(付記2)
前記修正部は、前記言語処理部により生成されたアクセント句情報と、前記記憶部に記憶されたアクセント句情報とのそれぞれが示すアクセント句にそれぞれに含まれる品詞の数と種類が一致する場合に、修正を行う
ことを特徴とする付記1に記載の音声合成装置。
(付記3)
前記言語処理部により生成された韻律情報の修正を受付ける韻律修正受付部と、
前記修正後の韻律情報と前記言語処理部により生成された前記品詞情報および前記アクセント句情報の対応付を行う対応付け部と、
をさらに有し、
前記記憶部は、前記韻律修正受付部で受付けた修正の内容を示す修正情報を、対応付けられた前記品詞情報と前記アクセント句情報とに関連付けて記憶する
ことを特徴とする付記1または付記2に記載の音声合成装置。
(付記4)
前記音声合成の対象とする言語表記の変更を受け付ける言語変更受付部と、
前記変更に関連する形態素を検索する変更検索部と、
をさらに有し、
前記言語処理部は、変更後の言語表記を解析し、
前記修正部は、検索された前記変更に関連する形態素を含むアクセント句に対応する品詞情報に関連付けて前記修正情報が記憶されている場合に修正を行う
ことを特徴とする付記1から付記3のいずれかに記載の音声合成装置。
(付記5)
前記修正情報の登録を受付ける登録受付部
をさらに有し、
前記記憶部は、前記登録受付部で受付けた修正情報を登録する
ことを特徴とする付記1から付記4のいずれかに記載の音声合成装置。
(付記6)
音声合成装置が、
音声合成の対象とする自然言語の言語表記の入力を受付け、
少なくとも前記自然言語の形態素に対応する読み、品詞、アクセント句、および前記アクセント句に関する韻律を含む情報が登録された辞書情報に基づき前記言語表記を解析し、前記言語表記に含まれる形態素と前記形態素に対応する品詞情報とを含む形態素表記、並びに、アクセント句のまとまりを示すアクセント句情報と前記アクセント句の韻律を示す韻律情報とを含む中間表記を生成し、
生成された前記品詞情報と前記アクセント句情報とに関連付けて、前記韻律情報の修正内容を示す修正情報が記憶部に記憶されている場合に、生成された前記韻律情報を前記修正情報に基づき修正し、
前記修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する、
ことを特徴とする音声合成方法。
(付記7)
前記修正する処理においては、前記生成されたアクセント句情報と、前記記憶部に記憶されたアクセント句情報とのそれぞれが示すアクセント句にそれぞれに含まれる品詞の数と種類が一致する場合に、修正を行う
ことを特徴とする付記7に記載の音声合成方法。
(付記8)
さらに、
前記生成された韻律情報の修正を受付け、
前記修正後の韻律情報と前記生成された品詞情報およびアクセント句情報の対応付けを行い、受付けた前記修正の内容を示す修正情報を、対応付けられた前記品詞情報と前記アクセント句情報とに関連付けて記憶する
ことを特徴とする付記6または付記7に記載の音声合成方法。
(付記9)
さらに、
前記音声合成の対象とする言語表記の変更を受け付け、
前記変更後の言語表記を解析して、前記変更に関連する形態素を検索し、
検索された前記変更に関連する形態素を含むアクセント句に対応する品詞情報に関連付けて前記修正情報が記憶されている場合に修正を行う
ことを特徴とする付記6から付記8のいずれかに記載の音声合成方法。
(付記10)
前記修正情報の登録を受付け、受付けた修正情報を前記記憶部に記憶させる
ことを特徴とする付記6から付記9のいずれかに記載の音声合成方法。
(付記11)
音声合成の対象とする自然言語の言語表記の入力を受付け、
少なくとも前記自然言語の形態素に対応する読み、品詞、アクセント句、および前記アクセント句に関する韻律を含む情報が登録された辞書情報に基づき前記言語表記を解析し、前記言語表記に含まれる形態素と前記形態素に対応する品詞情報とを含む形態素表記、並びに、アクセント句のまとまりを示すアクセント句情報と前記アクセント句の韻律を示す韻律情報とを含む中間表記を生成し、
生成された前記品詞情報と前記アクセント句情報とに関連付けて、前記韻律情報の修正内容を示す修正情報が記憶部に記憶されている場合に、生成された前記韻律情報を前記修正情報に基づき修正し、
前記修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する、
処理をコンピュータに実行させるプログラム。
(付記12)
前記修正する処理においては、前記生成されたアクセント句情報と、前記記憶部に記憶されたアクセント句情報とのそれぞれが示すアクセント句にそれぞれに含まれる品詞の数と種類が一致する場合に、修正を行う
ことを特徴とする付記11に記載のプログラム。
(付記13)
さらに、
前記生成された韻律情報の修正を受付け、
前記修正後の韻律情報と前記生成された品詞情報およびアクセント句情報の対応付けを行い、受付けた前記修正の内容を示す修正情報を、対応付けられた前記品詞情報と前記アクセント句情報とに関連付けて記憶する
ことを特徴とする付記11または付記12に記載のプログラム。
(付記14)
さらに、
前記音声合成の対象とする言語表記の変更を受け付け、
前記変更後の言語表記を解析して、前記変更に関連する形態素を検索し、
検索された前記変更に関連する形態素を含むアクセント句に対応する品詞情報に関連付けて前記修正情報が記憶されている場合に修正を行う
ことを特徴とする付記11から付記13のいずれかに記載のプログラム。
(付記15)
前記修正情報の登録を受付け、受付けた修正情報を前記記憶部に記憶させる
ことを特徴とする付記11から付記14のいずれかに記載のプログラム。
1 音声合成装置
3 制御部
5 入出力部
7 言語処理部
9 音声合成部
11 中間表記修正部
13 変更検索部
15 形態素対応付け部
17 修正判定部
19 韻律修正部
21 記憶部
41、47 日本語表記
42、48 形態素区切り情報
43、45、49、59、66 韻律情報
51、57 品詞情報
52、58 形態素表記
53、62 変更形態素表記
54、60 アクセント句情報
55、61、67 中間表記
56 対応情報
63 変更情報
64 修正判別情報
65 修正参照情報

Claims (7)

  1. 音声合成の対象とする自然言語の言語表記の入力を受付ける入力部と、
    少なくとも前記自然言語の形態素に対応する読み、品詞、アクセント句、および前記アクセント句に関する韻律を含む情報が登録された辞書情報に基づき前記言語表記を解析し、前記言語表記に含まれる形態素と前記形態素に対応する品詞情報とを含む形態素表記、並びに、アクセント句のまとまりを示すアクセント句情報と前記アクセント句の韻律を示す韻律情報とを含む中間表記を生成する言語処理部と、
    品詞情報とアクセント句情報とに関連付けて、韻律情報の修正内容を示す修正情報を記憶する記憶部と、
    前記言語処理部により生成された品詞情報とアクセント句情報とに関連付けて、前記修正情報が前記記憶部に記憶されている場合に、前記言語処理部により生成された韻律情報を前記修正情報に基づき修正する修正部と、
    前記修正部による修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する音声合成部と、
    を有することを特徴とする音声合成装置。
  2. 前記修正部は、前記言語処理部により生成されたアクセント句情報と、前記記憶部に記憶されたアクセント句情報とのそれぞれが示すアクセント句にそれぞれに含まれる品詞の数と種類が一致する場合に、修正を行う
    ことを特徴とする請求項1に記載の音声合成装置。
  3. 前記言語処理部により生成された韻律情報の修正を受付ける韻律修正受付部と、
    前記修正後の韻律情報と前記言語処理部により生成された前記品詞情報および前記アクセント句情報の対応付を行う対応付け部と、
    をさらに有し、
    前記記憶部は、前記韻律修正受付部で受付けた修正の内容を示す修正情報を、対応付けられた前記品詞情報と前記アクセント句情報とに関連付けて記憶する
    ことを特徴とする請求項1または請求項2に記載の音声合成装置。
  4. 前記音声合成の対象とする言語表記の変更を受け付ける言語変更受付部と、
    前記変更に関連する形態素を検索する変更検索部と、
    をさらに有し、
    前記言語処理部は、変更後の言語表記を解析し、
    前記修正部は、検索された前記変更に関連する形態素を含むアクセント句に対応する品詞情報に関連付けて前記修正情報が記憶されている場合に修正を行う
    ことを特徴とする請求項1から請求項3のいずれかに記載の音声合成装置。
  5. 前記修正情報の登録を受付ける登録受付部
    をさらに有し、
    前記記憶部は、前記登録受付部で受付けた修正情報を登録する
    ことを特徴とする請求項1から請求項4のいずれかに記載の音声合成装置。
  6. 音声合成装置が、
    音声合成の対象とする自然言語の言語表記の入力を受付け、
    少なくとも前記自然言語の形態素に対応する読み、品詞、アクセント句、および前記アクセント句に関する韻律を含む情報が登録された辞書情報に基づき前記言語表記を解析し、前記言語表記に含まれる形態素と前記形態素に対応する品詞情報とを含む形態素表記、並びに、アクセント句のまとまりを示すアクセント句情報と前記アクセント句の韻律を示す韻律情報とを含む中間表記を生成し、
    生成された前記品詞情報と前記アクセント句情報とに関連付けて、前記韻律情報の修正内容を示す修正情報が記憶部に記憶されている場合に、生成された前記韻律情報を前記修正情報に基づき修正し、
    前記修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する、
    ことを特徴とする音声合成方法。
  7. 音声合成の対象とする自然言語の言語表記の入力を受付け、
    少なくとも前記自然言語の形態素に対応する読み、品詞、アクセント句、および前記アクセント句に関する韻律を含む情報が登録された辞書情報に基づき前記言語表記を解析し、前記言語表記に含まれる形態素と前記形態素に対応する品詞情報とを含む形態素表記、並びに、アクセント句のまとまりを示すアクセント句情報と前記アクセント句の韻律を示す韻律情報とを含む中間表記を生成し、
    生成された前記品詞情報と前記アクセント句情報とに関連付けて、前記韻律情報の修正内容を示す修正情報が記憶部に記憶されている場合に、生成された前記韻律情報を前記修正情報に基づき修正し、
    前記修正を反映した韻律情報を含む中間表記に基づき前記言語表記に対応する音声を合成する、
    処理をコンピュータに実行させるプログラム。
JP2013189845A 2013-09-12 2013-09-12 音声合成装置、音声合成方法、およびプログラム Active JP6411015B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013189845A JP6411015B2 (ja) 2013-09-12 2013-09-12 音声合成装置、音声合成方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013189845A JP6411015B2 (ja) 2013-09-12 2013-09-12 音声合成装置、音声合成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015055793A true JP2015055793A (ja) 2015-03-23
JP6411015B2 JP6411015B2 (ja) 2018-10-24

Family

ID=52820213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013189845A Active JP6411015B2 (ja) 2013-09-12 2013-09-12 音声合成装置、音声合成方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6411015B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017167219A (ja) * 2016-03-14 2017-09-21 株式会社東芝 読み上げ情報編集装置、読み上げ情報編集方法およびプログラム
JP7357518B2 (ja) 2019-11-26 2023-10-06 日本放送協会 音声合成装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351486A (ja) * 2001-05-30 2002-12-06 Toshiba Corp 音声合成編集装置及び音声合成編集方法並びに音声合成編集プログラム
JP2004309724A (ja) * 2003-04-04 2004-11-04 Sharp Corp テキスト音声合成装置、並びに、テキスト音声合成方法及びそのプログラム
JP2005345699A (ja) * 2004-06-02 2005-12-15 Toshiba Corp 音声編集装置、音声編集方法および音声編集プログラム
JP2008083239A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 中間言語編集装置、中間言語編集方法および中間言語編集プログラム
JP2013134396A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 合成音声修正装置,方法,及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351486A (ja) * 2001-05-30 2002-12-06 Toshiba Corp 音声合成編集装置及び音声合成編集方法並びに音声合成編集プログラム
JP2004309724A (ja) * 2003-04-04 2004-11-04 Sharp Corp テキスト音声合成装置、並びに、テキスト音声合成方法及びそのプログラム
JP2005345699A (ja) * 2004-06-02 2005-12-15 Toshiba Corp 音声編集装置、音声編集方法および音声編集プログラム
JP2008083239A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 中間言語編集装置、中間言語編集方法および中間言語編集プログラム
JP2013134396A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 合成音声修正装置,方法,及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017167219A (ja) * 2016-03-14 2017-09-21 株式会社東芝 読み上げ情報編集装置、読み上げ情報編集方法およびプログラム
JP7357518B2 (ja) 2019-11-26 2023-10-06 日本放送協会 音声合成装置及びプログラム

Also Published As

Publication number Publication date
JP6411015B2 (ja) 2018-10-24

Similar Documents

Publication Publication Date Title
JP2009186820A (ja) 音声処理システム、音声処理プログラム及び音声処理方法
JPWO2004066271A1 (ja) 音声合成装置,音声合成方法および音声合成システム
KR20170057623A (ko) 언어장애인을 위한 다언어 어휘의 발음 합성 및 문자화 장치
JP2008083239A (ja) 中間言語編集装置、中間言語編集方法および中間言語編集プログラム
CN112002304B (zh) 语音合成方法及装置
JP6411015B2 (ja) 音声合成装置、音声合成方法、およびプログラム
JP5079718B2 (ja) 外国語学習支援システム、及びプログラム
JP2009020264A (ja) 音声合成装置及び音声合成方法並びにプログラム
JP2000172289A (ja) 自然言語処理方法,自然言語処理用記録媒体および音声合成装置
JP6197523B2 (ja) 音声合成装置、言語辞書修正方法及び言語辞書修正用コンピュータプログラム
JP3589972B2 (ja) 音声合成装置
JP2000330996A (ja) 発音電子辞書
JP4026512B2 (ja) 歌唱合成用データ入力プログラムおよび歌唱合成用データ入力装置
JP5169602B2 (ja) 形態素解析装置、形態素解析方法及びコンピュータプログラム
JP2006349787A (ja) 音声合成方法および装置
JP4677869B2 (ja) 音声出力機能付き情報表示制御装置およびその制御プログラム
JP2580565B2 (ja) 音声情報辞書作成装置
JP2014197117A (ja) 音声合成装置及び言語辞書登録方法
WO2023047623A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6340839B2 (ja) 音声合成装置、合成音声編集方法及び合成音声編集用コンピュータプログラム
JP3414326B2 (ja) 音声合成用辞書登録装置及び方法
JP2006098552A (ja) 音声情報生成装置、音声情報生成プログラム及び音声情報生成方法
JP4192994B2 (ja) 歌唱合成用データ入力プログラム
JP6197362B2 (ja) 音声合成方法、プログラム、及び装置
JP2016122033A (ja) 記号列生成装置、音声合成装置、音声合成システム、記号列生成方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180926

R150 Certificate of patent or registration of utility model

Ref document number: 6411015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150