JP2008083239A - 中間言語編集装置、中間言語編集方法および中間言語編集プログラム - Google Patents

中間言語編集装置、中間言語編集方法および中間言語編集プログラム Download PDF

Info

Publication number
JP2008083239A
JP2008083239A JP2006261356A JP2006261356A JP2008083239A JP 2008083239 A JP2008083239 A JP 2008083239A JP 2006261356 A JP2006261356 A JP 2006261356A JP 2006261356 A JP2006261356 A JP 2006261356A JP 2008083239 A JP2008083239 A JP 2008083239A
Authority
JP
Japan
Prior art keywords
intermediate language
candidate
accent
phrase
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2006261356A
Other languages
English (en)
Inventor
Yuuji Shimizu
勇詞 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006261356A priority Critical patent/JP2008083239A/ja
Publication of JP2008083239A publication Critical patent/JP2008083239A/ja
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

【課題】アクセント結合の誤りを容易に修正する中間言語編集装置を提供する。
【解決手段】文書内で連続する単語を含む語句と、語句のアクセント情報を含む中間言語とを対応づけて記憶する中間言語記憶部122と、中間言語に含まれるアクセント情報の修正の指示を受付ける修正受付部103と、連続する単語を含む語句のアクセントを決定する予め定められた規則に基づいて、修正の指示を受付けたアクセント情報に代わるアクセント情報の候補を生成する候補生成部104と、生成した候補をユーザに提示する候補提示部105と、提示した候補の中からユーザにより選択された候補を受付ける選択受付部106と、中間言語記憶部122に記憶された中間言語に含まれるアクセント情報のうち、修正の指示を受付けたアクセント情報を、受付けた候補で置換する置換部107と、を備えた。
【選択図】 図1

Description

この発明は、音声合成に関連する中間言語を編集する中間言語編集装置、中間言語編集方法および中間言語編集プログラムに関するものである。
近年、TTS(Text To Speech)などのように、テキスト情報を音声合成して出力する音声合成技術が広く知られている。TTSでは、テキストを言語解析することで、読み、アクセント、ポーズ情報を取得し、それらの情報をもとに合成音声を出力する。
一方、言語解析処理では、100%の正解率を保証することは一般的に不可能である。結果として、TTSは、テキストの読みの誤りや、アクセントの誤り、ポーズ長の違和感などを生じる可能性を内包している。誤りや違和感が存在する場合は、読み、アクセント、ポーズ長情報を表現した中間言語を、テキストレベルで人間が手修正することにより、言語解析処理の不備を補い、正しい合成音声出力を得ることができる。
また、読み情報をタグなどにより予め埋め込んだテキスト情報に対して言語解析を実行することにより、言語解析の精度を向上させるように補助する技術や、解析後、単語単位で読みやアクセント等をGUI(Graphical User Interface)を用いて修正する技術なども提案されている。
特許文献1では、単語に別の読みが存在する場合に、その読みをユーザに提示し、適切な読みを選択させることにより中間言語を編集させる技術が提案されている。このように単語単位でアクセントを変更させる方法は広く知られている。
特許第3483230号公報
しかしながら、特許文献1の方法では、複数の連続する単語のアクセントを修正する場合であっても単語ごとに修正しなければならず、操作が煩雑になるという問題があった。例えば、名詞等が連続した場合に、複数の名詞のアクセントを結合して1つのアクセントを有するアクセント句を生成するアクセント結合が発生した場合であって、当該アクセント句のアクセントを修正する必要があるとき、連続した単語のそれぞれについて修正を行わなければならない。
また、特許文献1のように、読み、アクセント、ポーズ長情報を表現した中間言語を、専門知識を有さないユーザが直接修正することは困難であった。中間言語を見ただけで、ユーザがアクセントを具体的にイメージすることは難しく、誤り箇所を見つけることも困難だからである。
本発明は、上記に鑑みてなされたものであって、アクセント結合の誤りを容易に修正することができる中間言語編集装置、中間言語編集方法および中間言語編集プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、文字列を音声に変換する音声合成処理で生成される中間言語を編集する中間言語編集装置であって、文書内で連続する単語を含む語句と、前記語句のアクセントの位置に関するアクセント情報を含む前記中間言語とを対応づけて記憶する中間言語記憶手段と、前記語句単位で、前記語句に対応する前記中間言語に含まれる前記アクセント情報の修正の指示を受付ける修正受付手段と、前記語句のアクセントを決定する予め定められた規則に基づいて、修正の指示を受付けた前記アクセント情報に代わる前記アクセント情報の候補を生成する候補生成手段と、生成した前記候補をユーザに提示する候補提示手段と、提示した前記候補の中からユーザにより選択された前記候補を受付ける選択受付手段と、前記中間言語記憶手段に記憶された前記中間言語に含まれる前記アクセント情報のうち、修正の指示を受付けた前記アクセント情報を、受付けた前記候補で置換する置換手段と、を備えたことを特徴とする。
また、本発明は、上記装置を実行することができる中間言語編集方法および中間言語編集プログラムである。
本発明によれば、予め定められた規則に従ってアクセント結合の別候補を提示し、提示した候補の中からユーザがアクセントを選択してアクセントの誤りを修正することができる。このため、アクセント結合の誤りを容易に修正することができるという効果を奏する。
以下に添付図面を参照して、この発明にかかる中間言語編集装置、中間言語編集方法および中間言語編集プログラムの最良な実施の形態を詳細に説明する。
(第1の実施の形態)
第1の実施の形態にかかる中間言語編集装置は、ユーザにより修正が指定されたアクセント結合に対して、予め決められた規則以外のアクセント結合規則を適用したアクセントの候補を生成してユーザに提示し、選択させるものである。
以下では、スピーカなどの音声を出力する機能、音声合成対象となる文書を画面上に出力する機能、文書上の複数の単語を選択可能なキーボードやマウスなどの入力機能、および選択された複数の単語に対するアクセント結合の別候補を生成する機能を有するパソコンなどで実現された中間言語編集装置について説明する。
なお、第1の実施の形態では、このような音声合成の中間言語を編集する機能に加え、入力された文書を受付けて中間言語を生成する機能、および中間言語を音声合成した音声を出力する機能を備えた音声合成装置として中間言語編集装置を実現した例について説明する。
図1は、第1の実施の形態にかかる音声合成装置100の構成を示すブロック図である。同図に示すように、音声合成装置100は、文書受付部101と、中間言語生成部102と、修正受付部103と、候補生成部104と、候補提示部105と、選択受付部106と、置換部107と、音声合成部108と、辞書記憶部121と、中間言語記憶部122と、規則記憶部123と、を備えている。
辞書記憶部121は、形態素解析処理などで利用する単語の情報を保持する単語辞書を記憶するものである。図2は、辞書記憶部121に記憶されている単語辞書のデータ構造の一例を示す説明図である。同図に示すように、単語辞書には、単語と、アクセント結合の型とが対応づけて保持されている。
アクセント結合の型とは、複数の単語が連結する場合に、当該連結した単語に対して付与されるアクセントの種類を表す情報をいう。以下に、複数の名詞が連結した複合名詞に対するアクセント結合の型について説明する。
名詞が複合する場合のアクセント結合は以下の4種類に大別される。
(1)A型:後部要素(後ろの単語)の第一拍まで高い形に変形する。
例:「準備;じゅ^んび(1型)」「運動;うんどう(0型)」→「準備運動;じゅんびう^んどう」(後部要素の一拍目にアクセント)
(2)B型:前部要素(前の単語)の最終拍まで高い形に変形する。
例:「政府;せ^いふ」「案;あ^ん」→「政府案;せいふ^あん」(前部要素の最後の句にアクセント)
(3)0型:全体を0型に変形する。
例:「野良;の^ら(1型)」「犬;いぬ(0型)」→「野良犬;のらいぬ」
(4)後部アクセント型:全体として後部要素のアクセントに変形する。
例:「児童;じ^どう(1型)」「図書館;としょ^かん(2型)」→「じどうとしょ^かん」
さらに、アクセントが変化しない以下の型を含めることもできる。
(5)無変化型:前部要素および後部要素のアクセントが互いに変化しない。
例:「被害者;ひが^いしゃ(2型)」「遺族会;いぞく^かい(3型);無変化型」→「被害者遺族会;ひが^いしゃ いぞく^かい」
なお、無変化型の場合、前の単語と後ろの単語がともに0型ではなかった場合には間にスペースを挿入することにより、アクセント句の区切れを設定する。なお、アクセント句とは、1つのアクセントを有する語句をいう。
なお、上記説明中の記号「^」は、アクセントが存在する位置を表す記号である。また、括弧内の型(0型、1型、2型、3型)は、単語ごとのアクセントの型を表す。このように、いずれの型も後部要素である名詞の性質に支配される。そこで、形態素解析処理(詳細は後述)の結果、2つの名詞が連続する場合、後方の名詞が「A型」「B型」「0型」「後部アクセント型」「無変化型」のどれに属するかの情報を元にアクセント結合を行う。
これを実現するため、名詞が「A型」「B型」「0型」「後部アクセント型」「無変化型」のいずれに属するかの情報を、単語辞書の「アクセント結合の型」として保存しておき、単語のプロパティー情報として形態素解析の結果に含め、後述の処理で利用可能とする。
中間言語記憶部122は、文書と中間言語との対応関係を記憶するものである。具体的には、中間言語記憶部122は、文書に含まれる単語と、当該単語の読み、アクセントの位置、ポーズに関する情報を含む中間言語とを対応づけて記憶する。
本実施の形態では、読みを片仮名で表記し、アクセントが存在する位置を表すアクセント情報は記号「^」、短いポーズを表す情報は記号「、」、長いポーズを表す情報は記号「.」とした中間言語を用いる。なお、中間言語の表現形式はこれに限られるものではない。
図3−1、図3−2は、中間言語記憶部122に記憶されている情報のデータ構造の一例を示す説明図である。図3−1、図3−2に示すように、中間言語記憶部122には、単語と、中間言語とを対応づけた情報が記憶されている。
例えば、図3−1では、日本語「首相は退職金を辞退した。」に含まれる単語ごとの中間言語を記憶した例が示されている。同図に示すように、当該日本語に対する中間言語が「シュショーワ、タイショクキンオ、ジ^タイシタ.」である場合、中間言語記憶部122には、単語単位に中間言語との対応が記憶される。すなわち、「首相」に対し「シュショー」、「は」に対し「ワ、」、「退職金」に対し「タイショクキン」、「を」に対し「オ、」、「辞退し」に対し「ジ^タイシ」、「た」に対し「タ.」が対応づけられている。
規則記憶部123は、アクセント結合に関する規則を記憶するものである。図4は、規則記憶部123に記憶された規則の一例を示す説明図である。同図に示すように、規則として、上述のようなアクセント結合ごとのアクセントを変形する方法が格納されている。規則記憶部123は、候補生成部104が、ユーザに対してアクセント結合の別の候補を提示する際に参照される。
文書受付部101は、音声合成の対象となる文書の入力を受け付けるものである。文書受付部101は、ワードプロセッサ等による文書の入力、ファイルからの文書の入力、またはネットワークを介した外部装置からの文書の入力などの従来から用いられているあらゆる方法により文書の入力を受付けることができる。
中間言語生成部102は、受付けた文書から音声合成の中間言語を生成するものである。具体的には、中間言語生成部102は、文書を形態素解析して単語単位に分割し、各単語が有する品詞、読み、アクセント、各種プロパティーなどの基本的な情報を元に、入力文書全体に関する読み、アクセント、ポーズ情報を生成する。
例えば、中間言語生成部102は、日本語の文書「首相は退職金を辞退した。」を形態素解析し、「首相(名詞、しゅしょう、0型)/は(助詞、わ、0型)/退職金(名詞、たいしょくきん、0型)/を(助詞、お、0型)/辞退し(動詞、じたいし、1型)/た(助動詞、た、1型)/。(読点、※読みなし)」を得ることができる。
「0型」、「1型」などは、上述のように各単語のアクセント型を示す。一般に、「単語のモーラ数+1」種類のアクセント型が存在する。ここで、モーラ数とは単語の発音をモーラ単位に分けたときの構成モーラの総数を表す。また、モーラとは、一定の時間的な長さを有する音の単位をいう。例えば、50音「あいうえお、かきくけこ、さしすせそ、…らりるれろ、わ、ん」の他、「しゃ、しゅ、しょ、…」「っ」「ー(長音)」などがモーラの1単位に該当する。
次に、中間言語生成部102は、予め用意してあるアクセント句生成(アクセント結合)の規則を参照してアクセント句を生成する。アクセント句生成の規則としては、上述の複合名詞に関する規則のほか、「「名詞+助詞は」は一つのアクセント句とし、名詞のアクセントをアクセント句のアクセントとする」、「「名詞+助詞を」は一つのアクセント句とし、名詞のアクセントをアクセント句のアクセントとする」、「「動詞+助動詞た」は一つのアクセント句とし、動詞のアクセントをアクセント句のアクセントとする」などが一例として挙げられる。
中間言語生成部102は、複合名詞に対しては、後部要素の名詞に対応するアクセント結合の型を辞書記憶部121から取得し、取得した型に対応する規則に従ってアクセント結合を行う。
そして、中間言語生成部102は、生成したアクセント句ごとに中間言語を生成する。例えば、日本語「首相は退職金を辞退した。」に対しては、中間言語生成部102は、まず「首相(名詞、しゅしょう、0型)/は(助詞、わ、0型)」をアクセント句として「シュショウワ」を中間言語として生成する。同様に、中間言語生成部102は、「退職金(名詞、たいしょくきん、0型)/を(助詞、お、0型)」をアクセント句として「タイショクキンオ」、および、「辞退し(動詞、じたいし、1型)/た(助動詞、た、0型)」をアクセント句として「ジ^タイシタ」を中間言語として生成する。
次に、中間言語生成部102は、予め用意してあるポーズ情報設定規則を参照して、各アクセント句をつなげるポーズを決定する。ポーズ情報設定規則としては、「「名詞+助詞は」型のアクセント句に、「名詞+助詞を」型のアクセント句が続く場合は、間に短いポーズが入る。」、「「名詞+助詞を」型のアクセント句に、「動詞+助動詞た」型のアクセント句が続く場合は、間に短いポーズが入る。」、「「動詞+助動詞た」型のアクセント句に「。、読点」が続く場合、「動詞+助動詞た」型のアクセント句の後に長いポーズが入る。」などが一例として挙げられる。
上述の例では、この結果として中間言語「シュショーワ、タイショクキンオ、ジ^タイシタ.」を得ることができる。
そして、中間言語生成部102は、このような処理過程で得られるアクセント句と中間言語との対応関係を、中間言語記憶部122に格納する。
なお、本実施の形態ではTTSの一般的な方法として、入力文書に対し形態素解析を行って中間言語を生成する方法について説明したが、形態素解析を行わずに中間言語を生成する方法などの従来から用いられているあらゆる中間言語の生成方法を適用できる。
例えば、文書を入力する際に用いられる仮名漢字変換で確定された単語のならびに対して、上記方法と同様にして中間言語を生成する方法も考えられる。この場合は、仮名漢字変換で確定した単語単位に、中間言語との対応関係を得ることができる。
また、文書内の各単語と中間言語との対応関係を表したテーブルを予め用意しておき、当該テーブルを中間言語記憶部122に入力することで単語と中間言語との対応関係を得るように構成してもよい。
修正受付部103は、中間言語記憶部122に記憶された中間言語のうち、アクセント結合されたアクセント句のアクセントの修正指示を受け付けるものである。具体的には、修正受付部103は、まず中間言語記憶部122から語句と中間言語を取得してユーザに提示する。これに対しユーザは、提示された中間言語を確認し、修正が必要と判断した中間言語に対応する語句を選択する。例えば、画面上に表示された語句をマウスなどのインターフェースを用いて範囲指定することにより、ユーザは当該語句を選択する。修正受付部103は、このようにしてユーザにより指定された語句に対応する中間言語の修正指示を受け付ける。
なお、修正箇所の指定方法はこれに限られるものではなく、キーボード上の矢印キーなどでカーソルを操作し単語を選択する方法などの従来から用いられているあらゆる方法を適用できる。
候補生成部104は、修正受付部103によって修正指示が受付けられたアクセント結合に対して、アクセント結合の別の候補を生成するものである。具体的には、候補生成部104は、アクセント結合に対応する語句の後部要素の単語が、対応するアクセント結合の型以外のアクセント結合の型を有するものと仮定して別のアクセント結合の候補を生成する。
例えば、語句「現地集合」については、前部要素の単語「現地」のアクセント型は1型(げ^んち)であり、後部要素の単語「集合」のアクセント型は2型(しゅうごう)、かつ、アクセント結合型はA型である。従って、語句「現地集合」のアクセントは、全体として後部要素の最初の拍にアクセントが移動した「げんちしゅ^うごう」となる。ユーザに対しては、このように後部要素のプロパティーを参照して設定したアクセント結合が提示される。
これに対してユーザが修正を指示した場合、候補生成部104は、後部要素の単語「集合」のアクセント結合の型が「A型」ではないものとして別のアクセント結合の候補を生成する。
例えば、B型と仮定した場合は「げんち^しゅうごう」、0型と仮定した場合は「げんちしゅうごう」、後部アクセント型と仮定した場合は「げんちしゅうごう」(0型と同じ)、無変化型と仮定した場合は「げ^んちしゅうごう」が、それぞれアクセント結合の候補として生成される。
候補提示部105は、候補生成部104が生成したアクセント結合の候補をユーザに対して提示するものである。具体的には、候補提示部105は、候補となる中間言語を画面上にリスト形式で表示する。中間言語は一般ユーザには理解が難しいため、候補提示部105が、候補番号だけをユーザに提示し、ユーザが番号を選択することで、中間言語に対応した音声を出力させることで候補を提示するように構成してもよい。また、候補番号の代わりに記号やイメージを利用する方法や、候補となる中間言語を表示して選択時に音声を提示する方法を用いてもよい。
選択受付部106は、候補提示部105により提示された候補からユーザが選択した候補を受付けるものである。例えば、表示した中間言語のそれぞれに対応する選択ボタンの押下を受付けることにより、候補の選択を受付けることができる。
置換部107は、アクセント結合の修正が指示された語句に対応する中間言語のアクセント結合を、選択受付部106によって受付けられたアクセント結合の別候補へ変更する編集を行うものである。
音声合成部108は、中間言語記憶部122に記憶された中間言語を参照して入力された文書を音声合成して出力するものである。音声合成部108により行われる音声合成処理は、音声素片編集音声合成、フォルマント音声合成、音声コーパスベースの音声合成などの一般的に利用されているあらゆる方法を適用することができる。
次に、このように構成された第1の実施の形態にかかる音声合成装置100による中間言語編集処理について説明する。図5は、第1の実施の形態における音声合成処理の全体の流れを示すフローチャートである。
まず、文書受付部101が、音声合成の対象となる文書の入力を受け付ける(ステップS501)。次に、中間言語生成部102が、受付けた文書を形態素解析し、辞書記憶部121および規則記憶部123を参照して中間言語を生成する(ステップS502)。
このとき、文書内に連続する2つの名詞が存在した場合は、中間言語生成部102は、図4に示したような規則の中から、2つの名詞のうち後ろの名詞のアクセント結合の型に対応する規則を取得して、取得した規則にしたがってアクセント結合を行う。また、このようにして生成された中間言語は、中間言語記憶部122に保存される。
次に、生成した中間言語の編集を行う中間言語編集処理が実行される(ステップS503)。中間言語編集処理の詳細については後述する。
次に、音声合成部108が、編集済みの中間言語を音声合成して出力し(ステップS504)、音声合成処理を終了する。
次に、ステップS503の中間言語編集処理の詳細について説明する。図6は、中間言語編集処理の全体の流れを示すフローチャートである。
まず、修正受付部103が、中間言語記憶部122に記憶されている語句と中間言語とを取得し、ユーザに対して提示する(ステップS601)。修正受付部103は、例えば、ディスプレイなどの表示部(図示せず)に語句と中間言語とを対応づけて表示する。また、画面には語句のみを表示し、語句に対応するボタン等を押下したときに当該語句に対応するアクセントをユーザが視聴できるように構成してもよい。
次に、修正受付部103は、修正するアクセント結合の選択を受付ける(ステップS602)。例えば、修正受付部103は、ユーザがマウスで範囲指定することにより選択した語句を、アクセント結合を修正する語句として受付ける。図7は、修正を指示する指示画面の一例を示す説明図である。
同図では、CRTなどのディスプレイ701上のウインドウの1つとして、指示画面702が表示された例が示されている。ユーザが、指示画面702上でマウスカーソル703を操作することにより、修正箇所704を選択する。
図6に戻り、候補生成部104が、修正箇所に対するアクセント結合の別候補を生成する候補生成処理を実行する(ステップS603)。候補生成処理の詳細については後述する。
次に、候補提示部105は、候補生成部104により生成された候補を画面に表示する(ステップS604)。図8は、候補を表示する候補表示画面の一例を示す説明図である。
同図に示すように、候補表示画面801には、生成した候補に対応する中間言語を表示する中間言語表示フィールド802と、各候補に対応する合成音声を視聴するための視聴ボタン803と、候補を選択するための選択ボタン804と、操作を中止するためのキャンセルボタン805とが含まれている。
同図は、語句「現地集合」のアクセント結合に対する別候補を提示する例であり、別候補1「げんち^しゅうごう」、別候補2「げんちしゅうごう」、別候補3「げ^んちしゅうごう」、元のアクセント結合「げんちしゅ^うごう」が表示されている。各候補にそれぞれ対応する試聴ボタンを押下することで候補の合成音声を試聴でき、元のアクセント結合を除く各候補に対応する各選択ボタンの押下によって選択を確定することができる。
図6に戻り、選択受付部106が、キャンセルボタンが押下されたか否かを判断する(ステップS605)。キャンセルボタンが押下された場合は(ステップS605:YES)、中間言語編集処理を終了する。
キャンセルボタンが押下されていない場合は(ステップS605:NO)、選択受付部106は、視聴ボタンが押下されたか否かを判断する(ステップS606)。視聴ボタンが押下された場合は(ステップS606:YES)、候補提示部105は、押下された視聴ボタンに対応する候補による合成音声を生成し、ユーザに対して出力する(ステップS607)。
視聴ボタンが押下されていない場合(ステップS606:NO)、または、合成音声を出力後、選択受付部106は、選択ボタンが押下されたか否かを判断する(ステップS608)。
選択ボタンが押下されていない場合は(ステップS608:NO)、キャンセルボタン受付処理に戻り処理を繰り返す(ステップS605)。選択ボタンが押下された場合は(ステップS608:YES)、置換部107が、選択した候補で修正が指定された箇所のアクセント結合を置換することにより中間言語を編集し(ステップS609)、中間言語編集処理を終了する。
次に、ステップS603の候補生成処理の詳細について説明する。図9は、第1の実施の形態における候補生成処理の全体の流れを示すフローチャートである。
まず、候補生成部104は、修正するアクセント結合の型を取得する(ステップS901)。候補生成部104は、修正箇所の語句の後部要素の単語に対応するアクセント結合の型を辞書記憶部121から取得することにより、修正するアクセント結合の型を取得可能である。また、アクセント句ごとにアクセント結合の型を保持しておき、保持した型を参照して取得するように構成してもよい。
次に、候補生成部104は、取得した型に対応する規則以外の規則を、規則記憶部123から取得する(ステップS902)。続いて、候補生成部104は、取得した規則を適用してアクセントを変形したアクセント結合の別候補を生成する(ステップS903)。
例えば、語句「現地集合」については、後部要素の単語「集合」のアクセント結合型はA型であるため、A型以外のアクセント型である、B型、0型、後部アクセント型、無変化型に対応する候補をそれぞれ生成する。なお、上述のようにこの例では、後部アクセント型に対応する候補と、0型に対応する候補とが一致する。このような場合は、候補を統合してユーザに提示する。
(変形例1)
なお、ここまでは修正受付部103で修正が指定された単語が名詞2単語であるケースについて述べた。修正対象となる単語は2単語に限られず、3単語以上の連続した名詞に対しても同様の処理を行うことができる。
この場合、候補生成部104は、以下のようにして別候補を生成する。まず、3単語「単語A/単語B/単語C」であった場合、「単語A」および「単語B」の2単語に対して、上述と同様の別候補生成を行う。次に、「単語A」と「単語B」とを連結した語句と、生成した候補の組をそれぞれ1単語とみなし、それらと単語Cとの組あわせそれぞれに対し、2単語の場合に行った別候補の生成を行うことで、別候補が得る。
なお「単語A」、「単語B」から作られた別候補のうち、無変化型に対応する候補に対しては、アクセント句が2つ含まれる場合が生じうる。この場合は、後方のアクセント句と、単語Cとの関係で別候補を生成する。4単語以上についても同様に、前から順に別アクセント句を決定していくことで全体の別アクセント句を生成することができる。
(変形例2)
修正が指示された単語が名詞以外を含む場合、つまり「名詞+名詞」以外でも、「接頭+名詞」「名詞+接尾」や、「動詞+動詞」「名詞+助詞助動詞」「動詞+助詞助動詞」などの関係にも、同様なアクセント結合の規則が存在するため、それらについても同様な枠組みで別候補を生成することができる。
(変形例3)
修正が指示された単語が単語単独で複合名詞であった場合にも適用可能である。複合名詞とは、基本的に複数の単語を1単語として扱った単語であり、例えば複合名詞「預金口座」は、構成語として「預金」および「口座」の2つの単語に分解できる。この場合は、「預金口座」を構成語に分解し、「預金」および「口座」の複数単語として別候補を生成する。修正が指示された複数単語の中に複合名詞が含まれる場合も同様に処理できる。なお、修正が指示された単語が単独の単語であって、複合名詞でもない場合には、単語単独で可能なアクセント変化を別候補として処理することが考えられる。
(変形例4)
「名詞+名詞」のアクセント結合の規則として5種類を例に挙げたが、規則は当該5種類の規則に限られるものではなく、従来から用いられているその他のあらゆるバリエーションの結合規則を適用することができる。
このように、第1の実施の形態にかかる音声合成装置では、ユーザにより修正が指定されたアクセント結合に対して、予め決められた規則以外のアクセント結合規則を適用したアクセントの候補を生成してユーザに提示し、提示した候補からユーザが選択したアクセントで中間言語を編集することができる。
これにより、中間言語の知識が不足した、または修正するスキルが不足したユーザであっても、簡単にアクセント結合に関するアクセントの誤りの修正を行うことができる。また音声で候補を提示することにより、アクセント結合の知識が不足していても、正しいアクセントを選択可能となる。さらに、限られた個数のアクセント規則を利用して別候補を生成するので、選択肢の数が絞れるという利点がある。すなわち、音声合成出力の品質を保つために必要不可欠である中間言語の編集作業を、より少ないコストで実現することができる。
(第2の実施の形態)
第1の実施の形態では、「名詞+名詞」のアクセント結合規則として5種類を例に挙げたが、組み合わせ論的には、「前方の名詞のモーラ数+後方の名詞のモーラ数+1」種類のアクセントを生成する規則が存在しうる。なお、この規則で生成される候補は、上記5種類の規則で生成される候補と重複する場合もありうる。
第2の実施の形態にかかる中間言語編集装置は、組合せから考えられるすべての候補をさらに生成するとともに、各候補に対して予め定められた優先順位に従って、生成した候補をユーザに提示するものである。
図10は、第2の実施の形態にかかる音声合成装置1000の構成を示すブロック図である。同図に示すように、音声合成装置1000は、文書受付部101と、中間言語生成部102と、修正受付部103と、候補生成部1004と、候補提示部1005と、選択受付部106と、置換部107と、音声合成部108と、辞書記憶部121と、中間言語記憶部122と、規則記憶部1023と、を備えている。
第2の実施の形態では、候補生成部1004と候補提示部1005の機能、および規則記憶部1023の構造が第1の実施の形態と異なっている。その他の構成および機能は、第1の実施の形態にかかる音声合成装置100の構成を表すブロック図である図1と同様であるので、同一符号を付し、ここでの説明は省略する。
規則記憶部1023は、アクセント結合に関する規則を記憶するものであり、各規則ごとに規則を適用する順位を表す優先順位をさらに対応づけて記憶する点が、第1の実施の形態の規則記憶部123と異なっている。
図11は、規則記憶部1023に記憶された規則の一例を示す説明図である。同図に示すように、規則記憶部1023は、第1の実施の形態と同様の規則のそれぞれに対し、優先順位を記憶している。
なお、優先順位は、例えば新聞記事1ヶ月分の文書に対して言語処理を行ってアクセント結合が行われるケースについて各規則の適応頻度を調べることにより決定し、事前に規則記憶部1023に記憶しておく。
候補生成部1004は、規則記憶部1023に記憶された規則に対応する候補に加え、修正対象となる語句が取りうるアクセントに対応するすべての候補を生成する点が、第1の実施の形態における候補生成部104と異なっている。具体的には、候補生成部1004は、アクセント結合を修正する語句のモーラ数+1個のアクセントの候補を生成する。1を加算するのは、いずれのモーラにもアクセントが付与されない0型のアクセントの候補を生成するためである。
例えば、語句「現地集合」の候補を生成する場合、「げんち」が3モーラ、「しゅうごう」が4モーラであるため、以下の8種類の候補を生成することができる。
(0型ルール)「げんちしゅうごう」
(1型ルール)「げ^んちしゅうごう」
(2型ルール)「げん^ちしゅうごう」
(3型ルール)「げんち^しゅうごう」
(4型ルール)「げんちしゅ^うごう」
(5型ルール)「げんちしゅう^ごう」
(6型ルール)「げんちしゅうご^う」
(7型ルール)「げんちしゅうごう^」
候補生成部1004は、このようにして生成した各候補にも優先順位を付与する。なお、規則記憶部1023に記憶された規則から生成した候補を優先して優先順位付けを行い、その他の候補は、別途統計情報から算出した優先順位にしたがって優先順位付けを行う。例えば、辞書記憶部121に記憶された単語のうち、7モーラを有する単語に対して各アクセント型の頻度を算出し、頻度の大きい順に優先順位を高く設定する。
候補提示部1005は、候補生成部1004が生成したアクセント結合の候補を優先順位の高い順に提示するものである。
次に、このように構成された第2の実施の形態にかかる音声合成装置1000による音声合成処理について説明する。第2の実施の形態における音声合成処理の全体の流れは、第1の実施の形態における音声合成処理を表す図5と同様であるため、その説明を省略する。
次に、第2の実施の形態における中間言語編集処理について説明する。図12は、第2の実施の形態における中間言語編集処理の全体の流れを示すフローチャートである。
ステップS1201からステップS1202までの、修正受付処理は、第1の実施の形態にかかる音声合成装置100におけるステップS601からステップS602までと同様の処理なので、その説明を省略する。
修正箇所を受付けた後(ステップS1202)、候補生成部1004が候補生成処理を実行する(ステップS1203)。第2の実施の形態における候補生成処理の詳細は、第1の実施の形態と異なっている(後述)。
次に、候補提示部1005は、候補生成部1004により生成された候補を優先順位の高い順に画面に表示する(ステップS1204)。例えば、図8に示すような候補表示画面の場合、候補提示部1005は、優先順位の高い候補を画面の上部に表示する。なお、候補提示部1005は、優先順位が高い候補のうち、予め定められた個数の候補のみを画面に表示するように構成してもよい。また、ユーザの要求にしたがって、予め定められた個数の候補以外の別候補を順次提示するように構成してもよい。
ステップS1205からステップS1208までの、選択受付処理、修正箇所置換処理は、第1の実施の形態にかかる音声合成装置100におけるステップS605からステップS608までと同様の処理なので、その説明を省略する。
次に、ステップS1203の候補生成処理の詳細について説明する。図13は、第2の実施の形態における候補生成処理の全体の流れを示すフローチャートである。
ステップS1301からステップS1303までの、規則記憶部1023に記憶された規則による候補の生成処理は、第1の実施の形態にかかる音声合成装置100におけるステップS901からステップS903までと同様の処理なので、その説明を省略する。
次に、候補生成部1004は、「前方の名詞のモーラ数+後方の名詞のモーラ数+1」種類の規則によって作られるアクセントの別候補を生成する(ステップS1304)。例えば、語句「現地集合」に対しては、上述のような(0型ルール)から(7型ルール)までの8種類の候補を生成する。
次に、候補生成部1004は、規則記憶部1023の規則から生成した候補に対応する候補を選択し、優先順位に従い並び替えを行う(ステップS1305)。例えば、図11に示すような優先順位が規則記憶部1023に記憶されていた場合、「0型」、「A型」、「B型」、「後部アクセント型」、「無変化型」の順で、各規則に対応する候補を並び替える。なお、編集前と同じ候補については優先順を下げるように構成してもよい。
次に、候補生成部1004は、規則記憶部1023の規則から生成した候補以外の候補を、統計情報に従い並び替えを行う(ステップS1306)。統計情報とは、上述のように事前に辞書等を参照して算出した優先順位などを意味し、図示しない記憶部等に記憶されているものとする。なお、優先順位の決定方法はこれに限られるものではなく、より適切な候補を提示するために利用可能なあらゆる基準を用いて優先順位を決定することができる。
このように、第2の実施の形態にかかる音声合成装置では、予め定められた優先順位に従って生成した候補をユーザに提示することができる。このため、ユーザにとってより適切な候補を提示可能となり、アクセント結合に関するアクセントの誤りの修正をより容易に行うことができる。
図14は、第1または第2の実施の形態にかかる音声合成装置のハードウェア構成を示す説明図である。
第1または第2の実施の形態にかかる音声合成装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、HDD(Hard Disk Drive)、CD(Compact Disc)ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス61を備えており、通常のコンピュータを利用したハードウェア構成となっている。
第1または第2の実施の形態にかかる音声合成装置で実行される中間言語編集プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、第1または第2の実施の形態にかかる音声合成装置で実行される中間言語編集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第1または第2の実施の形態にかかる音声合成装置で実行される中間言語編集プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、第1または第2の実施の形態の中間言語編集プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
第1または第2の実施の形態にかかる音声合成装置で実行される中間言語編集プログラムは、上述した各部(文書受付部、中間言語生成部、修正受付部、候補生成部、候補提示部、選択受付部、置換部、音声合成部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU51(プロセッサ)が上記記憶媒体から中間言語編集プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。
以上のように、本発明にかかる中間言語編集装置、中間言語編集方法および中間言語編集プログラムは、中間言語を編集可能な音声合成機能を備えたパソコン、PDA、組み込みボードなどに適している。
第1の実施の形態にかかる音声合成装置の構成を示すブロック図である。 単語辞書のデータ構造の一例を示す説明図である。 中間言語記憶部に記憶されている情報のデータ構造の一例を示す説明図である。 中間言語記憶部に記憶されている情報のデータ構造の一例を示す説明図である。 規則記憶部に記憶された規則の一例を示す説明図である。 第1の実施の形態における音声合成処理の全体の流れを示すフローチャートである。 中間言語編集処理の全体の流れを示すフローチャートである。 指示画面の一例を示す説明図である。 候補表示画面の一例を示す説明図である。 第1の実施の形態における候補生成処理の全体の流れを示すフローチャートである。 第2の実施の形態にかかる音声合成装置の構成を示すブロック図である。 規則記憶部に記憶された規則の一例を示す説明図である。 第2の実施の形態における中間言語編集処理の全体の流れを示すフローチャートである。 第2の実施の形態における候補生成処理の全体の流れを示すフローチャートである。 第1または第2の実施の形態にかかる中間言語編集装置のハードウェア構成を示す説明図である。
符号の説明
51 CPU
52 ROM
53 RAM
54 通信I/F
61 バス
100 音声合成装置
101 文書受付部
102 中間言語生成部
103 修正受付部
104 候補生成部
105 候補提示部
106 選択受付部
107 置換部
108 音声合成部
121 辞書記憶部
122 中間言語記憶部
123 規則記憶部
701 ディスプレイ
702 指示画面
703 マウスカーソル
704 修正箇所
801 候補表示画面
802 中間言語表示フィールド
803 視聴ボタン
804 選択ボタン
805 キャンセルボタン
1000 音声合成装置
1004 候補生成部
1005 候補提示部
1023 規則記憶部

Claims (11)

  1. 文字列を音声に変換する音声合成処理で生成される中間言語を編集する中間言語編集装置であって、
    文書内で連続する単語を含む語句と、前記語句のアクセントの位置に関するアクセント情報を含む前記中間言語とを対応づけて記憶する中間言語記憶手段と、
    前記語句単位で、前記語句に対応する前記中間言語に含まれる前記アクセント情報の修正の指示を受付ける修正受付手段と、
    前記語句のアクセントを決定する予め定められた規則に基づいて、修正の指示を受付けた前記アクセント情報に代わる前記アクセント情報の候補を生成する候補生成手段と、
    生成した前記候補をユーザに提示する候補提示手段と、
    提示した前記候補の中からユーザにより選択された前記候補を受付ける選択受付手段と、
    前記中間言語記憶手段に記憶された前記中間言語に含まれる前記アクセント情報のうち、修正の指示を受付けた前記アクセント情報を、受付けた前記候補で置換する置換手段と、
    を備えたことを特徴とする中間言語編集装置。
  2. 前記中間言語記憶手段は、前記語句と、前記語句に対するアクセントとして、前記規則のうちから選択された第1規則に基づいて決定されたアクセントの位置に関する前記アクセント情報を含む前記中間言語とを対応づけて記憶し、
    前記候補生成手段は、前記規則のうち前記第1規則以外の規則に基づいて決定されたアクセントの位置に関する前記アクセント情報を前記候補として生成すること、
    を特徴とする請求項1に記載の中間言語編集装置。
  3. 前記候補提示手段は、生成した前記候補を含む前記中間言語をユーザに提示すること、
    を特徴とする請求項1に記載の中間言語編集装置。
  4. 前記候補提示手段は、修正の指示を受付けた前記アクセント情報を含む前記中間言語に対応する前記語句を、生成した前記候補を含む前記中間言語を用いて音声合成した音声をユーザに提示すること、
    を特徴とする請求項1に記載の中間言語編集装置。
  5. 前記中間言語記憶手段は、文書内で連続する名詞を含む前記語句と、前記中間言語とを対応づけて記憶し、
    前記修正受付手段は、連続する名詞を含む前記語句に対応する前記中間言語に含まれる前記アクセント情報の修正の指示を受付け、
    前記候補生成手段は、連続する名詞を含む前記語句のアクセントを決定する前記規則に基づいて前記候補を生成すること、
    を特徴とする請求項1に記載の中間言語編集装置。
  6. 前記修正受付手段は、さらに、複数の名詞を連結した複合名詞に対応する前記中間言語に含まれる前記アクセント情報の修正の指示を受付け、
    前記候補生成手段は、修正の指示を受付けた前記アクセント情報が含まれる前記中間言語に対応する前記複合名詞を連続する名詞に分割し、分割した名詞を、前記語句に含まれる連続する名詞として前記規則に基づいて前記候補を生成すること、
    を特徴とする請求項5に記載の中間言語編集装置。
  7. 前記候補提示手段は、前記規則を適用する順位であって前記規則ごとに予め定められた第1の優先順位の高い順に、生成した前記候補をユーザに提示すること、
    を特徴とする請求項1に記載の中間言語編集装置。
  8. 前記候補提示手段は、前記第1の優先順位の高い順に予め定められた個数の前記候補をユーザに提示すること、
    を特徴とする請求項7に記載の中間言語編集装置。
  9. 前記候補生成手段は、さらに、前記語句に含まれるモーラのそれぞれに対し、前記モーラにアクセントを付与した前記候補を生成し、
    前記候補提示手段は、さらに、アクセントを付与した前記モーラの前記語句内の位置ごとに予め定められた第2の優先順位の高い順に、生成した前記候補をユーザに提示すること、
    を特徴とする請求項7に記載の中間言語編集装置。
  10. 文字列を音声に変換する音声合成処理で生成される中間言語を編集する中間言語編集装置における中間言語編集方法であって、
    前記中間言語編集装置は、
    文書内で連続する単語を含む語句と、前記語句のアクセントの位置に関するアクセント情報を含む前記中間言語とを対応づけて記憶する中間言語記憶手段を備え、
    修正受付手段によって、前記語句単位で、前記語句に対応する前記中間言語に含まれる前記アクセント情報の修正の指示を受付ける修正受付ステップと、
    候補生成手段によって、前記語句のアクセントを決定する予め定められた規則に基づいて、修正の指示を受付けた前記アクセント情報に代わる前記アクセント情報の候補を生成する候補生成ステップと、
    候補提示手段によって、生成した前記候補をユーザに提示する候補提示ステップと、
    選択受付手段によって、提示した前記候補の中からユーザにより選択された前記候補を受付ける選択受付ステップと、
    置換手段によって、前記中間言語記憶手段に記憶された前記中間言語に含まれる前記アクセント情報のうち、修正の指示を受付けた前記アクセント情報を、受付けた前記候補で置換する置換ステップと、
    を備えたことを特徴とする中間言語編集方法。
  11. 文字列を音声に変換する音声合成処理で生成される中間言語を編集する中間言語編集装置における中間言語編集プログラムであって、
    前記中間言語編集装置は、
    文書内で連続する単語を含む語句と、前記語句のアクセントの位置に関するアクセント情報を含む前記中間言語とを対応づけて記憶する中間言語記憶手段を備え、
    前記語句単位で、前記語句に対応する前記中間言語に含まれる前記アクセント情報の修正の指示を受付ける修正受付手順と、
    前記語句のアクセントを決定する予め定められた規則に基づいて、修正の指示を受付けた前記アクセント情報に代わる前記アクセント情報の候補を生成する候補生成手順と、
    生成した前記候補をユーザに提示する候補提示手順と、
    提示した前記候補の中からユーザにより選択された前記候補を受付ける選択受付手段と、
    前記中間言語記憶手段に記憶された前記中間言語に含まれる前記アクセント情報のうち、修正の指示を受付けた前記アクセント情報を、受付けた前記候補で置換する置換手順と、
    をコンピュータに実行させる中間言語編集プログラム。
JP2006261356A 2006-09-26 2006-09-26 中間言語編集装置、中間言語編集方法および中間言語編集プログラム Abandoned JP2008083239A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006261356A JP2008083239A (ja) 2006-09-26 2006-09-26 中間言語編集装置、中間言語編集方法および中間言語編集プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006261356A JP2008083239A (ja) 2006-09-26 2006-09-26 中間言語編集装置、中間言語編集方法および中間言語編集プログラム

Publications (1)

Publication Number Publication Date
JP2008083239A true JP2008083239A (ja) 2008-04-10

Family

ID=39354202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006261356A Abandoned JP2008083239A (ja) 2006-09-26 2006-09-26 中間言語編集装置、中間言語編集方法および中間言語編集プログラム

Country Status (1)

Country Link
JP (1) JP2008083239A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008239A (ja) * 2010-06-23 2012-01-12 Fujitsu Ltd ユーザ辞書登録装置、ユーザ辞書登録方法、及びユーザ辞書登録プログラム
JP2013134396A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 合成音声修正装置,方法,及びプログラム
JP2014044289A (ja) * 2012-08-27 2014-03-13 Animo:Kk テキスト整形プログラム、方法及び装置
JP2014197117A (ja) * 2013-03-29 2014-10-16 富士通株式会社 音声合成装置及び言語辞書登録方法
JP2015055793A (ja) * 2013-09-12 2015-03-23 富士通株式会社 音声合成装置、音声合成方法、およびプログラム
JP2015118222A (ja) * 2013-12-18 2015-06-25 株式会社日立超エル・エス・アイ・システムズ 音声合成システム及び音声合成方法
WO2016143420A1 (ja) * 2015-03-06 2016-09-15 シャープ株式会社 提示装置、提示装置の制御方法、および制御プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008239A (ja) * 2010-06-23 2012-01-12 Fujitsu Ltd ユーザ辞書登録装置、ユーザ辞書登録方法、及びユーザ辞書登録プログラム
JP2013134396A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 合成音声修正装置,方法,及びプログラム
JP2014044289A (ja) * 2012-08-27 2014-03-13 Animo:Kk テキスト整形プログラム、方法及び装置
JP2014197117A (ja) * 2013-03-29 2014-10-16 富士通株式会社 音声合成装置及び言語辞書登録方法
JP2015055793A (ja) * 2013-09-12 2015-03-23 富士通株式会社 音声合成装置、音声合成方法、およびプログラム
JP2015118222A (ja) * 2013-12-18 2015-06-25 株式会社日立超エル・エス・アイ・システムズ 音声合成システム及び音声合成方法
WO2016143420A1 (ja) * 2015-03-06 2016-09-15 シャープ株式会社 提示装置、提示装置の制御方法、および制御プログラム

Similar Documents

Publication Publication Date Title
JP5482042B2 (ja) 合成音声テキスト入力装置及びプログラム
JP2008083239A (ja) 中間言語編集装置、中間言語編集方法および中間言語編集プログラム
WO2004066271A1 (ja) 音声合成装置,音声合成方法および音声合成システム
JP2008268477A (ja) 韻律調整可能な音声合成装置
JP5106608B2 (ja) 読み上げ支援装置、方法、およびプログラム
JP4811557B2 (ja) 音声再生装置及び発話支援装置
JP5296029B2 (ja) 文章提示装置、文章提示方法及びプログラム
JP5082971B2 (ja) 音声合成装置およびそれを用いた読み上げシステム。
JP3589972B2 (ja) 音声合成装置
JP4640063B2 (ja) 音声合成方法,音声合成装置,およびコンピュータプログラム
JP6411015B2 (ja) 音声合成装置、音声合成方法、およびプログラム
JP2007271910A (ja) 合成音声生成装置
JP3230868B2 (ja) 音声合成装置
JP2006349787A (ja) 音声合成方法および装置
JP4173404B2 (ja) 文セット自動生成装置、文セット自動生成プログラム、記憶媒体
JP2008015362A (ja) 韻律補正装置、音声合成装置、韻律補正方法、音声合成方法、韻律補正プログラム、および、音声合成プログラム
JP4765274B2 (ja) 音声合成装置及び音声合成方法
JP2002268664A (ja) 音声変換装置及びプログラム
JP6727477B1 (ja) ピッチパターン補正装置、プログラム及びピッチパターン補正方法
JP2007127994A (ja) 音声合成方法及び音声合成装置並びにプログラム
JP3821131B2 (ja) 音声合成装置および音声合成方法
JP2001014304A (ja) 文書作成装置、変換処理方法及び変換処理プログラムを記録した記録媒体
JP2006098552A (ja) 音声情報生成装置、音声情報生成プログラム及び音声情報生成方法
JP2001249678A (ja) 音声出力装置,音声出力方法および音声出力のためのプログラム記録媒体
JP2022169012A (ja) 編集装置、音声合成装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080926

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20100129