JP2012073643A - 携帯型デバイス内のテキスト音声処理用システムおよび方法 - Google Patents

Abstract

【課題】現在、携帯型デバイスの処理電力と記憶容量の制限のために、低品質のＴＴＳ技術しか使用できないことがある。したがって、現在の携帯型デバイスの制限に対処できる方法で高品質ＴＴＳ技術の適用を可能にする。
【解決手段】複雑性が低いデバイス内で高品質のテキスト音声（ＴＴＳ）出力を提供するシステムおよび方法が開示される。ＴＴＳ出力は複雑性が高いデバイス上に常駐するＴＴＳシステムによって生成される。ＴＴＳ出力は複雑性が高いデバイスからは複雑性が低いデバイスに送信され、それ以後、取り出され、再生される。
【選択図】図２

Description

本発明は、一般にテキスト音声処理に関し、特に携帯型デバイス内のテキスト音声処理に関する。

テキスト音声（ＴＴＳ）合成技術は、任意のテキストを可聴音声に変換し、音声メッセージを介して人々にテキスト情報を提供することができるという目標を達成する能力を与える。これらの音声メッセージは、可聴出力がシステム対話でのユーザ・フィードバックの主要な形式である分野で特に有用であることが分かる。ユーザが応答性がある通信の有効な手段としてテキスト出力を評価できない時にこれらの状況が発生する。この点に関して、ＴＴＳ技術は携帯型デバイスのユーザと通信する機構として使用される時に有望な利益を提供できると考えられている。

携帯型デバイスの設計は、通常、使用上の人間工学に基く。例えば、携帯性を最大限にするという目標は、通常、最小の電力要件を備えた最小のフォーム・ファクタに帰結する。これらの制約によって、同じ制約がない汎用の処理システム（例えば、パーソナル・コンピュータ）と比較して処理電力と記憶容量のアベイラビリティが明らかに制限される。

携帯型デバイスの処理電力と記憶容量の制限は、許容できるＴＴＳ出力を提供する能力に直接影響する。現在、これらの制限のために、低品質のＴＴＳ技術しか使用できないことがある。したがって、現在の携帯型デバイスの制限に対処できる方法で高品質ＴＴＳ技術の適用を可能にする解決策が必要である。

上記およびその他の利点と特徴とが得られる方法を説明するため、上に簡潔に説明した本発明の詳細を添付図面に示す具体的な実施形態を参照しながら以下に説明する。これらの図面は本発明の代表的な実施形態を示すだけのものであって本発明の範囲を限定するものではないことを念頭に置きながら、添付図面を用いて本発明を具体的かつ詳細に説明する。

本発明のテキスト音声処理環境の一実施形態を示す図である。 高性能コンピュータ・デバイス内のテキスト音声処理構成要素の一実施形態を示す図である。 低性能コンピュータ・デバイス内のテキスト音声処理構成要素の一実施形態を示す図である。

本発明のさまざまな実施形態について以下に詳述する。特定の実施形態について説明しているが、これは例示的なものに過ぎないことを理解されたい。本発明の精神および範囲を逸脱することなくその他の構成要素および構成を使用できることは当業者には明らかであろう。

テキスト音声（ＴＴＳ）合成技術によって電子デバイスはテキスト・ストリームを可聴音声に変換することができる。この可聴音声はこうして音声メッセージを介してユーザにテキスト情報を提供する。ＴＴＳはＥメールまたはその他の任意の汎用のテキスト・メッセージ交換ソリューションなどのさまざまなコンテキスト内で適用できる。特に、ＴＴＳは、例えば、Ｅメール閲覧、インスタント・メッセージ交換、株式および他の警告または警報、最新ニュースなどの任意の動的なコンテンツを合成音声に変換する際に価値がある。

ＴＴＳ合成音声の品質はＴＴＳ技術の急速な普及において極めて重要であることが理解されよう。携帯電話、パーソナル・ディジタル・アシスタント、ＢｌａｃｋＢｅｒｒｙまたはＰａｌｍデバイスなどの組み合わせデバイスなどの携帯デバイスはＴＴＳ技術の活用に特に適している。
調音合成、ホルマント合成、および波形接続型合成方法を含むさまざまな異なる音声合成のＴＴＳ方法が存在する。

調音合成は声門および振動音声路のモデル（周期的な吸気興奮を生成する）などの音声生成のコンピュータ化された生物医学的モデルを使用する。理想的には、調音合成装置は、舌、唇、および声門などの咬合器のシミュレートされた筋肉運動によって制御される。合成音声出力を計算することは時間依存の３次元微分方程式を解くことになろう。残念ながら、現在、調音合成も、演算要件が厳しいことで悪名が高く、自然に聞こえる流暢な音声を得ることができない。

ホルマント合成は、（声門）ソースがフィルタ（音声路）から完全に独立していることを前提にする極めて簡単化されたソース−フィルタ・モデルを制御する１組の規則を使用する。フィルタは、ホルマント周波数および帯域幅などの制御パラメータによって決定される。各ホルマントは音声路の特定の共鳴（フィルタ特性の「ピーク」）に関連付けられる。ソースは様式化された声門またはその他のパルス（周期音の場合）または雑音（吸気および摩擦音の場合）を生成する。ホルマント合成は極めて分かりやすいが完全に自然ではない音声を生成する。ただし、この方法はメモリ占有領域が小さく、演算要件が中庸であるという利点を有する。

最後に、波形接続型合成は、「波形」（非符号化）として、または適当な音声符号化方法によって符号化された、録音から切り出してインベントリ（「音声データベース」）に記憶された録音音声の実際の断片を使用する。基本「単位」（すなわち、音声セグメント）は、例えば、音素（母音または子音）または１つの音素の後半プラス次の音素の前半（例えば、母音・子音遷移）とを含む音素遷移（「複音」）である。一部の波形接続型合成器は、実際、音節の時間スケールに「複音」方法を適用して、いわゆる半音節（すなわち、半分の音節、音節遷移）を使用する。波形接続型合成自体は、音声データベースから選択した単位を繋げ（連結し）、任意選択の復号化を経て、結果として得られる音声信号を出力する。波形接続型合成システムは録音された音声の断片を使用するので、「自然」に聞こえる最高の可能性を有する。

波形接続型合成技法はまた単位選択合成を含む。以前の波形接続型合成器と比べて、単位選択合成は、特定の複音の数千の例を含むことができるインベントリから（直ちに）最適な合成単位を自動的に選択し、それらを連結して合成音声を生成する。

複雑性が低いデバイス（例えば、携帯電話）へのＴＴＳ技術の従来の適用例は、処理および記憶能力が限られた環境でのＴＴＳ合成音声の品質を犠牲にすることを余儀なくされていた。具体的には、携帯電話などの複雑性が低いデバイスは、通常、従来のデスクトップまたはラップトップ・パーソナル・コンピュータ・デバイスなどの複雑性が高いデバイスと比較してはるかに低い処理および記憶能力を備えて設計されている。この結果、低品質のＴＴＳ技術が複雑性が低いデバイスに組み込まれている。例えば、携帯デバイスへのＴＴＳ技術の従来の適用例は、メモリ占有領域が小さく、演算要件が中庸であるホルマント合成技術を使用していた。

本発明によれば、処理および記憶能力が制限されているデバイス（移動体デバイスなど）に適用された時でも高品質ＴＴＳ技術が使用可能である。本発明の原理を、携帯電話１２０への高品質ＴＴＳ技術の適用例を示す図１を参照しながら説明する。以下の説明では、高品質ＴＴＳ技術は波形接続型合成技術によって例示されている。ただし、本発明の原理は波形接続型合成技術に限定されるわけではない。逆に、本発明の原理は、ＴＴＳ技術が実際には所与のデバイスに適用できないほど複雑な任意の状況に適用するように意図されている。

携帯電話の一例では、ＴＴＳ技術は音声ダイヤルを支援するために使用されることができる。一般に、車の運転中など、ユーザがキーパッドまたは画面に注意を向けられない時はいつでも、音声ダイヤルは極めて望ましい。このシナリオでは、「職場のジョンに電話する」と言う方が運転中に細かいダイヤル・パッドで１０桁の文字列をダイヤルしようとするよりも安全なのは確かである。

音声ダイヤルとそれと同等のコマンドおよび制御は、小占有領域ＡＳＲエンジンで利用可能な自動音声認識（ＡＳＲ）技術によって可能になる。メモリ占有領域が小さいため、ＡＳＲはデバイス自体で実行できる。

音声ダイヤルによって個人の安全を増すことができる一方、音声ダイヤル・プロセスは不注意から完全に免れるものではない。一部の便利な電話機では、音声ダイヤル装置はテキスト・メッセージまたは低品質ＴＴＳを介してフィードバック（例えば、「ジョン・ドーさんですかジョン・ミラーさんですか？」）を提供する。

合成音声によるフィードバック・メッセージの高品質な（自然に聞こえる、分かりやすい）表現には最新のＴＴＳ技術が必要である。理想的には、ＴＴＳモジュールもデバイス１２０上で実行され、ユーザにフィードバックを提供してＡＳＲエンジンが音声入力を正しく解釈したことを保証する。ただし、上記のように、現在の高品質ＴＴＳは多数の現在のデバイス上で利用可能なレベルを超えるレベルの処理およびメモリのサポートを必要とする。

実際、最新のＴＴＳ技術は多数の現在のデバイス上で利用可能なレベルを超えるレベルの処理およびメモリのサポートを必要とするというのが実態であるようである。
以下に詳述するように、本発明によって高品質ＴＴＳは中庸の処理および記憶能力を有するデバイス内でも使用できる。この機能は、十分なレベルの処理および記憶能力を所有する追加のデバイス（例えば、デスクトップおよびラップトップ・コンピュータ）の処理力を活用することで使用可能になる。ここで、活用プロセスは高機能デバイスと低機能デバイスとの間の通信によって使用可能になる。

図１は、そのような構成の一実施形態を示す図である。図１に示すように、ＴＴＳ環境１００は、高機能デバイス（例えば、コンピュータ）１１０、低機能デバイス（例えば、携帯電話）１２０、およびユーザ１３０を含む。ここで、高機能デバイス１１０および低機能デバイス１２０は同期化プロセスの一部として通信するように構成できる。この同期化プロセスによって、ユーザ１３０は、高機能デバイス１１０上の情報データベース（例えば、カレンダ、連絡先／電話帳など）が低機能デバイス１２０の情報データベースと同期していることを確認できる。一般の情報データベースの変更（例えば、新しい連絡先の生成、既存の連絡先情報の変更）は、ユーザの高機能デバイス１１０との対話またはユーザの低機能デバイス１２０との対話によって実行できることを理解されたい。

なお、高機能デバイス１１０と低機能デバイス１２０との間の情報の同期化はさまざまな方法で実行できることに注目されたい。さまざまな実施形態で、有線接続（例えば、ＵＳＢ接続）または無線接続（例えば、Ｂｌｕｅｔｏｏｔｈ、ＧＰＲＳ、またはその他の任意の無線標準）を使用できる。さまざまな同期化ソフトウェアを使用して同期化プロセスに影響を与えることができる。利用可能な同期化ソフトウェアの現在の例は、Ｐａｌｍ，Ｉｎｃ．社製のＨｏｔＳｙｎｃおよびアップル・コンピュータ社製のｉＳｙｎｃを含む。本発明の原理は高機能デバイス１１０と低機能デバイス１２０との間の接続の特定の選択または送受信を調整する特定の同期化ソフトウェアによって変わるものではない。

一般に、同期化プロセスは、低機能デバイス１２０に高品質ＴＴＳ情報が提供できる構造化方式を提供する。代替実施形態では、所期の目的を達成するために、サードパーティの同期化ソフトウェア・パッケージとは別に専用のソフトウェア・アプリケーションを設計することができる。この通信のパイプを用いて、低機能デバイス１２０内のＴＴＳシステムは、高機能デバイス１１０内の処理および記憶能力を活用することができる。具体的には、波形接続型合成技術の場合、ＴＴＳ技術の処理および記憶が集約した部分は高機能デバイス１１０内に常駐する。この構造の一実施形態を図２に示す。

図２に示すように、高機能デバイス１１０はＴＴＳシステム２１０を含む。一実施形態では、ＴＴＳシステム２１０はテキスト解析モジュール２１２と音声合成モジュール２１４とを含む波形接続型合成システムである。テキスト解析モジュール２１２自体は、別々であるが絡み合った機能を備えた一連のモジュールを含むことができる。一実施形態では、テキスト解析モジュール２１２は入力テキストを解析し、それを目的の一連の音声記号および声調（基本周波数、継続時間、および振幅）に変換する。音声合成モジュール２１４に提供される特定の出力は実施態様により異なることがあるが、音声合成モジュールの基本機能は音声出力を生成することである。この音声出力は音声出力データベース２２０内に記憶される。

音声出力データベース２２０内に記憶されるＴＴＳ出力は、高機能デバイス１１０上で全面的に実行されるＴＴＳ処理の結果を表す。したがって、低機能デバイス１２０の処理および記憶能力はこれまで必要とされていなかった。

一実施形態では、ＴＴＳシステム２１０を用いてキャリア・フレーズおよびスロット情報の事前合成された音声を生成することができる。キャリア・フレーズの一例は、「番号［スロット３］の「スロット２」の［スロット１］に電話して欲しいですか？」である。この例では、スロット１は名前、スロット２は場所、スロット３は電話番号を表し、「番号［７０３−５５５−１２１２］の［職場］の［ジョン・ドー］に電話して欲しいですか？」という組み合わせ出力を生成することができる。この例が示すように、スロット要素１、２、３の各々は、キャリア・フレーズの音声充填文字を表す。キャリア・フェーズとスロット情報の両方を高機能デバイス１１０で事前合成し、低機能デバイス１２０にダウンロードしてそれ以降ユーザに対して再生することができるというのが本発明の特徴である。

図３は、事前合成されたキャリア・フレーズとスロット情報のこの枠組みをサポートする低機能デバイス１２０の一実施形態を示す。図示のように、低機能デバイス１２０はメモリ３１０を含む。メモリ３１０は、キャリア・フレーズ部３１２およびスロット情報部３１４を含むように構成できる。キャリア・フレーズ部３１２は事前合成されたキャリア・データを記憶し、スロット情報部３１４は事前合成されたスロット・データを記憶するように構成されている。

キャリア・フレーズは大半のユーザに適用できると考えられ、したがって、低機能デバイス１２０上に事前読み込みできることが理解されよう。したがって、事前合成されたキャリア・フレーズは、自らが運用する高機能コンピュータ・デバイス１１０を用いる製造業者が生成でき、製造プロセスで、低機能デバイス１２０にダウンロードしてキャリア・フレーズ部３１２に記憶することができる。

低機能デバイス１２０をユーザが所有すると、低機能デバイスのカスタム化が進行することができる。このプロセスで、ユーザは、ユーザ定義のスロット・タイプでキャリア・フレーズが機能するようにカスタマイズできる。このカスタマイズのプロセスは、ユーザが操作する高機能コンピュータ・デバイス１１０によるカスタムのキャリア・フレーズの事前合成によって有効にできる。事前合成されたカスタムのキャリア・フレーズは低機能デバイス１２０にダウンロードしてキャリア・フレーズ部３１２に記憶することができる。

キャリア・フレーズと同様に、スロット情報もユーザが操作する高機能コンピュータ・デバイス１１０によって事前合成される。同期化ソフトウェアを活用する一実施形態では、同期化プロセス中に更新される一般のデータベースの別のデータ・タイプとしてスロット情報を低機能デバイス１２０にダウンロードすることができる。例えば、名前、場所、および番号専用のスロット情報は、ユーザのアドレス／電話帳内の各連絡先レコードの別々のデータ・タイプとして含めることができる。スロット・タイプは、ユーザ・レコード内の可変要素を表すことができる任意のデータ・タイプについて定義できることが理解されよう。

低機能デバイス１２０へのキャリア・フレーズおよびスロット情報の提供によって、低機能デバイス１２０上で簡単なＴＴＳ構成要素を実施することができる。この簡単なＴＴＳ構成要素は、キャリア・フレーズおよびスロット情報の記憶と取り出しとを調整する作用がある一般テーブル管理機能を実施するように構成できる。この結果、符号の占める領域は小さくなる。

一実施形態では、事前合成されたキャリア・フレーズおよびスロット情報は符号化（圧縮）形式でダウンロードされる。低機能デバイス１２０への圧縮情報の送信によって送信速度は確実に増加するが、低機能デバイス１２０上でＴＴＳ構成要素を実施することがさらに容易になる。

具体的には、一実施形態では、低機能デバイス１２０上のＴＴＳ構成要素は、低機能デバイス１２０上にすでに存在する音声コーダ／デコーダ（コーデック）を活用するように構成されている。音声出力を事前合成して低機能デバイス１２０が使用する適当な符号化フォーマットで記憶することで、取り出した符号化キャリアおよびスロット情報を低機能デバイス１２０の既存の音声コーデックに通すようにＴＴＳ構成要素を構成することができる。この機能によって、受信した呼の再生を「偽造」することでＴＴＳ再生を効果的に生成する。この実施形態は、低機能デバイス１２０上のＴＴＳ構成要素の需要をさらに最小化することで、実施の複雑性を大幅に低減する働きをする。

図３に示すように、制御要素３２０を用いて、それぞれメモリ部３１２および３１４からキャリア・フレーズおよびスロット情報を取り出すことでこのプロセスを実行できる。一般に、制御要素３２０は、確実に、メモリ３１０から事前合成された音声セグメントを同期して取り出してコーデック３３０に生成のために送る。コーデック３３０は、取り出された事前合成された音声セグメントに基いて可聴出力を生成する。

一実施形態では、本発明の原理を用いて、一般のテキスト・コンテンツを表す事前合成された音声セグメントを（高機能デバイス１１０から低機能デバイス１２０に）送信することができる。例えば、一般のテキスト・コンテンツは、Ｅメール、インスタント・メッセージ交換、株式および他の警告または警報、最新ニュースなどの動的なコンテンツを含むことができる。この動的なコンテンツは、事前合成して低機能デバイス１２０に送信し、後ほどコマンドによって再生することができる。

以上、本発明をその特定の実施形態に関連して詳細に説明してきたが、本発明の精神および範囲を逸脱することなく、本発明に様々な変更および修正を加えることができることを、当業者なら理解するであろう。したがって、本発明は、添付の請求の範囲およびその等効物に含まれる本発明の変形形態および修正形態を含むことを意図している。

Claims (1)

1. 携帯デバイス上で音声を合成する方法であって、
   （１）コンピュータ・デバイスとの同期化プロセスの一部として事前合成されたスロット情報を受信する工程であって、前記スロット情報が前記コンピュータ・デバイス上のユーザ・レコード内の定義されたデータ・タイプの値を表し、前記スロット情報がキャリア・フレーズ内の所定の位置に含まれるように構成された工程と、
   （２）前記事前合成されたスロット情報をメモリ内に記憶する工程と、
   （３）前記キャリア・フレーズおよび前記事前合成されたスロット情報をユーザのための可聴出力として再生する工程とを含む、方法。

Images