JP2009086662A - テキスト読み上げのためのテキスト前処理 - Google Patents

テキスト読み上げのためのテキスト前処理 Download PDF

Info

Publication number
JP2009086662A
JP2009086662A JP2008244986A JP2008244986A JP2009086662A JP 2009086662 A JP2009086662 A JP 2009086662A JP 2008244986 A JP2008244986 A JP 2008244986A JP 2008244986 A JP2008244986 A JP 2008244986A JP 2009086662 A JP2009086662 A JP 2009086662A
Authority
JP
Japan
Prior art keywords
text
tts
text entry
grammar rules
pronunciation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008244986A
Other languages
English (en)
Inventor
Ritchie Winson Huang
リッチー・ウィンソン・ハン
David Michael Kirsch
デイビッド・ミシェル・キルシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2009086662A publication Critical patent/JP2009086662A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Abstract

【課題】テキスト読み上げシステムの性能を向上させる。
【解決手段】本システム及び方法は、文法規則の更新又は文法規則グループの選択に従ってテキストデータの前処理が行われることを特徴とする。一実施形態において、テキスト読み上げ(TTS)システムは、テキスト情報データベースを格納するように構成された第1メモリと、複数の文法規則を格納するように構成された第2メモリと、文法規則に関する更新データを受信するように構成された受信部とを具備する。また、本システムは、テキスト情報データベースから少なくとも1つの入力テキストを検索し、更新された文法規則を少なくとも1つの入力テキストへ適用することによって、少なくとも1つの入力テキストの前処理を行い、かつ少なくとも1つの前処理された入力テキストの少なくとも一部に基づいた音声を生成するように構成されたTTSエンジンを具備する。
【選択図】図1

Description

一般には、本発明は、テキスト読み上げデータを動的に更新し、使用するためのシステム及び方法に関する。より具体的には、本発明は、テキスト情報データベースエントリの前処理に使用される文法規則を動的に更新して、向上したテキスト読み上げ発音出力を得ることに関する。
テキスト読み上げエンジンを組み込んだシステム、又はテキスト形式データのデータベースに接続された音声合成装置は、広く知られており、今なお数多くの用途が見出され続けている。例えば、テキスト読み上げ及び音声認識機能を備えた自動車は、運転から注意をそらさねばならないような作業からドライバを解放する。車両におけるテキスト読み上げ出力は、これらに限定されないが、ナビゲーションシステム、オーディオシステムなどといった車両に搭載された電子システムの制御に使用される。
電子システム及びデバイスへのテキスト読み上げ(text-to-speech,TTS)システムの適用が増加するにつれて、テキスト読み上げ発音出力の向上、すなわち、より自然な又はよりユーザに分かりやすい合成音声の生成が試みられている。このような目的で、さまざまな固定の(fixed)辞書が提供されている。しかしながら、固定の辞書は、充分に広範な語彙を扱うためには、必然的に容量が大きくなってしまう。さらに、そのように大容量の辞書から充分な速度でエントリを検索し、かつ取り出すには、比較的高速なプロセッサが必要となる。
向上したTTS出力を得るために、あるテキスト形式データが前処理されるときに、非固定(non-fixed)の辞書を提供することが試みられており、定められた規則に従って、又は手作業でテキスト形式データベースのエントリを編集して、テキスト形式データの前処理を行うことが試みられている。前処理へのこのようなアプローチは、時間の浪費及び非効率化を招くおそれがある。さらに、特殊な用途に対する所与の前処理又は文法規則のセットは、別の用途又は案件に対して時代遅れ又は不適当であるかもしれない。
したがって、特殊な用途、ユーザの選択などのために更新又は調整が可能な文法規則を用いてテキスト形式データの前処理が行えるシステムの提供が望まれる。このようなシステムは、非固定の辞書中のエントリの前処理を行うことで、非固定の辞書及び更新可能な文法規則の恩恵を受ける。
米国特許出願公開第11/2322001号明細書 米国特許出願公開第11/266879号明細書
本発明は、テキスト情報データベース中のテキスト形式エントリの前処理に使用される文法規則を動的に更新することによって、テキスト読み上げ(TTS)システムの性能を向上させるためのシステム及び方法を提供する。
明細書に記載の一実施態様により、テキスト読み上げのためにテキストの前処理を行うシステムが提供される。上記システムは、テキスト情報データベースを格納するように構成された第1メモリと、文法規則を格納するように構成された第2メモリと、文法規則に関する更新データを受信し、かつ受信した更新データを第2メモリへ中継するように構成された受信部と、オーディオ出力デバイスとを具備する。上記システムは、第1及び第2メモリ、受信部、及びオーディオ出力デバイスに動作可能に接続されたTTSエンジンをさらに具備する。TTSエンジンは、(a)テキスト情報データベースから少なくとも1つのテキストエントリを取り出し、(b)更新された文法規則を上記少なくとも1つのテキストエントリへ適用し、それによって、上記少なくとも1つのテキストエントリの前処理を行い、(c)上記少なくとも1つの前処理されたテキストエントリの少なくとも一部分に基づいて音声(speech)を生成し、かつ(d)生成された音声をオーディオ出力デバイスへ送信するように構成される。
明細書に記載の別の実施態様により、テキスト読み上げのためにテキストの前処理を行うシステムが提供される。上記システムは、テキスト情報データベース及び文法規則を格納するように構成されたメモリと、TTS生成要求を受信する受信部と、オーディオ出力デバイスとを具備する。上記システムは、メモリ、受信部、及びオーディオ出力デバイスに動作可能に接続されたTTSエンジンをさらに具備する。TTSエンジンは、(a)受信したTTS生成要求に従って、テキスト情報データベースから少なくとも1つのテキストエントリを取り出し、(b)受信した要求に従って、文法規則から規則のサブセットを取り出し、(c)取り出した規則を上記少なくとも1つのテキストエントリへ適用し、それによって、h上記少なくとも1つのテキストエントリの前処理を行い、(d)上記少なくとも1つの前処理されたテキストエントリの少なくとも一部分に基づいて音声を生成し、かつ(e)生成された音声をオーディオ出力デバイスへ送信するように構成される。
明細書に記載の別の実施態様により、文法規則に従ってTTSエンジンのためにテキストの前処理を行う方法が提供される。上記方法は、(a)文法規則に関する更新データを受信する段階、(b)受信した更新データに従って文法規則を更新する段階、(c)TTS生成要求を受信する段階、(d)テキスト情報データベースから少なくとも1つのテキストエントリを取り出す段階、及び(e)上記少なくとも1つのテキストエントリの前処理を行うために、更新された文法規則を上記少なくとも1つのテキストエントリへ適用する段階を有する。上記方法は、上記少なくとも1つの前処理されたテキストエントリの少なくとも一部分に基づいて、オーディオ出力デバイスにTTS発音を提供する段階をさらに有する。
図1〜7は、テキスト読み上げ(TTS)エンジン又はモジュールによってテキストにさらなる処理が施される前に、テキストの発音(phonetic)特性を向上させるように、テキストの前処理を行うシステム及び方法のいくつかの実施形態を示す。以下に記載される例示的なシステムは、車両ナビゲーションシステム及びその他の組込みシステムを制御するためのTTSエンジンの適用を目的とするが、当然ながら、本システムは、車両に関するその他のTTS用途は勿論のこと、車両以外の他の関連するTTS用途にも同様に適用できる。
図1は、TTSシステム100の例示的な一実施形態を示す。この実施形態において、TTSシステム100は、特に、記憶部102、受信部110、TTSモジュール又はエンジン130、及び文法規則一式120を具備する。記憶部102は、例えば、ハードディスクドライブなどである。記憶部102は、以下で詳細に記載されるテキスト情報データベース104及び生成済み発音データベース106を格納する。TTSエンジン130は、既知の任意の従来型テキスト読み上げ変換装置又は読取装置であってよい。文法規則120は、一般に、TTSエンジン130で使用される規則一式であり、発音データベース106を生成する。また、発音データベース106は、受信部110で受信したTTS生成要求入力110に応答して、スピーカなどから成るオーディオ出力装置140を介してTTS発音を出力するためにも使用される。文法規則120は、記憶部102、又はキャッシュメモリ、フラッシュメモリ、又は外付けハードディスクドライブなどといった、記憶部102と分離した別の記憶装置上に格納されてよい。
受信部110は、特に、TTS生成要求を受信するように構成される。受信部110は、要求をTTSエンジン130へ中継する。入れ替わりに、TTSエンジン130は、文法規則120にアクセスし、かつそれを使用して、テキスト情報データベース104中のエントリの前処理を行って発音データベース106を生成する。TTSエンジン130は、テキスト情報データベース102中のエントリの処理及び変換を行い、ついで、ユーザのために、生成済み発音データベース106から選択されたエントリの読出しを行う。図1の実施形態において、TTSエンジン130は、生成済み発音データベース106を、記憶部102に格納する。別の実施形態において、TTSエンジン130は、生成済み発音データベース106又はそこから選択されたエントリを、記憶部102とは分離した記憶装置に格納する。テキスト情報データベース104の選択されたエントリへの文法規則120の適用によってもたらされたTTS発音出力は、ユーザに対し、オーディオ出力装置140を介して再生される。
図2は、TTSシステム100の別の実施形態を示し、特に、記憶部102、受信部110、プロセッサ112、TTSエンジン130、及び文法規則一式120から成る。受信部110は、特に、TTS生成要求を受信するように構成される。受信部110は、要求をプロセッサ112へ中継する。入れ替わりに、プロセッサ112は、文法規則120にアクセスし、かつそれを使用して、テキスト情報データベース104中のエントリの前処理を行って発音データベース106を生成する。プロセッサ112は、テキスト情報データベース104中のエントリの変換を行うとともに、発音データベース106を生成する。TTSエンジンは、生成済み発音データベース106から選択されたエントリを読み出して、ユーザに対し、オーディオ出力装置140を介してTTS発音を出力する。図2の実施形態において、プロセッサ112は、生成された発音データベース106を記憶部102に格納する。別の実施形態において、プロセッサ112は、生成された発音データベース106又はそこから選択されたエントリを、キャッシュメモリ、フラッシュメモリ、又は外付けハードディスクドライブなどといった、記憶部102と分離した記憶装置に格納する。
文法規則120は、以後の使用のための保存できるか、又はTTSと音声認識との両方の目的に直ちに使用できる発音を自動的に生成するために使用される。文法規則120は、TTSシステム100の一部分であるか又はTTSシステム100に動作可能に接続された任意の適切な記憶装置に格納されてよい。文法規則120は、テキスト情報データベース104及び/又は発音データベース106と共に、又はそれらとは別に格納されてよい。文法規則120は、自身が格納された場所に関係なく、TTSエンジン130又はその均等物が、より良い発声音律(prosody of voice)及びユーザへの可聴性を得るために、テキストの前処理を行うことを可能にする。TTSエンジン130又は単独のプロセッサ112は、テキストデータ104を検索するために使用されるとともに、未加工の発音106を生成する。それによって、組込み又は移動TTSエンジンに対する自動化されたテキスト操作を可能にする。
一実施形態において、文法規則120は、(略語を含む)単語綴り、単語及び文章構造、又はその他の書式構造に基づいたテキストの除去、書式変更、及び/又は置換のための規則を有する。TTSエンジン130又はプロセッサ112は、検索アルゴリズムを使用するとともに、テキストデータベース104中のエントリを前処理(すなわち、除去、書式変更、又は置換)して、部分的又は完全な発音データベース106を生成する。発音データベース106は、TTS及び/又は音声認識エンジンで使用できる。
除去技術は、特定のアイテムの検索と、データベースエントリからの指定された特定のアイテムの除去とを含む。除去技術は、特定の語又は句、さらには、括弧などの約物を対象とすることができる。語、句、又は約物の除去を行う目的は、TTSエンジンに対して適切でないか又はユーザを混乱させるおそれのある一部のテキストデータベースエントリを削除することにある。記号を除去するための文法規則120の例を以下の表に示す。
Figure 2009086662
書式変更技術は、特定のアイテムの検索と、例えば、誤って発音される語に対する代替綴りの提供、又は最適なTTS生成のための文字/単語構造の提供など、指定されたテキストデータベースエントリのすべて又は一部の構造の変更とを含む。TTSシステムの特定の用途に応じて、車両オーディオ又は音楽システムなどの与えられた用途に最適な文法規則120が利用される。例えば、オーディオシステムにおいて、文法規則120は、「Greatest Hits (Live)」が
Figure 2009086662
となるような、「Live」を書式変更するアルゴリズムを有してよい。別の例において、文法規則120は、「808 State」が「Eight Oh Eight State」となるような、ゼロ−トゥ−オーアルゴリズムを有する。クラシック音楽作曲家名を書式変更するための文法規則120の例を以下の表に示す。
Figure 2009086662
置換技術は、特定のアイテムの検索と、それらを適切な代替アイテムに置き換えることとを含む。これは、略語を元の語に置き換えること、又は、文字又は記号を適切な代替文字で代用することを含んでよい。例えば、文法規則120は、「Rock & Roll」が「Rock and Roll」となるような、「&」を「and」に置き換えるためのアルゴリズムを有してよい。別の例では、文法規則120は、「Union (feat. Sting)」が「Union featuring Sting」となるような、「feat.」を「featuring」に置き換えるためのアルゴリズムを有する。単語及び記号を置き換えるための文法規則120の例を以下の表に示す。
Figure 2009086662
オーディオ又は音楽システムのための文法規則120のその他の例を以下の表に示す。
Figure 2009086662
上記のように、特定の文法規則120が、特定の用途のために選択及び使用できる。明細書に記載した文法規則120の多くの例はオーディオ又は音楽システムに対してのものであるが、当然ながら、文法規則120は、通常、以後の使用のために記録できるか、又はTTSと音声認識との両方の目的に直ちに使用できる発音を自動的に生成するための規則であってよく、かつ、音楽、オーディオ、ナビゲーション組込みシステムなど、いかなる特定のタイプの電子システムにも限定されない。
これらに限定されないが、文法規則120、テキスト情報104、及び生成済みテキスト発音106を含むTTSデータは、既知の任意の手法を介して更新可能である。例えば、図1及び図2の実施形態では、以下でより詳細に記載されるように、更新された文法規則120が、衛星無線送信を介してTTSシステム100へ転送される。TTSデータは、受信部110、又は文法記憶が格納された記憶装置に動作可能に接続された別の受信機(図示せず)によって受信できる。別の実施形態では、文法規則は、TTSシステム100にインタフェース接続された記憶装置(例えば、ポータブルフラッシュメモリデバイス、ポータブルコンピュータ、PDA、ポータブル音楽プレイヤ等)を介して更新される。
典型的に、TTSシステム100は、受信部を具備するか、又はTTSデータ(例えば、文法規則120)の遠隔更新を許可する車両に設置された受信機と通信を行う。一実施形態において、受信部は、1対多通信ネットワーク越しにブロードキャストされる、遠隔地からのコンテンツの受信をサポートする。1対多通信システムは、放送網のような、1つのソースから複数の受信機へ情報を送信可能なシステムを含む。放送網は、テレビ、ラジオ、及び衛星網を含む。例えば、図1及び図2に示されたように、TTS前処理のための文法規則は、衛星を介した無線放送サービスのような遠隔ブロードキャスト信号によって更新できる。1対多通信ネットワークは、1つ以上の衛星122とさらに通信を行う放送局を具備してよい。衛星122は、専用ブロードキャスト信号又は修正されたブロードキャスト信号を、車両に設置された受信機へ中継する。例えば、放送局及び衛星122は、XMサテライトラジオなどの衛星ラジオ放送システムの一部であってよい。当然ながら、専用ブロードキャスト信号及び修正されたブロードキャスト信号は、任意の適切な情報ブロードキャストシステム(例えば、FMラジオ、AMラジオ等)を介してブロードキャストされてよく、衛星ラジオ放送システムに限定されない。
図3Aを参照すると、遠隔地216と車両201との間で情報をやりとりするためのシステムの一実施形態が提供されている。遠隔地216は、車両ブロードキャストデータを出力するためのサーバシステムである。車両201は、ナビゲーション装置208と、移動ユニット202とを具備する。ナビゲーション装置208は、運転方向、車両案内員メッセージの表示、並びにメッセージ、ラジオ放送、又は他のメディアのオーディオ再生を提供するために使用される電子システムである。ナビゲーション装置208は、移動ユニット202に動作可能に接続されるとともに、遠隔地216から1対多通信ネットワーク200越しにブロードキャストされるコンテントの受信をサポートする。1対多通信システムは、放送網のような、1つのソースから複数の受信機へ情報の送信が可能なシステムを含む。放送網は、テレビ、ラジオ、及び衛星網を含む。本発明の図示された実施形態はナビゲーションコンポーネントを具備した電子システムであるが、当然ながら、明細書に記載されるシステム及び方法は、オーディオ又はメディアシステム、車載、ポータブル、又はその他の電子システムに適用可能である。
一実施形態において、TTSデータ(例えば、文法規則120)のためのデータは、遠隔地216で、又は車両201の内部又は近辺ではない代わりとなる位置で生成される。TTSデータは、遠隔地216から、1対多通信ネットワーク200越しに、車両201へブロードキャストされる。移動ユニット202は、ブロードキャストされたメッセージを受信するとともに、利用可能な文法規則120のデータベース及び/又はデータベース104,106の更新のために、TTSデータをナビゲーション装置208へ転送することができる。図示された本実施形態では、文法規則120、テキスト情報データ104、及びテキスト発音データ106が、記憶部209に格納される(図3B参照)。当然ながら、このようなTTSデータは、車両201上又は車両201関係する他の記憶装置に格納されてもよい。
遠隔地216は、リモートサーバ218、リモート送信部222、及びリモート記憶部224を具備してよく、これらは互い通信を行う。リモート送信部222は、ブロードキャスト通信ネットワーク200によって、ナビゲーション装置208及び移動ユニット202と通信を行う。リモートサーバ218は、ブロードキャストネットワーク200越しのメッセージコンテントのルーティングをサポートする。リモートサーバ218は、更新された文法規則120などの記憶部224への入力を可能にするキーボード等の入力ユニットと、1対多通信ネットワーク200越しの通信を制御するプロセッサユニットとを具備する。
サーバ218は、1対多通信ネットワーク200越しに車両201と通信を行う。本実施形態において、1対多通信ネットワーク200は、TTSデータを所有者の車両201中の移動ユニット202へ中継する1つ以上の通信衛星122とさらに通信を行う放送局を具備する。本実施形態において、放送局及び衛星122は、XMサテライトラジオなどの衛星ラジオ放送システムの一部である。当然ながら、TTSデータは、利用可能な任意の情報ブロードキャストシステム(例えば、FMラジオ、AMラジオ等)を介してブロードキャストされてよく、衛星ラジオ放送システムに限定されない。一実施形態において、移動ユニット202は、メッセージを車両のナビゲーションシステム208などの車載コンピュータシステムへ中継する。入れ替わりに、ナビゲーションシステム208は、文法規則120、テキスト情報データ104、テキスト発音データ106などのTTSデータのデータベースを更新する。
図3Bは、車両201に搭載されたナビゲーション装置208と移動ユニット202との両方の拡大図である。ナビゲーション装置208は、出力ユニット214、受信ユニット215、入力ユニット212、TTSエンジン210、ナビゲーション記憶ユニット209、ナビゲーションプロセッサユニット213、及びRF送受信ユニット211を具備し、これらはすべて、互いに電気的に通信を行う。ナビゲーション記憶ユニット209は、文法規則120、テキスト情報104、及び又はテキスト発音106といったTTSデータを格納できる。あるいは、TTSデータ又はそのうちの構成要素が、ナビゲーション装置208の一部ではない記憶装置に格納されてもよい。TTS文法規則120、テキスト情報104、及び/又はテキスト発音106を備えた1つ又は複数のデータベースは、入力ユニット212によって車両内で更新されてよい。入力ユニット212は、キーボード、感圧ディスプレイ、ジョグダイヤルコントロールなどであってよい。また、TTSデータは、受信ユニット215及び/又はRF送受信ユニット211を介して受信した情報によって更新されてよい。
受信ユニット215は、遠隔地216から情報を受信し、かつ一実施形態においては、1対多通信ネットワーク200(図3A参照)によって遠隔地と通信を行う。受信部215で受信した情報は、ナビゲーションプロセッサユニット213で処理される。ついで、処理された情報は、ディスプレイ及びスピーカのうちの少なくとも1つを具備する出力ユニット214で表示される。一実施形態において、受信ユニット215、ナビゲーションプロセッサユニット213、及び出力ユニット214は、受信したブロードキャスト情報の一部分のみへのアクセスを提供する。
図3Bに示された実施形態において、移動ユニット202は、ワイヤレス受信部204、移動ユニットプロセッサ206、及びRF送受信ユニット207を具備し、これらは互いに通信を行う。移動ユニット202は、受信部204によって、遠隔地216からの通信を受信する。一実施形態において、ナビゲーション装置208及び移動ユニット202は、RF送受信ユニット207,211によって互いに通信を行う。一実施形態において、ナビゲーション装置208及び移動ユニット202の両方は、ブルートゥース(登録商標)ワイヤレスデータ通信形式などに対応する。RF送受信ユニット211,207によって、ナビゲーション装置208と移動ユニット202とが互いに通信できる。
影響を受ける車両所有者へのTTSデータのブロードキャストを必要とする実施形態において、1つまたは少数のメッセージは、1対多通信ネットワーク200越しに送信される。メッセージは、各車両に対する個別メッセージの送信とは対照的に、それぞれ複数の1対1部分(図4参照)から成る。典型的に、各1対1部分は、影響を受ける単一の車両に適用することができ、かつ各メッセージが個々に送信される場合よりも少ない帯域幅を用いて、1対多ネットワーク200越しに目標の車両情報のブロードキャストを可能とする。1対多通信ネットワーク200越しにメッセージをブロードキャストするとき、ネットワーク200の範囲内のすべての車両201がメッセージを受信するが、メッセージは、各車両201の移動ユニット202によってフィルタされ、メッセージの1対1部分で指定された車両201だけが車両所有者とやりとりを行うためのメッセージを格納する。一実施形態において、各1対1部分は、フィルタ符号セクションを有する。フィルタ符号セクションは、影響を受ける車両の所与の車両識別番号(VIN)、又は別の利用可能な既知の車両識別子から成る。典型的に、車両識別子は、車両タイプ、製造年、走行距離、販売地区などに関する情報から成る。このことは、「Method and System for Broadcasting Data Messages to a Vehicle」と題された2005年9月20日に出願された米国特許出願公開第11/232,2001号にさらに詳細に説明されている。上記の内容全体が、引用によってこの明細書に組み込まれる。
TTS更新内容は、専用のブロードキャストデータストリームを介して受信されてよい。専用データストリームは、「Data Broadcast Method for Traffic Information」と題された2005年11月4日に出願された米国特許出願公開第11/266,879号に記載されたトラフィックデータ転送のための接続のような専用チャネル接続を利用する。上記の開示の全体が、引用によって本明細書に組み込まれる。例えば、XMサテライトラジオ信号は、Sバンドのうちの12.5MHzである2332.5〜2345.0MHzを使用する。XMは、利用可能な無線帯域の一部をいくつかの企業へ提供し、特定の用途のために利用する。割り当てられた帯域越しのメッセージの転送は、専用のデータストリームであると見なされる。好適な実施形態では、ある一定の車両だけが、専用のブロードキャスト信号又はデータセットを受信するように構成される。ブロードキャスト信号は、例えば、デジタル信号、FM信号、WiFi、Cell、衛星信号、ピアツーピアネットワークなどであってよい。TTSデータは、車両で受信される専用のブロードキャストメッセージに埋め込まれてもよい。
新しいTTSデータを車両に導入するために、1つ以上の新しい又は更新されたTTS発音及び/又は文法規則を含む専用の無線信号が、各車載受信ユニット204へ送信される。専用の信号を用いることで、車両内ハードウェア/ソフトウェア構造がこの信号を受け入れることを可能とする。例示的な実施形態では、移動ユニット受信部204がブロードキャスト信号を受信した後、受信部204は、専用のブロードバンド信号を車載プロセッサ206へ転送する。ついで、ブロードキャスト信号は、プロセッサ206によって復号又はフィルタされる。例えば、プロセッサ206は、専用のブロードキャスト信号の他の部分(例えば、トラフィック情報、ラジオ放送自体など)からTTS発音及び/又は文法規則をフィルタして取り出す。ブロードキャスト信号の他の部分は、適切な車両内機器(例えば、衛星ラジオ受信機、ナビゲーションユニット等)へ送信される。
本実施形態において、TTSデータは、プロセッサ206によってナビゲーション装置208へ送信されるとともに、該装置のオンボード記憶部209に格納される。この更新されたTTSデータは、オンボード記憶部209に一旦格納されたならば、TTS210で利用可能となる。オンボード記憶部209は、これらに限定されないが、ハードディスク、フラッシュメモリなどの任意のタイプの電子記憶装置であってよい。オンボード記憶部209は、ナビゲーション装置208から分離しているか、又は一体化されていてよい。オンボード記憶部209の機能は、TTSデータのみを格納するために設けられたものであるか、又はデジタル音楽及びナビゲーション関連情報のような他のコンテントの格納も行うことによる多機能記憶性能を有してもよい。
好ましくは、ナビゲーション装置208は、電子制御ユニット(ECU)を具備する(図示せず)。ECUは、TTSデータが、オンボード記憶部209、記憶部102などの適切な記憶部に格納され、かつシステムによって使用できるように、受信部204で受信したTTSデータを処理する。本実施形態において、TTSデータは、車両へ転送されるとともに、オンボード記憶部209に格納される。ECUは、記憶部209に格納されたデータを、システムで読取り可能な形式に、具体的には、TTSエンジン210がデータを読取り可能なように、体系化及びフォーマットする。
図5に示された別の実施形態では、TTSデータへの更新は、修正されたブロードキャスト信号を介して車両へ転送される。TTSデータは、無線信号のサブキャリア又は図5に示されたラジオデータシステム(RDS)信号のようなラジオ信号で転送されてよい。サブキャリアは、チャネルレンジの一部である。ラジオ周波数レンジの範囲外部分は、しばしば追加的な転送(すなわち、テキストデータ)のために使用される。現在のところ、一般に、楽曲名、ラジオ放送局名、及び株式情報が転送されている。当然ながら、サブキャリアは、任意の無線信号(例えば、FM、AM、XM、Sirius等)でTTSデータを搬送するために使用されてよい。示された実施形態は、余剰サブキャリアレンジを使用することによって、TTS発音に関するテキストデータの転送を行う。
例示的な修正ブロードキャスト信号が、標準的なラジオオーディオ信号322であり、図6に示されるように、それによって、ラジオ信号は、TTSデータ320を有するように修正又は合成323される。ブロードキャストの前に複数のデータストリームを単一の信号に合成することは、電子技術分野では既知である。本実施形態において、修正されたブロードキャスト信号は、ナビゲーション装置324に格納されたTTSを更新する。修正されたブロードキャスト信号は、図4に示された専用のブロードキャスト信号と同様に、さまざまなチャネル(例えば、ラジオ、衛星、WiFi等)を介して信号を転送できる。車両の受信ユニット304は、ラジオオーディオ信号322と共にTTSデータ320を受信する。受信ユニット304は、従来のチャネル、分類、及び曲情報と同様に、かつ既知のように、TTSデータ320をラジオオーディオ信号322から分離する。TTSデータ320は、ナビゲーション装置324へ送信されるとともに、記憶部329に格納される。TTSデータ320は、空調システム、パワーウインドウなどの車両内の他の機器のためのTTSデータをさらに有する。
当然ながら、車両内TTSデータの動的更新及び利用のための上記の方法は例示のみを目的とするものであり、本発明はそれらによって限定されない。故に、TTSデータを動的に更新するための方法及びシステムの記載された好適な実施形態を用いることで、記載された方法及びシステムの一定の利点が得られるということが、当業者には明らかである。また、当然ながら、実施形態のさまざまな修正、改造、及び変形が本発明の範囲及び精神内でなされる。また、上記の多くの独創的な案は、他の電子システムの使用に等しく適用でき、車両ナビゲーションシステムに限定されない。
TTSシステムの一実施形態の概略図である。 TTSシステムの別の実施形態の概略図である。 本発明の一形態による通信システムの実施形態の概略図である。 本発明の一実施形態に従って、移動ユニットと通信を行うナビゲーション装置の概略図である。 マルチパケット専用ブロードキャストデータメッセージの一実施形態のブロック図である。 無線信号のサブキャリアを示す図である。 修正されたブロードキャストデータストリームの一実施形態を示す概略図である。
符号の説明
100 テキスト読み上げ(TTS)システム
102 記憶部
104 テキスト情報データベース
106 生成済みテキスト発音データベース
110 受信部
112 プロセッサ
120 文法規則
122 衛星
130 TTSエンジン
140 オーディオ出力装置(スピーカ)
200 1対多通信ネットワーク
201 車両
202 移動ユニット
204 送信部
206 プロセッサ
207 RF送受信部
208 ナビゲーション装置
209 記憶部
210 TTSエンジン
211 RF送受信部
212 入力部
213 プロセッサ
214 出力部
215 受信部
216 遠隔地
218 サーバ
222 送信部
224 記憶部
302 ブロードキャストシステム
304 受信部
310 TTSエンジン
320 TTSデータ
322 標準的なラジオデータ信号
323 合成部
324 ナビゲーション装置
329 記憶部

Claims (20)

  1. テキスト読み上げ(TTS)のためにテキストの前処理を行うシステムであって、
    テキスト情報データベースを格納するように構成された第1メモリと、
    文法規則を格納するように構成された第2メモリと、
    前記文法規則に関する更新データを受信するとともに、前記受信した更新データを前記第2メモリへ中継する受信部と、
    オーディオ出力デバイスと、
    前記第1及び第2メモリ、前記受信部、及び前記オーディオ出力デバイスに動作可能に接続されたTTSエンジンと、
    を具備し、
    前記TTSエンジンは、
    前記テキスト情報データベースから少なくとも1つのテキストエントリを検索し、
    前記更新された文法規則を前記少なくとも1つのテキストエントリへ適用し、それによって、前記少なくとも1つのテキストエントリの前処理を行い、
    前記少なくとも1つの前処理されたテキストエントリの少なくとも一部分に基づいて音声を生成し、かつ
    前記生成された音声を前記オーディオ出力デバイスへ送信するように構成され、
    前記オーディオ出力デバイスは、前記生成された音声を再生することを特徴とするシステム。
  2. 前記少なくとも1つの前処理されたテキストエントリが、発音データベースに格納されることを特徴とする請求項1に記載のシステム。
  3. 前記発音データベースが、前記第1メモリに格納されることを特徴とする請求項2に記載のシステム。
  4. 前記発音データベースが、前記第2メモリに格納されることを特徴とする請求項2に記載のシステム。
  5. 前記受信部が、前記更新データを遠隔地から受信することを特徴とする請求項1に記載のシステム。
  6. 前記更新された文法規則が、前記少なくとも1つのテキストエントリを標準的な綴りとは異なる発音綴りへ再構成するための、前記TTSエンジンに対する命令を有することを特徴とする請求項1に記載のシステム。
  7. 前記更新された文法規則が、前記少なくとも1つのテキストエントリから、語、句、又は約物のうちの少なくとも1つを除去するための、前記TTSエンジンに対する命令を有することを特徴とする請求項1に記載のシステム。
  8. 前記更新された文法規則が、前記少なくとも1つのテキストエントリの語、句、又は約物のうちの少なくとも1つを代替アイテムで置き換えるための、前記TTSエンジンに対する命令を有することを特徴とする請求項1に記載のシステム。
  9. テキスト読み上げ(TTS)のためにテキストの前処理を行うシステムであって、
    テキスト情報データベース及び文法規則を格納するように構成されたメモリと、
    TTS生成要求を受信する受信部と、
    オーディオ出力デバイスと、
    前記メモリ、前記受信部、及び前記オーディオ出力デバイスに動作可能に接続されたTTSエンジンと
    を具備し、
    前記TTSエンジンは、
    前記受信した要求に従って、前記テキスト情報データベースから少なくとも1つのテキストエントリを検索し、
    前記受信した要求に従って、前記文法規則から規則のサブセットを検索し、
    前記検索された規則を前記少なくとも1つのテキストエントリへ適用し、それによって、前記少なくとも1つのテキストエントリの前処理を行い、
    前記少なくとも1つの前処理されたテキストエントリの少なくとも一部分に基づいて音声を生成し、かつ
    前記生成された音声を前記オーディオ出力デバイスへ送信するように構成され、
    前記オーディオ出力デバイスは、前記受信したTTS生成要求に応答して、前記生成された音声を再生することを特徴とするシステム。
  10. 前記少なくとも1つの前処理されたテキストエントリが、発音データベースに格納されることを特徴とする請求項9に記載のシステム。
  11. 前記発音データベースが、前記メモリに格納されることを特徴とする請求項10に記載のシステム。
  12. 前記検索された規則が、前記少なくとも1つのテキストエントリを標準的な綴りとは異なる発音綴りへ再構成するための、前記TTSエンジンに対する命令を有することを特徴とする請求項9に記載のシステム。
  13. 前記検索された規則が、前記少なくとも1つのテキストエントリから、語、句、又は約物のうちの少なくとも1つを除去するための、前記TTSエンジンに対する命令を有することを特徴とする請求項9に記載のシステム。
  14. 前記検索された規則が、前記少なくとも1つのテキストエントリの語、句、又は約物のうちの少なくとも1つを代替アイテムで置き換えるための、前記TTSエンジンに対する命令を有することを特徴とする請求項9に記載のシステム。
  15. 文法規則に従って、テキスト読み上げ(TTS)エンジンのためにテキストの前処理を行う方法であって、
    前記文法規則に関する更新データを受信する段階と、
    前記受信した更新データに従って、前記文法規則を更新する段階と、
    TTS生成要求を受信する段階と、
    テキスト情報データベースから少なくとも1つのテキストエントリを取り出す段階と、
    前記少なくとも1つのテキストエントリの前処理を行うために、前記更新された文法規則を前記少なくとも1つのテキストエントリへ適用する段階と、
    前記少なくとも1つの前処理されたテキストエントリの少なくとも一部分に基づいて、オーディオ出力にTTS発音を提供する段階と
    を有することを特徴とする方法。
  16. 前記再構成された少なくとも1つのテキストエントリを発音データベースに格納する段階をさらに有することを特徴とする請求項15に記載の方法。
  17. 前記更新されたデータを受信する段階が、前記更新データを遠隔地から受信する段階を有することを特徴とする請求項15に記載の方法。
  18. 前記更新された文法規則を適用する段階が、前記少なくとも1つのテキストエントリを標準的な綴りとは異なる発音綴りへ再構成する段階を有することを特徴とする請求項15に記載の方法。
  19. 前記更新された文法規則を適用する段階が、前記少なくとも1つのテキストエントリから、語、句、又は約物のうちの少なくとも1つを除去する段階を有することを特徴とする請求項15に記載の方法。
  20. 前記更新された文法規則を適用する段階が、前記少なくとも1つのテキストエントリの語、句、又は約物のうちの少なくとも1つを代替アイテムで置き換える段階を有することを特徴とする請求項15に記載の方法。
JP2008244986A 2007-09-25 2008-09-24 テキスト読み上げのためのテキスト前処理 Pending JP2009086662A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/861,247 US20090083035A1 (en) 2007-09-25 2007-09-25 Text pre-processing for text-to-speech generation

Publications (1)

Publication Number Publication Date
JP2009086662A true JP2009086662A (ja) 2009-04-23

Family

ID=39789609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008244986A Pending JP2009086662A (ja) 2007-09-25 2008-09-24 テキスト読み上げのためのテキスト前処理

Country Status (5)

Country Link
US (1) US20090083035A1 (ja)
EP (1) EP2053595B1 (ja)
JP (1) JP2009086662A (ja)
AT (1) ATE450855T1 (ja)
DE (1) DE602008000339D1 (ja)

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8239201B2 (en) * 2008-09-13 2012-08-07 At&T Intellectual Property I, L.P. System and method for audibly presenting selected text
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
JP2011151445A (ja) * 2010-01-19 2011-08-04 Fujitsu Ten Ltd データ通信システム、車載機、プログラム、及び、データ通信方法
US8731943B2 (en) * 2010-02-05 2014-05-20 Little Wing World LLC Systems, methods and automated technologies for translating words into music and creating music pieces
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
GB2481992A (en) * 2010-07-13 2012-01-18 Sony Europe Ltd Updating text-to-speech converter for broadcast signal receiver
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8718536B2 (en) 2011-01-18 2014-05-06 Marwan Hannon Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle
US8686864B2 (en) 2011-01-18 2014-04-01 Marwan Hannon Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120303355A1 (en) * 2011-05-27 2012-11-29 Robert Bosch Gmbh Method and System for Text Message Normalization Based on Character Transformation and Web Data
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9280973B1 (en) * 2012-06-25 2016-03-08 Amazon Technologies, Inc. Navigating content utilizing speech-based user-selectable elements
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200731A1 (en) 2013-06-13 2014-12-18 Apple Inc. System and method for emergency calls initiated by voice command
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
CN105228070A (zh) * 2014-06-16 2016-01-06 施耐德电气工业公司 现场扬声器装置、现场语音广播系统及其方法
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
CA2992459A1 (en) 2015-07-14 2017-01-19 Driving Management Systems, Inc. Detecting the location of a phone using rf wireless and ultrasonic signals
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10083685B2 (en) * 2015-10-13 2018-09-25 GM Global Technology Operations LLC Dynamically adding or removing functionality to speech recognition systems
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03214197A (ja) * 1990-01-18 1991-09-19 Ricoh Co Ltd 音声合成装置
JP2003302989A (ja) * 2002-04-11 2003-10-24 Denso Corp 情報端末、サーバ及びプログラム
JP2004053978A (ja) * 2002-07-22 2004-02-19 Alpine Electronics Inc 音声発生装置、音声発生方法及びナビゲーション装置
JP2004354472A (ja) * 2003-05-27 2004-12-16 Fujitsu Ltd 音声合成端末、音声合成管理サーバおよび音声合成方法
JP2005316031A (ja) * 2004-04-28 2005-11-10 Nippon Hoso Kyokai <Nhk> データ放送コンテンツ受信変換装置およびデータ放送コンテンツ受信変換プログラム
JP2006153929A (ja) * 2004-11-25 2006-06-15 Matsushita Electric Ind Co Ltd 情報案内装置

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3281959A (en) * 1962-04-06 1966-11-01 Mc Graw Edison Co Educational system and apparatus
US5309546A (en) * 1984-10-15 1994-05-03 Baker Bruce R System for method for producing synthetic plural word messages
US4831654A (en) * 1985-09-09 1989-05-16 Wang Laboratories, Inc. Apparatus for making and editing dictionary entries in a text to speech conversion system
US5051924A (en) * 1988-03-31 1991-09-24 Bergeron Larry E Method and apparatus for the generation of reports
US5157759A (en) * 1990-06-28 1992-10-20 At&T Bell Laboratories Written language parser system
US5177685A (en) * 1990-08-09 1993-01-05 Massachusetts Institute Of Technology Automobile navigation system using real time spoken driving instructions
US5384893A (en) * 1992-09-23 1995-01-24 Emerson & Stern Associates, Inc. Method and apparatus for speech synthesis based on prosodic analysis
US5442553A (en) * 1992-11-16 1995-08-15 Motorola Wireless motor vehicle diagnostic and software upgrade system
US5987412A (en) * 1993-08-04 1999-11-16 British Telecommunications Public Limited Company Synthesising speech by converting phonemes to digital waveforms
WO1995010832A1 (en) * 1993-10-15 1995-04-20 At & T Corp. A method for training a system, the resulting apparatus, and method of use thereof
GB2291571A (en) * 1994-07-19 1996-01-24 Ibm Text to speech system; acoustic processor requests linguistic processor output
KR960705190A (ko) * 1994-08-08 1996-10-09 요트.게.아. 롤페즈 다중 요소 예상 음성 메시지를 발생시키는 수단을 갖는 육상 차량용 항법 소자 및 그 소자를 구비한 차량(A navigation device for a land vehicle with means for generating a multi-element anticipatory speech message, and a vehicle comprising such device)
JP3415298B2 (ja) * 1994-11-30 2003-06-09 本田技研工業株式会社 車載用ナビゲーション装置
US5634084A (en) * 1995-01-20 1997-05-27 Centigram Communications Corporation Abbreviation and acronym/initialism expansion procedures for a text to speech reader
JPH098752A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 多重情報受信装置及びナビゲーション装置
JP3462322B2 (ja) * 1995-11-30 2003-11-05 沖電気工業株式会社 テキスト音声読み上げシステム
US5761640A (en) * 1995-12-18 1998-06-02 Nynex Science & Technology, Inc. Name and address processor
US5835881A (en) * 1996-01-16 1998-11-10 Philips Electronics North America Corporation Portable system for providing voice driving directions
US6098042A (en) * 1998-01-30 2000-08-01 International Business Machines Corporation Homograph filter for speech synthesis system
US6115686A (en) * 1998-04-02 2000-09-05 Industrial Technology Research Institute Hyper text mark up language document to speech converter
US6081780A (en) * 1998-04-28 2000-06-27 International Business Machines Corporation TTS and prosody based authoring system
US6078885A (en) * 1998-05-08 2000-06-20 At&T Corp Verbal, fully automatic dictionary updates by end-users of speech synthesis and recognition systems
US6446040B1 (en) * 1998-06-17 2002-09-03 Yahoo! Inc. Intelligent text-to-speech synthesis
US6539080B1 (en) * 1998-07-14 2003-03-25 Ameritech Corporation Method and system for providing quick directions
US6173263B1 (en) * 1998-08-31 2001-01-09 At&T Corp. Method and system for performing concatenative speech synthesis using half-phonemes
US6148285A (en) * 1998-10-30 2000-11-14 Nortel Networks Corporation Allophonic text-to-speech generator
TW410321B (en) * 1998-11-30 2000-11-01 Holux Technology Inc Customized voice navigation device
US6363342B2 (en) * 1998-12-18 2002-03-26 Matsushita Electric Industrial Co., Ltd. System for developing word-pronunciation pairs
TW448666B (en) * 1999-01-28 2001-08-01 Ibm Method and apparatus for automotive radio time shifting personalized to multiple drivers
US6400809B1 (en) * 1999-01-29 2002-06-04 Ameritech Corporation Method and system for text-to-speech conversion of caller information
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6557026B1 (en) * 1999-09-29 2003-04-29 Morphism, L.L.C. System and apparatus for dynamically generating audible notices from an information network
US6604038B1 (en) * 1999-11-09 2003-08-05 Power Talk, Inc. Apparatus, method, and computer program product for establishing a remote data link with a vehicle with minimal data transmission delay
US6405027B1 (en) * 1999-12-08 2002-06-11 Philips Electronics N.A. Corporation Group call for a wireless mobile communication device using bluetooth
US7010489B1 (en) * 2000-03-09 2006-03-07 International Business Mahcines Corporation Method for guiding text-to-speech output timing using speech recognition markers
US6615186B1 (en) * 2000-04-24 2003-09-02 Usa Technologies, Inc. Communicating interactive digital content between vehicles and internet based data processing resources for the purpose of transacting e-commerce or conducting e-business
US20020016655A1 (en) * 2000-08-01 2002-02-07 Joao Raymond Anthony Apparatus and method for processing and/or for providing vehicle information and/or vehicle maintenance information
DE10045303C2 (de) * 2000-09-12 2003-04-30 Siemens Ag Kommunikationseinrichtung eines Kraftfahrzeuges und Verfahren zur Herstellung einer Rufumleitung
US6757262B1 (en) * 2000-09-15 2004-06-29 Motorola, Inc. Service framework supporting remote service discovery and connection
US6990450B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. System and method for converting text-to-voice
US7058050B2 (en) * 2000-12-01 2006-06-06 Telefonaktiebolaget L M Ericsson (Publ) Flexible inter-network communication scheduling
US6804650B2 (en) * 2000-12-20 2004-10-12 Bellsouth Intellectual Property Corporation Apparatus and method for phonetically screening predetermined character strings
JP4816992B2 (ja) * 2001-01-31 2011-11-16 マツダ株式会社 車両の遠隔故障診断用サーバ、車両の遠隔故障診断方法、遠隔故障診断用プログラム、及び、車載の遠隔故障診断装置
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US6636801B2 (en) * 2001-04-23 2003-10-21 Sun Microsystems, Inc. Delivering location-dependent services to automobiles
US7483834B2 (en) * 2001-07-18 2009-01-27 Panasonic Corporation Method and apparatus for audio navigation of an information appliance
US6701231B1 (en) * 2001-11-19 2004-03-02 Volvo Trucks North America, Inc. Vehicle security and maintenance
US20040030554A1 (en) 2002-01-09 2004-02-12 Samya Boxberger-Oberoi System and method for providing locale-specific interpretation of text data
US6999721B2 (en) * 2002-01-17 2006-02-14 Microsoft Corporation Unified object transfer for multiple wireless transfer mechanisms
US6970703B2 (en) * 2002-01-23 2005-11-29 Motorola, Inc. Integrated personal communications system and method
US7149694B1 (en) * 2002-02-13 2006-12-12 Siebel Systems, Inc. Method and system for building/updating grammars in voice access systems
US20030195814A1 (en) * 2002-04-11 2003-10-16 International Business Machines Corporation Wireless house server and methods for doing business by communicating with the wireless house server
GB2389762A (en) * 2002-06-13 2003-12-17 Seiko Epson Corp A semiconductor chip which includes a text to speech (TTS) system, for a mobile telephone or other electronic product
GB2389679B (en) * 2002-06-14 2005-09-07 Yeoman Group Plc Mobile navigation
KR100477113B1 (ko) * 2002-07-09 2005-03-17 삼성전자주식회사 워블링 세탁기의 제어방법
US7340236B2 (en) * 2002-08-07 2008-03-04 Texas Instruments Incorporated System for operational coexistence of wireless communication technologies
US7072616B2 (en) * 2002-09-09 2006-07-04 Conexant Systems, Inc. Multi-protocol interchip interface
US6842607B2 (en) * 2002-09-09 2005-01-11 Conexant Systems, Inc Coordination of competing protocols
US20040116141A1 (en) * 2002-12-11 2004-06-17 Erick Loven Resource management on a personal area network
JP2004226711A (ja) * 2003-01-23 2004-08-12 Xanavi Informatics Corp 音声出力装置及びナビゲーション装置
GB2398705B (en) * 2003-02-21 2005-08-10 Toshiba Res Europ Ltd Automatic wireless connection selection
SE0303122D0 (sv) * 2003-11-20 2003-11-20 Volvo Technology Corp Method and system for communication and/or interaction between a vehicle driver and a plurality of applications
EP1544829B1 (en) * 2003-12-19 2017-02-15 Samsung Electronics Co., Ltd. Navigation system and navigation method
US20050192714A1 (en) * 2004-02-27 2005-09-01 Walton Fong Travel assistant device
US20050267757A1 (en) * 2004-05-27 2005-12-01 Nokia Corporation Handling of acronyms and digits in a speech recognition and text-to-speech engine
US20060224385A1 (en) * 2005-04-05 2006-10-05 Esa Seppala Text-to-speech conversion in electronic device field
US8615358B2 (en) * 2005-05-26 2013-12-24 General Motors Llc System and method for zone based initial route guidance within a telematics equipped mobile vehicle
US20060271275A1 (en) * 2005-05-26 2006-11-30 Paridhi Verma System and method for notification and correction of constraint violations in vehicles
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
US7756708B2 (en) * 2006-04-03 2010-07-13 Google Inc. Automatic language model update
US20070239455A1 (en) * 2006-04-07 2007-10-11 Motorola, Inc. Method and system for managing pronunciation dictionaries in a speech application
US8386125B2 (en) * 2006-11-22 2013-02-26 General Motors Llc Adaptive communication between a vehicle telematics unit and a call center based on acoustic conditions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03214197A (ja) * 1990-01-18 1991-09-19 Ricoh Co Ltd 音声合成装置
JP2003302989A (ja) * 2002-04-11 2003-10-24 Denso Corp 情報端末、サーバ及びプログラム
JP2004053978A (ja) * 2002-07-22 2004-02-19 Alpine Electronics Inc 音声発生装置、音声発生方法及びナビゲーション装置
JP2004354472A (ja) * 2003-05-27 2004-12-16 Fujitsu Ltd 音声合成端末、音声合成管理サーバおよび音声合成方法
JP2005316031A (ja) * 2004-04-28 2005-11-10 Nippon Hoso Kyokai <Nhk> データ放送コンテンツ受信変換装置およびデータ放送コンテンツ受信変換プログラム
JP2006153929A (ja) * 2004-11-25 2006-06-15 Matsushita Electric Ind Co Ltd 情報案内装置

Also Published As

Publication number Publication date
ATE450855T1 (de) 2009-12-15
EP2053595A1 (en) 2009-04-29
DE602008000339D1 (de) 2010-01-14
EP2053595B1 (en) 2009-12-02
US20090083035A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
JP2009086662A (ja) テキスト読み上げのためのテキスト前処理
US8311804B2 (en) On demand TTS vocabulary for a telematics system
US5924068A (en) Electronic news reception apparatus that selectively retains sections and searches by keyword or index for text to speech conversion
US8583441B2 (en) Method and system for providing speech dialogue applications
EP3172729B1 (en) Text rule based multi-accent speech recognition with single acoustic model and automatic accent detection
US20120135714A1 (en) Information system for motor vehicle
JPH116743A (ja) 移動端末装置及びそのための音声出力システム
JP2000004485A (ja) 無線システム、情報信号送付システム、ユ―ザ端末及びクライアント/サ―バ・システム
US20050043067A1 (en) Voice recognition in a vehicle radio system
US20100036666A1 (en) Method and system for providing meta data for a work
US20180197532A1 (en) Audio content censoring in vehicle infotainment system
JPH0944189A (ja) テキスト情報の合成音声読み上げ装置及び文字放送受信機
JPH0946243A (ja) 無線放送受信機および符号化メッセージの処理モジュール
US10593323B2 (en) Keyword generation apparatus and keyword generation method
JP6160794B1 (ja) 情報管理システムおよび情報管理方法
EP1455342A1 (en) System and method for voice enabling audio compact disc players via descriptive voice commands
US20160019892A1 (en) Procedure to automate/simplify internet search based on audio content from a vehicle radio
CN101523483B (zh) 在汽车中通过语音再现文本信息的方法
KR20030053052A (ko) 텍스트 음성화 장치 및 그 방법과 이를 이용한 정보 제공시스템
US7243067B1 (en) Method and apparatus for wireless transmission of messages between a vehicle-internal communication system and a vehicle-external central computer
JP3805065B2 (ja) 車載用音声合成装置
JP2005241393A (ja) 言語設定方法および言語設定装置
JP2010091829A (ja) 音声合成装置、音声合成方法および音声合成プログラム
WO2015075903A1 (ja) 音声認識装置
JPH10271403A (ja) 地図データベース機能付tv受信機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130423