JP2010517101A - 発話音声プロンプトを作成するシステム及び技法 - Google Patents

発話音声プロンプトを作成するシステム及び技法 Download PDF

Info

Publication number
JP2010517101A
JP2010517101A JP2009547441A JP2009547441A JP2010517101A JP 2010517101 A JP2010517101 A JP 2010517101A JP 2009547441 A JP2009547441 A JP 2009547441A JP 2009547441 A JP2009547441 A JP 2009547441A JP 2010517101 A JP2010517101 A JP 2010517101A
Authority
JP
Japan
Prior art keywords
voice prompts
pitch
spoken voice
prompt
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009547441A
Other languages
English (en)
Other versions
JP5507260B2 (ja
Inventor
ラボイエ,リサ
メロウ,ルーカス
ドレイン,アレクサンドラ
リゾ,フランク
クルル,アイビー
Original Assignee
エリザ・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エリザ・コーポレーション filed Critical エリザ・コーポレーション
Publication of JP2010517101A publication Critical patent/JP2010517101A/ja
Application granted granted Critical
Publication of JP5507260B2 publication Critical patent/JP5507260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335Pitch control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10Prosody rules derived from text; Stress or intonation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • G10L17/24Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936Speech interaction details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4938Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/39Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

発話音声プロンプトを、所望の効果、たとえば、共感を示すこと、又は呼受信者からの所望の後続の行動をもたらすことを有する可能性が最も高くなるように作成することができる方法及びシステムを記載する。プロンプトを、広範にわたる患者又は聴取者の中で参加を促すと共に理解を促進させるような、持続期間、話し手の性別、及びピッチを含む特定の最適化されたスピーチパラメータを用いて作成することができる。患者/聴取者は、このような音声プロンプトを聴くと、答えることを期待されている質問をされているとき、並びに情報を与えられているとき、及び機密とみなされる情報を与えられているときを即座に知ることができる。

Description

本開示は、包括的には、電話ベースの情報対話のための発話音声プロンプトを作成するシステム及び方法に関する。より詳細には、本開示は、休止及び音節の持続期間、並びに音節、単語、及び句のピッチ(たとえば基本周波数)を含むスピーチパラメータを制御することによって発話音声プロンプトを作成するシステム及び方法に関する。
[関連出願]
本出願は、2007年1月25日付けで出願された、米国仮特許出願第60/897,315号の利益を主張するものであり、その内容全体が参照により本明細書に援用される。
新しい連結経済では、企業又はサービスプロバイダは、得意先及び顧客とより通じていることが、ますます重要になってきている。そのような接触を、自動電話処理システムを用いて容易にすることができる。このシステムでは、対話式に選択されたプロンプトが電話処理との関連で再生され、人間ユーザの応答が自動スピーチ認識システムによって認識される。応答者によって与えられた応答は、発話された言葉を意味に変換するためにシステムによって処理され、その後、当該意味を対話的に使用することができるか、又はデータベースに記憶することができる。そのようなシステムの1つの例が、2006年1月24日付けでLucas Merrow他の名義で発行され、以下でさらに論考される本出願の譲受人に譲渡された特許文献1において記載されている。
コンピュータシステムが、発話された言葉を認識して、これらの言葉をテキストに変換するために、システムは、発話された言葉を音声的に分解して、言葉の一部をそれらのテキスト等価物に変換するようにプログラムされなければならない。そのような変換をするには、スピーチの構成要素と、発話された言葉の構造とを理解することが必要である。スピーチの生成により、一連の複雑な迅速に変化する音圧波形が生成される。これらの波形は、音素として知られる、スピーチの基本的な構築ブロックを含む。母音と子音は、音素であり、人間のスピーチのいずれの構成要素が使用されるかに応じて、多くの異なる特性を有する。単語における音素の位置は、生成される最終的な音声に対し、大きな影響を有する。発話された単語は、話し方に応じて、いくつかの意味を有し得る。言語学者は、異音を音素の音響変形として識別し、それらを使用して、特定の単語が形成される方法をより明確に説明する。
すべての年齢の人々及びすべての地理的領域からの人々と電話で首尾よく対話するために、このような人々に発話音声プロンプトを向けるとき、可能な限り明瞭であることが重要である。自動呼を受ける人々は、好ましくは、答えを要求する質問をされているとき、及び重要な新たな情報を提示されているときを即座に知るべきである。話し手が引き続いて或る情報を提供されることが望ましい場合がある。この場合、提示される情報は、所望の後続の行動が行われる可能性を最大にするために、自動呼を受ける人々にとって注目に値するものであるべきである。
従来技術は、ユーザの、システムとの以前の対話に基づいて音声ユーザインタフェースを調整することに取り組んできた。他の従来技術は、スピーチを聴覚障害のある人々にとってより理解可能なものにするために、スピーチのデジタル改良又はデジタル調節を提案してきた。しかしながら、発話プロンプトとの関連でスピーチの自然らしさを達成するために最適な方法で発話プロンプトのパラメータを制御することに関しては、ほとんど又は全く注意が払われてこなかった。
英語の発話のイントネーションパターン及び韻律の他の態様を音声表記する従来技術のシステムは、1993年にオハイオ州立大学のMary E. Beckman及びGayle Ayers Elamによって説明されたToBIシステム(「声調」及び「分割指標」を表す)である。非特許文献1を参照されたい。
ToBIシステムは、多岐にわたる研究目的及び多様な技術目標の探求において、韻律学的に音声表記されたデータベースを、研究サイトをまたがって共有することを可能にするために、韻律要素の合意された集合を音声表記するための共通の標準規格を必要としていた、様々な異なる研究分野(電気工学、心理学、言語学等)からのスピーチ科学者のグループによって考案された。非特許文献2も参照されたい。
米国特許第6,990,179号明細書
Guidelines for ToBI Labelling, The Ohio State University Research Foundation, Mary E. Beckman & Gayle Ayers Elam, Ohio State University (ver. 3, March 1997) Ayers 他著「Modelling Dialogue Intonation」(International Congress of Phonetic Sciences 1995, Stockholm, August 1995)
従来技術のシステム及び技法がそれらの個々の意図された目的には十分であり得る一方で、広範にわたる患者又は聴取者の中で参加を促すと共に理解を促進させる、電話ベースの自動対話式情報システム及び技法に対する需要が存在する。さらに、電話ベースの対話に、より自然且つ効果的なスピーチプロンプトを提供するシステム及び技法を有することが望ましい。
本開示は、自動対話式電話呼に有用な音声プロンプトを作成するシステム及び方法を提供する。このような音声プロンプトを電話ベースの自動対話式情報技法において使用して、広範にわたる患者又は聴取者の中で参加を促すと共に理解を促進させることができる。さらに、このような音声プロンプトの使用によって、電話ベースの対話に、より自然且つ効果的なスピーチプロンプトを提供することができる。
本開示の例示的な実施の形態は、発話音声プロンプトが、患者又は聴取者に向けて共感を示すことを含む所望の効果を有する可能性が最も高くなるように作成される方法を含む。
一実施の形態は、電話ベースの情報対話のための発話音声プロンプトを作成するように構成されるシステム及び電話ベースの情報対話のための発話音声プロンプトを作成する方法を含む。当該方法は、発話プロンプトのパラメータを最適化すると共に最適化されたパラメータを作成し、当該最適化されたパラメータに基づいて発話プロンプトを記録し、当該発話プロンプトを電話システムを介して聴取者に伝達するように構成される。
本開示の態様は、限定するものではなく例示的な性質のものとしてみなされるべきであり、以下の詳細な説明が添付の図面と併せて読まれるときに、当該説明から、より完全に理解されることができる。図面は必ずしも一定の縮尺に従っておらず、代わりに本開示の原理に重点が置かれる。
本開示の例示的な実施形態によるフローチャートを示す。 本開示の例示的な実施形態によるフローチャートを示す。 本開示の例示的な実施形態によるさらなる方法の部分を示す。 本開示の例示的な実施形態によるシステムの概略図を示す。
上述した本発明の概要及び以下の詳細な説明は共に例示的で説明的なものであり、特許請求される本発明のさらなる説明を提供するように意図されることを理解されたい。
非常に広範にわたる呼受信者と首尾よく対話するために自動電話ベースの情報システムを使用するとき、可能な限り正確且つ自然にコミュニケーションをとることが望ましい。これは、多くの場合に、呼が負担であるか又は時間の無駄であるものとして捉えられる場合では呼受信者が単に所望の情報を提供しないためである。本開示の態様及び実施形態は、自動電話ベースの情報呼の間、呼受信者に対し所望の効果を有する可能性が最も高くなるように最適化されるか又は特に構築されるスピーチパラメータを有する発話音声プロンプトを生成するシステム及びその技法を提供する。
様々なスピーチパラメータを最適化すると共に、必ずしも文法的に「正確」であるか又は「完璧な」発音を有する必要はないが自然な音を有する発話音声プロンプトを提供することによって、本開示による発話音声プロンプトを使用して、自動電話ベースの情報呼の間に、さらに効果的にコミュニケーションを行うことができる。
たとえば、注意(若しくは注目)に値する(又は注意(若しくは注目)を集めることが望ましい)発話音声プロンプトの文内の単語を、局所ピッチを最大又は最小にして作成することができる。上述したように、広く認識されているToBIイントネーションラベリングシステムは、ピッチ最大値及びピッチ最小値を示し、これらは「ピッチアクセント」と呼ばれる。ToBIシステムは、声調及び分割指標を示し且つ分類するが、特定の様式で声調及び分割指標を実施する方法を示していない。本開示によるシステム及び方法は、発話音声プロンプトのために特に調整又は最適化されたピッチアクセントを利用することができる。たとえば、上述したように、疑問文を、末尾を上昇調にして作成することができ、平叙文を、一様又は下降調のいずれかにして作成することができる。
本開示の実施形態において、発話音声プロンプトを、広範にわたる患者の中で参加を促すと共に理解を促進させる特定の(最適化された)持続期間及びピッチパラメータを用いて作成することができる。聴取者は、このような音声プロンプトを聴くと、答えることを期待されている質問をされているとき、並びに情報を与えられているとき、及び機密とみなされる場合がある情報を与えられているときを即座に知ることができる。他の発話音声パラメータ、たとえば大きさ、速さ又はテンポ、話し手の性別、明瞭度(たとえば濁声の特性を有する)等も、同様に調整することができる。
本開示の態様によれば、ピッチアクセント及び/又は最適化されるべき他のスピーチパラメータを受ける単語及び単語数を、プロンプトのテキストの文脈及び意味、並びに所望の動作又は動作の変化に基づいて決定することができる。このような最適化されたスピーチパラメータを、特定の言語を話す集団、特定の地理的領域内の人々、又は他の特定の人口統計を有する人々、たとえば特定の年齢より上の人々のような、異なる集団のために調節又は調整することができる。
さらに、本開示の態様によって、ピッチアクセント及び/又は他のスピーチパラメータが、英語だけではなく多くの異なる言語のうちの任意のものにおいて、発話音声プロンプトのために効果的に最適化され、用いられることを可能にすることができる。たとえば、言語習慣及び/又は地域住民に関する地域人口統計学的情報に基づいて、スペイン語の発話音声プロンプトにおいて、英語の同等の発話音声プロンプトとは異なるパターンで、特定の音節にピッチアクセントを提供することが望ましいであろう。
図1は、本開示による発話音声プロンプトを作成する方法100の実施形態を示す。102において記載されるように、1つ又は複数の音声プロンプトに関して、1つ又は複数のプロンプトのテキストの文脈及び/又は意味に基づいて、1つ又は複数の最適化されたスピーチパラメータを受ける特定の単語及び/又は音節(又はそれらの間の休止)を決定することができる。最適化することができるスピーチパラメータは、限定ではないが、ピッチアクセント、基本周波数(ベース音調)、明瞭度、速さ、話し手の性別、休止の長さ等を含む。1つ又は複数の音声プロンプトに関して、1つ又は複数のプロンプトのテキストの文脈及び/又は意味に基づいて、1つ又は複数の最適化されたスピーチパラメータを受ける単語数もまた(又は代替的に)決定することができる。
方法100の説明を続けると、104において記載されるように、1つ又は複数の発話音声プロンプトを記録することができる。108において記載されるように、1つ又は複数の発話音声プロンプトを、電話ベースの情報対話に適した電話システムのような電話システムを介して聴取者又は通話者に伝達することができる。
本開示による音声プロンプトを、適切な音声認識技法と併せて利用することができることが理解されよう。本開示の範囲内で実施することができる例示的な音声認識技法は、2005年9月2日付けで出願された、「Speech Recognition Method and System for Determining the Status of an Answered Telephone During the Course of an Outbound Telephone Call」と題する米国特許出願第11/219,593号において記載されている。当該特許文献は、2001年8月31日付けで出願された、「Speech Recognition Method and System for Determining the Status of an Answered Telephone During the Course of an Outbound Telephone Call」と題する米国特許出願第09/945,282号、現米国特許第6,990,179号(上記で参照)の継続出願であり、それらのすべての特許文献の内容全体が参照により本明細書に援用される。さらに、本開示による音声プロンプトを、対象者に関する既知の情報に基づいて構築することができ、本明細書において説明されるこのような音声プロンプトに対する応答において取得される情報を使用して同じ人物への後続の呼を構築することもできる。
図2は、本開示による方法の部分の実施形態200(又はその集合)を示す。当業者であれば、説明される本方法の部分を、本開示による発話音声プロンプトを用いる実施のために単独で又は任意に組み合せて使用することができることを理解するはずである。付加的に、図2の構成要素は計画のための連続したステップとして視覚的に提示されているが、音声で同時に実施することができる(また、例示的な実施形態においてそのように実施される)。202において記載されるように、1つ又は複数の発話音声プロンプトに、所望のスピーチ速度、及び/又は休止の伸長パターンを適用することができる。204において記載されるように、1つ又は複数の発話音声プロンプトに、句末の長音化パターンを適用することができる。
206において記載されるように、規定のイントネーションパターンを1つ又は複数の発話音声プロンプトに適用することができる。208において記載されるように、基本(たとえばベース)周波数の特定の上昇及び/又は下降を、1つ又は複数の発話音声プロンプトに対して適用することができる。210において記載されるように、音声プロンプトによって伝達される(又は音声プロンプト内に含まれる)特定のタイプの情報に対応するイントネーションパターンを、発話音声プロンプトに対して適用することができる。発話の末尾におけるピッチの上昇及び下降は、句音調及び境界音調として既知である。音声プロンプトのテキストによって伝達される情報のタイプ又は質の判断及び/又は分類を作成することができ、それに従って音声プロンプトの1つ又は複数のスピーチパラメータを調整することができる。例として、悪い情報又は良い情報を有するとみなされる音声プロンプトに関して、当該プロンプトを特定の対象聴衆に送るとき、それぞれ男性の声又は女性の声を使用することができる。音声プロンプトの情報タイプの区分化又は分類において、投票データ及び/又は調査データを使用することができる。さらなる例として、複雑な情報又は極度に重大な情報を伝達するのに低速のスピーチを用いることができる。
208及び/又は210を例にとると、高ピッチアクセント又は局所ピッチ最大値を使用して、新たな情報、及び特定の音声プロンプトの最も重要な情報を特徴付けることができる。音声プロンプトの話し手の見かけ上の性別を選択することによって、ピッチ極値(最大値及び最小値)を指示又は強調することができる。低ピッチアクセント又は局所ピッチ最小値を使用して、既知の情報、及びタブー又は潜在的に動揺させるか若しくは機密である情報を特徴付けるか又は指示することができる。ピッチアクセントを保有する単語を、たとえば主要な語彙強勢を保有する音節をその通常の長さの実質的に3倍にすることによって、長くすることもできる。付加的に(又は代替的に)長音化を使用して句及び/又は文の句読点を伝達することができる。
上述したように、音声プロンプト内の疑問文を、末尾を上昇調にして作成することができ、平叙文を、一様又は下降調のいずれかにして作成することができる。注意(又は注目)に値するとみなされる発話音声プロンプトの文内の単語を、局所ピッチを最大又は最小にして作成することができる。
図3は、本開示による方法の部分の実施形態300(又は集合物)を示す。当業者であれば、説明される本方法の部分を、本開示による発話音声プロンプトを用いる実施のために単独で又は任意に組み合せて使用することができることを理解するはずである。302において記載されるように、1つ又は複数の試験集団の応答に基づいて、発話音声プロンプトのイントネーションパターンを決定することができる。高齢の対象集団に対して、話し手は絶対的なピッチ幅を下方に調節して、年齢に関連して発生する、特に高周波数における一般的な聴力低下(老人性難聴)を補うことができる。
実施形態300の説明を続けると、304において記載されるように、所望の動作又は動作の変化に基づいて、発話音声プロンプトのいずれの音節、単語、及び/又は単語数がピッチアクセントを受けるかに関する決定を行うことができる。306において記載されるように、1つ又は複数の発話音声プロンプトの実施態様に関して、2倍の長さの(又は実質的に2倍の長さの)音節を使用して、発話プロンプトにおけるコンマを示すことができる。308において記載されるように、3倍の長さの(又は実質的に3倍の長さの)音節を使用して、発話プロンプトにおけるピリオド(又は同様の発音の区切り)を示すことができる。
例示的な実施形態において、句末の音節(通常テキスト内のコンマに対応する)の長さを実質的に2倍にし、文末の音節(通常テキスト内のピリオドに対応する)の長さを実質的に3倍にすることができる。無音休止を用いて句又は文の区切りを強化することもできる。高齢の対象集団に対して、話し手は速度を下方に調節して、高齢集団における中枢聴覚処理の速度及び作業記憶の柔軟性におけるあり得る低減に対処することができる。
図4は、本開示の例示的な実施形態によるシステム400の概略図を示す。システム400は、自動電話呼システム414と、スピーチ認識システム416とを備える自動サブシステム412を備えることができる。図示されるように、システム400は、被呼者電話機418と、音声プロンプト記録システム420とを備えることができる。音声プロンプト記録システム420は任意の適切な音声記録装置及び/又は音声記録媒体、たとえば磁気テープ、フラッシュメモリ等を備えることができる。
自動電話呼システム414は、任意の適切な種類のものとすることができ、任意の適切な種類のパーソナルコンピュータを備えることができるが、メインフレームコンピュータシステムも使用することができる。電話呼システム414のすべての構成要素が特定のコンピュータシステム上に存在することができ、それによってシステムは、後述するように応答者から受信したデータを独立して処理することが可能になる。代替的に、システム414の構成要素を、LAN又は同様のネットワークを介して互いにアクセスすることができる異なるシステム内に含めることができる。たとえば、自動電話呼装置414は、電話418からの音声応答を受信すると共に当該応答をスピーチ認識装置416に送信するように構成されるサーバシステム上に存在してもよい。
自動電話呼システム414は、電話ネットワーク、携帯電話ネットワーク、ウェブ、インターネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、プライベートネットワーク、仮想プライベートネットワーク(VPN)、イントラネット、エクストラネット、無線ネットワーク等又はそれらの何らかの組み合わせのような様々なネットワークのうちの任意のものによって音声情報の受信を容易にするネットワークインタフェースも備えることができる。音声情報を通信することが可能な様々な入力装置のうちの任意の1つ又は複数によって、自動サブシステム412にアクセス可能とすることができる。限定ではないが、そのような装置は標準的な電話機又は携帯電話機418を含むことができる。
引き続き図4を参照すると、自動電話呼システム414は、自動サブシステム412が電話呼を開始することが可能な人物のデータベースと、各人物に関連付けられる電話番号と、対象者の名前を含む記録されているデータファイルとを含むことができる。このような自動電話呼装置は当該技術分野において既知である。後述するように、自動電話呼システム414は、対象者に対する電話呼を開始すると共に、対象者に質問する予め記録された挨拶プロンプト及び/又は図1〜3に関して上述したような他の音声プロンプトを再生することが可能である。システム414は次にスピーチ認識システム416と対話し、電話418における人物から受信した応答を分析することができる。
スピーチ認識システム416は、特定の題目に関する質問を含むことができる一連の音響出力又は音声プロンプトを含むスピーチ認識アプリケーションが、好ましくは質問者と応答者との間の電話対話によって当該質問を当該応答者に提示することができるようにプログラムされる、自動システムとして機能することができる。しかしながら、スピーチ認識アプリケーションは、情報を収集、提供、及び/若しくは共有するか、又はそれらを行うことが可能な任意の対話式アプリケーションとすることができる。例として、本開示において、スピーチアプリケーションは、消費者調査アプリケーションと、ウェブアクセスアプリケーションと、コンピュータベースの学習・レッスンアプリケーション及び試験アプリケーションを含む教育アプリケーションと、選別アプリケーションと、消費者嗜好モニタリングアプリケーションと、製品管理に関する通知書を含む、コンプライアンスに関連する活動の通知書を生成するアプリケーションを含むコンプライアンスアプリケーションと、標準規格化された試験結果、消費者の製品試験結果、及び管理結果のうちの少なくとも1つを提供するアプリケーションを含む試験結果アプリケーションと、上記のアプリケーションのうちの2つ以上を連結するアプリケーションを含む連結アプリケーションとを含む一群の対話式アプリケーションのうちの任意のものとすることができる。
したがって、本開示による方法/技法は、音声プロンプトを受信する人物に共感を示すことのような所望の効果を有する可能性が最も高くなるように作成される発話音声プロンプトを提供することができる。
プロンプトは、広範にわたる聴取者、たとえば患者の中で参加を促すと共に理解を促進させる特定のスピーチパラメータ、たとえば速度、音節持続期間、及びピッチの変化を用いて作成することができる。聴取者は、このような音声プロンプトを聴くと、答えることを期待されている質問をされているとき、並びに情報を与えられているとき、及び機密とみなされる情報を与えられているときを即座に知ることができる。さらに、本開示の態様によって、英語だけではなく多数の異なる言語のうちの任意のものにおいて、最適化されたスピーチパラメータ、たとえばピッチアクセントを発話音声プロンプトに効果的に用いることを可能にすることができる。
本明細書において、入院患者及び外来患者の設定の文脈において特定の実施形態が説明されたが、当業者であれば、本開示の技法、方法、システム、及び機器を、本発明の精神から逸脱することなく他の特定の形態で具現化することができることを理解するであろう。
したがって、本明細書において記載されると共に、添付の特許請求の範囲において特許請求される実施形態は、すべての局面において、本開示を限定するのではなく例示するものとみなされるべきである。

Claims (33)

  1. 電話ベースの情報対話のための発話音声プロンプトを作成する方法であって、
    1つ又は複数の音声プロンプトに関して、該1つ又は複数の音声プロンプトのテキストの文脈及び/又は意味に基づいて、最適化されたスピーチパラメータを受ける単語を決定すること、
    前記1つ又は複数の音声プロンプトを記録することであって、1つ又は複数の発話音声プロンプトを作成する、記録すること、及び
    前記1つ又は複数の発話音声プロンプトを電話システムを介して聴取者に伝達すること、
    を含む、方法。
  2. 前記1つ又は複数の音声プロンプトの文脈及び/又は意味に基づいて、前記最適化されたスピーチパラメータを受ける単語数を決定することをさらに含む、請求項1に記載の方法。
  3. 前記最適化されたスピーチパラメータは、1つ又は複数のピッチアクセントを含む、請求項1に記載の方法。
  4. 前記1つ又は複数のピッチアクセントは、休止の伸長パターンをもたらす、請求項3に記載の方法。
  5. 前記1つ又は複数のピッチアクセントは、句末の長音化パターンを含む、請求項3に記載の方法。
  6. 前記方法は1つ又は複数の境界音調をさらに含み、前記1つ又は複数のピッチアクセント及び該1つ又は複数の境界音調は規定のイントネーションパターンを構成する、請求項3に記載の方法。
  7. 前記規定のイントネーションパターンは、発話プロンプトの基本周波数の特定の上昇又は下降を含む、請求項6に記載の方法。
  8. 前記イントネーションパターンは、前記発話プロンプトによって伝達される規定のタイプの情報に対応する、請求項7に記載の方法。
  9. 前記イントネーションパターンは、特定のタイプの音声プロンプトに対するコンピュータベースのやり取りにおける参加者集団の応答に基づいて決定される、請求項8に記載の方法。
  10. 前記1つ又は複数のピッチアクセントを受ける前記単語は、電話呼を受ける人物に所望する所望の動作に基づいて決定される、請求項3に記載の方法。
  11. 前記1つ又は複数のピッチアクセントを受ける前記単語は、電話呼を受ける人物に所望する所望の動作変化に基づいて決定される、請求項3に記載の方法。
  12. 高ピッチのアクセントを使用することであって、新たな情報を指示する、使用することをさらに含む、請求項8に記載の方法。
  13. 高ピッチのアクセントを使用することであって、重要な情報を指示する、使用することをさらに含む、請求項8に記載の方法。
  14. 低ピッチのアクセントを使用することであって、動揺させる新たな情報を指示する、使用することをさらに含む、請求項8に記載の方法。
  15. 低ピッチのアクセントを使用することであって、機密情報を指示する、使用することをさらに含む、請求項8に記載の方法。
  16. 前記1つ又は複数のピッチアクセントは、主要な語彙強勢を保有する音節であって、該音節の通常の長さの実質的に3倍である、音節を含む、請求項8に記載の方法。
  17. 音節長音化を使用することであって、句、文の句読点を伝達する、使用することをさらに含む、請求項8に記載の方法。
  18. 句末の音節は、前記発話プロンプトにおけるコンマを指示するために、アクセント付きでない同じ音節と比較して長さを実質的に2倍にされる、請求項17に記載の方法。
  19. 句末の音節は、前記発話プロンプトにおけるピリオドを指示するために、アクセント付きでない同じ音節と比較して長さを実質的に3倍にされる、請求項17に記載の方法。
  20. 無音休止を使用することであって、句又は文の区切りを強化する、使用することをさらに含む、請求項8に記載の方法。
  21. 絶対的なピッチ幅を下方に調節することであって、年齢に関連する聴力低下を補う、調整することをさらに含む、請求項8に記載の方法。
  22. 対象電話呼受信者層に基づいて、速度及びイントネーションを変更することをさらに含む、請求項8に記載の方法。
  23. 前記イントネーションを変更することは、休止インデックスを変更することを含む、請求項22に記載の方法。
  24. 前記発話プロンプトの情報に基づいて、該発話プロンプトのために男性の声又は女性の声を選択することをさらに含む、請求項8に記載の方法。
  25. 前記発話プロンプトを、対象者への呼において実施することをさらに含む、請求項8に記載の方法。
  26. 前記対象者に関する既知の情報に基づいて前記呼の内容を構築することをさらに含む、請求項25に記載の方法。
  27. アウトバウンドの電話呼の経過中に、電話機に対し、最適化された音声プロンプトを向けるシステムであって、
    1つ又は複数の最適化されたスピーチパラメータを含む1つ又は複数の発話音声プロンプトを記録するように設定及び構成される記録システムと、
    前記1つ又は複数の発話音声プロンプトを含む自動アウトバウンド電話呼を、被呼者電話機における対象者に発信するように設定及び構成される自動呼システムと、
    前記1つ又は複数の音声プロンプトに応答して為される前記対象者の聴覚性の応答を処理するように設定及び構成される自動スピーチ認識システムと、
    を備える、システム。
  28. 前記最適化されたスピーチパラメータは、ピッチアクセント、境界音調、基本周波数、話し手の性別、明瞭度、速さ、又は音の大きさを含む、請求項27に記載のシステム。
  29. 前記1つ又は複数の発話音声プロンプトに関して、該1つ又は複数の発話音声プロンプトのテキストの文脈及び/又は意味に基づいて、最適化されたスピーチパラメータを受ける前記単語を決定するように設定及び構成される、請求項27に記載のシステム。
  30. 前記1つ又は複数の発話音声プロンプトに関して、該1つ又は複数の発話音声プロンプトの文脈及び/又は意味に基づいて、前記最適化されたスピーチパラメータを受ける単語数を決定するようにさらに設定及び構成される、請求項29に記載のシステム。
  31. 前記1つ又は複数の発話音声プロンプトのイントネーションパターンは、該1つ又は複数の発話音声プロンプトによって伝達される規定のタイプの情報に対応する、請求項27に記載のシステム。
  32. 前記イントネーションパターンは、特定のタイプの音声プロンプトに対するコンピュータベースのやり取りにおける参加者集団の応答に基づいて決定される、請求項31に記載のシステム。
  33. 前記1つ又は複数のピッチアクセントを受ける前記単語は、前記1つ又は複数の発話音声プロンプトを含む電話呼を受ける人物に所望する所望の動作又は動作変化に基づいて決定される、請求項29に記載のシステム。
JP2009547441A 2007-01-25 2008-01-25 発話音声プロンプトを作成するシステム及び技法 Active JP5507260B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US89731507P 2007-01-25 2007-01-25
US60/897,315 2007-01-25
PCT/US2008/052060 WO2008092085A2 (en) 2007-01-25 2008-01-25 Systems and techniques for producing spoken voice prompts

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013091918A Division JP2013167900A (ja) 2007-01-25 2013-04-25 発話音声プロンプトを作成するシステム及び技法

Publications (2)

Publication Number Publication Date
JP2010517101A true JP2010517101A (ja) 2010-05-20
JP5507260B2 JP5507260B2 (ja) 2014-05-28

Family

ID=39645190

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009547441A Active JP5507260B2 (ja) 2007-01-25 2008-01-25 発話音声プロンプトを作成するシステム及び技法
JP2013091918A Pending JP2013167900A (ja) 2007-01-25 2013-04-25 発話音声プロンプトを作成するシステム及び技法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013091918A Pending JP2013167900A (ja) 2007-01-25 2013-04-25 発話音声プロンプトを作成するシステム及び技法

Country Status (5)

Country Link
US (6) US8380519B2 (ja)
EP (1) EP2106653B1 (ja)
JP (2) JP5507260B2 (ja)
CA (1) CA2674614C (ja)
WO (1) WO2008092085A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118385A (ja) * 2010-12-02 2012-06-21 Yamaha Corp 音声合成情報編集装置
KR102427748B1 (ko) * 2021-10-07 2022-08-01 주식회사 브로드씨엔에스 인공지능을 이용한 고객 응대 시스템 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002213338A1 (en) * 2000-10-16 2002-04-29 Eliza Corporation Method of and system for providing adaptive respondent training in a speech recognition application
CA2675042A1 (en) * 2007-01-30 2008-08-07 Eliza Corporation Systems and methods for producing build calls
US8975778B2 (en) 2009-07-30 2015-03-10 Lutron Electronics Co., Inc. Load control system providing manual override of an energy savings mode
US9665344B2 (en) * 2010-02-24 2017-05-30 GM Global Technology Operations LLC Multi-modal input system for a voice-based menu and content navigation service
US9418674B2 (en) * 2012-01-17 2016-08-16 GM Global Technology Operations LLC Method and system for using vehicle sound information to enhance audio prompting
US9229974B1 (en) 2012-06-01 2016-01-05 Google Inc. Classifying queries
US9633649B2 (en) 2014-05-02 2017-04-25 At&T Intellectual Property I, L.P. System and method for creating voice profiles for specific demographics
US10347247B2 (en) * 2016-12-30 2019-07-09 Google Llc Modulation of packetized audio signals
US11295738B2 (en) * 2016-12-30 2022-04-05 Google, Llc Modulation of packetized audio signals
US11267121B2 (en) * 2018-02-13 2022-03-08 Casio Computer Co., Ltd. Conversation output system, conversation output method, and non-transitory recording medium
US11080485B2 (en) * 2018-02-24 2021-08-03 Twenty Lane Media, LLC Systems and methods for generating and recognizing jokes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04248598A (ja) * 1990-10-30 1992-09-04 Internatl Business Mach Corp <Ibm> 複合音声情報の編集装置および方法
JPH11175081A (ja) * 1997-12-11 1999-07-02 Toshiba Corp 発話装置及び発話方法
JP2004233709A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd 情報処理装置、コンテンツ提供方法及び端末装置
JP2006311420A (ja) * 2005-05-02 2006-11-09 Ntt Communications Kk 音声メッセージ配信システム、メッセージサーバ、音声メッセージ配信方法、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2119397C (en) * 1993-03-19 2007-10-02 Kim E.A. Silverman Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation
US6226614B1 (en) * 1997-05-21 2001-05-01 Nippon Telegraph And Telephone Corporation Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US6601030B2 (en) * 1998-10-28 2003-07-29 At&T Corp. Method and system for recorded word concatenation
US6598020B1 (en) * 1999-09-10 2003-07-22 International Business Machines Corporation Adaptive emotion and initiative generator for conversational systems
US6658388B1 (en) * 1999-09-10 2003-12-02 International Business Machines Corporation Personality generator for conversational systems
JP4465768B2 (ja) * 1999-12-28 2010-05-19 ソニー株式会社 音声合成装置および方法、並びに記録媒体
JP4167057B2 (ja) 2000-09-01 2008-10-15 エリザ コーポレーション 発信電話呼出しの状況を決定するスピーチ認識方法およびシステム
US7222074B2 (en) * 2001-06-20 2007-05-22 Guojun Zhou Psycho-physical state sensitive voice dialogue system
US7177814B2 (en) * 2002-02-07 2007-02-13 Sap Aktiengesellschaft Dynamic grammar for voice-enabled applications
EP1345207B1 (en) * 2002-03-15 2006-10-11 Sony Corporation Method and apparatus for speech synthesis program, recording medium, method and apparatus for generating constraint information and robot apparatus
JP2004023709A (ja) 2002-06-20 2004-01-22 Toshiba Eng Co Ltd 自動通信および防犯機能付携帯端末機
US7280968B2 (en) * 2003-03-25 2007-10-09 International Business Machines Corporation Synthetically generated speech responses including prosodic characteristics of speech inputs
US7505892B2 (en) * 2003-07-15 2009-03-17 Epistle Llc Multi-personality chat robot
US20050096909A1 (en) 2003-10-29 2005-05-05 Raimo Bakis Systems and methods for expressive text-to-speech
US7386102B2 (en) 2004-01-05 2008-06-10 Louis Edward Summe System for remote control of an automated call system
US20060122840A1 (en) * 2004-12-07 2006-06-08 David Anderson Tailoring communication from interactive speech enabled and multimodal services

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04248598A (ja) * 1990-10-30 1992-09-04 Internatl Business Mach Corp <Ibm> 複合音声情報の編集装置および方法
JPH11175081A (ja) * 1997-12-11 1999-07-02 Toshiba Corp 発話装置及び発話方法
JP2004233709A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd 情報処理装置、コンテンツ提供方法及び端末装置
JP2006311420A (ja) * 2005-05-02 2006-11-09 Ntt Communications Kk 音声メッセージ配信システム、メッセージサーバ、音声メッセージ配信方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118385A (ja) * 2010-12-02 2012-06-21 Yamaha Corp 音声合成情報編集装置
US9135909B2 (en) 2010-12-02 2015-09-15 Yamaha Corporation Speech synthesis information editing apparatus
KR102427748B1 (ko) * 2021-10-07 2022-08-01 주식회사 브로드씨엔에스 인공지능을 이용한 고객 응대 시스템 및 방법

Also Published As

Publication number Publication date
US20130132096A1 (en) 2013-05-23
US20080205601A1 (en) 2008-08-28
US9805710B2 (en) 2017-10-31
US8725516B2 (en) 2014-05-13
US20150139411A1 (en) 2015-05-21
JP5507260B2 (ja) 2014-05-28
EP2106653A4 (en) 2011-06-22
WO2008092085A2 (en) 2008-07-31
EP2106653B1 (en) 2014-04-09
EP2106653A2 (en) 2009-10-07
WO2008092085A3 (en) 2008-10-02
JP2013167900A (ja) 2013-08-29
CA2674614C (en) 2017-02-28
US20180053499A1 (en) 2018-02-22
US8380519B2 (en) 2013-02-19
US8983848B2 (en) 2015-03-17
US20140207464A1 (en) 2014-07-24
CA2674614A1 (en) 2008-07-31
US9413887B2 (en) 2016-08-09
US10229668B2 (en) 2019-03-12
US20160351184A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
JP5507260B2 (ja) 発話音声プロンプトを作成するシステム及び技法
Iida et al. A corpus-based speech synthesis system with emotion
US6865533B2 (en) Text to speech
Creer et al. Building personalised synthetic voices for individuals with severe speech impairment
Pisoni et al. Speech perception: Research, theory and the principal issues
Reinisch Natural fast speech is perceived as faster than linearly time-compressed speech
Vojtech et al. The effects of modulating fundamental frequency and speech rate on the intelligibility, communication efficiency, and perceived naturalness of synthetic speech
Zhang et al. Adjustment of cue weighting in speech by speakers and listeners: Evidence from amplitude and duration modifications of Mandarin Chinese tone
Jreige et al. VocaliD: Personalizing text-to-speech synthesis for individuals with severe speech impairment
Reddy et al. Speech-to-Text and Text-to-Speech Recognition Using Deep Learning
Campbell Evaluation of speech synthesis: from reading machines to talking machines
Padmini et al. Age-Based Automatic Voice Conversion Using Blood Relation for Voice Impaired.
Matsumoto et al. Speech-like emotional sound generation using wavenet
Perepelytsia et al. IDEAR: A speech database of identity-marked, clear and read speech
Hande A review on speech synthesis an artificial voice production
Malatji The development of accented english synthetic voices
Felps Articulatory-based speech processing methods for foreign accent conversion
Ojala Auditory quality evaluation of present Finnish text-to-speech systems
Madina González Evaluation of STT technologies performance and database design for Spanish dysarthric speech
Chong THE EFFECT OF TALKER NATIVENESS ON THE PERCEPTION OF VOICING IN SYLLABLE-INITIAL PLOSIVES BY AMERICAN ENGLISH MONOLINGUALS
Li The Effect of Talker Nativeness on the Perception of Voicing in Syllable-initial Plosives by American English Monolinguals
Bőhm Analysis and modeling of speech produced with irregular phonation
Zue et al. Isca kk hi Noordwijkerhout, the Netherlands
Morton PALM: psychoacoustic language modelling
Vine Time-domain concatenative text-to-speech synthesis.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120912

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130425

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130508

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130918

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140319

R150 Certificate of patent or registration of utility model

Ref document number: 5507260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250