JP2007193166A - 対話装置、対話方法及びプログラム - Google Patents

対話装置、対話方法及びプログラム Download PDF

Info

Publication number
JP2007193166A
JP2007193166A JP2006012135A JP2006012135A JP2007193166A JP 2007193166 A JP2007193166 A JP 2007193166A JP 2006012135 A JP2006012135 A JP 2006012135A JP 2006012135 A JP2006012135 A JP 2006012135A JP 2007193166 A JP2007193166 A JP 2007193166A
Authority
JP
Japan
Prior art keywords
voice
content
unit
speech
language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006012135A
Other languages
English (en)
Other versions
JP2007193166A5 (ja
Inventor
Toshihiko Osada
俊彦 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kenwood KK
Original Assignee
Kenwood KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kenwood KK filed Critical Kenwood KK
Priority to JP2006012135A priority Critical patent/JP2007193166A/ja
Publication of JP2007193166A publication Critical patent/JP2007193166A/ja
Publication of JP2007193166A5 publication Critical patent/JP2007193166A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

【課題】装置から返答される言語を種々の言語に切り替えることで、ユーザの用途に合った対話状況を実現させる。
【解決手段】この対話装置には、ユーザからの発言内容が入力される音声入力部と、音声入力部に入力された前記発言内容を認識するための音声認識部と、音声認識部で認識された発言内容に対応した返答内容を作成する返答内容作成部と、返答内容作成部で作成された返答内容を音声として合成する音声合成部と、音声合成部で合成された音声を出力する音声出力部と、音声出力部で出力される言語の種類を設定する設定部とが備えられている。返答内容作成部は、設定部で設定された言語による返答内容を作成する。
【選択図】図1

Description

本発明は、対話装置、対話方法及びプログラムに関する。
従来、外国語を学習する際においては、例えば外国語で表された文章を自国語に翻訳するために、音声により入力された自国語文章を基にして翻訳を行う翻訳装置(例えば特許文献1参照)や、音声により入力された自国語を基にして他国語の文書を検索する検索装置(例えば特許文献2参照)などが開発されている。
特開平10−63664号公報 特開平9−69109号公報
近年においては、ユーザからの発言内容に対して、装置側も言語で返答する対話装置が開発されているが、このような対話装置においても、語学レッスン等の用途を実現するために他の言語で返答させることが望まれている。
本発明の課題は、装置から返答される言語を種々の言語に切り替えることで、ユーザの用途に合った対話状況を実現させることである。
請求項1記載の発明における対話装置は、
ユーザからの発言内容が入力される音声入力部と、
前記音声入力部に入力された前記発言内容を認識するための音声認識部と、
前記音声認識部で認識された前記発言内容に対応した返答内容を作成する返答内容作成部と、
前記返答内容作成部で作成された前記返答内容を音声として合成する音声合成部と、
前記音声合成部で合成された音声を出力する音声出力部と、
前記音声出力部で出力される言語の種類を設定する設定部とを備え、
前記返答内容作成部は、前記設定部で設定された言語による前記返答内容を作成することを特徴としている。
請求項2記載の発明は、請求項1記載の対話装置において、
前記設定部では、前記言語の種類を優先順位をつけて複数設定可能であり、
前記返答内容作成部は、優先順位の高い言語から順に出力されるように前記設定部で設定された複数の言語による前記返答内容をそれぞれ作成することを特徴としている。
請求項3記載の発明は、請求項1記載の対話装置において、
前記設定部は、前記音声認識部で認識された前記発言内容の言語となるように、前記音声出力部で出力される言語の種類を設定することを特徴としている。
請求項4記載の発明は、請求項1記載の対話装置において、
現在地を認識する現在地認識部を備え、
前記設定部は、前記現在地認識部により認識された地域の言語となるように、前記音声出力部で出力される言語の種類を設定することを特徴としている。
請求項5記載の発明における対話方法は、
ユーザからの発言内容が入力される音声入力工程と、
前記音声入力工程で入力された前記発言内容を認識するための音声認識工程と、
前記音声認識工程で認識された前記発言内容に対応した返答内容を作成する返答内容作成工程と、
前記返答内容作成工程で作成された前記返答内容を音声として合成する音声合成工程と、
前記音声合成工程で合成された音声を出力する音声出力工程と、
前記音声出力工程で出力される言語の種類を設定する設定工程とを備え、
前記返答内容作成工程では、前記設定工程で設定された言語による前記返答内容を作成することを特徴としている。
請求項6記載の発明は、
入力された発言内容を認識して、当該発言内容に対応した返答を出力する対話装置を制御するためのプログラムであって、
ユーザからの発言内容が入力される音声入力ステップと、
前記音声ステップで入力された前記発言内容を認識するための音声認識ステップと、
前記音声認識ステップで認識された前記発言内容に対応した返答内容を作成する返答内容作成ステップと、
前記返答内容作成ステップで作成された前記返答内容を音声として合成する音声合成ステップと、
前記音声合成ステップで合成された音声を出力する音声出力ステップと、
前記音声出力ステップで出力される言語の種類を設定する設定ステップとを備え、
前記返答内容作成ステップでは、前記設定ステップで設定された言語による前記返答内容を作成することを特徴としている。
本発明によれば、設定部で設定された言語による返答内容が音声出力部から出力されるので、返答時の言語を種々の言語に切り替えることができる。これにより、ユーザの用途に合った対話状況が実現可能となる。
以下、図面を参照しつつ、本発明の実施形態について説明する。図1は、本実施形態の対話装置1の全体構成を示すブロック図である。この図1に示すように、対話装置1には、音声入力部2と、音声認識部3と、操作部4と、返答内容作成部5と、音声合成部6と、音声出力部7とが備えられている。
音声入力部2は、例えばマイク等から構成されており、ユーザからの発言内容が入力されるようになっている。
音声認識部3は、音声入力部2に入力された発言内容を認識するためのものである。具体的には、音声認識部3は音声入力部2からの発言内容の音声波形を取得することで、発言内容を認識するようになっている。
操作部4は、各種指示が入力されるものである。各種指示には、入力時における言語や返答言語の種類を選択するための選択指示が含まれている。また、操作部4では、返答言語の種類を優先順位をつけて複数設定できるようになっている。
返答内容作成部5は、音声認識部3で認識された発言内容に対応した返答内容を作成するものである。返答内容作成部5には、単語と当該単語の音声波形と当該単語の用途とを関連付けて記憶する複数のデータベース8が設けられている。複数のデータベース8はそれぞれ異なる言語に対応している。この言語としては、各国の共通語、公用語だけでなく方言等も含まれている。例えば、英語のデータベース81には、英単語、当該英単語の音声波形、用途が、標準日本語のデータベース82には、標準日本語の単語、当該単語の音声波形、用途が、関西弁のデータベース83には、関西弁日本語の単語、当該単語の音声波形、用途が、それぞれ関連付けられて記憶されている。
そして、返答内容作成部5は、音声認識部3で取得した音声波形(以下、取得波形)と、操作部4で選択されていた入力言語におけるデータベース中の各単語の音声波形とを照合して、取得波形に近似な波形を有する単語を抽出する。この際、取得波形に近似な波形の単語が1つ以上抽出されることもあるが、その場合最も近似な波形の単語が取得波形に適合すると判断するようになっている。
また、返答内容作成部5は、適合と判断した単語の用途と同一の用途である単語群からら返答内容を作成する。この際、返答内容作成部5は、操作部4で選択されていた返答言語のデータベース8から同一の用途である単語群を分類して、返答内容を作成する。
なお、操作部4で返答言語の種類が優先順位をつけて複数設定されている場合には、返答内容作成部5は、優先順位の高い言語から順に出力されるように操作部4で設定された複数の言語による返答内容をそれぞれ作成するようになっている。
音声合成部6は、作成された返答内容を構成する単語の音声波形をデータベース8から読み出して、これらの音声波形を合成することで返答内容全体の音声波形を作成する。
音声出力部7は、例えばスピーカーから構成されるものである、音声合成部6で作成された返答内容全体の音声波形を基に、返答内容を音声で出力するようになっている。
次に、本実施形態の対話装置1で実行されるプログラムについて説明する。このプログラムが実行されることで本実施形態の対話方法が対話装置1で実現されるようになっている。
まず、ステップS1では、操作部4により返答言語の種類が設定される(設定工程、設定ステップ)。
ステップS2では、音声入力部2にユーザからの発言内容が入力される(音声入力工程、音声入力ステップ)。
ステップS3では、ステップS3で入力された発言内容を音声認識部3により認識する(音声認識工程、音声認識ステップ)。
ステップS4では、返答内容作成部5は、操作部4により返答言語が複数設定されているか否かを判断し、返答言語が複数設定されていない場合にはステップS5に移行し、複数設定されている場合にはステップS11に移行する。
ステップS5では、返答内容作成部5は、ステップS4で認識された発言内容に対応した返答内容を作成する(返答内容作成工程、返答内容作成ステップ)。この際、返答内容作成部5は、ステップS1で設定された言語による返答内容を作成する。
ステップS6では、音声合成部6がステップS5で作成された返答内容を音声として合成する(音声合成工程、音声合成ステップ)。
ステップS7では、ステップS6で合成された音声を音声出力部7により出力し(音声出力工程、音声出力ステップ)、ステップS2に移行する。
一方、ステップS11では、返答内容作成部5は、ステップS4で認識された発言内容に対応した返答内容を作成する(返答内容作成工程、返答内容作成ステップ)。この際、返答内容作成部5は、優先順位の高い言語から順に出力されるように操作部4で設定された複数の言語による返答内容をそれぞれ作成し、ステップS6に移行する。
つまり、例えば入力言語が日本語、返答言語が英語に設定されている場合には、日本語での発言に対して英語で返答されることになる。また、入力言語が日本語で、返答言語が英語と日本語で、英語の方が優先順位が高い場合、日本語での発言に対して、英語、日本語という順で同一の返答内容が返答されることになる。このように、返答時の言語を種々の言語に切り替えることができるので、ユーザの用途に合った対話状況を実現することができる。特に、異なる複数の言語で返答がなされる場合には、言語学習のバリエーションを多様化することができる。
なお、本発明は上記実施形態に限らず適宜変更可能であるのは勿論である。
例えば、本発明の構成をナビゲーション装置や携帯機器に適用することも可能である。ナビゲーション装置や携帯機器であると、ユーザとともに各地を移動するために、その地方に応じた方言で種々の案内を音声出力することができる。この場合、操作部4に住所を入力することでその地方の方言が出力言語として設定されることになる。さらに、GPS等の現在地認識部が組み込まれたナビゲーション装置や携帯機器であれば、認識された現在地の方言が出力言語として設定されることになる。この際には設定部が、現在地認識部により認識された地域の言語となるように、音声出力部で出力される言語の種類を設定する。これにより、対話時に現在地の雰囲気を醸し出すことが可能となる。
また、本実施形態では、本発明の設定部が操作部4であって、当該操作部4により返答言語が設定される場合を例示して説明しているが、返答内容作成部5が、音声認識部3で認識された発言内容の言語となるように、音声出力部2で出力される言語の種類を設定するようにしてもよい。具体的には、返答内容作成部5は、音声認識部3で取得した音声波形を解析することで入力言語が何語であるかを判定することで、ユーザの言語を特定し、その特定した言語を返答言語として設定する。この場合、返答内容作成部5が設定部となる。
さらに、本実施形態では、ユーザと対話装置とが対話する場合を例示して説明したが、対話装置のみで対話を行わせてもよい。これにより、習得したい言語での対話をユーザが第三者的な立場で聞き取ることができ、言語学習のお手本とすることができる。
また、表示部が備えられた対話装置である場合には、その表示装置に対話相手となるキャラクターを表示させることも可能である。この場合、設定された返答言語の地域風土に応じたキャラクターを表示させると、その地域の雰囲気を表現することができる。
本実施形態に係る対話装置の主制御構成を表すブロック図である。 図1の対話装置で実行されるプログラムを表すフローチャートである。
符号の説明
1 対話装置
2 音声入力部
3 音声認識部
4 操作部(設定部)
5 返答内容作成部
6 音声合成部
7 音声出力部
8 データベース

Claims (6)

  1. ユーザからの発言内容が入力される音声入力部と、
    前記音声入力部に入力された前記発言内容を認識するための音声認識部と、
    前記音声認識部で認識された前記発言内容に対応した返答内容を作成する返答内容作成部と、
    前記返答内容作成部で作成された前記返答内容を音声として合成する音声合成部と、
    前記音声合成部で合成された音声を出力する音声出力部と、
    前記音声出力部で出力される言語の種類を設定する設定部とを備え、
    前記返答内容作成部は、前記設定部で設定された言語による前記返答内容を作成することを特徴とする対話装置。
  2. 請求項1記載の対話装置において、
    前記設定部では、前記言語の種類を優先順位をつけて複数設定可能であり、
    前記返答内容作成部は、優先順位の高い言語から順に出力されるように前記設定部で設定された複数の言語による前記返答内容をそれぞれ作成することを特徴とする対話装置。
  3. 請求項1記載の対話装置において、
    前記設定部は、前記音声認識部で認識された前記発言内容の言語となるように、前記音声出力部で出力される言語の種類を設定することを特徴とする対話装置。
  4. 請求項1記載の対話装置において、
    現在地を認識する現在地認識部を備え、
    前記設定部は、前記現在地認識部により認識された地域の言語となるように、前記音声出力部で出力される言語の種類を設定することを特徴とする対話装置。
  5. ユーザからの発言内容が入力される音声入力工程と、
    前記音声入力工程で入力された前記発言内容を認識するための音声認識工程と、
    前記音声認識工程で認識された前記発言内容に対応した返答内容を作成する返答内容作成工程と、
    前記返答内容作成工程で作成された前記返答内容を音声として合成する音声合成工程と、
    前記音声合成工程で合成された音声を出力する音声出力工程と、
    前記音声出力工程で出力される言語の種類を設定する設定工程とを備え、
    前記返答内容作成工程では、前記設定工程で設定された言語による前記返答内容を作成することを特徴とする対話方法。
  6. 入力された発言内容を認識して、当該発言内容に対応した返答を出力する対話装置を制御するためのプログラムであって、
    ユーザからの発言内容が入力される音声入力ステップと、
    前記音声ステップで入力された前記発言内容を認識するための音声認識ステップと、
    前記音声認識ステップで認識された前記発言内容に対応した返答内容を作成する返答内容作成ステップと、
    前記返答内容作成ステップで作成された前記返答内容を音声として合成する音声合成ステップと、
    前記音声合成ステップで合成された音声を出力する音声出力ステップと、
    前記音声出力ステップで出力される言語の種類を設定する設定ステップとを備え、
    前記返答内容作成ステップでは、前記設定ステップで設定された言語による前記返答内容を作成することを特徴とするプログラム。
JP2006012135A 2006-01-20 2006-01-20 対話装置、対話方法及びプログラム Pending JP2007193166A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006012135A JP2007193166A (ja) 2006-01-20 2006-01-20 対話装置、対話方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006012135A JP2007193166A (ja) 2006-01-20 2006-01-20 対話装置、対話方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007193166A true JP2007193166A (ja) 2007-08-02
JP2007193166A5 JP2007193166A5 (ja) 2008-04-10

Family

ID=38448900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006012135A Pending JP2007193166A (ja) 2006-01-20 2006-01-20 対話装置、対話方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2007193166A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009014225A1 (ja) 2007-07-25 2009-01-29 Toyota Jidosha Kabushiki Kaisha バイオマスを原料とする液化燃料油の製造方法
JP2014011676A (ja) * 2012-06-29 2014-01-20 Casio Comput Co Ltd コンテンツ再生制御装置、コンテンツ再生制御方法及びプログラム
CN104978015A (zh) * 2014-04-14 2015-10-14 博世汽车部件(苏州)有限公司 具有语种自适用功能的导航系统及其控制方法
JP2016155179A (ja) * 2015-02-23 2016-09-01 株式会社国際電気通信基礎技術研究所 誘導サービスシステム、誘導サービスプログラム、誘導サービス方法および誘導サービス装置
WO2018190099A1 (ja) * 2017-04-10 2018-10-18 ヤマハ株式会社 音声提供装置、音声提供方法及びプログラム
CN112241628A (zh) * 2019-07-18 2021-01-19 本田技研工业株式会社 智能体装置、智能体装置的控制方法及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04288150A (ja) * 1991-03-15 1992-10-13 Hitachi Medical Corp 診断装置用音声発生装置
JPH08124092A (ja) * 1994-10-21 1996-05-17 Alpine Electron Inc 車載ナビゲータ装置
JPH0969109A (ja) * 1995-08-31 1997-03-11 Toshiba Corp 文書検索方法及び文書検索装置
JPH1063664A (ja) * 1996-08-26 1998-03-06 Nippon Telegr & Teleph Corp <Ntt> 自然言語の翻訳方法及び装置
JP2001083991A (ja) * 1999-09-16 2001-03-30 Denso Corp ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP2003014485A (ja) * 2001-07-05 2003-01-15 Alpine Electronics Inc ナビゲーション装置
JP2004053825A (ja) * 2002-07-18 2004-02-19 Yamaha Corp 言語識別装置、言語識別方法および言語識別プログラム
JP2004272363A (ja) * 2003-03-05 2004-09-30 Canon Inc 音声入出力装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04288150A (ja) * 1991-03-15 1992-10-13 Hitachi Medical Corp 診断装置用音声発生装置
JPH08124092A (ja) * 1994-10-21 1996-05-17 Alpine Electron Inc 車載ナビゲータ装置
JPH0969109A (ja) * 1995-08-31 1997-03-11 Toshiba Corp 文書検索方法及び文書検索装置
JPH1063664A (ja) * 1996-08-26 1998-03-06 Nippon Telegr & Teleph Corp <Ntt> 自然言語の翻訳方法及び装置
JP2001083991A (ja) * 1999-09-16 2001-03-30 Denso Corp ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP2003014485A (ja) * 2001-07-05 2003-01-15 Alpine Electronics Inc ナビゲーション装置
JP2004053825A (ja) * 2002-07-18 2004-02-19 Yamaha Corp 言語識別装置、言語識別方法および言語識別プログラム
JP2004272363A (ja) * 2003-03-05 2004-09-30 Canon Inc 音声入出力装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009014225A1 (ja) 2007-07-25 2009-01-29 Toyota Jidosha Kabushiki Kaisha バイオマスを原料とする液化燃料油の製造方法
JP2014011676A (ja) * 2012-06-29 2014-01-20 Casio Comput Co Ltd コンテンツ再生制御装置、コンテンツ再生制御方法及びプログラム
CN104978015A (zh) * 2014-04-14 2015-10-14 博世汽车部件(苏州)有限公司 具有语种自适用功能的导航系统及其控制方法
EP2933607A1 (en) * 2014-04-14 2015-10-21 Bosch Automotive Products (Suzhou) Co., Ltd. Navigation system having language category self-adaptive function and method of controlling the system
CN104978015B (zh) * 2014-04-14 2018-09-18 博世汽车部件(苏州)有限公司 具有语种自适用功能的导航系统及其控制方法
JP2016155179A (ja) * 2015-02-23 2016-09-01 株式会社国際電気通信基礎技術研究所 誘導サービスシステム、誘導サービスプログラム、誘導サービス方法および誘導サービス装置
WO2018190099A1 (ja) * 2017-04-10 2018-10-18 ヤマハ株式会社 音声提供装置、音声提供方法及びプログラム
CN112241628A (zh) * 2019-07-18 2021-01-19 本田技研工业株式会社 智能体装置、智能体装置的控制方法及存储介质
JP2021018293A (ja) * 2019-07-18 2021-02-15 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7274376B2 (ja) 2019-07-18 2023-05-16 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム

Similar Documents

Publication Publication Date Title
JP5323212B2 (ja) 複数言語音声認識
JP2013068952A (ja) 音声認識結果の統合
JP6172417B1 (ja) 語学学習システム及び語学学習プログラム
JP4186992B2 (ja) 応答生成装置、方法及びプログラム
JP3278222B2 (ja) 情報処理方法及び装置
JP2007193166A (ja) 対話装置、対話方法及びプログラム
KR101358999B1 (ko) 캐릭터의 다국어 발화 시스템 및 방법
KR20170057623A (ko) 언어장애인을 위한 다언어 어휘의 발음 합성 및 문자화 장치
KR100593589B1 (ko) 음성인식을 이용한 다국어 통역/학습 장치 및 방법
WO2016103358A1 (ja) 音声認識装置及び音声認識方法
JP5079718B2 (ja) 外国語学習支援システム、及びプログラム
KR20150014235A (ko) 자동 통역 장치 및 방법
JP2009529704A (ja) 移動通信端末装置を利用した通訳サービス方法
JP2003157095A (ja) 音声認識装置及びその方法、プログラム
JP2019082981A (ja) 異言語間コミュニケーション支援装置及びシステム
JP2005031150A (ja) 音声処理装置および方法
JP2007286376A (ja) 音声案内システム
JP2004295578A (ja) 翻訳装置
JP2017054038A (ja) 学習支援装置及びその学習支援装置用のプログラム
JP2009198871A (ja) 音声対話装置
JP2008083446A (ja) 発音学習支援装置及び発音学習支援プログラム
JP5125404B2 (ja) 省略語判定装置、コンピュータプログラム、テキスト解析装置及び音声合成装置
JP2002123281A (ja) 音声合成装置
WO2023047623A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2006330486A (ja) 音声合成装置、この音声合成装置を備えるナビゲーション装置、音声合成プログラム及びこのプログラムを記憶した情報記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110426