JP2008014756A - ナビゲーション装置及びその音声出力方法 - Google Patents

ナビゲーション装置及びその音声出力方法 Download PDF

Info

Publication number
JP2008014756A
JP2008014756A JP2006185342A JP2006185342A JP2008014756A JP 2008014756 A JP2008014756 A JP 2008014756A JP 2006185342 A JP2006185342 A JP 2006185342A JP 2006185342 A JP2006185342 A JP 2006185342A JP 2008014756 A JP2008014756 A JP 2008014756A
Authority
JP
Japan
Prior art keywords
voice
phrase
word
acquired
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006185342A
Other languages
English (en)
Other versions
JP4942406B2 (ja
Inventor
Sunao Oba
直 大庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Xanavi Informatics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xanavi Informatics Corp filed Critical Xanavi Informatics Corp
Priority to JP2006185342A priority Critical patent/JP4942406B2/ja
Publication of JP2008014756A publication Critical patent/JP2008014756A/ja
Application granted granted Critical
Publication of JP4942406B2 publication Critical patent/JP4942406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】不都合を生じさせることなく、ユーザの好みに応じて、ナビゲーション装置の音声ガイドの声を変える。
【解決手段】ナビゲーション装置であって、音声を取得する音声取得手段と、音声取得手段により取得した音声を認識する音声認識手段と、音声認識手段により認識した語句が、所定の語句であるか否かを判定する語句判定手段と、音声認識手段により認識した語句が所定の語句であると判定された場合、音声取得手段で取得した音声を登録する音声登録手段と、所定の語句の音声として音声登録手段により登録した音声を用いて出力する音声出力手段とを備えている。
【選択図】図1

Description

本発明は、音声出力が可能なナビゲーション装置に関する。
「この先300m、右です」などと、音声ガイドが可能な車載用ナビゲーション装置がある(特許文献1参照)。音声ガイドに用いられる音声データは、予め車載用ナビゲーション装置に記憶されている。そして、「右です」と音声出力すべき状況において、「右です」の意味に対応する音声データを検索し、音声出力する。
特開2000−337917号公報
ところで、ユーザの好みに応じて、音声ガイドに用いられる音声を、自由に変えられると面白い。自由に変えられれば、自分の声や、子供の声、有名人の声などで音声ガイドをさせることができる。
一方で、音声ガイドのための音声を自由に登録できるとすると不都合が生じる場合がある。例えば、「右」に対応する音声として「左」を意味する音声が登録されてしまった場合、「右です」と音声ガイドすべき状況で、「左です」と音声ガイドされてしまう。
本発明は、上記課題を解決すべくなされたものであり、音声出力可能なナビゲーション装置において、不都合を生じさせることなく、音声の変更を可能とすることにある。
上記課題を解決すべく、本発明では、ユーザから取得した音声が適切か否かを判定する。
本発明の第1の態様は、ナビゲーション装置であって、音声を取得する音声取得手段と、前記音声取得手段により取得した音声を認識する音声認識手段と、前記音声認識手段により認識した語句が、所定の語句であるか否かを判定する語句判定手段と、前記音声認識手段により認識した語句が所定の語句であると判定された場合、前記音声取得手段で取得した音声を登録する音声登録手段と、前記所定の語句の音声として、前記音声登録手段により登録した音声を用いて出力する音声出力手段とを備えている。
前記音声認識手段により認識した語句が、所定の語句でないと判定された場合、登録できない旨を伝える情報を出力する手段を備えていてもよい。
前記音声取得手段は、ネットワークを介して、音声を取得するようにしてもよい。
本発明の第2の態様は、ナビゲーション装置であって、音声ガイドに用いられる第1の語句と当該第1の語句の音声とを記憶する記憶手段と、前記第1の語句の発話を促すメッセージを出力する手段と、発話された音声を取得する音声取得手段と、前記音声取得手段により取得した音声を認識し、当該音声に含まれている第2の語句を特定する音声認識手段と、前記第2の語句と前記第1の語句とが一致するか否かを判定する語句判定手段と、前記第2の語句と前記第1の語句とが一致する場合、前記第1の語句の音声として、前記音声取得手段で取得した音声を用い、前記第2の語句と前記第1の語句とが一致しない場合、前記第1の語句の音声として、前記記憶手段に記憶されている音声を用い、音声ガイドを行う音声ガイド手段とを備えている。
以下に、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態が適用された車載用ナビゲーション装置100の概略構成図である。図示するように、車載用ナビゲーション装置100は、演算処理部1と、ディスプレイ2と、記憶装置3と、音声入出力装置4と、入力装置5と、車輪速センサ6と、ジャイロセンサ7と、GPS(Global Positioning System)受信装置8と、を備えている。
演算処理部1は、様々な処理を行う中心的ユニットである。例えば各種センサ6、7やGPS受信装置8から出力される情報を基にして現在位置を検出する。また、音声入出力装置4から入力された音声を認識し、認識した語句から、ユーザの入力内容を特定する。
ディスプレイ2は、演算処理部1で生成されたグラフィックス情報を表示するユニットである。
記憶装置3は、CD-ROMやDVD-ROMやHDDやICカードといった記憶媒体で構成されている。この記憶媒体には、地図データが記憶されている。
音声入出力装置4は、マイクロホンを備え、ユーザが発話した音声を取得し、演算処理部1に送信する。また、演算処理部1で生成したユーザへのメッセージを音声信号に変換し出力する。
入力装置5は、ユーザからの指示を受け付けるユニットである。入力装置5は、スクロールキー、縮尺変更キーなどのハードスイッチ、ジョイスティック、ディスプレイ上に貼られたタッチパネルなどで構成される。
センサ6、7およびGPS受信装置8は、車載用ナビゲーション装置100で現在地(自車位置)を検出するために使用されるものである。
図2は、演算処理部1の機能ブロック図である。
図示するように、演算処理部1は、ユーザ操作解析部41と、音声登録部42と、ナビゲーション処理部43と、情報記憶部44、表示処理部45と、音声辞書データベース46と、を備えている。
ユーザ操作解析部41は、入力装置5に入力されたユーザからの要求を受け、その要求内容を解析して、その要求内容に対応する処理が実行されるように演算処理部1の各部を制御する。
音声登録部42は、音声出力に用いる音声を登録する処理を行う。例えば、音声入出力装置4を介して、ユーザが発話した音声を取得する。そして、取得した音声を、音声辞書データベース46を用いて認識し、ユーザが発した語句(単語)を特定する。そして、特定した語句が、所定の条件(語句の適切性)を満たすか否か判定し、満たす場合、語句に対応させて登録する。音声から語句を認識する音声認識の手法は、既存の技術を適用できる。例えば、DP(動的計画法)マッチングを用いる方法やHMM(隠れマルコフモデル)を用いる方法などを適用できる。なお、音声辞書データベース46には、音声認識に必要な音声モデルが語句に対応させて格納されている。
ナビゲーション処理部43は、各センサ6、7及びGPS受信装置8の出力から現在位置を求めたり、指定された2地点(現在地、目的地)間を結ぶ推奨経路を探索したりする。また、ディスプレイ2に推奨経路を表示し経路誘導を行う。
情報記憶部44は、音声出力に用いる音声データや、ナビゲーション処理部43により検索された地点の情報を記憶する。
表示処理部45は、ディスプレイ2への描画コマンドを生成する。例えば、指定された縮尺、描画方式で、道路、その他の地図構成物や、現在地、目的地、推奨経路のための矢印といったマークを描画するように地図描画コマンドを生成する。
図3は、演算処理部1のハードウェア構成例を示す図である。
図示するように、演算処理部1は、各デバイス間をバス32で接続した構成としてある。演算処理部1は、数値演算及び各デバイスを制御するといった様々な処理を実行するCPU(Central Processing Unit)21と、記憶装置3から読み出した地図データ、演算データなどを格納するRAM(Random Access Memory)22と、プログラムやデータを格納するROM(Read Only Memory)23と、メモリ間およびメモリと各デバイスとの間のデータ転送を実行するDMA(Direct Memory Access)24と、グラフィックス描画を実行し且つ表示制御を行う描画コントローラ25と、グラフィックスイメージデータを蓄えるVRAM(Video Random Access Memory)26と、イメージデータをRGB信号に変換するカラーパレット27と、アナログ信号をデジタル信号に変換するA/D変換器28と、シリアル信号をバスに同期したパラレル信号に変換するSCI(Serial Communication Interface)29と、パラレル信号をバスに同期させてバス上にのせるPIO(Parallel Input/Output)30と、パルス信号を積分するカウンタ31と、を有する。
[動作の説明]次に、上記構成の車載用ナビゲーション装置100の動作について説明する。本実施形態の車載用ナビゲーション装置100は、音声ガイド用の音声を、ユーザの声などに変更することができる。以下では、かかる音声を変更する機能に関する処理について説明する。
音声ガイドに用いられる音声は、情報記憶部44に、音声情報300として記憶されている。図4は、音声情報300の構成例である。音声情報300には、語句301と、デフォルト音声302と、ユーザ登録音声303とが対応付けられて格納されている。語句301には、例えば、「右です」、「左です」、「真っ直ぐです」、「斜め右方向です」などがある。デフォルト音声302は、初期値として予め格納されており、語句301を音声出力する際に利用される音声データである。ユーザ登録音声303は、ユーザの要求により登録される音声データである。ユーザ登録音声303が格納されている場合は、デフォルト音声302の代わりに利用される。
図5は、ユーザの音声を登録する処理のフロー図である。
音声登録部42は、音声情報300に格納されている語句301の中から、未選択の語句を、順に、1つ選択する(S11)。
次に、音声登録部42は、「『**』と発話して下さい」などと、S11で選択した語句の発話を促すメッセージを、表示処理部45を介して、ディスプレイ2に表示する(S12)。なお、音声入出力装置4を介して、音声により、かかるメッセージを出力してもよい。
次に、音声登録部42は、音声入出力装置4のマイクロホンを介して、ユーザが発声した音声を取得し、音声認識を行う(S13)。
続いて、音声登録部42は、音声認識により特定された語句と、S11で選択した語句とが一致するか否か判定する(S14)。そして、一致した場合(S14でY)、音声登録部42は、S13で取得した音声を、ユーザ登録音声303として、音声情報300に、S11で選択した語句に対応させて登録する。その後、S18に処理を移行する。
一方、音声認識により特定された語句と、S11で選択した語句とが一致しない場合(S14でN)、音声登録部42は、ディスプレイ2に、「エラーです」などと、ユーザが発声した音声が採用(登録)できない旨を伝えるメッセージを表示する(S16)。さらに、ユーザから、入力装置5を介して、再試行の要求を受け付ける(S17)。再試行の要求を受け付けた場合(S17でY)、音声登録部42は、S12に戻って、再び、発話を促す処理から繰り返す。一方、再試行の要求を受け付けなかった場合(S17でN)、S18の処理に移行する。
S18では、音声登録部42は、音声情報300に登録されている語句301の全てが、S11にて選択されたか否か判定し(S18)、未選択の語句がある場合(S18でN)、S11の処理に戻って、処理を続ける。一方、全ての語句が選択された場合(S18でY)、処理を終了する。
以上、ユーザの音声を登録する処理について説明した。
次に、図6のフロー図を用いて、音声ガイドの際に使用する音声の選択処理について説明する。
上述の通り、ナビゲーション処理部43は、目的地までの経路を探索する。そして、探索した経路に沿って車両が走行できるように、右左折が必要な交差点などの誘導ポイントに近づくと、「この先20m、右です」などと、音声ガイドを行う。このとき、ナビゲーション処理部43は、図6のフローに従って、語句に対応する音声を、音声情報300から取得する。そして、取得した音声を用いて音声出力を行う。すなわち、図6で示すフローは、発声しようとする語句ごとに行われる。
ナビゲーション処理部43は、音声情報300の中に、音声出力しようとする語句301に対応するユーザ登録音声303があるか否か判定する(S21)。
音声出力しようとする語句について、ユーザ登録音声303がある場合(S21でY)、ナビゲーション処理部43は、ユーザ登録音声303を、音声出力する語句に用いる音声として設定する。一方、音声出力しようとする語句について、ユーザ登録音声303がない場合、ナビゲーション処理部43は、その語句に対応するデフォルト音声302を、音声出力する語句に用いる音声として設定する。
こうして、音声出力しようとする語句に用いる音声が決定されると、ナビゲーション処理部43は、決定された音声を用いて、音声入出力装置4を介して、音声出力を行う。
図6で示したフローによれば、「この先20m、右です」と音声ガイドされる場合において、「右です」についてのみユーザ登録音声303がある場合、「この先20m」に関しては、デフォルト音声302により発声され、「右です」に関してはユーザ登録音声303により発声されることになる。
以上、本発明の一実施形態について説明した。
上記実施形態によれば、ユーザの好みに応じて、音声ガイドの音声を変えることができる。また、ユーザから取得した音声を認識し、音声の適切性を調べるので、不適切な語句を意味する音声が登録され、音声出力されるのを防止することができる。
本発明は、上記実施形態に制限されない。上記実施形態は、様々な変形が可能である。
上記実施形態では、発話すべき語句をユーザに対して指定し、指定した語句とユーザにより発話された音声から特定される語句とが一致するか否かを調べている。このような完全一致に限らず、意味的に一致するか否か調べるようにしてもよい。例えば、「右です」と発話を促した場合に、取得した音声からは「右折」と認識された場合でも、意味的に一致するとして、登録するようにしてもよい。かかる場合、情報記憶部44に、語句ごとに、意味的に一致する語句を記憶しておく。そして、音声登録部42は、取得した音声を認識して特定した語句が、発話するように指定した語句、又は意味的に一致する語句である場合、S15と同様に、取得した音声をユーザ登録音声303に登録する。
また、上記実施形態では、ユーザに発話するように指定した語句と、取得した音声を認識して特定した語句とが一致しなかった場合、取得した音声を不適切であると判断して、登録しないようにした。これに限らず、取得した音声を、指定した語句に対応させて一旦登録しておき、音声ガイドにおいて利用するときに、S14と同様の方法で、取得した音声が適切か否かを判定するようにしてもよい。すなわち、判定の結果、適切な場合(ユーザに発話するように指定した語句と、取得した音声を認識して得た語句とが意味的に一致する場合)は、取得した音声を用い、不適切な場合(意味的に不一致の場合)は、デフォルト音声を用いるようにする。
また、上記実施形態では、マイクロホンからユーザの声を取得していたが、他の手段により取得するようにしてもよい。例えば、音声登録部42は、声が記録されたメモリカードなどの可搬性の記録媒体から、音声を取得する。また、俳優などの音声を記憶したサーバから、ネットワークを介して、それらの音声を取得してもよい。
また、車載用ナビゲーション装置は、携帯端末などの通信手段を利用して、既に安全性の保障されている音声データがアップされたサーバにアクセスして、音声データをダウンロードして、予め記憶してあるデフォルト音声と、置き換えるようにすることもできる。ダウンロードする単位は、1音声(例えば、「右です」のみ)であったり、複数音声(例えば、「右です」、「左です」「真っ直ぐです」など)のセットであってもよい。
また、ダウンロードした複数音声のうち、ユーザに置き換えたいものを指定させてもよい。
また、音声登録部42は、一度、置き換えた音声を初期値に一部又は全部を戻す機能を備えていてもよい。
図1は、本発明の一実施形態が適用された車載用ナビゲーション装置の概略構成図である。 図2は、演算処理部1の機能構成を示す図である。 図3は、演算処理部1のハードウェア構成を示す図である。 図4は、音声情報の構成例である。 図5は、音声登録処理のフロー図である。 図6は、音声選択処理のフロー図である。
符号の説明
100…車載用ナビゲーション装置、
1…演算処理部、2…ディスプレイ、3…記憶装置、4…音声出入力装置、5…入力装置、6…車輪速センサ、7…ジャイロ、8…GPS受信装置、21…CPU、22…RAM、23…ROM、24…DMA、25…描画コントローラ、26…VRAM、27…カラーパレット、28…A/D変換器、29…SCI、30…PIO、31…カウンタ、
41…ユーザ操作解析部、42…音声登録部、43…ナビゲーション処理部、44…情報記憶部、45…表示処理部、46…音声辞書データベース

Claims (5)

  1. ナビゲーション装置であって、
    音声を取得する音声取得手段と、
    前記音声取得手段により取得した音声を認識する音声認識手段と、
    前記音声認識手段により認識した語句が、所定の語句であるか否かを判定する語句判定手段と、
    前記音声認識手段により認識した語句が所定の語句であると判定された場合、前記音声取得手段で取得した音声を登録する音声登録手段と、
    前記所定の語句の音声として、前記音声登録手段により登録した音声を用いて出力する音声出力手段と
    を備えることを特徴とするナビゲーション装置。
  2. 請求項1において、
    前記音声認識手段により認識した語句が、所定の語句でないと判定された場合、登録できない旨を伝える情報を出力する手段を備える
    ことを特徴とするナビゲーション装置。
  3. 請求項1において、
    前記音声取得手段は、ネットワークを介して、音声を取得する
    ことを特徴とするナビゲーション装置。
  4. ナビゲーション装置であって、
    音声ガイドに用いられる第1の語句と当該第1の語句の音声とを記憶する記憶手段と、
    前記第1の語句の発話を促すメッセージを出力する手段と、
    発話された音声を取得する音声取得手段と、
    前記音声取得手段により取得した音声を認識し、当該音声に含まれている第2の語句を特定する音声認識手段と、
    前記第2の語句と前記第1の語句とが一致するか否かを判定する語句判定手段と、
    前記第2の語句と前記第1の語句とが一致する場合、前記第1の語句の音声として、前記音声取得手段で取得した音声を用い、
    前記第2の語句と前記第1の語句とが一致しない場合、前記第1の語句の音声として、前記記憶手段に記憶されている音声を用い、音声ガイドを行う音声ガイド手段と
    を備えることを特徴とするナビゲーション装置。
  5. ナビゲーション装置の音声出力方法であって、
    前記ナビゲーション装置は、
    音声を取得する音声取得ステップと、
    前記音声取得ステップにより取得した音声を認識する音声認識ステップと、
    前記音声認識ステップにより認識した語句が、所定の語句であるか否かを判定する語句判定ステップと、
    前記音声認識ステップにより認識した語句が所定の語句であると判定された場合、前記音声取得ステップで取得した音声を登録する音声登録ステップと、
    前記所定の語句の音声として、前記音声登録ステップにより登録した音声を用いて出力する音声出力ステップと
    を行うことを特徴とするナビゲーション装置の音声出力方法。
JP2006185342A 2006-07-05 2006-07-05 ナビゲーション装置及びその音声出力方法 Active JP4942406B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006185342A JP4942406B2 (ja) 2006-07-05 2006-07-05 ナビゲーション装置及びその音声出力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006185342A JP4942406B2 (ja) 2006-07-05 2006-07-05 ナビゲーション装置及びその音声出力方法

Publications (2)

Publication Number Publication Date
JP2008014756A true JP2008014756A (ja) 2008-01-24
JP4942406B2 JP4942406B2 (ja) 2012-05-30

Family

ID=39071914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006185342A Active JP4942406B2 (ja) 2006-07-05 2006-07-05 ナビゲーション装置及びその音声出力方法

Country Status (1)

Country Link
JP (1) JP4942406B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194577A (ja) * 2008-02-13 2009-08-27 Konica Minolta Business Technologies Inc 画像形成装置、音声案内方法及び音声案内プログラム
JP2012002856A (ja) * 2010-06-14 2012-01-05 Nissan Motor Co Ltd 音声情報提示装置および音声情報提示方法
WO2014203329A1 (ja) * 2013-06-18 2014-12-24 三菱電機株式会社 音声応答装置および応答音声生成方法
JP2015036231A (ja) * 2013-08-14 2015-02-23 富士ゼロックス株式会社 画像形成装置、画像形成システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1028068A (ja) * 1996-07-11 1998-01-27 Suzuki Motor Corp ラジオ装置
JPH1194581A (ja) * 1997-09-24 1999-04-09 Sanyo Electric Co Ltd ナビゲーション装置
JP2006010509A (ja) * 2004-06-25 2006-01-12 Mitsubishi Electric Corp ナビゲーションシステム
JP2006284677A (ja) * 2005-03-31 2006-10-19 Clarion Co Ltd 音声案内装置、音声案内装置の制御方法及び制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1028068A (ja) * 1996-07-11 1998-01-27 Suzuki Motor Corp ラジオ装置
JPH1194581A (ja) * 1997-09-24 1999-04-09 Sanyo Electric Co Ltd ナビゲーション装置
JP2006010509A (ja) * 2004-06-25 2006-01-12 Mitsubishi Electric Corp ナビゲーションシステム
JP2006284677A (ja) * 2005-03-31 2006-10-19 Clarion Co Ltd 音声案内装置、音声案内装置の制御方法及び制御プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194577A (ja) * 2008-02-13 2009-08-27 Konica Minolta Business Technologies Inc 画像形成装置、音声案内方法及び音声案内プログラム
JP2012002856A (ja) * 2010-06-14 2012-01-05 Nissan Motor Co Ltd 音声情報提示装置および音声情報提示方法
WO2014203329A1 (ja) * 2013-06-18 2014-12-24 三菱電機株式会社 音声応答装置および応答音声生成方法
JP2015036231A (ja) * 2013-08-14 2015-02-23 富士ゼロックス株式会社 画像形成装置、画像形成システム及びプログラム

Also Published As

Publication number Publication date
JP4942406B2 (ja) 2012-05-30

Similar Documents

Publication Publication Date Title
JP4292646B2 (ja) ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP4715805B2 (ja) 車載情報検索装置
JP2010224236A (ja) 音声出力装置
JP5637131B2 (ja) 音声認識装置
JP4997796B2 (ja) 音声認識装置、及びナビゲーションシステム
US20110288871A1 (en) Information presentation system
JP4942406B2 (ja) ナビゲーション装置及びその音声出力方法
WO2016174955A1 (ja) 情報処理装置、及び、情報処理方法
JP4914632B2 (ja) ナビゲーション装置
JP5181533B2 (ja) 音声対話装置
KR101063607B1 (ko) 음성인식을 이용한 명칭 검색 기능을 가지는 네비게이션시스템 및 그 방법
JP2010039099A (ja) 音声認識および車載装置
JP2000338993A (ja) 音声認識装置、その装置を用いたナビゲーションシステム
JP5455355B2 (ja) 音声認識装置及びプログラム
JP3726783B2 (ja) 音声認識装置
JP3818352B2 (ja) ナビゲーション装置及び記憶媒体
JP2011232668A (ja) 音声認識機能を備えたナビゲーション装置およびその検出結果提示方法
JP2006010509A (ja) ナビゲーションシステム
JP4453377B2 (ja) 音声認識装置、プログラム及びナビゲーション装置
JPH11126089A (ja) 音声対話装置
JP2007025076A (ja) 車載用音声認識装置
JP2008310344A (ja) 提示装置及び提示方法
JP4646718B2 (ja) ナビゲーション装置
JP2001083983A (ja) 音声認識装置、音声認識のためのデータを記録した記録媒体、および、音声認識ナビゲーション装置
JP2007271901A (ja) ナビゲーション装置及びその住所入力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090625

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120228

R150 Certificate of patent or registration of utility model

Ref document number: 4942406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250