JP2006162849A - 音声処理装置 - Google Patents

音声処理装置 Download PDF

Info

Publication number
JP2006162849A
JP2006162849A JP2004352671A JP2004352671A JP2006162849A JP 2006162849 A JP2006162849 A JP 2006162849A JP 2004352671 A JP2004352671 A JP 2004352671A JP 2004352671 A JP2004352671 A JP 2004352671A JP 2006162849 A JP2006162849 A JP 2006162849A
Authority
JP
Japan
Prior art keywords
sound
sound pressure
pressure level
microphone
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004352671A
Other languages
English (en)
Other versions
JP4517838B2 (ja
Inventor
Sukeyuki Shibuya
資之 渋谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2004352671A priority Critical patent/JP4517838B2/ja
Publication of JP2006162849A publication Critical patent/JP2006162849A/ja
Application granted granted Critical
Publication of JP4517838B2 publication Critical patent/JP4517838B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 ユーザに不自由さや不快感を与えることなく、ユーザの音声認識をできるようにする。
【解決手段】 アレイ状にマイクロホンが配設されたマイクロホンユニット100に向けてユーザは発声する。マイクロホンユニット100に配設された複数のマイクロホンに音声が入力されると、制御装置200は、アレイ状に配設された複数のマイクロホンから出力される信号から、発音した時の音圧レベル分布と周波数スペクトルとを検知し、ユーザが発した音声を、この音圧レベル分布と周波数スペクトルとから判別する。
【選択図】 図1

Description

本発明は、人間の音声を認識する技術に関する。
語学学習において発音の練習を行う場合、例えば、CD(Compact Disk)等の記録媒体に記録された模範音声を再生し、その模範音声の真似をして発音するという学習方法が用いられている。この学習を行う際、学習をより効果的に進めるためには、模範音声と自分の音声との差を客観的に評価する必要があるが、CDに記録された模範音声を聞いてその真似をするだけでは、自分の発音が正しいものであるのかを具体的に把握することが困難であるという問題がある。
自分の発音の正誤を具体的に認識する技術としては、例えば特許文献1に開示されている技術がある。特許文献1には、人間が発する通鼻音、無声音、有声音や摩擦音等を、各音毎に設けられたマイクロホンにより検出し、各音のレベルをLED(Light Emitting Diode)の点灯個数により表示する発音練習装置が開示されている。この装置によれば、通常では目に見えない各音のレベルが可視化され、正しい発音であるか否かを具体的に把握することができる。
また、音の認識を行う技術としては、例えば特許文献2に開示された技術がある。特許文献2に開示された装置は、パラボラ反射器の焦平面上にマイクロホンアレイを備えており、マイクロホンアレイを構成する各マイクロホンからの出力信号に基づいてパラボラ反射器前方の音圧分布を検知する。そして、測定された音圧分布と、予め記憶している正しい音圧分布とを比較し、その異同により音の異常を判断する。
特開平11−352876号公報 特開平6−113387号公報
ところで、特許文献1に開示された発音練習装置においては、使用者が発した音声を正しく検出するために、各マイクロホンを収めた筐体を、鼻および口を覆うように顔面に密着させ、各音毎に設けられたマイクロホンを鼻や口唇のすぐ近傍に位置決めする必要がある。しかしながら、このように鼻や口を覆ってしまうと、使用者によっては不自由や不快感を感じる者もあり、また装置が顔に触れてしまうため、不特定多数の者により使用される場合には、衛生面からの不快感を感じる者もある。そして、不快感からユーザが位置決めを正しく行わないと、音声を正しく認識できなくなるという問題が生じてしまう。また、特許文献2に開示された装置においては、パラボラアンテナを使用しているため装置が大掛かりとなるという問題があり、ここでも装置の使用の不自由さという問題が生じてしまう。
本発明は、上述した背景の下になされたものであり、ユーザに不自由さや不快感を与えることなく、ユーザの音声認識をできるようにする技術を提供することを目的とする。
上述した課題を解決するために本発明は、標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを記憶する記憶手段と、マイクロホンがアレイ状に複数配設されたマイクロホンユニットと、前記マイクロホンユニットの各マイクロホンから出力される信号毎に、該信号が表す音の音圧レベルを検知する音圧レベル検知手段と、前記マイクロホンユニットの所定のマイクロホンから出力された信号の周波数スペクトルを検知するスペクトル検知手段と、前記音圧レベル検知手段により求められた複数の音圧レベルから、前記マイクロホンユニットにおいて前記マイクロホンが配設された面の音圧レベル分布を求める音圧分布検知手段と、前記音圧分布検知手段により求められた音圧レベル分布および前記スペクトル検知手段により求められた周波数スペクトルと、前記記憶手段に記憶された標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを比較し、前記マイクロホンユニットに入力された言語音を判別する音声判別手段と、前記音声判別手段の判別結果を出力する出力手段とを有する音声処理装置を提供する。
本発明においては、アレイ状にマイクロホンが配設されたマイクロホンユニットに向けてユーザは発声する。複数のマイクロホンに音声が入力され、アレイ状に配設された複数のマイクロホンから出力される信号から、発音した時の音圧レベル分布と周波数スペクトルが検知される。ユーザが発した音声を、この音圧レベル分布と周波数スペクトルとから判別するので精度よく音声を判別することが可能となり、ユーザはマイクロホンユニットをユーザに密着させる必要がない。
本発明の好ましい態様においては、音声処理装置は、前記複数の各マイクロホンに対応付けされた発光体を有し、前記音圧レベル検知手段により検知された各マイクロホンに対応する音圧レベルに基づいて、各マイクロホンに対応付けされた発光体を点灯させる制御手段を有する。また、他の好ましい態様においては、前記制御手段は、前記音圧レベルに応じて前記発光体の照度を可変するようにしてもよい。
また、他の好ましい態様においては、音声処理装置は、前記音圧分布検知手段により求められた音圧レベル分布を示す音圧分布画像を生成し、該音圧分布画像を表示する表示手段を有する。また、他の好ましい態様においては、音声処理装置は、少なくとも画像または音声のいずれかにより言語音の発声をユーザに要求する音声要求手段と、前記音声判別手段により判別された言語音と、前記音声要求手段により要求された言語音とが一致するか否かを判断する判断手段とを有し、前記出力手段は、前記判断手段の判断結果を出力する。
本発明によれば、ユーザは不快感を感じることなく容易に発音の認識ができる。
[構成]
図1は、本発明の実施形態に係る音声処理装置1の構成を示した図である。図1に示したように、この音声処理装置1は、マイクロホンユニット100と制御装置200とに大別される。
マイクロホンユニット100は、図2に示したようにスタンド140と、スタンド140に取り付けられた基板130とを備えている。基板130上には、音声入力部220に接続された矩形のシリコンマイク110A−1,110A−2,・・・,110A−16〜シリコンマイク110P−1,110P−2,・・・,110P−16が、図2に示したように縦横16個ずつ格子上に配設されており、また、各シリコンマイクの縦方向の間には、制御部210に接続されたLED120A−1,120A−2,・・・,120A−16〜LED120P−1,120P−2,・・・,120P−16が配設されている。基板130上に配設された各シリコンマイクは入力された音声を電気信号に変換して出力し、各LEDは、制御部210の制御の下、点灯/消灯する。なお、各シリコンマイクは各々同じ構成であるため、以下個々のシリコンマイクを特に区別する必要の無い場合には、シリコンマイク110と記載する。また同様の理由によりLEDについても、以下個々のLEDを特に区別する必要の無い場合には、LED120と記載する。また、シリコンマイク110とLED120の配設個数は、上述した数に限定されるものではなく、他の個数でも良いのは勿論である。
音声入力部220は各シリコンマイク110から出力された電気信号を受取るインターフェースとして機能し、入力された全ての電気信号を音圧レベル検知部230へ出力すると共に、所定のシリコンマイクから出力された電気信号を音声検知部240へ出力する。音圧レベル検知部230は、音声入力部220から出力された個々の電気信号から(即ち、各シリコンマイクから出力された電気信号毎に)各シリコンマイクに入力された音の音圧レベルを算出し、算出した音圧レベルを示す音圧データを制御部210のCPU211へ出力する。音声検知部240は、入力された電気信号をサンプリングしてデジタルデータとして記憶し、このデータから高速フーリエ変換により周波数分析を行い、電気信号が表す音声のスペクトルを求める。次に音声検知部240は、このスペクトルからホルマント周波数を求め、予め記憶している各種音声毎のホルマント周波数と比較し、どのような音声を発音したかを、例えばパターンマッチング等の手法により判断する。そして音声検知部240は、判別した音を示す発音データを生成し、この発音データを制御部210へ出力する。
制御部210は、CPU211、ROM212、RAM213、およびHDD(Hard Disk Drive)214を備えている。CPU211は、ROM212に記憶されているプログラムまたはHDD214に記憶されているプログラムを読み出して実行し、音声処理装置1の各部を制御する。HDD214は、各種アプリケーションプログラムやデータを記憶する記憶装置であり、発音の練習を行うためのアプリケーションを実現させる発音練習プログラムや、このアプリケーションで使用されるデータであって、母音や子音等の音を表す音声データ、母音や子音等の音を発音した時の音圧分布を示す音圧分布データ、LED120を点灯させるか否かを判断するための閾値データ等を記憶している。
表示部215は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等の表示装置を備えており、CPU211の制御下で文字や画像を表示する。操作部216は、キーボードおよびマウス(いずれも図示略)を備えている。ユーザは、この操作部216を操作することにより、制御部210に対して各種指示を入力することができる。
[動作]
次に実施形態の動作について説明する。ユーザが操作部216を操作して発音練習プログラムの実行を指示すると、CPU211は、HDD214から発音練習プログラムを読み出して実行する。発音練習プログラムが実行されると、練習する発音の選択を促す画面が例えば図4に例示したように表示部215に表示される(図3:ステップSA1)。ここで、次のメニュー画面を表示する操作が操作部216において行われると(ステップSA2;YES)、CPU211は、例えば短母音の練習を促すメニュー画面や、単語の発音練習を促すメニュー画面を表示部215に表示する(ステップSA3)。また、発音練習プログラムの実行を終了させる操作が行われると(ステップSA4;NO、ステップSA13;YES)、CPU211は、プログラムの実行を終了する。一方、練習する音を選択する操作がユーザにより行われると(ステップSA4:YES)、CPU211は、練習する音を発音する際の正しい口の形を発音記号と共に、例えば図5(a)に例示したように表示する(ステップSA5)。そしてCPU211は、音圧レベル検知部230と、音声検知部240とからデータが出力されるのを待つ(ステップSA6)。
ユーザが、表示された口の形を真似、マイクロホンユニット100に向かって発音すると、マイクロホンユニット100に配設された各シリコンマイク110は、ユーザの発した音声を電気信号に変換して音声入力部220へ出力する。音声入力部220は、マイクロホンユニット100から出力された電気信号が入力されると、入力された全ての電気信号を音圧レベル検知部230へ出力すると共に、所定のシリコンマイク(例えば、シリコンマイク110H−8)から出力された電気信号を音声検知部240へ出力する。
音圧レベル検知部230は、まずシリコンマイク110A−1に対応する電気信号から順番に110A−2,・・・,110A−16という順番で音圧データを生成し、次にシリコンマイク110B−1〜110B−16,シリコンマイク110C−1〜110C−16,・・・,シリコンマイク110P−1〜110P−16という順番で音圧データを生成し、生成した順番で音圧データをCPU211へ出力する。また、音声検知部240は、入力された電気信号をサンプリングしてデジタルデータとして記憶し、このデータから高速フーリエ変換により周波数分析を行い、電気信号が表す音声のスペクトルを求める。そして、ユーザが発音した音(言語音)を判別し、判別した音を示す発音データをCPU211へ出力する。
CPU211は、音圧データおよび発音データが入力されると、入力された順番で音圧データをRAM213に格納し、また発音データをRAM213に格納する(ステップSA7)。次にCPU211は、まずシリコンマイク110A−1に対応する音圧データが表す音圧レベルと、閾値データが表す値とを比較する。そして音圧データが表す音圧レベルが、閾値データが表す値以上である場合には、シリコンマイク110A−1の下にあるLED120A−1を点灯させ、音圧データが表す音圧レベルが、閾値データが表す値未満である場合には、シリコンマイク110A−1の下にあるLED120A−1を消灯させる。そしてCPU211は、RAM213に格納した順番で、各シリコンマイク110に対応する音圧データと閾値データとを比較し、各シリコンマイク110の下にあるLED120の点灯/消灯を行う(ステップSA8)。
次にCPU211は、ステップSA4にて選択された音を正しく発音した際の音圧レベルの分布を示す音圧分布データをHDD214から読出す。そして、RAM213に格納された音圧データ(各シリコンマイクに入力された音の音圧レベルを示すデータ)から、マイクロホンユニット100の表面の音圧レベル分布を求め、求めた音圧レベル分布と、音圧分布データが示す音圧レベルの分布との一致を、パターンマッチング等の方法により見る(ステップSA9)。ここで音圧レベル分布が一致する場合には(ステップSA9:YES)、次に、CPU211は、ステップSA4にて選択された音を正しく発音した際の音を表す音声データをHDD214から読出し、RAM213に格納された音声データとの一致を見る(ステップSA10)。ここで、音声が一致する場合には(ステップSA10:YES)、ユーザは発音を正しく行ったものと判断し、ユーザの発音と、正しい発音が行われたことを表す画面を図5(b)に例示したように表示部215に表示する(ステップSA11)。
一方、ステップSA9でNO、またはステップSA10でNOと判断した場合、即ち、ユーザの発音が正しくないと判断した場合、CPU211は、表示部215を制御し、ユーザの発音と、正しい発音が行われなかったことを表す画面を、例えば図5(c)に例示したように表示部215に表示する(ステップSA12)。
以上説明したように本実施形態によれば、マイクロホンユニット100により、発音に応じた音圧分布を検知することができ、スペクトラム分析と合わせて、精度良く音声を判別することができる。また、ユーザが発音した音声を検出するためのマイクロホンユニット100は、ユーザから離して使用することができるため、ユーザは不快感を感じることなく、また衛生面からも安心して使用することができる。
[変形例]
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。
音圧データが表す音圧レベルに応じてLEDの駆動電圧を制御し、各シリコンマイク110により検知された音圧レベルに応じて、各シリコンマイク110の下にあるLED120の照度を可変するようにしてもよい。また、シリコンマイク110のみを配置したマイクロホンユニット100を、表示部215の手前に配置し、音圧分布の表示を表示部215で行うようにしてもよい。近年、シリコンマイクは小型の物が開発されており、アレイ状に並べてもパラボラアンテナのような大掛かりな装置とならないため、このようにマイクロホンユニット100を表示部215の手前に配置し、音圧分布を表示部215で確認することができる。
正しく発音した場合の音圧レベル分布を、ユーザが発音する前に表示させておくようにしてもよい。また、複数の色を発光可能なLEDを採用し、正しく発音した場合の音圧レベル分布と、ユーザの発音により得られた音圧レベル分布とを異なる色で点灯させるようにし、正しく発音した場合の音圧レベル分布とユーザの発音による音圧レベル分布の違いを視認できるようにしてもよい。
上述した実施形態においては、入力された音声と所定の音声とが一致しているか否かをユーザに示すようにしているが、所定の音声との一致を判断するのではなく、発音された音声を認識し、認識した音声を表示するようにしてもよい。例えば、音声処理装置は、「thing」と発音したことを検知した場合には表示部215に「thing」と表示し、「sing」と発音したことを検知した場合には「sing」と表示する。ユーザは「thing」と発音した場合に「sing」と表示された場合には、自分の発音が正しく認識されず、発音が誤っていることを知ることができる。
言語音を正しく発音した際の周波数スペクトルをHDD214に記憶させておき、音声検知部240で求めた周波数スペクトルと比較して、ユーザが発音した言語音を判別するようにしてもよい。
本発明の実施形態に係る音声処理装置の構成を示す図である。 マイクロホンユニット100の外観図である。 CPU211が行う処理の流れを示したフローチャートである。 表示部215に表示される画面例を示した図である。 表示部215に表示される画面例を示した図である。
符号の説明
100・・・マイクロホンユニット、110A−1〜110P−16・・・シリコンマイク、120A−1〜120P−16・・・LED、130・・・基板、140・・・スタンド、200・・・制御装置、210・・・制御部、211・・・CPU、212・・・ROM、213・・・RAM、214・・・HDD、215・・・表示部、216・・・操作部、220・・・音声入力部、230・・・音圧レベル検知部、240・・・音声検知部。

Claims (5)

  1. 標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを記憶する記憶手段と、
    マイクロホンがアレイ状に複数配設されたマイクロホンユニットと、
    前記マイクロホンユニットの各マイクロホンから出力される信号毎に、該信号が表す音の音圧レベルを検知する音圧レベル検知手段と、
    前記マイクロホンユニットの所定のマイクロホンから出力された信号の周波数スペクトルを検知するスペクトル検知手段と、
    前記音圧レベル検知手段により求められた複数の音圧レベルから、前記マイクロホンユニットにおいて前記マイクロホンが配設された面の音圧レベル分布を求める音圧分布検知手段と、
    前記音圧分布検知手段により求められた音圧レベル分布および前記スペクトル検知手段により求められた周波数スペクトルと、前記記憶手段に記憶された標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを比較し、前記マイクロホンユニットに入力された言語音を判別する音声判別手段と、
    前記音声判別手段の判別結果を出力する出力手段と
    を有する音声処理装置。
  2. 前記マイクロホンユニットは、前記複数の各マイクロホンに対応付けされた発光体を有し、
    前記音圧レベル検知手段により検知された各マイクロホンに対応する音圧レベルに基づいて、各マイクロホンに対応付けされた発光体を点灯させる制御手段を有すること
    を特徴とする請求項1に記載の音声処理装置。
  3. 前記制御手段は、前記音圧レベルに応じて前記発光体の照度を可変することを特徴とする請求項2に記載の音声処理装置。
  4. 前記音圧分布検知手段により求められた音圧レベル分布を示す音圧分布画像を生成し、該音圧分布画像を表示する表示手段を有することを特徴とする請求項1に記載の音声処理装置。
  5. 少なくとも画像または音声のいずれかにより言語音の発声をユーザに要求する音声要求手段と、
    前記音声判別手段により判別された言語音と、前記音声要求手段により要求された言語音とが一致するか否かを判断する判断手段とを有し、
    前記出力手段は、前記判断手段の判断結果を出力することを特徴とする請求項1に記載の音声処理装置。
JP2004352671A 2004-12-06 2004-12-06 音声処理装置 Expired - Fee Related JP4517838B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004352671A JP4517838B2 (ja) 2004-12-06 2004-12-06 音声処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004352671A JP4517838B2 (ja) 2004-12-06 2004-12-06 音声処理装置

Publications (2)

Publication Number Publication Date
JP2006162849A true JP2006162849A (ja) 2006-06-22
JP4517838B2 JP4517838B2 (ja) 2010-08-04

Family

ID=36664962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004352671A Expired - Fee Related JP4517838B2 (ja) 2004-12-06 2004-12-06 音声処理装置

Country Status (1)

Country Link
JP (1) JP4517838B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124749A (ja) * 2009-12-10 2011-06-23 Funai Electric Co Ltd 音源探査装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113387A (ja) * 1992-09-25 1994-04-22 Railway Technical Res Inst 音源観測用音像可視化装置
JP2003186379A (ja) * 2001-12-13 2003-07-04 Animo:Kk 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム
JP2004251751A (ja) * 2003-02-20 2004-09-09 Mitsui Eng & Shipbuild Co Ltd 音響センサアレイ、音響診断装置及び音響診断方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113387A (ja) * 1992-09-25 1994-04-22 Railway Technical Res Inst 音源観測用音像可視化装置
JP2003186379A (ja) * 2001-12-13 2003-07-04 Animo:Kk 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム
JP2004251751A (ja) * 2003-02-20 2004-09-09 Mitsui Eng & Shipbuild Co Ltd 音響センサアレイ、音響診断装置及び音響診断方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124749A (ja) * 2009-12-10 2011-06-23 Funai Electric Co Ltd 音源探査装置

Also Published As

Publication number Publication date
JP4517838B2 (ja) 2010-08-04

Similar Documents

Publication Publication Date Title
US6358054B1 (en) Method and apparatus for teaching prosodic features of speech
US20070168187A1 (en) Real time voice analysis and method for providing speech therapy
KR20150024180A (ko) 발음 교정 장치 및 방법
US10303436B2 (en) Assistive apparatus having accelerometer-based accessibility
Howard et al. WinSingad: A real-time display for the singing studio
KR20150076128A (ko) 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법
KR20150024295A (ko) 발음 교정 장치
US8938077B2 (en) Sound source playing apparatus for compensating output sound source signal and method of compensating sound source signal output from sound source playing apparatus
JP2006259471A (ja) 歌唱練習システムおよび歌唱練習システム用プログラム
CN107610691B (zh) 英语元音发声纠错方法及装置
JP4517838B2 (ja) 音声処理装置
JP4134921B2 (ja) カラオケ装置
Ophaug The diminished vowel space in classical singing and the tug of war between" speech-true" and modified vowel qualities
JP4501874B2 (ja) 楽曲練習装置
KR102634347B1 (ko) 사용자와의 인터랙션을 이용한 인지 기능 훈련 및 검사 장치
KR102559460B1 (ko) 음악기반 다중작업 훈련, 가창 훈련 및 악기변별 훈련을이용한 청각 기능 개선 장치
Szalay et al. Reconsidering lateral vocalisation: Evidence from perception and production of Australian English/l
KR101499858B1 (ko) 심리안정을 유도하는 표시장치
JP6436770B2 (ja) カラオケ装置
KR20190055931A (ko) 자막 기반의 보컬 트레이닝 서비스 제공 시스템
EP4213130A1 (en) Device, system and method for providing a singing teaching and/or vocal training lesson
KR102049401B1 (ko) 시간차 반복 청취를 위한 이용한 외국어 학습 컨텐츠 생성 방법 및 장치
JP6864571B2 (ja) 歌詞テロップ色替えデータ作成装置
JP2009031658A (ja) 音程感覚養成装置および音程感覚養成プログラム
KR20170059665A (ko) 외국어 리듬 동작 감지 센서 기반의 운동 학습 장치, 그리고 이를 이용한 운동 학습 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees