JP2007094002A - 音声情報処理装置、音声情報処理方法、ならびに、プログラム - Google Patents
音声情報処理装置、音声情報処理方法、ならびに、プログラム Download PDFInfo
- Publication number
- JP2007094002A JP2007094002A JP2005283186A JP2005283186A JP2007094002A JP 2007094002 A JP2007094002 A JP 2007094002A JP 2005283186 A JP2005283186 A JP 2005283186A JP 2005283186 A JP2005283186 A JP 2005283186A JP 2007094002 A JP2007094002 A JP 2007094002A
- Authority
- JP
- Japan
- Prior art keywords
- input
- voice information
- threshold
- voice
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims description 8
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 16
- 230000001131 transforming effect Effects 0.000 claims 3
- 230000029058 respiratory gaseous exchange Effects 0.000 abstract description 26
- 238000012545 processing Methods 0.000 description 44
- 238000006073 displacement reaction Methods 0.000 description 21
- 238000003491 array Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004880 explosion Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003570 air Substances 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 230000008518 non respiratory effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】 人が呼吸する際の音声とそれ以外の音声とを簡易に分別する音声情報処理装置等を提供する。
【解決手段】 音声情報処理装置201の入力受付部203が受け付けた音声情報をフーリエ変換部204がフーリエ変換し、判断部205は、3つの周波数帯について、高周波数帯における強度が第1閾値を超える成分が少なくとも1つあり、中周波数帯における強度が第2閾値を超える成分が閾個数以上あり、低周波数帯における強度が第3閾値を超える成分が少なくとも1つある、という条件が所定時間以上継続した場合、当該音声情報は呼吸音であると判断し、非呼吸音出力部206は、当該音声情報のうち、呼吸音でない区間を出力する。
【選択図】 図2
Description
(a)当該条件が連続して満たされる時間が所定の第1閾時間を超えた場合、入力を受け付けられた音声情報について、呼吸音の入力がされ続けていると判断する。
(b)当該音声情報について呼吸音の入力がされ続けていると判断された後、当該条件が連続して満たされない時間が当該所定の第1閾時間より短かい所定の第2閾時間以下である場合、当該音声情報について呼吸音の入力がされ続けていると判断する。
(c)当該音声情報について呼吸音の入力がされ続けていると判断された後、当該条件が連続して満たされない時間が当該所定の第2閾時間を超える場合、当該音声情報について呼吸音の入力が終わったと判断する
ようにすることができる。
(a)受け付けられる音声情報のサンプリングレートは8000Hzであり、
(b)フーリエ変換部は、当該音声情報を、間隔が31.25Hzの周波数成分にフーリエ変換し、
(c)当該第1周波数帯は、31.25Hz以上187.5Hz以下であり、
(d)当該第2周波数帯は、500Hz以上2000Hz以下であり、
(e)当該第3周波数帯は、3812.5Hz以上4000Hz以下であり、
(f)当該第2閾値は、当該第1閾値の0.375倍であり、
(g)当該第3閾値は、当該第1閾値の0.25倍であり、
(h)当該第1閾時間は4/60秒であり、
(i)当該第2閾時間は4/60秒である
ように構成することができる。
図2は、本実施形態に係る音声情報処理装置において、呼吸音と非呼吸音とを弁別する弁別機能部の概要構成を示す説明図である。以下、本図を参照して説明する。
(1)変位を格納するための要素数Aの配列buf。各要素は、それぞれbuf[0],buf[1],…,buf[A-1]のようにしてアクセスが可能である。
(2)次に要素を追加すべき場所を表す添字next。
inp.buf[next-B],inp.buf[next-B+1],…,inp.buf[next-2],inp.buf[next-1]
inp.next<Bの場合は、
inp.buf[A-(B-inp.next)],inp.buf[A-(B-inp.next)+1],…,inp.buf[A-2],inp.buf[A-1],inp.buf[0],inp.buf[next-B+1],…,inp.buf[next-2],inp.buf[next-1]
となる。これは、リングバッファinpから、最新のB個分の変位データを取り出すことに相当する。
(a)受け付けられる音声情報のサンプリングレート。本実施形態では、上記のように、G[Hz]であり、実際には8000Hzである。
(b)フーリエ変換の周波数成分の周波数間隔。本実施形態では、上記のように、f[Hz]であり、実際には31.25Hzである。
(c)第1周波数帯。本実施形態では、31.25Hz以上187.5Hz以下である。
(d)第2周波数帯。本実施形態では、500Hz以上2000Hz以下である。これは、第1周波数帯よりも高い。
(e)第3周波数帯。本実施形態では、3812.5Hz以上4000Hz以下である。これは、第2周波数帯よりも高い。
(f)第1閾値。これは、呼吸音か非呼吸音かを判別する「感度」を示すもので、小さくすれば敏感に反応するが、それだけ呼吸音と誤判断する可能性も高くなる。大きければ反応は鈍くなるが、それだけ呼吸音と誤判断する可能性も高くなる。音声情報のサンプリングビット数に応じて適当な定数を定めても良いし、ユーザなどが適宜調整できることとしても良い。
(g)第2閾値。本実施形態では、当該第1閾値の0.375倍以上である。
(h)第3閾値。本実施形態では、当該第1閾値の0.25倍以上である。
(i)第1閾時間。本実施形態では、4/60秒程度である。
(j)第2閾時間。本実施形態では、4/60秒程度である。
(k)閾個数。本実施形態では、9個程度である。
(s)第1周波数帯に含まれる周波数成分の強度のいずれか少なくとも1つが所定の第1閾値を超え、
(t)第2周波数帯に含まれる周波数成分の強度のうち所定の第2閾値を超えるものが所定の閾個数以上であり、
(u)第3周波数帯に含まれる周波数成分の強度のいずれか少なくとも1つが所定の第3閾値を超える。
F[D1]>H1,…,F[E1]>H1
のいずれか少なくとも一つが成立すれば、条件(s)は満たされることとなる。
F[D2]>H2,…,F[E2]>H2
を満たすものが所定の閾個数以上であれば、条件(t)は満たされることとなる。
F[D3]>H3,…,F[E3]>H3
のいずれか少なくとも一つが成立すれば、条件(u)は満たされることとなる。
(a)肯定カウント領域c。上記条件を満たし始めてからの判断部205の処理回数を記録する。
(b)否定カウント領域d。上記条件を満たさなくなり始めてからの判断部205の処理回数を記録する。
(c)呼吸フラグ領域e。最後に判断したときの音声情報の状態が呼吸音であるか否かを記録する。
(a)上記条件が連続して満たされる時間が第1閾時間を超えた場合、呼吸音の入力がされ続けていると判断し、
(b)呼吸音の入力がされ続けていると判断された後、上記条件が連続して満たされない時間が第2閾時間以下である場合、呼吸音の入力がされ続けていると判断し、
(c)呼吸音の入力がされ続けていると判断された後、上記条件が連続して満たされない時間が第2閾時間を超える場合、呼吸音の入力が終わったと判断する
のである。
(a)非呼吸音を格納する配列voice。voice[0],…,voice[C-1]に、最新の時間長C/G分の非呼吸音の音声情報の変位データが格納される。
(b)呼吸音を格納する配列nonvc。nonvc[0],…,nonvc[C-1]に、最新の時間長C/G分の呼吸音の音声情報の変位データが格納される。
以下では、呼吸音か、非呼吸音かの弁別を行った後の処理について、実例をあげて説明する。本実例では、入力された音声情報の周波数帯に応じて、仮想空間内にて実行される処理が変化するようなゲーム装置に適用する場合を考える。
0 以上 (2N)f/M 未満の成分が、p[0]に対応付けられ、
(2N)f/M 以上 2×(2N)f/M 未満の成分が、p[1]に対応付けられ、
2×(2N)f/M 以上 3×(2N)f/M 未満の成分が、p[2]に対応付けられ、
…
i×(2N)f/M 以上 (i+1)×(2N)f/M 未満の成分が、p[i]に対応付けられ、
…
(M-1)×(2N)f/M 以上 M×(2N)f/M 未満の成分が、p[M-1]に対応付けられる。
0≦S[i]<128ならばΔ[i] = 1
128≦S[i]<192ならばΔ[i] = 2
192≦S[i]<224ならばΔ[i] = 3
224≦S[i]<256ならばΔ[i] = 4
などのように、階段状に単調増加する対応付けを用意して、Δ[i]の値を定めても良い。
101 CPU
102 ROM
103 RAM
104 インターフェイス
105 コントローラ
106 外部メモリ
107 画像処理部
108 DVD−ROMドライブ
109 NIC
110 音声処理部
111 マイク
201 音声情報処理装置
202 弁別機能部
203 入力受付部
204 フーリエ変換部
205 判断部
206 非呼吸音出力部
207 呼吸音出力部
701 項目選択機能部
702 パラメータ記憶部
703 変化量計算部
704 更新部
705 選択出力部
Claims (7)
- 音声情報の入力を受け付ける入力受付部、
前記入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得るフーリエ変換部、
前記得られた複数の周波数成分の強度についての条件が満たされるか否かを判断し、当該条件が連続して満たされる時間によって、呼吸音の入力がされ続けているか否かを判断する判断部、
前記入力を受け付けられた音声情報のうち、当該呼吸音の入力がされ続けていると判断された区間以外の区間を出力する非呼吸音出力部
を備えることを特徴とする音声情報処理装置。 - 請求項1に記載の音声情報処理装置であって、
前記判断部により判断される当該条件は「所定の第1周波数帯に含まれる周波数成分の強度のいずれか少なくとも1つが所定の第1閾値を超え、当該所定の第1周波数帯よりも高い所定の第2周波数帯に含まれる周波数成分の強度のうち所定の第2閾値を超えるものが所定の閾個数以上であり、当該所定の第2周波数帯よりも高い所定の第3周波数帯に含まれる周波数成分の強度のいずれか少なくとも1つが所定の第3閾値を超える」である
ことを特徴とする音声情報処理装置。 - 請求項2に記載の音声情報処理装置であって、
前記判断部は、
(a)当該条件が連続して満たされる時間が所定の第1閾時間を超えた場合、前記入力を受け付けられた音声情報について、呼吸音の入力がされ続けていると判断し、
(b)当該音声情報について呼吸音の入力がされ続けていると判断された後、当該条件が連続して満たされない時間が当該所定の第1閾時間より短かい所定の第2閾時間以下である場合、当該音声情報について呼吸音の入力がされ続けていると判断し、
(c)当該音声情報について呼吸音の入力がされ続けていると判断された後、当該条件が連続して満たされない時間が当該所定の第2閾時間を超える場合、当該音声情報について呼吸音の入力が終わったと判断する
ことを特徴とする音声情報処理装置。 - 請求項1から3のいずれか1項に記載の音声情報処理装置であって、前記非呼吸音出力部にかえて、もしくは、加えて、
前記入力を受け付けられた音声情報のうち、当該呼吸音の入力がされ続けていると判断された区間を出力する呼吸音出力部
を備えることを特徴とする音声情報処理装置。 - 請求項2から4のいずれか1項に記載の音声情報処理装置であって、
前記受け付けられる音声情報のサンプリングレートは8000Hzであり、
前記フーリエ変換部は、当該音声情報を、間隔が31.25Hzの周波数成分にフーリエ変換し、
当該第1周波数帯は、31.25Hz以上187.5Hz以下であり、
当該第2周波数帯は、500Hz以上2000Hz以下であり、
当該第3周波数帯は、3812.5Hz以上4000Hz以下であり、
当該第2閾値は、当該第1閾値の0.375倍であり、
当該第3閾値は、当該第1閾値の0.25倍であり、
当該第1閾時間は4/60秒であり、
当該第2閾時間は4/60秒である
ことを特徴とする音声情報処理装置。 - 音声情報の入力を受け付ける入力受付工程、
前記入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得るフーリエ変換工程、
前記得られた複数の周波数成分の強度についての条件が満たされるか否かを判断し、当該条件が連続して満たされる時間によって、当該呼吸音の入力がされ続けているか否かを判断する判断工程、
前記入力を受け付けられた音声情報のうち、当該呼吸音の入力がされ続けていると判断された区間以外の区間を出力する非呼吸音出力工程
を備えることを特徴とする音声情報処理方法。 - コンピュータを、
音声情報の入力を受け付ける入力受付部、
前記入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得るフーリエ変換部、
前記得られた複数の周波数成分の強度についての条件が満たされるか否かを判断し、当該条件が連続して満たされる時間によって、当該呼吸音の入力がされ続けているか否かを判断する判断部、
前記入力を受け付けられた音声情報のうち、当該呼吸音の入力がされ続けていると判断された区間以外の区間を出力する非呼吸音出力部
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005283186A JP4722653B2 (ja) | 2005-09-29 | 2005-09-29 | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005283186A JP4722653B2 (ja) | 2005-09-29 | 2005-09-29 | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007094002A true JP2007094002A (ja) | 2007-04-12 |
JP4722653B2 JP4722653B2 (ja) | 2011-07-13 |
Family
ID=37979810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005283186A Active JP4722653B2 (ja) | 2005-09-29 | 2005-09-29 | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4722653B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100798622B1 (ko) * | 2007-09-19 | 2008-01-28 | 김양수 | 정전기 제거용 통전 유닛 |
KR100831290B1 (ko) * | 2008-03-17 | 2008-05-22 | 주식회사 베스텍 | 모터 컨트롤 센터 |
KR100866443B1 (ko) * | 2001-02-20 | 2008-10-31 | 소니 가부시끼 가이샤 | 기록 장치, 기록 방법, 및 기록 매체 |
JP2011095595A (ja) * | 2009-10-30 | 2011-05-12 | Nintendo Co Ltd | 息判別プログラムおよび息判別装置 |
JP2014063018A (ja) * | 2012-09-21 | 2014-04-10 | Systec:Kk | 極微小音声入力装置 |
JP2015228002A (ja) * | 2014-06-03 | 2015-12-17 | 株式会社システック | 複数者間干渉音声雑音を回避した音声入力処理装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63175898A (ja) * | 1987-01-16 | 1988-07-20 | 松下電器産業株式会社 | 呼気流検出装置 |
JPH06222789A (ja) * | 1992-10-21 | 1994-08-12 | Sextant Avionique | 音声検出方法 |
JPH07312795A (ja) * | 1994-05-18 | 1995-11-28 | Nagano Japan Radio Co | 音声信号処理方法及び装置 |
JPH09212188A (ja) * | 1996-01-26 | 1997-08-15 | Lucent Technol Inc | 制約付き状態尤度を有する復号化された状態系列を用いた音声認識方法 |
JPH11143484A (ja) * | 1997-11-04 | 1999-05-28 | Fujitsu Ltd | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
JP2000148186A (ja) * | 1998-11-02 | 2000-05-26 | Ncr Internatl Inc | 音声認識システムの開始停止をハンズフリ―で行う方法及び装置 |
JP2002244697A (ja) * | 2001-02-16 | 2002-08-30 | Casio Comput Co Ltd | 音声認証装置、音声認証方法、及びプログラム |
JP2003108185A (ja) * | 2001-09-28 | 2003-04-11 | Dainippon Printing Co Ltd | 時系列信号解析装置 |
-
2005
- 2005-09-29 JP JP2005283186A patent/JP4722653B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63175898A (ja) * | 1987-01-16 | 1988-07-20 | 松下電器産業株式会社 | 呼気流検出装置 |
JPH06222789A (ja) * | 1992-10-21 | 1994-08-12 | Sextant Avionique | 音声検出方法 |
JPH07312795A (ja) * | 1994-05-18 | 1995-11-28 | Nagano Japan Radio Co | 音声信号処理方法及び装置 |
JPH09212188A (ja) * | 1996-01-26 | 1997-08-15 | Lucent Technol Inc | 制約付き状態尤度を有する復号化された状態系列を用いた音声認識方法 |
JPH11143484A (ja) * | 1997-11-04 | 1999-05-28 | Fujitsu Ltd | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
JP2000148186A (ja) * | 1998-11-02 | 2000-05-26 | Ncr Internatl Inc | 音声認識システムの開始停止をハンズフリ―で行う方法及び装置 |
JP2002244697A (ja) * | 2001-02-16 | 2002-08-30 | Casio Comput Co Ltd | 音声認証装置、音声認証方法、及びプログラム |
JP2003108185A (ja) * | 2001-09-28 | 2003-04-11 | Dainippon Printing Co Ltd | 時系列信号解析装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100866443B1 (ko) * | 2001-02-20 | 2008-10-31 | 소니 가부시끼 가이샤 | 기록 장치, 기록 방법, 및 기록 매체 |
KR100798622B1 (ko) * | 2007-09-19 | 2008-01-28 | 김양수 | 정전기 제거용 통전 유닛 |
KR100831290B1 (ko) * | 2008-03-17 | 2008-05-22 | 주식회사 베스텍 | 모터 컨트롤 센터 |
JP2011095595A (ja) * | 2009-10-30 | 2011-05-12 | Nintendo Co Ltd | 息判別プログラムおよび息判別装置 |
US8600065B2 (en) | 2009-10-30 | 2013-12-03 | Nintendo Co., Ltd. | Storage medium having breath detection program stored therein and breath detection apparatus |
JP2014063018A (ja) * | 2012-09-21 | 2014-04-10 | Systec:Kk | 極微小音声入力装置 |
JP2015228002A (ja) * | 2014-06-03 | 2015-12-17 | 株式会社システック | 複数者間干渉音声雑音を回避した音声入力処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4722653B2 (ja) | 2011-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4722653B2 (ja) | 音声情報処理装置、音声情報処理方法、ならびに、プログラム | |
JP4493678B2 (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
KR100995735B1 (ko) | 음성처리장치, 음성처리방법 및 프로그램을 기억하는 컴퓨터 판독 가능한 정보기록매체 | |
JP3066528B1 (ja) | 楽曲再生システム、リズム解析方法及び記録媒体 | |
JP5306702B2 (ja) | 年齢層推定装置、年齢層推定方法、ならびに、プログラム | |
KR100903500B1 (ko) | 음성출력장치, 음성출력방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체 | |
EP2000188A1 (en) | Game device, game processing method, information recording medium, and program | |
EP1795240B1 (en) | Game machine, game machine control method, information recording medium, and program | |
JP4722652B2 (ja) | 音声情報処理装置、音声情報処理方法、ならびに、プログラム | |
EP1994970A1 (en) | Communication game system, communication game control method, information recording medium, and program | |
JP2012050791A (ja) | キャラクター表示装置、キャラクター表示方法、ならびに、プログラム | |
JP2006293033A (ja) | 混合分布hmmの状態の出力確率計算方法および装置 | |
JP4859125B2 (ja) | 発音評定装置、およびプログラム | |
JP4883750B2 (ja) | 音響評定装置、およびプログラム | |
JP4468963B2 (ja) | 音声画像処理装置、音声画像処理方法、ならびに、プログラム | |
JP4563418B2 (ja) | 音声処理装置、音声処理方法、ならびに、プログラム | |
WO2010084830A1 (ja) | 音声処理装置、チャットシステム、音声処理方法、情報記憶媒体、ならびに、プログラム | |
JP2002085834A (ja) | ゲーム装置 | |
KR101962421B1 (ko) | 채팅 피드백 장치 및 방법과 단말의 동작 방법 | |
JP4437993B2 (ja) | 音声処理装置、音声処理方法、ならびに、プログラム | |
JP2003290549A (ja) | ネットワークゲームシステム、ゲーム装置及びプログラム | |
JP2012120592A (ja) | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム | |
JP5291682B2 (ja) | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム | |
JP4294712B1 (ja) | 音声処理装置、音声処理方法、ならびに、プログラム | |
JP6185136B1 (ja) | 音声生成プログラムおよびゲーム装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110406 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4722653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |