JP2011048405A - 音声認識装置及び音声認識プログラム - Google Patents
音声認識装置及び音声認識プログラム Download PDFInfo
- Publication number
- JP2011048405A JP2011048405A JP2010275213A JP2010275213A JP2011048405A JP 2011048405 A JP2011048405 A JP 2011048405A JP 2010275213 A JP2010275213 A JP 2010275213A JP 2010275213 A JP2010275213 A JP 2010275213A JP 2011048405 A JP2011048405 A JP 2011048405A
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- word
- language model
- speech
- probability value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】音声認識装置1Bは、特定のキーワードとその品詞を記憶する記憶手段22Bと、前記キーワードに対応する単語を品詞に置き換えて学習した言語モデルを記憶する記憶手段11Bと、言語モデルにおいて、入力音声の単語列に対する確率値が最大となる経路を探索することで、認識結果である単語列を出力する単語列生成手段13Bと、を備え、単語列生成手段13Bが、言語モデルにおいて、キーワードの接続確率値を記憶手段22Bに記憶されている当該キーワードに対応する品詞の接続確率値に基づいて演算することで、キーワードの接続確率値を増加させることを特徴とする。
【選択図】図7
Description
このNグラム言語モデルは、入力される単語の列(単語列)w1w2…wnに対して、その単語の出現確率P(w1w2…wn)を、以下に示す(1)式のように条件付き確率により算出し生成するモデルであり、単語列w1w2…wnと出現確率P(w1w2…wn)とからなるエントリの集合である。
このようなNグラム言語モデルにおいては、学習されていない未登録語については、認識を行うことができない。
そこで、従来は、認識辞書の語彙を拡張して未登録語を削減する手法が提案されている(非特許文献1、非特許文献2等)。
しかし、従来の技術は、事前に登録されていない単語を認識辞書に登録して、認識を可能とするものである。すなわち、認識辞書に単に未登録単語を登録することで、未登録単語を他の単語と同様に認識可能としたものであり、キーワードとなる単語の認識精度を高める工夫はなされていない。
本発明は、以上のような問題点に鑑みてなされたものであり、予め定めたキーワードについての認識精度を高めた音声認識装置及び音声認識プログラムを提供することを目的とする。
[参考例の実施の形態]
(音声認識装置の構成)
まず、図1を参照して、参考例の実施の形態に係る音声認識装置の構成について説明する。図1は、参考例の実施の形態に係る音声認識装置の構成を示すブロック図である。図1に示した音声認識装置1は、特定のキーワードについての認識精度を高めて、入力された音声信号を認識するものである。ここでは、音声認識装置1は、認識部10と、更新部20とで構成されている。
言語モデル111は、大量の音声データから学習した出力系列(単語、形態素、音素等)の出現頻度や接続確率等をモデル化したものである。この言語モデルには、例えば、一般的な「Nグラム言語モデル」を用いることができる。
具体的には、言語モデル111は、キーワード(図2では「コスギ」)に、キーワードを特定するための識別情報(図2では「!」の文字)を付与されていることとし、そのキーワードが接続される確率値に対して、加算する確率値をボーナス値として記憶する領域BAを設けている。
これによって、単語の接続確率値を算出する際に、このボーナス値を加算することで、キーワードが認識される精度を高めることができる。
この図2に示した言語モデルの生成については、後記する更新部20の説明において行うこととする。
図1に戻って、音声認識装置1の構成について説明を続ける。
発音辞書113は、単語ごとにその発音を示す子音と母音との構成を示したものである。なお、この発音辞書113には、予め複数の単語の発音を登録しておく。
なお、特徴抽出手段12は、入力された音声の音声波形に窓関数(ハミング窓等)をかけることで、フレーム化された波形を抽出し、その波形を周波数分析することで、種々の特徴量を抽出する。例えば、フレーム化された波形のパワースペクトルの対数を逆フーリエ変換した値であるケプストラム係数等を特徴量とする。この特徴量には、ケプストラム係数以外にも、メル周波数ケプストラム係数(MFCC:Mel Frequency Cepstrum Coefficient)、LPC(Linear Predictive Cording)係数、対数パワー等、一般的な音声特徴量を用いることができる。
ここでは、図3に示すように、キーワードを含む文書dがN個入力され、その文書内からキーワードを抽出することとする。なお、文書dにおける記号「△」は、単語の区切りを示している。このように、入力される文書dは予め単語ごとに区切られたデータであってもよいし、キーワード抽出手段21が形態素解析を行うことで、単語ごとに区分することとしてもよい。
この「TF・IDF法」における重要度スコアは、ある文書中に出現する単語の頻度(TF:Term Frequency)と、その単語が全文書中のどれくらいの文書に出現するかを示す尺度(IDF:Inverse Document Frequency)とを乗算することにより得られる。
すなわち、キーワード抽出手段21は、ある文書d中に出現する単語tの頻度をtf(t,d)、単語tが全文書中のどれくらいの文書に出現するかを示す尺度をidf(t)としたとき、以下の(2)式により単語tの重要度スコアwt dを算出する。
なお、この図3に示した例では、文書dから、キーワード「コスギ」、「空手」、「武道」が抽出され、それぞれの重要度スコア(ボーナス値)として「1.000」、「0.959」、「0.532」が算出された例を示している。
図1に戻って、音声認識装置1の構成について説明を続ける。
すなわち、類似単語抽出手段24は、類似度測定手段241によって測定された類似度により、キーワード音素列に類似する登録単語音素列を有する単語を類似単語として抽出する。
ここでは、図4に示すように、キーワードとして、「武道」及び「コスギ」が予め抽出されているものとする。
このとき、類似単語抽出手段24は、類似度測定手段241によって、キーワード音素列と登録単語音素列との類似の度合いを示す類似度を測定する。この各音素列同士の類似度は、例えば、DP(Dynamic Programming)マッチング法により音素列間の距離として求めることができる。
そこで、類似単語抽出手段24は、この音素列間の距離が近いものほど、前記したペナルティ値を大きく設定する。ここでは、登録単語「ぶどう」にペナルティ値「−1.0」、登録単語「小菅」にペナルティ値「−0.5」を設定した例を示している。
図1に戻って、音声認識装置1の構成について説明を続ける。
このように音声認識装置1を構成することで、音声認識装置1は、電子化された文書からキーワードを抽出し、そのキーワードに対して認識精度を高めて音声認識を行うことができる。
また、ここでは、言語モデル111に、キーワードに対してボーナス値を設定し、類似単語にペナルティ値を設定することとしたが、キーワードに対してボーナス値を設定するだけの構成としてもよい。すなわち、音声認識装置1から、ペナルティ付与手段132b、音素列探索手段23、類似単語抽出手段24を省略して構成してもよい。この場合、言語モデル更新手段25は、記憶手段22に記憶されているキーワード辞書221に登録されているキーワード及びボーナス値に基づいて、言語モデル111を更新する。
なお、音声認識装置1は、一般的なコンピュータを前記した各手段として機能させる音声認識プログラムによって動作させることができる。
次に、図5及び図6を参照(構成については図1参照)して、音声認識装置の動作について説明する。図5は、参考例の実施の形態に係る音声認識装置の言語モデルの更新動作を示すフローチャートである。図6は、参考例の実施の形態に係る音声認識装置の音声認識動作を示すフローチャートである。
図5に示すように、まず、音声認識装置1は、キーワード抽出手段21によって、電子化されたキーワードを含んだ文書から、「TF・IDF法」により単語の重み(重要度スコア;ボーナス値として使用)を算出することで、キーワードを抽出する(ステップS1)。
そして、キーワード抽出手段21が、ステップS1で抽出したキーワードと、そのキーワードのボーナス値とを、キーワード辞書221として記憶手段22に記憶する(ステップS2)。
その後、音声認識装置1は、音素列探索手段23によって、キーワード辞書221に含まれているキーワードの発音を示す音素列(キーワード音素列)を、発音辞書113から探索する(ステップS3)。
このとき、類似単語抽出手段24は、類似度測定手段241によって、DPマッチング法による音素列間の距離により、キーワード音素列と登録単語音素列との類似度を測定することで、類似単語を抽出する。さらに、類似単語抽出手段24は、音素列間の距離が近い類似単語ほど、ペナルティ値を大きくする。
すなわち、音声認識装置1は、言語モデル更新手段25によって、言語モデル111において、キーワードを特定するための識別情報(図2では「!」の文字)を、キーワードを示す単語に付与し、接続確率値に加算するボーナス値を登録する(ステップS5)。
さらに、音声認識装置1は、言語モデル更新手段25によって、言語モデル111において、類似単語を探索し、接続確率値から減算するペナルティ値を登録する(ステップS6)。
なお、新たに別の文書によって、キーワードを更新する場合は、ステップS5より前に、登録された識別情報や、ボーナス値及びペナルティ値を削除することとする。これによって、例えば、放送番組の台本、構成表等によって、認識精度を高めたいキーワードが異なる場合であっても、容易にその対象となるキーワードを変更することができる。
次に、図6に示すように、音声認識装置1は、探索手段132によって、言語モデル111から、接続される出力系列の候補を探索する。
このとき、探索手段132は、候補となる単語が、キーワードとして登録されている単語であるか否かを判定し(ステップS11)、キーワードである場合(ステップS11でYes)は、ボーナス付与手段132aによって、接続確率値にボーナス値を加算した値を当該出力系列の確率値に加算し(ステップS12)、ステップS16へ進む。
一方、候補となる単語が、キーワードでもなく類似単語でもない場合は、当該単語に設定されている接続確率値を出力系列の確率値に加算する(ステップS15)。
そして、探索手段132は、すべての出力系列の候補の確率値を算出した段階で、確率値が最大となる出力系列を認識単語列として出力する(ステップS18)。
以上の動作によって、音声認識装置1は、キーワードの認識精度を高めた音声認識を行うことができる。
(音声認識装置の構成)
次に、図7を参照して、本発明の実施の形態に係る音声認識装置の構成について説明する。図7は、本発明の実施の形態に係る音声認識装置の構成を示すブロック図である。図7に示した音声認識装置1Bは、特定のキーワードについての認識精度を高めて、入力された音声信号を認識するものである。ここでは、音声認識装置1Bは、認識部10Bと、更新部20Bとで構成されている。
なお、音声認識装置1Bは、図1で説明した音声認識装置1とは、キーワードに対する接続確率を高める(ボーナスを付与する)手法が異なっている。
そして、キーワード抽出手段21Bは、抽出したキーワードとその品詞とを記憶手段22Bのキーワード辞書221Bに登録する。
ここで、まず、図8(a)に示すように、言語モデルを生成するための学習テキストが存在するとする。なお、この学習テキストは、通常、数百万文程度を用い、図示を省略した記憶手段に記憶されているものとする。
このとき、図8(c)に示すような未登録語彙(ここでは、「中教審」、「こども」)がキーワードであると仮定すると、言語モデル更新手段25Bは、図8(d)に示すように、学習テキストの未登録語彙(キーワード)に相当する単語を、固有のマーク(ここでは、「$」)を付したキーワードの品詞に置き換える。
図8(d)では、「中教審」を「$固有名詞$」、「こども」を「$一般名詞$」にそれぞれ置換した例を示している。
そして、言語モデル更新手段25Bは、図8(f)に示すように、各単語の接続確率値を計算し、言語モデル111Bを学習しなおす。これによって、キーワードについては品詞クラスの言語モデルが生成されることになる。
図7に戻って、音声認識装置1Bの構成について説明を続ける。
ここでは、ボーナス付与手段132Baは、出力系列の確率値(言語スコア)を算出する際に、キーワードの言語スコアについては、品詞に基づく言語スコアを用い、より大きな言語スコアが得られる単語列を入力音声に対する認識結果(認識単語列)として出力する。
具体的には、ボーナス付与手段132Baは、キーワードをw、キーワードwの直前の(N−1)−gramの履歴をh、品詞クラスをCとしたとき、以下の(4)式により、wが出現する事後確率P(w|h)を推定する。
ここで、品詞クラスC中でキーワードwが出現する確率とは、品詞クラスC(例えば、固有名詞のクラス)に属するキーワードの個数の逆数である。
この場合、予め音声認識装置1Bで使用する語彙の設計において、例えば、一般に特殊な単語とみなされる固有名詞を除いておけば、固有名詞の単語に与えられる確率値が大きくなる。また、キーワードは、一般に固有名詞等限られた品詞であることが多いため、キーワードを含んだ出力系列の言語スコアの値に対して、実質的にボーナスを与えたことになる。
例えば、予めキーワードが決まっているのであれば、構成からキーワード抽出手段21Bを省略し、直接、キーワード辞書221Bにキーワードと品詞とを登録することとしてもよい。また、参考例の実施の形態に係る音声認識装置1と同様、ペナルティ付与手段132b、音素列探索手段23、類似単語抽出手段24を省略して構成してもよい。
なお、音声認識装置1Bは、一般的なコンピュータを前記した各手段として機能させる音声認識プログラムによって動作させることができる。
次に、図9及び図10を参照(構成については図1参照)して、音声認識装置の動作について説明する。図9は、本発明の実施の形態に係る音声認識装置の言語モデルの更新動作を示すフローチャートである。図10は、本発明の実施の形態に係る音声認識装置の音声認識動作を示すフローチャートである。
図9に示すように、まず、音声認識装置1Bは、キーワード抽出手段21Bによって、電子化されたキーワードを含んだ文書から、キーワードとその品詞を抽出する(ステップS21)。
そして、キーワード抽出手段21Bが、ステップS21で抽出したキーワードと、その品詞とを、キーワード辞書221Bとして記憶手段22に記憶する(ステップS22)。
その後、音声認識装置1Bは、音素列探索手段23によって、キーワード辞書221Bに含まれているキーワードの発音を示す音素列(キーワード音素列)を、発音辞書113から検索する(ステップS23)。
さらに、音声認識装置1Bは、言語モデル更新手段25Bによって、言語モデル111Bにおいて、類似単語を探索し、接続確率値を減算するペナルティ値を登録する(ステップS26)。
以上の動作によって、音声認識装置1Bは、電子化された文書からキーワードを抽出し、キーワードについては、品詞によりモデル化された言語モデルを生成する。
次に、図10に示すように、音声認識装置1Bは、探索手段132Bによって、言語モデル111Bから、接続される出力系列の候補を探索する。
このとき、探索手段132Bは、候補となる単語が、キーワードとして登録されている単語であるか否かを判定し(ステップS31)、キーワードである場合(ステップS31でYes)は、ボーナス付与手段132Baによって、当該キーワードに対応する品詞の確率値を当該出力系列の確率値に加算し(ステップS32)、ステップS36へ進む。
一方、候補となる単語が、キーワードでもなく類似単語でもない場合は、当該単語に設定されている接続確率値を出力系列の確率値に加算する(ステップS35)。
そして、探索手段132Bは、すべての出力系列の候補の確率値を算出した段階で、確率値が最大となる出力系列を認識単語列として出力する(ステップS38)。
以上の動作によって、音声認識装置1Bは、キーワードの認識精度を高めた音声認識を行うことができる。
11 記憶手段(言語モデル記憶手段、発音辞書記憶手段)
111 言語モデル
112 音響モデル
113 発音辞書
12 特徴抽出手段
13 単語列生成手段
131 音響類似度算出手段
132 探索手段
132a ボーナス付与手段(確率値増加手段)
132b ペナルティ付与手段(確率値減少手段)
21 キーワード抽出手段
22 記憶手段(キーワード記憶手段)
221 キーワード辞書
23 音素列探索手段
24 類似単語抽出手段
241 類似度測定手段
25 言語モデル更新手段
Claims (2)
- 言語モデルを用いて、入力音声を認識する音声認識装置において、
特定のキーワードとその品詞を記憶するキーワード記憶手段と、
前記キーワードに対応する単語を品詞に置き換えて学習した言語モデルを記憶する言語モデル記憶手段と、
前記言語モデルにおいて、前記入力音声の単語列に対する確率値が最大となる経路を探索することで、認識結果である単語列を出力する単語列生成手段と、を備え、
前記単語列生成手段が、
前記言語モデルにおいて、前記キーワードの接続確率値を前記キーワード記憶手段に記憶されている当該キーワードに対応する品詞の接続確率値に基づいて演算することで、前記キーワードの接続確率値を増加させる確率値増加手段を有していることを特徴とする音声認識装置。 - 特定のキーワードとその品詞を記憶するキーワード記憶手段と、前記キーワードに対応する単語を品詞に置き換えて学習した言語モデルとを用いて、入力音声を認識するために、コンピュータを、
前記言語モデルにおいて、前記入力音声の単語列に対する確率値が最大となる経路を探索することで、認識結果である単語列を出力する単語列生成手段、として機能させ、
前記単語列生成手段が、
前記言語モデルにおいて、前記キーワードの接続確率値を前記キーワード記憶手段に記憶されている当該キーワードに対応する品詞の接続確率値に基づいて演算することで、前記キーワードの接続確率値を増加させることを特徴とする音声認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275213A JP5124012B2 (ja) | 2010-12-10 | 2010-12-10 | 音声認識装置及び音声認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275213A JP5124012B2 (ja) | 2010-12-10 | 2010-12-10 | 音声認識装置及び音声認識プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006049729A Division JP4764203B2 (ja) | 2006-02-27 | 2006-02-27 | 音声認識装置及び音声認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011048405A true JP2011048405A (ja) | 2011-03-10 |
JP5124012B2 JP5124012B2 (ja) | 2013-01-23 |
Family
ID=43834690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010275213A Expired - Fee Related JP5124012B2 (ja) | 2010-12-10 | 2010-12-10 | 音声認識装置及び音声認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5124012B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160013710A (ko) * | 2014-07-28 | 2016-02-05 | 삼성전자주식회사 | 발음 유사도를 기반으로 한 음성 인식 방법 및 장치, 음성 인식 엔진 생성 방법 및 장치 |
KR20200120595A (ko) * | 2014-12-08 | 2020-10-21 | 삼성전자주식회사 | 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치 |
JP2023504796A (ja) * | 2019-12-28 | 2023-02-07 | アイフライテック カンパニー,リミテッド | 音声認識方法及び関連製品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001109491A (ja) * | 1999-10-01 | 2001-04-20 | Univ Waseda | 連続音声認識装置および方法 |
JP2004013134A (ja) * | 2002-06-12 | 2004-01-15 | Nec Corp | 音声認識装置及びその方法並びにプログラム |
JP2004053745A (ja) * | 2002-07-17 | 2004-02-19 | Nippon Telegr & Teleph Corp <Ntt> | 言語モデル生成方法、その装置及びそのプログラム |
-
2010
- 2010-12-10 JP JP2010275213A patent/JP5124012B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001109491A (ja) * | 1999-10-01 | 2001-04-20 | Univ Waseda | 連続音声認識装置および方法 |
JP2004013134A (ja) * | 2002-06-12 | 2004-01-15 | Nec Corp | 音声認識装置及びその方法並びにプログラム |
JP2004053745A (ja) * | 2002-07-17 | 2004-02-19 | Nippon Telegr & Teleph Corp <Ntt> | 言語モデル生成方法、その装置及びそのプログラム |
Non-Patent Citations (2)
Title |
---|
CSNG200300023003; 高木 一幸 Kazuyuki TAKAGI: 'ニュース音声認識における言語モデルの検討 Performance evaluation of language models for broadcast ne' 電子情報通信学会技術研究報告 Vol.97 No.440 IEICE Technical Report , 19971212, p.21-27, 社団法人電子情報通信学会 The Institute of Electro * |
JPN6012010504; 高木 一幸 Kazuyuki TAKAGI: 'ニュース音声認識における言語モデルの検討 Performance evaluation of language models for broadcast ne' 電子情報通信学会技術研究報告 Vol.97 No.440 IEICE Technical Report , 19971212, p.21-27, 社団法人電子情報通信学会 The Institute of Electro * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160013710A (ko) * | 2014-07-28 | 2016-02-05 | 삼성전자주식회사 | 발음 유사도를 기반으로 한 음성 인식 방법 및 장치, 음성 인식 엔진 생성 방법 및 장치 |
KR102332729B1 (ko) * | 2014-07-28 | 2021-11-30 | 삼성전자주식회사 | 발음 유사도를 기반으로 한 음성 인식 방법 및 장치, 음성 인식 엔진 생성 방법 및 장치 |
KR20200120595A (ko) * | 2014-12-08 | 2020-10-21 | 삼성전자주식회사 | 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치 |
KR102292921B1 (ko) * | 2014-12-08 | 2021-08-24 | 삼성전자주식회사 | 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치 |
JP2023504796A (ja) * | 2019-12-28 | 2023-02-07 | アイフライテック カンパニー,リミテッド | 音声認識方法及び関連製品 |
Also Published As
Publication number | Publication date |
---|---|
JP5124012B2 (ja) | 2013-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107305768B (zh) | 语音交互中的易错字校准方法 | |
JP4705023B2 (ja) | 音声認識装置、音声認識方法、及びプログラム | |
Schuster et al. | Japanese and korean voice search | |
US9613621B2 (en) | Speech recognition method and electronic apparatus | |
US6934683B2 (en) | Disambiguation language model | |
Karpov et al. | Large vocabulary Russian speech recognition using syntactico-statistical language modeling | |
US20180286385A1 (en) | Method and system for predicting speech recognition performance using accuracy scores | |
JP5326169B2 (ja) | 音声データ検索システム及び音声データ検索方法 | |
JP2014232268A (ja) | 音声認識における読み精度を改善するシステム、方法、およびプログラム | |
Arısoy et al. | A unified language model for large vocabulary continuous speech recognition of Turkish | |
JP4764203B2 (ja) | 音声認識装置及び音声認識プログラム | |
JP4758758B2 (ja) | 辞書作成装置および辞書作成プログラム | |
KR102580904B1 (ko) | 음성 신호를 번역하는 방법 및 그에 따른 전자 디바이스 | |
JP5124012B2 (ja) | 音声認識装置及び音声認識プログラム | |
JP4733436B2 (ja) | 単語・意味表現組データベースの作成方法、音声理解方法、単語・意味表現組データベース作成装置、音声理解装置、プログラムおよび記憶媒体 | |
JP2006107353A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP6276516B2 (ja) | 辞書作成装置、及び辞書作成プログラム | |
JP4674609B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
JP2004309928A (ja) | 音声認識装置、電子辞書装置、音声認識方法、検索方法、及びプログラム | |
JP2021529338A (ja) | 発音辞書生成方法及びそのための装置 | |
JP6078435B2 (ja) | 記号列変換方法、音声認識方法、それらの装置及びプログラム | |
Sarikaya et al. | Maximum entropy modeling for diacritization of arabic text | |
Wu et al. | Interruption point detection of spontaneous speech using inter-syllable boundary-based prosodic features | |
Li | Low-Resource Speech Recognition for Thousands of Languages | |
Wang et al. | Handling OOVWords in Mandarin Spoken Term Detection with an Hierarchical n‐Gram Language Model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121002 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121026 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |