JP2007256482A - 音声認識装置、音声認識方法、及びコンピュータプログラム - Google Patents

音声認識装置、音声認識方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2007256482A
JP2007256482A JP2006079052A JP2006079052A JP2007256482A JP 2007256482 A JP2007256482 A JP 2007256482A JP 2006079052 A JP2006079052 A JP 2006079052A JP 2006079052 A JP2006079052 A JP 2006079052A JP 2007256482 A JP2007256482 A JP 2007256482A
Authority
JP
Japan
Prior art keywords
word
recognition
speech
utterance
reference time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006079052A
Other languages
English (en)
Other versions
JP4906379B2 (ja
Inventor
Nobuyuki Washio
信之 鷲尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006079052A priority Critical patent/JP4906379B2/ja
Priority to US11/475,003 priority patent/US7805304B2/en
Priority to CN2006101077186A priority patent/CN101042866B/zh
Publication of JP2007256482A publication Critical patent/JP2007256482A/ja
Application granted granted Critical
Publication of JP4906379B2 publication Critical patent/JP4906379B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221Announcement of recognition results

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Navigation (AREA)

Abstract

【課題】音声認識用文法を単独で用いる場合、又は離散単語認識用の文法と併用する場合であっても、発話の終了時点を早期に特定することができ音声認識レスポンスを早めることが可能な音声認識装置、音声認識方法、及びコンピュータプログラムを提供する。
【解決手段】音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする。言語モデルに関する情報、音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶しておき、言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する。抽出された認識候補単語列の末尾の単語が最終単語であると判断された場合、基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、基準時間経過時に音声認識結果を出力する。
【選択図】図3

Description

本発明は、音声の入力を受け付けて音声を認識し、認識結果を出力する音声認識装置、音声認識方法、及びコンピュータプログラムに関する。
音声認識技術の進展に伴い、ボイスポータル、カーナビゲーションシステム等の音声認識システムが多々開発されている。音声認識システムでは、連続単語認識、離散単語認識等の音声認識エンジンを使用し、音声認識結果を表示する、又は音声認識結果を用いてアプリケーションを実行する。
例えば連続単語認識用の音声認識エンジンを使用する従来の音声認識装置の制御手段は、受け付けた音声のパワーを時々刻々計算し、計算した音声パワーを所定の閾値と比較し、閾値を超える時間が一定時間以上継続した時点で、受け付けた音声の特徴パラメータを抽出するための音響分析を時々刻々実行し、音響分析結果と、文法、Nグラム等の言語モデルに基づいて認識候補単語列ごとの照合スコアを算出し、照合スコアから認識結果となる単語列を一又は複数求める。
音声認識エンジンを使用する場合、発話区間を正確に特定することが重要となる。特に連続単語認識時には、「単語間ポーズ」及び「発話終了後の無音」を混同しないように、所定時間長の「基準時間」を設定し、設定された基準時間と検出された無音区間の時間とを比較して、無音区間が基準時間を超えた場合に発話の終了であるものと判断する。
例えば特許文献1では、ユーザから発話入力される連続した単語を含む音声データを取得し、取得した音声データを認識する場合に、予め時間長が設定された発話終了ポーズ時間以上の無音区間を検出した場合にユーザの発話入力の終了を検出する機能を備え、ユーザから入力される発話の終端を検出する精度に応じて発話終了ポーズ時間を決定する音声認識装置が開示されている。特許文献1では、ユーザの発話の終端を検出する精度に応じて、「発話終了の区切り」を高い精度で区別することができる。
特許文献2では、入力音声と単語標準パタンとの照合結果より得られる、部分文の照合スコア及び構文解析結果と、無音の標準パタンに一致すると判断される入力音声の継続時間とを用いて、発話の終了を判断する終話検出方法が開示されている。例えば、文法規則に受理される部分文の照合スコアが全ての部分文の照合スコアのうちで最大であり、無音の標準パタンと一致すると判断される入力音声の継続時間が予め定めた所定時間以上である場合に、発声の終了時点と判断する。
特開2005−017932号公報 特開平8−115093号公報
しかし、上述した従来の音声認識装置では、いずれも一定時間以上の無音時間を検出した場合に発話の終了時点であると判断している。図11は姓名文法の一例を示す図である。したがって、図11に示すような姓と名、姓だけ、名だけの発声を許す姓名文法を用いた音声認識時には、名だけの発話を含む音声データが入力され文法上後続の単語が無いことが明らかである場合であっても、長めに設定された一定時間が経過した後でなければ発話終了であると判断することができず、音声認識レスポンスを早めることができないという問題点があった。すなわち音声認識レスポンスを早めるために発話の終了と判断するまでの時間を短縮した場合、姓と名との間の無音区間を誤って発話終了と判断するおそれがあるからである。
一方、コマンド文法のような離散単語認識用の音声認識エンジンのみを用いる場合、後続する単語がない(ポーズ区間が有り得ない)ことから、連続単語認識用の音声認識エンジンを用いる場合よりも短い無音区間を検出するのみで音声の終了時点を特定することができる。しかし、連続単語認識用の音声認識エンジンと併用する場合(いわゆるマルチグラマーでの利用)、上述したのと同様に、一定時間以上の無音区間を検出した場合に発話の終了時点であると判断する必要があり、一定時間経過した後でなければ発話終了と判断することができず、音声認識レスポンスを早めることができないという問題点があった。
本発明は斯かる事情に鑑みてなされたものであり、音声認識用文法を単独で用いる場合、又は離散単語認識用の文法と併用する場合であっても、発話の終了時点を早期に特定することができ音声認識レスポンスを早めることが可能な音声認識装置、音声認識方法、及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る音声認識装置は、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識装置において、言語モデルに関する情報を記憶する言語モデル記憶手段と、音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶する記憶手段と、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段と、抽出された認識候補単語列から発話末尾の単語が最終単語であるか否かを判断する最終単語判断手段と、該最終単語判断手段で最終単語であると判断された場合、前記基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段とを備えることを特徴とする。なお、最終単語とは、文法を用いて受理することが可能な全ての単語列において、必ず最後(単語列末尾)になる単語を意味する。また、最終単語であるか否かを判断する場合、同音異義語は同一の単語とみなしても良い。読み及び表記が同一であっても、文法上異なる位置に存在する単語を区別しても良い。
第2発明に係る音声認識装置は、第1発明において、前記認識候補抽出手段で抽出された認識候補単語列が更新されたか否かを判断する手段と、該手段で更新されたと判断した場合、前記認識候補単語列を外部へ出力する認識候補出力手段と、無音区間の継続時間が前記基準時間に到達したか否かを判断する手段と、該手段で到達したと判断した場合、到達時点での認識候補単語列を外部へ出力する手段とを備えることを特徴とする。
第3発明に係る音声認識装置は、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識装置において、言語モデルに関する情報を記憶する言語モデル記憶手段と、前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段と、認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段と、前記単語群ごとの最終単語になる確率を記憶する手段と、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段と、抽出された認識候補単語列の末尾の単語が対応する単語群の最終単語になる確率に基づいて、前記基準時間を変更する手段と、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段とを備えることを特徴とする。
第4発明に係る音声認識装置は、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識装置において、言語モデルに関する情報を記憶する言語モデル記憶手段と、前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段と、認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段と、前記単語群ごとに前記基準時間を記憶する手段と、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段と、抽出された認識候補単語列の末尾の単語が対応する単語群の基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段とを備えることを特徴とする。
第5発明に係る音声認識方法は、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識方法において、言語モデルに関する情報を記憶し、音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶し、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、抽出された認識候補単語列から発話末尾の単語が最終単語であるか否かを判断し、最終単語であると判断された場合、前記基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力することを特徴とする。
第6発明に係る音声認識方法は、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識方法において、言語モデルに関する情報を記憶し、前記言語モデルに含まれる認識語彙を単語群に分類して記憶し、認識候補単語列の末尾の単語を単語群と対応付けて記憶し、前記単語群ごとの最終単語になる確率を記憶し、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、抽出された認識候補単語列の末尾の単語が対応する単語群の最終単語になる確率に基づいて、前記基準時間を変更し、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力することを特徴とする。
第7発明に係る音声認識方法は、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識方法において、言語モデルに関する情報を記憶し、前記言語モデルに含まれる認識語彙を単語群に分類して記憶し、認識候補単語列の末尾の単語を単語群と対応付けて記憶し、前記単語群ごとに前記基準時間を記憶し、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、抽出された認識候補単語列の末尾の単語が対応する単語群の基準時間内に新たな音声データが存在しないときに音声認識結果を出力することを特徴とする。
第8発明に係るコンピュータプログラムは、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とするコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、言語モデルに関する情報を記憶する言語モデル記憶手段、音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶する記憶手段、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段、抽出された認識候補単語列から発話末尾の単語が最終単語であるか否かを判断する最終単語判断手段、該最終単語判断手段で最終単語であると判断された場合、前記基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段として機能させることを特徴とする。
第9発明に係るコンピュータプログラムは、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とするコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、言語モデルに関する情報を記憶する言語モデル記憶手段、前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段、認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段、前記単語群ごとの最終単語になる確率を記憶する手段、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段、抽出された認識候補単語列の末尾の単語が対応する単語群の最終単語になる確率に基づいて、前記基準時間を変更する手段、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段として機能させることを特徴とする。
第10発明に係るコンピュータプログラムは、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とするコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、言語モデルに関する情報を記憶する言語モデル記憶手段、前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段、認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段、前記単語群ごとに前記基準時間を記憶する手段、前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段、抽出された認識候補単語列の末尾の単語が対応する単語群の基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段として機能させることを特徴とする。
第1発明、第5発明及び第8発明では、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする。言語モデルに関する情報を記憶し、音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶しておく。言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、抽出された認識候補単語列から発話末尾の単語が最終単語であるか否かを判断する。最終単語であると判断された場合、基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、基準時間内に新たな音声データが存在しないときに音声認識結果を出力する。これにより、受け付けた音声データに含まれている発話が最終単語に対応する発話、すなわち受け付ける発話の最後の単語であることを確実に検出することができ、不必要な待ち時間を設けることなく音声認識結果を表示することが可能となる。
第2発明では、抽出された認識候補単語列が更新される都度、認識候補単語列を外部へ出力しておき、無音区間の継続時間が前記基準時間に到達した場合、到達時点での認識候補単語列を外部へ出力する。これにより、受け付けた音声データに含まれている発話が最終単語に対応する発話、すなわち受け付ける発話の最後の単語であることを検出するか否かにかかわらず音声認識結果を早期に出力しておき、最終単語に対応する発話、すなわち受け付ける発話の最後の単語であることを検出した場合以外は、見かけ上音声認識レスポンスが向上する。また、最終単語に対応する発話、すなわち受け付ける発話の最後の単語ではない場合には、出力される音声認識結果を更新することにより、音声認識結果の正確性を担保することができる。
第3発明、第6発明及び第9発明では、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする。言語モデルに関する情報を記憶し、言語モデルに含まれる認識語彙を単語群に分類して記憶し、認識候補単語列の末尾の単語を単語群と対応付けて記憶し、単語群ごとの最終単語になる確率を記憶しておく。言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、抽出された認識候補単語列の末尾の単語が対応する単語群の最終単語になる確率に基づいて基準時間を変更し、基準時間内に新たな音声データが存在しないときに音声認識結果を出力する。これにより、最終単語に対応する発話、すなわち受け付ける発話の最後の単語である確率が高い発話を受け付けた場合にはより短い時間で音声認識結果を表示又は出力することができ、音声認識レスポンスを向上することが可能となる。
第4発明、第7発明及び第10発明では、音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする。言語モデルに関する情報を記憶し、言語モデルに含まれる認識語彙を単語群に分類して記憶し、認識候補単語列の末尾の単語を単語群と対応付けて記憶し、単語群ごとに基準時間を記憶しておく。言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、抽出された認識候補単語列の末尾の単語が対応する単語群の基準時間内に新たな音声データが存在しないときに音声認識結果を出力する。これにより、新たな音声データが存在せず最終単語に対応する発話、すなわち受け付ける発話の最後の単語である確率が高い発話ほど基準時間を短く設定しておくことにより、認識候補単語列の末尾の単語が対応する単語群ごとに設定されている基準時間に基づいて待ち時間を調整することができ、音声認識レスポンスを向上することが可能となる。
第1発明、第5発明及び第8発明によれば、受け付けた音声データに含まれている発話が最終単語に対応する発話、すなわち受け付ける発話の最後の単語であることを確実に検出することができ、不必要な待ち時間を設けることなく音声認識結果を表示することが可能となる。
第2発明によれば、受け付けた音声データに含まれている発話が最終単語に対応する発話、すなわち受け付ける発話の最後の単語であることを検出するか否かにかかわらず音声認識結果を早期に出力しておき、最終単語に対応する発話、すなわち受け付ける発話の最後の単語であることを検出した場合以外は、見かけ上音声認識レスポンスが向上する。また、最終単語に対応する発話、すなわち受け付ける発話の最後の単語ではない場合には、出力される音声認識結果を更新することにより、音声認識結果の正確性を担保することができる。
第3発明、第6発明及び第9発明によれば、最終単語に対応する発話、すなわち受け付ける発話の最後の単語である確率が高い発話を受け付けた場合にはより短い時間で音声認識結果を表示又は出力することができ、音声認識レスポンスを向上することが可能となる。
第4発明、第7発明及び第10発明によれば、新たな音声データが存在せず最終単語に対応する発話、すなわち受け付ける発話の最後の単語である確率が高い発話ほど基準時間を短く設定しておくことにより、認識候補単語列の末尾の単語が対応する単語群ごとに設定されている基準時間に基づいて待ち時間を調整することができ、音声認識レスポンスを向上することが可能となる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、本発明の実施の形態1に係る音声認識装置1の構成を示すブロック図である。音声認識装置1は、装置全体を制御するCPU等の制御手段11、本発明の実施の形態1に係る音声認識装置1で実行可能なコンピュータプログラム101及びデータ等の各種情報を記録したCD−ROM等の記録媒体102から各種情報を読み取るCD−ROMドライブ等の補助記憶手段12、補助記憶手段12により読み取った各種情報を記録するハードディスク等の記録手段13を備えている。制御手段11が、記録手段13から本発明に係るコンピュータプログラム101及びデータ等の各種情報を読み取り、情報を一時的に記憶するRAM等の記憶手段14に記憶させてコンピュータプログラム101に含まれる各種手順を実行することで、コンピュータは、本発明に係る音声認識装置1として動作する。
記録手段13は、音声認識用の言語モデルを記憶してある音声認識用言語モデル記憶部131、及び言語モデルに対応する認識語彙を記憶してある認識語彙辞書132を備えている。音声認識装置1は、さらに外部とデータ通信する通信手段15、キーボード、マウス等の入力手段16、CRTモニタ、LCDモニタ等の認識結果出力手段17、及びマイクロホン、マイクロホンアレイ等の音声データ入力手段18を備えている。
なお、言語モデル内に認識語彙を含めるか否かを定義の問題であり、含めても良いし、含めなくても良い。また、認識結果は、認識結果出力手段17へ表示出力することに限定されるものではなく、認識結果を用いる他の装置、他のアプリケーション等へ通信手段15を介して出力するものであっても良い。音声データ入力手段18も、マイクロホン等に限定されるものではなく、他の装置、他のアプリケーション等から通信手段15を介して受信するものであっても良いし、記録手段13、記憶手段14、補助記憶手段12から読取るものであっても良い。
図2及び図3は、本発明の実施の形態1に係る音声認識装置1の制御手段11の音声認識処理の手順を示すフローチャートである。音声認識装置1の制御手段11は、音声データを取得したか否かを判断し(ステップS201)、制御手段11は、音声データを取得するまで待ち状態となる(ステップS201:NO)。音声データを受け付けたか否かを判断する方法は特に限定されるものではない。例えば、サウンドデバイスドライバのバッファ残量を常時監視しておき、一定時間以上のデータがバッファに蓄積された時点で読み出し、それまでは読み出さないようにすることで、バッファ残量により音声データを受け付けたか否かを判断することができる。なお、認識処理の演算処理負荷が大きく、バッファがオーバーフローするおそれがある場合、一定時間間隔でバッファに蓄積されたデータを読み出す方法を採用することが多いが、この場合であっても一定時間経過したか否かに応じて音声データを受け付けたか否かを判断することができる。
制御手段11は、取得した音声データから発話の開始を検出したか否かを判断し(ステップS202)、制御手段11が、発話の開始を検出していないと判断した場合(ステップS202:NO)、制御手段11は、ステップS201へ処理を戻す。制御手段11が、発話の開始を検出したと判断した場合(ステップS202:YES)、制御手段11は、継続して音声データを取得したか否かを判断し(ステップS203)、制御手段が、音声データを取得したと判断した場合(ステップS203:YES)、制御手段11は、発話の終了候補を検出したか否かを判断する(ステップS204)。なお、発話の開始、及び発話の終了候補を検出する方法は特に限定されるものではない。例えば受け付けた音声データのパワーを常時計測しておき、計測した音声データのパワーが所定の閾値を一定時間以上継続して超えた場合に、発話の開始を検出したものと判断し、計測した音声データのパワーが所定の閾値を一定時間(例えば促音の継続時間長より少し長い0.2秒間)以上継続して下回った場合に、発話の終了候補を検出したものと判断する方法であっても良い。
制御手段11が、発話の終了候補を検出していないと判断した場合(ステップS204:NO)、制御手段11は、発話の終了候補の検出待ち状態となる。制御手段11が、発話の終了候補を検出したと判断した場合(ステップS204:YES)、制御手段11は、内蔵するタイマ、時計等により、発話の終了候補からの無音継続時間の計時を開始し(ステップS205)、記録手段13に記録してある音声認識用文法、及び認識語彙辞書132を照会して、受け付けた音声データに対する認識候補単語列を抽出する(ステップS206)。制御手段11は、後続する発話がないことを確認する(発話の終了を確定する)のに十分な時間である基準時間Taが経過したか否かを判断する(ステップS207)。
制御手段11が、基準時間Taが経過したと判断した場合(ステップS207:YES)、制御手段11は、受け付けた発話が最終の発話である(発話の終了が確定した)として、抽出した認識候補単語列を音声認識結果として出力する(ステップS208)。なお、認識候補単語列が抽出されていない場合、制御手段11は、言語モデルにマッチしない(受理できない)発話と判断し、認識エラーを示す情報を出力する場合も生じ得る。すなわち、後続の発話が存在する場合、発話間に存在する無音区間の長さには相当の限界時間が存在することから、制御手段11は、受け付けた発話の後ろに存在する無音区間がどの程度継続するかに応じて、発話が終了したか否かを判断することが可能となる。
特に連続単語入力時には、無音区間の存在を検出した場合であっても、該無音区間が単なる音声間のポーズ区間である可能性がある。したがって、音声認識結果の出力を少しでも早める、すなわち音声認識レスポンスを向上させるために、発話が終了したか否かを判断するための無音区間の継続時間の判断を短い基準時間で行うようにした場合、発話の途中であるにもかかわらず、発話が終了したと誤認識するおそれがあった。
斯かる事態を回避すべく、従来は、基準時間Taを0.5乃至1.5秒程度に設定し、基準時間Ta内に後続する発話を検出しなかった場合には、発話が終了したと判断していた。従って、音声認識結果は基準時間Ta以内に確定しているにもかかわらず、結果として出力するまで出力待ちとなっており、音声認識レスポンスの向上を図ることが困難であった。
本実施の形態1では、音声認識用文法の語彙、すなわち音声の認識候補単語列に対応付けて最終の音声であるか否かを示す最終フラグを設けてある。図4は、図11に示す姓名文法が音声認識用言語モデル記憶部131に記憶されている場合の認識語彙データの構成の一例を示す図である。図4に示すように、人物の姓名を音声として受け付ける場合、苗字(姓)部分である「山田」、「田中」等は後続する音声が存在する部分であるのに対して、名前(名)部分である「一郎」、「太郎」等は発話の最後の単語にしかなり得ない。したがって、苗字部分には最終フラグ‘0’を設定し、名前部分には最終フラグ‘1’を設定してある。なお、姓、名の区別は、本発明に必ずしも必要ではない。
制御手段11が、基準時間Taが経過していないと判断した場合(ステップS207:NO)、制御手段11は、抽出した認識候補単語列の最終フラグが‘1’であるか否かを判断する(ステップS209)。制御手段11が、最終フラグが‘1’であると判断した場合(ステップS209:YES)、制御手段11は、後続する発話が存在しないものと判断することから、音声認識結果の出力を基準時間Taだけ待つ必要が無い。したがって、制御手段11は、基準時間Taより短い時間であるTb経過したか否かを判断する(ステップS210)。時間Tbは基準時間Taより短い時間であれば特に限定されるものではなく、例えば0.2乃至0.7秒である。
制御手段11が、最終フラグが‘1’ではなく‘0’であると判断した場合(ステップS209:NO)、制御手段11は、音声データをさらに取得し(ステップS211:YES)、再度発話の開始を検出したか否かを判断する(ステップS212)。制御手段11が、再度発話の開始を検出していないと判断した場合(ステップS212:NO)、制御手段11は、処理をステップS207へ戻し、上述した処理を繰り返す。制御手段11が、再度発話の開始を検出したと判断した場合(ステップS212:YES)、制御手段11は、計時をリセットし(ステップS213)、処理をステップS203へ戻し、上述した処理を繰り返す。
制御手段11が、時間Tb経過していないと判断した場合(ステップS210:NO)、制御手段11は、音声データをさらに取得し(ステップS211:YES)、再度発話の開始を検出したか否かを判断する(ステップS212)。制御手段11が、再度発話の開始を検出していないと判断した場合(ステップS212:NO)、制御手段11は、処理をステップS207へ戻し、上述した処理を繰り返す。制御手段11が、再度発話の開始を検出したと判断した場合(ステップS212:YES)、制御手段11は、計時をリセットし(ステップS213)、処理をステップS203へ戻し、上述した処理を繰り返す。
制御手段11が、時間Tb経過したと判断した場合(ステップS210:YES)、制御手段11は、抽出した認識候補単語列を音声認識結果として、例えば表示手段17へ表示出力する(ステップS208)。
以上のように本実施の形態1によれば、抽出された認識候補単語列が最後の単語となるか否かを示す情報を用いることにより、受け付けた発話が最終単語に対応する発話、すなわち受け付ける音声データに含まれる発話の最後の単語であることを確実に検出することができ、不必要な待ち時間を設けることなく音声認識結果を表示することが可能となる。
なお、最後の単語となるか否かを示す情報は、認識候補単語列と対応付けた音声認識用文法の一項目として記憶しておくことに限定されるものではなく、例えば音声認識用文法が離散単語認識用の文法である場合には、文法に離散単語認識用である旨の情報を付与しておき、音声認識時に制御手段11が離散単語認識用である旨の情報の存在を検出した場合、文法内の全ての認識語彙を最後の単語となるように設定しても良い。また、言語モデルとして、図11のような単語の繋がりの有無だけを示す文法だけではなく、その遷移確率を付加した文法であっても良いし、文脈自由文法ではなく確率モデル(例えばNグラム)を用いても良い。Nグラムを用いる場合、Nが2以上である場合にはその情報から最終単語を探索することが可能となる。Nが1である場合であっても、最終単語であるか否かに関する情報を単語と対応付けて記憶しておけば良い。
また、認識候補単語列が複数存在する場合、認識候補単語列を選択するために周知の方法、例えばDPマッチング法、HMM法等を用いて算出した評価スコアが上位の所定個数の認識候補単語列、あるいは評価スコアが最大である認識候補単語列の評価スコア値の所定範囲内、あるいは上位N個の評価スコア値を有する認識候補単語列についてのみ上述の最終フラグの判断処理を実行するようにすることで、誤った認識結果候補に基づいて、ポーズ区間を誤って発話の終了であると判断する危険性を低減することも可能となる。例えば、評価スコア値が上位N番目までの認識候補単語列の全てが最終単語候補である場合のみ最終フラグが‘1’であるように設定することで、上述の危険性を低減することが可能となる。
また、上述の実施の形態1では、音声認識による認識候補単語列を抽出又は出力する場合について説明しているが、認識候補を識別さえできればよく、例えば認識候補IDを抽出又は出力するものであっても良い。
さらに、上述の実施の形態1は、入力音声データを逐次読み込みつつ発話区間であると判断された部分についてのみ、発話開始、発話終了を検出しているが、特にこれに限定されるものではなく、例えば入力音声データの全区間について上述した検出処理を実行しても良い。
(実施の形態2)
以下、実施の形態2に係る音声認識装置1を示す図面に基づいて詳述する。本発明の実施の形態2に係る音声認識装置1の構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態2では、抽出された認識候補単語列を、後続の音声の有無にかかわらず基準時間Taよりも短い時間Tbで外部へ出力し、後続する音声がなかった場合には、既に出力した認識候補単語列で確定する旨を外部へ出力するのみで、早期に出力した分だけ音声認識結果を早期に出力する点で実施の形態1とは相違する。
図5及び図6は、本発明の実施の形態2に係る音声認識装置1の制御手段11の音声認識処理の手順を示すフローチャートである。音声認識装置1の制御手段11は、音声データを取得したか否かを判断し(ステップS501)、制御手段11は、音声データを取得するまで待ち状態となる(ステップS501:NO)。音声データを受け付けたか否かを判断する方法は特に限定されるものではない。
制御手段11は、取得した音声データから発話の開始を検出したか否かを判断し(ステップS502)、制御手段11が、発話の開始を検出していないと判断した場合(ステップS502:NO)、制御手段11は、ステップS501へ処理を戻す。制御手段11が、発話の開始を検出したと判断した場合(ステップS502:YES)、音声データを取得したか否かを判断し(ステップS503)、制御手段11が、音声データを取得したと判断した場合(ステップS503:YES)。制御手段11は、発話の終了候補を検出したか否かを判断する(ステップS504)。なお、発話の開始、及び発話の終了候補を検出する方法は特に限定されるものではない。例えば受け付けた音声データのパワーを常時計測しておき、計測した音声データのパワーが所定の閾値を一定時間以上継続して超えた場合に、発話の開始を検出したものと判断し、計測した音声データのパワーが所定の閾値を一定時間(例えば促音の継続時間長より少し長い0.2秒間)以上継続して下回った場合に、発話の終了候補を検出したものと判断する方法であっても良い。
制御手段11が、発話の終了候補を検出していないと判断した場合(ステップS504:NO)、制御手段11は、発話の終了候補の検出待ち状態となる。制御手段11が、発話の終了候補を検出したと判断した場合(ステップS504:YES)、制御手段11は、内蔵するタイマ、時計等により、発話の終了候補からの無音継続時間の計時を開始し(ステップS505)、記録手段13に記録してある音声認識用文法、及び認識語彙辞書132を照会して、受け付けた音声データに対する認識候補単語列を抽出する(ステップS506)。制御手段11は、後続する音声がないことを確認するのに十分な時間である基準時間Taよりも短い時間Tbが経過したか否かを判断する(ステップS507)。
制御手段11が、時間Tbが経過したと判断した場合(ステップS507:YES)、制御手段11は、受け付けた発話が最終単語であるか否かにかかわらず、その時点での最良スコアを有する認識候補単語列を未確定音声認識結果として出力する(ステップS508)。すなわち、後続の発話が存在するか否かにかかわらず、音声認識結果を表示手段17へ表示、外部のアプリケーションへ送信等することにより、ユーザは、未確定ではあるものの音声認識結果の候補を確認することが可能となる。なお、既に出力した認識候補単語列が存在する場合、直前に出力した認識候補単語列と比較し、相違する場合にのみ出力するようにしても良い。
制御手段11が、時間Tbが経過していないと判断した場合(ステップS507:NO)、制御手段11は、音声データをさらに取得し(ステップS509:YES)、再度発話の開始を検出したか否かを判断する(ステップS510)。制御手段11が、再度発話の開始を検出していないと判断した場合(ステップS510:NO)、制御手段11は、処理をステップS507へ戻し、上述した処理を繰り返す。制御手段11が、再度発話の開始を検出したと判断した場合(ステップS510:YES)、制御手段11は、計時をリセットし(ステップS511)、処理をステップS503へ戻し、上述した処理を繰り返す。
制御手段11は、基準時間Taが経過したか否かを判断し(ステップS512)、制御手段11が、基準時間Taが経過していないと判断した場合(ステップS512:NO)、制御手段11は、音声データをさらに取得し(ステップS513:YES)、再度発話の開始を検出したか否かを判断する(ステップS514)。制御手段11が、再度発話の開始を検出していないと判断した場合(ステップS514:NO)、制御手段11は、処理をステップS512へ戻し、上述した処理を繰り返す。制御手段11が、再度発話の開始を検出したと判断した場合(ステップS514:YES)、制御手段11は、計時をリセットし(ステップS515)、処理をステップS503へ戻し、上述した処理を繰り返す。
制御手段11が、基準時間Taが経過したと判断した場合(ステップS512:YES)、制御手段11は、後続の発話が存在しないものと判断し、音声認識結果が確定した旨の信号を出力する(ステップS516)。該信号を受け付けた外部のアプリケーションは、例えば表示手段17の画面の更新をロックし、音声認識結果を確定する等の処理を実行することにより、音声認識結果を確定する。
以上のように本実施の形態2によれば、受け付けた発話が最終単語に対応する発話、すなわち受け付ける発話の最後の単語であることを検出するか否かにかかわらず音声認識結果を早期に出力し、最終単語に対応する発話、すなわち受け付ける発話の最後であることを検出した場合には確定信号のみを出力することにより、ユーザは比較的早期に音声認識結果を目視することができ、ユーザにとっての音声認識レスポンスが向上する。また、最終単語に対応する発話、すなわち受け付ける発話の最後ではない場合には、出力される音声認識結果を更新することにより、実施の形態1と同様のレスポンスを維持しつつ、音声認識結果の正確性を担保することができる。
なお、本実施の形態2では、発話終了候補の検出時にのみ認識候補単語列を抽出しており、未確定音声認識結果を出力するタイミングがこれと一致している場合について説明しているが、特にこれに限定されるものではなく、例えば認識候補単語列の抽出をフレームに同期させて実行し、最良スコアの認識候補単語列の更新があった場合に出力するものであっても良い。
(実施の形態3)
以下、実施の形態3に係る音声認識装置1を示す図面に基づいて詳述する。本発明の実施の形態3に係る音声認識装置1の構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態3では、音声として情報を受け付ける区間の単語群、例えば姓名の苗字部分、名前部分、住所の郵便番号、市町村名、地番等を識別する情報に対応付けて、最終単語となる確率Pi(iは自然数)を統計的に算出して記憶しておき、算出した確率Piに基づいて、後続の文字が存在するか否かを判断する基準となる基準時間Tを算出する点において、実施の形態1と相違する。なお、確率Piは、単語群ごとではなく、認識語彙ごとに算出しても良い。また、全ユーザに対する確率であっても良いし、ユーザごとに異なる確率、あついは両確率の中間値のように両確率から新たに算出するものであっても良い。
確率Piの値は、認識語彙辞書132の一データ項目として記憶しておくことにより、単語に対する単語群に対応付けて容易に抽出することができる。もちろん、確率Piの記憶方法、認識語彙との対応付けは、特にこれに限定されるものではない。
図7及び図8は、本発明の実施の形態3に係る音声認識装置1の制御手段11の音声認識処理の手順を示すフローチャートである。音声認識装置1の制御手段11は、音声データを取得したか否かを判断し(ステップS701)、制御手段11は、音声データを取得するまで待ち状態となる(ステップS701:NO)。音声データを受け付けたか否かを判断する方法は特に限定されるものではない。
制御手段11は、取得した音声データから発話の開始を検出したか否かを判断し(ステップS702)、制御手段11が、発話の開始を検出していないと判断した場合(ステップS702:NO)、制御手段11は、ステップS701へ処理を戻す。制御手段11が、発話の開始を検出したと判断した場合(ステップS702:YES)、音声データを取得したか否かを判断し(ステップS703)、制御手段11が、音声データを取得したと判断した場合(ステップS703:YES)。制御手段11は、発話の終了候補を検出したか否かを判断する(ステップS704)。なお、発話の開始、及び発話の終了候補を検出する方法は特に限定されるものではない。例えば受け付けた音声データのパワーを常時計測しておき、計測した音声データのパワーが所定の閾値を一定時間以上継続して超えた場合に、発話の開始を検出したものと判断し、計測した音声データのパワーが所定の閾値を一定時間(例えば促音の継続時間長より少し長い0.2秒間)以上継続して下回った場合に、発話の終了候補を検出したものと判断する方法であっても良い。
制御手段11が、発話の終了候補を検出していないと判断した場合(ステップS704:NO)、制御手段11は、発話の終了候補の検出待ち状態となる。制御手段11が、発話の終了候補を検出したと判断した場合(ステップS704:YES)、制御手段11は、内蔵するタイマ、時計等により、発話の終了候補からの無音継続時間の計時を開始し(ステップS705)、記録手段13に記録してある音声認識用文法、及び認識語彙辞書132を照会して、受け付けた音声データに対する認識候補単語列を抽出する(ステップS706)。
制御手段11は、抽出された認識候補単語列に基づいて、後続の文字が存在するか否かを判断する基準となる設定時間を記憶手段14から読み出す(ステップS707)。制御手段11は、認識候補単語列の単語群に基づいて、最終の単語となる確率Pi(iは自然数)を記憶手段14から読み出し(ステップS708)、読み出した確率Pi(iは自然数)及び認識候補単語列ごとの設定時間に基づいて、後続の文字が存在するか否かを判断する基準となる基準時間Tを算出する(ステップS709)。基準時間Tの算出方法は特に限定されるものではない。
例えば、認識文法が「姓名」であり、単語群として苗字部分(姓)だけの音声を受け付けた場合、名前部分(名)が最終の単語となる確率Pi(0≦Pi≦1)に対して、苗字部分(姓)が最終の単語となる確率は(1−Pi)となる。したがって、最終の音声であると判断した場合の基準時間をTb、最終の音声ではないと判断した場合の基準時間をTaとし(Ta>Tb)、実際に最終の音声であるか否かを判断する基準となる待ち時間である基準時間Tは、(数1)に基づいて算出することができる。
(数1)
T=Pi・Tb+(1−Pi)・Ta ・・・ (数1)
制御手段11は、基準時間Tが経過したか否かを判断する(ステップS710)。制御手段11が、基準時間Tが経過していないと判断した場合(ステップS710:NO)、制御手段11は、音声データをさらに取得し(ステップS712:YES)、再度発話の開始を検出したか否かを判断する(ステップS713)。制御手段11が、再度発話の開始を検出していないと判断した場合(ステップS713:NO)、制御手段11は、処理をステップS710へ戻し、上述した処理を繰り返す。制御手段11が、再度発話の開始を検出したと判断した場合(ステップS713:YES)、制御手段11は、計時をリセットし(ステップS714)、処理をステップS703へ戻し、上述した処理を繰り返す。
制御手段11が、基準時間Tが経過したと判断した場合(ステップS710:YES)、制御手段11は、後続の音声が存在しないものと判断し、抽出した認識候補単語列を音声認識結果として、例えば表示手段17へ出力する(ステップS711)。
以上のように本実施の形態3によれば、取得した音声データに含まれている発話が認識文法にて最終の単語となりうる確率に応じて、最終の単語であるか否かを判断する基準時間を変動させることにより、実情に即した待ち時間で音声認識結果を出力することが可能となる。
(実施の形態4)
以下、実施の形態4に係る音声認識装置1を示す図面に基づいて詳述する。本発明の実施の形態4に係る音声認識装置1の構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態4では、音声として情報を受け付ける区間の単語群が認識候補単語列の末尾の単語である場合、実際に最終の音声であるか否かを判断する基準となる基準時間Tを、単語群ごとに記憶しておく点において、実施の形態1と相違する。なお、基準時間Tは、単語群ごとに記憶しておくことに限定されるものではなく、認識語彙ごとに記憶しておいても良い。
図9及び図10は、本発明の実施の形態4に係る音声認識装置1の制御手段11の音声認識処理の手順を示すフローチャートである。音声認識装置1の制御手段11は、音声データを取得したか否かを判断し(ステップS901)、制御手段11は、音声データを取得するまで待ち状態となる(ステップS901:NO)。音声データを受け付けたか否かを判断する方法は特に限定されるものではない。
制御手段11は、取得した音声データから発話の開始を検出したか否かを判断し(ステップS902)、制御手段11が、発話の開始を検出していないと判断した場合(ステップS902:NO)、制御手段11は、ステップS901へ処理を戻す。制御手段11が、発話の開始を検出したと判断した場合(ステップS902:YES)、音声データを取得したか否かを判断し(ステップS903)、制御手段11が、音声データを取得したと判断した場合(ステップS903:YES)。制御手段11は、発話の終了候補を検出したか否かを判断する(ステップS904)。なお、発話の開始、及び発話の終了候補を検出する方法は特に限定されるものではない。例えば受け付けた音声データのパワーを常時計測しておき、計測した音声データのパワーが所定の閾値を一定時間以上継続して超えた場合に、発話の開始を検出したものと判断し、計測した音声データのパワーが所定の閾値を一定時間(例えば促音の継続時間長より少し長い0.2秒間)以上継続して下回った場合に、発話の終了候補を検出したものと判断する方法であっても良い。
制御手段11が、発話の終了候補を検出していないと判断した場合(ステップS904:NO)、制御手段11は、発話の終了候補の検出待ち状態となる。制御手段11が、発話の終了候補を検出したと判断した場合(ステップS904:YES)、制御手段11は、内蔵するタイマ、時計等により、発話の終了候補からの無音継続時間の計時を開始し(ステップS905)、記録手段13に記録してある音声認識用文法、及び認識語彙辞書132を照会して、受け付けた音声データに対する認識候補単語列を抽出する(ステップS906)。
制御手段11は、抽出された認識候補単語列及び末尾の単語の単語群に基づいて、後続の文字が存在するか否かを判断する基準となる基準時間Tを記憶手段14から読み出す(ステップS907)。制御手段11は、基準時間Tが経過したか否かを判断する(ステップS908)。
制御手段11が、基準時間Tが経過していないと判断した場合(ステップS908:NO)、制御手段11は、音声データをさらに取得し(ステップS910:YES)、再度発話の開始を検出したか否かを判断する(ステップS911)。制御手段11が、再度発話の開始を検出していないと判断した場合(ステップS911:NO)、制御手段11は、処理をステップS908へ戻し、上述した処理を繰り返す。制御手段11が、再度発話の開始を検出したと判断した場合(ステップS911:YES)、制御手段11は、計時をリセットし(ステップS912)、処理をステップS903へ戻し、上述した処理を繰り返す。
制御手段11が、基準時間Tが経過したと判断した場合(ステップS908:YES)、制御手段11は、後続の音声が存在しないものと判断し、抽出した認識候補単語列を音声認識結果として、例えば表示手段17へ表示出力する(ステップS909)。
以上のように本実施の形態4によれば、新たな音声データが存在せず最終単語に対応する発話、すなわち受け付ける発話の最後の単語である確率が高い発話ほど基準時間を短く設定しておくことにより、認識候補単語列の末尾の単語が対応する単語群ごとに設定されている基準時間に基づいて待ち時間を調整することができ、音声認識レスポンスを向上することが可能となる。
なお、上述した実施の形態1乃至4にて、使用する音声認識用文法は1つである必要は無く、例えば連続単語認識用文法と離散単語認識用文法とを併用するものであっても良い。この場合、離散単語認識用文法を用いる場合には、基準時間Tbで十分であり、連続単語認識用文法を用いる場合に、上述した実施の形態1乃至4の方法を用いることにより、基準時間Taをより短縮してTbに近づけることになる。したがって、従来のいわゆるマルチグラマーを用いる音声認識装置では、離散単語認識用文法を用いており、しかも離散単語の発話を入力されているにもかかわらず、連続単語認識用文法と併用されているが故に基準時間Tを短縮することができず不要な待ち時間が発生していたが、本実施の形態1乃至4に係る音声認識装置を用いることで、音声認識結果をより早期に出力することが可能となる。
なお、個別の音声認識用文法で認識する場合は最終単語であっても、マルチグラマーで認識する場合には同時に使用する音声認識用文法によっては最終単語とならない場合も生じ得る。これに起因する判定ミスを回避するために、複数の音声認識用文法を併用する場合には、使用する全ての音声認識用文法を集約して一の音声認識用文法とした場合に、各認識語彙が最終単語であるか否かを判断することが好ましい。
本発明の実施の形態1に係る音声認識装置の構成を示すブロック図である。 本発明の実施の形態1に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 本発明の実施の形態1に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 認識語彙データの構成の一例を示す図である。 本発明の実施の形態2に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 本発明の実施の形態2に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 本発明の実施の形態3に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 本発明の実施の形態3に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 本発明の実施の形態4に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 本発明の実施の形態4に係る音声認識装置の制御手段の音声認識処理の手順を示すフローチャートである。 姓名文法の一例を示す図である。
符号の説明
1 音声認識装置
11 制御手段
13 記録手段
14 記憶手段
18 音声データ入力手段
101 コンピュータプログラム
102 記録媒体
131 音声認識用言語モデル記憶部
132 認識語彙辞書

Claims (10)

  1. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識装置において、
    言語モデルに関する情報を記憶する言語モデル記憶手段と、
    音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶する記憶手段と、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段と、
    抽出された認識候補単語列から発話末尾の単語が最終単語であるか否かを判断する最終単語判断手段と、
    該最終単語判断手段で最終単語であると判断された場合、前記基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段と
    を備えることを特徴とする音声認識装置。
  2. 前記認識候補抽出手段で抽出された認識候補単語列が更新されたか否かを判断する手段と、
    該手段で更新されたと判断した場合、前記認識候補単語列を外部へ出力する認識候補出力手段と、
    無音区間の継続時間が前記基準時間に到達したか否かを判断する手段と、
    該手段で到達したと判断した場合、到達時点での認識候補単語列を外部へ出力する手段と
    を備えることを特徴とする請求項1記載の音声認識装置。
  3. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識装置において、
    言語モデルに関する情報を記憶する言語モデル記憶手段と、
    前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段と、
    認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段と、
    前記単語群ごとの最終単語になる確率を記憶する手段と、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段と、
    抽出された認識候補単語列の末尾の単語が対応する単語群の最終単語になる確率に基づいて、前記基準時間を変更する手段と、
    前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段と
    を備えることを特徴とする音声認識装置。
  4. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識装置において、
    言語モデルに関する情報を記憶する言語モデル記憶手段と、
    前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段と、
    認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段と、
    前記単語群ごとに前記基準時間を記憶する手段と、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段と、
    抽出された認識候補単語列の末尾の単語が対応する単語群の基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段と
    を備えることを特徴とする音声認識装置。
  5. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識方法において、
    言語モデルに関する情報を記憶し、
    音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶し、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、
    抽出された認識候補単語列から発話末尾の単語が最終単語であるか否かを判断し、
    最終単語であると判断された場合、前記基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力することを特徴とする音声認識方法。
  6. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識方法において、
    言語モデルに関する情報を記憶し、
    前記言語モデルに含まれる認識語彙を単語群に分類して記憶し、
    認識候補単語列の末尾の単語を単語群と対応付けて記憶し、
    前記単語群ごとの最終単語になる確率を記憶し、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、
    抽出された認識候補単語列の末尾の単語が対応する単語群の最終単語になる確率に基づいて、前記基準時間を変更し、
    前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力することを特徴とする音声認識方法。
  7. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とする音声認識方法において、
    言語モデルに関する情報を記憶し、
    前記言語モデルに含まれる認識語彙を単語群に分類して記憶し、
    認識候補単語列の末尾の単語を単語群と対応付けて記憶し、
    前記単語群ごとに前記基準時間を記憶し、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出し、
    抽出された認識候補単語列の末尾の単語が対応する単語群の基準時間内に新たな音声データが存在しないときに音声認識結果を出力することを特徴とする音声認識方法。
  8. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とするコンピュータで実行することが可能なコンピュータプログラムにおいて、
    前記コンピュータを、
    言語モデルに関する情報を記憶する言語モデル記憶手段、
    音声認識用文法に基づいて変換される認識候補単語列、及び単語列の末尾の単語が最終単語であるか否かを示す情報を記憶する記憶手段、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段、
    抽出された認識候補単語列から発話末尾の単語が最終単語であるか否かを判断する最終単語判断手段、
    該最終単語判断手段で最終単語であると判断された場合、前記基準時間より短時間で音声認識結果を出力し、最終単語ではないと判断された場合、前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段
    として機能させることを特徴とするコンピュータプログラム。
  9. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とするコンピュータで実行することが可能なコンピュータプログラムにおいて、
    前記コンピュータを、
    言語モデルに関する情報を記憶する言語モデル記憶手段、
    前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段、
    認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段、
    前記単語群ごとの最終単語になる確率を記憶する手段、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段、
    抽出された認識候補単語列の末尾の単語が対応する単語群の最終単語になる確率に基づいて、前記基準時間を変更する手段、
    前記基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段
    として機能させることを特徴とするコンピュータプログラム。
  10. 音声データを受け付け、発話部分の後の無音区間の継続時間が発話の終了を判断する基準となる基準時間に到達するまで音声認識結果の出力待ち状態とするコンピュータで実行することが可能なコンピュータプログラムにおいて、
    前記コンピュータを、
    言語モデルに関する情報を記憶する言語モデル記憶手段、
    前記言語モデルに含まれる認識語彙を単語群に分類して記憶する手段、
    認識候補単語列の末尾の単語を単語群と対応付けて記憶する手段、
    前記単語群ごとに前記基準時間を記憶する手段、
    前記言語モデルに基づいて、受け付けた音声データに対応する認識候補単語列を抽出する認識候補抽出手段、
    抽出された認識候補単語列の末尾の単語が対応する単語群の基準時間内に新たな音声データが存在しないときに音声認識結果を出力する認識結果出力手段
    として機能させることを特徴とするコンピュータプログラム。
JP2006079052A 2006-03-22 2006-03-22 音声認識装置、音声認識方法、及びコンピュータプログラム Expired - Fee Related JP4906379B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006079052A JP4906379B2 (ja) 2006-03-22 2006-03-22 音声認識装置、音声認識方法、及びコンピュータプログラム
US11/475,003 US7805304B2 (en) 2006-03-22 2006-06-27 Speech recognition apparatus for determining final word from recognition candidate word sequence corresponding to voice data
CN2006101077186A CN101042866B (zh) 2006-03-22 2006-07-20 语音识别设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006079052A JP4906379B2 (ja) 2006-03-22 2006-03-22 音声認識装置、音声認識方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2007256482A true JP2007256482A (ja) 2007-10-04
JP4906379B2 JP4906379B2 (ja) 2012-03-28

Family

ID=38534643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006079052A Expired - Fee Related JP4906379B2 (ja) 2006-03-22 2006-03-22 音声認識装置、音声認識方法、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US7805304B2 (ja)
JP (1) JP4906379B2 (ja)
CN (1) CN101042866B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259127A (ja) * 2010-06-08 2011-12-22 Nippon Telegr & Teleph Corp <Ntt> 通話単位検出装置、方法及びプログラム
JP2013545133A (ja) * 2010-10-29 2013-12-19 安徽科大訊飛信息科技股▲分▼有限公司 録音の終了点自動検出のための方法及びシステム
WO2016103809A1 (ja) * 2014-12-25 2016-06-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20170012333A (ko) * 2014-05-27 2017-02-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통화 중 번역
WO2018135743A1 (ko) * 2017-01-17 2018-07-26 삼성전자주식회사 발화 완료 감지 방법 및 이를 구현한 전자 장치
JP2019195149A (ja) * 2018-05-05 2019-11-07 ナレルシステム株式会社 グループ音声通信と過去音声確認のためのコンピュータシステム、コンピュータプログラム及び方法
JPWO2021014612A1 (ja) * 2019-07-24 2021-01-28
CN113179444A (zh) * 2021-04-20 2021-07-27 浙江工业大学 一种基于语音识别的音字同步方法
WO2024010284A1 (ko) * 2022-07-06 2024-01-11 삼성전자주식회사 끝점 검출 시간 결정 방법 및 상기 방법을 수행하는 전자 장치

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5240456B2 (ja) * 2006-12-08 2013-07-17 日本電気株式会社 音声認識装置および音声認識方法
US20090198490A1 (en) * 2008-02-06 2009-08-06 International Business Machines Corporation Response time when using a dual factor end of utterance determination technique
JP2009288523A (ja) * 2008-05-29 2009-12-10 Toshiba Corp 音声認識装置及びその方法
US9135809B2 (en) * 2008-06-20 2015-09-15 At&T Intellectual Property I, Lp Voice enabled remote control for a set-top box
US8478592B2 (en) * 2008-07-08 2013-07-02 Nuance Communications, Inc. Enhancing media playback with speech recognition
JP5393816B2 (ja) * 2012-02-08 2014-01-22 株式会社Nttドコモ 情報検索装置および情報検索方法
KR20140089871A (ko) 2013-01-07 2014-07-16 삼성전자주식회사 대화형 서버, 그 제어 방법 및 대화형 시스템
US20160055847A1 (en) * 2014-08-19 2016-02-25 Nuance Communications, Inc. System and method for speech validation
US9652017B2 (en) * 2014-12-17 2017-05-16 Qualcomm Incorporated System and method of analyzing audio data samples associated with speech recognition
US10121471B2 (en) * 2015-06-29 2018-11-06 Amazon Technologies, Inc. Language model speech endpointing
US10134425B1 (en) * 2015-06-29 2018-11-20 Amazon Technologies, Inc. Direction-based speech endpointing
CN105139849B (zh) * 2015-07-22 2017-05-10 百度在线网络技术(北京)有限公司 语音识别方法和装置
US20170069309A1 (en) * 2015-09-03 2017-03-09 Google Inc. Enhanced speech endpointing
CN105513586A (zh) * 2015-12-18 2016-04-20 百度在线网络技术(北京)有限公司 语音识别结果的显示方法和装置
JP2018116206A (ja) * 2017-01-20 2018-07-26 アルパイン株式会社 音声認識装置、音声認識方法及び音声認識システム
CN107146602B (zh) * 2017-04-10 2020-10-02 北京猎户星空科技有限公司 一种语音识别方法、装置及电子设备
KR102068182B1 (ko) * 2017-04-21 2020-01-20 엘지전자 주식회사 음성 인식 장치, 및 음성 인식 시스템
US10929754B2 (en) 2017-06-06 2021-02-23 Google Llc Unified endpointer using multitask and multidomain learning
EP4083998A1 (en) * 2017-06-06 2022-11-02 Google LLC End of query detection
WO2019235858A1 (en) * 2018-06-05 2019-12-12 Samsung Electronics Co., Ltd. A voice assistant device and method thereof
EP3811360A4 (en) 2018-06-21 2021-11-24 Magic Leap, Inc. PORTABLE SYSTEM VOICE PROCESSING
US11587563B2 (en) 2019-03-01 2023-02-21 Magic Leap, Inc. Determining input for speech processing engine
US11475880B2 (en) * 2019-04-16 2022-10-18 Google Llc Joint endpointing and automatic speech recognition
JP2022529783A (ja) * 2019-04-19 2022-06-24 マジック リープ, インコーポレイテッド 発話認識エンジンのための入力の識別
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
CN110534109B (zh) * 2019-09-25 2021-12-14 深圳追一科技有限公司 语音识别方法、装置、电子设备及存储介质
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
CN111640423B (zh) * 2020-05-29 2023-10-13 北京声智科技有限公司 一种词边界估计方法、装置及电子设备
US11620993B2 (en) * 2021-06-09 2023-04-04 Merlyn Mind, Inc. Multimodal intent entity resolver

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63217399A (ja) * 1987-03-05 1988-09-09 シャープ株式会社 音声区間検出装置
JPH06250689A (ja) * 1993-02-23 1994-09-09 Toshiba Corp 音声認識装置
JPH10240290A (ja) * 1996-12-27 1998-09-11 N T T Data Tsushin Kk 音声認識処理方法、音声認識システム及び記録媒体
JP2002091489A (ja) * 2000-09-13 2002-03-27 Alpine Electronics Inc 音声認識装置
JP2002341891A (ja) * 2001-05-14 2002-11-29 Nec Corp 音声認識装置および音声認識方法
JP2004037803A (ja) * 2002-07-03 2004-02-05 Nippon Telegr & Teleph Corp <Ntt> 応答制御装置、方法及び応答制御プログラム、記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3691511B2 (ja) * 1993-03-25 2005-09-07 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 休止検出を行う音声認識
JP3004883B2 (ja) 1994-10-18 2000-01-31 ケイディディ株式会社 終話検出方法及び装置並びに連続音声認識方法及び装置
US5991720A (en) * 1996-05-06 1999-11-23 Matsushita Electric Industrial Co., Ltd. Speech recognition system employing multiple grammar networks
US5936940A (en) * 1996-08-22 1999-08-10 International Business Machines Corporation Adaptive rate-based congestion control in packet networks
JP3578587B2 (ja) * 1997-03-28 2004-10-20 株式会社リコー 音声認識装置および音声認識方法
US6490251B2 (en) * 1997-04-14 2002-12-03 Nortel Networks Limited Method and apparatus for communicating congestion information among different protocol layers between networks
EP1376999A1 (en) * 2002-06-21 2004-01-02 BRITISH TELECOMMUNICATIONS public limited company Spoken alpha-numeric sequence entry system with repair mode
CN1468001A (zh) * 2002-06-27 2004-01-14 上海汉唐科技有限公司 基于因特网的媒体流自适应传输方法
US20040186819A1 (en) * 2003-03-18 2004-09-23 Aurilab, Llc Telephone directory information retrieval system and method
KR100499388B1 (ko) * 2003-06-16 2005-07-04 엘지전자 주식회사 멀티 보코더의 메모리 구조 및 메모리 관리 방법
JP4433704B2 (ja) 2003-06-27 2010-03-17 日産自動車株式会社 音声認識装置および音声認識用プログラム
CN1671124B (zh) * 2004-03-19 2011-10-19 清华大学 通信终端装置、通信终端接收方法、通信系统、网关
US7610199B2 (en) * 2004-09-01 2009-10-27 Sri International Method and apparatus for obtaining complete speech signals for speech recognition applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63217399A (ja) * 1987-03-05 1988-09-09 シャープ株式会社 音声区間検出装置
JPH06250689A (ja) * 1993-02-23 1994-09-09 Toshiba Corp 音声認識装置
JPH10240290A (ja) * 1996-12-27 1998-09-11 N T T Data Tsushin Kk 音声認識処理方法、音声認識システム及び記録媒体
JP2002091489A (ja) * 2000-09-13 2002-03-27 Alpine Electronics Inc 音声認識装置
JP2002341891A (ja) * 2001-05-14 2002-11-29 Nec Corp 音声認識装置および音声認識方法
JP2004037803A (ja) * 2002-07-03 2004-02-05 Nippon Telegr & Teleph Corp <Ntt> 応答制御装置、方法及び応答制御プログラム、記録媒体

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259127A (ja) * 2010-06-08 2011-12-22 Nippon Telegr & Teleph Corp <Ntt> 通話単位検出装置、方法及びプログラム
JP2013545133A (ja) * 2010-10-29 2013-12-19 安徽科大訊飛信息科技股▲分▼有限公司 録音の終了点自動検出のための方法及びシステム
US9330667B2 (en) 2010-10-29 2016-05-03 Iflytek Co., Ltd. Method and system for endpoint automatic detection of audio record
KR20170012333A (ko) * 2014-05-27 2017-02-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통화 중 번역
JP2017525167A (ja) * 2014-05-27 2017-08-31 マイクロソフト テクノロジー ライセンシング,エルエルシー 通話中翻訳
KR102377350B1 (ko) 2014-05-27 2022-03-21 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통화 중 번역
US10720154B2 (en) 2014-12-25 2020-07-21 Sony Corporation Information processing device and method for determining whether a state of collected sound data is suitable for speech recognition
WO2016103809A1 (ja) * 2014-12-25 2016-06-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2016103809A1 (ja) * 2014-12-25 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11211048B2 (en) 2017-01-17 2021-12-28 Samsung Electronics Co., Ltd. Method for sensing end of speech, and electronic apparatus implementing same
WO2018135743A1 (ko) * 2017-01-17 2018-07-26 삼성전자주식회사 발화 완료 감지 방법 및 이를 구현한 전자 장치
JP2019195149A (ja) * 2018-05-05 2019-11-07 ナレルシステム株式会社 グループ音声通信と過去音声確認のためのコンピュータシステム、コンピュータプログラム及び方法
JPWO2021014612A1 (ja) * 2019-07-24 2021-01-28
JP7409381B2 (ja) 2019-07-24 2024-01-09 日本電信電話株式会社 発話区間検出装置、発話区間検出方法、プログラム
CN113179444A (zh) * 2021-04-20 2021-07-27 浙江工业大学 一种基于语音识别的音字同步方法
WO2024010284A1 (ko) * 2022-07-06 2024-01-11 삼성전자주식회사 끝점 검출 시간 결정 방법 및 상기 방법을 수행하는 전자 장치

Also Published As

Publication number Publication date
JP4906379B2 (ja) 2012-03-28
US20070225982A1 (en) 2007-09-27
CN101042866B (zh) 2012-07-04
CN101042866A (zh) 2007-09-26
US7805304B2 (en) 2010-09-28

Similar Documents

Publication Publication Date Title
JP4906379B2 (ja) 音声認識装置、音声認識方法、及びコンピュータプログラム
JP4816409B2 (ja) 認識辞書システムおよびその更新方法
KR100998566B1 (ko) 음성인식을 이용한 언어 번역 방법 및 장치
JP3782943B2 (ja) 音声認識装置、コンピュータ・システム、音声認識方法、プログラムおよび記録媒体
KR101616054B1 (ko) 음성 검출 장치 및 방법
JP5200712B2 (ja) 音声認識装置、音声認識方法及びコンピュータプログラム
JP5824829B2 (ja) 音声認識装置、音声認識方法及び音声認識プログラム
JP4236597B2 (ja) 音声認識装置、音声認識プログラムおよび記録媒体。
JP2010078877A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
US20170270923A1 (en) Voice processing device and voice processing method
JPH10274996A (ja) 音声認識装置
CN110189750B (zh) 词语检测系统、词语检测方法以及记录介质
JP2012003090A (ja) 音声認識装置および音声認識方法
JP5296455B2 (ja) 話者識別装置、及びコンピュータプログラム
JP4987530B2 (ja) 音声認識辞書作成装置および音声認識装置
JP4610451B2 (ja) 音声認識装置及びプログラム
JP6852029B2 (ja) ワード検出システム、ワード検出方法及びワード検出プログラム
JPH11202895A (ja) 音声認識システムと方法およびそのプログラムを記録した記録媒体
CN112997247A (zh) 利用大数据的最佳语言模型生成方法及用于其的装置
JP5336788B2 (ja) 音声認識装置およびプログラム
JP7035476B2 (ja) 音声処理プログラム、音声処理装置、及び音声処理方法
KR101830210B1 (ko) 적어도 하나의 의미론적 유닛의 집합을 개선하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP2001125897A (ja) 言語学習装置およびその方法
JP2001013988A (ja) 音声認識方法及び装置
JP2005070330A (ja) 音声認識装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111004

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4906379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees