JP2002149187A - 音声認識装置および音声認識方法、並びに記録媒体 - Google Patents

音声認識装置および音声認識方法、並びに記録媒体

Info

Publication number
JP2002149187A
JP2002149187A JP2000338458A JP2000338458A JP2002149187A JP 2002149187 A JP2002149187 A JP 2002149187A JP 2000338458 A JP2000338458 A JP 2000338458A JP 2000338458 A JP2000338458 A JP 2000338458A JP 2002149187 A JP2002149187 A JP 2002149187A
Authority
JP
Japan
Prior art keywords
word
speech recognition
score
unit
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000338458A
Other languages
English (en)
Inventor
Katsuki Minamino
活樹 南野
Koji Asano
康治 浅野
Hiroaki Ogawa
浩明 小川
Lucke Helmut
ルッケ ヘルムート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000338458A priority Critical patent/JP2002149187A/ja
Priority to US10/416,092 priority patent/US7240002B2/en
Priority to PCT/JP2001/009711 priority patent/WO2002039426A1/ja
Publication of JP2002149187A publication Critical patent/JP2002149187A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

(57)【要約】 【課題】 高い音声認識性能を維持しながら、処理の効
率化を図る。 【解決手段】 単語予備選択部１３は、単語予備選択を
行う。マッチング部１４は、その選択された単語のスコ
アを計算し、そのスコアに基づき、音声認識結果の候補
となる単語列を構成する。また、制御部１１は、音声認
識結果の候補となる単語列の単語どうしの単語接続関係
を生成し、単語接続情報記憶部１６に供給して記憶させ
る。一方、再評価部１５は、単語接続情報記憶部１６に
記憶された単語接続関係を、逐次修正し、制御部１１
は、その修正後の単語接続関係に基づいて、音声認識結
果となる単語列を確定する。この場合において、単語接
続関係管理部２１は、単語接続情報記憶部１６に記憶さ
れる単語接続関係としての単語の境界がとり得る時刻を
制限し、単語接続関係管理部２２は、単語予備選択部１
３が単語予備選択を行う単語の開始時刻を制限する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、音声認識装置およ
び音声認識方法、並びに記録媒体に関し、特に、例え
ば、精度の高い音声認識を、効率的に行うことができる
ようにする音声認識装置および音声認識方法、並びに記
録媒体に関する。
【０００２】
【従来の技術】図１は、従来の音声認識装置の一例の構
成を示している。
【０００３】ユーザが発した音声は、マイク（マイクロ
フォン）１に入力され、マイク１では、その入力音声
が、電気信号としての音声信号に変換される。この音声
信号は、ＡＤ(Analog Digital)変換部２に供給される。
ＡＤ変換部２では、マイク１からのアナログ信号の音声
信号がサンプリング、量子化され、ディジタル信号の音
声データに変換される。この音声データは、特徴抽出部
３に供給される。
【０００４】特徴抽出部３は、ＡＤ変換部２からの音声
データについて、適当なフレームごとに音響処理を施
し、これにより、例えば、ＭＦＣＣ(Mel Frequency Cep
strumCoefficient)等の特徴量を抽出して、マッチング
部４に供給する。なお、特徴抽出部３では、その他、例
えば、スペクトルや、線形予測係数、ケプストラム係
数、線スペクトル対等の特徴量を抽出することが可能で
ある。
【０００５】マッチング部４は、特徴抽出部３からの特
徴量を用いて、音響モデルデータベース５、辞書データ
ベース６、および文法データベース７を必要に応じて参
照しながら、マイク１に入力された音声（入力音声）
を、例えば、連続分布ＨＭＭ法等に基づいて音声認識す
る。
【０００６】即ち、音響モデルデータベース５は、音声
認識する音声の言語における個々の音素や音節などの音
響的な特徴を表す音響モデルを記憶している。ここで
は、連続分布ＨＭＭ法に基づいて音声認識を行うので、
音響モデルとしては、例えば、ＨＭＭ(Hidden Markov M
odel)が用いられる。辞書データベース６は、認識対象
の各単語（語彙）について、その発音に関する情報（音
韻情報）が記述された単語辞書を記憶している。文法デ
ータベース７は、辞書データベース６の単語辞書に登録
されている各単語が、どのように連鎖する（つながる）
かを記述した文法規則（言語モデル）を記憶している。
ここで、文法規則としては、例えば、文脈自由文法（Ｃ
ＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）など
に基づく規則を用いることができる。
【０００７】マッチング部４は、辞書データベース６の
単語辞書を参照することにより、音響モデルデータベー
ス５に記憶されている音響モデルを接続することで、単
語の音響モデル（単語モデル）を構成する。さらに、マ
ッチング部４は、幾つかの単語モデルを、文法データベ
ース７に記憶された文法規則を参照することにより接続
し、そのようにして接続された単語モデルを用いて、特
徴量に基づき、連続分布ＨＭＭ法によって、マイク１に
入力された音声を認識する。即ち、マッチング部４は、
特徴抽出部３が出力する時系列の特徴量が観測されるス
コア（尤度）が最も高い単語モデルの系列を検出し、そ
の単語モデルの系列に対応する単語列を、音声の認識結
果として出力する。
【０００８】つまり、マッチング部４は、接続された単
語モデルに対応する単語列について、各特徴量の出現確
率を累積し、その累積値をスコアとして、そのスコアを
最も高くする単語列を、音声認識結果として出力する。
【０００９】スコア計算は、一般に、音響モデルデータ
ベース５に記憶された音響モデルによって与えられる音
響的なスコア（以下、適宜、音響スコアという）と、文
法データベース７に記憶された文法規則によって与えら
れる言語的なスコア（以下、適宜、言語スコアという）
とを総合評価することで行われる。
【００１０】即ち、音響スコアは、例えば、ＨＭＭ法に
よる場合には、単語モデルを構成する音響モデルから、
特徴抽出部３が出力する特徴量の系列が観測される確率
（出現する確率）に基づいて、単語ごとに計算される。
また、言語スコアは、例えば、バイグラムによる場合に
は、注目している単語と、その単語の直前の単語とが連
鎖（連接）する確率に基づいて求められる。そして、各
単語についての音響スコアと言語スコアとを総合評価し
て得られる最終的なスコア（以下、適宜、最終スコアと
いう）に基づいて、音声認識結果が確定される。
【００１１】具体的には、あるＮ個の単語からなる単語
列におけるｋ番目の単語をｗkとして、その単語ｗkの音
響スコアをＡ（ｗk）と、言語スコアをＬ（ｗk）と、そ
れぞれ表すとき、その単語列の最終スコアＳは、例え
ば、次式にしたがって計算される。
【００１２】 Ｓ＝Σ（Ａ（ｗk）＋Ｃk×Ｌ（ｗk）） ・・・（１） 但し、Σは、ｋを１からＮに変えてのサメーションをと
ることを表す。また、Ｃ kは、単語ｗkの言語スコアＬ
（ｗk）にかける重みを表す。
【００１３】マッチング部４では、例えば、式（１）に
示す最終スコアを最も大きくするＮと、単語列ｗ1，
ｗ2，・・・，ｗNを求めるマッチング処理が行われ、そ
の単語列ｗ1，ｗ2，・・・，ｗNが、音声認識結果とし
て出力される。
【００１４】以上のような処理が行われることにより、
図１の音声認識装置では、例えば、ユーザが、「ニュー
ヨークに行きたいです」と発話した場合には、「ニュー
ヨーク」、「に」、「行きたい」、「です」といった各
単語に、音響スコアおよび言語スコアが与えられ、それ
らを総合評価して得られる最終スコアが最も大きいとき
に、単語列「ニューヨーク」、「に」、「行きたい」、
「です」が、音声認識結果として出力される。
【００１５】ところで、上述の場合において、辞書デー
タベース６の単語辞書に、「ニューヨーク」、「に」、
「行きたい」、および「です」の５単語が登録されてい
るとすると、これらの５単語を用いて構成しうる５単語
の並びは、５5通り存在する。従って、単純には、マッ
チング部４では、この５5通りの単語列を評価し、その
中から、ユーザの発話に最も適合するもの（最終スコア
を最も大きくするもの）を決定しなければならない。そ
して、単語辞書に登録する単語数が増えれば、その単語
数分の単語の並びの数は、単語数の単語数乗通りになる
から、評価の対象としなければならない単語列は、膨大
な数となる。
【００１６】さらに、一般には、発話中に含まれる単語
の数は未知であるから、５単語の並びからなる単語列だ
けでなく、１単語、２単語、・・・からなる単語列も、
評価の対象とする必要がある。従って、評価すべき単語
列の数は、さらに膨大なものとなるから、そのような膨
大な単語列の中から、音声認識結果として最も確からし
いものを、計算量および使用するメモリ容量の観点から
効率的に決定することは、非常に重要な問題である。
【００１７】計算量およびメモリ容量の効率化を図る方
法としては、例えば、音響スコアを求める過程におい
て、その途中で得られる音響スコアが所定の閾値以下と
なった場合に、そのスコア計算を打ち切るという音響的
な枝刈り手法や、言語スコアに基づいて、スコア計算の
対象とする単語を絞り込む言語的な枝刈り手法がある。
【００１８】これらの枝刈り手法によれば、スコア計算
の対象が、所定の判断基準（例えば、上述したような計
算途中の音響スコアや、単語に与えられる言語スコア）
に基づいて絞り込まれることで、計算量の削減を図るこ
とができる。しかしながら、その反面、絞り込みを強く
すると、即ち、判断基準を厳しくすると、本来、音声認
識結果として正しいものまでも枝刈りされてしまい、誤
認識が生じることになる。従って、枝刈り手法による場
合には、音声認識結果として正しいものが枝刈りされな
いように、ある程度のマージンをもたせた絞り込みを行
う必要があり、このため、計算量を大きく削減すること
は困難である。
【００１９】また、音響スコアを求める場合に、スコア
計算の対象となっているすべての単語について独立に行
うと、その計算量が大きくなることから、複数の単語に
ついての音響スコアの計算の一部を共通化（共有化）す
る方法が提案されている。この共通化の方法としては、
単語辞書の単語のうち、その先頭の音韻が同一のものに
ついて、その先頭の音韻から、同一になっている音韻ま
では、音響モデルを共通に用い、それ以後の異なる音韻
には、音響モデルを個々に用いることにより、全体とし
て１つの木構造のネットワークを構成し、これを用い
て、音響スコアを求める方法がある。具体的には、例え
ば、いま、単語「秋田」と「曙」を考え、「秋田」の音
韻情報が「akita」であり、「曙」の音韻情報が「akebo
no」であるとすると、単語「秋田」と「曙」の音響スコ
アは、それぞれの先頭から２番目までの音韻a,kについ
ては兼用で計算される。そして、単語「秋田」の残りの
音韻k,i,t,a、および単語「曙」の残りの音韻e,b,o,n,o
については、それぞれ独立に音響スコアが計算される。
【００２０】従って、この方法によれば、音響スコアの
計算量を大幅に低減することができる。
【００２１】しかしながら、この方法では、音響スコア
の計算が共通化される部分（音響スコアが兼用で計算さ
れる部分）において、その音響スコアの計算の対象とな
っている単語を決定することができない。即ち、上述の
単語「秋田」と「曙」の例でいえば、それぞれの先頭か
ら２番目までの音韻a,kについて音響スコアが計算され
ている間は、その音響スコアが計算されている単語が、
「秋田」であるのか、または「曙」であるのかを同定す
ることができない。
【００２２】そして、この場合、「秋田」については、
その３番目の音韻iについて音響スコアの計算が開始さ
れたときに、その計算の対象となっている単語が「秋
田」であることを同定することができ、「曙」について
も、その３番目の音韻eについての音響スコアの計算が
開始されたときに、その計算の対象となっている単語が
「曙」であることを同定することができる。
【００２３】従って、音響スコアの計算の一部を共通化
してしまうと、単語の音響スコアの計算の開始時に、そ
の単語を同定することができないため、その単語につい
て、言語スコアを考慮（適用）することができない。そ
の結果、単語の音響スコアの開始前に、上述したような
言語的な枝刈り手法を用いることが困難となり、無駄な
計算が行われることがある。
【００２４】さらに、音響スコアの計算の一部を共通化
する場合、単語辞書のすべての単語を対象として、上述
したような木構造のネットワークが構成されるから、こ
れを保持するための大きなメモリ容量が必要となる。
【００２５】また、計算量およびメモリ容量の効率化を
図る方法としては、音響スコアを計算する場合に、単語
辞書のすべての単語を対象とするのではなく、その音響
スコアの計算の対象とする単語を予備的に選択（予備選
択）し、その予備選択された単語についてだけ、音響ス
コアを計算する方法がある。ここで、予備選択は、例え
ば、それほど精度の高くない、簡易的な音響モデルや文
法規則を用いて行われる。
【００２６】なお、予備選択の方法は、例えば、L. R.
Bahl, S. V. De Gennaro, P. S. Gopalakrishnan and
R. L. Mercer, "A Fast Approximate Acoustic Match f
or Large Vocabulary Speech Recognition", IEEE Tran
s. Speech and Audio Proc.,vol. 1, pp.59-67, 1993等
に記載されている。
【００２７】ところで、単語の音響スコアは、音声の特
徴量の系列を用いて計算されるが、その計算に使用する
特徴量の系列の始点や終点が異なれば、求められる音響
スコアも変化する。そして、この変化は、音響スコアと
言語スコアとを総合評価して求められる式（１）の最終
スコアに影響する。
【００２８】ある単語に対応する特徴量の系列の始点お
よび終点、即ち、単語どうしの境界（単語境界）は、例
えば、動的計画法(Dynamic Programming)を用いて求め
ることができる。即ち、特徴量の系列の任意の点を、単
語境界の候補とし、音声認識結果の候補となる単語列の
各単語について、その音響スコアと言語スコアとを総合
評価したスコア（以下、適宜、単語スコアという）を、
逐次累積していく。そして、その単語スコアの累積の際
に、最も大きい累積値を与える単語境界の候補を、その
累積値とともに記憶していく。
【００２９】これにより、最終的な単語スコアの累積値
が求めらると、最も良い累積値、即ち、最も大きい最終
スコアを与える単語境界も求められる。
【００３０】上述のようにして単語境界を求める方法
は、ビタビデコーディング(Viterbi decoding)、あるい
はワンパスデコーディング(One pass decoding)等と呼
ばれ、例えば、中川聖一、「確率モデルによる音声認
識」、電子情報通信学会、pp.20-26、１９８８年７月１
日等に、その詳細が記載されている。
【００３１】
【発明が解決しようとする課題】ところで、上述の予備
選択を効果的に行うには、単語境界をどこにするか、即
ち、特徴量の系列（特徴量系列）のどの点を始点とする
かが非常に重要である。
【００３２】具体的には、例えば、図２（Ａ）に示すよ
うな、音声「今日はいい天気ですね」について得られた
特徴量系列において、「今日」と「は」との正しい単語
境界が、時刻ｔ1である場合において、単語「今日」に
続く単語「は」に関して予備選択を行うときに、正しい
時刻ｔ1より先行する時刻ｔ1-1を始点として予備選択を
行うと、その予備選択には、単語「は」の特徴量だけで
なく、その直前の単語「今日」の最後の部分の特徴量が
影響する。一方、正しい時刻ｔ1より後行する時刻ｔ1+1
を始点として予備選択を行うと、その予備選択において
は、単語「は」の最初の部分の特徴量が用いられないこ
とになる。
【００３３】従って、いずれにしても、始点を誤ると、
予備選択、ひいては、その後に行われるマッチング処理
に悪影響を与えることとなる。
【００３４】なお、図２においては（後述する図４およ
び図６においても同様）、左から右方向が、時間の経過
を表しており、また、音声区間の開始時刻を０として、
音声区間は時刻Ｔで終了するものとしてある。
【００３５】上述した動的計画法を用いる方法では、特
徴量系列の最後、即ち、図２においては、音声区間の終
了時刻Ｔまでの単語スコア（音響スコアおよび言語スコ
ア）の計算が終了しないと、最終的な単語境界を決定す
ることができないため、予備選択を行う段階では、その
予備選択の始点となる単語境界を一意に決定することは
困難である。
【００３６】そこで、単語境界の候補を、音声区間の特
徴量系列を用いた単語スコアの計算が終了するまで保持
しておく方法がある。
【００３７】この方法では、例えば、音声区間の開始時
刻０を始点として、単語「今日」の単語スコアを計算し
た場合に、時刻ｔ1-1，ｔ1，ｔ1+1が、単語「今日」の
発話の終点の候補として求まったとすると、この３通り
の時刻ｔ1-1，ｔ1，ｔ1+1が保持され、それぞれを始点
として、次の単語の予備選択が行われる。
【００３８】いま、この予備選択によって、時刻ｔ1-1
を始点とした場合には、「は」と「いい」の２単語が、
時刻ｔ1を始点とした場合には、「は」の１単語が、時
刻ｔ1 +1を始点とした場合には、「は」と「いい」の２
単語が、それぞれ得られたとし、さらに、これらの各単
語を対象として単語スコアの計算を行うことにより、図
２（Ｂ）乃至図２（Ｇ）にそれぞれ示すような結果が得
られたとする。
【００３９】即ち、図２（Ｂ）は、時刻ｔ1-1を始点と
して、単語「は」の単語スコアの計算を行い、その終点
の候補として、時刻ｔ2が得られた状態を示しており、
図２（Ｃ）は、時刻ｔ1-1を始点として、単語「いい」
の単語スコアの計算を行い、その終点の候補として、時
刻ｔ2+1が得られた状態を示している。また、図２
（Ｄ）は、時刻ｔ1を始点として、単語「は」の単語ス
コアの計算を行い、その終点の候補として、時刻ｔ2+1
が得られた状態を示しており、図２（Ｅ）は、時刻ｔ1
を始点として、単語「は」の単語スコアの計算を行い、
その終点の候補として、時刻ｔ2が得られた状態を示し
ている。さらに、図２（Ｆ）は、時刻ｔ1+1を始点とし
て、単語「は」の単語スコアの計算を行い、その終点の
候補として、時刻ｔ2が得られた状態を示しており、図
２（Ｇ）は、時刻ｔ1+1を始点として、単語「いい」の
単語スコアの計算を行い、その終点の候補として、時刻
ｔ2+2が得られた状態を示している。なお、図２におい
ては、ｔ1-1＜ｔ1＜ｔ1+1＜ｔ2＜ｔ 2+1＜ｔ2+2となって
いる。
【００４０】図２（Ｂ）乃至図２（Ｇ）のうち、図２
（Ｂ）、図２（Ｅ）、および図２（Ｆ）に示したものに
ついては、いずれも、音声認識結果の候補としての単語
列が、「今日」、「は」で同一あり、さらに、その単語
列の最後「は」の終点も、時刻ｔ2で同一であるから、
その中から最も適切なものを、例えば、時刻ｔ2までの
単語スコアの累積値等に基づいて選び、残りを破棄する
ことが可能である。
【００４１】しかしながら、いまの時点では、図２
（Ｂ）、図２（Ｅ）、または図２（Ｆ）のうちから選ん
だものに、図２（Ｃ）、図２（Ｄ）、図２（Ｇ）に示し
たものを加えた中から、正しいものを確定することはで
きないから、これらの４通りの場合を保持しておく必要
がある。そして、この４通りの場合それぞれについて、
再び、予備選択を行っていくことになる。
【００４２】従って、この方法では、音声区間の特徴量
系列を用いた単語スコアの計算が終了するまで、多くの
単語境界の候補を保持しながら、単語スコアの計算を行
っていく必要があり、計算量およびメモリ容量の効率化
の観点からは好ましくない。
【００４３】なお、この場合、単語境界の候補として、
真に正しい単語境界を保持していれば、原理的には、上
述の動的計画法を用いた場合と同様の正しい単語境界
を、最終的に得ることができるが、その反面、単語境界
の候補として、真に正しい単語境界を保持し損ねると、
その単語境界を始点または終点とする単語を誤認識し、
さらには、それに起因して、その後に続く単語も誤認識
することがある。
【００４４】一方、予備選択は、一般に、それほど精度
の高くない、簡易的な音響モデルや文法規則を用いて行
われる。即ち、予備選択は、一般に、単語辞書の単語す
べてを対象として行われるため、精度の高い音響モデル
や文法規則を用いて予備選択を行うと、リアルタイム性
を維持するには、計算量やメモリ容量といったリソース
が多く必要となる。そこで、予備選択は、簡易的な音響
モデルや文法規則を用いることで、大語彙を対象とした
場合でも、比較的少ないリソースで、高速に行うことが
可能となっている。
【００４５】しかしながら、予備選択は、ある単語につ
いて、特徴量の系列（特徴量系列）を用いてのマッチン
グ処理が終了し、とりあえず確からしい終点が求められ
た後に、その終点を始点として、その始点に対応する時
刻以後の特徴量系列を用いて行われる。即ち、予備選択
は、連続発話された音声に含まれる単語どうしの境界
（単語境界）が、最終的に確定していない時点で行われ
る。
【００４６】従って、予備選択に用いられる特徴量系列
の始点や終点が、対応する単語の始点や終点からずれて
いる場合には、その単語の直前の単語や直後の単語の音
韻の特徴量を含む特徴量系列や、対応する単語の最初や
最後の部分の特徴量が欠けた特徴量系列、即ち、いわば
音響的に安定していない特徴量系列を用いて、予備選択
が行われることになる。
【００４７】このため、簡易的な音響モデルを用いる予
備選択では、発話中に含まれる単語が選択されないこと
が起こり得る。そして、予備選択において、正しい単語
が選択されない場合には、その単語についてマッチング
処理が行われないから、音声認識結果は誤ったものとな
る。
【００４８】そこで、予備選択において、単語を選択す
るときの音響的または言語的な判断基準を緩くして、選
択される単語の数を多くする方法や、精度の高い音響モ
デルおよび文法規則を用いる方法がある。
【００４９】しかしながら、予備選択において、単語を
選択するときの音響的または言語的な判断基準を緩くす
ると、音声認識結果としてそれほど可能性の高くない単
語の多くも、マッチング処理の対象となり、予備選択に
比較して１単語あたりの負荷が重いマッチング処理に要
する計算量やメモリ容量といったリソースが大きく増大
する。
【００５０】また、予備選択において、精度の高い音響
モデルおよび文法規則を用いる場合には、予備選択に要
するリソースが大きく増大する。
【００５１】本発明は、このような状況に鑑みてなされ
たものであり、高い認識性能を維持しながら、音声認識
処理を、効率的に行うことができるようにするものであ
る。
【００５２】
【課題を解決するための手段】本発明の第１の音声認識
装置は、音声認識の対象となっている単語について、ス
コアを計算し、そのスコアに基づいて、音声認識結果の
候補となる単語列を構成する構成手段と、音声認識結果
の候補となる単語列の単語どうしの接続関係を記憶する
記憶手段と、記憶手段に記憶された接続関係を修正する
修正手段と、修正後の接続関係に基づいて、音声認識結
果となる単語列を確定する確定手段と、記憶手段に記憶
される接続関係によって表される単語の境界位置を制限
する単語境界制限手段とを備えることを特徴とする。
【００５３】本発明の第１の音声認識方法は、音声認識
の対象となっている単語について、スコアを計算し、そ
のスコアに基づいて、音声認識結果の候補となる単語列
を構成する構成ステップと、音声認識結果の候補となる
単語列の単語どうしの接続関係を記憶する記憶ステップ
と、記憶ステップにおいて記憶された接続関係を修正す
る修正ステップと、修正後の接続関係に基づいて、音声
認識結果となる単語列を確定する確定ステップと、記憶
ステップにおいて記憶される接続関係によって表される
単語の境界位置を制限する単語境界制限ステップとを備
えることを特徴とする。
【００５４】本発明の第１の記録媒体は、音声認識の対
象となっている単語について、スコアを計算し、そのス
コアに基づいて、音声認識結果の候補となる単語列を構
成する構成ステップと、音声認識結果の候補となる単語
列の単語どうしの接続関係を記憶する記憶ステップと、
記憶ステップにおいて記憶された接続関係を修正する修
正ステップと、修正後の接続関係に基づいて、音声認識
結果となる単語列を確定する確定ステップと、記憶ステ
ップにおいて記憶される接続関係によって表される単語
の境界位置を制限する単語境界制限ステップとを備える
プログラムが記録されていることを特徴とする。
【００５５】本発明の第２の音声認識装置は、音声認識
の対象となっている単語群から、音声認識結果の候補と
なる単語列の、既に求まっている単語に続く１以上の単
語を選択する選択手段と、選択手段において選択された
単語について、スコアを計算し、そのスコアに基づい
て、音声認識結果の候補となる単語列を構成する構成手
段と、音声認識結果の候補となる単語列の中から、音声
認識結果となる単語列を確定する確定手段と、選択手段
において選択される単語の開始位置を制限する開始位置
制限手段とを備えることを特徴とする。
【００５６】本発明の第２の音声認識方法は、音声認識
の対象となっている単語群から、音声認識結果の候補と
なる単語列の、既に求まっている単語に続く１以上の単
語を選択する選択ステップと、選択ステップにおいて選
択された単語について、スコアを計算し、そのスコアに
基づいて、音声認識結果の候補となる単語列を構成する
構成ステップと、音声認識結果の候補となる単語列の中
から、音声認識結果となる単語列を確定する確定ステッ
プと、選択ステップにおいて選択される単語の開始位置
を制限する開始位置制限ステップとを備えることを特徴
とする。
【００５７】本発明の第２の記録媒体は、音声認識の対
象となっている単語群から、音声認識結果の候補となる
単語列の、既に求まっている単語に続く１以上の単語を
選択する選択ステップと、選択ステップにおいて選択さ
れた単語について、スコアを計算し、そのスコアに基づ
いて、音声認識結果の候補となる単語列を構成する構成
ステップと、音声認識結果の候補となる単語列の中か
ら、音声認識結果となる単語列を確定する確定ステップ
と、選択ステップにおいて選択される単語の開始位置を
制限する開始位置制限ステップとを備えるプログラムが
記録されていることを特徴とする。
【００５８】本発明の第１の音声認識装置および音声認
識方法、並びに記録媒体においては、音声認識の対象と
なっている単語について、スコアが計算され、そのスコ
アに基づいて、音声認識結果の候補となる単語列が構成
される。さらに、音声認識結果の候補となる単語列の単
語どうしの接続関係が修正され、その修正後の接続関係
に基づいて、音声認識結果となる単語列が確定される。
この場合において、音声認識結果の候補となる単語列の
単語どうしの接続関係によって表される単語の境界位置
が制限される。
【００５９】本発明の第２の音声認識装置および音声認
識方法、並びに記録媒体においては、音声認識の対象と
なっている単語群から、音声認識結果の候補となる単語
列の、既に求まっている単語に続く１以上の単語が選択
され、その選択された単語について、スコアが計算され
る。さらに、そのスコアに基づいて、音声認識結果の候
補となる単語列が構成され、その中から、音声認識結果
となる単語列が確定される。この場合において、音声認
識の対象となっている単語群から選択される単語の開始
位置が制限される。
【００６０】
【発明の実施の形態】図３は、本発明が適用される音声
認識装置の構成例を示している。なお、図中、図１にお
ける場合と対応する部分については、同一の符号を付し
てあり、以下では、その説明は、適宜省略する。
【００６１】特徴量抽出部３が出力する、ユーザが発し
た音声の特徴量の系列は、フレーム単位で、制御部１１
に供給されるようになっており、制御部１１は、特徴量
抽出部３からの特徴量を、特徴量記憶部１２に供給す
る。
【００６２】また、制御部１１は、単語接続情報記憶部
１６に記憶された単語接続情報を参照し、マッチング部
１４や再評価部１５を制御する。さらに、制御部１１
は、マッチング部１４が、前述した図１のマッチング部
４と同様のマッチング処理を行うことにより得られるマ
ッチング処理結果としての音響スコアや言語スコア等に
基づいて、単語接続情報を生成し、その単語接続情報に
よって、単語接続情報記憶部１６の記憶内容を更新す
る。また、制御部１１は、再評価部１５の出力に基づい
て、単語接続情報記憶部１６の記憶内容を修正する。さ
らに、制御部１１は、単語接続情報記憶部１６に記憶さ
れた単語接続情報に基づいて、最終的な音声認識結果を
確定して出力する。
【００６３】特徴量記憶部１２は、制御部１１から供給
される特徴量の系列を、例えば、ユーザの音声の認識結
果が得られるまで記憶する。なお、制御部１１は、音声
区間の開始時刻を基準（例えば０）とする、特徴抽出部
３が出力する特徴量が得られた時刻（以下、適宜、抽出
時刻という）を、その特徴量とともに、特徴量記憶部１
２に供給するようになっており、特徴量記憶部１２は、
特徴量を、その抽出時刻とともに記憶する。特徴量記憶
部１２に記憶された特徴量およびその抽出時刻は、単語
予備選択部１３、マッチング部１４、および再評価部１
５において、必要に応じて参照することができるように
なっている。
【００６４】単語予備選択部１３は、マッチング部１４
からの要求に応じ、単語接続情報記憶部１６、音響モデ
ルデータベース１７Ａ、辞書データベース１８Ａ、およ
び文法データベース１９Ａを必要に応じて参照しなが
ら、マッチング部１４でマッチング処理の対象とする１
以上の単語を選択する単語予備選択処理を、特徴量記憶
部１２に記憶された特徴量を用いて行う。
【００６５】マッチング部１４は、制御部１１からの制
御に基づき、単語接続情報記憶部１６、音響モデルデー
タベース１７Ｂ、辞書データベース１８Ｂ、および文法
データベース１９Ｂを必要に応じて参照しながら、単語
予備選択部１３からの単語予備選択処理の結果得られる
単語を対象としたマッチング処理を、特徴量記憶部１２
に記憶された特徴量を用いて行い、そのマッチング処理
の結果を、制御部１１に供給する。
【００６６】再評価部１５は、制御部１１からの制御に
基づき、音響モデルデータベース１７Ｃ、辞書データベ
ース１８Ｃ、および文法データベース１９Ｃを必要に応
じて参照しながら、単語接続情報記憶部１６に記憶され
た単語接続情報の再評価を、特徴量記憶部１２に記憶さ
れた特徴量を用いて行い、その再評価結果を、制御部１
１に供給する。
【００６７】単語接続情報記憶部１６は、制御部１１か
ら供給される単語接続情報を、ユーザの音声の認識結果
が得られるまで記憶する。
【００６８】ここで、単語接続情報は、最終的な音声認
識結果の候補となる単語列を構成する単語どうしの接続
（連鎖または連接）関係を表すもので、各単語の音響ス
コアおよび言語スコア、並びに各単語に対応する発話の
開始時刻および終了時刻も含んでいる。
【００６９】即ち、図４は、単語接続情報記憶部１６に
記憶される単語接続情報を、グラフ構造を用いて示して
いる。
【００７０】図４の実施の形態において、単語接続情報
としてのグラフ構造は、単語を表すアーク（図４におい
て、○印どうしを結ぶ線分で示す部分）と、単語どうし
の境界を表すノード（図４において○印で示す部分）と
から構成されている。
【００７１】ノードは、時刻情報を有しており、この時
刻情報は、そのノードに対応する特徴量の抽出時刻を表
す。上述したように、抽出時刻は、音声区間の開始時刻
を０とする、特徴抽出部３が出力する特徴量が得られた
時刻であるから、図４において、音声区間の開始、即
ち、最初の単語の先頭に対応するノードNode1が有する
時刻情報は０となる。ノードは、アークの始端および終
端となるが、始端のノード（始端ノード）、または終端
のノード（終端ノード）が有する時刻情報は、それぞ
れ、そのノードに対応する単語の発話の開始時刻、また
は終了時刻、つまり単語の境界を表す。
【００７２】なお、図４では、左から右方向が、時間の
経過を表しており、従って、あるアークの左右にあるノ
ードのうち、左側のノードが始端ノードとなり、右側の
ノードが終端ノードとなる。
【００７３】アークは、そのアークに対応する単語の音
響スコアおよび言語スコアを有しており、このアーク
が、終端ノードとなっているノードを始端ノードとし
て、順次接続されていくことにより、音声認識結果の候
補となる単語の系列が構成されていく。
【００７４】即ち、制御部１１においては、まず最初
に、音声区間の開始を表すノードNode 1に対して、音声
認識結果として確からしい単語に対応するアークが接続
される。図４の実施の形態では、「今日」に対応するア
ークArc1、「いい」に対応するアークArc6、および「天
気」に対応するArc11が接続されている。なお、音声認
識結果として確からしい単語かどうかは、マッチング部
１４において求められる音響スコアおよび言語スコアに
基づいて決定される。
【００７５】そして、以下、同様にして、「今日」に対
応するアークArc1の終端である終端ノードNode2、「い
い」に対応するアークArc6の終端である終端ノードNode
7、「天気」に対応するArc11の終端である終端ノードNo
de12それぞれに対して、同様に、確からしい単語に対応
するアークが接続されていく。
【００７６】以上のようにしてアークが接続されていく
ことで、音声区間の開始を始点として、左から右方向
に、アークとノードで構成される１以上のパスが構成さ
れて行くが、例えば、そのパスのすべてが、音声区間の
最後（図４の実施の形態では、時刻Ｔ）に到達すると、
制御部１１において、音声区間の開始から最後までに形
成された各パスについて、そのパスを構成するアークが
有している音響スコアおよび言語スコアが累積され、最
終スコアが求められる。そして、例えば、その最終スコ
アが最も高いパスを構成するアークに対応する単語列
が、音声認識結果として確定されて出力される。
【００７７】具体的には、例えば、図４において、ノー
ドNode１から、「今日」に対応するアークArc1、ノード
Node2、「は」に対応するアークArc2、ノードNode3、
「いい」に対応するアークArc3、ノードNode4、「天
気」に対応するアークArc4、ノードNode5、「ですね」
に対応するアークArc5、およびノードNode6で構成され
るパスについて、最も高い最終スコアが得られた場合に
は、単語列「今日」、「は」、「いい」、「天気」、
「ですね」が、音声認識結果として出力されることにな
る。
【００７８】なお、上述の場合には、音声区間内にある
ノードについて、必ずアークを接続して、音声区間の開
始から最後にまで延びるパスを構成するようにしたが、
このようなパスを構成する過程において、それまでに構
成されたパスについてのスコアから、音声認識結果とし
て不適当であることが明らかであるパスに関しては、そ
の時点で、パスの構成を打ち切る（その後に、アークを
接続しない）ようにすることが可能である。
【００７９】また、上述のようなパスの構成ルールに従
えば、１つのアークの終端が、次に接続される１以上の
アークの始端ノードなり、基本的には、枝葉が拡がるよ
うに、パスが構成されて行くが、例外的に、１つのアー
クの終端が、他のアークの終端に一致する場合、つま
り、あるアークの終端ノードと、他のアークの終端ノー
ドとが同一のノードに共通化される場合がある。
【００８０】即ち、文法規則としてバイグラムを用いた
場合には、別のノードから延びる２つのアークが、同一
の単語に対応するものであり、さらに、その単語の発話
の終了時刻も同一であるときには、その２つのアークの
終端は一致する。
【００８１】図４において、ノードNode7を始端として
延びるアークArc７、およびノードNode13を始端として
延びるアークArc13は、いずれも「天気」に対応するも
のであり、その発話の終了時刻も同一であるため、その
終端ノードは、同一のノードNode8に共通化されてい
る。
【００８２】なお、ノードの共通化は行わないようにす
ることも可能であるが、メモリ容量の効率化の観点から
は、行うのが好ましい。
【００８３】また、図４では、文法規則としてバイグラ
ムを用いているが、その他、例えば、トライグラム等を
用いる場合も、ノードの共通化は可能である。
【００８４】さらに、単語接続情報記憶部１６に記憶さ
れている単語接続情報は、単語予備選択部１３、マッチ
ング部１４、および再評価部１５において、必要に応じ
て参照することができるようになっている。
【００８５】図３に戻り、音響モデルデータベース１７
Ａ，１７Ｂ、および１７Ｃは、基本的には、図１の音響
モデルデータベース５において説明したような音響モデ
ルを記憶している。
【００８６】但し、音響モデルデータベース１７Ｂは、
音響モデルデータベース１７Ａよりも精度の高い処理が
可能な高精度の音響モデルを記憶しており、音響モデル
データベース１７Ｃは、音響モデルデータベース１７Ｂ
よりも精度の高い処理が可能なより高精度の音響モデル
を記憶している。即ち、音響モデルデータベース１７Ａ
において、各音素や音節について、例えば、前後のコン
テキストに依存しない１パターンの音響モデルだけが記
憶されているとすると、音響モデルデータベース１７Ｂ
には、各音素や音節について、例えば、前後のコンテキ
ストに依存しない音響モデルの他、単語間にまたがるコ
ンテキストに依存する音響モデル、つまり、クロスワー
ドモデルも記憶されている。そして、音響モデルデータ
ベース１７Ｃには、各音素や音節について、例えば、前
後のコンテキストに依存しない音響モデルおよびクロス
ワードモデルの他、単語内のコンテキストに依存する音
響モデルも記憶されている。
【００８７】辞書データベース１８Ａ，１８Ｂ、および
１８Ｃは、基本的には、図１の辞書データベース６にお
いて説明したような単語辞書を記憶している。
【００８８】即ち、辞書データベース１８Ａ乃至１８Ｃ
の単語辞書には、同一セットの単語が登録されている。
但し、辞書データベース１８Ｂの単語辞書は、辞書デー
タベース１８Ａの単語辞書よりも精度の高い処理が可能
な高精度の音韻情報を記憶しており、辞書データベース
１８Ｃの単語辞書は、辞書データベース１８Ｂの単語辞
書よりもさらに精度の高い処理が可能な高精度の音韻情
報を記憶している。即ち、辞書データベース１８Ａの単
語辞書には、例えば、各単語に対して、１通りの音韻情
報（読み）だけ登録されているとすると、辞書データベ
ース１８Ｂの単語辞書には、例えば、各単語に対して、
複数通りの音韻情報が登録されている。そして、辞書デ
ータベース１８Ｃの単語辞書には、例えば、各単語に対
して、さらに多くの通りの音韻情報が登録されている。
【００８９】具体的には、例えば、単語「おはよう」に
対して、辞書データベース１８Ａの単語辞書には、１通
りの音韻情報「おはよう」だけが、辞書データベース１
８Ｂの単語辞書には、「おはよう」の他、「おはよー」
や「おはよ」が、辞書データベース１８Ｃの単語辞書に
は、「おはよう」、「おはよー」、および「おはよ」の
他、「はよう」や「はよー」が、それぞれ音韻情報とし
て登録されている。
【００９０】文法データベース１９Ａ，１９Ｂ、および
１９Ｃは、基本的には、図１の文法データベース７にお
いて説明したような文法規則を記憶している。
【００９１】但し、文法データベース１９Ｂは、文法デ
ータベース１９Ａよりも精度の高い処理が可能な高精度
の文法規則を記憶しており、文法データベース１９Ｃ
は、文法データベース１９Ｂよりも精度の高い処理が可
能なより高精度の文法規則を記憶している。即ち、文法
データベース１９Ａが、例えば、ユニグラム（単語の生
起確率）に基づく文法規則を記憶しているとすると、文
法データベース１９Ｂは、例えば、バイグラム（直前の
単語との関係を考慮した単語の生起確率）を記憶してい
る。そして、文法データベース１９Ｃは、例えば、トラ
イグラム（直前の単語およびそのさらに１つ前の単語と
の関係を考慮した単語の生起確率）や文脈自由文法等に
基づく文法規則を記憶している。
【００９２】以上のように、音響モデルデータベース１
７Ａには、各音素や音節について、１パターンの音響モ
デルが、音響モデルデータベース１７Ｂには、各音素や
音節について、複数パターンの音響モデルが、音響モデ
ルデータベース１７Ｃには、各音素や音節について、さ
らに多くのパターンの音響モデルが、それぞれ記憶され
ている。また、辞書データベース１８Ａには、各単語に
ついて、１通りの音韻情報が、辞書データベース１８Ｂ
には、各単語について、複数通りの音韻情報が、辞書デ
ータベース１８Ｃには、各単語について、さらに多くの
通りの音韻情報が、それぞれ記憶されている。そして、
文法データベース１９Ａには、簡易な文法規則が、文法
データベース１９Ｂには、精度の高い文法規則が、文法
データベース１９Ｃには、さらに精度の高い文法規則
が、それぞれ記憶されている。
【００９３】これにより、音響モデルデータベース１７
Ａ、辞書データベース１８Ａ、および文法データベース
１９Ａを参照する単語予備選択部１３では、それほど精
度は高くないが、多くの単語を対象として、迅速に、音
響スコアおよび言語スコアを求めることができるように
なっている。また、音響モデルデータベース１７Ｂ、辞
書データベース１８Ｂ、および文法データベース１９Ｂ
を参照するマッチング部１４では、ある程度の数の単語
を対象として、迅速に、精度の高い音響スコアおよび言
語スコアを求めることができるようになっている。そし
て、音響モデルデータベース１７Ｃ、辞書データベース
１８Ｃ、および文法データベース１９Ｃを参照する再評
価部１５では、少ない数の単語を対象として、迅速に、
より精度の高い音響スコアおよび言語スコアを求めるこ
とができるようになっている。
【００９４】なお、ここでは、音響モデルデータベース
１７Ａ乃至１７Ｃそれぞれに記憶させる音響モデルの精
度について優劣を設けるようにしたが、音響モデルデー
タベース１７Ａ乃至１７Ｃには、いずれにも、同一の音
響モデルを記憶させることができ、この場合、音響モデ
ルデータベース１７Ａ乃至１７Ｃは、１つの音響モデル
データベースに共通化することができる。同様に、辞書
データベース１８Ａ乃至１８Ｃの単語辞書それぞれの記
憶内容や、文法データベース１９Ａ乃至１９Ｃそれぞれ
の文法規則も、同一にすることができる。
【００９５】次に、図５のフローチャートを参照して、
図３の音声認識装置による音声認識処理について説明す
る。
【００９６】ユーザが発話を行うと、その発話としての
音声は、マイク１およびＡＤ変換部２を介することによ
り、ディジタルの音声データとされ、特徴抽出部３に供
給される。特徴抽出部３は、そこに供給される音声デー
タから、音声の特徴量を、フレームごとに順次抽出し、
制御部１１に供給する。
【００９７】制御部１１は、何らかの手法で音声区間を
認識するようになっており、音声区間においては、特徴
抽出部３から供給される特徴量の系列を、各特徴量の抽
出時刻と対応付けて、特徴量記憶部１２に供給して記憶
させる。
【００９８】さらに、制御部１１は、音声区間の開始
後、ステップＳ１において、音声区間の開始を表すノー
ド（以下、適宜、初期ノードという）を生成し、単語接
続情報記憶部１６に供給して記憶させる。即ち、制御部
１１は、ステップＳ１において、図４におけるノードNo
de1を、単語接続情報記憶部１６に記憶させる。
【００９９】そして、ステップＳ２に進み、制御部１１
は、単語接続情報記憶部１６の単語接続情報を参照する
ことで、途中ノードが存在するかどうかを判定する。
【０１００】即ち、上述したように、図４に示した単語
接続情報においては、終端ノードに、アークが接続され
ていくことにより、音声区間の開始から最後にまで延び
るパスが形成されて行くが、ステップＳ２では、終端ノ
ードのうち、まだアークが接続されておらず、かつ、音
声区間の最後にまで到達していないものが、途中ノード
（例えば、図４におけるノードNode8や、Node10，Node
11）として検索され、そのような途中ノードが存在する
かどうかが判定される。
【０１０１】なお、上述したように、音声区間は何らか
の手法で認識され、さらに、終端ノードに対応する時刻
は、その終端ノードが有する時刻情報を参照することで
認識することができるから、アークが接続されていない
終端ノードが、音声区間の最後に到達していない途中ノ
ードであるかどうかは、音声区間の最後の時刻と、終端
ノードが有する時刻情報とを比較することで判定するこ
とができる。
【０１０２】ステップＳ２において、途中ノードが存在
すると判定された場合、ステップＳ３に進み、制御部１
１は、情報接続情報の中に存在する途中ノードのうちの
１つを、それに接続するアークとしての単語を決定する
ノード（以下、適宜、注目ノードという）として選択す
る。
【０１０３】即ち、制御部１１は、情報接続情報の中に
１つの途中ノードしか存在しない場合には、その途中ノ
ードを、注目ノードとして選択する。また、制御部１１
は、情報接続情報の中に複数の途中ノードが存在する場
合には、その複数の途中ノードのうちの１つを注目ノー
ドとして選択する。具体的には、制御部１１は、例え
ば、複数の途中ノードそれぞれが有する時刻情報を参照
し、その時刻情報が表す時刻が最も古いもの（音声区間
の開始側のもの）、または最も新しいもの（音声区間の
終わり側のもの）を、注目ノードとして選択する。ある
いは、また、制御部１１は、例えば、初期ノードから、
複数の途中ノードそれぞれに至るまでのパスを構成する
アークが有する音響スコアおよび言語スコアを累積し、
その累積値（以下、適宜、部分累積スコアという）が最
も大きくなるパス、または小さくなるパスの終端になっ
ている途中ノードを、注目ノードとして選択する。
【０１０４】その後、制御部１１は、注目ノードが有す
る時刻情報を開始時刻としてマッチング処理を行う旨の
指令（以下、適宜、マッチング処理指令という）を、マ
ッチング部１４および再評価部１５に出力する。
【０１０５】再評価部１５は、制御部１１からマッチン
グ処理指令を受信すると、ステップＳ４に進み、単語接
続情報記憶部１６を参照することにより、初期ノードか
ら注目ノードに至るまでのパス（以下、適宜、部分パス
という）を構成するアークによって表される単語列（以
下、適宜、部分単語列という）を認識し、その部分単語
列の再評価を行う。即ち、部分単語列は、後述するよう
にして、単語予備選択部１３が予備選択した単語を対象
に、マッチング部１４がマッチング処理を行うことによ
り得られた音声認識結果の候補とする単語列の途中結果
であるが、再評価部１５では、その途中結果が、再度、
評価される。
【０１０６】具体的には、再評価部１５は、部分単語列
について、言語スコアおよび音響スコアを再計算するた
め、部分単語列に対応する特徴量の系列を、特徴量記憶
部１２から読み出す。即ち、再評価部１５は、例えば、
部分パスの先頭のノードである初期ノードが有する時刻
情報が表す時刻から、注目ノードが有する時刻情報が表
す時刻までに対応付けられている特徴量の系列（特徴量
系列）を、特徴量記憶部１２から読み出す。さらに、再
評価部１５は、音響モデルデータベース１７Ｃ、辞書デ
ータベース１８Ｃ、および文法データベース１９Ｃを参
照し、特徴量記憶部１２から読み出した特徴量系列を用
いて、部分単語列について、言語スコアおよび音響スコ
アを再計算する。なお、この再計算は、部分単語列を構
成する各単語の単語境界を固定せずに行われる。従っ
て、再評価部１５では、部分単語列の言語スコアおよび
音響スコアを再計算することにより、部分単語列につい
て、それを構成する各単語の単語境界の決定が、動的計
画法に基づいて行われることになる。
【０１０７】再評価部１５は、以上のようにして、部分
単語列の各単語の言語スコアおよび音響スコア、並びに
単語境界を新たに得ると、その新たな言語スコアおよび
音響スコアによって、単語接続情報記憶部１６の部分単
語列に対応する部分パスを構成するアークが有する言語
スコアおよび音響スコアを修正するとともに、新たな単
語境界によって、単語接続情報記憶部１６の部分単語列
に対応する部分パスを構成するノードが有する時刻情報
を修正する。なお、本実施の形態では、再評価部１５に
よる単語接続情報の修正は、制御部１１を介して行われ
るようになっている。
【０１０８】即ち、例えば、図６に示すノードNode5が
注目ノードとされた場合において、初期ノードNode1か
ら注目ノードNode5に至る部分パスのうちの、例えば、
ノードNode3、単語「いい」に対応するアークArc3、ノ
ードNode4、単語「天気」に対応するArc4、およびノー
ドNode5の部分で表される単語列「いい」、「天気」に
注目すると、再評価部１５は、ノードNode3に対応する
時刻からノードNode5に対応する時刻までの特徴量系列
を用い、音響モデルデータベース１７Ｃおよび辞書デー
タベース１８Ｃを参照することで、単語「いい」、「天
気」それぞれの単語モデルを構成し、音響スコアを計算
する。さらに、再評価部１５は、文法データベース１９
Ｃを参照することで、単語「いい」、「天気」それぞれ
の言語スコアを計算する。具体的には、例えば、文法デ
ータベース１９Ｃに、トライグラムに基づく文法規則が
記憶されている場合には、再評価部１５は、単語「い
い」については、その直前の単語「は」と、さらにその
前の単語「今日」を用い、単語が、「今日」、「は」、
「いい」と連鎖する確率を求め、その確率に基づいて言
語スコアを計算する。また、再評価部１５は、単語「天
気」については、その直前の単語「いい」と、さらにそ
の前の単語「は」を用い、単語が、「は」、「いい」、
「天気」と連鎖する確率を求め、その確率に基づいて言
語スコアを計算する。
【０１０９】再評価部１５は、以上のようにして求めら
れる音響スコアおよび言語スコアを累積し、その累積値
が最も大きくなるように、単語「いい」と「天気」の単
語境界を決定する。そして、再評価部１５は、そのよう
にして求まった音響スコアおよび言語スコアによって、
単語「いい」に対応するアークArc3と、単語「天気」に
対応するArc4がそれぞれ有する音響スコアおよび言語ス
コアを修正するとともに、決定した単語境界によって、
単語「いい」と「天気」の単語境界に対応するノードNo
de4が有する時刻情報を修正する。
【０１１０】従って、再評価部１５では、部分単語列の
各単語どうしの単語境界が、動的計画法に基づいて決定
され、単語接続情報１６に記憶された単語接続情報が、
逐次修正されていく。そして、この修正された単語接続
情報を参照して、単語予備選択部１３およびマッチング
部１４で処理が行われるため、それぞれにおける処理の
精度および信頼性を向上させることができる。
【０１１１】さらに、再評価部１５において単語接続情
報の単語境界が修正されるため、単語接続情報として記
憶しておく単語境界の候補の数を大幅に削減することが
でき、メモリ容量の効率化を図ることができる。
【０１１２】即ち、従来においては、例えば、前述の図
２で説明したように、単語「今日」と「は」との単語境
界の候補として、時刻ｔ1-1，ｔ1，ｔ1+1の３つを保持
しておく必要があり、また、正しい単語境界である時刻
ｔ1を保持し損ねた場合には、その後のマッチング処理
に悪影響を与える。これに対して、再評価部１５におい
て単語境界を逐次修正する場合には、例えば、誤った単
語境界である時刻ｔ1- 1の１つだけしか保持しなかった
としても、再評価部１５において、その誤った単語境界
である時刻ｔ1-1が、正しい単語境界である時刻ｔ1に修
正されるから、その後のマッチング処理に悪影響を与え
ることはない。
【０１１３】また、再評価部１５では、部分単語列を構
成する単語については、最初と最後の単語を除き、その
前と後に接続する単語それぞれを考慮したクロスワード
モデルを用いて音響スコアを計算し、さらに、言語スコ
アの計算も、その前と後に接続する単語それぞれを考慮
して行うことができ、従って、高精度の処理を行うこと
ができる。
【０１１４】再評価部１５は、以上のようにして、単語
接続情報記憶部１６の単語接続情報の修正を終了する
と、その旨を、制御部１１を介して、マッチング部１４
に供給する。
【０１１５】マッチング部１４は、上述したように、制
御部１１からマッチング処理指令を受信した後、再評価
部１５から、制御部１１を介して、単語接続情報の修正
が終了した旨を受信すると、注目ノード、およびそれが
有する時刻情報を、単語予備選択部１３に供給し、それ
ぞれに、単語予備選択処理を要求して、ステップＳ５に
進む。
【０１１６】ステップＳ５では、単語予備選択部１３
は、マッチング部１４から、単語予備選択処理の要求を
受信すると、注目ノードに接続されるアークとなる単語
の候補を選択する単語予備選択処理を、辞書データベー
ス１８Ａの単語辞書に登録された単語を対象として行
う。
【０１１７】即ち、単語予備選択部１３は、言語スコア
および音響スコアを計算するのに用いる特徴量の系列の
開始時刻を、注目ノードが有する時刻情報から認識し、
その開始時刻以降の、必要な特徴量の系列を特徴量記憶
部１２から読み出す。さらに、単語予備選択部１３は、
辞書データベース１８Ａの単語辞書に登録された各単語
の単語モデルを、音響モデルデータベース１７Ａの音響
モデルを接続することで構成し、その単語モデルに基づ
き、特徴量記憶部１２から読み出した特徴量の系列を用
いて、音響スコアを計算する。
【０１１８】また、単語予備選択部１３は、各単語モデ
ルに対応する単語の言語スコアを、文法データベース１
９Ａに記憶された文法規則に基づいて計算する。即ち、
単語予備選択部１３は、各単語の言語スコアを、例えば
ユニグラムに基づいて求める。
【０１１９】なお、単語予備選択部１３においては、単
語接続情報を参照することにより、各単語の音響スコア
の計算を、その単語の直前の単語（注目ノードが終端と
なっているアークに対応する単語）に依存するクロスワ
ードモデルを用いて行うことが可能である。
【０１２０】また、単語予備選択部１３においては、単
語接続情報を参照することにより、各単語の言語スコア
の計算を、その単語が、その直前の単語と連鎖する確率
を規定するバイグラムに基づいて行うことが可能であ
る。
【０１２１】単語予備選択部１３は、以上のようにし
て、各単語について音響スコアおよび言語スコアを求め
ると、その音響スコアおよび言語スコアを総合評価した
スコアを、以下、適宜、単語スコアという）を求め、そ
の上位Ｌ個を、マッチング処理の対象とする単語とし
て、マッチング部１４に供給する。
【０１２２】なお、ここでは、単語予備選択部１３にお
いて、各単語の音響スコアおよび言語スコアを総合評価
した単語スコアに基づいて、単語を選択するようにした
が、単語予備選択部１３では、その他、例えば、音響ス
コアだけや、言語スコアだけに基づいて、単語を選択す
るようにすることが可能である。
【０１２３】また、単語予備選択部１３では、特徴量記
憶部１２から読み出した特徴量の系列の最初の部分だけ
を用いて、音響モデルデータベース１７Ａの音響モデル
に基づき、対応する単語の最初の部分の幾つかの音韻を
求め、最初の部分が、その音韻に一致する単語を選択す
るようにすることも可能である。
【０１２４】さらに、単語予備選択部１３では、単語接
続情報を参照して、直前の単語（注目ノードが終端ノー
ドとなっているアークに対応する単語）の品詞を認識
し、その品詞に続く単語の品詞として可能性の高い品詞
の単語を選択するようにすることも可能である。
【０１２５】即ち、単語予備選択部１３における単語の
選択方法は、どのような方法を用いても良く、究極的に
は、単語を、ランダムに選択しても良い。
【０１２６】マッチング部１４は、単語予備選択部１３
から、マッチング処理に用いるＬ個の単語（以下、適
宜、選択単語という）を受信すると、ステップＳ６にお
いて、その選択単語を対象として、マッチング処理を行
う。
【０１２７】即ち、マッチング部１４は、言語スコアお
よび音響スコアを計算するのに用いる特徴量の系列の開
始時刻を、注目ノードが有する時刻情報から認識し、そ
の開始時刻以降の、必要な特徴量の系列を特徴量記憶部
１２から読み出す。さらに、マッチング部１４は、辞書
データベース１８Ｂを参照することで、単語予備選択部
１３からの選択単語の音韻情報を認識し、その音韻情報
に対応する音響モデルを、音響モデルデータベース１７
Ｂから読み出して接続することで、単語モデルを構成す
る。
【０１２８】そして、マッチング部１４は、上述のよう
にして構成した単語モデルに基づき、特徴量記憶部１２
から読み出した特徴量系列を用いて、単語予備選択部１
３からの選択単語の音響スコアを計算する。なお、マッ
チング部１４においては、単語接続情報を参照すること
により、単語の音響スコアの計算を、クロスワードモデ
ルに基づいて行うようにすることが可能である。
【０１２９】さらに、マッチング部１４は、文法データ
ベース１９Ｂを参照することで、単語予備選択部１３か
らの選択単語の言語スコアを計算する。即ち、マッチン
グ部１４は、例えば、単語接続情報を参照することによ
り、単語予備選択部１３からの選択単語の直前の単語、
さらには、その前の単語を認識し、バイグラムやトライ
グラムに基づく確率から、単語予備選択部１３からの選
択単語の言語スコアを求める。
【０１３０】マッチング部１４は、以上のようにして、
単語予備選択部１３からのＬ個の選択単語すべてについ
て、その音響スコアおよび言語スコアを求め、ステップ
Ｓ７に進む。ステップＳ７では、選択単語それぞれにつ
いて、その音響スコアおよび言語スコアを総合評価した
単語スコアが求められ、その単語スコアに基づいて、単
語接続情報記憶部１６に記憶された単語接続情報が更新
される。
【０１３１】即ち、ステップＳ７では、マッチング部１
４は、選択単語について単語スコアを求め、例えば、そ
の単語スコアを所定の閾値と比較すること等によって、
注目ノードに接続するアークとしての単語を、選択単語
の中から絞り込む。そして、マッチング部１４は、その
絞り込みの結果残った単語を、その音響スコア、言語ス
コア、およびその単語の終了時刻とともに、制御部１１
に供給する。
【０１３２】なお、マッチング部１４において、単語の
終了時刻は、音響スコアを計算するのに用いた特徴量の
抽出時刻から認識される。また、ある単語について、そ
の終了時刻としての蓋然性の高い抽出時刻が複数得られ
た場合には、その単語については、各終了時刻と、対応
する音響スコアおよび言語スコアとのセットが、制御部
１１に供給される。
【０１３３】制御部１１は、上述のようにしてマッチン
グ部１４から供給される単語の音響スコア、言語スコ
ア、および終了時刻を受信すると、マッチング部１４か
らの各単語について、単語接続情報記憶部１６に記憶さ
れた単語接続情報（図４）における注目ノードを始端ノ
ードとして、アークを延ばし、そのアークを、終了時刻
の位置に対応する終端ノードに接続する。さらに、制御
部１１は、各アークに対して、対応する単語、並びにそ
の音響スコアおよび言語スコアを付与するとともに、各
アークの終端ノードに対して、対応する終了時刻を時刻
情報として与える。そして、ステップＳ２に戻り、以
下、同様の処理が繰り返される。
【０１３４】以上のように、単語接続情報は、マッチン
グ部１４の処理結果に基づいて、逐次更新され、さら
に、再評価部１５において逐次修正されるので、単語予
備選択部１３およびマッチング部１４は、常時、単語接
続情報を利用して処理を行うことが可能となる。
【０１３５】なお、制御部１１は、単語接続情報を更新
する際に、可能であれば、上述したような終端ノードの
共通化を行う。
【０１３６】一方、ステップＳ２において、途中ノード
が存在しないと判定された場合、ステップＳ８に進み、
制御部１１は、単語接続情報を参照することで、その単
語接続情報として構成された各パスについて、単語スコ
アを累積することで、最終スコアを求め、例えば、その
最終スコアが最も大きいパスを構成するアークに対応す
る単語列を、ユーザの発話に対する音声認識結果として
出力して、処理を終了する。
【０１３７】以上のように、単語予備選択部１３におい
て、音声認識結果の候補となる単語列の、既に求まって
いる単語に続く１以上の単語が選択され、マッチング部
１４において、その選択された単語（選択単語）につい
て、スコアが計算されて、そのスコアに基づき、音声認
識結果の候補となる単語列が構成される。そして、再評
価部１５において、音声認識結果の候補となる単語列の
単語どうしの単語接続関係が修正され、制御部１１にお
いて、その修正後の単語接続関係に基づいて、音声認識
結果となる単語列が確定される。従って、処理に要する
リソースの増大を抑えながら、精度の高い音声認識を行
うことができる。
【０１３８】即ち、再評価部１５において単語接続情報
の単語境界が修正されるため、注目ノードが有する時刻
情報が、単語境界を表している精度が高くなり、単語予
備選択部１３やマッチング部１４では、そのような精度
の高い時刻情報が表す時刻以降の特徴量系列を用いて処
理が行われる。従って、単語予備選択部１３において選
択する単語の判断基準や、マッチング部１４において単
語を絞り込むときの判断基準を強化しても、音声認識結
果として正しい単語が除外されてしまう可能性を極めて
低くすることができる。
【０１３９】そして、単語予備選択部１３において選択
する単語の判断基準を強化した場合には、マッチング部
１４においてマッチング処理の対象となる単語数が少な
くなり、その結果、マッチング部１４の処理に要する演
算量およびメモリ容量も少なくすることができる。
【０１４０】さらに、仮に、単語予備選択部１３におい
て、正しい音声認識結果としての単語列を構成する単語
のうち、ある時刻から開始する単語が、その時刻に選択
されなかったとしても、その時刻から多少ずれた時刻
（従って、誤った時刻）において選択されれば、再評価
部１５において、その誤った時刻が修正され、正しい音
声認識結果としての単語列を得ることができる。即ち、
単語予備選択部１３で、正しい音声認識結果としての単
語列を構成する単語の選択漏れがあったとしても、再評
価部１５において、その選択漏れを是正して、正しい音
声認識結果としての単語列を得ることができる。
【０１４１】従って、再評価部１５では、マッチング部
１４における終了時刻の検出の誤りの他、単語予備選択
部１３における単語の選択の誤りも是正することができ
る。
【０１４２】次に、図７は、本発明を適用した音声認識
装置の第１実施の形態の構成例を示している。なお、図
中、図３における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。即ち、図７の音声認識装置は、制御部１１と単語
接続情報記憶部１６との間に、単語接続関係管理部２１
が新たに設けられている他は、基本的に、図３における
場合と同様に構成されている。
【０１４３】従って、図７の実施の形態においては、制
御部１１は、単語接続関係管理部２１を介して、単語接
続情報記憶部１６に対して、マッチング部１４からの情
報に基づいて生成した単語接続情報を書き込むが、その
際、単語接続関係管理部２１は、その単語接続情報によ
って表される単語の境界位置を制限する。
【０１４４】即ち、制御部１１は、上述したように、マ
ッチング部１４から供給される単語の音響スコア、言語
スコア、および終了時刻を受信すると、マッチング部１
４からの各単語について、単語接続情報記憶部１６に記
憶された単語接続情報（図４）における注目ノードを始
端ノードとして、アークを延ばし、そのアークを、終了
時刻の位置に対応する終端ノードに接続する。さらに、
制御部１１は、各アークに対して、対応する単語、並び
にその音響スコアおよび言語スコアを付与するととも
に、各アークの終端ノードに対して、対応する終了時刻
を時刻情報として与える。
【０１４５】その際、単語接続関係管理部２１は、注目
ノードを始点ノードとして延ばされるアークの終端ノー
ドの位置（単語の終了時刻）を制限する。
【０１４６】即ち、例えば、いま、図８（Ａ）に示すよ
うに、特徴抽出部３において、時間ＴSごとに特徴量が
抽出され、制御部１１に供給されるとすると、制御部１
１は、この時間ＴSを最小単位とした終了時刻を終端ノ
ードとする単語すべてに対応するアークを、単語接続情
報として、単語接続情報記憶部１６に書き込む。
【０１４７】従って、例えば、図８（Ａ）に示すよう
に、「今日はいい天気ですね」と発話された場合におい
て、単語「今日」と「は」との間の境界位置の候補、即
ち、単語「今日」の終了時刻の候補として、例えば、図
８（Ｂ）に示すように、時間Ｔ Sごとの連続する７つの
時刻（タイミング）ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇが得ら
れたときには、この７つの時刻ａ乃至ｇそれぞれを終端
ノードとする単語「今日」に対応するアークが、単語接
続情報として記憶されることになる。
【０１４８】即ち、単語の境界位置（つまり、単語の終
了時刻）は、特徴抽出部３において特徴量が得られるタ
イミングで設定することができるため、終端ノードとす
ることができるタイミング（以下、適宜、ノード記憶タ
イミングという）も、図８（Ｃ）に矢印で示すように、
時間ＴSを最小単位としたタイミングとなり、その結
果、上述のような時間ＴSごとの連続する７つの時刻ａ
乃至ｇそれぞれを終端ノードとするアークが、単語接続
情報として記憶されることがある。
【０１４９】しかしながら、このように、多数のアーク
が、単語接続情報として記憶されるのは、単語接続情報
記憶部１６の記憶容量や、処理時間等の観点から効率的
ではない。
【０１５０】そこで、単語接続関係管理部２１は、終端
ノードの位置（単語の終了時刻）を、特徴抽出部３から
特徴量が供給されるタイミングを間引いたタイミングに
制限する。
【０１５１】即ち、単語接続関係管理部２１は、終端ノ
ードの位置を、例えば、図８（Ｄ）に示すように、時間
３ＴSごとのタイミングに制限する。
【０１５２】ここで、単語接続関係管理部２１によって
制限された、終端ノードの位置としてとり得る位置（タ
イミング）を、以下、適宜、新ノード記憶タイミングと
いう。
【０１５３】この場合、制御部１１において、単語「今
日」の終了時刻の候補として、図８（Ｂ）に示したよう
に、時間ＴSごとの連続する７つの時刻ａ乃至ｇが得ら
れたとしても、単語接続関係管理部２１において、終端
ノードの位置は、２つの時刻ｃとｆに制限されることと
なり、その結果、単語接続情報記憶部１６として必要な
記憶容量を低減することができる。さらに、この場合、
その後に注目ノードとされる途中ノードが少なくなるこ
とから、処理の高速化を図ることができる。
【０１５４】ところで、上述のように、単語接続関係管
理部２１において、終端ノードの位置を制限した場合に
は、正しい単語境界が得られないことがある。即ち、図
８の実施の形態においては、図８（Ａ）に示すように、
単語「今日」と「は」との間の正しい単語境界は、時刻
ｄであるが、終端ノードの位置は、図８（Ｄ）に示した
ように、時刻ｃとｆに制限され、正しい単語境界の時刻
ｄを、終端ノードとして得ることができない。
【０１５５】従って、誤った境界位置である時刻ｃまた
はｆを、正しい境界位置として、その後の処理が行われ
る場合には、認識性能が低下することになる。
【０１５６】しかしながら、図７の音声認識装置では、
図３の音声認識装置について説明したように、再評価部
１５が、単語接続情報の単語境界を修正するため、ある
程度の境界位置の誤りは、正しい境界位置に修正され
る。その結果、上述したように、終端ノードの位置を、
ある程度制限しても、認識性能の低下を防止することが
できる。
【０１５７】即ち、図９は、終端ノードの位置を制限し
て行った音声認識処理のシミュレーション結果を示して
いる。
【０１５８】図９において、「時間間隔」の欄は、終端
ノードの位置の制限条件を表しており、そこに記載して
ある数字は、特徴抽出部３から特徴量が供給される時間
間隔ＴSに対する、終端ノードの位置として許可するタ
イミングの時間間隔を表す。即ち、「時間間隔」の欄の
数字＃ｉは、終端ノードの位置を、時間ｉ×ＴSごとの
時刻に制限したことを表す。従って、例えば、「時間間
隔」の欄における「１」は、終端ノードの位置を制限し
ない場合を表し、また、例えば、「時間間隔」の欄にお
ける「２」は、終端ノードの位置を、時間２ＴSごとの
時刻に制限した場合を表す。
【０１５９】また、「単語正解率」の欄は、音声の認識
率を表す。
【０１６０】なお、シミュレーションでは、特徴抽出部
３から特徴量が供給される時間間隔ＴSを、１０ｍｓと
した。
【０１６１】また、シミュレーションでは、音声認識の
対象とする単語数を２万語とし、１０人の話者それぞれ
による２０の発話、即ち、延べ２００発話を対象に、音
声認識を行った。さらに、文法としては、トライグラム
を用いた。
【０１６２】図９のシミュレーション結果から、終端ノ
ードの位置を、時間ＴS乃至４ＴSそれぞれごとの時刻に
制限しても、ほとんど同様の認識性能が得られているこ
とが分かる。
【０１６３】なお、上述のように、シミュレーション
は、２００発話しか対象にしていないため、「単語正解
率」の欄の認識率における０．５％乃至１％程度の上下
差は、誤差の範囲内である。
【０１６４】ところで、例えば、図８（Ａ）と同様の図
１０（Ａ）に示すように、「今日はいい天気ですね」と
発話された場合において、単語「今日」と「は」との間
の境界位置の候補、即ち、単語「今日」の終了時刻の候
補として、例えば、図１０（Ｂ）に示すように、時間Ｔ
Sだけ離れた２つの連続する時刻（タイミング）ｄとｅ
が得られたとする。
【０１６５】即ち、マッチング部１４において、例え
ば、図１０（Ａ）に示した、時間ＴSごとの時刻ａ乃至
ｇそれぞれを終了時刻とした単語「今日」の単語スコア
が計算され、その単語スコアによる、上述した絞り込み
によって、時刻ｄとｅをそれぞれ終了時刻とする単語
「今日」が残ったとする。
【０１６６】この場合、単語接続関係管理部２１におい
て、終端ノードの位置を、例えば、図１０（Ｃ）に示す
ように、時間３ＴSごとのタイミングに制限すると、時
刻ｄとｅは、いずれも、その制限されたタイミング、即
ち、新ノード記憶タイミングの位置にないため、時刻ｄ
とｅをそれぞれ終了時刻とするアークは、いずれも、単
語接続情報記憶部１６に記憶されないことになる。
【０１６７】即ち、図１０（Ｂ）の実施の形態では、単
語「今日」の終了時刻として正しい時刻ｄと、その時刻
に近い時刻ｅが得られているのにもかかわらず、いずれ
の時刻も、ノードとして記憶されない。
【０１６８】そして、このように、正しい終了時刻付近
にノードが記憶されない場合には、再評価部１５の処理
によっても、単語どうしの間の境界位置を、正しい位置
に修正することが困難となり、この場合、音声認識性能
が劣化することになる。
【０１６９】そこで、制御部１１は、マッチング部１４
を制御することにより、マッチング部１４が計算した単
語スコアを補正させ、その補正後の単語スコア（以下、
適宜、補正スコアという）に基づいて、音声認識結果の
候補となる単語列の単語の境界位置の候補の仮決定（絞
り込み）を行わせる。
【０１７０】即ち、例えば、いま、時刻ｘを終了時刻と
する単語の音響スコアと言語スコアを、それぞれＡ
（ｘ）とＬ（ｘ）と表すとともに、時刻ｘの前と後に隣
接する時刻を、それぞれｘ-1とｘ+1と表すこととする
と、マッチング部１４は、時刻ｘを終了時刻とする単語
の補正スコアを求めるのに用いる音響スコアＡ’（ｘ）
と言語スコアＬ’（ｘ）（以下、適宜、それぞれを、補
正音響スコアＡ’（ｘ）と補正言語スコアＬ’（ｘ）と
いう）を、次式にしたがって求める。
【０１７１】 Ａ’（ｘ）＝ｍａｘ｛Ａ（ｘ-1），Ａ（ｘ），Ａ（ｘ+1）｝ Ｌ’（ｘ）＝ｍａｘ｛Ｌ（ｘ-1），Ｌ（ｘ），Ｌ（ｘ+1）｝ ・・・（２）
【０１７２】ここで、式（２）において、ｍａｘ｛｝
は、カッコ｛｝内の最大値を意味する。また、式（２）
における音響スコアＡ（ｘ-1），Ａ（ｘ），Ａ（ｘ+1）
それぞれには、各音響スコアを計算する時間長に依存し
ないように、何らかの正規化が施されるものとする。
【０１７３】式（２）によれば、ある時刻ｘを終了時刻
とする単語の音響スコアが、その時刻の音響スコア、そ
の時刻の前と後にそれぞれ隣接する時刻ｘ-1とｘ+1を終
了時刻とする単語の音響スコアのうちの最も大きいもの
に補正される。さらに、言語スコアについても、同様の
補正が行われる。その結果、直感的には、ある時刻ｘを
終了時刻とする単語の単語スコアは、その時刻ｘを含
む、その時刻ｘに近い時刻を終了時刻とする単語の単語
スコアのうちの最も大きいものに補正されることにな
る。
【０１７４】従って、図１０（Ｂ）に示したように、補
正前の単語スコアによる絞り込みによって、時刻ｄとｅ
をそれぞれ終了時刻とする単語「今日」が残る場合とい
うのは、時刻ｄとｅをそれぞれ終了時刻とする単語「今
日」の単語スコアが所定の閾値以上であり、かつ他の時
刻を終了時刻とする単語「今日」の単語スコアが所定の
閾値未満である場合であるから、時刻ｄの直前の時刻ｃ
を終了時刻とする単語「今日」の単語スコアは、時刻ｄ
を終了時刻とする単語「今日」の単語スコアより小さ
く、また、時刻ｅの直後の時刻ｆを終了時刻とする単語
「今日」の単語スコアは、時刻ｅを終了時刻とする単語
「今日」の単語スコアより小さい。
【０１７５】その結果、時刻ｃを終了時刻とする単語
「今日」の単語スコアは、その時刻ｃの直後の時刻ｄを
終了時刻とする単語「今日」の単語スコアに補正され、
また、時刻ｆを終了時刻とする単語「今日」の単語スコ
アも、その時刻ｆの直前の時刻ｅを終了時刻とする単語
「今日」の単語スコアに補正される。
【０１７６】これにより、時刻ｃとｆをそれぞれ終了時
刻とする単語「今日」の補正後の単語スコア（補正スコ
ア）は、いずれも、所定の閾値以上となる。従って、そ
のような補正スコアに基づいて、絞り込みを行うことに
より、図１０（Ｄ）に示すように、時刻ｄとｅをそれぞ
れ終了時刻とする単語「今日」だけでなく、時刻ｃとｆ
をそれぞれ終了時刻とする単語「今日」も残ることにな
る。
【０１７７】この場合、単語接続関係管理部２１におい
て、終端ノードの位置を、図１０（Ｃ）と同様の図１０
（Ｅ）に示すように、時間３ＴSごとのタイミングに制
限しても、単語「今日」の終了時刻として正しい時刻ｄ
に近い時刻ｃとｆが得られ、この時刻ｃとｆそれぞれ
が、ノードとして記憶されることになる。
【０１７８】従って、正しい終了時刻ｄに近い時刻ｃと
ｆが、ノードとして記憶されるので、上述した再評価部
１５の処理によって、単語どうしの間の境界位置が、正
しい位置に修正されることになる。
【０１７９】次に、図１１のフローチャートを参照し
て、図７の音声認識装置による音声認識処理について説
明する。
【０１８０】図７の音声認識装置では、ステップＳ１１
乃至Ｓ１６において、図５のステップＳ１乃至Ｓ６にお
ける場合とそれぞれ同様の処理が行われる。
【０１８１】そして、ステップＳ１６において、図５の
ステップＳ６で説明したように、マッチング部１４が、
単語予備選択部１３からの選択単語すべてについて、そ
れぞれの音響スコアおよび言語スコアを求めた後は、ス
テップＳ１７に進み、マッチング部１４は、式（２）に
したがい、各単語の音響スコアと言語スコアを、他の時
刻を終了時刻とする同一単語の音響スコアと言語スコア
によって、それぞれ補正する。さらに、マッチング部１
４は、補正後の音響スコアと言語スコアから、補正後の
単語スコア（補正スコア）を計算する。そして、マッチ
ング部１４は、ステップＳ１８に進み、その補正スコア
によって、単語の絞り込みを行い、これにより、単語の
境界位置の候補を、特に位置を制限することなく決定
（仮決定）する。
【０１８２】その後、マッチング部１４は、ステップＳ
１８における絞り込みの結果残った単語を、その音響ス
コア、言語スコア、およびその単語の終了時刻ととも
に、制御部１１に供給する。
【０１８３】制御部１１は、上述のようにしてマッチン
グ部１４から供給される単語の音響スコア、言語スコ
ア、および終了時刻を受信すると、そのうちの各単語に
ついての終了時刻を、単語接続関係管理部２１に供給す
る。
【０１８４】単語接続関係管理部２１は、ステップＳ１
９において、単語の境界候補となっている終了時刻を、
新ノード記憶タイミングで間引き、即ち、新ノード記憶
タイミングの位置にない終了時刻を削除し、残った終了
時刻を、単語の境界候補となる時刻として、最終的に決
定する。単語接続関係管理部２１は、このようにして最
終的に残った終了時刻を、制御部１１に返し、制御部１
１は、ステップＳ２０において、単語接続関係管理部２
１から終了時刻が返された単語に関して、単語接続情報
記憶部１６に記憶された単語接続情報を、単語接続関係
管理部２１を介して更新する。
【０１８５】即ち、ステップＳ２０では、図５のステッ
プＳ７で説明した場合と同様に、単語接続関係管理部２
１から終了時刻が返された各単語について、単語接続情
報記憶部１６に記憶された単語接続情報（図４）におけ
る注目ノードを始端ノードとして、アークを延ばし、そ
のアークを、終了時刻の位置に対応する終端ノードに接
続する。さらに、制御部１１は、各アークに対して、対
応する単語、並びにその音響スコアおよび言語スコアを
付与するとともに、各アークの終端ノードに対して、対
応する終了時刻を時刻情報として与える。
【０１８６】その後は、ステップＳ１２に戻り、以下、
同様の処理が繰り返される。
【０１８７】そして、ステップＳ１２において、途中ノ
ードが存在しないと判定されると、ステップＳ２１に進
み、図５のステップＳ８における場合と同様に、制御部
１１は、単語接続情報を参照することで、その単語接続
情報として構成された各パスについて、単語スコアを累
積することで、最終スコアを求め、例えば、その最終ス
コアが最も大きいパスを構成するアークに対応する単語
列を、ユーザの発話に対する音声認識結果として出力し
て、処理を終了する。
【０１８８】以上のように、単語接続関係管理部２１に
おいて、終端ノードの位置を、特徴抽出部３から特徴量
が供給されるタイミングを間引いたタイミング（新ノー
ド記憶タイミング）に制限するようにしたので、単語接
続情報記憶部１６の記憶容量や処理時間等を低減するこ
とができ、処理の効率化を図ることができる。
【０１８９】さらに、終端ノードの位置を制限しても、
再評価部１５によって、その位置が、正しい単語の境界
の位置に修正されるため、認識性能の劣化を防止するこ
とができる。なお、図７の実施の形態では、単語予備選
択部１３を設けて、音声認識装置を構成するようにした
が、音声認識装置は、単語予備選択部１３を設けずに構
成することも可能である。
【０１９０】次に、図１２は、本発明を適用した音声認
識装置の第２実施の形態の構成例を示している。なお、
図中、図３における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図１２の音声認識装置は、単語予備選択
部１３とマッチング部１４との間に、単語接続関係管理
部２２が新たに設けられている他は、基本的に、図３に
おける場合と同様に構成されている。
【０１９１】従って、図１２の実施の形態においては、
マッチング部１４が単語予備選択処理の要求とともに出
力する注目ノード、およびそれが有する時刻情報は、単
語接続関係管理部２２を介して、単語予備選択部１３に
供給されることとなるが、その際、単語接続関係管理部
２２は、マッチング部１４からの注目ノードの時刻情
報、つまり、選択単語の開始位置（開始時刻）を制限す
る。
【０１９２】即ち、例えば、いま、図１３（Ａ）に示す
ように、特徴抽出部３において、時間ＴSごとに特徴量
が抽出され、制御部１１に供給されるとすると、制御部
１１は、この時間ＴSを最小単位とした終了時刻を終端
ノードとする単語すべてに対応するアークを、単語接続
情報として、単語接続情報記憶部１６に書き込む。
【０１９３】従って、例えば、図１３（Ａ）に示すよう
に、「今日はいい天気ですね」と発話された場合におい
て、単語「今日」と「は」との間の境界位置の候補、即
ち、単語「今日」の終了時刻の候補として、時間ＴSご
との連続する７つの時刻ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇが
得られたときには、この７つの時刻ａ乃至ｇそれぞれ
が、終端ノードとして、単語接続情報記憶部１６に記憶
されることになる。
【０１９４】その結果、この７つの終端ノードａ乃至ｇ
は、その後、順次、注目ノードとされるから、単語予備
選択部１３は、７つの終端ノードａ乃至ｇそれぞれを、
単語の開始位置として、単語予備選択処理を行うことと
なる。
【０１９５】しかしながら、このように、多数の時刻を
開始位置として単語予備選択を行うのは、処理時間等の
観点から効率的ではない。
【０１９６】そこで、単語接続関係管理部２２は、マッ
チング部１４から単語予備選択部１３に供給される注目
ノードの位置（単語の開始時刻）を、特徴抽出部３から
特徴量が供給されるタイミングを間引いたタイミングに
制限する。
【０１９７】即ち、単語接続関係管理部２２は、注目ノ
ードの位置を、例えば、図１３（Ｂ）に示すように、時
間２ＴSごとのタイミングに制限する。これにより、単
語予備選択部１３において、単語予備選択処理が開始さ
れるタイミング（単語の開始時刻）は、時間２ＴSごと
のタイミングに制限される。
【０１９８】具体的には、単語接続関係管理部２２は、
マッチング部１４から供給される注目ノードの位置が、
単語の開始時刻としてとり得る位置（以下、適宜、許可
位置という）である場合には、その注目ノードを、その
まま単語予備選択部１３に供給し、マッチング部１４か
ら供給される注目ノードの位置が、単語の開始時刻とし
てとり得ない位置（以下、適宜、不許可位置という）で
ある場合（制限されている場合）には、その注目ノード
の時刻情報を、単語予備選択部１３に供給せずに一時保
持する。
【０１９９】その結果、単語予備選択部１３では、許可
位置のみを開始位置として単語予備選択が行われるの
で、単語予備選択処理に要する処理時間の短縮化等を図
ることができる。
【０２００】ところで、上述のように、単語予備選択部
１３において、許可位置のみを開始位置として単語予備
選択が行われる場合には、不許可位置を開始位置とする
単語予備選択結果が得られないから、このままでは、不
許可位置を開始位置とする単語が、マッチング処理部１
４において処理の対象とされることがなくなってしまう
ことになる。
【０２０１】しかしながら、マッチング部１４が単語予
備選択処理の要求とともに出力する注目ノードの時刻情
報は、いまの場合、時間ＴSを最小単位とするものであ
り、マッチング部１４から単語予備選択部１３に対して
は、許可位置のみならず、不許可位置を開始位置とする
単語予備選択処理が要求される場合がある。
【０２０２】従って、不許可位置を開始位置とする単語
が、単語予備選択結果として、マッチング部１４に供給
されず、その結果、まったく処理の対象とされないこと
は、認識性能の劣化を招くことになる。
【０２０３】そこで、単語接続関係管理部２２は、マッ
チング部１４から、不許可位置を開始位置とする単語の
単語予備選択処理の要求があった場合には、不許可位置
を開始位置とする単語を補完し、マッチング部１４に供
給するようになっている。
【０２０４】即ち、単語接続関係管理部２２は、例え
ば、図１３（Ａ）に示した時間ＴSごとの時刻ａ乃至ｇ
のうちの、図１３（Ｂ）に示した時間２ＴSごとの時刻
ｂ，ｄ，ｆに、単語予備選択処理が開始されるタイミン
グ（単語の開始時刻）を制限する場合において、その時
刻以外の時刻（不許可位置）ｃやｅを開始位置とする単
語予備選択処理の要求があったときには、その時刻ｃや
ｅに近い許可位置を開始位置とする単語予備選択処理の
結果得られた単語（選択単語）によって、不許可位置で
ある時刻ｃやｅを開始位置とする単語予備選択結果とし
ての単語を補完する。
【０２０５】具体的には、単語接続関係管理部２２は、
例えば、不許可位置である時刻ｃについては、図１３
（Ｃ）に示すように、その前後の許可位置の時刻ｂとｄ
をそれぞれ開始位置とする単語予備選択処理の結果得ら
れた単語の集合を、時刻ｃを開始位置とする単語予備選
択結果として補完し、マッチング部１４に供給する。ま
た、単語接続関係管理部２２は、例えば、不許可位置で
ある時刻ｅについては、図１３（Ｃ）に示すように、そ
の前後の許可位置の時刻ｄとｆをそれぞれ開始位置とす
る単語予備選択処理の結果得られた単語の集合を、時刻
ｅを開始位置とする単語予備選択結果として補完し、マ
ッチング部１４に供給する。
【０２０６】以上のように、単語予備選択部１３におい
て、実際に、単語予備選択処理が行われるのは、許可位
置を開始時刻とする単語についてだけであるが、マッチ
ング部１４には、許可位置を開始時刻とする単語予備選
択結果としての単語だけでなく、不許可位置を開始時刻
とする単語予備選択結果としての単語も補完されて供給
される。従って、単語予備選択処理に要するコストを低
減しながら、認識性能の劣化を防止することができる。
【０２０７】なお、上述のように、単語接続関係管理部
２２は、マッチング部１４から、不許可位置を開始時刻
とする単語予備選択処理の要求があった場合には、上述
のように、その不許可位置を開始時刻とする単語を補完
して、マッチング部１４に単語予備選択結果として供給
することから、その補完のために、例えば、単語予備選
択部１３からの許可位置を開始時刻とする単語予備選択
結果としての単語を、一時記憶しておくようにする必要
がある。
【０２０８】また、単語接続関係管理部２２において、
不許可位置を開始時刻とする単語の補完に用いられる単
語予備選択結果が記憶されていない場合には、単語接続
関係管理部２２は、例えば、不許可位置に近い許可位置
を開始時刻とする単語予備選択処理を、単語予備選択部
１３に要求し、その要求に対応して単語予備選択部１３
から供給される、許可位置を開始時刻とする単語予備選
択結果によって、不許可位置を開始時刻とする単語を補
完するようになっている。
【０２０９】次に、図１４のフローチャートを参照し
て、図１２の音声認識装置による音声認識処理について
説明する。
【０２１０】図１２の音声認識装置では、ステップＳ３
１乃至Ｓ３４において、図５のステップＳ１乃至Ｓ４に
おける場合とそれぞれ同様の処理が行われる。
【０２１１】そして、ステップＳ３４において、図５の
ステップＳ４で説明したように、再評価部１５が、単語
接続情報記憶部１６の単語接続情報を修正し、マッチン
グ部１４が、その修正が終了した旨を、制御部１１を介
して受信すると、マッチング部１４は、上述したよう
に、注目ノード、およびそれが有する時刻情報を、単語
予備選択処理の要求とともに出力する。
【０２１２】マッチング部１４が注目ノードおよび時刻
情報とともに出力する単語予備選択処理の要求は、単語
接続関係管理部２２で受信される。
【０２１３】単語接続関係管理部２２は、単語予備選択
処理の要求を受信すると、ステップＳ３５において、マ
ッチング部１４からの単語予備選択処理の要求が、許可
位置を開始時刻とするものであるかどうかを判定する。
ステップＳ３５において、単語予備選択処理の要求が、
許可位置を開始時刻とするものであると判定された場
合、単語接続関係管理部２２は、その単語予備選択処理
の要求を、単語予備選択部１３に供給して、ステップＳ
３６に進む。ステップＳ３６では、図５のステップＳ５
における場合と同様にして、単語予備選択部１３が単語
予備選択処理を行い、その結果得られる単語（選択単
語）を、単語接続関係管理部２２に供給する。単語接続
関係管理部２２は、単語予備選択部１３からの選択単語
（これは、許可位置を開始時刻とするもの）を一時記憶
するとともに、単語予備選択結果として、マッチング部
１４に供給し、ステップＳ３８に進む。
【０２１４】一方、ステップＳ３５において、単語予備
選択処理の要求が、許可位置を開始時刻とするものでな
いと判定された場合、即ち、不許可位置を開始時刻とす
るものである場合、ステップＳ３７に進み、単語接続関
係管理部２２は、不許可位置の前後の許可位置を開始時
刻とする単語予備選択結果を、単語予備選択部１３から
既に得ている単語予備選択結果の中から得て、それを、
不許可位置を開始時刻とする単語予備選択結果として補
完する。そして、単語接続関係管理部２２は、その補完
によって得られた不許可位置を開始時刻とする単語予備
選択結果を、マッチング部１４に供給し、ステップＳ３
８に進む。
【０２１５】その後は、ステップＳ３８乃至Ｓ４０にお
いて、図５のステップＳ６乃至Ｓ８における場合とそれ
ぞれ同様の処理が行われる。
【０２１６】なお、上述の場合においては、不許可位置
を開始位置とする単語予備選択結果としての単語を、そ
の不許可位置の前後の許可位置を開始位置とする単語予
備選択結果によって補完するようにしたが、この補完
は、例えば、図１５（Ａ）に示すように、不許可位置ｘ
0からある程度の範囲内にある複数の許可位置ｘ1，
ｘ2，ｘ3，ｘ4，ｘ5，ｘ6を開始位置とする単語予備選
択結果によって行うことが可能である。
【０２１７】さらに、このように、不許可位置ｘ0を開
始位置とする単語予備選択結果としての単語を、その不
許可位置ｘ0から広い範囲にある複数の許可位置ｘ1乃至
ｘ6を開始位置とする単語予備選択結果によって補完す
る場合には、その複数の許可位置ｘ1乃至ｘ6それぞれに
対して、不許可位置からの距離に応じた重みを付し、そ
の重みに基づいて、不許可位置ｘ0を開始位置とする単
語を補完することが可能である。
【０２１８】この場合、例えば、図１５（Ｂ）に示すよ
うな、不許可位置ｘ0からの距離が遠くなるほど小さく
なる重みを採用することが可能である。即ち、この場
合、不許可位置ｘ0についての補完には、不許可位置ｘ0
からの距離が近い、例えば、許可位置ｘ3やｘ4を開始位
置とする単語予備選択結果としての単語が多く用いられ
る。また、不許可位置ｘ0からの距離が遠い、例えば、
許可位置ｘ1やｘ6を開始位置とする単語予備選択結果と
しての単語については、少ない数を用いて、補完が行わ
れる。なお、このような重みを採用する場合、補完に
は、ある許可位置を開始位置とする単語予備選択結果と
しての単語すべてではなく、そのうちの一部の単語が用
いられることとなるが、この一部の単語は、例えば、単
語予備選択処理において得られる単語スコアに基づいて
選択することが可能である。即ち、補完に用いる一部の
単語は、例えば、単語スコアの高い順に選択するように
することが可能である。
【０２１９】以上のように、単語予備選択処理を開始す
るタイミングを、許可位置のみに制限し、また、マッチ
ング部１４において、不許可位置からの単語予備選択処
理が要求された場合には、単語予備選択結果となる単語
を補完するようにしたので、認識性能を劣化させること
なく、処理量を大幅に低減することができる。
【０２２０】なお、図１２の実施の形態においては（後
述する図１６の実施の形態においても同様）、再評価部
１５を設けて音声認識装置を構成するようにしたが、音
声認識装置は、再評価部１５を設けずに構成することが
可能である。
【０２２１】次に、図１６は、本発明を適用した音声認
識装置の第３実施の形態の構成例を示している。なお、
図中、図１２における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、適宜
省略する。即ち、図１６の音声認識装置は、１つの単語
予備選択部１３に替えて、２つの単語予備選択部１３Ａ
および１３Ｂが設けられている他は、基本的に、図１２
における場合と同様に構成されている。
【０２２２】但し、図１６の実施の形態においては、辞
書データベース１８Ａに登録されている単語が、音韻数
の長い単語と、短い単語の２つのカテゴリに分類されて
おり、単語予備選択部１３Ａは、音韻数の長い単語を対
象とした単語予備選択処理を行い、単語予備選択部１３
Ｂは、音韻数の短い単語を対象とした単語予備選択処理
を行うようになっている。
【０２２３】また、単語接続関係管理部２２は、単語予
備選択部１３Ａが単語予備選択処理を開始するタイミン
グと、単語予備選択部１３Ｂが単語予備選択処理を開始
するタイミングとを、異なる条件で制限するようになっ
ている。
【０２２４】即ち、単語接続関係管理部２２は、単語予
備選択部１３Ａが単語予備選択処理を開始するタイミン
グの間隔を、比較的長くなるように制限するとともに、
単語予備選択部１３Ａが単語予備選択処理を開始するタ
イミングの間隔を、比較的短くなるように制限する。
【０２２５】この場合、単語予備選択処理において、音
韻数の短い単語の検出漏れが生じることを防止して、処
理効率を向上させることができる。
【０２２６】即ち、単語予備選択処理を開始するタイミ
ングを、その間隔が長くなるように制限した場合、単語
予備選択処理のコストは低減する。しかしながら、例え
ば、助詞等の音韻数が短い単語は、一般に、その発話時
間も短いことから、このような単語については、単語予
備選択処理を開始するタイミングを、その間隔が長くな
るように制限すると、そのタイミングと、単語の発話開
始時刻とのずれが、その単語の発話時間に対して大きく
なりやすくなり、その結果、単語予備選択処理におい
て、検出されにくくなる。一方、音韻数が多く、発話時
間が長い単語は、一般に、その発話時間も長いことか
ら、このような単語については、単語予備選択処理を開
始するタイミングを、その間隔が長くなるように制限し
ても、そのタイミングと、単語の発話開始時刻とのずれ
が、その単語の発話時間に対して、それほど大きくはな
らず、その結果、単語予備選択処理においても、それほ
ど検出されにくくなることはない。
【０２２７】従って、上述のように、音韻数の短い単語
については、単語予備選択処理を開始するタイミング
を、その間隔が短くなるようにするとともに、音韻数の
長い単語については、単語予備選択処理を開始するタイ
ミングを、その間隔が長くなるようにすることで、音韻
数の短い単語の検出漏れによる認識性能の劣化を防止し
ながら、処理効率を向上させることができる。
【０２２８】なお、図１６の実施の形態においては、辞
書データベース１８Ａに登録されている単語を２つのカ
テゴリに分け、２つの単語予備選択部１３Ａおよび１３
Ｂを設けるようにしたが、単語を分類するカテゴリ数、
および単語予備選択部の数は、３以上とすることが可能
である。
【０２２９】また、図１６の実施の形態では、単語を、
その音韻数によって分類するようにしたが、その他、例
えば、単語が発話されるときの平均時間を求め、その平
均時間によって、単語を分類することも可能である。さ
らに、単語を、その重要度に基づいて分類し、重要度の
高いものほど、単語予備選択処理を開始するタイミング
の間隔が短くなるにすることも可能である。ここで、単
語の重要度は、例えば、各単語の使用頻度や発話履歴等
の情報を収集し、その情報に基づいて設定することが可
能である。
【０２３０】次に、図１７は、本発明を適用した音声認
識装置の第４実施の形態の構成例を示している。なお、
図中、図３、図７、または図１２における場合と対応す
る部分については、同一の符号を付してあり、以下で
は、その説明は、適宜省略する。即ち、図１７の音声認
識装置は、図７の単語接続関係管理部２１と図１２の単
語接続関係管理部２２が新たに設けられている他は、基
本的に、図３における場合と同様に構成されている。
【０２３１】従って、図１７の実施の形態では、単語接
続関係管理部２１において、単語接続情報として記憶さ
れる終端ノードの位置が制限されるとともに、単語接続
関係管理部２２において、単語予備選択処理の開始タイ
ミングが制限される。
【０２３２】即ち、図８（Ａ）と同様の図１８（Ａ）に
示すように、特徴抽出部３において特徴量が得られるタ
イミングの間隔が、時間ＴSである場合において、単語
接続関係管理部２１は、終端ノードの位置を、例えば、
図１８（Ｂ）に示すように、時間２ＴSごとのタイミン
グに制限する。さらに、単語接続関係管理部２２は、単
語予備選択処理の開始タイミングを、例えば、図１８
（Ｃ）に示すように、時間４ＴSごとのタイミングに制
限する。
【０２３３】この場合、単語接続関係管理部２１におい
て、終端ノードの位置が、時間２Ｔ Sごとのタイミング
に制限されることから、マッチング部１４においては、
時間２ＴSごとのタイミングで、単語予備選択処理が要
求されうる。しかしながら、単語予備選択処理の開始タ
イミングは、単語接続関係管理部２２において、時間４
ＴSごとのタイミングに制限される。
【０２３４】従って、この場合も、終端ノードの位置が
とり得る位置の中に、予備選択処理の開始タイミングと
してとり得ない位置（不許可位置）が存在する。そこ
で、単語接続関係管理部２２は、不許可位置を開始時刻
とする単語予備選択処理の要求については、図１８
（Ｄ）に示すように、許可位置（ここでは、時間４ＴS
ごとのタイミング）を開始時刻とする単語予備選択処理
の処理結果によって補完を行うようになっている。
【０２３５】次に、図１９のフローチャートを参照し
て、図１７の音声認識装置による音声認識処理について
説明する。
【０２３６】図１７の音声認識装置では、ステップＳ５
１乃至Ｓ５４において、図５のステップＳ１乃至Ｓ４に
おける場合とそれぞれ同様の処理が行われる。
【０２３７】そして、ステップＳ５４において、図５の
ステップＳ４で説明したように、再評価部１５が、単語
接続情報記憶部１６の単語接続情報を修正し、マッチン
グ部１４が、その修正が終了した旨を、制御部１１を介
して受信すると、マッチング部１４は、上述したよう
に、注目ノード、およびそれが有する時刻情報を、単語
予備選択処理の要求とともに出力する。
【０２３８】マッチング部１４が注目ノードおよび時刻
情報とともに出力する単語予備選択処理の要求は、単語
接続関係管理部２２で受信される。
【０２３９】単語接続関係管理部２２は、単語予備選択
処理の要求を受信すると、ステップＳ５５において、マ
ッチング部１４からの単語予備選択処理の要求が、許可
位置を開始時刻とするものであるかどうかを判定する。
ステップＳ５５において、単語予備選択処理の要求が、
許可位置を開始時刻とするものであると判定された場
合、単語接続関係管理部２２は、その単語予備選択処理
の要求を、単語予備選択部１３に供給して、ステップＳ
５６に進む。ステップＳ５６では、図５のステップＳ５
における場合と同様にして、単語予備選択部１３が単語
予備選択処理を行い、その結果得られる単語（選択単
語）を、単語接続関係管理部２２に供給する。単語接続
関係管理部２２は、単語予備選択部１３からの選択単語
（これは、許可位置を開始時刻とするもの）を一時記憶
するとともに、単語予備選択結果として、マッチング部
１４に供給し、ステップＳ５８に進む。
【０２４０】一方、ステップＳ５５において、単語予備
選択処理の要求が、許可位置を開始時刻とするものでな
いと判定された場合、即ち、不許可位置を開始時刻とす
るものである場合、ステップＳ５７に進み、単語接続関
係管理部２２は、不許可位置の前後の許可位置を開始時
刻とする単語予備選択結果を、単語予備選択部１３から
既に得ている単語予備選択結果の中から得て、それを、
不許可位置を開始時刻とする単語予備選択結果として補
完する。そして、単語接続関係管理部２２は、その補完
によって得られた不許可位置を開始時刻とする単語予備
選択結果を、マッチング部１４に供給し、ステップＳ５
８に進む。
【０２４１】ステップＳ５８では、図５のステップＳ６
で説明したように、マッチング部１４が、単語予備選択
部１３からの単語予備選択結果としての選択単語すべて
について、それぞれの音響スコアおよび言語スコアを求
め、ステップＳ５９に進み、マッチング部１４は、式
（２）にしたがい、各単語の音響スコアと言語スコア
を、他の時刻を終了時刻とする同一単語の音響スコアと
言語スコアによって、それぞれ補正する。さらに、マッ
チング部１４は、補正後の音響スコアと言語スコアか
ら、補正後の単語スコア（補正スコア）を計算する。そ
して、マッチング部１４は、ステップＳ６０に進み、そ
の補正スコアによって、単語の絞り込みを行い、これに
より、単語の境界位置の候補を、特に位置を制限するこ
となく決定（仮決定）する。
【０２４２】その後、マッチング部１４は、ステップＳ
６０における絞り込みの結果残った単語を、その音響ス
コア、言語スコア、およびその単語の終了時刻ととも
に、制御部１１に供給する。
【０２４３】制御部１１は、上述のようにしてマッチン
グ部１４から供給される単語の音響スコア、言語スコ
ア、および終了時刻を受信すると、そのうちの各単語に
ついての終了時刻を、単語接続関係管理部２１に供給す
る。
【０２４４】単語接続関係管理部２１は、ステップＳ６
１において、単語の境界候補となっている終了時刻を、
新ノード記憶タイミングで間引き、即ち、新ノード記憶
タイミングの位置にない終了時刻を削除し、残った終了
時刻を、単語の境界候補となる時刻として、最終的に決
定する。単語接続関係管理部２１は、このようにして最
終的に残った終了時刻を、制御部１１に返し、制御部１
１は、ステップＳ６２において、図５のステップＳ７で
説明した場合と同様に、単語接続関係管理部２１から終
了時刻が返された単語に関して、単語接続情報記憶部１
６に記憶された単語接続情報を、単語接続関係管理部２
１を介して更新する。
【０２４５】その後は、ステップＳ５２に戻り、以下、
同様の処理が繰り返される。
【０２４６】そして、ステップＳ５２において、途中ノ
ードが存在しないと判定されると、ステップＳ６３に進
み、図５のステップＳ８における場合と同様に、制御部
１１は、単語接続情報を参照することで、ユーザの発話
に対する音声認識結果を確定して出力し、処理を終了す
る。
【０２４７】以上のように、単語接続関係管理部２１と
２２の両方によってタイミングを制限する場合には、認
識性能を維持しながら、処理効率を、より向上させるこ
とができる。
【０２４８】即ち、本件発明者が行ったシミュレーショ
ンによれば、単語接続関係管理部２１において、単語接
続情報として記憶される終端ノードの位置を、時間４Ｔ
Sごとの時刻に制限するとともに、単語接続関係管理部
２２において、単語予備選択処理の開始タイミングを、
時間８ＴSごとの時刻に制限した場合において、そのよ
うな制限を行わない場合の認識率をほぼ維持しながら、
演算量を約１５％低減することができた。
【０２４９】ここで、図１８の実施の形態においては、
単語接続関係管理部２２による制限のタイミングを、単
語接続関係管理部２１による制限のタイミングの２倍の
時間間隔に同期させるようにしたが、単語接続関係管理
部２１と２２によるタイミングの制限は、独立に行うこ
とが可能である。また、単語接続関係管理部２１によっ
て制限するタイミングの間隔は、固定である必要はな
く、可変にすることが可能である。単語接続関係管理部
２２によって制限するタイミングの間隔についても同様
である。
【０２５０】なお、上述した各実施の形態における音声
認識装置は、例えば、音声によってデータベースの検索
を行う場合や、各種の機器の操作を行う場合、各機器へ
のデータ入力を行う場合、音声対話システム等に適用可
能である。より具体的には、例えば、音声による地名の
問合せに対して、対応する地図情報を表示するデータベ
ース検索装置や、音声による命令に対して、荷物の仕分
けを行う産業用ロボット、キーボードの代わりに音声入
力によりテキスト作成を行うディクテーションシステ
ム、ユーザとの会話を行うロボットにおける対話システ
ム等に適用可能である。
【０２５１】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。
【０２５２】そこで、図２０は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
【０２５３】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。
【０２５４】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。
【０２５５】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。
【０２５６】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。
【０２５７】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。
【０２５８】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【０２５９】
【発明の効果】本発明の第１の音声認識装置および音声
認識方法、並びに記録媒体によれば、音声認識の対象と
なっている単語について、スコアが計算され、そのスコ
アに基づいて、音声認識結果の候補となる単語列が構成
される。さらに、音声認識結果の候補となる単語列の単
語どうしの接続関係が修正され、その修正後の接続関係
に基づいて、音声認識結果となる単語列が確定される。
この場合において、音声認識結果の候補となる単語列の
単語どうしの接続関係によって表される単語の境界位置
が制限される。従って、処理効率を向上させることが可
能となる。
【０２６０】本発明の第２の音声認識装置および音声認
識方法、並びに記録媒体によれば、音声認識の対象とな
っている単語群から、音声認識結果の候補となる単語列
の、既に求まっている単語に続く１以上の単語が選択さ
れ、その選択された単語について、スコアが計算され
る。さらに、そのスコアに基づいて、音声認識結果の候
補となる単語列が構成され、その中から、音声認識結果
となる単語列が確定される。この場合において、音声認
識の対象となっている単語群から選択される単語の開始
位置が制限される。従って、処理効率を向上させること
が可能となる。
【図面の簡単な説明】
【図１】従来の音声認識装置の一例の構成を示すブロッ
ク図である。
【図２】単語どうしの境界の候補を保持する必要性を説
明する図である。
【図３】本発明が適用される音声認識装置の構成例を示
すブロック図である。
【図４】単語接続情報を説明するための図である。
【図５】図３の音声認識装置の処理を説明するためのフ
ローチャートである。
【図６】再評価部１５の処理を説明するための図であ
る。
【図７】本発明を適用した音声認識装置の第１実施の形
態の構成例を示すブロック図である。
【図８】単語接続関係管理部２１の処理を説明するため
の図である。
【図９】シミュレーション結果を示す図である。
【図１０】単語スコアを補正することによる効果を説明
するための図である。
【図１１】図７の音声認識装置による音声認識処理を説
明するフローチャートである。
【図１２】本発明を適用した音声認識装置の第２実施の
形態の構成例を示すブロック図である。
【図１３】単語接続関係管理部２２の処理を説明するた
めの図である。
【図１４】図１２の音声認識装置による音声認識処理を
説明するフローチャートである。
【図１５】単語予備選択結果としての単語の補完方法を
説明するための図である。
【図１６】本発明を適用した音声認識装置の第３実施の
形態の構成例を示すブロック図である。
【図１７】本発明を適用した音声認識装置の第４実施の
形態の構成例を示すブロック図である。
【図１８】単語接続関係管理部２１と２２の処理を説明
するための図である。
【図１９】図１７の音声認識装置による音声認識処理を
説明するフローチャートである。
【図２０】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。
【符号の説明】
１ マイク， ２ ＡＤ変換部， ３ 特徴抽出部，
１１ 制御部， １２特徴量記憶部， １３ 単語予備
選択部， １４ マッチング部， １５ 再評価部，
１６ 単語接続情報記憶部， １７Ａ乃至１７Ｃ 音響
モデルデータベース， １８Ａ乃至１８Ｃ 辞書データ
ベース， １９Ａ乃至１９Ｃ 文法データベース， ２
１，２２ 単語接続関係管理部， １０１ バス， １
０２CPU， １０３ ROM， １０４ RAM， １０５
ハードディスク， １０６出力部， １０７ 入力部，
１０８ 通信部， １０９ ドライブ， １１０入出
力インタフェース， １１１ リムーバブル記録媒体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小川 浩明 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 ヘルムート ルッケ 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5D015 BB01 HH04 HH12 HH23

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 入力された音声に対して、その音声認識
    結果の尤度を表すスコアを計算し、そのスコアに基づい
    て、前記音声を認識する音声認識装置であって、 音声認識の対象となっている単語について、前記スコア
    を計算し、そのスコアに基づいて、前記音声認識結果の
    候補となる単語列を構成する構成手段と、 前記音声認識結果の候補となる単語列の単語どうしの接
    続関係を記憶する記憶手段と、 前記記憶手段に記憶された前記接続関係を修正する修正
    手段と、 修正後の前記接続関係に基づいて、前記音声認識結果と
    なる単語列を確定する確定手段と、 前記記憶手段に記憶される前記接続関係によって表され
    る単語の境界位置を制限する単語境界制限手段とを備え
    ることを特徴とする音声認識装置。
  2. 【請求項２】 前記構成手段は、入力された音声の特徴
    量を抽出する抽出手段から供給される前記特徴量に基づ
    いて、前記スコアを計算し、 前記単語境界制限手段は、前記特徴量が供給されるタイ
    ミングを間引いたタイミングに、前記単語の境界位置を
    制限することを特徴とする請求項１に記載の音声認識装
    置。
  3. 【請求項３】 前記構成手段が計算した前記単語のスコ
    アを補正するスコア補正手段と、 その補正後のスコアに基づいて、前記音声認識結果の候
    補となる単語列の単語の境界位置の候補を仮決定する仮
    決定手段とをさらに備え、 前記単語境界制限手段は、前記仮決定手段において得ら
    れた前記単語の境界位置の候補を対象として、前記単語
    の境界位置を制限することを特徴とする請求項１に記載
    の音声認識装置。
  4. 【請求項４】 前記スコア補正手段は、所定の境界位置
    を境界とする単語のスコアを、その境界位置に近い他の
    境界位置を境界とする単語のスコアに補正することを特
    徴とする請求項３に記載の音声認識装置。
  5. 【請求項５】 音声認識の対象となっている単語群か
    ら、前記音声認識結果の候補となる単語列の、既に求ま
    っている単語に続く１以上の単語を選択する選択手段を
    さらに備え、 前記構成手段は、前記選択手段において選択された単語
    を対象に、前記スコアを計算することを特徴とする請求
    項１に記載の音声認識装置。
  6. 【請求項６】 前記選択手段において選択される単語の
    開始位置を制限する開始位置制限手段をさらに備えるこ
    とを特徴とする請求項５に記載の音声認識装置。
  7. 【請求項７】 前記構成手段は、入力された音声の特徴
    量を抽出する抽出手段から供給される前記特徴量に基づ
    いて、前記スコアを計算し、前記開始位置制限手段は、
    前記特徴量が供給されるタイミングを間引いたタイミン
    グに、前記単語の開始位置を制限することを特徴とする
    請求項６に記載の音声認識装置。
  8. 【請求項８】 前記開始位置制限手段は、前記単語境界
    制御手段によって制限された単語の境界位置としてとり
    得る位置を間引いた位置に、単語の開始位置を制限する
    ことを特徴とする請求項６に記載の音声認識装置。
  9. 【請求項９】 前記開始位置制限手段によって前記単語
    の開始位置とすることが許可されていない不許可位置を
    開始位置とする単語であって、前記構成手段において前
    記スコアの計算の対象とするものを補完する補完手段を
    さらに備えることを特徴とする請求項６に記載の音声認
    識装置。
  10. 【請求項１０】 前記補完手段は、前記開始位置制限手
    段によって前記単語の開始位置とすることが許可されて
    いる許可位置であって、前記不許可位置に近い位置を開
    始位置とする単語によって、その不許可位置を開始位置
    とする単語を補完することを特徴とする請求項９に記載
    の音声認識装置。
  11. 【請求項１１】 前記補完手段は、前記許可位置に対し
    て、前記不許可位置からの距離に応じた重みを付し、そ
    の重みに基づいて、前記不許可位置を開始位置とする単
    語を補完することを特徴とする請求項１０に記載の音声
    認識装置。
  12. 【請求項１２】 音声認識の対象となっている単語群
    は、２以上のカテゴリに分類されており、 前記選択手段は、各カテゴリごとの単語群から、単語を
    選択し、 前記開始位置制限手段は、前記選択手段において選択さ
    れる単語の開始位置を、前記カテゴリごとに異なる条件
    にしたがって制限することを特徴とする請求項６に記載
    の音声認識装置。
  13. 【請求項１３】 入力された音声に対して、その音声認
    識結果の尤度を表すスコアを計算し、そのスコアに基づ
    いて、前記音声を認識する音声認識方法であって、 音声認識の対象となっている単語について、前記スコア
    を計算し、そのスコアに基づいて、前記音声認識結果の
    候補となる単語列を構成する構成ステップと、 前記音声認識結果の候補となる単語列の単語どうしの接
    続関係を記憶する記憶ステップと、 前記記憶ステップにおいて記憶された前記接続関係を修
    正する修正ステップと、 修正後の前記接続関係に基づいて、前記音声認識結果と
    なる単語列を確定する確定ステップと、 前記記憶ステップにおいて記憶される前記接続関係によ
    って表される単語の境界位置を制限する単語境界制限ス
    テップとを備えることを特徴とする音声認識方法。
  14. 【請求項１４】 入力された音声に対して、その音声認
    識結果の尤度を表すスコアを計算し、そのスコアに基づ
    いて、前記音声を認識する音声認識処理を、コンピュー
    タに行わせるプログラムが記録されている記録媒体であ
    って、 音声認識の対象となっている単語について、前記スコア
    を計算し、そのスコアに基づいて、前記音声認識結果の
    候補となる単語列を構成する構成ステップと、 前記音声認識結果の候補となる単語列の単語どうしの接
    続関係を記憶する記憶ステップと、 前記記憶ステップにおいて記憶された前記接続関係を修
    正する修正ステップと、 修正後の前記接続関係に基づいて、前記音声認識結果と
    なる単語列を確定する確定ステップと、 前記記憶ステップにおいて記憶される前記接続関係によ
    って表される単語の境界位置を制限する単語境界制限ス
    テップとを備えるプログラムが記録されていることを特
    徴とする記録媒体。
  15. 【請求項１５】 入力された音声に対して、その音声認
    識結果の尤度を表すスコアを計算し、そのスコアに基づ
    いて、前記音声を認識する音声認識装置であって、 音声認識の対象となっている単語群から、前記音声認識
    結果の候補となる単語列の、既に求まっている単語に続
    く１以上の単語を選択する選択手段と、 前記選択手段において選択された単語について、前記ス
    コアを計算し、そのスコアに基づいて、前記音声認識結
    果の候補となる単語列を構成する構成手段と、 前記音声認識結果の候補となる単語列の中から、前記音
    声認識結果となる単語列を確定する確定手段と、 前記選択手段において選択される単語の開始位置を制限
    する開始位置制限手段とを備えることを特徴とする音声
    認識装置。
  16. 【請求項１６】 前記構成手段は、入力された音声の特
    徴量を抽出する抽出手段から供給される前記特徴量に基
    づいて、前記スコアを計算し、 前記開始位置制限手段は、前記特徴量が供給されるタイ
    ミングを間引いたタイミングに、前記単語の開始位置を
    制限することを特徴とする請求項１５に記載の音声認識
    装置。
  17. 【請求項１７】 前記開始位置制限手段によって前記単
    語の開始位置とすることが許可されていない不許可位置
    を開始位置とする単語であって、前記構成手段において
    前記スコアの計算の対象とするものを補完する補完手段
    をさらに備えることを特徴とする請求項１５に記載の音
    声認識装置。
  18. 【請求項１８】 前記補完手段は、前記開始位置制限手
    段によって前記単語の開始位置とすることが許可されて
    いる許可位置であって、前記不許可位置に近い位置を開
    始位置とする単語によって、その不許可位置を開始位置
    とする単語を補完することを特徴とする請求項１７に記
    載の音声認識装置。
  19. 【請求項１９】 前記補完手段は、前記許可位置に対し
    て、前記不許可位置からの距離に応じた重みを付し、そ
    の重みに基づいて、前記不許可位置を開始位置とする単
    語を補完することを特徴とする請求項１８に記載の音声
    認識装置。
  20. 【請求項２０】 音声認識の対象となっている単語群
    は、２以上のカテゴリに分類されており、 前記選択手段は、各カテゴリごとの単語群から、単語を
    選択し、 前記開始位置制限手段は、前記選択手段において選択さ
    れる単語の開始位置を、前記カテゴリごとに異なる条件
    にしたがって制限することを特徴とする請求項１５に記
    載の音声認識装置。
  21. 【請求項２１】 前記音声認識結果の候補となる単語列
    の単語どうしの接続関係を記憶する記憶手段と、 前記接続関係を修正する修正手段とをさらに備え、 前記確定手段は、修正後の前記接続関係に基づいて、前
    記音声認識結果となる単語列を確定することを特徴とす
    る請求項１５に記載の音声認識装置。
  22. 【請求項２２】 入力された音声に対して、その音声認
    識結果の尤度を表すスコアを計算し、そのスコアに基づ
    いて、前記音声を認識する音声認識方法であって、 音声認識の対象となっている単語群から、前記音声認識
    結果の候補となる単語列の、既に求まっている単語に続
    く１以上の単語を選択する選択ステップと、 前記選択ステップにおいて選択された単語について、前
    記スコアを計算し、そのスコアに基づいて、前記音声認
    識結果の候補となる単語列を構成する構成ステップと、 前記音声認識結果の候補となる単語列の中から、前記音
    声認識結果となる単語列を確定する確定ステップと、 前記選択ステップにおいて選択される単語の開始位置を
    制限する開始位置制限ステップとを備えることを特徴と
    する音声認識方法。
  23. 【請求項２３】 入力された音声に対して、その音声認
    識結果の尤度を表すスコアを計算し、そのスコアに基づ
    いて、前記音声を認識する音声認識処理を、コンピュー
    タに行わせるプログラムが記録されている記録媒体であ
    って、 音声認識の対象となっている単語群から、前記音声認識
    結果の候補となる単語列の、既に求まっている単語に続
    く１以上の単語を選択する選択ステップと、 前記選択ステップにおいて選択された単語について、前
    記スコアを計算し、そのスコアに基づいて、前記音声認
    識結果の候補となる単語列を構成する構成ステップと、 前記音声認識結果の候補となる単語列の中から、前記音
    声認識結果となる単語列を確定する確定ステップと、 前記選択ステップにおいて選択される単語の開始位置を
    制限する開始位置制限ステップとを備えるプログラムが
    記録されていることを特徴とする記録媒体。
JP2000338458A 2000-11-07 2000-11-07 音声認識装置および音声認識方法、並びに記録媒体 Withdrawn JP2002149187A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000338458A JP2002149187A (ja) 2000-11-07 2000-11-07 音声認識装置および音声認識方法、並びに記録媒体
US10/416,092 US7240002B2 (en) 2000-11-07 2001-11-07 Speech recognition apparatus
PCT/JP2001/009711 WO2002039426A1 (fr) 2000-11-07 2001-11-07 Dispositif de reconnaissance vocale

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000338458A JP2002149187A (ja) 2000-11-07 2000-11-07 音声認識装置および音声認識方法、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2002149187A true JP2002149187A (ja) 2002-05-24

Family

ID=18813665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000338458A Withdrawn JP2002149187A (ja) 2000-11-07 2000-11-07 音声認識装置および音声認識方法、並びに記録媒体

Country Status (3)

Country Link
US (1) US7240002B2 (ja)
JP (1) JP2002149187A (ja)
WO (1) WO2002039426A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031278A (ja) * 2004-07-14 2006-02-02 Nec Corp 音声検索システムおよび方法ならびにプログラム

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
JP2002149187A (ja) * 2000-11-07 2002-05-24 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体
US7389228B2 (en) 2002-12-16 2008-06-17 International Business Machines Corporation Speaker adaptation of vocabulary for speech recognition
US7324940B1 (en) * 2003-02-28 2008-01-29 Lumen Vox, Llc Speech recognition concept confidence measurement
US8392193B2 (en) * 2004-06-01 2013-03-05 Verizon Business Global Llc Systems and methods for performing speech recognition using constraint based processing
US7873149B2 (en) * 2004-06-01 2011-01-18 Verizon Business Global Llc Systems and methods for gathering information
JP4541781B2 (ja) * 2004-06-29 2010-09-08 キヤノン株式会社 音声認識装置および方法
US8924212B1 (en) 2005-08-26 2014-12-30 At&T Intellectual Property Ii, L.P. System and method for robust access and entry to large structured data using voice form-filling
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
KR100654183B1 (ko) * 2005-11-07 2006-12-08 한국전자통신연구원 음성 인식을 이용한 문자 입력 시스템 및 그 방법
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7856503B2 (en) * 2006-10-19 2010-12-21 International Business Machines Corporation Method and apparatus for dynamic content generation
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE112008001334B4 (de) * 2007-07-02 2016-12-15 Mitsubishi Electric Corp. Spracherkennungsvorrichtung
KR100925479B1 (ko) * 2007-09-19 2009-11-06 한국전자통신연구원 음성 인식 방법 및 장치
US8103503B2 (en) * 2007-11-01 2012-01-24 Microsoft Corporation Speech recognition for determining if a user has correctly read a target sentence string
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
KR101587866B1 (ko) * 2009-06-03 2016-01-25 삼성전자주식회사 음성 인식용 발음사전 확장 장치 및 방법
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20110224982A1 (en) * 2010-03-12 2011-09-15 c/o Microsoft Corporation Automatic speech recognition based upon information retrieval methods
DE102010012622B4 (de) * 2010-03-24 2015-04-30 Siemens Medical Instruments Pte. Ltd. Binaurales Verfahren und binaurale Anordnung zur Sprachsteuerung von Hörgeräten
EP2522012A1 (en) * 2010-05-27 2012-11-14 Nuance Communications, Inc. Efficient exploitation of model complementariness by low confidence re-scoring in automatic speech recognition
US9262397B2 (en) 2010-10-08 2016-02-16 Microsoft Technology Licensing, Llc General purpose correction of grammatical and word usage errors
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8855997B2 (en) * 2011-07-28 2014-10-07 Microsoft Corporation Linguistic error detection
KR20130014893A (ko) * 2011-08-01 2013-02-12 한국전자통신연구원 음성 인식 장치 및 방법
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US20130073286A1 (en) * 2011-09-20 2013-03-21 Apple Inc. Consolidating Speech Recognition Results
US9691381B2 (en) * 2012-02-21 2017-06-27 Mediatek Inc. Voice command recognition method and related electronic device and computer-readable medium
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
SG11201502379UA (en) * 2012-09-27 2015-05-28 Nec Corp Dictionary creation device for monitoring text information, dictionary creation method for monitoring text information, and dictionary creation program for monitoring text information
US20150234937A1 (en) * 2012-09-27 2015-08-20 Nec Corporation Information retrieval system, information retrieval method and computer-readable medium
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP2016521948A (ja) 2013-06-13 2016-07-25 アップル インコーポレイテッド 音声コマンドによって開始される緊急電話のためのシステム及び方法
CN103399906B (zh) * 2013-07-29 2015-07-29 百度在线网络技术（北京）有限公司 在进行输入时基于社会关系提供候选词的方法和装置
JP6235280B2 (ja) * 2013-09-19 2017-11-22 株式会社東芝 音声同時処理装置、方法およびプログラム
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
JP6526608B2 (ja) * 2016-09-06 2019-06-05 株式会社東芝 辞書更新装置およびプログラム
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US20180240466A1 (en) * 2017-02-17 2018-08-23 Intel Corporation Speech Decoder and Language Interpreter With Asynchronous Pre-Processing
JP2018159759A (ja) * 2017-03-22 2018-10-11 株式会社東芝 音声処理装置、音声処理方法およびプログラム
JP6646001B2 (ja) 2017-03-22 2020-02-14 株式会社東芝 音声処理装置、音声処理方法およびプログラム
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN112242144A (zh) * 2019-07-17 2021-01-19 百度在线网络技术（北京）有限公司 基于流式注意力模型的语音识别解码方法、装置、设备以及计算机可读存储介质
CN112131866A (zh) * 2020-09-25 2020-12-25 马上消费金融股份有限公司 一种分词方法、装置、设备及可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4481593A (en) * 1981-10-05 1984-11-06 Exxon Corporation Continuous speech recognition
US4489435A (en) * 1981-10-05 1984-12-18 Exxon Corporation Method and apparatus for continuous word string recognition
US4713778A (en) * 1984-03-27 1987-12-15 Exxon Research And Engineering Company Speech recognition method
US4718092A (en) * 1984-03-27 1988-01-05 Exxon Research And Engineering Company Speech recognition activation and deactivation method
US4713777A (en) * 1984-05-27 1987-12-15 Exxon Research And Engineering Company Speech recognition method having noise immunity
US4980918A (en) * 1985-05-09 1990-12-25 International Business Machines Corporation Speech recognition system with efficient storage and rapid assembly of phonological graphs
JPH0760318B2 (ja) * 1986-09-29 1995-06-28 株式会社東芝 連続音声認識方式
US5794194A (en) 1989-11-28 1998-08-11 Kabushiki Kaisha Toshiba Word spotting in a variable noise level environment
JP3004023B2 (ja) * 1989-11-28 2000-01-31 株式会社東芝 音声認識装置
JP2880436B2 (ja) * 1995-10-24 1999-04-12 株式会社エイ・ティ・アール音声翻訳通信研究所 音声認識装置
JP3058125B2 (ja) 1997-06-27 2000-07-04 日本電気株式会社 音声認識装置
US7490092B2 (en) * 2000-07-06 2009-02-10 Streamsage, Inc. Method and system for indexing and searching timed media information based upon relevance intervals
JP2002149187A (ja) * 2000-11-07 2002-05-24 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体
US7706616B2 (en) * 2004-02-27 2010-04-27 International Business Machines Corporation System and method for recognizing word patterns in a very large vocabulary based on a virtual keyboard layout

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031278A (ja) * 2004-07-14 2006-02-02 Nec Corp 音声検索システムおよび方法ならびにプログラム
JP4595415B2 (ja) * 2004-07-14 2010-12-08 日本電気株式会社 音声検索システムおよび方法ならびにプログラム

Also Published As

Publication number Publication date
US20050075877A1 (en) 2005-04-07
US7240002B2 (en) 2007-07-03
WO2002039426A1 (fr) 2002-05-16

Similar Documents

Publication Publication Date Title
JP2002149187A (ja) 音声認識装置および音声認識方法、並びに記録媒体
JP4465564B2 (ja) 音声認識装置および音声認識方法、並びに記録媒体
JP4802434B2 (ja) 音声認識装置及び音声認識方法、並びにプログラムを記録した記録媒体
JP4543294B2 (ja) 音声認識装置および音声認識方法、並びに記録媒体
US6961701B2 (en) Voice recognition apparatus and method, and recording medium
US10176802B1 (en) Lattice encoding using recurrent neural networks
US7725319B2 (en) Phoneme lattice construction and its application to speech recognition and keyword spotting
JP4301102B2 (ja) 音声処理装置および音声処理方法、プログラム、並びに記録媒体
EP1936606B1 (en) Multi-stage speech recognition
JP7200405B2 (ja) 音声認識のためのコンテキストバイアス
US20060200347A1 (en) User adaptive speech recognition method and apparatus
US20110218805A1 (en) Spoken term detection apparatus, method, program, and storage medium
WO2002101719A1 (en) Voice recognition apparatus and voice recognition method
KR101424496B1 (ko) 음향 모델 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP4600706B2 (ja) 音声認識装置および音声認識方法、並びに記録媒体
JP4475628B2 (ja) 会話制御装置、会話制御方法並びにこれらのプログラム
JP4600705B2 (ja) 音声認識装置および音声認識方法、並びに記録媒体
JP4696400B2 (ja) 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体
JP3550350B2 (ja) 音声認識方法及びプログラム記録媒体
JPH10198392A (ja) 音声認識方法
JP2002149188A (ja) 自然言語処理装置および自然言語処理方法、並びに記録媒体
EP1594120B1 (en) Method for building hidden Markov speech models
JP2005134442A (ja) 音声認識装置および方法、記録媒体、並びにプログラム
JPH0962290A (ja) 音声認識装置
JP2005326497A (ja) 音声認識方法、音声認識装置、音声認識プログラム、記録媒体

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080108