JPH0636156B2 - 音声認識装置 - Google Patents
音声認識装置Info
- Publication number
- JPH0636156B2 JPH0636156B2 JP1057760A JP5776089A JPH0636156B2 JP H0636156 B2 JPH0636156 B2 JP H0636156B2 JP 1057760 A JP1057760 A JP 1057760A JP 5776089 A JP5776089 A JP 5776089A JP H0636156 B2 JPH0636156 B2 JP H0636156B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- label
- vector
- segment
- representative value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
- G10L15/144—Training of HMMs
Description
【発明の詳細な説明】 Ａ．産業上の利用分野 この発明はフェノニック・マルコフ・モデルを利用した
音声認識装置に関し、特にベクトル量子化用コードブッ
クの適応化を高精度かつ簡易に行えるようにしたもので
ある。
音声認識装置に関し、特にベクトル量子化用コードブッ
クの適応化を高精度かつ簡易に行えるようにしたもので
ある。
Ｂ．従来の技術 マルコフ・モデルを利用した音声認識は確率的な観点か
ら音声の認識を行なおうとするものである。たとえばそ
のうちの１つの手法では、まず、音声の特徴が一定周期
（フレームと呼ぶ）ごとに周波数分析されたのちにベク
トル量子化され、ラベル（シンボル）の系列に変換され
る。このラベルごとに１つのマルコフ・モデルが設定さ
れる。また、登録用音声のラベル系列に基づいて、単語
ごとにこのマルコフ・モデルの系列（単語ベースフォー
ム）が与えられる。それぞれのマルコフ・モデルには複
数の状態と、これら状態間の遷移が規定され、これら遷
移にはその遷移の生起確率が割当てられ、また、状態ま
たはその遷移には、その状態または遷移においてラベル
を出力する確率が割当てられる。未知入力音声はラベル
系列に変換され、単語ベースフォームによって規定され
る単語マルコフ・モデルの各々がこのラベル系列を生成
する確率を、上述の遷移生起確率及びラベル出力確率
（以下これらをパラメータと呼ぶ）に基づいて決定し、
ラベル生成確率が最大となる単語マルコフ・モデルを求
める。そしてこの結果に基づいて認識を行なう。
ら音声の認識を行なおうとするものである。たとえばそ
のうちの１つの手法では、まず、音声の特徴が一定周期
（フレームと呼ぶ）ごとに周波数分析されたのちにベク
トル量子化され、ラベル（シンボル）の系列に変換され
る。このラベルごとに１つのマルコフ・モデルが設定さ
れる。また、登録用音声のラベル系列に基づいて、単語
ごとにこのマルコフ・モデルの系列（単語ベースフォー
ム）が与えられる。それぞれのマルコフ・モデルには複
数の状態と、これら状態間の遷移が規定され、これら遷
移にはその遷移の生起確率が割当てられ、また、状態ま
たはその遷移には、その状態または遷移においてラベル
を出力する確率が割当てられる。未知入力音声はラベル
系列に変換され、単語ベースフォームによって規定され
る単語マルコフ・モデルの各々がこのラベル系列を生成
する確率を、上述の遷移生起確率及びラベル出力確率
（以下これらをパラメータと呼ぶ）に基づいて決定し、
ラベル生成確率が最大となる単語マルコフ・モデルを求
める。そしてこの結果に基づいて認識を行なう。
このようなラベル単位のマルコフ・モデルはフェノニッ
ク・マルコフ・モデルと呼ばれている。同じラベル名で
対応づけられたモデルは、モデルの訓練および認識時に
共通のモデルとして扱われる。フェノニック・マルコフ
・モデルについては以下の論文に詳細が記載されてい
る。
ク・マルコフ・モデルと呼ばれている。同じラベル名で
対応づけられたモデルは、モデルの訓練および認識時に
共通のモデルとして扱われる。フェノニック・マルコフ
・モデルについては以下の論文に詳細が記載されてい
る。
（１）“Acoustic Markov Models Used in The Tangora
Speech Recognition System”（Proceedings of ICASS
P′88,1988，４月，Ｓ１１−３，L.R.Bahl,P.F.Brown,
P.V.de Souza,R.L.Mercer and M.A.Picheny） ところで、上記のようなマルコフ・モデルを用いた音声
認識では、ベクトル量子化のコードブックの作成と、マ
ルコフ・モデルの推定、さらには単語ベースフォームの
登録用に大量の音声データが必要であり、また、これら
の操作を行うのにも多くの時間を必要とする。しかも所
定の話者の音声データで作成したシステムでは、他の話
者の認識精度が十分でない場合が多い。また、同一話者
であっても、学習時と認識時との間にかなりの時間を置
き、そのため環境が異なってしまうと、認識精度が低下
する。さらに環境雑音による認識精度の劣化も問題とな
る。文献（１）では、単語ベースフォームを所定の話者
の発声で作成しておくことで、学習時間を大幅に削減し
てはいるが、量子化コードブックおよびマルコフ・モデ
ルのパラメータは話者ごとに推定しなおしているため、
まだ多くの音声データと処理時間を要した。近年このよ
うな課題を解決するために、所定の話者のベクトル量子
化コードブックとマルコフ・モデルを、話者や環境に対
して適応化させることが提案されている。特にベクトル
量子化コードブックの適応化方法としては、つぎの２つ
の類型に分けて考えることが出来る。
Speech Recognition System”（Proceedings of ICASS
P′88,1988，４月，Ｓ１１−３，L.R.Bahl,P.F.Brown,
P.V.de Souza,R.L.Mercer and M.A.Picheny） ところで、上記のようなマルコフ・モデルを用いた音声
認識では、ベクトル量子化のコードブックの作成と、マ
ルコフ・モデルの推定、さらには単語ベースフォームの
登録用に大量の音声データが必要であり、また、これら
の操作を行うのにも多くの時間を必要とする。しかも所
定の話者の音声データで作成したシステムでは、他の話
者の認識精度が十分でない場合が多い。また、同一話者
であっても、学習時と認識時との間にかなりの時間を置
き、そのため環境が異なってしまうと、認識精度が低下
する。さらに環境雑音による認識精度の劣化も問題とな
る。文献（１）では、単語ベースフォームを所定の話者
の発声で作成しておくことで、学習時間を大幅に削減し
てはいるが、量子化コードブックおよびマルコフ・モデ
ルのパラメータは話者ごとに推定しなおしているため、
まだ多くの音声データと処理時間を要した。近年このよ
うな課題を解決するために、所定の話者のベクトル量子
化コードブックとマルコフ・モデルを、話者や環境に対
して適応化させることが提案されている。特にベクトル
量子化コードブックの適応化方法としては、つぎの２つ
の類型に分けて考えることが出来る。
１つは学習用の発声と所定の話者の発声との対応をＤＰ
マッチングによって求め、これを利用してコードブック
を適応化するものである。これについては、 （２）“ベクトル量子化による話者適応化”（電子通信
学会技術研究報告、１９８６、１２月、ＳＰ８６−６
５、ｐｐ．３３−４０、鹿野清宏） に記載がある。しかしながらこの方法では特徴量の分布
が大幅に変化する場合には、正確な対応関係を求めるこ
とはできない。また、距離に基づく対応なので、マルコ
フ・モデル上での評価とは必ずしも一致しないし、マル
コフ・モデルとは別にＤＰを必要とするため記憶量の面
でも効率が悪い。
マッチングによって求め、これを利用してコードブック
を適応化するものである。これについては、 （２）“ベクトル量子化による話者適応化”（電子通信
学会技術研究報告、１９８６、１２月、ＳＰ８６−６
５、ｐｐ．３３−４０、鹿野清宏） に記載がある。しかしながらこの方法では特徴量の分布
が大幅に変化する場合には、正確な対応関係を求めるこ
とはできない。また、距離に基づく対応なので、マルコ
フ・モデル上での評価とは必ずしも一致しないし、マル
コフ・モデルとは別にＤＰを必要とするため記憶量の面
でも効率が悪い。
２つめは時間軸上の対応関係を使わず、学習音声を元の
コードブックを参照しながらクラスタリングすること
で、適応化されたコードブックを作成するものである。
このような方法としては、 （３）“スペクトル空間のクラスタ化に基づく教師なし
話者適応化方法”（日本音響学会昭和６３年度春季全国
大会講演論文集、１９８８、３月、２−２−１６、古井
貞おき） （４）“Speaker Adaptation Method for HMM-Based Sp
eech Recognition”、（Proceedinds of ICASSP′88,19
88,４月，Ｓ５−７，M.Nishimura and K.Sugawara） に記載がある。これらの方法は多くの計算量、記憶量を
必要とする。また、時間軸上の対応関係を一切無視して
いることから、あまり精度の高い適応化は期待できな
い。
コードブックを参照しながらクラスタリングすること
で、適応化されたコードブックを作成するものである。
このような方法としては、 （３）“スペクトル空間のクラスタ化に基づく教師なし
話者適応化方法”（日本音響学会昭和６３年度春季全国
大会講演論文集、１９８８、３月、２−２−１６、古井
貞おき） （４）“Speaker Adaptation Method for HMM-Based Sp
eech Recognition”、（Proceedinds of ICASSP′88,19
88,４月，Ｓ５−７，M.Nishimura and K.Sugawara） に記載がある。これらの方法は多くの計算量、記憶量を
必要とする。また、時間軸上の対応関係を一切無視して
いることから、あまり精度の高い適応化は期待できな
い。
その他、文献（４）にはマルコフ・モデルのパラメータ
を適応化する方法に関する記載がある。
を適応化する方法に関する記載がある。
Ｃ．発明が解決しようとする問題点 この発明は以上の事情を考慮してなされたものであり、
ラベル間の対応関係を保持しつつ、大幅な特徴量の変動
にも適応化させることが出来、しかもその適応化を簡易
に行うことが出来る音声認識装置を提供することを目的
としている。
ラベル間の対応関係を保持しつつ、大幅な特徴量の変動
にも適応化させることが出来、しかもその適応化を簡易
に行うことが出来る音声認識装置を提供することを目的
としている。
Ｄ．問題点を解決するための手段 本発明では、まず適応化学習用の単語発声を一定周期ご
とに周波数分析して特徴ベクトルの系列を求める。そし
て、この特徴ベクトル系列をＮ（１≦Ｎ）個の区画に時
間軸上で分割（好ましくは等分割）し、所定の話者から
前以て求めておいた単語ベースフォームも同様にＮ個の
区画に分割（好ましくは等分割）することで各部分の対
応関係を得る。ベースフォーム側もベクトル量子化コー
ドブックを参照することで特徴ベクトルの系列とみなせ
るから、各区画の対応関係に基づき、それぞれの区画内
の特徴量の代表値（好ましくは平均値）の差（特徴量の
移動ベクトル）を求める。一方、各ラベルと各区画との
対応の強さを、ラベルの条件付の各区画の出現確率とし
て求める。そして、（式１）に従い、この条件付確率を
重みとして区画ごとに求まる特徴量の移動ベクトルを合
成することで、各ラベルに対応するコードベクトルを適
応化するようにしている。一連の操作の概要を、適応化
学習用単語数が１、分割された区画数が２、ラベル数も
２の場合を例にとって第１図に示す。ただし、ｉ（１≦
ｉ≦Ｗ）は単語番号、ｊ（１≦ｊ≦Ｎ）は区画番号、Ｓ
ｉｊは適応化学習用音声の単語ｉ、区画ｊにおける特徴
量の平均ベクトル、Ｂｉｊは単語ベースフォームと量子
化コードブックによって推定される特徴量の平均ベクト
ル、Ｆｋはラベル番号ｋに対応するコードベクトル、Ｆ
ｋ′は適応化後のコードベクトルである。また、Ｐ
（ｉ，ｊ｜Ｌｋ）はＬｋの条件付の単語ｉ、区画ｊの出
現確率である。
とに周波数分析して特徴ベクトルの系列を求める。そし
て、この特徴ベクトル系列をＮ（１≦Ｎ）個の区画に時
間軸上で分割（好ましくは等分割）し、所定の話者から
前以て求めておいた単語ベースフォームも同様にＮ個の
区画に分割（好ましくは等分割）することで各部分の対
応関係を得る。ベースフォーム側もベクトル量子化コー
ドブックを参照することで特徴ベクトルの系列とみなせ
るから、各区画の対応関係に基づき、それぞれの区画内
の特徴量の代表値（好ましくは平均値）の差（特徴量の
移動ベクトル）を求める。一方、各ラベルと各区画との
対応の強さを、ラベルの条件付の各区画の出現確率とし
て求める。そして、（式１）に従い、この条件付確率を
重みとして区画ごとに求まる特徴量の移動ベクトルを合
成することで、各ラベルに対応するコードベクトルを適
応化するようにしている。一連の操作の概要を、適応化
学習用単語数が１、分割された区画数が２、ラベル数も
２の場合を例にとって第１図に示す。ただし、ｉ（１≦
ｉ≦Ｗ）は単語番号、ｊ（１≦ｊ≦Ｎ）は区画番号、Ｓ
ｉｊは適応化学習用音声の単語ｉ、区画ｊにおける特徴
量の平均ベクトル、Ｂｉｊは単語ベースフォームと量子
化コードブックによって推定される特徴量の平均ベクト
ル、Ｆｋはラベル番号ｋに対応するコードベクトル、Ｆ
ｋ′は適応化後のコードベクトルである。また、Ｐ
（ｉ，ｊ｜Ｌｋ）はＬｋの条件付の単語ｉ、区画ｊの出
現確率である。
なお、ラベルの条件付の各区画の出現確率Ｐ（ｉ，ｊ｜
Ｌｋ）は、単語ベースフォームについて各区画内のラベ
ルの出現頻度Ｐ（Ｌｋ｜ｉ，ｊ）を求め、これをベイズ
の定理に従って変形すれば求まる。また、各区画内のラ
ベルの出現頻度としては、（式２）に示すように、単語
ベースフォーム中のラベルの出現頻度をフェノニック・
マルコフ・モデルのラベル出力確率を用いて平滑化した
ものを用いることも出来る。ここでＭｋはラベルＬｋに
対応付けられたフェノニック・マルコフ・モデルの状態
（フェノン）であり、Ｐ（Ｌｋ｜Ｍｌ）はこのモデルの
ラベル出力確率を表している。
Ｌｋ）は、単語ベースフォームについて各区画内のラベ
ルの出現頻度Ｐ（Ｌｋ｜ｉ，ｊ）を求め、これをベイズ
の定理に従って変形すれば求まる。また、各区画内のラ
ベルの出現頻度としては、（式２）に示すように、単語
ベースフォーム中のラベルの出現頻度をフェノニック・
マルコフ・モデルのラベル出力確率を用いて平滑化した
ものを用いることも出来る。ここでＭｋはラベルＬｋに
対応付けられたフェノニック・マルコフ・モデルの状態
（フェノン）であり、Ｐ（Ｌｋ｜Ｍｌ）はこのモデルの
ラベル出力確率を表している。
Ｅ．実施例 以下、この発明をフェノニック・マルコフ・モデルに基
づく単語音声認識に適用した一実施例について図面を参
照しながら説明しよう。第２図はこの実施例を全体とし
て示すものであり、この第２図において、入力音声デー
タはマイクロホン１および増幅器２を介してアナログ・
デジタル（Ａ／Ｄ）変換器３に供給され、ここでデジタ
ル・データとされる。デジタル化された音声データは特
徴抽出装置４に供給される。この特徴抽出装置４におい
ては、まず音声データが離散フーリエ変換された後、聴
覚の特性を反映した２０チャンネル分の臨界帯域フィル
タの出力として取り出される。この出力は８ｍ秒毎に次
段の切り換え装置５に送られ、ベクトル量子化コードブ
ック初期学習装置６、ベクトル量子化コードブック適応
化装置７およびラベル付け装置８のいずれかに送られ
る。ベクトル量子化コードブックの初期学習時には切り
換え装置５がコードブック初期学習装置６側に切り替わ
って、臨界帯域フィルタの出力を初期学習装置６に供給
する。初期学習装置６はクラスタリングによって１２８
個のコードベクトルからなるベクトル量子化コードブッ
ク９を作成する。コードブックの適応化を行う際には切
り換え装置５が適応化装置７側に切り替わり、適応化装
置７が初期学習時のベクトル量子化コードブック９を初
期値とし、このあと説明する単語ベースフォーム・テー
ブル１５を参照しながらコードブックの適応化を行う。
なお適応化装置７の詳細についてはのちに第４図を参照
して説明する。認識を行う際あるいは単語ベースフォー
ムの登録、マルコフ・モデルの初期学習、適応化を行う
際には切り換え装置５がラベル付け装置８側に切り替わ
り、ラベル付け装置８はベクトル量子化コードブック９
を参照して順次ラベル付けを行ってゆく。ただし、マル
コフ・モデルの初期学習を行う際にはベクトル量子化コ
ードブックは初期学習時のものが用いられる。
づく単語音声認識に適用した一実施例について図面を参
照しながら説明しよう。第２図はこの実施例を全体とし
て示すものであり、この第２図において、入力音声デー
タはマイクロホン１および増幅器２を介してアナログ・
デジタル（Ａ／Ｄ）変換器３に供給され、ここでデジタ
ル・データとされる。デジタル化された音声データは特
徴抽出装置４に供給される。この特徴抽出装置４におい
ては、まず音声データが離散フーリエ変換された後、聴
覚の特性を反映した２０チャンネル分の臨界帯域フィル
タの出力として取り出される。この出力は８ｍ秒毎に次
段の切り換え装置５に送られ、ベクトル量子化コードブ
ック初期学習装置６、ベクトル量子化コードブック適応
化装置７およびラベル付け装置８のいずれかに送られ
る。ベクトル量子化コードブックの初期学習時には切り
換え装置５がコードブック初期学習装置６側に切り替わ
って、臨界帯域フィルタの出力を初期学習装置６に供給
する。初期学習装置６はクラスタリングによって１２８
個のコードベクトルからなるベクトル量子化コードブッ
ク９を作成する。コードブックの適応化を行う際には切
り換え装置５が適応化装置７側に切り替わり、適応化装
置７が初期学習時のベクトル量子化コードブック９を初
期値とし、このあと説明する単語ベースフォーム・テー
ブル１５を参照しながらコードブックの適応化を行う。
なお適応化装置７の詳細についてはのちに第４図を参照
して説明する。認識を行う際あるいは単語ベースフォー
ムの登録、マルコフ・モデルの初期学習、適応化を行う
際には切り換え装置５がラベル付け装置８側に切り替わ
り、ラベル付け装置８はベクトル量子化コードブック９
を参照して順次ラベル付けを行ってゆく。ただし、マル
コフ・モデルの初期学習を行う際にはベクトル量子化コ
ードブックは初期学習時のものが用いられる。
なお、ラベル付けはたとえば第３図に示すように行なわ
れる。第３図においてＸは入力の特徴量、Ｙｊは第ｊ番
目のラベルの特徴量（コードベクトル）、Ｍはコードベ
クトルの個数（＝１２８）、dist（Ｘ，Ｙ）はＸとＹｊ
とのユークリッド距離、ｍは各時点までのdist（Ｘ，
Ｙ）の最小値である。なおｍは非常に大きな値Ｖに最初
設定される。図から明らかなように入力の特徴量Ｘはコ
ードベクトルの各々と順次比較されていき、最も似てい
る、すなわち距離の最も小さいものが観測されたラベル
（ラベル番号）Ｌとして出力されてゆく。
れる。第３図においてＸは入力の特徴量、Ｙｊは第ｊ番
目のラベルの特徴量（コードベクトル）、Ｍはコードベ
クトルの個数（＝１２８）、dist（Ｘ，Ｙ）はＸとＹｊ
とのユークリッド距離、ｍは各時点までのdist（Ｘ，
Ｙ）の最小値である。なおｍは非常に大きな値Ｖに最初
設定される。図から明らかなように入力の特徴量Ｘはコ
ードベクトルの各々と順次比較されていき、最も似てい
る、すなわち距離の最も小さいものが観測されたラベル
（ラベル番号）Ｌとして出力されてゆく。
第２図に戻る。ラベル付け装置８からのラベル系列は切
り換え装置１０を介して単語ベースフォーム登録装置１
１、マルコフ・モデル初期学習装置１２、マルコフ・モ
デル適用化装置１３および認識装置１４のいずれか１つ
に供給される。単語ベースフォーム登録時には、切り換
え装置１０が単語ベースフォーム登録装置１１側に切り
替わって、ラベル系列を単語ベースフォーム登録装置１
１に供給する。単語ベースフォーム登録装置１１はラベ
ル系列を利用して、単語ベースフォーム・テーブル１５
を作成する。マルコフ・モデルの初期学習時には、切り
換え装置１０が初期学習装置１２側に切り替わってラベ
ル系列を初期学習装置１２に供給する。初期学習装置１
２はラベル系列とベースフォーム・テーブル１５を利用
してモデルの訓練を行ない、パラメータ・テーブル１６
のパラメータ値を決定する。適応化を行う際には切り換
え装置１０が適応化装置１３側に切り替わり、適応化装
置１３が入力ラベル系列と、単語ベースフォーム上の各
フェノニック・マルコフ・モデルとの対応関係を利用し
てパラメータ・テーブル１６のパラメータ値を適応化す
る。認識を行う際には切り換え装置１０が認識装置１４
側に切り替わり、認識装置１４は入力ラベル系列と、単
語ベースフォームおよびパラメータ・テーブルに基づい
て入力音声の認識を行う。
り換え装置１０を介して単語ベースフォーム登録装置１
１、マルコフ・モデル初期学習装置１２、マルコフ・モ
デル適用化装置１３および認識装置１４のいずれか１つ
に供給される。単語ベースフォーム登録時には、切り換
え装置１０が単語ベースフォーム登録装置１１側に切り
替わって、ラベル系列を単語ベースフォーム登録装置１
１に供給する。単語ベースフォーム登録装置１１はラベ
ル系列を利用して、単語ベースフォーム・テーブル１５
を作成する。マルコフ・モデルの初期学習時には、切り
換え装置１０が初期学習装置１２側に切り替わってラベ
ル系列を初期学習装置１２に供給する。初期学習装置１
２はラベル系列とベースフォーム・テーブル１５を利用
してモデルの訓練を行ない、パラメータ・テーブル１６
のパラメータ値を決定する。適応化を行う際には切り換
え装置１０が適応化装置１３側に切り替わり、適応化装
置１３が入力ラベル系列と、単語ベースフォーム上の各
フェノニック・マルコフ・モデルとの対応関係を利用し
てパラメータ・テーブル１６のパラメータ値を適応化す
る。認識を行う際には切り換え装置１０が認識装置１４
側に切り替わり、認識装置１４は入力ラベル系列と、単
語ベースフォームおよびパラメータ・テーブルに基づい
て入力音声の認識を行う。
認識装置１４の出力はワークステーション１７に供給さ
れ、たとえばその表示装置に表示される。なお第２図に
おいてマイクロフォン１、増幅器２、および表示装置１
７を除く全ての装置はワークステーション上にソフトウ
ェアとして実現されている。なおワークステーションと
してはＩＢＭ社の５５７０処理装置、オペレーション・
システムとしては日本語ＤＯＳ、言語としてはＣ言語お
よびマクロ・アセンブラを用いた。もちろん、ハードウ
ェアとして実現しても良い。
れ、たとえばその表示装置に表示される。なお第２図に
おいてマイクロフォン１、増幅器２、および表示装置１
７を除く全ての装置はワークステーション上にソフトウ
ェアとして実現されている。なおワークステーションと
してはＩＢＭ社の５５７０処理装置、オペレーション・
システムとしては日本語ＤＯＳ、言語としてはＣ言語お
よびマクロ・アセンブラを用いた。もちろん、ハードウ
ェアとして実現しても良い。
次にベクトル量子化コードブック適応化装置７の動作つ
いて第４図を参照しながら説明する。第４図はコードブ
ック適応化の手順を示すもので、この図においてまず、
ベクトル量子化コードブックから、各ラベルＬｋに対応
するコードベクトルＦｋが読みこまれる（ステップ１
８）。次に適応化学習用単語ｉの音声データが入力され
る（ステップ２０）。この音声データを時間軸上でＮ等
分割し、それぞれの区画ｊにおける平均特徴ベクトルＳ
ｉｊを推定する（ステップ２１）。また、単語ベースフ
ォームについても単語番号ｉのベースフォームを読み込
む（ステップ２２）。この単語ベースフォームも時間軸
上でＮ等分割し、ステップ１８で読みこんだコードベク
トルを参照することで、各区画ｊにおける平均特徴ベク
トルＢｉｊを推定する（ステップ２３）。さらに各区画
ｊにおけるラベルＬｋの出現頻度Ｐ（Ｌｋ｜ｉ，ｊ）も
Ｎ等分割された単語ベースフォームから推定する（ステ
ップ２４）。ステップ２０〜２４の操作を全ての適応化
学習用語彙に対して行なったのち、Ｐ（Ｌｋ｜ｉ，ｊ）
を変換し、ラベルの条件付の単語と区画の出現確率ｐ
（ｉ，ｊ｜Ｌｋ）を求める（ステップ２７）。そして式
（１）に従って、全てのコードベクトルＦｋを適応化
し、既存のベクトル量子化コードブックをこの適応化さ
れたコードベクトルで置き換える（ステップ２８）。
いて第４図を参照しながら説明する。第４図はコードブ
ック適応化の手順を示すもので、この図においてまず、
ベクトル量子化コードブックから、各ラベルＬｋに対応
するコードベクトルＦｋが読みこまれる（ステップ１
８）。次に適応化学習用単語ｉの音声データが入力され
る（ステップ２０）。この音声データを時間軸上でＮ等
分割し、それぞれの区画ｊにおける平均特徴ベクトルＳ
ｉｊを推定する（ステップ２１）。また、単語ベースフ
ォームについても単語番号ｉのベースフォームを読み込
む（ステップ２２）。この単語ベースフォームも時間軸
上でＮ等分割し、ステップ１８で読みこんだコードベク
トルを参照することで、各区画ｊにおける平均特徴ベク
トルＢｉｊを推定する（ステップ２３）。さらに各区画
ｊにおけるラベルＬｋの出現頻度Ｐ（Ｌｋ｜ｉ，ｊ）も
Ｎ等分割された単語ベースフォームから推定する（ステ
ップ２４）。ステップ２０〜２４の操作を全ての適応化
学習用語彙に対して行なったのち、Ｐ（Ｌｋ｜ｉ，ｊ）
を変換し、ラベルの条件付の単語と区画の出現確率ｐ
（ｉ，ｊ｜Ｌｋ）を求める（ステップ２７）。そして式
（１）に従って、全てのコードベクトルＦｋを適応化
し、既存のベクトル量子化コードブックをこの適応化さ
れたコードベクトルで置き換える（ステップ２８）。
最後に「警報、平方、直線、直前」など類似性の高い１
５０単語を認識対象語彙としてこの実施例の評価実験を
行った。この実験ではベクトル量子化コードブックおよ
びマルコフ・モデルの初期学習用の音声データは男性話
者１名の１０回分の１５０単語発声を用い、そして他の
１１名の話者（男性７名、女性４名）で適応化の効果を
みた。適応化は対象語彙の一部（１０，２５，５０，１
００および１５０単語：各単語１回の発声）で行ない、
各話者３回分の１５０単語発声を用いて認識実験を行っ
た。第５図に認識実験結果を示す。ここで、横軸は適応
化学習用単語数、縦軸は平均誤認識率である。白丸はマ
ルコフ・モデルだけを適応化した場合の結果を、黒丸は
本発明をマルコフ・モデルの適応化と併用した場合の結
果を示している。なお、４％のところの実線は、初期学
習を行った話者での認識実験結果である。この結果か
ら、本発明を適用することによって、男性話者間では、
初期学習を行った話者とまったく同じ認識精度が、２５
単語１回の学習で得られている。また、特徴量の大幅な
変動のために、マルコフ・モデルだけの適応化では１５
０単語の学習を行っても１０％近い誤りのあった男女間
の適応化についても、本発明を用いることで、初期学習
を行った話者とほぼ同等の精度が得られることが分る。
５０単語を認識対象語彙としてこの実施例の評価実験を
行った。この実験ではベクトル量子化コードブックおよ
びマルコフ・モデルの初期学習用の音声データは男性話
者１名の１０回分の１５０単語発声を用い、そして他の
１１名の話者（男性７名、女性４名）で適応化の効果を
みた。適応化は対象語彙の一部（１０，２５，５０，１
００および１５０単語：各単語１回の発声）で行ない、
各話者３回分の１５０単語発声を用いて認識実験を行っ
た。第５図に認識実験結果を示す。ここで、横軸は適応
化学習用単語数、縦軸は平均誤認識率である。白丸はマ
ルコフ・モデルだけを適応化した場合の結果を、黒丸は
本発明をマルコフ・モデルの適応化と併用した場合の結
果を示している。なお、４％のところの実線は、初期学
習を行った話者での認識実験結果である。この結果か
ら、本発明を適用することによって、男性話者間では、
初期学習を行った話者とまったく同じ認識精度が、２５
単語１回の学習で得られている。また、特徴量の大幅な
変動のために、マルコフ・モデルだけの適応化では１５
０単語の学習を行っても１０％近い誤りのあった男女間
の適応化についても、本発明を用いることで、初期学習
を行った話者とほぼ同等の精度が得られることが分る。
なお、本発明は適応化に要する計算量や記憶量も僅か
で、小規模な処理装置上でも容易に実現することが出来
る。
で、小規模な処理装置上でも容易に実現することが出来
る。
Ｆ．発明の効果 以上説明したように、この発明によれば僅かなデータで
簡易に音声認識システムの適応化を行うことが出来る。
しかも、そのための計算量や記憶量も少ない。
簡易に音声認識システムの適応化を行うことが出来る。
しかも、そのための計算量や記憶量も少ない。
第１図はこの発明を説明するための図、第２図はこの発
明の一実施例を示すブロック図、第３図は第２図例のラ
ベル付け装置８を説明するフローチャート、第４図は第
２図例のベクトル量子化コードブック適応化装置７を説
明するフローチャート、第５図は本発明の適用結果の実
験データを示す図である。 ７…ベクトル量子化コードブック適応化装置、９…ベク
トル量子化コードブック、１５…単語ベースフォーム・
テーブル、１６…パラメータ・テーブル。
明の一実施例を示すブロック図、第３図は第２図例のラ
ベル付け装置８を説明するフローチャート、第４図は第
２図例のベクトル量子化コードブック適応化装置７を説
明するフローチャート、第５図は本発明の適用結果の実
験データを示す図である。 ７…ベクトル量子化コードブック適応化装置、９…ベク
トル量子化コードブック、１５…単語ベースフォーム・
テーブル、１６…パラメータ・テーブル。
Claims (6)
- 【請求項１】入力音声を一定周波毎に周波数分析して特
徴ベクトルを得る手段と、 さらにベクトル量子化コードブックを用いて対応するラ
ベルの系列を生成する手段と、 ラベルに対応するマルコフ・モデルの連鎖として記述さ
れる複数の単語ベースフォームと、上記ラベルの系列を
整合させる手段とを具備し、 この整合結果に基づいて入力音声の認識を行うととも
に， さらに、複数の単語入力音声をＮ（Ｎは２以上の整数）
分割し、各単語入力音声の各セグメントの特徴ベクトル
の代表値を生成する手段と、 上記単語入力音声に対応する単語ベースフォームをＮ分
割し、各単語ベースフォームの各セグメントの特徴ベク
トルの代表値を上記ベクトル量子化コードブックのプロ
トタイプ・ベクトルに基づいて生成する手段と、 各単語入力音声の各セグメントの代表値と対応する単語
ベースフォームの対応するセグメントの代表値との間の
変位を表示する変位ベクトルを生成する手段と、 上記各単語入力音声の各セグメントとベクトル量子化コ
ードブックのラベル組中の各ラベルとの間の関連度を記
憶する手段と、 上記ベクトル量子化コードブックのラベル組中の各ラベ
ルのプロトタイプ・ベクトルを上記各変位ベクトルによ
り当該ラベルおよび当該変位ベクトルとの間の関連度に
応じて修正するプロトタイプ適応化手段とを有すること
を特徴とする音声認識装置。 - 【請求項２】上記各単語入力音声の各セグメントの特徴
ベクトルの代表値を当該セグメント中の特徴ベクトルの
平均値とした特許請求の範囲第１項記載の音声認識装
置。 - 【請求項３】上記各単語ベースフォームの各セグメント
の特徴ベクトルの代表値を当該セグメント中のラベルの
プロトタイプ・ベクトルの平均値とした特許請求の範囲
第１項または第２項記載の音声認識装置。 - 【請求項４】上記各単語入力音声の各セグメントとベク
トル量子化コードブックのラベル組中の各ラベルとの間
の関連度を ただし、Ｐ（Lk｜ｉ，ｊ）は単語ｉの単語入力音声のセ
グメントｊとベクトル量子化コードブックのラベル組中
のラベルLkとの間の関連度、Ｐ（LK｜Ml）はマルコフ・
モデルMlにおいてラベルLkを出力する確率、Ｐ（Ml｜
ｉ，ｊ）は単語ｉのセグメントｊにおいてマルコフ・モ
デルMlが生起する確率である。 に基づいて求める特許請求の範囲第１項、第２項または
第３項記載の音声認識装置。 - 【請求項５】上記プロトタイプ適応化手段において上記
ベクトル量子化コードブックのラベル組中の各ラベルの
プロトタイプ・ベクトルを ただしFkはラベルLkの修正前のプロトタイプ・ベクト
ル、Fk′はラベルLkの修正後のプロトタイプ・ベクト
ル、Sijは単語ｉの単語入力音声のセグメントｊの特徴
ベクトルの代表値、Bijは単語ｉの単語ベースフォーム
のセグメントｊの特徴ベクトルの代表値である。 に基づいて求める特許請求の範囲第４項記載の音声認識
装置。 - 【請求項６】入力音声を一定周波毎に周波数分析して特
徴ベクトルを得る手段と、 さらにベクトル量子化コードブックを用いて対応するラ
ベルの系列を生成する手段と、 ラベルに対応するマルコフ・モデルの連鎖として記述さ
れる複数の単語ベースフォームと、上記ラベルの系列を
整合させる手段とを具備し、 この整合結果に基づいて入力音声の認識を行うととも
に， さらに、複数の単語入力音声の各々の特徴ベクトルの代
表値を生成する手段と、 上記単語入力音声に対応する単語ベースフォームの各々
の特徴ベクトルの代表値を上記ベクトル量子化コードブ
ックのプロトタイプ・ベクトルに基づいて生成する手段
と 各単語入力音声の代表値と対応する単語ベースフォーム
の代表値との間の変位を表示する変位ベクトルを生成す
る手段と、 上記各単語入力音声とベクトル量子化コードブックのラ
ベル組中の各ラベルとの間の関連度を記憶する手段と、 上記ベクトル量子化コードブックのラベル組中の各ラベ
ルのプロトタイプ・ベクトルを上記各変位ベクトルによ
り当該ラベルおよび当該変位ベクトルとの間の関連度に
応じて修正するプロトタイプ適応化手段とを有すること
を特徴とする音声認識装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1057760A JPH0636156B2 (ja) | 1989-03-13 | 1989-03-13 | 音声認識装置 |
| US07/485,402 US5046099A (en) | 1989-03-13 | 1990-02-27 | Adaptation of acoustic prototype vectors in a speech recognition system |
| DE69010722T DE69010722T2 (de) | 1989-03-13 | 1990-03-07 | Spracherkennungssystem. |
| EP90302404A EP0388067B1 (en) | 1989-03-13 | 1990-03-07 | Speech recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1057760A JPH0636156B2 (ja) | 1989-03-13 | 1989-03-13 | 音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02238496A JPH02238496A (ja) | 1990-09-20 |
| JPH0636156B2 true JPH0636156B2 (ja) | 1994-05-11 |
Family
ID=13064835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1057760A Expired - Lifetime JPH0636156B2 (ja) | 1989-03-13 | 1989-03-13 | 音声認識装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5046099A (ja) |
| EP (1) | EP0388067B1 (ja) |
| JP (1) | JPH0636156B2 (ja) |
| DE (1) | DE69010722T2 (ja) |
Families Citing this family (154)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5345536A (en) * | 1990-12-21 | 1994-09-06 | Matsushita Electric Industrial Co., Ltd. | Method of speech recognition |
| JP3050934B2 (ja) * | 1991-03-22 | 2000-06-12 | 株式会社東芝 | 音声認識方式 |
| US5182773A (en) * | 1991-03-22 | 1993-01-26 | International Business Machines Corporation | Speaker-independent label coding apparatus |
| US5487129A (en) * | 1991-08-01 | 1996-01-23 | The Dsp Group | Speech pattern matching in non-white noise |
| JP3129778B2 (ja) * | 1991-08-30 | 2001-01-31 | 富士通株式会社 | ベクトル量子化器 |
| US5222146A (en) * | 1991-10-23 | 1993-06-22 | International Business Machines Corporation | Speech recognition apparatus having a speech coder outputting acoustic prototype ranks |
| JPH0776878B2 (ja) * | 1991-10-31 | 1995-08-16 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 音声認識方法および装置 |
| EP0619913B1 (en) * | 1991-12-31 | 2002-03-06 | Unisys PulsePoint Communications | Voice controlled messaging system and processing method |
| JP2779886B2 (ja) * | 1992-10-05 | 1998-07-23 | 日本電信電話株式会社 | 広帯域音声信号復元方法 |
| US5613036A (en) * | 1992-12-31 | 1997-03-18 | Apple Computer, Inc. | Dynamic categories for a speech recognition system |
| US6311157B1 (en) * | 1992-12-31 | 2001-10-30 | Apple Computer, Inc. | Assigning meanings to utterances in a speech recognition system |
| US5483579A (en) * | 1993-02-25 | 1996-01-09 | Digital Acoustics, Inc. | Voice recognition dialing system |
| US5692100A (en) * | 1994-02-02 | 1997-11-25 | Matsushita Electric Industrial Co., Ltd. | Vector quantizer |
| US5615299A (en) * | 1994-06-20 | 1997-03-25 | International Business Machines Corporation | Speech recognition using dynamic features |
| AUPM983094A0 (en) * | 1994-12-02 | 1995-01-05 | Australian National University, The | Method for forming a cohort for use in identification of an individual |
| AU683783B2 (en) * | 1994-12-02 | 1997-11-20 | Australian National University, The | Method for forming a cohort for use in identification of an individual |
| US5751903A (en) * | 1994-12-19 | 1998-05-12 | Hughes Electronics | Low rate multi-mode CELP codec that encodes line SPECTRAL frequencies utilizing an offset |
| US5864810A (en) * | 1995-01-20 | 1999-01-26 | Sri International | Method and apparatus for speech recognition adapted to an individual speaker |
| JP3008799B2 (ja) * | 1995-01-26 | 2000-02-14 | 日本電気株式会社 | 音声適応化装置，単語音声認識装置，連続音声認識装置およびワードスポッティング装置 |
| JP3280825B2 (ja) * | 1995-04-26 | 2002-05-13 | 富士通株式会社 | 音声特徴分析装置 |
| JP2738403B2 (ja) * | 1995-05-12 | 1998-04-08 | 日本電気株式会社 | 音声認識装置 |
| JPH0981183A (ja) * | 1995-09-14 | 1997-03-28 | Pioneer Electron Corp | 音声モデルの作成方法およびこれを用いた音声認識装置 |
| GB2305288A (en) * | 1995-09-15 | 1997-04-02 | Ibm | Speech recognition system |
| US5774841A (en) * | 1995-09-20 | 1998-06-30 | The United States Of America As Represented By The Adminstrator Of The National Aeronautics And Space Administration | Real-time reconfigurable adaptive speech recognition command and control apparatus and method |
| US6081660A (en) * | 1995-12-01 | 2000-06-27 | The Australian National University | Method for forming a cohort for use in identification of an individual |
| US5745872A (en) * | 1996-05-07 | 1998-04-28 | Texas Instruments Incorporated | Method and system for compensating speech signals using vector quantization codebook adaptation |
| US5835890A (en) * | 1996-08-02 | 1998-11-10 | Nippon Telegraph And Telephone Corporation | Method for speaker adaptation of speech models recognition scheme using the method and recording medium having the speech recognition method recorded thereon |
| EP0925579B1 (de) | 1996-09-10 | 2001-11-28 | Siemens Aktiengesellschaft | Verfahren zur anpassung eines hidden-markov-lautmodelles in einem spracherkennungssystem |
| US6151575A (en) * | 1996-10-28 | 2000-11-21 | Dragon Systems, Inc. | Rapid adaptation of speech models |
| US6212498B1 (en) | 1997-03-28 | 2001-04-03 | Dragon Systems, Inc. | Enrollment in speech recognition |
| US6032116A (en) * | 1997-06-27 | 2000-02-29 | Advanced Micro Devices, Inc. | Distance measure in a speech recognition system for speech recognition using frequency shifting factors to compensate for input signal frequency shifts |
| US6003003A (en) * | 1997-06-27 | 1999-12-14 | Advanced Micro Devices, Inc. | Speech recognition system having a quantizer using a single robust codebook designed at multiple signal to noise ratios |
| US6044343A (en) * | 1997-06-27 | 2000-03-28 | Advanced Micro Devices, Inc. | Adaptive speech recognition with selective input data to a speech classifier |
| US6070136A (en) * | 1997-10-27 | 2000-05-30 | Advanced Micro Devices, Inc. | Matrix quantization with vector quantization error compensation for robust speech recognition |
| US6067515A (en) * | 1997-10-27 | 2000-05-23 | Advanced Micro Devices, Inc. | Split matrix quantization with split vector quantization error compensation and selective enhanced processing for robust speech recognition |
| US6263309B1 (en) | 1998-04-30 | 2001-07-17 | Matsushita Electric Industrial Co., Ltd. | Maximum likelihood method for finding an adapted speaker model in eigenvoice space |
| US6343267B1 (en) | 1998-04-30 | 2002-01-29 | Matsushita Electric Industrial Co., Ltd. | Dimensionality reduction for speaker normalization and speaker and environment adaptation using eigenvoice techniques |
| US6163768A (en) * | 1998-06-15 | 2000-12-19 | Dragon Systems, Inc. | Non-interactive enrollment in speech recognition |
| US6347297B1 (en) | 1998-10-05 | 2002-02-12 | Legerity, Inc. | Matrix quantization with vector quantization error compensation and neural network postprocessing for robust speech recognition |
| US6219642B1 (en) | 1998-10-05 | 2001-04-17 | Legerity, Inc. | Quantization using frequency and mean compensated frequency input data for robust speech recognition |
| EP1011094B1 (en) * | 1998-12-17 | 2005-03-02 | Sony International (Europe) GmbH | Semi-supervised speaker adaption |
| KR100307623B1 (ko) * | 1999-10-21 | 2001-11-02 | 윤종용 | 엠.에이.피 화자 적응 조건에서 파라미터의 분별적 추정 방법 및 장치 및 이를 각각 포함한 음성 인식 방법 및 장치 |
| US6526379B1 (en) | 1999-11-29 | 2003-02-25 | Matsushita Electric Industrial Co., Ltd. | Discriminative clustering methods for automatic speech recognition |
| US6571208B1 (en) | 1999-11-29 | 2003-05-27 | Matsushita Electric Industrial Co., Ltd. | Context-dependent acoustic models for medium and large vocabulary speech recognition with eigenvoice training |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US6895376B2 (en) * | 2001-05-04 | 2005-05-17 | Matsushita Electric Industrial Co., Ltd. | Eigenvoice re-estimation technique of acoustic models for speech recognition, speaker identification and speaker verification |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8010341B2 (en) * | 2007-09-13 | 2011-08-30 | Microsoft Corporation | Adding prototype information into probabilistic models |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| DE112011100329T5 (de) | 2010-01-25 | 2012-10-31 | Andrew Peter Nelson Jerram | Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| KR102579086B1 (ko) | 2013-02-07 | 2023-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| JP2016521948A (ja) | 2013-06-13 | 2016-07-25 | アップル インコーポレイテッド | 音声コマンドによって開始される緊急電話のためのシステム及び方法 |
| JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4718094A (en) * | 1984-11-19 | 1988-01-05 | International Business Machines Corp. | Speech recognition system |
| US4977599A (en) * | 1985-05-29 | 1990-12-11 | International Business Machines Corporation | Speech recognition employing a set of Markov models that includes Markov models representing transitions to and from silence |
-
1989
- 1989-03-13 JP JP1057760A patent/JPH0636156B2/ja not_active Expired - Lifetime
-
1990
- 1990-02-27 US US07/485,402 patent/US5046099A/en not_active Expired - Fee Related
- 1990-03-07 EP EP90302404A patent/EP0388067B1/en not_active Expired - Lifetime
- 1990-03-07 DE DE69010722T patent/DE69010722T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0388067A2 (en) | 1990-09-19 |
| DE69010722T2 (de) | 1995-03-16 |
| EP0388067B1 (en) | 1994-07-20 |
| EP0388067A3 (en) | 1991-09-04 |
| DE69010722D1 (de) | 1994-08-25 |
| JPH02238496A (ja) | 1990-09-20 |
| US5046099A (en) | 1991-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0636156B2 (ja) | 音声認識装置 | |
| JP4141495B2 (ja) | 最適化された部分的確率混合共通化を用いる音声認識のための方法および装置 | |
| Digalakis et al. | Genones: Generalized mixture tying in continuous hidden Markov model-based speech recognizers | |
| US5865626A (en) | Multi-dialect speech recognition method and apparatus | |
| Hain et al. | New features in the CU-HTK system for transcription of conversational telephone speech | |
| US5822728A (en) | Multistage word recognizer based on reliably detected phoneme similarity regions | |
| US5930753A (en) | Combining frequency warping and spectral shaping in HMM based speech recognition | |
| JP4218982B2 (ja) | 音声処理 | |
| US6026359A (en) | Scheme for model adaptation in pattern recognition based on Taylor expansion | |
| AU2013305615B2 (en) | Method and system for selectively biased linear discriminant analysis in automatic speech recognition systems | |
| Austin et al. | Speech recognition using segmental neural nets | |
| US9280979B2 (en) | Online maximum-likelihood mean and variance normalization for speech recognition | |
| KR20050082253A (ko) | 모델 변이 기반의 화자 클러스터링 방법, 화자 적응 방법및 이들을 이용한 음성 인식 장치 | |
| JPH075892A (ja) | 音声認識方法 | |
| CN110930981A (zh) | 多对一语音转换系统 | |
| US6148284A (en) | Method and apparatus for automatic speech recognition using Markov processes on curves | |
| Ranjan et al. | Isolated word recognition using HMM for Maithili dialect | |
| Ostendorf et al. | The impact of speech recognition on speech synthesis | |
| Zavaliagkos et al. | A hybrid continuous speech recognition system using segmental neural nets with hidden Markov models | |
| CN117043857A (zh) | 用于英语发音评估的方法、设备和计算机程序产品 | |
| Beulen et al. | Experiments with linear feature extraction in speech recognition. | |
| JPH1185186A (ja) | 不特定話者音響モデル生成装置及び音声認識装置 | |
| Ranjan et al. | Acoustic Feature Extraction and Isolated Word Recognition of Speech Signal Using HMM for Different Dialects | |
| Debyeche et al. | A new vector quantization approach for discrete HMM speech recognition system | |
| JP2003271185A (ja) | 音声認識用情報作成装置及びその方法と、音声認識装置及びその方法と、音声認識用情報作成プログラム及びそのプログラムを記録した記録媒体と、音声認識プログラム及びそのプログラムを記録した記録媒体 |