JPH0772840B2 - 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法 - Google Patents

音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法

Info

Publication number
JPH0772840B2
JPH0772840B2 JP4259301A JP25930192A JPH0772840B2 JP H0772840 B2 JPH0772840 B2 JP H0772840B2 JP 4259301 A JP4259301 A JP 4259301A JP 25930192 A JP25930192 A JP 25930192A JP H0772840 B2 JPH0772840 B2 JP H0772840B2
Authority
JP
Japan
Prior art keywords
speech
word
model
candidate
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4259301A
Other languages
English (en)
Other versions
JPH06110493A (ja
Inventor
雅史 西村
正明 大河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IBM Japan Ltd
Original Assignee
IBM Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IBM Japan Ltd filed Critical IBM Japan Ltd
Priority to JP4259301A priority Critical patent/JPH0772840B2/ja
Priority to US08/114,709 priority patent/US5502791A/en
Priority to EP93307664A priority patent/EP0590925B1/en
Priority to DE69324428T priority patent/DE69324428T2/de
Publication of JPH06110493A publication Critical patent/JPH06110493A/ja
Publication of JPH0772840B2 publication Critical patent/JPH0772840B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、音素などのサブワー
ド単位のヒドゥン・マルコフ・モデル（ＨＭＭ）を利用
した音声モデル及びこれを利用した音声認識に関し、発
声の変形(揺らぎ)にも対応して音声認識を効率よく行な
えるようにしたものである。
【０００２】
【従来の技術】マルコフ・モデルを利用した音声認識は
確率的な観点から音声の認識を行おうとするものであ
る。近年、音素や音節などのサブワード単位のＨＭＭを
ベースにして、大語彙音声認識や、連続音声認識を行う
システムが提案されている。
【０００３】従来の代表的な方法としては、音素ＨＭＭ
を直列結合して、認識対象の単語を表現する方法があ
る。どの音素ＨＭＭを連結するかは、認識対象単語の発
音辞書中の記述（ベースフォームと呼ぶ）に基づいて決
められるが、実際の音声は前後の音素の種類、発声速
度、アクセント位置などによって変形を受けるので、こ
のような変形を考慮せずに音素ＨＭＭを連結したのでは
高い認識率は得られない。
【０００４】そこで、前後の音素環境のみを考慮して、
音素環境毎に音素ＨＭＭを用意し、認識対象単語の発音
辞書に記述された音素環境に応じて音素ＨＭＭを選択
し、直列結合する方法がある。これについては文献
［１］に詳細が記載されている。この方法は、音素環境
毎の音声変形は反映しやすいが、音素環境の組み合わせ
は非常に多いため、種々の発声変形を扱うためには、多
数の音素ＨＭＭを用意しなければならず、また、大量の
訓練用音声データを必要とした。また、不特定話者の音
声認識では、話者の違いによる発声の揺らぎが大きい
が、この方法では各音素ＨＭＭは１つのモデルで話者に
よる揺らぎを全て包含するため、ゆるいモデルになって
しまい、音組織別能力が低下しやすい。 ［１］"Context-Dependent Modeling for Acoustic-Pho
netic Recognition ofContinuous Speech"(Proceedings
of ICASSP^85、 1985、 4月、 R.Schwartz、 Y.Chow、 O.Ki
mball、 S.Roucos、 M.Krasner、 J.Mkhoul)
【０００５】一方、各単語ごとに音声の変形や揺らぎに
関する知識をサブワードＨＭＭのネットワーク結合で表
現する方法もある。これについては文献［２］に詳細が
記載されている。 ［２］"A Maximum Likelihood Approach to Continuous
Speech Recognition"（IEEE Transactions on Pattern
Analysis and Machine Intelligence、PAMI-5(2)、pp.
179-190、1983、L.R.Bahl、 F.Jelinek、 R.L.Mercer） しかし、このようなネットワーク表現を単語ごとに人手
で用意するのは容易なことではなく、その上、人間の感
覚に基づく知識が個々の物理現象と正確に対応づく訳で
もない。
【０００６】また、各単語のネットワーク上のパラメー
タ（遷移確率）を単語ごとに訓練して求める方法もある
が、各単語のネットワーク表現を得るのに大量の訓練用
音声データが必要となるため、サブワードを単位として
いるにもかかわらず、認識対象単語を容易には変更でき
なかった。
【０００７】
【発明が解決しようとする課題】この発明は以上の事情
を考慮してなされたものであり、種々の発声変形を少な
い種類のＨＭＭの統計的組み合わせ（Ｎグラム）によっ
て効率よく表現した音声認識装置を実現することを目的
としている。
【０００８】
【課題を解決するための手段】本発明では、以上の目的
を達成するために、サブワードとして例えば音素の変形
（異音）を表現するＨＭＭとして、各音素に幾つかの代
表的なモデルを異音ＨＭＭとして用意する。これは、ク
ラスタリングの手法に基づき、自動的に行われる。そし
て、異音ＨＭＭ間の組み合わせをＮグラム（Ｎ組の異音
ＨＭＭの生起確率）によって制約した音声モデルによっ
て単語発声などの音声現象を表現し、これを使って音声
認識を行う。
【０００９】モデル訓練時には、訓練用音声のベースフ
ォームを参照して、各音素に対して複数の異音ＨＭＭを
Ｎグラムで制約して接続した訓練用の音声モデルを構成
し、最尤推定法などの手法によって、各異音ＨＭＭのパ
ラメータと同時に、異音ＨＭＭ間のＮグラム・モデルの
パラメータも自動推定し、ＨＭＭの音声認識性能を向上
させる。
【００１０】一例として、Ｎ＝２の場合のバイグラム
（２組の生起確率）で制約した単語音声モデルを考えよ
う。ある単語の発音辞書(音素表記)が与えられると、そ
れに基づいて、音素単位のＨＭＭを連結し、単語音声モ
デルを構成するが、それぞれの音素に対し、複数の異音
ＨＭＭ、A(p、i)を用意する。ここで、ｐは音素、iは音
素ｐの異音の種類を表す。音素毎にこれらの異音ＨＭＭ
を全て並列的に処理するが、統計的に不必要な異音ＨＭ
Ｍの組み合わせをバイグラムで制限する。つまり、ある
単語音声モデルの音素系列がＰ＝ｐ(1)p(2)...p(W)で与
えられたとすると、j-1番目の音素の異音ＨＭＭモデルA
(p(j-1)、n)から、j番目の音素の異音ＨＭＭモデルA(p
(j)、m)への遷移の際には２組の生起確率、Pr(A(p(j),m)
|A(p(j-1),n))を、通常のＨＭＭの尤度との積の形で評
価する。
【００１１】本明細書中に言うサブワードとは、音素、
音節、CVC、VCV（Ｃは子音、Ｖは母音を表す。）等、音
声を構成する部分であり、発音と直接のかかわりは持た
ないが、違う意味を表すのに役立つ音の単位を指す。音
声をどこで区切ってサブワードとするかは任意に設定さ
れる。また、本明細書中に言う語とは、単語、語句、文
等、認識対象の１単位であり、どの大きさを認識対象と
するかは任意に設定される。また、本明細書中に言う音
声変形候補とは、サブワードを音素とした場合は異音で
あり、要は、音声として発声した時に変形した各サブワ
ードである。また、ＨＭＭにはラベルを出力する離散Ｈ
ＭＭと特徴ベクトルを出力する連続ＨＭＭの２つのタイ
プがあり、本発明においてはいずれのタイプのＨＭＭを
用いてもよく、連続ＨＭＭの場合には入力音声を特徴解
析して得た特徴ベクトル列に基づいて音声認識を行い、
離散ＨＭＭの場合には特徴ベクトル列を更に変換して得
たラベル列に基づいて音声認識を行う。
【００１２】
【実施例】以下、本発明の一実施例について図面を参照
しながら説明する。この実施例では、本願発明を単語の
音声認識に適用し、ＨＭＭとしてはラベル単位のＨＭＭ
であるフェノニック・マルコフ・モデルを用い、Ｎグラ
ムとしてはバイグラム(すなわち、Ｎ＝２の場合)を用い
ている。
【００１３】フェノニック・マルコフ・モデルにおいて
は同じラベル名で対応付けられたモデルは、モデルの訓
練及び認識時に共通のモデルとして取り扱われるため、
必要とされる記憶量が少なく、訓練効率も良い。また、
発声から得られたラベル列を直接モデル列に対応させる
ことが出来るので、異音ＨＭＭの初期モデルが作成しや
すい。なお、モデル列を表わすこのラベル列を、音素モ
デルのベースフォームに対応させてフェノニック・ベー
スフォームと呼んでいる。フェノニック・マルコフ・モ
デルについては以下の論文に詳細が記載されている。 "Acoustic Markov Models Used in The Tangora Speech
Recognition System"(Proceedings of ICASSP^88、 198
8、 4月、 S11-3、 L.R.Bahl、 P.F.Brown、 P.V.deSouza、
R.L.Mercer and M.A.Picheny)
【００１４】図１はこの実施例に係る音声認識装置を全
体として示すものである。入力音声(単語)はマイクロホ
ン１および増幅器２を介してアナログ・デジタル（Ａ／
Ｄ）変換器３に供給され、ここでデジタル・データとさ
れる。デジタル化された音声データは特徴量抽出装置４
に供給される。この特徴量抽出装置４においては、まず
音声データが離散フーリエ変換された後、聴覚の特性を
反映した１９チャンネル分の臨界帯域フィルターの出力
として、対数パワー値とともに取り出される。この出力
は例えば約１０ミリ秒毎（この単位をフレームと呼ぶ）
に単語音声区間検出装置５に送られ、単語音声区間内と
判断されたフレームの特徴量のみが次の切り換え装置６
に送られ、コードブック作成装置７あるいはラベル付け
装置８のいずれかに送られる。
【００１５】コードブック推定時には、切り換え装置６
がコードブック作成装置７側に切り替わり、特徴量抽出
装置４から特徴量がコードブック作成装置７へ供給され
る。コードブック作成装置７は、クラスタリングによっ
て１２８種類のラベル付けされた特徴量からなるコード
ブック９を作成する。
【００１６】一方、認識を行う場合やフェノニック異音
ベースフォームを登録する場合およびモデルのパラメー
ターを推定する場合には、切り換え装置６はラベル付け
装置８側に切り替わる。ラベル付け装置８はコードブッ
ク９を参照してフレーム毎にラベル付けを行う。
【００１７】上記のラベル付けは例えば図２に示すよう
に行われる。図２において、Ｘは入力音声(単語)のフレ
ームの特徴量、Ｙjはコードブックに保持されている特
徴量の内の第ｊ番目のラベルの特徴量、Ｒはコードブッ
クのサイズ（＝１２８）、dist(Ｘ、Ｙj)はＸとＹjとの
ユークリッド距離、ｍは各時点までの dist(Ｘ、Ｙj)の
最小値である。
【００１８】まず、特徴量Ｘの入力があると(ステップ
２０)、Ｊを１に、ｍを非常に大きな値Ｖに、入力され
た特徴量Ｘに対して最終的に付けられるラベルの番号ｌ
を１にそれぞれ初期設定する(ステップ２１)。次いで、
Ｊ＞Ｒとなってコードブック内の全ての特徴量について
検査したかを判断し(ステップ２２)、更に、ｍ＞dist
(Ｘ、Ｙj)となって今までに得られた距離より小さい距
離を呈するラベルが新たに見つかったかを判断する(ス
テップ２４)。そして、より小さい距離を呈するラベル
が見つかったときにはこのラベル番号ｊを一先ずｌとし
(ステップ２５)、このようなラベルがいまだ見つからな
いときにはそのまま、更に小さな距離を呈するラベルが
あるかどうかを番号Ｊを１つづつ繰り上げて(ステップ
２６)コードブック内の最後のラベル番号Ｒまで順次検
査を行い(ステップ２２)、最終的に距離の最も小さいも
の、すなわちラベル付けされているコードブック内の特
徴量の内で入力特徴量Ｘに最も似ているもののラベル番
号が観測されたラベル（ラベル番号）ｌとして出力され
る(ステップ２３)。
【００１９】再び図１を参照して、ラベル付け装置８か
ら出力されるフレーム毎のラベルは複数個がまとまった
ラベル列で音素に対応し、これら音素に対応するラベル
列が幾つかまとまったラベル列が入力音声単語に対応す
る。この単語に対応するラベル系列は切り換え装置１０
を介して、フノニック異音ベースフォーム作成装置１
４、モデルのパラメーター推定装置１５、認識装置１６
のいずれか一つに供給される。
【００２０】なお、この実施例では後述するように音声
モデルをラベル列を出力するものとしているため、入力
音声をラベル列に変換しているが、音声モデルを特徴ベ
クトル列を出力するものとしてもよく、この場合には認
識対象となる音声を特徴解析して得た特徴量をラベル変
換することなく認識装置１６へ供給する。
【００２１】フェノニック異音ベースフォームを作成す
る時には、切り換え装置１０がフェノニック異音ベース
フォーム作成装置１４側に切り替わって、ラベル系列が
フェノニック異音ベースフォーム作成装置１４に供給さ
れ、異音ベースフォーム作成用単語発音辞書１１および
特徴量抽出装置４の出力を参照して、フェノニック異音
ベースフォーム・テーブル１７が作成される。フェノニ
ック異音ベースフォーム作成装置１４の動作の詳細につ
いては、後に図５を参照して説明する。
【００２２】マルコフ・モデルのパラメーター推定時に
は、切り換え装置１０がモデルのパラメーター推定装置
１５に切り替わり、モデルのパラメーター推定装置１５
がラベル系列、フェノニック異音ベースフォーム・テー
ブル１７および、訓練用単語発音辞書１２を参照してモ
デルの訓練を行い、パラメーター・テーブル１８のパラ
メーター値（フェノニック・マルコフ・モデルおよびバ
イグラムのパラメータ）を決定する。モデルのパラメー
タ推定装置の動作の詳細については、後に図６及び図８
を参照して説明する。
【００２３】認識を行う時には、切り換え装置１０が認
識装置１６側に切り替わり、認識装置１３は入力ラベル
系列、フェノニック異音ベースフォーム・テーブル１
７、パラメーター・テーブル１８及び認識対象単語の発
音辞書１３に基づいて入力音声の認識を行う。認識装置
１６の動作の詳細については、後に図７及び図８を参照
して説明する。認識装置１６の出力はワークステーショ
ン１９に供給され、認識された単語がたとえばその表示
装置に表示される。尚、図１に示したマイクロホン１、
増幅器２、Ａ／Ｄ変換器３及び表示装置１６を除くすべ
ての装置は、ソフトウェアとしてワークステーション上
に実現されている。
【００２４】図３はこの実施例で用いられているフェノ
ニック型のＨＭＭの構造を示している。この図中の丸で
描いた部分は状態を示している。なお、鎖線で示す状態
遷移３はラベルを出力しないナル遷移である。この実施
例では、上記のようなフェノニックＨＭＭをラベル番号
に対応付けて１２８個用意してある。そして、それぞれ
のフェノニックＨＭＭは、図３中に１，２，３で示すそ
れぞれの状態遷移に図４(ａ)に示すような生起確率が設
定され、更に、１２８種類の各フェノニックＨＭＭがそ
れぞれ１２８種類のラベルを出力する確率が４図(ｂ)に
示すように設定されており、これらフェノニックＨＭＭ
のパラメータはパラメータ・テーブル１８に保持されて
いる。
【００２５】また、この実施例では、単語を発声した場
合にその中の音素の変形による揺らぎに対応できるよう
にするため、各音素の異音に対応するフェノニックＨＭ
Ｍも単語単位の音声モデルの構成に採り入れ、単語に沿
った音素の並びに対応して、異音を含めた各音素のフェ
ノニックＨＭＭを並列に連結するようにしている。この
ような異音を含めた各音素のフェノニックＨＭＭの連結
を制約するフェノニックＨＭＭ間のバイグラムも、図４
(ｃ)に示されるような、単語中の先行音素の異音の条件
を付けた後続音素の異音の生起確率というパラメータで
パラメータ・テーブル１８に保持されている。
【００２６】なお、この実施例では、異音の連結のみが
制約され、音素の組み合わせの確率は全ての音素間で同
一としている。前記した２組の生起確率、 Pr(A(p(j),m)|A(p(j-1),n))＝Pr(m|p(j),A(p(j-1),n))Pr(p(j)|A(p(j-1),n)) ≒Pr(m|p(j),A(p(j-1),n))Pr(p(j)|p(j-1)) において、音素間のバイグラムPr(p(j)|p(j-1))は全て
の音素に対して常に一定値であるとしている。本発明で
は、この音素間のバイグラムを含めるようにしてもよ
く、この場合には各辞書を作成するための学習データを
かなり多く必要とすることとなる。
【００２７】また、本発明ではＮグラムの制約を付加せ
ずに音声モデルを構成するようにしてもよく(すなわち
Ｎ＝１として、パラメータ・テーブルの図４(ｃ)に示さ
れるようなパラメータを省く)、この場合においても、
後述するように、音声の変形を表現した音声認識装置の
実現や、モデルのための記憶容量の低減という、本発明
の所期の目的を達成することができる。
【００２８】例えば、「ＫＡＳＡ(かさ)」という単語に
対しては、例えば図８に示すように、音素Ｋに対してＫ
1とＫ2、音素Ａに対してＡ1とＡ2、音素Ｓに対してＳ1
とＳ2とＳ3、と言うように互いに異音の関係の音声変形
候補があり、単語「ＫＡＳＡ」に対する音声モデルはこ
れら音声変形候補に対応するフェノニックＨＭＭをバイ
グラムの生起確率をもって並列に連結させることにより
構成される。パラメータ・テーブル１８には各音素(音
声変形候補)毎に単語中の直前の音素(音声変形候補)に
連続して生じる確率として保持されている。
【００２９】なお、この実施例では、上記したように音
素間のバイグラムは全ての音素に対して一定値としてい
るため、／Ｋ／に／Ａ／が続く確率も／Ｋ／に／Ｉ／が
続く確率も同じとしてある。
【００３０】上記の構成を有する音声認識装置は、フェ
ノニック異音ベースフォームの作成、モデルパラメータ
の推定、音声認識と言った主要な３つの動作を行い、こ
の内前２者は音声認識のための準備動作に該当し、これ
ら動作はたとえば認識対象単語発音辞書１３に記述され
ている単語を入力としてなされる。
【００３１】フェノニック異音ベースフォームの作成
は、前記したフェノニック異音ベースフォーム作成装置
１４によって図５に示すような手順でなされる。まず、
マイクロホン１から入力されたフェノニック異音ベース
フォーム作成用の単語音声がラベル付け装置８で入力ラ
ベル列に変換され、この入力ラベル列が切り換え装置１
０からフェノニック異音ベースフォーム作成装置１４に
供給される。この入力ラベル列が、入力単語発声の音素
列を表記してあるフェノニック異音ベースフォーム作成
用単語発声辞書１１を参照して、音素単位に分割される
（ステップ２７）。この際、音素境界の決定には、特徴
量抽出装置４から出力される特徴量の変化量が利用され
る。この操作を全てのフェノニック異音ベースフォーム
作成用単語音声に対して行う。このようにして、全ての
入力ラベル列が音素ごとに分割、分類される。
【００３２】音素ｐに分類された部分のラベル列が全て
とりこまれる（ステップ２８）。このデータを使って音
素毎にクラスタリング処理が行われ、各クラスを代表す
るラベルが選択される（ステップ２９、ステップ３
０）。この結果、音素毎の全ての異音の候補(音声変形
候補)のラベル列が得られる。なお、クラスタリング時
に使用するラベル間の距離は、一方をフェノニック・マ
ルコフ音素ベースフォームと考え、他方を入力ラベル列
とすることで、モデルの尤度を使って定義する。この
際、フェノニック・マルコフ・モデルのパラメータは単
語発声等で既に訓練済みのものか、さもなくば初期値を
使う。
【００３３】音素毎に得られた音声変形候補の代表ラベ
ル列をそれぞれフェノニック異音ベースフォームとし
て、フェノニック異音ベースフォームテーブル１７に記
録する（ステップ３１）。入力された単語音声に含まれ
る全ての音素に対して上記した一連の処理を行い（ステ
ップ３２）、フェノニック異音ベースフォーム・テーブ
ル１７の作成を終了する。すなわち、作成されたフェノ
ニック異音ベースフォーム・テーブル１７には、音素毎
に音声変形候補(異音)のラベル列が記憶されている。
【００３４】なお、本実施例のようにフェノニックＨＭ
Ｍを用いて音声認識を行う場合、認識動作はラベル列ま
たは特徴ベクトル列のいずれに基づいても行えるが、フ
ェノニックＨＭＭはラベル単位のモデルであるのでフェ
ノニック異音ベースフォームはラベル列としておく必要
がある。一方、フェノニックＨＭＭと異なり、他の形式
のＨＭＭではラベル列に基づいてモデル列を構成するこ
とは行わないため、異音ベースフォーム・テーブル１７
は音声変形候補(異音)毎のＨＭＭを保持することとな
る。
【００３５】モデルのパラメータ推定は、図４（ａ）及
び（ｂ）に示したフェノニックＨＭＭ自体のパラメータ
と共に図４(ｃ)に示した音素間のバイグラムのパラメー
タを認識対象の単語がより出力され易いように変更(訓
練)するものであり、上記したモデルのパラメータ推定
装置１５によって図６に示す手順で行われる。
【００３６】まず、パラメータ・テーブル１８が初期化
される（ステップ３３）。この時、すでに訓練済みのパ
ラメータを初期値として使っても構わない。次に、訓練
用単語音声(例えばＫＡＳＡ)のラベル列を切り換え装置
１０から取り込む（ステップ３４）。この訓練用単語音
声に対応する、図８に示すような単語音声モデルを、訓
練用単語発声辞書１２、フェノニック異音ベースフォー
ムテーブル１７、更に、パラメータ・テーブル１８を参
照して構成した後（ステップ３５）、フォワード・バッ
クワード計算を行って各フェノニックＨＭＭの各パラメ
ータ及び各音素間のバイグラムを算出する（ステップ３
６）。
【００３７】この計算を全ての訓練用単語音声データに
対して行った後（ステップ３７）、この計算結果を用い
て全フェノニックＨＭＭ及びバイグラムのパラメータを
最尤推定し（ステップ３８）、その結果のパラメータで
パラメータ・テーブル１８を更新する。更に、新たに推
定されたパラメータ・テーブル１８を参照して、上記し
た一連のプロセスすなわちステップ３４〜３８を予定数
回、例えば５回、繰り返してモデルのパラメータ推定を
終了する（ステップ３９）。
【００３８】入力音声の認識は、認識装置１６によって
図７に示す手順で行われる。まず、認識対象の単語音声
の入力ラベル列が切り換え装置１０から読み込まれる
（ステップ４０）。認識対象となる複数の候補単語が記
載されている認識対象単語発声辞書１３、フェノニック
異音ベースフォーム１７、更に、パラメータ・テーブル
１８を参照して、図８に示すような単語音声モデルを構
成し（ステップ４１）、フォワード計算によってその単
語音声モデルが上記入力ラベル列を出力する尤度を求め
る（ステップ４２）。なお、尤度を求めるには、ビター
ビのアルゴリズムを用いることも出来る。
【００３９】上記一連の処理を認識対象単語辞書１３に
記述されている全ての候補単語についてそれぞれ行い
（ステップ４３）、上記の処理を行った単語音声モデル
中で最も大きな尤度を与えたモデルに対応する候補単語
が認識結果として表示装置１９へ出力されて（ステップ
４４）、表示画面上に表示される。
【００４０】上記した実施例では、認識対象を単語単位
とし、音素単位の異音を考慮したフェノニックＨＭＭの
バイグラムによる音声モデルを用いた例を説明したが、
本発明はこれに限定されるものではなく、種々な態様を
とることができる。
【００４１】認識対象は、単語以外に、例えば、語句や
文としてもよく、要は、処理の１単位として用途等に応
じて任意に設定することができる。また、音声として変
形した音声変形候補(異音)の単位は、音素以外に、音節
やＣＶＣ等、認識対象の語を構成する部分でよく、種々
な条件に応じて任意に設定できる。また、ＨＭＭもフェ
ノニック型のもの以外に、例えばフォネテック型のもの
を用いることができる。また、ＨＭＭ間の連結をバイグ
ラムで制約する以外に、種々なＮグラム(Ｎは３以上の
整数)で制約するようにしてもよい。
【００４２】
【発明の効果】以上説明したように、この発明によれば
発声により生ずる種々の音声的な変形(例えば異音)をＨ
ＭＭのＮグラムで制約した組み合わせによって効率よく
表現した音声認識装置を実現することができる。
【００４３】また、この発明によれば、不特定話者の音
声認識の場合でも、各話者の発声の揺らぎは異音のＮグ
ラムの制約によって絞り込むことができるので、サブワ
ードＨＭＭを直列結合する方法のように、各ＨＭＭで全
ての話者の発声揺らぎを含むようなゆるいモデルとなる
ことはない。また、本発明に係る音声モデルによれば、
音声モデルが構成部分のＨＭＭで保持されるため、この
ＨＭＭを種々の音声モデルの構成にも用いることがで
き、単語単位で音声モデルを用意しておく方式に比べ
て、モデルのための記憶容量を大幅に低減することがで
きる。
【００４４】また、ＨＭＭの訓練とともに、Ｎグラムの
パラメータが訓練され効率のよい訓練を行うことが出来
る。また、フェノニックＨＭＭを用いた場合には、ラベ
ル単位でＨＭＭが訓練されることとなるため、種々な訓
練用音声によって訓練される機会が多く、訓練回数が少
なくても最適なパラメータの設定がなされる。
【００４５】
【図面の簡単な説明】
【図１】この発明の一実施例に係る音声認識装置を示す
ブロック図である。
【図２】音声に対するラベル付けを説明するフローチャ
ートである。
【図３】フェノニック・マルコフ・モデルを説明する概
念図である。
【図４】図４(ａ)は、フェノニック・マルコフ・モデル
の状態遷移確率を示すテーブルの図であり、図４(ｂ)
は、フェノニック・マルコフ・モデルのラベル出力確率
を示すテーブルの図であり、図４(ｃ)は、フェノニック
・マルコフ・モデル間のバイグラムによる生起確率を示
すテーブルの図である。
【図５】フェノニック異音ベースフォーム作成を説明す
るフローチャートである。
【図６】モデルのパラメータ推定を説明するフローチャ
ートである。
【図７】音声認識の動作を説明するフローチャートであ
る。
【図８】単語を表現する音声モデルの一例を示す概念図
である。
【符号の説明】
１．．．マイクロホン ４．．．特徴抽出装置 ８．．．ラベル付け装置 １３．．．認識対象単語発音辞書 １４．．．フェノニック異音ベースフォーム作成装置 １５．．．モデルのパラメータ推定装置 １６．．．認識装置 １７．．．フェノニック異音ベースフォームテーブル １８．．．パラメータ・テーブル １９．．．表示装置

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】音声として入力された語のラベル列または
    特徴ベクトル列を出力する尤度の高い音声モデルを特定
    することにより、当該語を認識する音声認識に用いる音
    声モデルにおいて、 語を構成するサブワードが音声として変形した音声変形
    候補毎に、ヒドウン・マルコフ・モデルを語中で先行す
    る他のサブワードの音声変形候補とのＮグラム関係(Ｎ
    は２以上の整数)を与えて保持し、 音声認識を行う際に、認識対象の語に対応し、且つ、前
    記Ｎグラム関係に基づいて音声変形候補の各ヒドウン・
    マルコフ・モデルをサブワード間で並列に連結させて音
    声モデルを構成することを特徴とする音声モデルの構成
    方法。
  2. 【請求項２】ヒドウン・マルコフ・モデルは、フェノニ
    ック型のヒドウン・マルコフ・モデルからなることを特
    徴とする請求項１に記載の音声モデル構成方法。
  3. 【請求項３】ヒドウン・マルコフ・モデルは、当該ヒドウ
    ン・マルコフ・モデルにおける状態遷移確率と、ラベル
    列または特徴ベクトル列の出力確率と、音声変形候補間
    のＮグラムの生起確率とをパラメータとしてテーブルに
    保持されることを特徴とする請求項１又は２に記載の音
    声モデル構成方法。
  4. 【請求項４】音声として入力された語を特徴解析して、
    当該語に対応するラベル列または特徴ベクトル列を得る
    手段と、 語を構成するサブワードの音声として変形した音声変形
    候補毎のヒドウン・マルコフ・モデルを保持する手段
    と、 認識対象となる複数の候補語を保持する辞書手段と、 候補語に対応して、音声変形候補毎の各ヒドウン・マル
    コフ・モデル列をサブワード間で並列に連結させて音声
    モデルを構成する手段と、 各候補語について構成された音声モデルが音声入力され
    た前記語のラベル列または特徴ベクトル列を出力する確
    率を求め、最も高い確率の音声モデルに対応する候補語
    を認識結果として出力する手段と、 を備えたことを特徴とする音声認識装置。
  5. 【請求項５】音声として入力された語を特徴解析して、
    当該語に対応するラベル列または特徴ベクトル列を得る
    手段と、 フェノニック型ヒドウン・マルコフ・モデルを保持する
    手段と、 語を構成するサブワードの音声として変形した音声変形
    候補毎のラベル列を保持する手段と、 認識対象となる複数の候補語を保持する辞書手段と、 候補語に対応して音声変形候補毎にフェノニック型ヒド
    ウン・マルコフ・モデルをあてはめ、これら音声変形候
    補毎の各モデルをサブワード間で並列に連結させて音声
    モデルを構成する手段と、 各候補語について構成された音声モデルが音声入力され
    た前記語のラベル列または特徴ベクトル列を出力する確
    率を求め、最も高い確率の音声モデルに対応する候補語
    を認識結果として出力する手段と、 を備えたことを特徴とする音声認識装置。
  6. 【請求項６】音声として入力された語を特徴解析して、
    当該語に対応するラベル列または特徴ベクトル列を得る
    手段と、 語を構成するサブワードの音声として変形した音声変形
    候補毎に、ヒドウン・マルコフ・モデルを語中の先行す
    る他のサブワードの音声変形候補とのＮグラム関係(Ｎ
    は２以上の整数)を与えて保持する手段と、 認識対象となる複数の候補語を保持する辞書手段と、 候補語に対応し、且つ、前記Ｎグラム関係に基づいて音
    声変形候補毎の各ヒドウン・マルコフ・モデルをサブワ
    ード間で並列に連結させて音声モデルを構成する手段
    と、 各候補語について構成された音声モデルが音声入力され
    た前記語のラベル列または特徴ベクトル列を出力する確
    率を求め、最も高い確率の音声モデルに対応する候補語
    を認識結果として出力する手段と、 を備えたことを特徴とする音声認識装置。
  7. 【請求項７】音声として入力された語を特徴解析して、
    当該語に対応するラベル列または特徴ベクトル列を得る
    手段と、 語を構成するサブワードの音声として変形した音声変形
    候補毎に、フェノニック型ヒドウン・マルコフ・モデル
    を語中の先行する他のサブワードの音声変形候補とのＮ
    グラム関係(Ｎは２以上の整数)を与えて保持する手段
    と、 認識対象となる複数の候補語を保持する辞書手段と、 候補語に対応し、且つ、前記Ｎグラム関係に基づいて音
    声変形候補毎にヒドウン・マルコフ・モデルをあては
    め、これら音声変形候補毎の各ヒドウン・マルコフ・モ
    デルをサブワード間で並列に連結させて音声モデルを構
    成する手段と、 各候補語について構成された音声モデルが音声入力され
    た前記語のラベル列または特徴ベクトル列を出力する確
    率を求め、最も高い確率の音声モデルに対応する候補語
    を認識結果として出力する手段と、 を備えたことを特徴とする音声認識装置。
  8. 【請求項８】語を構成するサブワードの音声として変形
    した音声変形候補毎に、フェノニック型のヒドウン・マ
    ルコフ・モデルを語中の先行する他のサブワードの音声
    変形候補とのＮグラム関係(Ｎは２以上の整数)を与えて
    保持し、 語を構成するサブワードの音声として変形した音声変形
    候補毎のラベル列を保持し、 認識対象となる複数の候補語を保持した後、 音声として入力された語を特徴解析して、当該語に対応
    するラベル列または特徴ベクトル列を得るステップと、 候補語に対応し、且つ、前記Ｎグラム関係に基づいて音
    声変形候補毎にフェノニック型のヒドウン・マルコフ・
    モデルをあてはめるステップと、 これら音声変形候補毎の各フェノニック型のヒドウン・
    マルコフ・モデルをサブワード間で並列に連結させて音
    声モデルを構成するステップと、 各候補語について構成された音声モデルが音声入力され
    た前記語のラベル列または特徴ベクトル列を出力する確
    率を求め、最も高い確率の音声モデルに対応する候補語
    を認識結果として出力するステップと、 を備えたことを特徴とする音声認識方法。
  9. 【請求項９】音声モデルのパラメータを、訓練用の語の
    音声入力を特徴解析することにより得られたラベル列ま
    たは特徴ベクトル列を出力する尤度を高めるように変更
    する音声モデルの訓練方法において、 語を構成するサブワードの音声として変形した音声変形
    候補毎に、語中で先行するサブワードの音声変形候補と
    のＮグラム関係(Ｎは２以上の整数)をもってテーブルに
    保持されている各ヒドウン・マルコフ・モデルを、訓練
    用の語に対応し、且つ、前記Ｎグラム関係に基づいてサ
    ブワード間で並列に連結させて音声モデルを構成し、 訓練用の語の音声入力のラベル列または特徴ベクトル列
    に対応したこの音声モデルのラベル列または特徴ベクト
    ル列の出力尤度を高めるように、当該音声モデルを構成
    するヒドウン・マルコフ・モデルにおける状態遷移確率
    と、ラベル列または特徴ベクトル列の出力確率と、音声
    変形候補間のＮグラムの生起確率とを求め、 求められた上記各確率を新たなヒドウン・マルコフ・モ
    デルのパラメータとして前記テーブルに保持することを
    特徴とする音声モデルの訓練方法。
  10. 【請求項１０】ヒドウン・マルコフ・モデルは、フェノ
    ニック型のヒドウン・マルコフ・モデルからなることを
    特徴とする請求項８に記載の音声モデルの訓練方法。
JP4259301A 1992-09-29 1992-09-29 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法 Expired - Fee Related JPH0772840B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP4259301A JPH0772840B2 (ja) 1992-09-29 1992-09-29 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法
US08/114,709 US5502791A (en) 1992-09-29 1993-09-01 Speech recognition by concatenating fenonic allophone hidden Markov models in parallel among subwords
EP93307664A EP0590925B1 (en) 1992-09-29 1993-09-28 Method of speech modelling and a speech recognizer
DE69324428T DE69324428T2 (de) 1992-09-29 1993-09-28 Verfahren zur Sprachformung und Gerät zur Spracherkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4259301A JPH0772840B2 (ja) 1992-09-29 1992-09-29 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法

Publications (2)

Publication Number Publication Date
JPH06110493A JPH06110493A (ja) 1994-04-22
JPH0772840B2 true JPH0772840B2 (ja) 1995-08-02

Family

ID=17332180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4259301A Expired - Fee Related JPH0772840B2 (ja) 1992-09-29 1992-09-29 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法

Country Status (4)

Country Link
US (1) US5502791A (ja)
EP (1) EP0590925B1 (ja)
JP (1) JPH0772840B2 (ja)
DE (1) DE69324428T2 (ja)

Families Citing this family (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994014270A1 (en) * 1992-12-17 1994-06-23 Bell Atlantic Network Services, Inc. Mechanized directory assistance
US5737490A (en) * 1993-09-30 1998-04-07 Apple Computer, Inc. Method and apparatus for constructing continuous parameter fenonic hidden markov models by replacing phonetic models with continous fenonic models
DE4412745A1 (de) * 1994-04-14 1996-11-07 Philips Patentverwaltung Verfahren zum Ermitteln einer Folge von Wörtern und Anordnung zur Durchführung des Verfahrens
FI98162C (fi) * 1994-05-30 1997-04-25 Tecnomen Oy HMM-malliin perustuva puheentunnistusmenetelmä
US5727124A (en) * 1994-06-21 1998-03-10 Lucent Technologies, Inc. Method of and apparatus for signal recognition that compensates for mismatching
GB2296846A (en) * 1995-01-07 1996-07-10 Ibm Synthesising speech from text
CN1183158A (zh) * 1995-03-07 1998-05-27 西门子公司 识别至少叠加了一个干扰信号的时变测试信号中的至少一个隐式马尔科夫模型建模的有定义信号的方法
DE19510083C2 (de) * 1995-03-20 1997-04-24 Ibm Verfahren und Anordnung zur Spracherkennung bei Wortkomposita enthaltenden Sprachen
WO1996035207A1 (en) * 1995-05-03 1996-11-07 Philips Electronics N.V. Speech recognition methods and apparatus on the basis of the modelling of new words
DE19516099C2 (de) * 1995-05-05 2003-07-03 Philips Intellectual Property Verfahren zum Bestimmen von Sprachmodellwerten
US5677990A (en) * 1995-05-05 1997-10-14 Panasonic Technologies, Inc. System and method using N-best strategy for real time recognition of continuously spelled names
GB2305288A (en) * 1995-09-15 1997-04-02 Ibm Speech recognition system
SE506003C2 (sv) * 1996-05-13 1997-11-03 Telia Ab Metod och system för tal-till-tal-omvandling med extrahering av prosodiinformation
US5835890A (en) * 1996-08-02 1998-11-10 Nippon Telegraph And Telephone Corporation Method for speaker adaptation of speech models recognition scheme using the method and recording medium having the speech recognition method recorded thereon
US5983177A (en) * 1997-12-18 1999-11-09 Nortel Networks Corporation Method and apparatus for obtaining transcriptions from multiple training utterances
US6266637B1 (en) * 1998-09-11 2001-07-24 International Business Machines Corporation Phrase splicing and variable substitution using a trainable speech synthesizer
US6385579B1 (en) * 1999-04-29 2002-05-07 International Business Machines Corporation Methods and apparatus for forming compound words for use in a continuous speech recognition system
CN1201286C (zh) * 1999-12-23 2005-05-11 英特尔公司 使用基于词汇树的n格拉姆语言模式的执行语音识别的方法
US6389394B1 (en) * 2000-02-09 2002-05-14 Speechworks International, Inc. Method and apparatus for improved speech recognition by modifying a pronunciation dictionary based on pattern definitions of alternate word pronunciations
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6973427B2 (en) * 2000-12-26 2005-12-06 Microsoft Corporation Method for adding phonetic descriptions to a speech recognition lexicon
CN1159702C (zh) 2001-04-11 2004-07-28 国际商业机器公司 具有情感的语音-语音翻译系统和方法
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
DE10304460B3 (de) * 2003-02-04 2004-03-11 Siemens Ag Generieren und Löschen von Aussprachevarianten zur Verringerung der Wortfehlerrate in der Spracherkennung
DE102004048348B4 (de) * 2004-10-01 2006-07-13 Daimlerchrysler Ag Verfahren zur Adaption und/oder Erzeugung statistischer Sprachmodelle
US8700404B1 (en) 2005-08-27 2014-04-15 At&T Intellectual Property Ii, L.P. System and method for using semantic and syntactic graphs for utterance classification
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US20070132834A1 (en) * 2005-12-08 2007-06-14 International Business Machines Corporation Speech disambiguation in a composite services enablement environment
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
WO2009008055A1 (ja) * 2007-07-09 2009-01-15 Fujitsu Limited 音声認識装置、音声認識方法、および、音声認識プログラム
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
JP4808764B2 (ja) * 2008-12-15 2011-11-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識システムおよび方法
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
GB2469499A (en) * 2009-04-16 2010-10-20 Aurix Ltd Labelling an audio file in an audio mining system and training a classifier to compensate for false alarm behaviour.
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
CN102479510A (zh) * 2010-11-24 2012-05-30 株式会社东芝 用于生成语音标签的方法和装置
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
JP5703747B2 (ja) * 2010-12-27 2015-04-22 富士通株式会社 音声認識装置，および音声認識プログラム
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
CN103650033B (zh) 2011-06-30 2016-10-26 谷歌公司 使用可变长度语境的语音识别
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US9336771B2 (en) * 2012-11-01 2016-05-10 Google Inc. Speech recognition using non-parametric models
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
CN105190607B (zh) 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP2016521948A (ja) 2013-06-13 2016-07-25 アップル インコーポレイテッド 音声コマンドによって開始される緊急電話のためのシステム及び方法
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9135911B2 (en) * 2014-02-07 2015-09-15 NexGen Flight LLC Automated generation of phonemic lexicon for voice activated cockpit management systems
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9858922B2 (en) 2014-06-23 2018-01-02 Google Inc. Caching speech recognition scores
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9299347B1 (en) 2014-10-22 2016-03-29 Google Inc. Speech recognition using associative mapping
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
WO2022198474A1 (en) * 2021-03-24 2022-09-29 Sas Institute Inc. Speech-to-analytics framework with support for large n-gram corpora
KR102494627B1 (ko) * 2020-08-03 2023-02-01 한양대학교 산학협력단 데이터 라벨을 자동 교정하는 음성 인식 시스템 및 방법
CN112541856B (zh) * 2020-12-07 2022-05-03 重庆邮电大学 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817156A (en) * 1987-08-10 1989-03-28 International Business Machines Corporation Rapidly training a speech recognizer to a subsequent speaker given training data of a reference speaker
JPH0293597A (ja) * 1988-09-30 1990-04-04 Nippon I B M Kk 音声認識装置
JPH0296800A (ja) * 1988-10-03 1990-04-09 Nec Corp 連続音声認識装置
GB2240203A (en) * 1990-01-18 1991-07-24 Apple Computer Automated speech recognition system
US5129001A (en) * 1990-04-25 1992-07-07 International Business Machines Corporation Method and apparatus for modeling words with multi-arc markov models
JP3050934B2 (ja) * 1991-03-22 2000-06-12 株式会社東芝 音声認識方式
US5199077A (en) * 1991-09-19 1993-03-30 Xerox Corporation Wordspotting for voice editing and indexing
US5278942A (en) * 1991-12-05 1994-01-11 International Business Machines Corporation Speech coding apparatus having speaker dependent prototypes generated from nonuser reference data
US5317673A (en) * 1992-06-22 1994-05-31 Sri International Method and apparatus for context-dependent estimation of multiple probability distributions of phonetic classes with multilayer perceptrons in a speech recognition system

Also Published As

Publication number Publication date
EP0590925A1 (en) 1994-04-06
US5502791A (en) 1996-03-26
EP0590925B1 (en) 1999-04-14
JPH06110493A (ja) 1994-04-22
DE69324428T2 (de) 1999-11-25
DE69324428D1 (de) 1999-05-20

Similar Documents

Publication Publication Date Title
JPH0772840B2 (ja) 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法
JP4141495B2 (ja) 最適化された部分的確率混合共通化を用いる音声認識のための方法および装置
JP5327054B2 (ja) 発音変動規則抽出装置、発音変動規則抽出方法、および発音変動規則抽出用プログラム
US7299178B2 (en) Continuous speech recognition method and system using inter-word phonetic information
US5581655A (en) Method for recognizing speech using linguistically-motivated hidden Markov models
US20060041429A1 (en) Text-to-speech system and method
Aggarwal et al. Acoustic modeling problem for automatic speech recognition system: conventional methods (Part I)
JPH1091183A (ja) 言語合成のためのランタイムアコースティックユニット選択方法及び装置
JPH0372999B2 (ja)
US6546369B1 (en) Text-based speech synthesis method containing synthetic speech comparisons and updates
EP0562138A1 (en) Method and apparatus for the automatic generation of Markov models of new words to be added to a speech recognition vocabulary
US5764851A (en) Fast speech recognition method for mandarin words
GB2465383A (en) A speech recognition system using a plurality of acoustic models which share probability distributions
KR100848148B1 (ko) 음절 단위의 음성 인식 장치, 음절 단위의 음성 인식을이용한 문자 입력 장치, 그 방법 및 기록 매체
JP4283133B2 (ja) 音声認識装置
KR100259777B1 (ko) 텍스트/음성변환기에서의최적합성단위열선정방법
JP2011053312A (ja) 適応化音響モデル生成装置及びプログラム
JP2001312293A (ja) 音声認識方法およびその装置、並びにコンピュータ読み取り可能な記憶媒体
JP2005156593A (ja) 音響モデル作成方法、音響モデル作成装置、音響モデル作成プログラムおよび音声認識装置
Gulić et al. A digit and spelling speech recognition system for the croatian language
Thalengala et al. Performance Analysis of Isolated Speech Recognition System Using Kannada Speech Database.
KR0157026B1 (ko) 한국어 기본음소단위군으로 구성한 한국어 형태소 발음사전을 사용한 한국어 연속음성 인식시스템 및 그 방법
Digalakis et al. Continuous Speech Dictation on ARPA's North American Business News Domain
Yun et al. Stochastic lexicon modeling for speech recognition
JP2975540B2 (ja) 自由発話音声認識装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees