JP2010044239A - 音声認識装置およびプログラム - Google Patents

Abstract

【課題】時刻情報を用いることによって、過去のデータとのマッチング処理の回数を減らし、処理時間を短縮させる。
【解決手段】音声信号の類似度を測定する類似度測定手段３１と、類似度の高い過去の音声信号が入力された時刻から所定期間内に前記音声認識要求と共に入力された音声信号が入力されたかどうかを判定する再発声種別判定手段３２と、を備え、再発声種別判定手段３２は、類似度の高い過去の音声信号が入力された時刻から所定期間内に、音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定する。
【選択図】図１

Description

本発明は、音声認識技術に関し、特に、時刻情報を用いて再発声の種別を判定する技術に関する。

従来から、再発声入力が行なわれたときに、過去の認識結果を有効に使って認識精度を改善させようとする音声認識装置が知られている（特許文献１）。この音声認識装置では、今回の入力音声パターンと過去の入力音声パターンとの間で、入力パターン間マッチングを行なって、今回の発声が言い直し発声か否かを判定する。また、今回の入力音声パターンと標準パターンとの認識マッチングを行なって認識候補を選定する。上記判定結果が、言い直し発声でない場合は、今回選定された認識候補が、そのまま認識結果として出力される。一方、上記判定の結果が、言い直し発声である場合には、認識候補登録部に記憶してある過去の認識候補と、今回の処理で得た認識候補との双方を用いて、２回のマッチング結果に基づいて、調整された認識候補が定められる。
特開平１１−１４９２９４号公報

しかしながら、上記の従来技術では、音声認識要求毎に過去の全データとのマッチング処理を行なうため、処理時間が多くかかってしまう。

本発明は、このような事情に鑑みてなされたものであり、時刻情報を用いることによって、過去のデータとのマッチング処理の回数を減らし、処理時間を短縮させることができる音声認識装置およびプログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の音声認識装置は、時刻情報を用いて再発声の種別を判定する音声認識装置であって、音声認識要求と共に入力された音声信号と、過去に入力された音声信号との類似度を測定する類似度測定手段と、前記測定の結果、前記音声認識要求と共に入力された音声信号と類似度の高い音声信号が過去に入力されていた場合、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に前記音声認識要求と共に入力された音声信号が入力されたかどうかを判定する再発声種別判定手段と、音響モデルおよび言語モデルを用いて、入力された音声信号の音声認識処理を行なう音声認識処理手段と、を備え、前記再発声種別判定手段は、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に、前記音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、前記類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、前記音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定することを特徴としている。

このように、類似度の高い過去の音声信号が入力された時刻から所定期間内に、音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定するので、再発声による認識精度を向上させることが可能となる。

（２）また、本発明の音声認識装置において、前記音声認識処理手段は、前記再発声種別判定手段の判定結果に応じて、前記音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを更新することを特徴としている。

このように、再発声種別判定手段の判定結果に応じて、音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを更新するので、再発声による認識精度を向上させることが可能となる。

（３）また、本発明の音声認識装置において、前記音声認識処理手段は、前記再発声種別判定手段が語彙外の再発声または誤認識による再発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを減少させる一方、前記再発声種別判定手段が定期的な発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを増加させることを特徴としている。

このように、再発声種別判定手段が語彙外の再発声または誤認識による再発声であると判定した場合は、音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを減少させるので、音声認識処理において、音声認識要求と共に入力された音声信号が認識されにくくなる。一方、再発声種別判定手段が定期的な発声であると判定した場合は、音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを増加させるので、音声認識要求と共に入力された音声信号が認識されやすくなる。その結果、再発声による認識精度を向上させることが可能となる。

（４）また、本発明の音声認識装置において、前記音声認識処理手段は、前記再発声種別判定手段の判定結果に応じて、前記音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を変更することを特徴としている。

このように、再発声種別判定手段の判定結果に応じて、前記音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を変更するので、再発声による認識精度を向上させることが可能となる。

（５）また、本発明の音声認識装置において、前記音声認識処理手段は、前記再発声種別判定手段が語彙外の再発声または誤認識による再発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を減少させる一方、前記再発声種別判定手段が定期的な発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を増加させることを特徴としている。

このように、再発声種別判定手段が語彙外の再発声または誤認識による再発声であると判定した場合は、音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を減少させるので、音声認識要求と共に入力された音声信号が該当認識結果として認識されにくくなる。一方、再発声種別判定手段が定期的な発声であると判定した場合は、音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を増加させるので、音声認識要求と共に入力された音声信号が該当認識結果として認識されやすくなる。その結果、再発声による認識精度を向上させることが可能となる。

（６）また、本発明のプログラムは、時刻情報を用いて再発声の種別を判定するプログラムであって、音声認識要求と共に入力された音声信号と、過去に入力された音声信号との類似度を測定する処理と、前記測定の結果、前記音声認識要求と共に入力された音声信号と類似度の高い音声信号が過去に入力されていた場合、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に前記音声認識要求と共に入力された音声信号が入力されたかどうかを判定する処理と、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に、前記音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、前記類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、前記音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定する処理と、音響モデルおよび言語モデルを用いて、入力された音声信号の音声認識処理を行なう処理と、を含む一連の処理を、コンピュータで読み取りおよび実行可能にコマンド化したことを特徴としている。

このように、類似度の高い過去の音声信号が入力された時刻から所定期間内に、音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定するので、再発声による認識精度を向上させることが可能となる。

本発明によれば、類似度の高い過去の音声信号が入力された時刻から所定期間内に、音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定するので、再発声による認識精度を向上させることが可能となる。

次に、本発明に係る実施形態について、図面を参照しながら説明する。図１は、本実施形態に係る音声認識装置の概略構成を示す図である。図１において、認識処理要求受信手段１０は、ユーザ端末からの音声認識要求と音声データを受信し、音声認識処理手段２０に対して、認識処理を指示する。また、認識結果をユーザ端末に返信するほか、入力音声や認識結果、アクセス情報を各々のＤＢに蓄積する。音声認識処理手段２０は、認識処理要求受信手段１０から受信した認識要求に従い、音響モデル２１、言語モデル２２を用いて認識処理を行ない、認識結果を認識処理要求受信手段１０に返信する。更新データがある場合には、ユーザＩＤなどから認識処理する。

再発声判定部３０は、類似度測定手段３１、再発声種別判定手段３２、および過去履歴ＤＢ３３を備えている。再発声判定部３０では、音声が入力されると、過去の入力音声との比較を行ない、類似度を測定する。短時間に数回にわたり入力された音声が類似している場合には、語彙外（誤認識）発声と判定する。そして、音声認識処理において、該当する認識結果として認識されにくくするように、スコアを低減させる、若しくは、言語確率を下げる処理を行なう。一方、ある程度長い間隔で入力された音声が類似している場合には、定期発声（いつもの発声）と判定し、音声認識処理において、該当する認識結果として認識されやすくするように、スコアを上げる、若しくは、言語確率を上げる処理を行なう。認識処理後、認識結果は、過去履歴ＤＢ３３に蓄積された過去履歴ＤＢとの距離を求め、格納される。

更新データ手段４０は、再発声種別判定手段３２から入力される更新データ（ユーザＩＤ、認識結果、再発声種別）に基づいて、音声認識処理手段２０または言語モデル２２のデータを更新する。

図２は、類似度測定手段３１の概略構成を示すブロック図である。類似度測定手段３１は、入力音声と過去に発声された蓄積音声データの類似度を判定する。また、認識処理後は、認識結果（文字列）の距離を求め、認識結果間距離情報テーブルに格納する。求めた音声データ間の距離や、認識結果間の距離が閾値以下である場合に、両者が類似していると判定する。

図２において、類似度判定制御手段３１ａは、認識処理要求受信手段１０から入力音声データとユーザＩＤ、また、蓄積音声ＤＢ３３ａにある同一ユーザＩＤの音声データを取得する。同様に、認識処理要求受信手段１０からユーザＩＤと認識結果を受信した場合には、認識結果ＤＢ３３ｂから、同一ユーザＩＤの音声データを取得する。なお、音声間距離テーブルや認識結果間距離情報テーブルに記載の情報を利用し、過去の再発声情報から、比較対象を絞ることも可能とする。

アクセス情報分析手段３１ｂは、認識処理要求受信手段１０から入力音声データとユーザＩＤを受信した後、該当ユーザＩＤのアクセス情報を取得し、類似度を判定するために用いる音声データを選択する。以下の２つの条件のどちらかを満足するものを、類似度を測定する音声データとして選択する。また、再発声種別ＤＢ３３ｄの情報を元に、比較対象を絞り込む。
（１）現時刻からＴ以内の音声については、その中で類似度が低いもののみを選択する。
（２）現時国からＴ’以上の間隔があいた音声データを選択する。

データ加工手段３１ｃは、入力音声、および蓄積音声ＤＢ３３ａから取得した音声データを同じ種類のデータ形式に加工する。例えば、両者がＰＣＭ等の音声データやスペクトル領域のデータである場合には、スペクトル領域のデータ、ケプストラム領域のデータ、ＶＱデータなどに加工する。両者が、ケプストラム領域のデータの場合には、ケプストラム領域のデータ、ＶＱデータなどに加工する。両者がＶＱデータの場合にはそのままにする。また認識結果の距離計算の場合には、認識結果を、仮名列や、音素列に変換する。

距離計算手段３１ｄは、音声データ間の距離または、認識結果の距離を計算する。求めた距離は、音声間距離情報テーブルや認識結果間距離情報テーブル、および類似度判定手段３１ｅに出力する。

類似度判定手段３１ｅは、距離計算手段３１ｄで求めた距離が閾値以下である場合に、類似していると判定する。類似していると判定した結果は、該当するデータの情報を、認識処理手段に出力する。

図３は、図２に示した距離計算手段３１ｄが行なう距離計算方法の概念を示す図である。音声データからの距離計算では、異なるフレーム数の２つの音声の距離は、ＤＴＷ（動的時間伸縮法）を用いて求める。各フレーム間の距離の例として、以下の距離尺度がある。
（１）対数スペクトル、ＬＰＣスペクトル、ケプストラム、ＶＱデータのユークリッド距離。
（２）ＬＰＣスペクトルを用いた最尤スペクトル距離。
（３）Ｃｏｓｈ尺度。

一方、認識結果からの距離計算では、レーベンシュタイン距離に基づく２つの認識結果の間の編集距離を求める。

図４は、図１に示した再発声種別判定手段３２の動作の概念を示す図である。再発声種別判定手段３２は、類似度判定手段３１ｅによる判定の結果、類似度が高い音声について再発声種別を判定する。すなわち、再発声種別判定手段３２は、時刻が、現時刻からＴ以内の発声については、語彙外または誤認識による発声であると判定する。一方、再発声種別判定手段３２は、時刻が、Ｔ’以上の間隔にある発声については、定期発声（いつもの発声）であると判定する。再発声種別、認識結果、ユーザＩＤは、更新データ手段４０に送信される。

図５は、図１に示した過去履歴ＤＢの概略構成を示す図である。蓄積音声ＤＢ３３ａは、入力された音声を蓄積するＤＢである。蓄積される音声データは、ＰＣＭ形式などの音声データの他、スペクトル領域のデータ、ケプストラム領域のデータ、ＶＱデータなどであってもよい。認識結果ＤＢ３３ｂは、認識結果を蓄積するＤＢである。蓄積される認識結果は、認識された文字および認識スコアである。認識スコアは、さらに音響尤度と言語確率に別けて保持してもよい。アクセス情報ＤＢ３３ｃは、アクセス情報を蓄積するＤＢである。蓄積されるアクセス情報としては、アクセス時間、アクセスユーザＩＤ、および、対応する蓄積音声ＤＢに格納された音声データ名、対応する認識結果ＤＢに格納された認識結果ファイル名がある。再発声種別ＤＢ３３ｄは、再発声の種別と距離を蓄積する。語彙外（誤認識）発声であるか、定期発声であるかという再発声の種別と、該当する音声、および認識結果のグループ情報、および、その中の距離情報を格納する。

図６は、図１に示した更新データ手段４０によるデータ更新の概念を示す図である。再発声判定部３０から音声認識処理手段２０に対して、更新データ（ユーザＩＤ、認識結果、再発声種別）が入力される。音声認識処理手段２０は、認識処理により得たＮベスト（スコアが高い方からＮ個目までの認識結果）に対して、再発声リスコアリングテーブル２０ａに従ってスコアを変更する。その後、スコアが最大の認識結果を返信する。

図７は、図１に示した更新データ手段４０によるデータ更新の他の概念を示す図である。再発声判定部３０から言語モデル２２に対して、直接、言語モデル２２に登録されている言語確率（単語の確からしさを表す確率）を調整する。音声認識処理手段２０は、その後、認識処理を実施する。

図８は、本実施形態に係る音声認識装置の動作を示すフローチャートである。音声認識装置は、認識要求を受信すると（ステップＳ１）、入力された音声データとユーザＩＤを再発声判定部３０に入力する。そして、再発声判定部３０では、類似度測定手段３１が類似度を測定する。次に、再発声種別判定手段３２が、再発声であるかどうかを判定する（ステップＳ２）。この判定の結果、再発声でない場合は、通常の認識処理を行なう（ステップＳ３）。すなわち、認識処理要求受信手段１０から音声認識処理手段２０に対して音声データおよびユーザＩＤが入力される。

一方、ステップＳ２において、再発声であると判定された場合は、再発声種別判定手段３２が、語彙外（誤認識）発声、または定期発声のいずれか一方に分けられる。そして、データの更新を行ない（ステップＳ４）、リスコアリング調整または言語確率調整を実施する。すなわち、語彙外（誤認識）発声である場合は、認識結果のスコアを下げて、同じ結果が出にくいようにする。一方、定期発声である場合は、認識スコアを上げて、同じ結果が出やすいようにする。最後に、上記のように更新されたデータを用いて認識処理を実施する（ステップＳ５）。

以上のような本発明の特徴的な動作は、コンピュータにプログラムを実行させることによって行なうことが可能である。すなわち、本発明のプログラムは、時刻情報を用いて再発声の種別を判定するプログラムであって、音声認識要求と共に入力された音声信号と、過去に入力された音声信号との類似度を測定する処理と、前記測定の結果、前記音声認識要求と共に入力された音声信号と類似度の高い音声信号が過去に入力されていた場合、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に前記音声認識要求と共に入力された音声信号が入力されたかどうかを判定する処理と、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に、前記音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、前記類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、前記音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定する処理と、音響モデルおよび言語モデルを用いて、入力された音声信号の音声認識処理を行なう処理と、を含む一連の処理を、コンピュータで読み取りおよび実行可能にコマンド化したことを特徴としている。

このように、類似度の高い過去の音声信号が入力された時刻から所定期間内に、音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定するので、再発声による認識精度を向上させることが可能となる。

本実施形態に係る音声認識装置の概略構成を示す図である。 類似度測定手段３１の概略構成を示すブロック図である。 図２に示した距離計算手段３１ｄが行なう距離計算方法の概念を示す図である。 図１に示した再発声種別判定手段３２の動作の概念を示す図である。 図１に示した過去履歴ＤＢの概略構成を示す図である。 図１に示した更新データ手段４０によるデータ更新の概念を示す図である。 図１に示した更新データ手段４０によるデータ更新の他の概念を示す図である。 本実施形態に係る音声認識装置の動作を示すフローチャートである。

符号の説明

１０ 認識処理要求受信手段
２０ 音声認識処理手段
２０ａ 再発声リスコアリングテーブル
２１ 音響モデル
２２ 言語モデル
３０ 再発声判定部
３１ 類似度測定手段
３１ａ 類似度判定制御手段
３１ｂ アクセス情報分析手段
３１ｃ データ加工手段
３１ｄ 距離計算手段
３１ｅ 類似度判定手段
３２ 再発声種別判定手段
３３ 過去履歴ＤＢ
３３ａ 蓄積音声ＤＢ
３３ｂ 認識結果ＤＢ
３３ｃ アクセス情報ＤＢ
３３ｄ 再発声種別ＤＢ
４０ 更新データ手段

Claims (6)

1. 時刻情報を用いて再発声の種別を判定する音声認識装置であって、
   音声認識要求と共に入力された音声信号と、過去に入力された音声信号との類似度を測定する類似度測定手段と、
   前記測定の結果、前記音声認識要求と共に入力された音声信号と類似度の高い音声信号が過去に入力されていた場合、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に前記音声認識要求と共に入力された音声信号が入力されたかどうかを判定する再発声種別判定手段と、
   音響モデルおよび言語モデルを用いて、入力された音声信号の音声認識処理を行なう音声認識処理手段と、を備え、
   前記再発声種別判定手段は、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に、前記音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、前記類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、前記音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定することを特徴とする音声認識装置。
2. 前記音声認識処理手段は、前記再発声種別判定手段の判定結果に応じて、前記音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを更新することを特徴とする請求項１記載の音声認識装置。
3. 前記音声認識処理手段は、前記再発声種別判定手段が語彙外の再発声または誤認識による再発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを減少させる一方、前記再発声種別判定手段が定期的な発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の認識スコアを増加させることを特徴とする請求項２記載の音声認識装置。
4. 前記音声認識処理手段は、前記再発声種別判定手段の判定結果に応じて、前記音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を変更することを特徴とする請求項１記載の音声認識装置。
5. 前記音声認識処理手段は、前記再発声種別判定手段が語彙外の再発声または誤認識による再発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を減少させる一方、前記再発声種別判定手段が定期的な発声であると判定した場合は、前記音声認識要求と共に入力された音声信号に該当する認識結果の言語確率を増加させることを特徴とする請求項４記載の音声認識装置。
6. 時刻情報を用いて再発声の種別を判定するプログラムであって、
   音声認識要求と共に入力された音声信号と、過去に入力された音声信号との類似度を測定する処理と、
   前記測定の結果、前記音声認識要求と共に入力された音声信号と類似度の高い音声信号が過去に入力されていた場合、前記類似度の高い過去の音声信号が入力された時刻から所定期間内に前記音声認識要求と共に入力された音声信号が入力されたかどうかを判定する処理と、
   前記類似度の高い過去の音声信号が入力された時刻から所定期間内に、前記音声認識要求と共に入力された音声信号が入力された場合は、語彙外の再発声または誤認識による再発声であると判定する一方、前記類似度の高い過去の音声信号が入力された時刻から所定期間が経過した後で、前記音声認識要求と共に入力された音声信号が入力された場合は、定期的な発声であると判定する処理と、
   音響モデルおよび言語モデルを用いて、入力された音声信号の音声認識処理を行なう処理と、を含む一連の処理を、コンピュータで読み取りおよび実行可能にコマンド化したことを特徴とするプログラム。