JP2009187000A - ユーザ音声診断装置及びユーザ音声診断方法 - Google Patents

Abstract

【課題】音声認識性能に影響を与えるユーザ音声の物理量の改善を支援する音声診断装置及びユーザ音声診断方法を提供する。
【解決手段】ユーザ音声診断装置１０の音声信号入力部１０１は、ユーザの発声による音声信号を入力し、物理量算出部１０２は、入力された音声信号に基づいて母音間距離と話者固有度の両方を含む物理量を算出する。物理量提示部１０３は、算出された物理量をユーザに提示する。
【選択図】 図２

Description

本発明は、ユーザの音声の特徴を診断するユーザ音声診断装置及びユーザ音声診断方法に関するものである。

一般に、音声認識は、話者が発声した音声サンプルをある特徴パラメータの系列に変換する音響分析部と、音響分析部で得られた特徴パラメータの系列を予めメモリやハードディスクなどの記憶装置に蓄積した語彙単語の特徴パラメータに関する情報と照合して、最も類似度の高い音声を認識結果とする音声照合部の２つの部分から構成される。音声サンプルをある特徴パラメータの系列に変換する音響分析方法としては、ケプストラム分析や線形予測分析などが知られている。音声認識の中で、不特定話者の音声を認識する技術を一般に不特定話者音声認識と呼ぶ。不特定話者音声認識においては、語彙単語の特徴パラメータに関する情報が予め記憶装置に蓄積されているため、特定話者音声認識のようにユーザが音声認識させたい単語を登録するという作業は発生しない。また、語彙単語の特徴パラメータに関する情報の作成及びその情報と入力された音声から変換された特徴パラメータの系列との音声照合方法としては、隠れマルコフモデル（Hidden Markov Model）による方法が一般に用いられている。ＨＭＭによる方法においては、音節、半音節、音韻、ｂｉｐｈｏｎｅ，ｔｒｉｐｈｏｎｅなどの音声単位がＨＭＭによりモデル化される。これらのモデルを一般に、音響モデルと呼ぶ。

従来、音響モデルは、男性／女性の性別、子供／大人／高齢者の年齢別、雑音に依存する話者環境別に複数種類作られることが多かった。これらの音響モデルは、上記の種類毎に作成される場合、該当する種類の音声を大量に集め、それらを学習サンプル母集団として、ＨＭＭによりモデル化され作成される。学習サンプル母集団は、一般に、ある分布群を形成するが、ＨＭＭは、それらの統計的なモデル化であるため、学習サンプル母集団の分布の中心部分に位置する音声と分布の周辺部分に位置する音声に対するモデル化精度は異なり、分布の中心部分に位置する音声の方が分布の周辺部分に位置する音声よりもモデル化精度は高い。従って、分布の中心部分に位置する音声の方が分布の周辺部分に位置する音声よりも精度良く音声認識される可能性が高く、分布から外れた音声は、精度良く認識されない可能性が極めて高い。そこで、音声認識装置及びサービスへの入力音声は、出来るだけ分布の中央部分に位置することが望ましい。音声の分布に影響する物理量としては、発声音量や発声速度が良く知られている。このため、従来からユーザの発声音量や発声速度をある範囲に収めることにより、音声認識性能を向上させる工夫がなされている（例えば、特許文献１参照）。

特許文献１では、ユーザの発声を分析し、当該分析結果に基づき音声認識の誤認識に寄与する誤認識要因を推定し、ユーザの発声を認識した結果を含む音声を合成して出力する応答手段を有し、推定された誤認識要因を強調した発声変換を施して応答する音声対話装置について開示している。誤認識要因としては、発声音量と発声速度を開示している。発声音量が大きすぎることが誤認識要因であると推定されたときは、ユーザの発声の認識結果部分をより大きい音量に発話変換して応答し、発声音量が小さすぎることが誤認識要因であると推定されたときは、ユーザの発声の誤認識結果部分をより小さい音量に発話変換して応答する。発声速度が速すぎることが誤認識要因であると推定されたときは、ユーザの発声の認識結果部分をより速い速度に発話変換して応答し、発声音量が遅すぎることが誤認識要因であると推定されたときは、ユーザの発声の認識結果部分をより遅い速度に発話変換して応答する。

特開２００６−２５１０６１号公報

しかしながら、特許文献１に記載のように発声音量及び発声速度のみを調整するのみでは、十分な音声認識性能を得ることができなかった。
従来から、音声認識性能に大きく影響を与える物理量として、発声音量や発声速度だけではなく、音声の信号対雑音比（ＳＮＲ：Signal to Noise Ratio）が知られている。さらに、最近の研究から、母音の発音がはっきりしているかの指標となる「母音間距離」や、標準的な声質か標準的でない声質かの指標となる「話者固有度」等の物理量も大きく影響することが判明した。しかしながら、従来においては、音声認識性能に影響を与える物理量を改善し、音声認識性能を向上させる方法は存在しなかった。
本発明はこのような従来の課題を解決するためになされたものであり、その目的は、音声認識性能に影響を与えるユーザ音声の物理量の改善を支援する音声診断装置及びユーザ音声診断方法を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、ユーザの発声による音声信号を入力する音声信号入力手段と、前記音声信号入力手段により入力された音声信号に基づいて、数１式で定まる母音間距離と、前記ユーザの音響空間と不特定話者の音響空間との相互距離で定まる話者固有度と、の両方を含む物理量を算出する物理量算出手段と、前記物理量算出手段により算出された物理量の少なくとも一つをユーザに提示する物理量提示手段とを備えることを特徴とするユーザ音声診断装置を提供する。

ただし、Ｓｐｅｃｔｒｕｍ_x（ｆ）は、母音ｘの音響スペクトル

本発明によれば、ユーザ音声診断装置は、ユーザの発声により入力された音声信号に基づいて母音間距離と話者固有度の両方を含む物理量を算出し、該物理量をユーザに提示するため、音声認識性能に影響を与えるユーザの母音間距離や話者固有度等の物理量の少なくとも一つをユーザに認識させ自己の発声でどの物理量に問題があったのかを把握させることが可能となる。

請求項２に記載の発明は、請求項１に記載のユーザ音声診断装置において、前記物理量提示手段は、前記物理量をレーダーチャート表示することを特徴とする。
本発明によれば、物理量提示手段はレーダーチャートにより各物理量の全体のバランスを容易に示すことができる。

請求項３に記載の発明は、請求項２に記載のユーザ音声診断装置において、前記物理量提示手段は、前記レーダーチャートの表示領域を、音声認識性能が比較的高い物理量が分布する安全領域と、音声認識性能が比較的低い物理量が分布する危険領域と、の少なくとも２つの領域に分類して表示することを特徴とする。
本発明によれば、物理量提示手段はレーダーチャートの表示領域を安全領域と危険領域との少なくとも２つの領域に分類して表示するため、ユーザは自己の発声が音声認識に適しているのか否かを視覚的に把握でき、どのような点を意識して発声すべきかを容易に認識することができる。

請求項４に記載の発明は、請求項３に記載のユーザ音声診断装置において、前記レーダーチャート表示された物理量のうちの少なくとも１つが前記危険領域に含まれている場合、該危険領域に含まれている物理量が前記安全領域に含まれるようにユーザの発声を誘導するためのガイダンスを出力する誘導手段をさらに備えることを特徴とする。
本発明によれば、誘導手段がガイダンスを出力することにより、ユーザの発声を改善させ、音声認識性能を向上させることが可能となる。

請求項５に記載の発明は、請求項４に記載のユーザ音声診断装置において、前記危険領域に含まれている前記物理量が２つ以上存在する場合、前記誘導手段は、前記物理量のうち前記安全領域から最も距離が離れている物理量が前記安全領域に含まれるようにユーザの発声を誘導するためのガイダンスを出力することを特徴とする。
本発明によれば、誘導手段は安全領域から最も距離が離れている物理量から順にユーザを誘導することができるため、効率的にユーザを誘導することができる。

請求項６に記載の発明は、請求項４又は５に記載のユーザ音声診断装置において、音声認識性能が比較的高い模範音声データを予め記憶する模範音声記憶手段をさらに備え、前記誘導手段は、前記ガイダンスを出力すると共に、前記模範音声データを再生した模範音声を出力することを特徴とする。
本発明によれば、誘導手段はガイダンスと共に模範音声を出力するため、ユーザの発声を容易に改善させることができる。

請求項７に記載の発明は、請求項６に記載のユーザ音声診断装置において、前記誘導手段は、前記ガイダンスを第１のスピーカから出力し、前記模範音声を第２のスピーカから出力することを特徴とする。
本発明によれば、誘導手段がガイダンスと模範音声を別々のスピーカから出力することで、ユーザはガイダンスと模範音声とを区別して聞き易い。

請求項８に記載の発明は、請求項６又は７に記載のユーザ音声診断装置において、前記物理量提示手段は、前記模範音声の物理量をレーダーチャート表示することを特徴とする。
本発明によれば、物理量提示手段が模範音声の物理量をレーダーチャート表示するため、ユーザは模範音声とユーザ音声との物理量の差をレーダーチャート上で視覚的に容易に認識することができる。

請求項９に記載の発明は、請求項６から８の何れか１項に記載のユーザ音声診断装置において、前記誘導手段は、前記模範音声を出力した後、ユーザに望ましい音声を復唱させるための復唱誘導ガイダンスを出力することを特徴とする。
本発明によれば、誘導手段は模範音声を出力した後に復唱誘導ガイダンスを出力するため、ユーザは復唱誘導ガイダンスに従って模範音声を真似て発声することができ、容易に発声を改善することができる。

請求項１０に記載の発明は、請求項９に記載のユーザ音声診断装置において、前記物理量提示手段は、前記模範音声の物理量と、前記復唱誘導ガイダンスが出力された後にユーザの発声により再度入力された音声信号の物理量とを重ね合わせてレーダーチャート表示することを特徴とする。
本発明によれば、物理量提示手段は模範音声の物理量と再度入力された音声信号の物理量とを重ね合わせてレーダーチャート表示するため、ユーザは自己の発声が改善したのかをレーダーチャート上で容易に確認することができる。

請求項１１に記載の発明は、請求項１０に記載のユーザ音声診断装置において、再度入力された前記ユーザの発声による音声信号の物理量が前記危険領域に含まれる場合は、前記誘導手段は、音声認識に使用する音響モデルを別の音響モデルに置換すべき旨を音声認識装置に通知することを特徴とする。
本発明によれば、ユーザが再度発声しても物理量が危険領域に留まっている場合は、音声認識に使用する音響モデルを別の音響モデルに置換することができるため、ユーザに何度も発声させるという手間をかけずに音声認識性能を向上させることができる。

請求項１２に記載の発明は、請求項１に記載のユーザ音声診断装置において、前記物理量提示手段は、ユーザの発音に対応する文字のフォントと、該文字の大きさと、該文字の書体と、該文字間の間隔と、の少なくとも１つを用いて前記物理量を表示することを特徴とする。
本発明によれば、文字のフォント等によりユーザの発声の物理量を視覚的に把握することが容易となる。
請求項１３に記載の発明は、請求項１から１２の何れか１項に記載のユーザ音声診断装置において、前記物理量提示手段は、前記物理量の代わりに前記物理量の偏差値を提示することを特徴とする。
本発明によれば、物理量提示手段は物理量の偏差値を提示するため、物理量の偏りを容易に認識できる。

請求項１４に記載の発明は、請求項１から１２の何れか１項に記載のユーザ音声診断装置において、前記物理量提示手段は、前記物理量の代わりに該物理量の偏差値を分類した段階値を提示することを特徴とする。
本発明によれば、物理量提示手段は偏差値を分類した段階値を提示するため、ユーザの音声の認識性能を容易に把握できる。

請求項１５に記載の発明は、請求項１から１４の何れか１項に記載のユーザ音声診断装置において、前記物理量算出手段及び前記物理量提示手段による処理は、前記音声信号入力手段への１回の音声信号の入力毎に行われることを特徴とする。
本発明によれば、ユーザ音声診断装置は１回の音声信号の入力毎に物理量の算出及び提示を行うため、ユーザの発声の手間をかけずに効率的に処理を行うことができる。

請求項１６に記載の発明は、請求項１から１４の何れか１項に記載のユーザ音声診断装置において、前記物理量算出手段及び前記物理量提示手段による処理は、前記音声信号入力手段への音声信号の複数回分の入力について行われることを特徴とする。
本発明によれば、ユーザ音声診断装置は音声信号の複数回分の入力について物理量の算出及び提示を行うため、より精度の高い診断を行うことができ、より適切なユーザの誘導を行うことができる。

請求項１７に記載の発明は、ユーザの発声による音声信号を入力する音声信号入力ステップと、前記音声信号入力ステップにおいて入力された音声信号に基づいて、母音間距離と話者固有度の両方を含む物理量を算出する物理量算出ステップと、前記物理量算出ステップにおいて算出された物理量の少なくとも一つをユーザに提示する物理量提示ステップとを備えることを特徴とするユーザ音声診断方法を提供する。
本発明によれば、ユーザの発声により入力された音声信号に基づいて母音間距離と話者固有度の両方を含む物理量を算出し、該物理量の少なくとも一つをユーザに提示するため、音声認識性能に影響を与えるユーザの母音間距離や話者固有度等の物理量の少なくとも一つをユーザに認識させ改善させることが可能となる。

本発明によれば、ユーザ音声診断装置は、ユーザの発声により入力された音声信号に基づいて母音間距離と話者固有度の両方を含む物理量を算出し、該物理量の少なくとも一つをユーザに提示するため、音声認識性能に大きく影響を与えるユーザの母音間距離や話者固有度等の物理量の少なくとも一つをユーザに認識させ自己の発声でどの物理量に問題があったのかを把握させることが可能となる。

本発明の実施の形態に係るユーザ音声診断装置のハードウェア構成を示すブロック図である。 同実施の形態に係るユーザ音声診断装置の機能構成を示すブロック図である。 同実施の形態に係る表示装置に表示されるレーダーチャートの一例である。 話者固有度と音響モデル間距離との関係を表す概念図である。 同実施の形態に係る文字のフォント、サイズ、書体、文字間の間隔等で物理量を表現する場合の一例を示す図である。 同実施の形態に係る音声認識装置の機能構成を示すブロック図である。 実施例１における音声診断処理を示すフローチャートである。 実施例２における声診断処理を示すフローチャートである。 実施例３における音声診断処理を示すフローチャートである。 実施例４における音声診断処理を示すフローチャートである。 実施例５における音声診断処理を示すフローチャートである。 実施例６における音声診断処理を示すフローチャートである。 話者毎の音声認識性能の分布を示すグラフである。 各物理量のヒストグラムの一例を示す図である。 発声速度及び発声音量と、音声認識性能との関係を示す２次元グラフである。 発声速度及び発声音量と、音声認識性能との関係を示す２次元グラフである。 発声速度及び発声音量と、音声認識性能との関係を示す３次元グラフである。 母音間距離及び話者固有度と、音声認識性能との関係を示す２次元グラフである。 母音間距離及び話者固有度と、音声認識性能との関係を示す２次元グラフである。 母音間距離及び話者固有度と、音声認識性能との関係を示す３次元グラフである。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示されている。
（ユーザ音声診断装置の構成）
図１は、本発明の実施の形態に係るユーザ音声診断装置１０のハードウェア構成を示すブロック図である。ユーザ音声診断装置１０は、ユーザの発声による空気振動を音声信号に変換するマイクロホン（microphone）１１、液晶ディスプレイ等で構成された表示装置１２、音声を出力する２つのスピーカ１３，１４、全体を制御するＣＰＵ（Central Processing Unit）１５、メモリやハードディスク等の記憶装置１６を含んで構成される。記憶装置１６には、音声の物理量を算出及び診断するためのプログラム、物理量を算出するために使用される標準的な音声のパターンである標準パターン、ユーザの誘導のために出力される模範音声データやガイダンス等が記憶されている。また、ユーザ音声診断装置１０は、データの授受が可能なように音声認識装置２０に接続されている。

次に、図２を参照して、ユーザ音声診断装置１０の機能構成について説明する。
音声信号入力部１０１は、マイクロホン１１やＡ／Ｄコンバータ（不図示）等で構成され、ユーザの発声によりマイクロホン１１に入力されたアナログの音声信号をデジタルの音声信号に変換して物理量算出部１０２に供給する。
物理量算出部１０２は、音声信号入力部１０１により入力された音声信号から物理量を算出する。物理量の算出方法としては、例えば、音声信号から一定周期のフレーム毎の特徴パラメータ系列を抽出し、当該抽出した特徴パラメータ系列から物理量を算出する。物理量には、母音間距離、話者固有度、発声速度、発声音量、ＳＮＲ等が存在する。

ここで、「母音間距離」とは、音響空間における母音間の距離をいう。例えば、式（１）に示すように、ユーザの音声の中の５母音（日本語の場合は、「あ」、「い」、「う」、「え」、「お」）の相互距離の和で定義される。母音間距離が大きい話者ほど母音の発音の区別がはっきりしており、音声認識性能が高いといえる。詳細には、「山本一公，中川聖一，“発話スタイルによる話速・音韻間距離・ゆう度の違いと音声認識性能の関係”信学論（D），vol.J83-D-II，No.11，pp.2438-2447，2000.」に記載されている。

また、「話者固有度」は、当該話者の音響空間と不特定話者の音響空間との相互距離と定義する。当該話者の音響空間は、当該話者の音声データのみから作成された当該話者特定音素モデルの集合体により近似できる。この音素モデルの集合体は、一般に、音響モデルと呼ばれる。一方、不特定話者の音響空間は、多数話者の音声データから作成された不特定話者音素モデルの集合体により近似できる。この不特定話者音素モデルの集合体である音響モデルを標準パターンという。

ゆえに、話者固有度は、当該話者音響モデルと不特定話者音響モデルの相互距離で近似できる。当該話者音響モデルを構成する音素モデルと不特定話者音響モデルを構成する音素モデルが、同じ構造の隠れマルコフモデルによりモデル化できることは、当業者にとって自明である。同じ構造を持つ２つの音素モデルの相互距離の算出には、例えば、「M. Shozakai and G. Nagino, “Analysis of speaking styles by two-dimensional visualization of aggregate of acoustic models,” ICSLP-04, 2004.」に記載の(2)式を使えば良い。さらに、同じ構造を持つ音素モデルの集合体である音響モデルの相互距離は、音素モデルの相互距離の総和で定義することができ、例えば、「M. Shozakai and G. Nagino, “Analysis of speaking styles by two-dimensional visualization of aggregate of acoustic models,” ICSLP-04, 2004.」に記載の(1)式を使えば良い。なお、話者固有度と音響モデル間距離との関係を図４に示す。

話者固有度が小さいほど標準パターンに近い声質であり、音声認識率は高いといえる。
また、ＳＮＲ（＝２０×ｌｏｇ１０（音声のパワー／雑音のパワー））は、ＳＮＮＲ（＝２０×ｌｏｇ１０（（音声のパワー＋雑音のパワー）／雑音のパワー））であってもよい。
物理量提示部１０３は、物理量算出部１０２が計算した物理量をそのまま、又は診断した上でユーザに提示する。提示の方法としては、表示装置１２に表示してもよいし、スピーカ１３，１４を用いて音声で通知してもよい。表示装置１２に表示する場合には、例えば、図３に示すようなレーダーチャートを表示することができる。ここで、「レーダーチャート」とは、グラフの縦軸に相当する評価軸を複数軸以上中心から放射状に配置したグラフであり、複数の評価項目がある場合に全体のバランスを見るのに適したグラフである。さらに、物理量提示部１０３は、算出した物理量と、音声認識性能の高い模範音声の物理量とを重ね合わせてレーダーチャート表示することが可能である。

なお、レーダーチャート表示以外に、図５に示すように、文字のフォント、サイズ、書体、文字間の間隔等で物理量を表現してもよい。例えば、音声音量を文字のサイズで表現し、発声速度を文字間の間隔で表現し、ＳＮＲを文字の書体で表現し、母音間距離をイタリック体の文字で表示し、話者固有度を文字列のボールド体で表現することが考えられる。この場合、図５に示す（ｂ）は、（ａ）に比較して音声音量が高く、かつ発声速度が速い発声であり、（ｃ）は、（ａ）に比較して音声音量が低く、かつ発声速度が遅い発声であることがわかる。

また、物理量提示部１０３は診断機能１０３１を備えている。物理量提示部１０３は、診断機能１０３１を用いて、算出した物理量を診断した上で提示する。
例えば、物理量提示部１０３は、算出した物理量が、複数の話者の音声信号に基づいて作成された標準パターンの分布群のどこに位置するかを示すための情報として、物理量の偏差値を算出して提示する。物理量の偏差値の算出方法としては、例えば式（２）に示す一般的な計算式を用いて、ユーザの物理量が平均値の場合には偏差値が「５０」、標準偏差が「１０」となるように計算する。

また、物理量提示部１０３は、レーダーチャートの表示領域を、音声認識性能が比較的高い物理量が分布する安全領域と、音声認識性能が比較的低い物理量が分布する危険領域と、に分類して表示する。ここで「安全領域」とは、音声が正しく認識される確率が例えば９０％以上の物理量が分布する領域をいい、「危険領域」とは、音声認識性能が６０％以下の物理量が分布する領域をいう。なお、この閾値は一例に過ぎず、例えば、音声認識性能が所定値（例えば７０％）以上の物理量が分布する領域を「安全領域」、音声認識性能が所定値未満の物理量が分布する領域を「危険領域」としてもよい。また、領域の分類方法としては、領域の色分けをする、模様分けをする、境界線で区切られた領域毎に安全／危険の別を文字で表示する等が考えられる。

また、診断機能１０３１は、物理量が安全領域に含まれるか危険領域に含まれるかを判断するための指標として、物理量の偏差値から安全指数の計算を行う。具体的には、発声音量、発声速度、及び、話者固有度に関しては、標準パターンに近いものの方が音声認識性能が良いので、診断機能１０３１は、偏差値が「５０」に近いものに安全指数「５」を割り振り、偏差値が「５０」からずれていくにしたがって、安全指数を「４」、「３」、「２」、「１」と段階的に割り振る。ＳＮＲ及び母音間距離に関しては、偏差値が大きい方が音声認識性能が良いので、偏差値の大きい順に「５」、「４」、「３」、「２」、「１」と段階的に安全指数を割り振る。

以上のように安全指数を割り振った場合、安全指数「２」と「１」は分布の端に位置することになるので、診断機能１０３１は、安全指数「２」と「１」が危険領域、安全指数「５」、「４」、「３」が安全領域に含まれていると診断する。なお、安全指数の段階は５段階に限らず、例えば３段階でも１０段階でも構わない。
誘導部１０４は、ユーザの発声を音声ガイダンスにより誘導する。具体的には、レーダーチャート表示された物理量のうちの少なくとも１つが危険領域に含まれている場合、誘導部１０４は、当該危険領域に含まれている物理量が安全領域に含まれるようにユーザの発声を誘導するための音声ガイダンスをスピーカ１３から出力する。図３に示すレーダーチャートにおいて色分けされた領域のうち最も外側の領域が危険領域である場合、３つの物理量（母音間距離、発声音量、発声速度）のうち母音間距離が危険領域に含まれているため、誘導部１０４は、例えば「もう少し滑舌良くお話ください」という音声ガイダンスを出力する。

なお、誘導部１０４は、危険領域に含まれている物理量が２つ以上存在する場合、効率よく順番に誘導ができるように、安全領域から最も距離が離れている物理量（すなわち、安全指数が小さい物理量）が安全領域に含まれるようにユーザの発声を誘導するための音声ガイダンスを出力する。
また、誘導部１０４は、音声ガイダンスをスピーカ１３から出力した場合、模範音声を別のスピーカ１４から出力する。さらに、誘導部１０４は、模範音声を出力した後、ユーザに望ましい音声の復唱を促すための復唱誘導ガイダンスを出力する。なお、誘導部１０４による誘導は音声ガイダンスに限らず、例えば、文字を表示することによるガイダンスであってもよい。

また、誘導部１０４は、何度かユーザに復唱させて入力した音声信号の物理量が未だ危険領域に含まれている場合には、現在使用している音響モデルを別の音響モデルに置換するように音声認識装置２０に通知する。なお、音声認識装置２０に音響モデル置換の通知を行う際には、ユーザに適した音響モデルが何かを通知してもよいし、ユーザの音声の物理量を通知して、ユーザに適した音響モデルを音声認識装置２０に判断させてもよい。
模範音声記憶部１０５は、模範音声として再生して出力するための模範音声データを記憶装置１６に記憶する。
なお、物理量算出部１０２、物理量提示部１０３及び誘導部１０４は、ユーザ音声診断装置１０のＣＰＵ１５が記憶装置１６に記憶されているプログラムを実行することにより実現される機能である。

（音声認識装置の構成）
次に、音声認識装置２０の構成について説明する。図６に示すように、音声認識装置２０は、ユーザ音声診断装置１０から取得した音声信号を特徴パラメータの系列に変換する音響分析部２２と、音響分析部２２で得られた特徴パラメータの系列を音響モデル２１と照合して最も類似度の高い音声を認識結果とする照合部２３と、を含んで構成される。これらの機能構成は、音声認識装置２０の図示せぬＣＰＵがメモリに記憶されたプログラムを実行することにより実現される。

音響モデル２１は、複数話者の発声による音声信号に基づいて予め作成された語彙単語の特徴パラメータのモデルである。この音響モデル２１には複数種類の音響モデルが含まれている。これらの複数種類の音響モデルは、物理量の特性が異なる話者の音声毎に学習サンプル母集団を生成しモデル化したものである。音声認識装置２０は、通常はユーザ音声診断装置１０で使用されている標準パターンに対応する音響モデルを使用して音声認識を行うが、ユーザ音声診断装置１０からの音響モデル置換の通知を受けた場合には、音声認識に使用する音響モデルを置換して、音声認識性能を向上させる。

（実施例１）
次に、図７を参照して実施例１について説明する。まず、ユーザ音声診断装置１０の音声信号入力部１０１は、ユーザの発声による音声信号を取り込む（ステップＳ１０１）。
次に、物理量算出部１０２は、入力された音声信号から、一定周期のフレーム毎の特徴パラメータを抽出する（ステップＳ１０４）。次に、物理量算出部１０２は、抽出された特徴パラメータと標準パターンを用いて、母音間距離、話者固有度、発声速度、発声音量、ＳＮＲ等の物理量を算出する（ステップＳ１０７）。

以上の物理量を算出した後、診断機能１０３１は診断処理を行う（ステップＳ１１０）。具体的には、診断機能１０３１は、これらの物理量が標準パターンの分布群のどこに位置するかを示すためにそれらの偏差値を計算する。さらに、診断機能１０３１は、計算した偏差値の値からそれぞれが安全領域に含まれるか、危険領域に含まれるかを判断するために安全指数の計算を行う。物理量提示部１０３は、診断機能１０３１による診断の結果
をレーダーチャート、もしくはフォントや書体などで表示する（ステップＳ１１３）。

表示した物理量が危険領域に含まれる場合は、誘導部１０４はそれらの物理量が安全領域に含まれるように音声ガイダンスでユーザを誘導する（ステップＳ１１６）。
以上のように、ステップＳ１１０においてユーザの音声の特徴を標準パターンの分布に基づいて診断した結果が、ステップＳ１１３においてユーザに視覚的に把握可能となるように表示されるため、ユーザはステップＳ１１６において音声ガイダンスの誘導を受ける前にどのような点を意識して発声すべきかを知ることができるので、効率的な誘導が可能となる。なおステップＳ１１３においてユーザがより容易に視覚的に把握できるように、算出した物理量の一部のみを提示してもよい。

（実施例２）
次に、図８を参照して、実施例２について説明する。実施例１では、ステップＳ１０４以降の処理が、ステップＳ１０１での１回のユーザの発声による音声信号の入力毎に行われる。これに対して、実施例２では、ステップＳ１０４以降の処理が、複数回（所定の回数）のユーザの発声による音声信号の入力毎に（ステップＳ１０２の判断がＹＥＳの場合に）行われる。

このように、実施例２では所定の回数の音声信号を取り込むため、たとえば同じ単語を発声した場合の音声信号を繰り返し取り込む場合は、周囲の雑音の影響やユーザの言い淀みなどの影響を除去することが可能になる。また異なる単語を発声した音声信号を取り込む場合には、より多くの音素を取り込むことができる。このため、実施例２では、実施例１と比較して精度の高い物理量を算出することができ、精度の高い診断を行うことが可能となる。

（実施例３）
次に、図９を参照して実施例３について説明する。ステップＳ１０１からステップＳ１１３（音声取り込み、特徴パラメータ系列抽出、物理量算出、診断、表示）までの処理は、実施例１における処理と同じである。
ステップＳ１１４においては、診断の結果、すべての物理量が安全領域にあると判断した場合は（ステップＳ１１４；ＮＯ）、処理を中止する。一方、１つでも物理量が危険領域にあると判断した場合は（ステップＳ１１４；ＹＥＳ）、誘導部１０４は、危険領域にある物理量が安全領域に含まれるように音声ガイダンスで誘導する（ステップＳ１１６）。この際に複数の物理量が危険領域にある場合は、安全指数が最も小さい（つまり、音声認識性能が最も低い）物理量について誘導を行う。なお、安全領域から最も距離が遠い物理量について誘導を行ってもよい。誘導部１０４が誘導を行った後、音声信号入力部１０１は再び音声を取り込み（ステップＳ１０１）、上記と同じ処理を繰り返す。
以上のように、実施例３においては誘導を繰り返すので、ユーザは直前の誘導でどの程度正しく発声が出来るようになったかを安全指数を見て確認することができる。また複数の物理量が危険領域に含まれる場合は、安全指数の小さいものから誘導を行うので、効率的な誘導が可能になる。

（実施例４）
次に、図１０を参照して実施例４について説明する。実施例３では、ステップＳ１０４以降の処理が、ステップＳ１０１での１回のユーザの発声による音声信号の入力毎に行われる。これに対して、実施例４では、ステップＳ１０４以降の処理が、複数回（所定の回数）のユーザの発声による音声信号の入力毎に（ステップＳ１０２の判断がＹＥＳの場合に）行われる。
実施例４の実施例３との違いは、実施例２の実施例１との違いと同様に、所定の回数だけ音声信号を取り込み、当該取り込んだ所定の回数分の音声信号について物理量算出処理及び表示処理を行う点にある。したがって、実施例４では、実施例２と同様に、より精度の高い診断を行い、より適切な誘導を行うことが可能となる。

（実施例５）
次に、図１１を参照して実施例５について説明する。ステップＳ１０１〜１１４まで処理は実施例３における処理と同様である。ステップＳ１１５において、誘導部１０４は、ステップＳ１１６における誘導が所定の回数だけ繰り返されたか否かを判定する。所定の回数だけ誘導が繰り返されたと判定した場合（ステップＳ１１５；ＹＥＳ）、誘導部１０４はそれ以上の誘導を行わず、音声認識に使用する音響モデルを別の音響モデルに置換すべきことを音声認識装置２０に通知して（ステップＳ１１７）、処理を終了する。

なお、所定の回数を決定する方法として話者固有度を利用してもよい。話者固有度はその話者の声質がどれだけ標準パターンに近いかをあらわす物理量であるから、誘導の結果、話者固有度の安全領域への変化が小さい場合は安全領域へ到達する可能性が低いと予想されるので所定の回数を小さく設定し、大きい場合は所定の回数を大きく設定すると、音響モデルの置換の判定を効率よく行うことが可能になる。

以上のように、実施例５においては、何度かユーザの誘導を行ってもすべての物理量が安全領域に含まれるように誘導できない場合に、音声認識装置２０で使用される音響モデルをそのユーザの音声認識に適した音響モデルに置換することができる。これにより、音声認識装置２０は、ユーザ音声診断装置１０によるより少ない回数の誘導で、ユーザの音声を正しく認識することができる。

（実施例６）
次に、図１２を参照して実施例６について説明する。実施例５では、ステップＳ１０４以降の処理が、ステップＳ１０１における１回のユーザの発声による音声信号の入力毎に行われる。これに対して、実施例６では、ステップＳ１０４以降の処理が、複数回（所定の回数）のユーザの発声による音声信号の入力毎に（ステップＳ１０２の判断がＹＥＳの場合に）行われる。

実施例６の実施例５との違いは、実施例２の実施例１との違い及び実施例２の実施例１との違いと同様に、所定の回数だけ音声信号を取り込み、当該取り込んだ所定の回数分の音声信号について物理量算出処理及び表示処理を行う点であるので、実施例２及び実施例４と同様により精度の高い診断を行うことが可能になる。このため、より適切な誘導が可能になる。

図１３は、話者毎の音声認識性能の分布を示すグラフである。縦軸が音声認識性能、横軸が音声認識性能の降順に並べた話者を表す。同図に示すように、一般的に緩やかに音声認識性能が低下し、ある話者から急に音声認識性能が低下するような分布が得られる。音声認識性能が低い話者については、ユーザ音声診断装置１０を使用してユーザを誘導する、又は音声認識装置２０の音響モデルを置換することで、音声認識性能を改善することができる。

図１４には、各物理量のヒストグラムの一例を示す。横軸が物理量、縦軸が頻度を表す。全話者は女性２０名、発話数は１話者当り約３０発語、１話者当りの母音出現数は約１５０、背景雑音の種類は自動車高速走行雑音、背景雑音の種類は１種類、発声音量及び発声速度は各話者の平均値である。各ヒストグラムの「低性能話者」は、「全話者」のうち、音声認識性能が所定値以下であった話者の分布を示す。同図の（ｃ）、（ｄ）から、低性能話者は、母音間分離度が比較的小さく、話者固有度が比較的大きいことがわかる。

図１５及び図１６は、発声速度及び発声音量と、音声認識性能との関係を２次元グラフで示したものであり、図１７は３次元グラフで示したものである。図１５は女性２０名、図１６及び図１７は男女各２０名ずつの音声データに基づいて作成されたグラフである。これらのグラフに示すように、分布に規則性がないため、発声速度と発声音量だけではどのような場合に音声認識性能が悪くなるのか判断するのが難しく、音声認識性能向上のためのユーザの誘導が難しい。

図１８及び図１９は、母音間距離及び話者固有度と、音声認識性能との関係を２次元グラフで示したものであり、図２０は３次元グラフで示したものである。図１８は女性２０名、図１９及び図２０は男女各２０名ずつの音声データに基づいたグラフである。
図１８及び図１９に示すグラフから、左上隅に分布する（つまり、話者固有度が大きく母音間距離が小さい）と音声認識性能が低下し、右下隅に分布する（つまり、話者固有度が小さく母音間距離が大きい）と音声認識性能が上がることがわかる。また、図２０に示すグラフは、音声認識性能が低い領域と高い領域とに分離していることがわかる。したがって、母音間距離及び話者固有度は音声認識性能に大きな影響を与える物理量であり、音声認識性能が低い領域の話者を高い領域に誘導することで、音声認識性能が大きく改善することがわかる。

なお、図２０に示すデータを記憶装置１６に保持しておくことより、偏差値、安全指数等を計算しなくても、話者固有度と母音間距離の２つの物理量から直接認識精度を推定し、この認識精度に基づいて安全領域と危険領域を設定することが可能になる。また声質の異なる様々な標準パターンごとにこのデータを保持しておけば、ユーザに最適な音響モデルの選択が可能である。

以上説明したように、ユーザ音声診断装置１０は、ユーザの発声により入力された音声信号に基づいて母音間距離と話者固有度の両方を含む物理量を算出し、当該物理量をユーザに提示するため、音声認識性能に大きな影響を与えるユーザの母音間距離や話者固有度等の物理量をユーザに認識させ改善させることが可能となる。
また、音声認識装置２０にユーザ音声診断装置１０を接続して、音声認識装置２０にとって好適な入力音声の範囲をユーザにフィードバックすることにより、その範囲に収まるようにユーザの発声を誘導することができる。さらに、何度かユーザの発声の誘導を行ってもすべての物理量が安全領域に含まれるように誘導できない場合には、音声認識装置２０で使用される音響モデルをユーザの音声認識に適した音響モデルに置換することができるため、全てのユーザに精度の良い音声認識性能を提供することが可能となる。

カーナビゲーションシステム等における音声認識装置の音声認識性能の向上に利用することができる。

１０ ユーザ音声診断装置
１１ マイクロホン
１２ 表示装置
１３，１４ スピーカ
１６ 記憶装置
１０１ 音声信号入力部
１０２ 物理量算出部
１０３ 物理量提示部
１０３１ 診断機能
１０４ 誘導部
１０５ 模範音声記憶部
２０ 音声認識装置
２１ 音響モデル
２２ 音響分析部
２３ 照合部

Claims (17)

1. ユーザの発声による音声信号を入力する音声信号入力手段と、
   前記音声信号入力手段により入力された音声信号に基づいて、数１式で定まる母音間距離と、前記ユーザの音響空間と不特定話者の音響空間との相互距離で定まる話者固有度と、の両方を含む物理量を算出する物理量算出手段と、
   前記物理量算出手段により算出された物理量の少なくとも一つをユーザに提示する物理量提示手段と
   を備えることを特徴とするユーザ音声診断装置。
   

   

   ただし、Ｓｐｅｃｔｒａｍ_x（ｆ）は、母音ｘの音響スペクトル
2. 前記物理量提示手段は、前記物理量をレーダーチャート表示することを特徴とする請求項１に記載のユーザ音声診断装置。
3. 前記物理量提示手段は、前記レーダーチャートの表示領域を、音声認識性能が比較的高い物理量が分布する安全領域と、音声認識性能が比較的低い物理量が分布する危険領域と、の少なくとも２つの領域に分類して表示することを特徴とする請求項２に記載のユーザ音声診断装置。
4. 前記レーダーチャート表示された物理量のうちの少なくとも１つが前記危険領域に含まれている場合、該危険領域に含まれている物理量が前記安全領域に含まれるようにユーザの発声を誘導するためのガイダンスを出力する誘導手段をさらに備えることを特徴とする請求項３に記載のユーザ音声診断装置。
5. 前記危険領域に含まれている前記物理量が２つ以上存在する場合、
   前記誘導手段は、前記物理量のうち前記安全領域から最も距離が遠い物理量が前記安全領域に含まれるようにユーザの発声を誘導するためのガイダンスを出力することを特徴とする請求項４に記載のユーザ音声診断装置。
6. 音声認識性能が比較的高い模範音声データを予め記憶する模範音声記憶手段をさらに備え、
   前記誘導手段は、前記ガイダンスを出力すると共に、前記模範音声データを再生した模範音声を出力することを特徴とする請求項４又は５に記載のユーザ音声診断装置。
7. 前記誘導手段は、前記ガイダンスを第１のスピーカから出力し、前記模範音声を第２のスピーカから出力することを特徴とする請求項６に記載のユーザ音声診断装置。
8. 前記物理量提示手段は、
   前記模範音声の物理量を前記レーダーチャート表示することを特徴とする請求項６又は７に記載のユーザ音声診断装置。
9. 前記誘導手段は、前記模範音声を出力した後、ユーザに望ましい音声を復唱させるための復唱誘導ガイダンスを出力することを特徴とする請求項６から８の何れか１項に記載のユーザ音声診断装置。
10. 前記物理量提示手段は、前記模範音声の物理量と、前記復唱誘導ガイダンスが出力された後にユーザの発声により再度入力された音声信号の物理量とを重ね合わせてレーダーチャート表示することを特徴とする請求項９に記載のユーザ音声診断装置。
11. 再度入力された前記ユーザの発声による音声信号の物理量が前記危険領域に含まれる場合は、
    前記誘導手段は、音声認識に使用する音響モデルを別の音響モデルに置換すべき旨を音声認識装置に通知することを特徴とする請求項１０に記載のユーザ音声診断装置。
12. 前記物理量提示手段は、ユーザの発音に対応する文字のフォントと、該文字の大きさと、該文字の書体と、該文字間の間隔と、の少なくとも１つを用いて前記物理量を表示することを特徴とする請求項１に記載のユーザ音声診断装置。
13. 前記物理量提示手段は、前記物理量の代わりに該物理量の偏差値を提示することを特徴とする請求項１から１２の何れか１項に記載のユーザ音声診断装置。
14. 前記物理量提示手段は、前記物理量の代わりに該物理量の偏差値を分類した段階値を提示することを特徴とする請求項１から１２の何れか１項に記載のユーザ音声診断装置。
15. 前記物理量算出手段及び前記物理量提示手段による処理は、前記音声信号入力手段への１回の音声信号の入力毎に行われることを特徴とする請求項１から１４の何れか１項に記載のユーザ音声診断装置。
16. 前記物理量算出手段及び前記物理量提示手段による処理は、前記音声信号入力手段への音声信号の複数回分の入力について行われることを特徴とする請求項１から１４の何れか１項に記載のユーザ音声診断装置。
17. ユーザの発声による音声信号を入力する音声信号入力ステップと、
    前記音声信号入力ステップにおいて入力された音声信号に基づいて、母音間距離と話者固有度の両方を含む物理量を算出する物理量算出ステップと、
    前記物理量算出ステップにおいて算出された物理量の少なくとも一つをユーザに提示する物理量提示ステップと
    を備えることを特徴とするユーザ音声診断方法。

Images