JP2006003452A - 音声認証装置 - Google Patents

Abstract

【課題】 より認証性能を高める。
【解決手段】 第１の音響分析部１０２からの特徴パラメータを使用し、正規化用話者ＨＭＭ音響モデル作成部１１４において、所定のアルゴリズムに従って、ＨＭＭ音響モデルの学習が行われ、２次元空間写像部１１５により、２次元音響空間に写像され、ゾーン分割部１１６によりゾーン分割される。そして、正規化用ゾーンＨＭＭ音響モデル作成部１１７により、各ゾーンについて、そのゾーンに属する正規化用話者の特徴パラメータが正規化用話者特徴パラメータ記憶部１１３から読み出され、所定のアルゴリズムに従って、ＨＭＭ音響モデルの作成が行われ、正規化用ＨＭＭ音響モデル記憶部１０４に記憶される。
【選択図】 図１

Description

本発明は、音声に基づき認証を行う音声認証装置に関する。

従来から、本人かどうかを、話者が発声した音声に含まれる特徴パラメータと、登録話者の特徴パラメータの標準パターンとの類似度に基づき判定することが行われており、この方法においては、話者の音声を入力するためのマイクロホンや、音声信号を伝送するための伝送系が異なると、この類似度が変動することがあるので、この影響を低減するため、例えば、本人とは別の話者の予め用意した標準パターン（以下「正規化用標準パターン」という。）との類似度を用いて本人の類似度を正規化することが行われている。従来法の処理フローの一例を図２に示す。

図２において、２０１は認証用話者の音声データ、２０２はID等の話者を特定する情報、２０４は予め用意された正規化用標準パターン、２０５は予め登録された話者の標準パターンである。

２０３において音響分析が行われ、音声波形は一定時間間隔で分析されて例えばケプストラム等の短時間の音響的特長をあらわす特徴パラメータに変換される。２０６において、正規化用標準パターン２０４と特徴パラメータに変換された認証用話者音声データから、正規化用標準パターンに対する認証用話者音声データの類似度である正規化用類似度が計算される。また、２０７において、ID等の個人情報２０２と、登録話者標準パターン２０５と、特徴パラメータに変換された認証用話者の音声データから、登録話者標準パターンに対する認証用話者音声データの類似度である登録話者類似度が計算される。

２０８において登録話者類似度は正規化用類似度で正規化され、２０９において正規化された類似度と予め定めた閾値とが比較され、登録した本人かどうか判定される。

図２に示した従来法において、認証用話者音声データに対してより高い類似度を示す標準パターンを正規化用標準パターンとすることで、音声認証性能が安定することが知られており、いくつかの方式が提案されている。（例えば、特許文献１、特許文献２参照。）

特許文献１による方法を図３に示す。登録者を含めた複数の話者の音声データを正規化用話者音声データ３０１とし、全ての正規化用話者毎に、第１の音響分析３０２により特徴パラメータに変換された音声データから、３０３、３０４において正規化用標準パターン３０５を作成して記憶する。認証用話者音声データが入力される毎に、第１の音響分析３０２と同様の第２の音響分析３０６により特徴パラメータに変換し、３０７において、全ての正規化用標準パターン３０５との類似度を計算してこれを正規化用類似度とする。

また、２０７において、ID等の個人情報２０２と、登録話者標準パターン２０５と、特徴パラメータに変換された認証用話者の音声データから、登録話者標準パターンに対する認証用話者音声データの類似度である登録話者類似度を計算する。３０８において前記正規化用類似度の上位ｎ位（ｎは１以上）から平均類似度を計算して、この平均類似度により登録話者類似度を正規化し、２０９において正規化された類似度と予め定めた閾値と比較して登録した本人かどうか判定する。

特許文献２による方法を図４に示す。全ての登録者の音声データを正規化用話者音声データ４０１とし、第１の音響分析４０２により特徴パラメータに変換された全ての登録者の音声データから、４０３、４０４において全ての登録者に対応した正規化用標準パターン４０５を１つ作成して記憶する。認証用話者音声データが入力される毎に、第１の音響分析４０２と同様の第２の音響分析４０６により特徴パラメータに変換し、４０７において全ての登録者に対応した１つの正規化用標準パターン４０５との類似度を計算してこれを正規化用類似度とする。また、２０７において、ID等の個人情報２０２と、登録話者標準パターン２０５と、特徴パラメータに変換された認証用話者の音声データから、登録話者標準パターンに対する認証用話者音声データの類似度である登録話者類似度を計算する。４０８において前記正規化用類似度により登録話者類似度を正規化し、２０９において正規化された類似度と予め定めた閾値と比較して登録した本人かどうか判定する。

特許第３１１３４０８号公報 特開平７−２７１３９２号公報 古井著「音声情報処理」森北出版 中川著「確率モデルによる音声認識」電子情報通信学会

特許文献１による方法では、正規化用話者の数を増やすことにより、認証性能の向上が期待できるが、正規化に要する計算量も正規化用話者の数に比例するため、このような方法を、CPU能力に制約がありかつ実時間性が要求される組み込み機器、例えば、携帯電話、家電製品、ICカードリーダーなどの用途に適応するのは困難である。

一方、特許文献２による方法では、正規化用話者の音響的特徴を表現する1つの代表的な標準パターンを作成してこれを正規化用標準パターンとして使用するため、正規化用話者の数をNとすると、正規化に要する計算量は特許文献１の方法に比べ１／Ｎとなるが、1つの代表的な正規化用標準パターンで、多様な正規化用話者の音響的特徴を表現することは困難であり、認証性能を高めることができなかった。

そこで、本発明は、標準パターンとしてHMM(Hidden Markov Model)音響モデルを用い、類似度として入力音声に対するHMM音響モデルの尤度を用いた場合において、上記のような問題点を解決し、実時間性を有しつつ、多様な音声の特徴を十分に表現でき、より認証性能を高めることができる音声認証装置を提供することを目的とする。

請求項１の発明は、少なくとも、
認証対象である話者を識別するための個人情報を入力するための個人情報入力部と、前記認証対象である話者の音声を入力するための認証用音声データ入力部と、
該認証用音声データ入力部からの音声波形を一定時間間隔で分析して短時間の音響的特徴を表す特徴パラメータに変換する音響分析部と、
予め登録された話者のHMM音響モデルが記憶されている登録話者HMM音響モデル記憶部と、
該登録話者HMM音響モデル記憶部からのHMM音響モデルと、前記個人情報入力部からの認証対象である話者の個人情報と、前記音響分析部からの特徴パラメータとから、登録話者尤度を計算する登録話者尤度計算部と、
予め正規化用話者音声を分析して正規化用HMM音響モデルを作成する正規化用HMM音響モデル作成部と、
該正規化用HMM音響モデル作成部で作成された正規化用HMM音響モデルを記憶する正規化用HMM音響モデル記憶部と、
該正規化用HMM音響モデル記憶部からのHMM音響モデルと、前記音響分析部からの特徴パラメータとから、正規化用尤度を計算する正規化用尤度計算部と、
前記登録話者尤度計算部で計算された登録話者尤度を、前記正規化用尤度計算部で計算された正規化用尤度で正規化する尤度正規化部と、
該尤度正規化部で計算された正規化尤度と予め与えられた閾値とを比較することにより、登録した本人かどうか判定を行う判定部と、
を備える音声認証装置において、
前記正規化用HMM音響モデルが２次元空間上で分割された複数のゾーン毎の正規化用HMM音響モデルであることを特徴とする。

請求項１の発明において、前記正規化用HMM音響モデル作成部は、音響分析された正規化用話者音声データから作成された正規化用話者毎のHMM音響モデルを２次元空間に写像する２次元空間写像部と、該２次元空間写像部の写像された正規化用特定話者HMM音響モデルの分布を基に、２次元空間を予め定めた複数のゾーンに分割するゾーン分割部とを有することを特徴とする。

請求項１又は２の発明において、２次元空間への写像をSammon法により行うことができる。

請求項１又は２の発明において、尤度正規化部は、２次元空間上で分割された複数のゾーン毎に正規化用HMM音響モデルを使用して計算された複数の正規化用尤度の中で、最大のものを選択して、前記登録話者尤度計算部からの登録話者尤度を正規化することができる。

請求項１乃至４のいずれかの発明において、正規化用ＨＭＭ音響モデル作成部から出力される正規化用ＨＭＭ音響モデルのうち、無音に対応したＨＭＭ音響モデルを除く、全ＨＭＭ音響モデルの分散値に、スケールファクタとして１から２の間の実数を乗じる分散値調整部を備えることができる。

請求項１に係る発明によれば、２次元空間上における正規化用話者の分布を基に複数のゾーンに分割し、分割されたゾーン毎に、ゾーンに含まれる正規化用話者の特徴パラメータに変換された音声データを学習データとして、正規化用HMM音響モデルの生成を行うことにより、少ない正規化用HMM音響モデルで、効率的で精度よく正規化用話者全体手の特徴を表現することができ、少ない計算量で、性能よく、本人かどうかの認証を行うことができる。

また、請求項２に係る発明によれば、上記のように構成したので、少ない正規化用ＨＭＭ音響モデルで、さらに広い正規化用話者音響空間を表現することができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

＜第１の実施の形態＞
図１は本発明の第１の実施の形態を示す。これは音声認証装置の例である。図１において、１０１は正規化用話者音声データ入力部であって、マイクロホンを有するものであり、このマイクロホンに、正規化用ＨＭＭ音響モデルを作成するための音声が入力される。１０２は第１の音響分析部であり、正規化用話者音声データ入力部１０１からの音声波形を、一定時間間隔で分析し、例えば非特許文献１に記載のケプストラム等の短時間の音響的特徴を表す特徴パラメータに変換するものである。

１０３は正規化用ＨＭＭ音響モデル作成部であり、第1の音響分析部１０２からの特徴パラメータを使用して、例えば非特許文献２に記載のForward-Backwardアルゴリズムに従って、正規化用HMM音響モデルを作成する。ここで、正規化用HMM音響モデル作成部１０３の内部構成について説明する。

１１６はゾーン分割部であり、２次元空間写像部１１５により写像された正規化用話者の分布を基に、例えば、統計処理を使用して、各ゾーンがほぼ同数の正規化用話者を含むように、２次元音響空間を複数のゾーンに分割するものである。２次元音響空間がゾーン１ないしゾーン５の５つのゾーンに分割された例を図６に示す。この統計的処理においては、１つの正規化用話者が複数のゾーンに属することを禁止するものではないから、１つの正規化用話者が複数のゾーンに属することもあり、この場合、隣り合うゾーンどうしが重なり合うことになる。その例を図７に示す。

１１７は正規化用ゾーンＨＭＭ音響モデル作成部であり、ゾーン分割部１１６により分割された各ゾーンごとに、そのゾーンに属する正規化用話者の特徴パラメータを正規化用話者特徴パラメータ記憶部１１３から読み出し、例えば非特許文献２に記載のForward-backwardアルゴリズムに従って、ＨＭＭ音響モデルを作成するものである。１０４は正規化用ＨＭＭ音響モデル記憶部であり、正規化用ＨＭＭ音響モデル学習部１０３により作成された正規化用ＨＭＭ音響モデルを記憶するものである。

１０５は認証用音声データ入力部であって、マイクロホンを有するものであり、このマイクロホンに話者の音声が入力される。１０６は個人ＩＤ入力部であり、話者を特定する情報、例えばＩＤを入力するためのものである。

１０７は第２の音響分析部であって、その構成が音響分析部１０２と同様であり、認証用音声データ入力部１０５からの音声波形を、一定時間間隔で分析し、例えば非特許文献１に記載されているケプストラム等の短時間の音響的特徴を表す特徴パラメータに変換するものである。なお、第１の音響分析部１０２と第２の音響分析部１０７を１つにまとめても良い。１０８は登録話者ＨＭＭ音響モデル記憶部であり、予め登録された話者のＨＭＭ音響モデルを記憶するものである。

１０９は正規化用尤度計算部であり、正規化用ＨＭＭ音響モデル記憶部１０４から、各分割ゾーンに対応したＨＭＭ音響モデルを読み出し、第２の音響分析部１０７からの特徴パラメータとの尤度である正規化用尤度を計算するものである。１１０は登録話者尤度計算部であり、個人ＩＤ入力部１０６からの話者を特定する情報に基づき、登録話者ＨＭＭ音響モデル記憶部１０８から、指定された登録話者の尤度計算に必要なＨＭＭ音響モデルを読み出し、第２の音響分析部１０７からの特徴パラメータとの尤度である登録話者尤度を計算する。

１１１は尤度正規化部であり、正規化用尤度計算部１０９からの正規化用尤度の中で最大のものを選択し、登録話者尤度計算部１１０により計算された登録話者尤度を、選択された最大の正規化用尤度で正規化するものである。尤度正規化部１１１においては尤度が対数値の場合は差分をとり、尤度が対数値でない場合は比をとる。１１２は判定部であり、尤度正規化部１１１により正規化された尤度と、予め定めた閾値との比較し、比較結果に基いて、登録した本人かどうかを判定するものである。

次に、音声認証装置の動作を説明する。まず、正規化用ＨＭＭ音響モデルの作成について説明すると、この正規化用ＨＭＭ音響モデルの作成においては、例えば１１７１名近くの話者が、ＡＴＲ５２４０の単語セット中の１７６単語からなる複数の単語セットを発声するものとし、その発声は、正規化用話者音声データ入力部１０１のマイクロホンに向けて行われる。

これら話者の音声波形は、正規化用話者音声データ入力部１０１を介して、第１の音響分析部１０２に供給され、第１の音響分析部１０２において、一定時間間隔で分析され、例えば非特許文献１に記載のケプストラム等の短時間の音響的特徴を表す特徴パラメータに変換され、特徴パラメータに変換された正規化用話者音声データは、正規化用話者特徴パラメータ記憶部１１３に記憶されるとともに、正規化用話者ＨＭＭ音響モデル作成部１１４に供給される。

この２次元音響空間は、写像された正規化用話者の分布を基に、統計的処理を使用して、各ゾーンに属する正規化用話者の人数がほぼ同数になるように、ゾーン分割部１１６によりゾーン分割される。例えば、２次元音響空間に写像された正規化用話者の分布が図５に示したようになっている場合には、この２次元音響空間は例えば図６に示したように５つのゾーンに分割されることになる。

そして、正規化用ゾーンＨＭＭ音響モデル作成部１１７により、ゾーン分割部１１６により分割された各ゾーン、例えば図６に示した５つのゾーンについて、それぞれ、そのゾーンに属する正規化用話者の特徴パラメータが正規化用話者特徴パラメータ記憶部１１３から読み出され、例えば非特許文献２に記載のForward-backwardアルゴリズムに従って、正規化用ＨＭＭ音響モデルが作成され、正規化用ＨＭＭ音響モデル記憶部１０４に記憶される。

次に、本音声認証装置による音声認証方法を説明する。個人ＩＤ入力部１０６からＩＤが入力され、認証の対象となる音声が認証用音声データ入力部１０５を介して入力されると、認証用話者音声データ入力部１０５を介して入力された音声波形が、一定時間間隔で分析され、例えば非特許文献１に記載されているケプストラム等の短時間の音響的特徴を表す特徴パラメータに変換される。

一方で、正規化用尤度計算部１０９により、正規化用ＨＭＭ音響モデル記憶部１０４から、各分割ゾーンに対応した、尤度計算に必要なＨＭＭ音響モデルが読み出されて、第２の音響分析部１０７からの特徴パラメータとの尤度である正規化用尤度が計算される。

他方で、登録話者尤度計算部１１０により、個人ＩＤ入力部１０６からの話者を特定する情報に基づき、登録話者ＨＭＭ音響モデル記憶部１０８から、指定された登録話者の尤度計算に必要なＨＭＭ音響モデルが読み出されて、第２の音響分析部１０７からの特徴パラメータとの尤度である登録話者尤度が計算される。

そして、尤度正規化部１１１において、まずゾーン分割数分の正規化用尤度の中で最大のものが選択され、次に登録話者尤度計算部１１０により計算された登録話者尤度が、前記の選択された正規化用尤度で正規化され、正規化された尤度と、予め定めた閾値とが、判定部１１２により比較され、比較結果に基いて、登録した本人かどうかが判定される。

＜第２の実施の形態＞
図８は本発明の第２の実施の形態を示す。本実施の形態は、第１の実施の形態との比較でいえば、正規化用ＨＭＭ音響モデル作成部１０３により計算されたＨＭＭ音響モデルの分散値を調整して、認証性能をさらに向上させるようにした点が異なる。

すなわち、本実施の形態においては、正規化用ＨＭＭ音響モデル作成部１０３により計算された全ＨＭＭ音響モデルのうちの、無音に対応したＨＭＭ音響モデルを除いた残りのＨＭＭ音響モデルの分散値に、分散値調整部８０１により、スケールファクタ（１から２の間の実数）を乗じ、得られた正規化用ＨＭＭ音響モデルを正規化用ＨＭＭ音響モデル記憶部１０４に記憶するようにした。ここで、スケールファクタは、例えばゾーン分割部１１６により設定されたゾーンの２次元全音響空間に対するカバー率を基に設定される。ここで、カバー率とは、当該ゾーンの面積の２次元全音響空間の面積に対する比をいう。

正規化用ＨＭＭ音響モデル作成部１０３により計算された全ＨＭＭ音響モデルのうちの、無音に対応したＨＭＭ音響モデルを除いた残りのＨＭＭ音響モデルが、例えば図９に示すようになっていた場合に、これらＨＭＭ音響モデルの分散値に、分散値調整部８０１により、スケールファクタ（１から２の間の実数）を乗じると、例えば図１０に示すようになる。

認証評価を次のようにして行った。図１１はこの認証評価に用いた音声データの諸元をテーブルにして示し、図１２は正規化用ＨＭＭ音響モデルの作成に用いた諸元をテーブルにして示す。

正規化用話者ＨＭＭ音響モデルを、男女別に、高次元空間上のベクトル情報の相互距離の総和と、低次元空間上の写像位置座標の相互ユークリッド距離の総和の差が最小となるように、最急降下法などの最適化手法により低次元空間上の写像位置座標を最適化する手法であるSammon法により、２次元音響空間に写像した後、図７に示したように、４つのゾーンに分割し、正規化用ＨＭＭ音響モデルを作成した。これを以下「正規化用音響モデル３」という。

比較用に、男女ごとに正規化用話者の全音声データを使用して学習した正規化用ＨＭＭ音響モデル（以下「正規化用音響モデル１」という。）と、正規化用話者を男女ごとに乱数的に４グループに分け、グループごとに正規化用話者の音声データを使用して学習した正規化用ＨＭＭ音響モデル（以下「正規化用音響モデル２」という。）を用意した。

また、第２の実施の形態に係る方法の評価用に、無音に対応したＨＭＭ音響モデルを除く正規化用音響モデル３の全ＨＭＭ音響モデルの分散値にスケールファクタとして１．６を乗じた正規化用ＨＭＭ音響モデルを作成した。これを以下「正規化用音響モデル４」という。

認証方式は、データセット１を用いて登録話者ＨＭＭ音響モデルを作成し、図１１のデータセット２とデータセット３を認証用話者音声データとして、閾値と本人棄却率（本人の音声を棄却する誤り率）、詐称者受理率（他人の音声を受理する誤り率）の関係を求め、等誤り率（本人棄却率と詐称者受理率が等しくなる閾値における誤り率）で評価を行った。

このようにして得られた評価結果は、図１３に示すようになり、正規化用ＨＭＭ音響モデルの数を２から８に増やした方が認証性能が向上し、さらに、同一数の正規化用ＨＭＭ音響モデルでも、第１の実施の形態に係る正規化用ＨＭＭ音響モデルを使用した方が、認証性能が良くなった。

本発明の第１の実施の形態を示すブロック図である。 従来の方法の一例を示す図である。 従来の方法の別の例を示す図である。 従来の方法のさらに別の例を示す図である。 ゾーン分割の一例を示す図である。 ゾーン分割の別の例を示す図である。 本発明の第２の実施の形態を示すブロック図である。 複数の正規化用話者ＨＭＭ音響モデルの２次元平面への写像を説明するための説明図である。 分散値調整前のＨＭＭ音響モデルの分散例を示す図である。 分散値調整後のＨＭＭ音響モデルの分散例を示す図である。 認証評価に用いた音声データの諸元をテーブルにして示す図である。 正規化用ＨＭＭ音響モデル作成に用いた音声データの諸元をテーブルにして示す図である。 正規化用ＨＭＭ音響モデルと等誤り率との関係の一例を示す図である。 ２次元音響空間において、複数の正規化用話者ＨＭＭ音響モデルを、１つの不特定話者ＨＭＭ音響モデルを使用して表現した一例を示す図である。

符号の説明

１０１ 正規化用話者音声データ入力部
１０２ 第１の音響分析部
１０３ 正規化用ＨＭＭ音響モデル作成部
１０４ 正規化用ＨＭＭ音響モデル記憶部
１０５ 認証用音声データ入力部
１０６ 個人ＩＤ入力部
１０７ 第２の音響分析部
１０８ 登録話者ＨＭＭ音響モデル記憶部
１０９ 正規化用尤度計算部
１１０ 登録話者尤度計算部
１１１ 尤度正規化部
１１２ 判定部
１１３ 正規化用話者特徴パラメータ記憶部
１１４ 正規化用話者ＨＭＭ音響モデル作成部
１１５ ２次元空間写像部
１１６ ゾーン分割部
１１７ 正規化用ゾーンＨＭＭ音響モデル作成部
２０１ 認証用音声データ
２０２ 個人ID
８０１ 分散値調整部

Claims (5)

1. 少なくとも
   認証対象である話者を識別するための個人情報を入力するための個人情報入力部と、
   前記認証対象である話者の音声を入力するための認証用音声データ入力部と、
   該認証用音声データ入力部からの音声波形を一定時間間隔で分析して短時間の音響的特徴を表す特徴パラメータに変換する音響分析部と、
   予め登録された話者のHMM(Hidden Markov Model)音響モデルが記憶されている登録話者HMM音響モデル記憶部と、
   該登録話者HMM音響モデル記憶部からのHMM音響モデルと、前記個人情報入力部からの認証対象である話者の個人情報と、
   前記音響分析部からの特徴パラメータとから、登録話者尤度を計算する登録話者尤度計算部と、
   予め正規化用話者音声を分析して正規化用HMM音響モデルを作成する正規化用HMM音響モデル作成部と、
   該正規化用HMM音響モデル作成部で作成された正規化用HMM音響モデルを記憶する正規化用HMM音響モデル記憶部と、
   該正規化用HMM音響モデル記憶部からのHMM音響モデルと、
   前記音響分析部からの特徴パラメータとから、正規化用尤度を計算する正規化用尤度計算部と、
   前記登録話者尤度計算部で計算された登録話者尤度を、前記正規化用尤度計算部で計算された正規化用尤度で正規化する尤度正規化部と、
   該尤度正規化部で計算された正規化尤度と予め与えられた閾値とを比較することにより、登録した本人かどうか判定を行う判定部と、
   を備える音声認証装置において、
   前記正規化用HMM音響モデルが２次元空間上で分割された複数のゾーン毎の正規化用HMM音響モデルであることを特徴とする音声認証装置。
2. 請求項１に記載の音声認証装置において、前記正規化用HMM音響モデル作成部は、
   音響分析された正規化用話者音声データから作成された正規化用話者毎のHMM音響モデルを２次元空間に写像する２次元空間写像部と、
   該２次元空間写像部の写像された正規化用特定話者HMM音響モデルの分布を基に、２次元空間を予め定めた複数のゾーンに分割するゾーン分割部と
   を有することを特徴とする音声認証装置。
3. 請求項１又は２に記載の音声認証装置において、２次元空間への写像をSammon法により行うことを特徴とする音声認証装置。
4. 請求項１又は２に記載の音声認証装置において、前記尤度正規化部は、２次元空間上で分割された複数ゾーン毎の正規化用HMM音響モデルから計算された複数の正規化用尤度の中で最大のものを選択して、登録話者尤度計算部からの登録話者尤度の正規化に使用することを特徴とする音声認証装置。
5. 請求項１乃至４のいずれかに記載の音声認証装置において、前記正規化用ＨＭＭ音響モデル作成部から出力される正規化用ＨＭＭ音響モデルのうち、無音に対応したＨＭＭ音響モデルを除く、全ＨＭＭ音響モデルの分散値に、スケールファクタとして１から２の間の実数を乗じる分散値調整部を備えたことを特徴とする音声認証装置。
   

Images