JP4672003B2 - 音声認証システム - Google Patents

Description

本発明は、音声を用いて本人確認を行う音声認証システムに関し、特に、テキスト依存型の音声認証システムに関する。

従来、システム利用者の本人確認の一手段として、音声認証が実用化されている。近年は、モバイル環境における電子商取引等の際の個人認証にバイオメトリクス認証の一つである指紋認証が用いられることが多くなっている。しかし指紋認証には別途特別なセンサが必要であるが、音声を用いて個人認証する場合には、例えば携帯電話ではセンサであるマイクが既に装備されているため、モバイル環境での音声認証に携帯端末を適用することが期待されている。

音声認証は、テキスト依存型とテキスト自由型の二種類に大きく分類される。テキスト依存型は、あらかじめ、キーワード（パスワード）やフレーズを利用者に読み上げさせてその音声を登録しておき、認証時には、登録時と同じキーワード若しくはフレーズを利用者に発声させ、認証を行う方式である。テキスト自由型は、発話内容には関係なく声質のみで認証を行う方式である。従って、テキスト自由型の場合は、キーワード等を決めておく必要がなく、利用者は任意の発声内容で登録・認証を行える。本発明は前者のテキスト依存型の音声認証に関するものである。

テキスト依存型音声認証では、声質と発声内容（キーワード等）の秘密性の情報の両方に基づいて認証処理を行うので、比較的高い認証精度が得られる。しかし、認証時に傍に他人が居る環境では、秘密のキーワードが聞かれてしまう可能性がある。このため、プライバシーが保たれない環境で認証を行うような用途（例えば、店舗のレジカウンタや自動販売機において決済機能内蔵の携帯電話を用いて支払いをする際の本人確認等）には、利用者の抵抗があるため、テキスト依存型音声認証を採用し難い。

また、キーワードが暴露された場合、発声内容の秘密性を認証に利用できなくなるため、認証精度が落ちてしまう。さらに、利用者本人が発声した秘密のキーワードを、他人がテープレコーダやＩＣレコーダで不正に録音し、認証時にこれを再生することにより、詐称（録音再生詐称）が成功する恐れもある。

これらの問題に対して、録音再生詐称を防止するために、音声の位相差情報に基づいてスピーカからの再生であることを検出する方法（特許文献１参照）や、伝達特性を比較したり音声にＤＴＭＦ信号をかぶせて音声透かしを入れたりすることにより録音再生を検出する方法（特許文献２参照）等が提案されている。また、利用者に、認証毎に異なる内容のテキストを発声させることにより、録音再生詐称を防ぐシステムもある（特許文献３参照）。

また、複数種類のパスワードをインデックスと対応づけて登録しておき、認証時には、パスワードと共に、そのパスワードに対応するインデックスを入力させることにより、パスワードが暴露されても詐称を防ぐ方法が提案されている（特許文献４）。また、音声認証に用いる暗証番号を回りに暴露されないようにする手段として、番号それぞれに色が指定された画面を表示し、色の名前を認証時に発声させることにより、暗証番号の漏洩を防ぐ方法も提案されている（特許文献５）。

また、数字複数桁の音声入力により操作者の認証を行うシステムにおいて、数字桁の入力順序を予め多種類準備し、認証時にそのうちの１種を指示して入力させる方法もある（特許文献６）。また、秘密の記号列を変形して発声するように指定することにより、秘密のパスワードの漏洩を防ぐシステムもある（特許文献７）。さらに、音声入力される暗証番号にダミー番号をランダムに挿入することを指示することによって暗証番号の漏洩を防ぐ音声応答認識装置も知られている（特許文献８）。

特開２００１−１０９４９号公報 特表２００２−５１４３１８号公報 特開２０００−１４８１８７号公報 特開２０００−１８１４９０号公報 特開２００２−３１１９９２号公報 特開昭５９−１９１６４５号公報 特開昭６３−２３１４９６号公報 特開昭６３−２０７２６２号公報

しかしながら、上述の特許文献１〜３に記載されているような録音再生詐称対策を行ったとしても、録音された時点でパスワードは暴露されているため、認証精度は落ちてしまう。また、パスワードの漏洩を防いだり隠匿したりするには、上述の特許文献４〜８に記載されている方法のように、発声内容の変更や特別な操作が必要であり、利用者にとって使いづらいという問題がある。また、認証の度に発声内容を指定する場合には、発話内容（何と発声したか）の秘密性の情報を認証に使えないため、高い精度は得られないという問題がある。

以上の問題に鑑み、本発明は、テキスト依存型の音声認証システムにおいて、キーワードの漏洩や録音詐称を防ぐことにより、キーワードの秘密性を利用して高い認証精度を維持し得る音声認証システムを提供することを目的とする。

上記の目的を達成するために、本発明にかかる音声認証システムは、キーワードを音声入力させて認証を行うテキスト依存型の音声認証システムであって、発声が可能な単位を最小単位として複数の部分に分割されたキーワードの音声入力を、前記部分毎に時間間隔をおいて複数回にわたって受け付ける入力部と、利用者の登録キーワードを、前記発声が可能な単位で作成された話者モデルとして予め格納した話者モデル格納部と、前記入力部において１回の音声入力で受け付けられたキーワードの部分から、当該部分に含まれる音声の特徴量を求める特徴量変換部と、前記特徴量変換部で求められた特徴量と前記話者モデルとの類似度を求める類似度計算部と、前記類似度計算部で求められた類似度に基づき、前記複数回の音声入力により発声内容に関する情報を判定する発声内容判定部と、該発声内容判定部で判定された発声内容に関する情報に基づき、前記複数回の音声入力の発声内容を用いて登録キーワードを構成しうるか否かを判定するキーワード確認部と、前記キーワード確認部による判定結果と、前記類似度計算部で求められた類似度とに基づき、認証を受理するか棄却するかを判定する認証判定部とを備えたことを特徴とする。

この構成によれば、キーワードを発声が可能な単位を最小単位として複数の部分に分割して音声入力させることにより、周囲に他人が居る環境での認証時に、キーワード全体の漏洩を防止できる。また、キーワード全体を１回で続けて発声しないので、キーワード全体が録音されるのを防げるので録音詐称も抑止できる。さらに、キーワード確認部において、複数回の音声入力により登録キーワードを構成するすべての音韻の音声入力が完了したか否かを判定し、その判定結果と類似度計算部で求められた類似度とに基づいて、認証を受理するか棄却するかを判定することにより、精度の高いテキスト依存型音声認証システムを提供できる。

本発明にかかる音声認証システムにおいて、前記発声が可能な単位の一例は、音節である。この場合、前記話者モデル格納部において、登録キーワードを構成する各音節の話者モデルに個別のインデックスが付与されており、前記特徴量変換部が、前記音声入力で受け付けられたキーワードの部分から、音節毎の特徴量を求め、前記類似度計算部が、前記音節毎の特徴量と前記話者モデルとの類似度を求め、前記類似度計算部により求められた類似度に基づき、前記音声入力で受け付けられたキーワードの部分が、登録キーワードのどの音節に最も類似するかを判定する音節判定部をさらに備え、前記キーワード確認部が、前記音節判定部の判定結果に基づき、前記複数回の音声入力の発声内容を用いて登録キーワードを構成しうるか否かを判定することが好ましい。これにより、音声認識を行わなくても、認証時に音声入力されたキーワードの発話内容が登録キーワードの発話内容と一致しているかを判定できるため、音声認識用の文法辞書等を持つ必要がなく、システム構成を簡略化できる。

本発明にかかる音声認証システムにおいて、発声が可能な単位の他の例は、数字の読みまたはアルファベットの読みである。これにより、数字またはアルファベットあるいはこれらの組み合わせからなるキーワードに適応可能である。

本発明にかかる音声認証システムにおいて、前記特徴量変換部により求められた特徴量から、不特定話者音声認識により、前記キーワードの部分の音韻を認識する音声認識部をさらに備え、前記キーワード確認部が、前記音声認識部の認識結果に基づいて、登録キーワードを構成しうるか否かを判定することが好ましい。認証時のキーワードの発話内容が登録キーワードの発話内容と一致しているかを音声認識によって判定することにより、高精度な音声認証が可能となる。

本発明にかかる音声認証システムにおいて、前記キーワードのある部分の音声入力の完了から所定の時間が経過しても次の部分の音声入力がなく、かつ、それまでの音声入力の発声内容の情報を用いて登録キーワードを構成できない場合、前記認証判定部が認証を棄却することが好ましい。セキュリティを強化できるからである。

本発明にかかる音声認証システムにおいて、前記キーワードの部分の音声入力がある度に利用者の所在位置情報を取得する位置情報取得部と、前回の音声入力時に前記位置情報取得部で取得された所在位置情報と、今回の音声入力時に前記位置情報取得部で取得された所在位置情報とを比較し、前回の音声入力時から今回の音声入力時までの間に利用者が所定の距離以上移動したかを確認する位置確認部とをさらに備えたことが好ましい。キーワードを分割して音声入力する際に、音声入力毎に場所を移動した方が、周囲の他人にバスワード全体が知られてしまう可能性をさらに低くすることでセキュリティを強化できるからである。

また、本発明にかかる音声認証システムにおいて、前記複数回の音声入力で受け付けられたキーワードの部分の全てについて、前記類似度計算部で求められた類似度を統合して統合類似度を求める類似度統合部をさらに備え、前記認証判定部が、前記類似度統合部により求められた統合類似度に基づいて認証を受理するか棄却するかを判定することが好ましい。キーワード全体について類似度を統合して判定する方が、発声長が長くなるので、安定した類似度により判定できるからである。

また、本発明にかかる音声認証システムにおいて、前記入力部が、利用者の携帯端末より音声入力を受け付けることが好ましい。これにより、最初に音声入力した場所から離れた場所で２回目以降の音声入力を可能にするので、キーワード全体が他人に暴露される可能性を低くすることが可能だからである。

上記の目的を達成するために、本発明にかかるコンピュータプログラムは、キーワードを音声入力させて認証を行うテキスト依存型の音声認証システムを具現化するコンピュータプログラムであって、発声が可能な単位を最小単位として複数の部分に分割されたキーワードの音声入力を、前記部分毎に時間間隔をおいて複数回にわたって受け付ける入力処理と、１回の音声入力で受け付けられたキーワードの部分から、当該部分に含まれる音声の特徴量を求める特徴量変換処理と、利用者のキーワードが、前記発声が可能な単位で作成された話者モデルとして予め登録された話者モデル格納部を参照し、前記特徴量変換処理で求められた特徴量と、前記話者モデルとの類似度を求める類似度計算処理と、前記類似度計算処理で求められた類似度に基づき、前記複数回の音声入力により発声内容に関する情報を判定する発声内容判定処理と、前記発声内容判定処理で判定された発声内容に関する情報に基づき、前記複数回の音声入力の発声内容を用いて登録キーワードを構成しうるか否かを判定するキーワード確認処理と、前記キーワード確認処理による判定結果と、前記類似度計算処理で求められた類似度とに基づき、認証を受理するか棄却するかを判定する認証判定処理とをコンピュータに実行させることを特徴とする。

また、上記のコンピュータプログラムを記録した記録媒体も、本発明の一側面である。

図１は、本発明の第１の実施形態にかかる音声認証システムの概略構成を示すブロック図である。 図２は、前記音声認証システムにおいて、認証時入力キーワードの音節と登録キーワードの音節との類似度から、キーワードの正しさを判定する方法を説明する図である。 図３は、本発明の第１の実施形態にかかる音声認証システムの動作を示すフローチャートである。 図４は、本発明の第２の実施形態にかかる音声認証システムの概略構成を示すブロック図である。 図５は、本発明の第２の実施形態にかかる音声認証システムの動作を示すフローチャートである。 図６は、本発明の第３の実施形態にかかる音声認証システムの概略構成を示すブロック図である。 図７は、本発明の第３の実施形態にかかる音声認証システムの動作を示すフローチャートである。 図８は、本発明の第４の実施形態にかかる音声認証システムの概略構成を示すブロック図である。 図９は、本発明の第４の実施形態にかかる音声認証システムの動作を示すフローチャートである。

（第１の実施形態）
本発明にかかる音声認証システムの一実施形態について、以下に説明する。

本実施形態にかかる音声認証システムでは、認証を受けようとする利用者は、携帯電話または携帯端末から、予め登録された秘密のキーワード（パスワード）を音声入力することにより、認証を受ける。この音声認証システムにおいて、利用者は、認証時に、キーワードを構成する全ての音節を、１音節または複数音節からなる部分に分割し、分割したキーワードを、時間間隔をあけて、さらに好ましくは場所を移動して、複数回に分けて音声入力する。分割したキーワードの入力順序は、キーワードの順番でも良いし、ランダムな順番でも良い。なお、認証時に、前記複数回の音声入力によって、キーワードを構成するすべての音節を発声することが必要である。

例えば、キーワードが「カラオケ」である場合、利用者は、このキーワードを例えば「カラ」と「オケ」のように分割し、１回目の分割キーワード（例えば「カラ」）を音声入力してから数秒から数分経過した後に、２回目の分割キーワード（例えば「オケ」）を音声入力する。近くに居る他人にキーワードを聞かれることを避けるために、１回目の音声入力と２回目の音声入力との間で利用者が場所を移動することが好ましい。

キーワードの分割は、「カオ」と「ラケ」、「ケカ」と「オラ」、「ラカ」と「ケオ」のように、音節の順序をランダムにしても良い。また、「カ」と「ケオラ」のように、単音節からなる分割キーワードがあっても良い。さらに、分割数は２に限定されない。

そして、本実施形態の音声認証システムは、このように分割されて発声されたキーワードに基づいて、音声認証を行う。これにより、近くに他人が居る環境でキーワードを発声したとしても、一回の発声ではキーワードの一部しか聞かれることがないので、キーワード全体が他人に知られることを防止できる。

なお、本実施形態にかかる音声認証システムは、キーワードを、１音節または複数音節からなる分割キーワードに分割して音声認証を行うので、音節単位で単語を区切ることが容易な言語（例えば日本語）での音声認証に適している。

本実施形態にかかる音声認証システムは、図１に示すように、入力部１１、特徴量変換部１２、類似度計算部１３、音節判定部１４、類似度保管部１５、待機時間管理部１６、キーワード確認部１７、類似度統合部１８、認証判定部１９、登録話者別音節モデルデータベース２０、および、キーワード登録部２１を備えている。

入力部１１は、利用者の携帯電話や携帯端末から、認証を受けようとする利用者の利用者ＩＤと音声を入力する。なお、携帯電話のように利用者が１名に限定される場合には、利用者ＩＤの入力手順は不要である。特徴量変換部１２は、入力した音声を、話者別音節モデルとの比較に用いられる特徴量に変換する。

音節判定部１４は、特徴量変換部１２で得られた特徴量と、利用者が登録話者別音節モデルデータベース２０に予め登録してある話者音節モデルとを比較して類似度を求め、求められた類似度に基づいて、入力音声の各音節が、話者音節モデルのどれに最も類似するかを判定する。類似度保管部１５は、入力音声の各音節について、前記音節判定部１４で求められた、話者音節モデルに対する類似度を保管する。

待機時間管理部１６は、キーワードが複数回に分けて発声されるときの発声の時間間隔を監視する。キーワード確認部１７は、音節判定部１４による音節の認識結果に基づき、複数回の発声によってキーワードの全音節が発声されたかを確認する。類似度統合部１８は、類似度保管部１５に保管されている音節毎の類似度に基づき、認証時に発声されたキーワード音声が、登録されているキーワード音声に、全体としてどの程度類似しているかを表す統合類似度を求める。認証判定部１９は、類似度統合部１８で求められた統合類似度に基づき、利用者の認証を受理するか棄却するかを判定する。

キーワード登録部２１は、音声認証システムの利用者がキーワードを登録する際に、当該利用者が入力部１１へ音声入力したキーワードから音節モデルを作成し、登録話者別音節モデルデータベース２０へ登録する。

なお、上記の音声認証システムは、コンピュータおよびその周辺機器によって実現することができる。この場合、類似度保管部１５および登録話者別音節モデルデータベース２０は、コンピュータ内部またはこのコンピュータからアクセス可能な記憶装置によって実現できる。入力部１１、特徴量変換部１２、類似度計算部１３、音節判定部１４、待機時間管理部１６、キーワード確認部１７、類似度統合部１８、認証判定部１９、キーワード登録部２１は、上記コンピュータのプロセッサに、これら各部の機能を具現化させるプログラムを実行させることによって実現できる。従って、このようなプログラムまたはこのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の一実施形態である。

ここで、以上の構成にかかる本実施形態の音声認証システムにおける音声認証の手順について説明する。

最初に、利用者が、音声認証システムの登録話者別音節モデルデータベース２０へキーワードを登録する際の手順について説明する。利用者は、所望のキーワードを決めて、入力部１１に接続された携帯電話等のマイクロフォンに対して発声する。このとき、利用者は、キーワードを、１音節ずつ、無音区間で区切って発声する。例えばキーワードが「カラオケ」の場合、このキーワードには「カ」「ラ」「オ」「ケ」の４音節が含まれるので、利用者は、これらの４音節を無音区間で区切って発声する。入力部１１は、入力された音節発声を、特徴量変換部１２に渡す。特徴量変換部１２においては入力された音声波をＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）やＬＰＣケプストラムなどの音声の特徴を抽出した特徴ベクトル系列に変換する。その後順次、キーワード登録部２１へ渡す。

キーワード登録部２１は、入力された音節のそれぞれに対して、入力された順に、インデックスを割り当てる。すなわち、上記の例では、「カ（一番目の音節）」へインデックスＩ１、「ラ（二番目の音節）」へインデックスＩ２、「オ（三番目の音節）」へインデックスＩ３、「ケ（四番目の音節）」へインデックスＩ４を、それぞれ割り当てる。なお、キーワード登録部２１は、音節が入力された順番にインデックスを割り当てれば十分であって、各音節の発声（音韻）が何であるかを認識する必要はない。ただし後述の通り、同じ内容の音節がキーワードに含まれているか否かのチェックをこの時点で行う場合もある。

キーワード登録部２１は、このようにインデックスを割り当てた各音節から話者音節モデルを作成し、上述のように割り当てたインデックスと共に、当該利用者の利用者ＩＤ等と関連づけて登録話者別音節モデルデータベース２０へ登録する。話者別音節モデルは、例えば不特定話者ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）をＭＡＰ（ＭａｘｉｍｕｍＡ Ｐｏｓｔｅｒｉｏｒｉ）推定により特定話者に適応し、その適応を音節別に実施することで作成することができる。ただし、話者音節モデルはＧＭＭに限定されず、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）など、インデックス別に話者モデルを作成できるものであれば、任意の手法を適用できる。また適応をせずに、登録された特徴ベクトル系列をそのままテンプレートとして保管することによっても話者別音節モデルを作成することも可能である。

なお、認証精度を向上させるために、利用者にキーワードをできるだけ多く（３回以上）繰り返して発声させるのが望ましい。この場合、一音節につき、繰り返し回数分（例えば３回繰り返し発声させた場合は３個）の特徴ベクトル系列を用いて話者別音節モデルが適応され、登録話者別音節モデルデータベース２０へ登録される。前述のテンプレートとして保管する形態の話者別音節モデルの場合には、繰り返し回数分のテンプレートをもった話者別音節モデルが登録話者別音節モデルデータベース２０へ登録される。

次に、上記の手順によって利用者が「カラオケ」というキーワードを登録した後に、当該利用者が認証を受ける場合の手順について、図３のフローチャートを参照しながら説明する。なお、ここでは、利用者が携帯電話から音声入力を行い、かつ、キーワードを２回に分割して発声する例を示すが、キーワードの分割数は２に限定されない。また、キーワードの入力手段は携帯電話に限らない。

携帯電話に認証開始ボタンがある場合にはボタンを押すことにより、あるいは認証が必要なアプリを起動した際、あるいは他のアプリケーションの実行途中で認証要求があった際に、認証処理が開始される。

最初に、入力部１１は、利用者が携帯電話のキーパッドを用いて入力した利用者ＩＤ等を受け付ける（Ｏｐ１１）。なお、携帯電話のように利用者が１名に限定される場合には利用者ＩＤの入力手順は不要となる。次に、利用者が、携帯電話のマイクロフォンに向けて１回目の分割キーワードを発声すると、入力部１１はこの音声を受け取る（Ｏｐ１２）。なお、ここでは、前記利用者が、「カラ」と「オケ」にキーワードを分割し、音声入力するものとする。利用者は、１回目の分割キーワードとして、「カ」「ラ」を一音節ずつ無音区間で区切って音声入力する。以降、このように音声入力された「カ」「ラ」の各音節を、入力された順序に従ってＳ１，Ｓ２と表す。

なお、１回目の分割キーワードの入力が完了したか否かは、無音区間が所定の時間以上続いたか否かによって判断することが可能である。あるいは、分割キーワードの入力が完了した時に、利用者に所定のキー操作をさせるようにしても良い。

入力された音節Ｓ１，Ｓ２のそれぞれは、特徴量変換部１２において、登録時と同一の分析方法によりＭＦＣＣやＬＰＣケプストラムなどの、話者音節モデルとの比較に用いられる特徴ベクトル系列（特徴量）に変換される（Ｏｐ１３）。特徴量変換部１２で得られた特徴量は類似度計算部１３へ送られる。

次に、類似度計算部１３は、登録話者別音節モデルデータベース２０から、当該利用者の利用者ＩＤに関連づけて格納されている当該利用者の話者音節モデル（すなわち、上述のインデックスＩ１〜Ｉ４の話者音節モデル）を抽出し、抽出した話者音節モデルに対する前記特徴量の類似度を計算する（Ｏｐ１４）。ここで、インデックスＩ１の話者音節モデルに対する音節Ｓ１の類似度をＣ_{Ｓ１：Ｉ１}のように表記するものとする。すなわち、Ｏｐ１４において、例えば音節Ｓ１については、Ｃ_{Ｓ１：Ｉ１}、Ｃ_{Ｓ１：Ｉ２}、Ｃ_{Ｓ１：Ｉ３}、Ｃ_{Ｓ１：Ｉ４}の４つの値が類似度として求めら、音節Ｓ２については、Ｃ_{Ｓ２：Ｉ１}、Ｃ_{Ｓ２：Ｉ２}、Ｃ_{Ｓ２：Ｉ３}、Ｃ_{Ｓ２：Ｉ４}の４つの値が類似度として求められる。求められた類似度は、音節判定部１４へ送られる。

なお、音節モデルをテンプレートとして登録したときに、キーワードを繰り返して発声させた場合のように、同じ音節について複数回分の話者別音節テンプレートが登録されている場合は、それらの話者別音節テンプレートの全てについて、類似度の計算をそれぞれ行う。従って、キーワード登録時に、「カ」「ラ」「オ」「ケ」を３回繰り返し発声させてテンプレートを話者音節モデルとして登録した場合は、それらの話者音節モデルのインデックスをＩ１_（１）、Ｉ１_（２）、Ｉ１_（３）・・・のように割り当てると、Ｏｐ１４では、例えば音節Ｓ１について、Ｃ_{Ｓ１：Ｉ１（１）}、Ｃ_{Ｓ１：Ｉ１（２）}、Ｃ_{Ｓ１：Ｉ１（３）}、Ｃ_{Ｓ１：Ｉ２（１）}、Ｃ_{Ｓ１：Ｉ２（２）}、Ｃ_{Ｓ１：Ｉ２（３）}・・・の１２個の値が、類似度として得られる。

次に、音節判定部１４は、類似度計算部１３で求められた類似度に基づき、Ｓ１，Ｓ２の各音節について、登録話者別音節モデルデータベース２０に格納されている話者音節モデルの中で最も類似度の高いモデルのインデックスを選択する（Ｏｐ１５）。

例えば、音節Ｓ１として利用者が発声したのは「カ」であるため、音節Ｓ１についての類似度Ｃ_{Ｓ１：Ｉ１}、Ｃ_{Ｓ１：Ｉ２}、Ｃ_{Ｓ１：Ｉ３}、Ｃ_{Ｓ１：Ｉ４}のうち、インデックスＩ１（登録時の音節「カ」）の話者音節モデルに対する類似度Ｃ_{Ｓ１：Ｉ１}が最大値となる。従って、図２に示すように、音節判定部１４は、発声された音節Ｓ１がインデックスＩ１の話者音節モデルに相当すると判定し、発声済み音節のインデックスデータとして「Ｉ１」を類似度保管部１５に保管する。また、これと共に、音節Ｓ１についての類似度の最大値であるＣ_{Ｓ１：Ｉ１}が、音節Ｓ１の類似度（音節類似度）として類似度保管部１５に保管される。

また、上記と同様にして、音節Ｓ２についても、話者音節モデルのうち最も類似度の高いモデルのインデックスが選択される。ここで、音節Ｓ２として利用者が発声したのは「ラ」であるため、音節Ｓ２についての類似度Ｃ_{Ｓ２：Ｉ１}、Ｃ_{Ｓ２：Ｉ２}、Ｃ_{Ｓ２：Ｉ３}、Ｃ_{Ｓ２：Ｉ４}のうち、インデックスＩ２（登録時の音節「ラ」）の話者音節モデルに対する類似度Ｃ_{Ｓ２：Ｉ２}が最大値となる。これにより、図２に示すように、音節判定部１４は、音節Ｓ２がインデックスＩ２に相当すると判定し、発声済み音節のインデックスデータとして「Ｉ２」を類似度保管部１５に保管する。また、これと共に、音節Ｓ２についての類似度の最大値であるＣ_{Ｓ２：Ｉ２}も、音節Ｓ２の音節類似度として類似度保管部１５に保管される。

ここで、２回目の分割キーワードの入力がまだ済んでいないので（Ｏｐ１６の結果がＮＯ）、Ｏｐ１７へ進む。

なお、待機時間管理部１６は、入力部１１に１回目の分割キーワード（「カラ」）が入力された後の経過時間を、タイマ（図示せず）により測定している。そして、２回目の分割キーワード入力が所定時間（例えば１０分）内に開始されない場合は、タイムアウトとしてＯｐ１８へ進み、１回目の分割キーワードの処理結果を、類似度保管部１５等から消去する（Ｏｐ１８）。この場合、利用者は、認証を受けるためには、１回目の分割キーワード入力からやり直さなければならない。

なお、第三者へのキーワードの暴露を確実に防止するために、１回目の分割キーワードの音声入力から所定時間（例えば２分）が経過しなければ２回目の分割キーワードの音声入力を受け付けないようにしても良い。この場合、１回目の分割キーワードの入力が終了したときに、２回目の分割キーワードの音声入力までに一定時間をおくように指示するメッセージを利用者の携帯電話等のディスプレイへ表示したり、同様の内容の音声メッセージを当該携帯電話へ送ったりすることが好ましい。

一方、Ｏｐ１７において、上記の所定時間内に２回目の分割キーワード入力が開始された場合は、待機時間管理部１６がタイマをストップ・クリアすると共に、Ｏｐ１９へ進み、２回目の分割キーワード入力を受け付け（Ｏｐ１９）、その後Ｏｐ１３へ進む。

この例では、利用者は、２回目の分割キーワードとして、「オ」「ケ」を一音節ずつ区切って発声する。以降、このように音声入力された「オ」「ケ」の各音節を、入力された順序に従ってＳ３，Ｓ４と表すものとする。

入力された音節Ｓ３，Ｓ４のそれぞれは、特徴量変換部１２において特徴量に変換される（Ｏｐ１３）。次に、類似度計算部１３は、登録話者別音節モデルデータベース２０から、当該利用者の利用者ＩＤに関連づけて格納されている話者音節モデル（すなわち、インデックスＩ１〜Ｉ４の話者音節モデル）を抽出し、抽出した話者音節モデルに対する前記特徴量の類似度を計算する（Ｏｐ１４）。

これにより、インデックスＩ１〜Ｉ４の話者音節モデルのそれぞれに対して、音節Ｓ３，Ｓ４のそれぞれについて特徴量変換部１２で得られた特徴量との類似度Ｃ_{Ｓ３：Ｉ１}、Ｃ_{Ｓ３：Ｉ２}、Ｃ_{Ｓ３：Ｉ３}、Ｃ_{Ｓ３：Ｉ４}、Ｃ_{Ｓ４：Ｉ１}、Ｃ_{Ｓ４：Ｉ２}、Ｃ_{Ｓ４：Ｉ３}、Ｃ_{Ｓ４：Ｉ４}が計算される。

なお、キーワードの登録時にキーワードを繰り返し発声させることにより、同じ音節について複数回分の話者音節モデルが登録されている場合は、それらの話者音節モデルの全てについて、類似度の計算をそれぞれ行う。従って、キーワード登録時に、「カ」「ラ」「オ」「ケ」を３回繰り返し発声させて話者音節モデルが登録されている場合は、それらの話者音節モデルのインデックスをＩ１_（１）、Ｉ１_（２）、Ｉ１_（３）・・・のように割り当てると、例えば音節Ｓ３について、Ｃ_{Ｓ３：Ｉ１（１）}、Ｃ_{Ｓ３：Ｉ１（２）}、Ｃ_{Ｓ３：Ｉ１（３）}、Ｃ_{Ｓ３：Ｉ２（１）}、Ｃ_{Ｓ３：Ｉ２（２）}、Ｃ_{Ｓ３：Ｉ２（３）}・・・の１２個の値が、類似度として得られる。

次に、音節判定部１４は、類似度計算部１３で求められた類似度に基づき、Ｓ３，Ｓ４の各音節について、登録話者別音節モデルデータベース２０に格納されている話者音節モデルの中で最も類似度の高いモデルのインデックスを選択する（Ｏｐ１５）。

この例では、音節Ｓ３として利用者が発声したのは「オ」であるため、音節Ｓ３についての類似度Ｃ_{Ｓ３：Ｉ１}、Ｃ_{Ｓ３：Ｉ２}、Ｃ_{Ｓ３：Ｉ３}、Ｃ_{Ｓ３：Ｉ４}のうち、Ｃ_{Ｓ３：Ｉ３}が最大値となる。従って、音節判定部１４は、音節Ｓ３がインデックスＩ３に相当すると判定し、発声済み音節のインデックスデータとして「Ｉ３」を類似度保管部１５に保管する。また、これと共に、音節Ｓ３についての類似度の最大値であるＣ_{Ｓ３：Ｉ３}も、音節Ｓ３の音節類似度として、類似度保管部１５に保管される。

上記と同様にして、音節Ｓ４についても、話者音節モデルのうち最も類似度の高いモデルのインデックスが選択される。ここで、音節Ｓ４として利用者が発声したのは「ケ」であるため、音節Ｓ４についての類似度Ｃ_{Ｓ４：Ｉ１}、Ｃ_{Ｓ４：Ｉ２}、Ｃ_{Ｓ４：Ｉ３}、Ｃ_{Ｓ４：Ｉ４}のうち、Ｃ_{Ｓ４：Ｉ４}が最大値となる。従って、音節判定部１４は、音節Ｓ４がインデックスＩ４に相当すると判定し、発声済み音節のインデックスデータとして「Ｉ４」を類似度保管部１５に保管する。これと共に、音節Ｓ４についての類似度の最大値であるＣ_{Ｓ４：Ｉ４}も、音節Ｓ３の音節類似度として、類似度保管部１５に保管される。

以上のとおり、２回目の分割キーワードの処理が終了すると（Ｏｐ１６にてＹＥＳ）、キーワード確認部１７が、類似度保管部１５に保管されている発声済み音節のインデックスデータに基づき、１回目と２回目の発声によってキーワードの全ての音節が発声されたかを確認する（Ｏｐ２０）。上記の例の場合、類似度保管部１５には、発声済み音節のインデックスデータとして「Ｉ１」、「Ｉ２」、「Ｉ３」、「Ｉ４」が保管されている。すなわち、登録されているキーワードの全てのインデックス（Ｉ１〜Ｉ４）が揃っているので、キーワード確認部１７は、キーワードの全ての音節が発声されたことを確認できる。Ｏｐ２０の判断結果がＮＯの場合は、その旨が認証判定部１９へ通知され、認証判定部１９は当該利用者の認証を棄却する（Ｏｐ２１）。

例えば、上記の例において、１回目の分割キーワードとして「カ」「ラ」と発声し、２回目の分割キーワードとして「カ」「ケ」と発声した場合は、「オ」が発声されていないために、発声済み音節のインデックスデータ中に「オ」のインデックスＩ３が存在しない。このため、認証は棄却される。

一方、Ｏｐ２０の判断結果がＹＥＳの場合は、類似度統合部１８が、類似度保管部１５に保管されている、音節Ｓ１〜Ｓ４のそれぞれの音節類似度（Ｃ_{Ｓ１：Ｉ１}，Ｃ_{Ｓ２：Ｉ２}，Ｃ_{Ｓ３：Ｉ３}，Ｃ_{Ｓ４：Ｉ４}）に基づいて、発声されたキーワード全体が登録キーワードにどの程度似ているかを表す統合類似度を算出する（Ｏｐ２２）。統合類似度としては、各音節の音節類似度の総計（すなわち、この例では、Ｃ_{Ｓ１：Ｉ１}＋Ｃ_{Ｓ２：Ｉ２}＋Ｃ_{Ｓ３：Ｉ３}＋Ｃ_{Ｓ４：Ｉ４}）を用いても良いし、各音節の音節類似度の平均値を用いても良い。あるいは、各音節の音節類似度の総和をフレーム数等の時間長で平均化したものを、統合類似度として用いても良い。

このように類似度統合部１８で求められた統合類似度は、認証判定部１９へ送られ、認証判定部１９が、所定の閾値と統合類似度とを比較する。認証判定部１９は、統合類似度が所定の閾値を超えていれば当該利用者の認証を受理し、下回っていれば棄却する（Ｏｐ２３）。

本実施形態にかかる音声認証システムでは、以上の手順により、音声による利用者の認証が可能である。

なお、上記の実施形態では、登録されたキーワードを構成する音節の全てが、複数回に分割されたキーワード発声によって過不足なく発声されたか否かを認識する。従って、上記の具体例では、「カラオケ」というキーワードを「カラ」と「オケ」との２つに分割したが、例えば、「カオ」と「ラケ」、「ケカ」と「オラ」、「ラカ」と「ケオ」のように、音節の順序をランダムにしたキーワードの分割方法をとっても、正しい音声認証が可能である。

なお、本実施形態では、キーワードの登録時も認証時も音韻を認識しないので、キーワードが同じ音の音節を２つ以上含む場合は、それらの音節を区別することができない。そこで、認証時に音声入力された音節の複数が、登録されている話者音節モデルの複数に対して相互に高い類似度を示した場合は、これらは同じ音節であると見なして処理することが好ましい。

例えば、キーワードが「スキヤキ」である場合、このキーワードの登録時には、キーワード登録部２１が、「ス（一番目の音節）」へインデックスＩ１、「キ（二番目の音節）」へインデックスＩ２、「ヤ（三番目の音節）」へインデックスＩ３、「キ（四番目の音節）」へインデックスＩ４をそれぞれ割り当てて、登録話者別音節モデルデータベース２０に話者音節モデルを格納する。

そして、認証時に、例えば利用者が１回目の分割キーワードとして「ス（音節Ｓ１）」「キ（音節Ｓ２）」、２回目の分割キーワードとして「ヤ（音節Ｓ３）」「キ（音節Ｓ４）」と発声したとする。この場合、音節Ｓ２と音節Ｓ４の両方が、インデックスＩ２，Ｉ４の話者音節モデルに対して共に高い類似度を示すが、音節Ｓ２とインデックスＩ２の話者音節モデルとの類似度、音節Ｓ４とインデックスＩ２の話者音節モデルとの類似度、音節Ｓ２とインデックスＩ４の話者音節モデルとの類似度、音節Ｓ４とインデックスＩ４の話者音節モデルとの類似度は、互いに大きな差はないため、音節Ｓ２との類似度が最も高いインデックスと、音節Ｓ４との類似度が最も高いインデックスとが一致してしまう可能性もある。例えば音節Ｓ２とＳ４との両方がインデックスＩ２と最も類似すると判断された場合であれば、インデックスＩ４の音節が発声されていないとして、認証が棄却されてしまう。

従って、このように、複数の音節が、話者音節モデルの複数に対して相互に高い類似度であって、かつ、他の話者音節モデルに対する類似度よりも顕著に高い類似度を示す場合は、Ｏｐ１５において最も類似度の高いインデックスを選択するのではなく、それら複数の音節が同じ音であると見なし、それらの複数の音節との類似度が高い話者音節モデルのインデックスをすべて類似度保管部１５へ保持すれば良い。あるいは、登録時に、複数の音節発声が、話者別音節モデルの複数に対して相互に高い類似度か否かを調べる等により、それら複数の音節が同じ音であることをチェックし、それを示す情報を記憶しておき、それらの音節に類似する話者音節モデルのインデックスとして同一のインデックスが類似度保管部１５に保管されていれば、全てのインデックスが揃っていなくても認証を棄却しないようにしても良い。

これにより、上記の例において、「ス」「キ」「ヤ」「キ」の入力音節に対する類似話者音節モデルのインデックスとして、例えば、「Ｉ１」，「Ｉ２」，「Ｉ３」，「Ｉ２」が類似度保管部１５に保管されていても、キーワードの全ての音節が発声されたものと正しく判断することができる。

以上、本発明の一実施形態にかかる音声認証システムについて説明したが、上記の説明は、本発明を実施するための一具体例に過ぎず、発明の範囲内で種々の変更が可能である。

例えば、上記の実施形態では、認証時にキーワードを２回に分割して発声する例を説明したが、キーワードの分割数は、２に限定されず、任意である。キーワードの分割数が３以上の場合は、分割キーワードの音声入力と、入力された分割キーワードに対する図３のＯｐ１３〜Ｏｐ１５の処理とを、分割数だけ繰り返せば良い。従って、「カ」と「ラオケ」、「オケラ」と「カ」、「ラ」と「ケ」と「オカ」、あるいは、「オ」と「ラ」と「カ」と「ケ」といったような分割によっても、正しい音声認証が可能である。

さらに、認証を受けようとする利用者が分割数を任意に決定できるようにしても良い。この場合、分割キーワードを複数回発声することによってキーワード全体の発声が完了したときに、利用者に例えば携帯電話の特定のボタンを押させることとし、音声認証システムは、入力部１１において当該ボタンが押されたことを検知すると、図３のＯｐ２０以降の処理へ移行するようにすれば良い。あるいは、分割キーワードの発声が終了する毎に、それまでに発声された音節の集合と登録キーワードを構成する音節とを比較し、キーワードを構成する音節が全て発声済みであると判断されたときに、図３のＯｐ２０以降の処理へ移行するようにしても良い。

また、本実施形態では、２回目の分割キーワードが入力した後に、キーワード確認部１７でキーワード確認を行い、さらに、類似度統合部１８でキーワード全体としての統合類似度を算出し、認証判定部１９で認証を受理するか棄却するかを判定する構成とした。しかし、１回目の分割キーワードの音声入力が終了した時点で、類似度統合部１８が、１回目の分割キーワードに含まれる音節だけから統合類似度を算出するものとしても良い。

この場合、１回目の分割キーワードから算出された統合類似度が所定の閾値を下回る場合は、１回目の分割キーワードの音声入力をやりなおさせても良い。このようにすれば、例えば２回目の分割キーワードの類似度が高いが１回目の分割キーワードの類似度が低い場合に、最初から音声入力をやり直す手間が軽減されるという利点がある。

なお、セキュリティを厳しくする観点からは、１回目の分割キーワードの類似度が低い場合は、２回目の分割キーワードを入力させることなく、認証判定部１９が認証を棄却するようにしても良い。

また、２回目の分割キーワードの入力が終了した後に、２回目の分割キーワードの類似度が低い場合は、キーワード確認部１７により全音節が発声済みであることが確認されていることを条件として、２回目の分割キーワードの音声入力をやりなおさせても良い。上記の条件を付けるのは、全音節が発声済みであることが確認されていない場合に２回目の分割キーワードの音声入力のやりなおしを認めると、キーワードの試行を許すこととなり、詐称者による認証突破が可能となってしまうからである。

なお、安定した認証結果を得るためには、分割キーワード毎に類似度を求める方法よりも、分割キーワードの音声入力が全て終了した後にキーワード全体としての統合類似度を算出する方法の方が有利である。分割キーワードは発声長が短いので安定した類似度が得られにくいことがあるのに対して、キーワード全体としての統合類似度は発声長が長いので比較的安定した類似度が得られるからである。そのため、１回目の分割キーワードの類似度で判定する場合のしきい値は全体よりもやや緩めに設定することになる。

（第２の実施形態）
本発明にかかる音声認証システムの他の実施形態について、以下に説明する。なお、第１の実施形態で説明した構成と同様の機能を有する構成については、第１の実施形態で用いた参照記号と同じ記号を付記し、その詳細な説明は省略する。

本実施形態にかかる音声認証システムは、英語等のように、音節単位でのキーワード分割が必ずしも容易ではない言語による音声認証にも適している。

このため、本実施形態にかかる音声認証システムは、図４に示すように、入力部１１、特徴量変換部１２、類似度計算部１３、類似度保管部１５、待機時間管理部１６、キーワード確認部１７、類似度統合部１８、認証判定部１９、話者モデルデータベース２２、キーワード登録部２１、文法生成部２３、認識文法格納部２４、および、音声認識部２５を備えている。

ここで、本実施形態の音声認証システムにおける音声認証の手順について、図５を参照しながら説明する。

最初に、利用者が、音声認証システムの話者モデルデータベース２２へキーワードを登録する際の手順について説明する。利用者は、所望のキーワードを決めて、入力部１１に接続された携帯電話等のマイクロフォンに対して発声する。本実施形態では、文法生成部２３が、音声入力されたキーワードを音声認識（不特定話者音声認識）し、認識結果としての認識文法を認識文法格納部２４へ登録する。なお登録前に、画面などに認識結果を表示して利用者が登録したキーワードの内容を確認させるのが望ましい。また認識結果を修正する手段（ボタン等）を与えるのが望ましい。

なお、不特定話者音声認識で単音節認識を行うことは精度的に難しいので、利用者は、キーワードを登録する際に、キーワードの発声内容を、例えば携帯電話のキー等を用いて、入力部１１に対してテキスト入力するようにするのが望ましい。入力テキスト（キーワードの発声内容）と発声されたキーワード音声は、入力部１１から文法生成部２３へ渡される。

文法生成部２３は、テキスト入力された発声内容から、利用者が入力し得るキーワード分割のパターンを認識するための文法を生成する。この文法は、音節単位に限定されず、音素単位の分割による全てのパターンを網羅するように生成される。日本語のように音節単位で切りやすい言語の場合には音節単位で分割しうる全てのパターンを網羅するように生成されるが、英語のように音節単位で切ることが難しい言語の場合には、音素単位の分割による全てのパターンを網羅するように生成される。例えば″ｖｅｒｉｆｉｃａｔｉｏｎ″というキーワードに対しては″ｖｅ，ｖｅｒｉ，ｖｅｒｉｆｉ，ｔｉｏｎ，ｃａｔｉｏｎ，ｆｉｃａｔｉｏｎ，ｖｅｒｉｆｉｃａ″等のパターンを受理する文法が生成される。生成された文法は、キーワード登録部２１に渡されると共に、認識文法格納部２４へ格納される。

キーワード登録部２１は、登録されたキーワードの音声を用いて適応した話者モデル（すなわち音素または音節単位の話者モデル）を作成し、当該利用者の利用者ＩＤと関連づけて、話者モデルデータベース２２へ登録する。音素単位の話者モデルの作成方法としては、不特定話者音声認識によりキーワードの音声と音素の時間対応づけ（アライメントと呼ぶ）を行い、キーワードを構成する音素別に適応を行い、話者別音素モデルを話者モデルとして作成する方法がある。また、適応方法としてはＭＬＬＲ（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ）法、ＭＡＰ法等、モデル適応により話者適応を実現する方法であれば何でもよい。音節単位で話者モデルを作成する場合には音節単位でキーワードとの時間対応付けを行ったのち、話者適応を行い作成する。

上記の手順によりキーワード登録が完了した後に、利用者が音声入力により認証を受ける際の手順について、以下に説明する。なお、以下の例においても、キーワードを２回に分割して音声入力する例を説明するが、キーワードの分割数は２に限定されない。

最初に、入力部１１は、利用者が携帯電話のキーパッドを用いて入力した利用者ＩＤ等を受け付ける（Ｏｐ３１）。なお、携帯電話のように利用者が１名に限定される場合には利用者ＩＤの入力手順は不要となる。次に、利用者が、携帯電話のマイクロフォンに向けて１回目の分割キーワードを発声すると、入力部１１はこの音声を受け取る（Ｏｐ３２）。なお、本実施形態では、利用者は音節毎に区切って音声入力をしなくても良い。例えば、キーワードが「カラオケ」である場合、１回目の分割キーワードを「カラ」とする場合、第１の実施形態のように「カ」と「ラ」の間に無音区間を入れずに、「カラ」と一気に発声しても良い。

また、英語等は、話者が音節を厳密に意識しない傾向が強いため、キーワードを分割した際に、誤って音節が欠落したり重複したりする可能性がある。音節の重複はキーワード認証に際してあまり問題とならないため、本実施形態では、例えばキーワードが「ｖｅｒｉｆｉｃａｔｉｏｎ」である場合に、「ｖｅｒｉｆｉ」と「ｆｉｃａｔｉｏｎ」のように、分割キーワードにおいて音節が重複することは許容される。

入力された分割キーワードは、特徴量変換部１２において、ＭＦＣＣやＬＰＣケプストラムなどの、音声認識に用いられる特徴量に変換される（Ｏｐ３３）。特徴量変換部１２で得られた特徴量は音声認識部２５へ送られる。

次に、音声認識部２５は、認識文法格納部２４に格納されている認識文法を参照し、分割キーワードとして発声された音声の音韻を不特定話者音声認識で認識する（Ｏｐ３４）。認識結果は、類似度計算部１３へ送られる。キーワードと異なる発声がされた場合等、認識スコアが非常に悪い場合には「認識できない」と判定した方が良く、この場合には「認識できない」という結果を類似度計算部１３に送る。
この例では不特定話者音声認識で認識したが、登録時に適応した話者モデルを利用して認識させても良い。この場合、音声認識時に計算した類似度がそのまま話者モデルに対する類似度となるので、類似度計算部１３での類似度計算は不要となる。

次に、類似度計算部１３は、前記の認識結果に基づき、話者モデルデータベース２２から、当該利用者の話者モデルのうち、前記Ｏｐ３４で認識された音韻に対応する話者モデルを抽出し、抽出した話者モデルに対する前記特徴量の類似度を計算する（Ｏｐ３５）。

Ｏｐ３５の結果に基づき、発声済みの分割キーワードから認識された音韻が、登録キーワードのどの音素を網羅しているかを表す情報（発声済み音素データ）が、類似度保管部１５へ保管される（Ｏｐ３６）。これと共に、認識された音韻の話者モデルに対する類似度も、類似度保管部１５に保管される。

ここで、２回目の分割キーワードの入力がまだ済んでいないので（Ｏｐ３７の結果がＮＯ）、Ｏｐ３８へ進む。

なお、待機時間管理部１６は、入力部１１に１回目の分割キーワードが入力された後の経過時間を、タイマにより測定している。そして、２回目の分割キーワード入力が所定時間内に開始されない場合は、タイムアウトとしてＯｐ３９へ進み、１回目の分割キーワードの処理結果を、類似度保管部１５等から消去する（Ｏｐ３９）。この場合、利用者は、認証を受けるためには、１回目の分割キーワード入力からやり直さなければならない。

一方、Ｏｐ３８において、上記の所定時間内に２回目の分割キーワード入力が開始された場合は、待機時間管理部１６がタイマをストップ・クリアすると共に、Ｏｐ４０へ進み、２回目の分割キーワード入力を受け付け（Ｏｐ４０）、その後Ｏｐ３３へ進む。

そして、２回目の分割キーワードに対して、Ｏｐ３３〜Ｏｐ３６の処理を行った後、キーワード確認部１７が、類似度保管部１５に保管されている発声済み音素データに基づき、１回目と２回目の発声によってキーワードの全ての音素が発声されたかを確認する（Ｏｐ４１）。Ｏｐ４１の判断結果がＮＯの場合は、その旨が認証判定部１９へ通知され、認証判定部１９は当該利用者の認証を棄却する（Ｏｐ４２）。

一方、Ｏｐ４１の判断結果がＹＥＳの場合は、類似度統合部１８が、類似度保管部１５に保管されている分割キーワード毎の類似度に基づいて、発声されたキーワード全体が登録キーワードにどの程度似ているかを表す統合類似度を算出する（Ｏｐ４３）。統合類似度としては、分割キーワードの類似度の総計を用いても良いし、分割キーワードの類似度の平均値を用いても良い。

このように類似度統合部１８で求められた統合類似度は、認証判定部１９へ送られ、認証判定部１９が、所定の閾値と統合類似度とを比較する。認証判定部１９は、統合類似度が所定の閾値を超えていれば当該利用者の認証を受理し、下回っていれば棄却する（Ｏｐ４４）。

本実施形態にかかる音声認証システムでは、以上の手順により、音声による利用者の認証が可能である。本実施形態では、上述のとおり、複数音節をキーワード分割の最小単位としても良いし、形態素または単語など、発声の単位とできるものなら、音節以外をキーワード分割の最小単位としてもよい。

また、キーワードが数字列（例えば「１２３４」）である場合、日本語であれば「イチ」、「ニ」、「サン」、「シ」のように、あるいは英語であれば「ｏｎｅ」、「ｔｗｏ」、「ｔｈｒｅｅ」、「ｆｏｕｒ」のように、数字を単位としてキーワードの確認および音声認証を行ってもよい。ただし、この場合は、数字認識用の文法を用いる必要がある。

同様に、キーワードが数字とアルファベット等の混合（例えば「１ａ２ｂ」）である場合は、数字とアルファベットの認識用文法を用いる必要がある。

（第３の実施形態）
本発明にかかる音声認証システムのさらに他の実施形態について、以下に説明する。なお、第１または第２の実施形態で説明した構成と同様の機能を有する構成については、それらの実施形態で用いた参照記号と同じ記号を付記し、その詳細な説明は省略する。

本実施形態にかかる音声認証システムは、２回目以降の分割キーワードが音声入力される毎に、前回の分割キーワードの音声入力時から利用者が場所を移動しているか否かを確認し、場所を移動していない場合は音声入力を受け付けない。

このため、本実施形態にかかる音声認証システムは、図６に示すように、入力部１１、特徴量変換部１２、類似度計算部１３、音節判定部１４、類似度保管部１５、待機時間管理部１６、キーワード確認部１７、類似度統合部１８、認証判定部１９、登録話者別音節モデルデータベース２０、キーワード登録部２１、位置情報取得部３１、および、位置確認部３２を備えている。すなわち、本実施形態にかかる音声認証システムは、第１の実施形態にかかる音声認証システムに、位置情報取得部３１、および、位置確認部３２をさらに備えた構成である。

位置情報取得部３１は、利用者の携帯電話等に組み込まれたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により、利用者が分割キーワードを音声入力する都度、利用者の現在位置を表す情報を取得する。位置確認部３２は、位置情報取得部３１により取得された情報に基づき、前回の分割キーワードの音声入力時から利用者が場所を移動しているか否かを確認する。

以上の構成にかかる、本実施形態の音声認証システムの動作について、図７を参照しながら説明する。

最初に、入力部１１は、利用者が携帯電話のキーパッドを用いて入力した利用者ＩＤ等を受け付ける（Ｏｐ５１）。なお携帯電話のように利用者が１名に限定される場合には利用者ＩＤの入力手順は不要となる。次に、利用者が、携帯電話のマイクロフォンに向けて１回目の分割キーワードを発声すると、入力部１１はこの音声を受け取る（Ｏｐ５２）。このとき同時に、位置情報取得部３１が、利用者の携帯電話に組み込まれたＧＰＳにより、利用者の現在位置を表す情報を取得し、取得した情報を位置確認部３２へ渡す（Ｏｐ５３）。

入力された１回目の分割キーワードの各音節は、特徴量変換部１２において特徴量に変換される（Ｏｐ５４）。特徴量変換部１２で得られた特徴量は類似度計算部１３へ送られる。

次に、類似度計算部１３は、登録話者別音節モデルデータベース２０から、当該利用者の利用者ＩＤに関連づけて格納されている当該利用者の話者音節モデルを抽出し、抽出した話者音節モデルに対する前記特徴量の類似度を計算する（Ｏｐ５５）。求められた類似度は、音節判定部１４へ送られる。

次に、音節判定部１４は、類似度計算部１３で求められた類似度に基づき、１回目の分割キーワードの各音節について、登録話者別音節モデルデータベース２０の話者音節モデルの中で最も類似度の高いモデルのインデックスを選択し、その類似度と共に、類似度保管部１５に保管する（Ｏｐ５６）。ここで、２回目の分割キーワードの入力がまだ済んでいないので（Ｏｐ５７の結果がＮＯ）、Ｏｐ５８へ進む。

第三者へのキーワードの暴露をより確実に防止するために、１回目の分割キーワードの入力が終了したときに、２回目の分割キーワードの音声入力までに場所を移動するように指示するメッセージを利用者の携帯電話等のディスプレイへ表示したり、同様の内容の音声メッセージを当該携帯電話へ送ったりすることが好ましい。

このため、Ｏｐ５８において、１回目の分割キーワードの音声入力後、適当な時間（例えば１分）が経ったときに、位置情報取得部３１が、利用者の携帯電話に組み込まれたＧＰＳにより、利用者の現在位置を表す情報を取得し、取得した情報を位置確認部３２へ渡す。

位置確認部３２は、Ｏｐ５３で取得された１回目の分割キーワード入力時の位置情報と、Ｏｐ５８で取得された位置情報とを比較することにより、１回目の分割キーワードを入力した後に、利用者が所定の距離（例えば５０ｍ）以上離れた場所へ移動しているかを確認する（Ｏｐ５９）。なお、前記所定の距離は５０ｍに限定されず、任意である。

Ｏｐ５９の確認結果がＮＯであれば、音声認証システムは、利用者の携帯電話へ、場所を移動するように指示する音声メッセージを送る。あるいは、場所を移動するよう指示する警告メッセージを表示する（Ｏｐ６０）。

一方、Ｏｐ５９の確認結果がＹＥＳであれば、Ｏｐ６１以降の処理を続行する。Ｏｐ６１〜Ｏｐ６７の処理は、第１の実施形態において説明したＯｐ１７〜Ｏｐ２３と同様であるため、説明は省略する。

以上のように、本実施形態にかかる音声認証システムは、ＧＰＳ等を利用して利用者の現在位置を確認し、分割キーワードの前回の入力時から利用者が所定の距離以上移動していない場合は、場所を移動するよう指示する。これにより、第三者へキーワードが暴露されることをより確実に防止できる。

なお、本実施形態では、第１の実施形態にかかる音声認証システムに、位置情報取得部３１および位置確認部３２をさらに備えた構成を例示したが、第２の実施形態にかかる音声認証システムに位置情報取得部３１および位置確認部３２をさらに備えた構成も、本発明の一実施態様である。

（第４の実施形態）
本発明にかかる音声認証システムのさらに他の実施形態について、以下に説明する。なお、第１〜第３の実施形態で説明した構成と同様の機能を有する構成については、それらの実施形態で用いた参照記号と同じ記号を付記し、その詳細な説明は省略する。

本実施形態にかかる音声認証システムは、キーワードの分割方法等をシステムが利用者へ指示し、利用者が指示どおりに音声入力をしていない場合は、認証を棄却する構成である。

このため、本実施形態にかかる音声認証システムは、図８に示すように、入力部１１、特徴量変換部１２、類似度計算部１３、音節判定部１４、類似度保管部１５、待機時間管理部１６、キーワード確認部１７、類似度統合部１８、認証判定部１９、登録話者別音節モデルデータベース２０、キーワード登録部２１、および、指示出力部４１を備えている。すなわち、本実施形態にかかる音声認証システムは、第１の実施形態にかかる音声認証システムに、指示出力部４１をさらに備えた構成である。

指示出力部４１は、予め定められた複数種類のパターンからランダムに選択したパターンに従って利用者にキーワードを分割入力させるよう指示を出す。

そのような指示としては、例えば、「１回目の分割キーワードとして最初の３音節、２回目の分割キーワードとして残りの全音節を入力して下さい。」、「奇数音節を１回目の分割キーワードとし、偶数音節を２回目の分割キーワードとして下さい。」、「キーワードを逆方向から１音節ずつ入力して下さい。」といった指示が考えられる。なお、これらの指示はあくまで一例であり、指示内容は任意である。

ここで、本実施形態にかかる音声認証システムの動作について、図９を参照しな説明する。なお、利用者によるキーワードの登録手順は第１の実施形態と同様であるため、説明を省略する。

最初に、入力部１１は、利用者が携帯電話のキーパッドを用いて入力した利用者ＩＤ等を受け付ける（Ｏｐ７１）。なお、携帯電話のように利用者が１名に限定される場合には利用者ＩＤの入力手順は不要となる。次に、指示出力部４１が、予め定められた複数種類のパターンからランダムに選択したパターンに従って、利用者の携帯電話に対して、１回目の分割キーワードを入力させるための指示を、表示または音声メッセージとして出力する（Ｏｐ７２）。指示出力部４１による指示内容は、後のＯｐ７６における音節判定部１４の処理のために、音節判定部１４へも送られる。

例えばここで、「奇数音節を１回目の分割キーワードとして下さい。」という指示がされた場合、キーワードが「カラオケ」であったとすると、利用者は、１回目の分割キーワードとして「カ」「オ」、２回目の分割キーワードとして「ラ」「ケ」を入力しなければならない。

利用者が、この指示に従って、携帯電話のマイクロフォンに向けて１回目の分割キーワードを発声すると、入力部１１はこの音声を受け取る（Ｏｐ７３）。

入力された音節Ｓ１，Ｓ２のそれぞれは、特徴量変換部１２において、特徴量に変換される（Ｏｐ７４）。特徴量変換部１２で得られた特徴量は類似度計算部１３へ送られる。

次に、類似度計算部１３は、登録話者別音節モデルデータベース２０から、当該利用者の利用者ＩＤに関連づけて格納されている当該利用者の話者音節モデルを抽出し、抽出した話者音節モデルに対する前記特徴量の類似度を計算する（Ｏｐ７５）。求められた類似度は、音節判定部１４へ送られる。

次に、音節判定部１４は、類似度計算部１３で求められた類似度に基づき、１回目の分割キーワードの各音節について、登録話者別音節モデルデータベース２０に格納されている話者音節モデルの中で最も類似度の高いモデルのインデックスを選択し、その類似度と共に類似度保管部１５に保管する（Ｏｐ７６）。

また、Ｏｐ７６において、音節判定部１４は、１回目の分割キーワードの各音節が、指示出力部４１による指示どおりに発声されたかを判定する。すなわち、上記の例では、１回目の分割キーワードとして奇数音節、つまりキーワードの第１音節（インデックスＩ１）である「カ」と第３音節（インデックスＩ３）である「オ」を入力する旨の指示が出されている。従って、１回目の分割キーワードの１つ目の音節は、インデックスＩ１の話者音節モデルとの類似度が最も大きくなければならず、また、２つ目の音節は、インデックスＩ３の話者音節モデルとの類似度が最も大きくなければならない。そうでない場合は、音節判定部１４は、その判定結果を認証判定部１９へ通知し、認証判定部１９が認証を棄却する。

なお、図９において、Ｏｐ７７以降は、第１の実施形態において説明したＯｐ１６〜Ｏｐ２３と同様であるため、その重複した説明は省略する。

本実施形態にかかる音声認証システムでは、以上のように、指示出力部４１が、キーワードの分割方法が認証毎にランダムになるように、分割方法を利用者へ指示することにより、キーワードの暴露をより確実に防止することができる。

なお、上記の説明では、指示出力部４１が、キーワードの分割方法を一つ選択して利用者へ指示するものとしたが、指示出力部４１が複数パターンの分割方法を利用者へ提示し、利用者がその中からいずれかのパターンを選択するようにしても良い。

また、本実施形態では、第１の実施形態にかかる音声認証システムに、指示出力部４１をさらに備えた構成を例示したが、第２または第３の実施形態にかかる音声認証システムに指示出力部４１をさらに備えた構成も、本発明の一実施態様である。

例えば、第２の実施形態にかかる音声認証システムに指示出力部４１を加えた構成の場合であって、キーワードが数字列の場合は、例えば、「１回目の分割キーワードとして２桁および４桁目の数字を入力し、２回目の分割キーワードとして１桁および３桁目の数字を入力して下さい。」、「暗証番号を逆方向から順番に入力して下さい。」といった指示が可能である。さらに、キーワードが数字とアルファベットの混合の場合は、「１回目の分割キーワードとして奇数番目の数字またはアルファベット、２回目に偶数番目の数字またはアルファベットを入力して下さい。」といった指示が可能である。

以上、各実施形態において説明したように、本発明によれば、キーワードを分割して入力することにより、キーワード全体を他人に聞かれることがない。従って、他人がキーワード内容を知ることが難しくなり、またキーワード全体を続けて録音することができないので、録音詐称を防ぐことができる。

また、テキスト依存型の音声認証は、キーワード内容が暴露されることが多く、従来は、高い性能維持のためにキーワードを頻繁に変えなければならず、運用のコストが大きいという問題があった。しかし、本発明によれば、キーワード内容が暴露されにくくなり、キーワードを頻繁に変更する必要がなく、キーワード変更のためのコストを削減できるという効果がある。

さらに、例えば人気のない場所で１回目の分割キーワードを音声入力しておき、レジカウンタ前等の公衆の面前では２回目の分割キーワードのみを音声入力するようにすれば、公衆の面前での認証時間を短くすることができるので、スピーディーに決済を行うことができる、という効果もある。

なお、上記の各実施形態にかかる音声認証システムにおいて、例えば周囲に他人が居ない場合等にキーワードを分割せずに音声認証を行うことが可能となるように、利用者がキーワードを分割入力するか否かを選択できるようにしても良い。

本発明は、キーワードの漏洩や録音詐称を防ぐことにより、キーワードの秘密性を利用して高い認証精度を維持し得るテキスト依存型の音声認証システムとして有用である。

Claims (10)

1. キーワードを音声入力させて認証を行うテキスト依存型の音声認証システムであって、
   発声が可能な単位を最小単位として複数の部分に分割されたキーワードの音声入力を、前記部分毎に時間間隔をおいて複数回にわたって受け付ける入力部と、
   利用者の登録キーワードを、前記発声が可能な単位で作成された話者モデルとして予め格納した話者モデル格納部と、
   前記入力部において１回の音声入力で受け付けられたキーワードの部分から、当該部分に含まれる音声の特徴量を求める特徴量変換部と、
   前記特徴量変換部で求められた特徴量と前記話者モデルとの類似度を求める類似度計算部と、
   前記類似度計算部で求められた類似度に基づき、前記複数回の音声入力により発声内容を判定する発声内容判定部と、前記複数回の音声入力の発声内容が過不足なく登録キーワードを構成しうるか否かを判定するキーワード確認部と、
   前記キーワード確認部による判定結果と、前記類似度計算部で求められた類似度とに基づき、認証を受理するか棄却するかを判定する認証判定部とを備えた音声認証システム。
2. 前記発声が可能な単位が音節である、請求項１に記載の音声認証システム。
3. 前記話者モデル格納部において、登録キーワードを構成する各音節の話者モデルに個別のインデックスが付与されており、
   前記特徴量変換部が、前記音声入力で受け付けられたキーワードの部分から、音節毎の特徴量を求め、
   前記類似度計算部が、前記音節毎の特徴量と前記話者モデルとの類似度を求め、
   前記類似度計算部により求められた類似度に基づき、前記音声入力で受け付けられたキーワードの部分が、登録キーワードのどの音節に最も類似するかを判定する音節判定部をさらに備え、
   前記キーワード確認部が、前記音節判定部の判定結果に基づき、前記複数回の音声入力により判定された音節を用いて登録キーワードを構成しうるか否かを判定する、請求項２に記載の音声認証システム。
4. 前記発声が可能な単位が、数字の読みまたはアルファベットの読みである、請求項１〜３のいずれかに記載の音声認証システム。
5. 前記特徴量変換部により求められた特徴量から、不特定話者音声認識により、前記キーワードの部分の音韻を認識する音声認識部をさらに備え、
   前記キーワード確認部が、前記音声認識部の認識結果に基づいて、前記複数回の音声入力により音声認識された結果を用いて、登録キーワードを構成しうるか否かを判定する、請求項１に記載の音声認証システム。
6. 前記キーワードのある部分の音声入力の完了から所定の時間が経過しても次の部分の音声入力がなく、かつ、それまでの音声入力の発声内容の情報を用いて登録キーワードを構成できない場合、前記認証判定部が認証を棄却する、請求項１に記載の音声認証システム。
7. 前記キーワードの部分の音声入力がある度に利用者の所在位置情報を取得する位置情報取得部と、
   前回の音声入力時に前記位置情報取得部で取得された所在位置情報と、今回の音声入力時に前記位置情報取得部で取得された所在位置情報とを比較し、前回の音声入力時から今回の音声入力時までの間に利用者が所定の距離以上移動したかを確認する位置確認部とをさらに備えた、請求項１に記載の音声認証システム。
8. 前記複数回の音声入力で受け付けられたキーワードの部分の全てについて、前記類似度計算部で求められた類似度を統合して統合類似度を求める類似度統合部をさらに備え、
   前記認証判定部が、前記類似度統合部により求められた統合類似度に基づいて認証を受理するか棄却するかを判定する、請求項１に記載の音声認証システム。
9. 前記入力部が、利用者の携帯端末より音声入力を受け付ける、請求項１に記載の音声認証システム。
10. キーワードを音声入力させて認証を行うテキスト依存型の音声認証システムを具現化するコンピュータプログラムであって、
    発声が可能な単位を最小単位として複数の部分に分割されたキーワードの音声入力を、前記部分毎に時間間隔をおいて複数回にわたって受け付ける入力処理と、
    １回の音声入力で受け付けられたキーワードの部分から、当該部分に含まれる音声の特徴量を求める特徴量変換処理と、
    利用者のキーワードが、前記発声が可能な単位で作成された話者モデルとして予め登録された話者モデル格納部を参照し、前記特徴量変換処理で求められた特徴量と、前記話者モデルとの類似度を求める類似度計算処理と、
    前記類似度計算処理で求められた類似度に基づき、前記複数回の音声入力により発声内容を判定する発声内容判定処理と、
    前記複数回の音声入力の発声内容が過不足なく登録キーワードを構成しうるか否かを判定するキーワード確認処理と、
    前記キーワード確認処理による判定結果と、前記類似度計算処理で求められた類似度とに基づき、認証を受理するか棄却するかを判定する認証判定処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images