JP2007127891A

JP2007127891A - 発話主体同定装置及びコンピュータプログラム

Info

Publication number: JP2007127891A
Application number: JP2005321351A
Authority: JP
Inventors: Mokhtari Parham; パーハム・モクタリ; Tatsuya Kitamura; 達也北村; Hironori Takemoto; 浩典竹本; Seiji Adachi; 整治足立; Kiyoshi Honda; 清志本多
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2005-11-04
Filing date: 2005-11-04
Publication date: 2007-05-24
Anticipated expiration: 2025-11-04
Also published as: US7617102B2; US20070106511A1; JP4556028B2

Abstract

【課題】個人の発話器官の形状を反映し個人の同定を短時間に行なう装置を提供する。
【解決手段】装置は、ある音素を発話中の発話者の声道形状を表すＭＲＩデータ３０及び音声データ３２と、発話中の話者の音声データとに基づいて話者を同定する装置であり、複数の発話者について声道形状の主成分分析を行なうＰＣＡ分析部６０と、発話者の各々につき音声データからケプストラム係数を算出するケプストラム算出部６４と、複数の発話者の各々の声道形状を主成分ベクトルの線形和で近似するための主成分係数を算出する主成分係数算出部６７と、複数の発話者の各々に対しケプストラム係数の線形和で主成分係数を推定するための回帰係数３６を決定する重回帰分析処理部６８と、同定時に、発話者の音声データより得たケプストラム係数と回帰係数３６から主成分係数を推定し、複数の発話者から得ておいた係数と比較して同定を行なう同定処理装置とを含む。
【選択図】図２

Description

この発明は発話主体の音声に基づいて発話主体を同定又は認証（以下単に「同定」と呼ぶ。）する発話主体同定技術に関し、特に、複数の候補者の中から最も可能性の高い者を発話主体として同定する発話主体同定装置に関する。

社会生活において情報の持つ意味が大きくなるに従い、情報の窃取、携帯電話の不正使用等、情報に関連する問題が多発するようになっている。こうした問題に対処するために、コンピュータ、銀行の全自動現金受払機、携帯電話等の機器において、使用者が正当な使用者か否か、使用者が誰かを判定する技術、すなわち個人同定技術が求められている。

使用者が正当な者か否かを判定する技術として、最近はバイオメトリクス情報を用いたものが増えている。例えば指紋、手のひらにおける静脈の分布、虹彩の文様などがその典型的なものである。こうした情報は、人により異なり、かついわゆる「なりすまし」を行なうことがむずかしいという特徴がある。

しかし、こうした情報により個人を同定するためには、専用のハードウェアが必要になることが多い。従って、システムが高価になりやすいという欠点がある。

バイオメトリクス情報の一つに、音声情報がある。音声情報は、個人の同定に従来から使用されている。音声は、個人の発話器官の形状的特長をよくあらわしており、従って個人の同定には好適であると思われる。

音声を用いた従来の技術として、特許文献１に開示の声紋と呼ばれる情報を用いて個人を識別する声紋認証システムがある。この声紋認証システムでは、予めユーザの声紋を登録しておき、認証時には、入力された音声の声紋と、登録されていた声紋とを照合して認証すべきか否かを判定する。従ってこの場合の声紋認証は、声紋による個人の識別技術であるということもできる。
特開2004-258845号

声紋は、基本的には音声信号に含まれる周波数分布（スペクトル）の時間的変化をグラフ化したものである。そのため、声紋を照合する作業を機械化する場合、同定処理対象の音声のスペクトルを時系列で算出し、それらスペクトルから算出される所定の音響特徴量の時系列を照合作業に用いることになる。

このような手法は、音響特徴量の個人間の差異と発話器官の個人間の差異とが一対一の関係であるという前提に立つ限り、機能するものと考えられる。しかし、そのような前提が常に成立することについての保証はない。むしろ、発話器官としての声道について、異なる声道形状から同様の音響特徴を持つ音声が生成されることもあることが知られている。そうした場合、同定を正しく行なうことができない可能性がある。また、スペクトルの時系列を扱うので、処理するデータ量が多くなり、処理に時間を要するという問題もある。

従って、個人の発話器官の形状をより確実に反映した形で、発話主体の同定処理を短時間に行なうことができる発話主体同定装置が求められている。

それゆえに本発明の目的は、個人の発話器官の形状をより確実に反映した形で、個人の同定を短時間に行なうことができる発話主体同定装置を提供することである。

本発明の第１の局面に係る発話主体同定装置は、所定の音素を発話中の発話主体の声道形状を表す所定の声道形状パラメータ及び当該音素の発話時の発話主体の音声データと、当該所定の音素を発話中の同定処理対象者の音声データとに基づいて、同定処理対象者を同定するための発話主体同定装置であって、複数の発話主体について、声道形状パラメータに対する主成分分析を行ない、声道形状パラメータの平均値及び声道形状パラメータの発話主体による変動を説明する主成分ベクトルのうちの上位の所定個数を算出するための主成分分析手段と、複数の発話主体の各々について、所定の音素を発話中の音声データに対する音響分析を行ない、所定の複数の音響特徴量を算出するための音響特徴量算出手段と、複数の発話主体の各々の声道形状パラメータについて、所定個数の主成分ベクトルの線形和で近似するための主成分係数を算出するための主成分係数算出手段と、複数の発話主体の各々に対し、音響特徴量算出手段により算出された複数の音響特徴量の線形和で、当該発話主体について主成分係数算出手段により算出された主成分係数を推定するための係数系列を重回帰分析により決定するための重回帰分析手段と、所定の音素を発話中の同定処理対象者の音声データから音響特徴量算出手段により算出されるものと同じ複数の音響特徴量を算出し、当該複数の音響特徴量に対し回帰分析手段により算出された係数系列を適用した線形和により、同定処理対象者の声道形状パラメータを算出するための主成分係数を推定するための推定手段と、推定手段により推定された主成分係数と主成分係数算出手段により複数の発話主体の各々に対し算出された主成分係数とを比較することにより、同定処理対象者の同定を行なうための同定手段とを含む。

主成分分析手段は、複数の発話主体の所定の音素の発話時の声道形状を表す声道形状パラメータに対する主成分分析を行なう。各発話主体の声道形状は、その結果得られる上位の所定個数の主成分ベクトルの線形和で近似できる。そのための主成分係数が主成分係数算出手段により算出される。音響特徴量算出手段は、複数の発話主体について、声道形状パラメータを得たときと同じ音素について発話した際の音声データに対する音響分析を行なう。その結果、所定の複数の音響特徴量が得られる。重回帰分析手段は、各発話主体に対して算出された音響特徴量の線形和で、当該発話主体に対して算出された主成分係数を推定するための係数系列を重回帰分析により決定する。同定処理時には、同定処理対象者の音声データに対し、音響特徴量算出手段により音響特徴量を算出する。この音響特徴量に対し、重回帰分析手段により決定された係数系列による線形和を適用することにより、推定手段が同定処理対象者の声道形状パラメータを主成分ベクトルで近似する際の主成分係数を推定する。同定手段は、この主成分係数と、主成分係数算出手段により算出された主成分係数とを比較することにより、同定処理対象者を複数の発話主体の中から同定する。

同定処理時には同定処理対象者の音声データのみが必要であり、声道形状パラメータは必要とされない。この音声データにより、声道形状パラメータを算出するための主成分係数を算出し、その結果で同定処理対象者が同定される。音声データのみにより同定を行なう場合と異なり、声道形状を推定した結果によって同定を行なうため、音声と声道形状との間の対応関係のあいまいさが削減され、従来よりも信頼性の高い同定処理が行なえる。またスペクトルそのものでなく、主成分係数で同定処理を行なうため、処理に要する時間が削減できる。その結果、個人の発話器官の形状をより確実に反映した形で、個人の同定を短時間に行なうことができる発話主体同定装置を提供できる。

好ましくは、音響特徴量算出手段は、複数の発話主体の各々について、所定の音素を発話中の音声データに対するケプストラム分析を行ない、所定の次数までのケプストラム係数を音響特徴量として算出するためのケプストラム算出手段を含む。

ケプストラム係数は音響処理に多用される、音響的特徴をよく現すものとして知られた音響特徴量であり、その算出手法は確立されている。そのためのツール（コンピュータ用プログラム群）も容易に入手できる。従って、容易に信頼性の高い同定処理を実現できる。

より好ましくは、音響特徴量算出手段は、複数の発話主体の各々について、所定の音素を発話中の音声データに対するケプストラム分析を行ない、所定の次数までのケプストラム係数を算出するためのケプストラム算出手段と、ケプストラム算出手段により複数の発話主体の各々について算出された所定の次数までのケプストラム係数に対し主成分分析を行ない、所定の次数までのケプストラム係数の、発話主体による変動を説明するための主成分ベクトルを算出し、複数の発話主体の各々について当該主成分ベクトルにより所定の次数までのケプストラム係数を近似するための主成分係数を音響特徴量として算出するための手段とを含む。

ケプストラム係数は、前述のように音響処理で多用された信頼性の高い特徴量である。さらにこれらに対する主成分分析によってケプストラム係数を近似するための主成分係数を算出する。上位の限定された個数の主成分係数により、発話主体によるケプストラム係数の変動がよく説明されるため、重回帰分析処理で扱うデータの個数が減少でき、処理が簡略化される。

声道形状パラメータは、所定の音素を発話中の発話主体の声道断面関数を含んでもよいし、所定の音素を発話中の発話主体の声道断面幅関数を含んでもよい。

声道形状パラメータとして、声道断面積関数を用いると、発話者の発話時の声道形状を精度高く近似できる。声道断面幅関数を用いると、使用するデータ量が削減でき、処理を簡略化できる。

好ましくは、同定手段は、推定手段により算出された主成分係数と、複数の発話主体の各々に対し主成分係数算出手段により算出された主成分係数との間に定義される所定の距離関数の値を算出するための距離算出手段と、複数の発話主体のうち、距離算出手段により算出された距離が最も小さい発話主体として同定処理対象者を同定するための手段とを含む。

主成分係数により主成分ベクトル空間内で特定される点の間の距離は、それら点に対応する声道形状の間の相違量に対応すると考えられる。その結果、この距離が最も小さいものを用いて同定を行なうことにより、同定処理対象者の声道形状と最もよく似た声道形状を持つ発話主体を特定できる。

より好ましくは、同定処理対象者を同定するための手段は、距離算出手段により算出された距離のうちの最短距離を特定するための手段と、最短距離が所定のしきい値に対し所定の関係を充足するか否かを判定するための手段と、判定するための手段により最短距離がしきい値以下であると判定されたことに応答して、最短距離を与える発話主体として同定処理対象者を同定するための手段と、判定するための手段により最短距離がしきい値より大きいと判定されたことに応答して、同定ができないことを示す処理を実行するための手段とを含む。

最短距離が所定のしきい値より大きい場合には、同定処理対象者の声道形状と十分類似した声道形状を持った発話主体がいないことになる。この場合には同定ができないことを示す処理を実行することにより、誤った同定を行なう危険性が小さくなる。

本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを上記したいずれかの発話主体同定装置として動作させるコンピュータプログラムである。

このコンピュータプログラムをコンピュータで実行することにより、上記した発話主体同定装置を実現できる。その結果、上記した発話主体同定装置による効果と同様の効果を得ることができる。

以下に説明する実施の形態は、ＭＲＩ（ｍａｇｎｅｔｉｃｒｅｓｏｎａｎｃｅｉｍａｇｉｎｇ：核磁気共鳴画像法）により得られた発話中の発話者の声道形状の特徴量と、発話の音声信号から得られた音響特徴量との関係を用いて、音響特徴量から声道形状の特徴量を推定するための関係式を求めるというものである。同定時には、同定処理対象者の音声から得た音響特徴量に基づき、当該関係式を用いて同定処理対象者の声道形状の特徴量を推定し、予め登録しておいた発話者の声道形状の特徴量と比較することにより発話者を識別し、同定するというものである。

なお、声道形状を現すものとしては、例えば声道断面積関数又は声道断面幅関数を用いることができる。声道断面積関数とは、声道の中心線を考え、声道中心線上のある点における声道の断面積を、その点の、声門からの距離の関数として表したものである。声道断面積関数により、声道形状が具体的に規定されるので、同定処理の精度が高くなることが期待される。声道断面幅関数とは、人体の正中矢状断面において、声道中心線上のある点における声道の幅（声道中心線と直交する方向の声道の幅）を、声紋からその点までの距離の関数として表したものである。声道形状を現すものとして、声道断面積関数と比較するとデータ量は少なくて済み、必要な処理も簡略となる。

また、以下の実施の形態では、声道形状の特徴量を求めるためにＭＲＩ画像データを用いる。しかし、本発明はそのような実施の形態には限定されず、声道形状を知ることができる手段であればどのようなものを用いてもよい。例えばＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ：コンピュータ断層法）など、生体内の３次元形状を撮像可能な装置によるデータを用いることも可能である。

［第１の実施の形態］
＜構成＞
図１に、本発明の第１の実施の形態に係る音声による発話者同定システム２０のブロック図を示す。図１を参照して、発話者同定システム２０は、複数の登録対象者の各々について、所定の音素の発話時の声道形状を撮影したＭＲＩデータを記憶するためのＭＲＩデータ記憶部３０と、ＭＲＩデータの撮影時と近接したとき（可能なら同時）に、撮影時の発話から得られた音声データを記憶するための音声データ記憶部３２と、ＭＲＩデータ記憶部３０に記憶された複数の登録対象者のＭＲＩデータと、音声データ記憶部３２に記憶された各登録対象者の音声データとに基づいて、これら複数の登録対象者を識別するための参照データと、同定処理時の同定処理対象者の音声の音響特徴量から当該同定処理対象者の声道形状関数を推定する際に使用する回帰係数とを求め、それぞれ出力するための同定用データ作成装置３４とを含む。

本実施の形態では、同定用データ作成装置３４は、複数の登録対象者のＭＲＩデータから声道形状を表す関数（以下「声道形状関数」と呼ぶ。）を求め、それらに対する主成分分析（以下「ＰＣＡ」）により、登録対象者の個人的差異に基づく声道形状の変動に主として貢献している主成分を求める。ＭＲＩデータ記憶部３０は各登録対象者の声道形状をこれら主成分の線形和として表すための係数をさらに算出する。この係数が、各登録対象者を同定し認証するための参照データとして用いられる。本実施の形態では第１主成分（ＰＣＩ）及び第２主成分（ＰＣＩＩ）を用いる。

同定時には、同定処理対象者のＭＲＩを撮影することはできない。従って、本実施の形態では、より簡便に利用できる音声を用いる。参照データは、各登録対象者の声道形状を主成分の線形和で表すための係数である。従って、発話者の音声の音響特徴量から何らかの形でこの係数を推定する必要がある。本実施の形態では、同定用データ作成装置３４は、登録対象者の音声からケプストラム係数を算出し、登録対象者の参照データである主成分係数を、このケプストラム係数の線形和として表すための係数を、複数の登録対象者から得たデータを用いた重回帰分析により求める。ケプストラム係数は音響処理に多用される、音響的特徴をよく現すものとして知られた音響特徴量であり、その算出手法は確立されている。そのためのツールも容易に入手できる。従って、以下の同定処理の信頼性を高くすることができ、装置の作成も簡略となる。

発話者同定システム２０はさらに、同定用データ作成装置３４が算出した回帰係数を記憶するための回帰係数記憶部３６と、同定用データ作成装置３４が作成した参照用データを記憶するための参照データベース（以下「参照ＤＢ」と呼ぶ。）３８とを含む。同定処理対象者の音声に対してケプストラム分析を行なってケプストラム係数を算出し、このケプストラム係数に対し、回帰係数記憶部３６に記憶された回帰係数を係数とする線形和を計算することにより、同定処理対象者の同定（認証）発話時の声道形状関数を主成分で表すための主成分係数を推定できる。この主成分係数を、参照データベース３８に記憶された複数の登録対象者の主成分係数と比較することにより、登録対象者の中から同定処理対象者４０を同定することができる。

本実施の形態では、発話者同定システム２０はさらに、同定処理対象者４０の音声に対し上記したようなケプストラム分析及び声道形状関数のための主成分係数の算出処理を行ない、さらに、算出された主成分係数を参照データベース３８に記憶された参照データと比較することにより、複数の登録対象者の中から同定処理対象者４０を同定し、同定結果４４を出力するための同定処理装置４２を含む。本実施の形態に係る発話者同定システム２０は、実際には単一のコンピュータでも実現できるし、同定処理装置４２のみを独立のコンピュータとすることもできる。

図２に、同定用データ作成装置３４の詳細なブロック図を示す。図２を参照して、同定用データ作成装置３４は、ＭＲＩデータ記憶部３０に記憶されている複数の登録対象者のＭＲＩデータ（声道形状データ）に対しＰＣＡを行ない、声道形状データに関する平均値とＰＣＩ及びＰＣＩＩとを出力するためのＰＣＡ分析部６０と、ＰＣＡ分析部６０により得られた平均値とＰＣＩ及びＰＣＩＩとを記憶するための主成分記憶部６２と、主成分記憶部６２に記憶された平均値とＰＣＩ及びＰＣＩＩとを用い、ＭＲＩデータ記憶部３０に記憶された各登録対象者の声道形状データをＰＣＩ及びＰＣＩＩの線形和で表すための第１及び第２の主成分係数を算出し参照データベース３８に格納するための主成分係数算出部６７とを含む。

同定用データ作成装置３４はさらに、音声データ記憶部３２に記憶された各登録対象者の音声データに対しケプストラム分析を行ない、所定次数までのケプストラム係数を出力するためのケプストラム算出部６４と、ケプストラム算出部６４により各登録対象者について算出されたケプストラム係数を記憶するためのケプストラム係数記憶部６６と、ケプストラム係数記憶部６６に記憶された各登録対象者のケプストラム係数の線形和で、主成分係数算出部６７により算出された、対応する登録対象者の主成分係数を算出するための係数を重回帰分析により求め、回帰係数記憶部３６に格納させるための重回帰分析処理部６８とを含む。

ここで、登録対象者がｍ人、算出されるケプストラム係数がｎ次までとすると、重回帰分析処理部６８の行なう処理は、次の回帰式から係数α_j及びβ_j（１≦ｊ≦ｎ）を決定することである。

ただしＰＣＩ_i及びＰＣＩＩ_iはそれぞれ、ｉ番目の登録対象者の声道形状関数を第１主成分と第２主成分との線形和で表す際の第１主成分及び第２主成分の主成分係数を表す。Ｃ_ijはｉ番目の登録対象者の音声から得た第ｊ次ケプストラム係数である。

図３に、同定処理装置４２の詳細なブロック図を示す。図３を参照して、同定処理装置４２は、同定処理対象者４０の同定処理時に入力される音声データ８０から、第ｎ次までのケプストラム係数を算出するためのケプストラム算出部８２と、ケプストラム算出部８２から出力される第ｎ次までのケプストラム係数に対し、回帰係数記憶部３６に記憶された回帰係数による線形和を適用し、同定処理対象者４０の発話時の声道形状関数を主成分で表すための主成分係数ＰＣＩ及びＰＣＩＩを第１主成分及び第２主成分に対し推定するための主成分係数推定部８４とを含む。

同定処理装置４２はさらに、主成分係数ＰＣＩ及びＰＣＩＩが張る空間内において、主成分係数推定部８４により算出された主成分係数の組により定まる点と、参照データベース３８に記憶された各登録対象者のための主成分係数の組により定まる点との間のユークリッド距離を各登録対象者に対し算出するための距離算出部８６と、距離算出部８６により算出された距離のうち、最短のものがどれかを判定し、その距離に対応する登録対象者を同定処理対象者４０として同定し同定結果４４を出力するための最短距離判定部８８とを含む。なお、図３には図示していないが、最短距離判定部８８は、距離算出部８６により算出された距離のうち最短のものが、所定のしきい値より大きい場合には、同定処理対象者４０に該当する登録対象者はいないものとみなし、失敗を示す同定結果４４を出力するものとする。

上記実施の形態では、同定処理には母音の発話を用いる。母音を発話しているときの声道形状は一般的に安定していることが知られており、声道形状が不安定であるために生ずる同定誤りが少なくなることが期待されるためである。ＭＲＩデータを撮影しているときには、所定の母音を発話し、そのときの声道形状を撮影する。音声データ記憶部３２には、このときの音声を記憶する。周知のようにＭＲＩ画像を撮影するときにはＭＲＩ機器から大きな音が発生する。従ってＭＲＩ画像と全く同時にそのときの発話音声を良好に録音することは難しい。しかし、ＭＲＩ画像の撮影の直前から登録対象者が発声を始めるようにし、撮影が終了した後にも所定時間発声を継続し、その間に音声を録音するようにすることにより、ＭＲＩ画像撮影時の声道形状とほぼ一致する声道形状のときの良好な音声データを得ることができる。

上記した母音は、全登録対象者に対し共通の一つの母音である。さもないと同じ条件での照合が行なえない。しかし、全登録対象者によって複数の母音による発話時のＭＲＩデータと音声データとを取得し、母音ごとに区別して同定処理を行なうこともできる。

例えば、３人の登録対象者（話者）の各々から、３つの母音について上記した処理で音響データを取得したときについて図４を参照して説明する。図４では、図面及び説明を簡略にするために、３人の話者に３つの母音を発声させて得た音声から第２次までのケプストラム係数を算出し、それらケプストラム係数を主成分分析した結果の例を示している。図４において、横軸は第１次のケプストラム係数、縦軸は第２次のケプストラム係数を示す。

図４を参照して、一般的に、異なる母音についてはケプストラムの値は互いに異なる。従って、同じ母音について複数の話者から得たケプストラム係数は図４に示す領域１００、１０２及び１０４に示すように比較的小さな領域にそれぞれまとまるが、異なる母音についてのこれら領域は互いに大きく離れることになる。これら領域１００、１０２及び１０４の各々について主成分分析を行なうことにより、異なる母音について、独立に上記した同定処理のためのデータを準備できる。そこで、例えば同定処理時にはランダムに母音を選択し、その母音を同定処理対象者に発声させ、その結果と、当該母音について予め準備しておいた回帰係数記憶部３６及び参照データベース３８を用いて同定処理を行なうことができる。

図５に、図３に示す距離算出部８６での距離算出と、最短距離判定部８８での最短距離判定との原理を概略的に示す。図５においても、図面及び説明を簡略にするために、登録対象者が第１の話者から第３の話者までの３人、使用するケプストラム係数は第２次までとしている。

図５を参照して、第１〜第３の話者のある音声の発話から得た第１次及び第２次のケプストラム係数により、それぞれ点１２０、１２２及び１２４がこのケプストラム係数空間で定まる。これらに対する主成分分析を行なうことにより、第１主成分に対応する第１主成分軸１１０と、第２主成分軸１１２とがこの空間内に規定される。

同定処理対象者の音声データから得たケプストラム係数により、点１３０が定まる。距離算出部８６での処理は単純である。すなわち、距離算出部８６は、この点１３０と、点１２０、１２２及び１２４との間の距離Ｌ１、Ｌ２及びＬ３をそれぞれ算出する。最短距離判定部８８は、これら距離Ｌ１、Ｌ２及びＬ３を互いに比較し、最も値の小さな距離を選択する。図５に示す例ではＬ２＜Ｌ３＜Ｌ１であるから、最短距離判定部８８はＬ２を選択する。最短距離判定部８８はさらに、同定処理対象者がこの距離Ｌ２に対応する話者、すなわち第２の話者である、と判定し判定結果を出力する。ただし前述の通り、この最短距離があるしきい値より大きいと同定処理失敗という判定を行なう。

なお、音声データからケプストラム係数を算出する際には、音声データのうちで最もよい性能が得られるような帯域を予め選択しておく必要がある。そのために、予め次のような処理を行なう。サンプリング周波数の範囲内で複数の周波数帯域を用いて予めテスト用データを用いてケプストラム係数及び主成分係数を算出する。算出された主成分係数を用い、テスト用の同定処理データから主成分を推定する。推定された主成分とテスト用のＭＲＩデータから得られた主成分との間の誤差を算出する。こうして複数の周波数帯域を用いて算出された誤差のうち、最も小さな誤差が得られた周波数帯域を実際の同定でも用いるようにする。

＜コンピュータによる実現＞
上記した実施の形態に係る発話者同定システム２０は、既に述べたようにコンピュータ及び当該コンピュータ上で実行されるプログラムにより実現できる。ただしＭＲＩデータと、ＭＲＩデータ取得時の登録対象者の発話の音声データとは与えられるものとする。また、同定処理には音声データの取得を行なうことが必要であるが、市販されているコンピュータでは音声関係の処理をするための機能が実装されていることが大半であるから、市販のコンピュータを用いることができる。

図６に、上記した同定用データ作成装置３４を実現するためのプログラムのフローチャートを示す。図６を参照して、ステップ１４０で繰返制御変数ｉに０が代入される。これは初期化処理の一部である。

ステップ１４２で、変数ｉの値が、予め定められた最大繰返回数ＭＡＸ_iより大きいか否かが判定される。結果がＹＥＳであればステップ１５４に進む。ＮＯであればステップ１４４に進む。なお、最大繰返回数ＭＡＸ_iは、処理対象として選択された周波数帯域の数を示す。

ステップ１４４では、予めテストで使用する複数の周波数帯域の下限及び上限を格納した配列ＦＬＯＷ及びＦＨＩＧＨのｉ番目の要素（これらをそれぞれＦＬＯＷ［i］及びＦＨＩＧＨ［ｉ］とする。）が読出され、周波数帯域ＦＬＯＷ［i］−ＦＨＩＧＨ［ｉ］で、テスト用データのケプストラム係数が算出される。

ステップ１４６では、算出されたケプストラム係数を用い、既知のＭＲＩデータから得られた声道形状関数の主成分をケプストラム係数の線形和で求めるための係数を重回帰分析により求める。こうして得られたケプストラム係数とステップ１４４で算出されたケプストラム係数とに基づき、ステップ１４８でケプストラム係数の線形和によって主成分係数を算出し、元の主成分係数との間の誤差を求める。ステップ１５０で、こうして得られた誤差を誤差記憶用の配列のｉ番目の要素として記憶する。

ステップ１５２では変数ｉの値を１インクリメントする。制御はステップ１４２に戻る。

ステップ１４２での判定の結果、変数ｉの値が最大繰返回数ＭＡＸｉより大きいと、ステップ１５４において今まで算出され配列に記憶された誤差のうち、最小のものがどれかが判定される。そして、最小の誤差を与える回帰係数が出力される。

こうすることにより、最も精度の高い結果が得られる周波数帯域を用いて同定処理を行なうことができる。

図７に、同定処理時の同定処理装置４２を実現するためのプログラムのフローチャートを示す。図７を参照して、ステップ１８０でまず乱数を発生させる。発生した乱数に基づき、予め定められた複数の母音のうちどの母音を同定処理に用いるかを決定する。

ステップ１８２において、決定された母音の参照データを参照データベース３８（図１参照）から取得する。続いてステップ１８４において、決定された母音に対応する回帰係数を回帰係数記憶部３６（図１参照）より取得する。

ステップ１８６で、発声すべき母音を同定処理対象者に提示する。この提示は、画面へのメッセージの表示又は音声による提示のいずれでもよい。

ステップ１８８で、同定処理対象者による、指定された母音の発話の音声データを取得する。ステップ１９０で、この音声からケプストラム係数を算出する。ステップ１９２で、このケプストラム係数と、ステップ１８４で取得された回帰係数とにより、ケプストラム係数の線形和を計算する。この計算により、同定処理対象者の母音発声時の声道形状関数を主成分の線形和で表すための主成分係数が推定される。ステップ１９４で、こうして推定された主成分係数により、主成分ベクトルが張る空間内で定まる点と、参照データにより定まる点との間の距離が算出される。

ステップ１９６では、こうして算出された距離のうち最短距離を決定し、さらにこの最短距離が所定のしきい値より小さいか否かが判定される。最短距離がしきい値より小さければステップ１９８に進み、さもなければステップ２００に進む。

ステップ１９８では、同定処理対象者は、最短距離を与える点に対応する登録対象者であるものとして、同定成功時の処理が実行される。一方ステップ２００では、登録対象者のうち、同定処理対象者に相当する者はいないものとして、同定失敗を示す処理、例えば認証失敗を示すメッセージを出力する処理を行なう。

＜コンピュータハードウェア＞
図８に、本実施の形態に係る同定処理装置４２を実現するためのコンピュータシステム２１０の外観図を、図９にコンピュータシステム２１０のブロック図を、それぞれ示す。なおここに示すコンピュータシステム２１０はあくまで一例であり、この他にも種々の構成が可能である。

図８を参照して、コンピュータシステム２１０は、ノート型のパーソナルコンピュータ（以下「ノートパソコン」と呼ぶ。）２１２と、このノートパソコン２１２の音声入出力のための端子に接続されたマイクロフォン２８４とを含む。ノートパソコン２１２は、キーボード２８６、及びカーソル移動用の静電感知パッド２８８を有する第１の筐体２２０と、第１の筐体２２０の上面の一辺を中心として回動可能に第１の筐体２２０に取付けられた、液晶表示装置２８２を持つ第２の筐体２２２とを含む。コンピュータ２１２にはさらに、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）３０２を装着可能なＤＶＤドライブ２９０が内蔵されている。

図９を参照して、ノートパソコン２１２はさらに、ＤＶＤドライブ２９０に接続されたバス３０６と、いずれもバス３０６に接続された中央演算装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）２９６、ノートパソコン２１２のブートアッププログラムなどを記憶したＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）２９８、ＣＰＵ２９６が使用する作業エリア及びＣＰＵ２９６により実行されるプログラムの格納エリアを提供するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３００、及び前述した回帰係数記憶部３６、参照データベース３８、ＭＲＩデータ記憶部３０、音声データ記憶部３２、主成分記憶部６２、ケプストラム係数記憶部６６等として動作するハードディスク２９４と、バス３０６に接続され、半導体メモリ３０４が装着されるメモリドライブ２９２と、マイクロフォン２８４に接続され、音声アナログ信号をデジタル化する処理等を行なうためのサウンドボード３０８とを含む。

上記した実施の形態のシステムを実現するソフトウェアは、たとえば、ＤＶＤ３０２又は半導体メモリ３０４のような記録媒体上に記録されて流通し、ＤＶＤドライブ２９０又はメモリドライブ２９２のような読取装置を介してノートパソコン２１２に読込まれ、ハードディスク２９４に格納される。ＣＰＵ２９６がこのプログラムを実行する際には、ハードディスク２９４からこのプログラムを読出してＲＡＭ３００に格納し、図示しないプログラムカウンタによって指定されるアドレスから命令を読出して実行する。ＣＰＵ２９６は、処理対象のデータをハードディスク２９４又は半導体メモリ３０４のような記憶装置から読出し、処理結果を同じくハードディスク２９４又は半導体メモリ３０４のような記憶装置に格納する。

ノートパソコン２１２の動作自体は周知であるので、ここではその詳細については繰返さない。

なお、ソフトウェアの流通形態は上記したように記憶媒体に固定された形には限定されない。たとえば、ネットワークを通じて接続された他のコンピュータからデータを受取る形で流通することもあり得る。また、ソフトウェアの一部が予めハードディスク２９４中に格納されており、ソフトウェアの残りの部分をネットワーク経由でハードディスク２９４に取込んで実行時に統合するような形の流通形態もあり得る。

一般的に、現代のプログラムはコンピュータのオペレーティングシステム（ＯＳ）又はいわゆるサードパーティ等によって提供される汎用の機能を利用し、それらを所望の目的に従って組織化した形態で実行することにより前記した所望の目的を達成する。従って、以下に述べる本実施の形態の各機能のうち、ＯＳ又はサードパーティが提供する汎用的な機能を含まず、それら汎用的な機能の実行順序の組合せだけを指定するプログラム（群）であっても、それらを利用して全体的として所望の目的を達成する制御構造を有するプログラム(群)である限り、それらが本発明の技術的範囲に含まれることは明らかである。

＜動作＞
上記した発話者同定システム２０は以下のように動作する。発話者同定システム２０の動作には二つのフェーズがある。第１のフェーズではＭＲＩデータと音声データから回帰係数を算出し、同時に参照データベース３８を作成する。第２のフェーズでは、第１のフェーズで作成された回帰係数と参照データベース３８とを用い、同定処理対象者４０の同定を行なう。

第１のフェーズでは発話者同定システム２０は以下のように動作する。なお、ＭＲＩデータ記憶部３０及び対応する音声データ記憶部３２は予め準備されているものとする。

図２を参照して、ＰＣＡ分析部６０が、ＭＲＩデータ記憶部３０に格納された各ＭＲＩデータから、各登録対象者の声道形状関数を算出し、それらに対する主成分分析を行なう。その結果、声道形状関数の平均値と第１及び第２主成分とが得られる。これらは主成分記憶部６２に記憶される。

主成分係数算出部６７が、主成分記憶部６２に記憶された平均値及び主成分、並びにＭＲＩデータ記憶部３０に記憶されたＭＲＩデータに基づき、各登録対象者の声道形状関数を主成分の線形和で表すための主成分係数を算出し、参照データベース３８に参照データとして格納する。

一方、ケプストラム算出部６４は、音声データ記憶部３２に格納された各登録対象者の音声データの各々から、所定次数までのケプストラム係数を算出する。なお、ここでは詳細は繰返さないが、実際には複数の周波数帯域についてこの処理を繰返し、最終的に最もよい結果を与える周波数帯域で算出されたケプストラム係数を用いるようにするとよい。

各登録対象者に対し算出されたケプストラム係数は、ケプストラム係数記憶部６６に記憶される。

重回帰分析処理部６８は、ケプストラム係数記憶部６６に記憶された各登録対象者に対するケプストラム係数の線形和で主成分係数算出部６７に記憶された各登録対象者のための主成分係数を得るための主成分係数を、重回帰分析により算出する。算出された回帰係数は回帰係数記憶部３６に記憶される。

以上で第１のフェーズは終了である。

第２のフェーズは同定処理フェーズである。図３を参照して、同定処理対象者４０から、所定の母音の音声データ８０が与えられると、ケプストラム算出部８２はその音声データ８０からケプストラム算出部６４と同じ周波数帯域を用いて同じ次数までのケプストラム係数を算出する。このケプストラム係数は主成分係数推定部８４に与えられる。

主成分係数推定部８４は、回帰係数記憶部３６に記憶された回帰係数を用い、ケプストラム算出部８２から与えられたケプストラム係数の線形和を計算し、同定処理対象者の主成分係数を推定する。推定された主成分係数は距離算出部８６に与えられる。

距離算出部８６は、主成分係数推定部８４から与えられた主成分係数により、主成分ベクトルが張る空間内に定められる点と、参照データベース３８に記憶された各登録対象者の主成分係数により定められる点との間のユークリッド距離を算出する。距離算出部８６は、算出されたユークリッド距離に、対応する登録対象者を特定する情報を付して最短距離判定部８８に与える。

最短距離判定部８８は、与えられた距離のうちの最短距離で、かつ所定のしきい値以下のものがあれば、その距離に対応する登録対象者を特定する情報を同定結果４４として出力する。もし上記した条件を満足する距離がなければ、最短距離判定部８８は同定失敗を示す同定結果４４を出力する。

以上が第２のフェーズにおける発話者同定システム２０の動作である。

以上のように、本実施の形態によれば、同定処理には基本的に声道形状関数を用いる。従って、音声のみを用いて話者の同定処理をする場合と比較して、音声と声道形状との間の対応関係のあいまいさに起因する識別処理のあいまいさが小さくなり、より確実な同定処理を行なうことが可能になる。また、同定には同定処理対象者の音声を用いるので、特別な機器は必要なく、通常の音声入出力を持つコンピュータで実現できる。同定には主成分係数を用いるので、声道面積関数を用いる場合と比較して回帰係数記憶部３６及び参照データベース３８に記憶させるべきデータ量も少なくて済み、簡略なシステムで利用者の同定処理を行なうことができる。

なお、上記実施の形態では、音声データから得たケプストラム係数を用い、声道形状関数の主成分係数を得るための重回帰分析を行なっている。しかし本発明はそのような実施の形態には限定されず、音声データから得られる別の音響特徴量を用いてもよい。また、算出されたケプストラム係数をそのまま重回帰分析に用いるのではなく、一旦ケプストラム係数に対し主成分分析を行ない、ケプストラム係数の平均値とケプストラム係数の主成分とを求め、さらに各話者から得たケプストラム係数を主成分の線形和で近似するための主成分係数に変換してから重回帰分析を行なうようにしてもよい。この場合、同定処理時にも同定処理対象者の音声に対し同様の処理をする必要がある。

ケプストラム係数に対する主成分分析を行なう場合、照合処理には主成分係数を使用するだけである。従って、ケプストラム係数をそのまま使用する場合と比較して、処理が簡略化される。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。

本発明の一実施の形態に係る発話者同定システム２０の概略構成を示すブロック図である。図１に示す同定用データ作成装置３４のより詳細なブロック図である。図１に示す同定処理装置４２のより詳細なブロック図である。複数の母音と複数の話者とに対する声道形状関数の主成分分析結果を示す図である。同定処理の原理を示す図である。同定用データ作成装置３４をコンピュータで実現するためのプログラムのフローチャートである。同定処理装置４２をコンピュータで実現するためのプログラムのフローチャートである。発話者同定システム２０を実現するコンピュータシステム２１０の概観を示す図である。図８に示すコンピュータシステム２１０の構成を示すブロック図である。

符号の説明

２０発話者同定システム
３２音声データ記憶部
３４同定用データ作成装置
３６回帰係数記憶部
３８参照データベース
４０同定処理対象者
４２同定処理装置
４４同定結果
６０ＰＣＡ分析部
６２主成分記憶部
６４ケプストラム算出部
６６ケプストラム係数記憶部
６８重回帰分析処理部
８０音声データ
８２ケプストラム算出部
８４主成分係数推定部
８６距離算出部
８８最短距離判定部

Claims

所定の音素を発話中の発話主体の声道形状を表す所定の声道形状パラメータと、前記所定の音素を発話中の前記発話主体の音声データと、当該所定の音素を発話中の同定対象者の音声データとに基づいて、同定処理対象者を同定するための発話主体同定装置であって、
複数の発話主体について、前記声道形状パラメータに対する主成分分析を行ない、前記声道形状パラメータの平均値及び前記声道形状パラメータの発話主体による変動を説明する主成分ベクトルのうちの上位の所定個数を算出するための主成分分析手段と、
前記複数の発話主体の各々について、前記所定の音素を発話中の音声データに対する音響分析を行ない、所定の複数の音響特徴量を算出するための音響特徴量算出手段と、
前記複数の発話主体の各々の前記声道形状パラメータについて、前記所定個数の主成分ベクトルの線形和で近似するための主成分係数を算出するための主成分係数算出手段と、
前記複数の発話主体の各々に対し、前記音響特徴量算出手段により算出された前記複数の音響特徴量の線形和で、当該発話主体について前記主成分係数算出手段により算出された前記主成分係数を推定するための係数系列を重回帰分析により決定するための重回帰分析手段と、
前記所定の音素を発話中の同定処理対象者の音声データから前記音響特徴量算出手段により算出されるものと同じ前記複数の音響特徴量を算出し、当該複数の音響特徴量に対し前記回帰分析手段により算出された係数系列を適用した線形和により、前記同定処理対象者の前記声道形状パラメータを算出するための主成分係数を推定するための推定手段と、
前記推定手段により推定された主成分係数と前記主成分係数算出手段により前記複数の発話主体の各々に対し算出された主成分係数とを比較することにより、前記同定処理対象者の同定を行なうための同定手段とを含む、発話主体同定装置。
前記音響特徴量算出手段は、前記複数の発話主体の各々について、前記所定の音素を発話中の音声データに対するケプストラム分析を行ない、所定の次数までのケプストラム係数を前記音響特徴量として算出するためのケプストラム算出手段を含む、請求項１に記載の発話主体同定装置。
前記音響特徴量算出手段は、
前記複数の発話主体の各々について、前記所定の音素を発話中の音声データに対するケプストラム分析を行ない、所定の次数までのケプストラム係数を算出するためのケプストラム算出手段と、
前記ケプストラム算出手段により前記複数の発話主体の各々について算出された前記所定の次数までのケプストラム係数に対し主成分分析を行ない、前記所定の次数までのケプストラム係数の、発話主体による変動を説明するための主成分ベクトルを算出し、前記複数の発話主体の各々について当該主成分ベクトルにより前記所定の次数までのケプストラム係数を近似するための主成分係数を前記音響特徴量として算出するための手段とを含む、請求項１に記載の発話主体同定装置。
前記声道形状パラメータは、前記所定の音素を発話中の発話主体の声道断面関数を含む、請求項１〜請求項３のいずれかに記載の発話主体同定装置。
前記声道形状パラメータは、前記所定の音素を発話中の発話主体の声道断面幅関数を含む、請求項１〜請求項３のいずれかに記載の発話主体同定装置。
前記同定手段は、
前記推定手段により推定された主成分係数と、前記複数の発話主体の各々に対し前記主成分係数算出手段により算出された主成分係数との間に定義される所定の距離関数の値を算出するための距離算出手段と、
前記複数の発話主体のうち、前記距離算出手段により算出された距離が最も小さい発話主体として前記同定処理対象者を同定するための手段とを含む、請求項１〜請求項５のいずれかに記載の発話主体同定装置。
前記同定処理対象者を同定するための手段は、
前記距離算出手段により算出された距離のうちの最短距離を特定するための手段と、
前記最短距離が所定のしきい値に対し所定の関係を充足するか否かを判定するための手段と、
前記判定するための手段により前記最短距離が前記しきい値以下であると判定されたことに応答して、前記最短距離を与える発話主体として前記同定処理対象者を同定するための手段と、
前記判定するための手段により前記最短距離が前記しきい値より大きいと判定されたことに応答して、同定ができないことを示す処理を実行するための手段とを含む、請求項１〜請求項５のいずれかに記載の発話主体同定装置。
コンピュータにより実行されると、当該コンピュータを請求項１〜請求項７のいずれかに記載の発話主体同定装置として動作させる、コンピュータプログラム。