JP2000148985A

JP2000148985A - 個人認証システム

Info

Publication number: JP2000148985A
Application number: JP32632798A
Authority: JP
Inventors: Yuji Sato; 裕二佐藤; Eiji Ohira; 栄二大平; Shigeo Sumino; 重雄炭野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-11-17
Filing date: 1998-11-17
Publication date: 2000-05-30

Abstract

(57)【要約】【課題】生体情報による個人認証システムにおいて、デ
ータ登録時とできるだけ近い条件下でそれぞれの生体情
報の取得を可能とし、学習サンプルが予め十分得られな
かったとしても、運用中に精度を向上でき、かつ利用者
に認証時の違和感を強く与えることなく上記二つの目的
を実現できるユーザインタフェース機能を提供する。【解決手段】顔画像と声紋など、複数種の生体情報を、
好ましくは複数回取得する手段と、それぞれの種別の生
体情報の登録データと上記各回の入力情報との類似度を
求める手段と、上記類似度からそれぞれの種別の生体情
報について最終的類似度を決定する手段と、上記最終的
類似度から総合的な判定を行う手段と、利用者との対話
手段を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置のセ
キュリテイ向上方法に関する。より詳細には、テレフォ
ンバンキング、インターネットバンキングやインターネ
ットショッピングなどのための情報処理装置における本
人認証精度の向上およびそのためのユーザインタフェー
スの実現方法とそのための装置に関する。

【０００２】

【従来の技術】銀行の預金引き落としや商品の購入など
において、特定の個人を認証するための手段として、磁
気ストライプを有するカード（以下、磁気カードと呼
ぶ）が広く用いられている。キャシュカードにより銀行
の自動預け払い機から現金を引き出す場合、暗証番号に
より本人の特定を行う。情報処理装置内部に格納された
情報の機密保持手段としては、情報へのアクセスに要求
者に対して、パスワードなどの入力でアクセス権限の確
認を行っている。

【０００３】一方、上記個人認証方法に対してセキュリ
テイに関する問題点が指摘されている。例えば、暗証番
号やパスワードが第３者に覚えられたり解読されたりし
た場合、預金が不正に引き出される、あるいは、機密情
報が盗まれる恐れがある。この問題を恐れて複雑な暗証
番号やパスワードにすると、忘却や入力ミスなどの恐れ
がある。

【０００４】そこで、暗証番号やパスワードに代えて、
指紋などの生体情報を用いた個人認証方法およびそのた
めの製品が普及し始めている。生体情報は第３者に盗ま
れる恐れが低く、かつ忘れる心配もないためである。

【０００５】しかし、現在最も製品化の進んでいる指紋
は、指紋の登録が犯罪者を連想させるなど、必ずしも利
用者にとって心象が良くない。また、認証に際して、
「これから認証される」という印象を強く利用者に与え
てしまう。指紋以外で認証精度の高い生体情報として
は、網膜パターンや掌形などもあるが、読み取り装置
が、数十万円〜数百万円と高価になる。

【０００６】利用者に受け入れられ易く、かつ装置が比
較的安価となる生体情報として声紋、顔画像、サインな
どが存在するが、これらの生体情報を用いた個人認証で
は、例えば、データ登録時と認証時との顔とマイク（ま
たはテレビカメラ）との微妙な角度や距離の差から、認
証精度が実用上十分にならないという問題があった。

【０００７】そこで、顔画像と音声の両者から個人認証
を行うアイデアが、磯部俊洋、坂野鋭、劉偉傑：「顔画
像と音声を用いた個人認証方式」，日本音響学会講演論
文集、pp. 71−72（1998. 3）として提案されている。

【０００８】このアイデアを説明するために、まず一般
的な話者認識方式について簡単に説明する。一般的な話
者認識システムに関しては、例えば、古井著：「音響・
音声工学」，近代科学社（1992）のpp. 211−241に詳し
く述べられている。話者認識の形態は、話者識別と話者
照合に分けることができる。

【０００９】図２に話者識別システムの構成例を示す。
図２において、話者識別システム200は、特徴抽出部21
0、類似度計算部220−1〜220−N、話者ごとの標準パタ
ーン230−1〜230−N、最大値選択240から構成されてい
る。話者識別システムとは、入力音声が予め登録されて
いるN人のうちの誰の声であるかを判定するシステムで
ある。まず、特徴抽出部210により、入力音声の特徴量
データが抽出される。この特徴量データと予め登録して
いる話者N人分の標準パターン230−1〜230−Nとの比較
により、登録話者それぞれに対する類似度が類似度計算
部220−1〜220−Nにより求められる。最大値選択部240
では、最も類似度の高い話者が、その話者の音声である
と判断して認識結果を、例えば話者番号として、出力す
る。

【００１０】図３に話者識別システムの構成例を示す。
図３において、話者識別システム100は、特徴抽出部11
0、類似度計算部120、標準パターン130、判定部140、し
きい値150から構成されている。話者照合システムと
は、入力音声と同時に自分が誰であるかのIDを入力し
て、その音声が確かにそのIDに対応する人の音声である
か否かを判定するシステムである。まず、特徴抽出部11
0により、入力音声の特徴量データが抽出される。この
特徴量データと、話者識別システム100の外部から入力
された話者IDに対応した、予め登録している標準パター
ン130との比較を類似度計算部120で行い、類似度を求め
る。判定部140では、この類似度がしきい値150よりも大
きければ本人の音声であると判定し、それ以外の場合は
他人の音声であると判断して認識結果、例えば受理／棄
却の区別、を出力する。

【００１１】しきい値150の設定方法は幾つか提案され
ている。例えば、本人が棄却される誤り率と他人が受理
される誤り率から設定される。これら2種類の誤り率と
判定のしきい値150との関係の例を図４に示す。図４に
示すように、一般的には、しきい値150を大きくすれば
他人が受理される誤り率が大きくなる。逆に、しきい値
150を小さくすれば本人が棄却される誤り率が大きくな
る。両者の誤りにはトレードオフの関係があるために、
一般的には、本人棄却率と他人受理率が等しくなる値を
しきい値150として設定する。あるいは、2種類の誤りの
相対的な重要性に従って設定される。例えば、本人棄却
率が多少大きくなっても、他人受理率がある一定値を越
えないように設定される。

【００１２】上記話者認識システムは利用者が気軽に利
用でき、かつ装置が安価に実現できるという利点を持
つ。一方、経年変化、背景雑音、マイクの種類、顔の向
き、風邪による声質の変化などにより、性能が劣化して
十分な認証精度を得ることが困難である。この問題を解
決するための一つのアイデアが、前記文献「顔画像と音
声を用いた個人認証方式」の技術である。話者認識にお
けるこのような問題と同様に、画像を用いた個人認証に
おいても、照明条件、顔の向き、表情の変動により、性
能が劣化して十分な認証精度を得ることが困難という問
題が存在するが、音声認証器と顔画像認証器の劣化要因
が必ずしも互いに相関を持たないと考え、この2種類の
認証方式の統合により個人認証精度の向上を図るアイデ
アである。

【００１３】このアイデアによる総合判定手段を図５に
示す。図５に示す総合判定手段80は、顔画像用しきい値
81、音声用しきい値82、2次元スコア空間での判定83か
ら構成される。2次元スコア空間での判定83は顔の類似
度f、音声の類似度v、顔画像用しきい値Tf81、音声用し
きい値TV82から受理／棄却を決定して認識結果として出
力する。

【００１４】図６に、顔・音声の照合スコアに基づく2
次元スコア空間の例を示す。図６において、領域Aは顔
画像、音声ともに類似度がしきい値を越えている領域で
あり、判定結果は受理となる。領域Dは、顔画像、音声
ともに類似度がしきい値を下回っており、判定結果は棄
却となる。領域Bは、顔画像の類似度はしきい値を越え
ているが、音声の類似度がしきい値を下回っている領
域。領域Cは、音声の類似度がしきい値を越えている
が、顔画像の類似度がしきい値を下回っている領域であ
る。領域B、Cの判定に関しては、誤って他人を受理する
ことを避けることを優先して、棄却とする仕様が考えら
れる。また、識別境界の設定を行い、受理／棄却の判定
を行う提案もされている。

【００１５】図７を用いて、従来例における、図６の領
域Bでの識別境界の設定方法を説明する。図７におい
て、領域Bに属する学習サンプルのうち、本来受理され
るべき本人のカテゴリに属するものは△の記号で示して
いる。▲は△の重心を表す。一方、本来棄却されるべき
他人のカテゴリに属するものは○で表している。●は○
の重心を表す。ここでは、重心▲を受理用テンプレー
ト、重心●を棄却用テンプレートとする。認証時には、
入力サンプルとユークリッド距離が小さいテンプレート
のインデックスを判定結果とする。図６の領域Cに関し
ても同様の処理を行う。

【００１６】

【発明が解決しようとする課題】上記従来技術では、音
声と画像のそれぞれの単体精度がある程度高い場合に
は、音声単体、顔画像単体で認証を行う場合に比べて、
認証精度の向上が図れる傾向を有している。一方、音声
と画像のうち少なくともどちらか一方の精度が十分得ら
れないと、音声単体、顔画像単体で認証を行う場合に比
べて、逆に認証精度が低下する恐れを有している。従来
例における実験報告でも、顔画像単体の誤受理率より
も、提案手法による誤受理率の方が高くなっている。顔
と音声の両方同時に一回の試行で十分な条件でデータが
取得できるとは限らないため、音声単体、顔画像単体で
認証を行う場合に比べて、必ずしも精度が向上するとは
限らないという問題が存在する。

【００１７】また、図７に示した識別境界の設定は予め
学習用サンプルを用いた設定を前提としている。しか
し、実運用に十分な学習サンプルが利用者全員に対して
予め十分得られる可能性は究めて低い。統計上十分な学
習サンプルが得られないまま、あるいは、精度の低い学
習サンプルが含まれたまま識別境界の設定を行うと、実
用上十分な識別境界の精度が得られないという問題点を
有する。

【００１８】本発明の目的は、これら上記従来技術の問
題点を対策することにある。すなわち、第１の目的は、
データ登録時とできるだけ近い条件下でそれぞれの生体
情報データの取得を可能とすることにある。第２の目的
は、実運用に十分な学習サンプルが予め十分得られなか
ったとしても、運用中に修正できる機能を提供すること
にある。さらに、第３の目的は、「これから認証され
る」という印象を強く利用者に与えることなく上記2つ
の目的を実現するためのユーザインタフェース機能を提
供することにある。

【００１９】

【課題を解決するための手段】上記問題点を解決するた
めに、以下に示す手段を設ける。

【００２０】第１に、一回の個人認証に最低限必要なデ
ータを採取するための時間よりも長時間データを採取し
続けて、個人認証を継続的に行う手段を設ける。例え
ば、複数回の個人認証分の生体情報データを記憶する手
段、あるいは、長時間の時系列情報を記憶する手段を設
ける。また、これら複数の生体情報の特徴量を抽出して
予め登録した標準パターンとの間の類似度を求めた後、
これら複数の類似度の中から一つを選択する手段を設け
る。

【００２１】第２に、複数種類の生体情報の類似度から
総合的に判定処理を行う手段に学習機能を追加する。例
えば、生体情報の信頼性に優位差がある場合、信頼性に
対応した重みを各生体情報の類似度に掛けた値の組み合
わせから総合的に判定する仕様とした上で、判定結果の
正否を基にこの重み値を更新する機能を設ける。あるい
は、各生体情報の類似度から総合的な判定を行うための
関数を考え、判定結果の正否を基にこの関数の係数を更
新する機能を設ける。また、これら重み値などの係数は
利用者ごとに可変とする。

【００２２】第３に、利用に際して比較的ユーザが違和
感のない情報あるいは意識しないでもデータが採取可能
な情報、例えば、音声、顔全体、眼、鼻、唇、耳、眉毛
などの顔画像、署名、体臭などの生体情報を前提とす
る。また、仮想店員／仮想受付人などのエージェントを
設け、利用者と仮想店員との対話の間に個人認証に必要
な情報の入手を行う手段を設ける。例えば、パソコンを
用いてインターネットに接続し上記買い物を行う場合、
内蔵マイクを用いてユーザの音声データを取得して認証
に用いる。あるいは、パソコンに取り付けたカメラで顔
情報をとり続けて認証に用いる。パソコンの内蔵マイク
とカメラが仮想店員の耳と眼を代行する仕様とする。

【００２３】本発明では、第１に、一回の個人認証に最
低限必要なデータを採取するための時間よりも長時間デ
ータを採取し続けて、個人認証を継続的に行う手段を有
する。例えば、複数回の個人認証分の生体情報データを
記憶する手段を有する。従って、一回のデータだけで個
人認証をする従来例と比較して、複数回分のデータの中
に、データ登録時と近い条件で取得したデータが含まれ
る可能性が高くなる。あるいは、長時間の時系列情報を
記憶する手段を有する。従って、例えば顔画像データな
ど、1枚の2次元静止画像を基にした場合に考えられる、
特徴量抽出失敗の不完全データによる照合を回避でき
る。また、これら複数の生体情報の特徴量を抽出して予
め登録した標準パターンとの間の類似度を求めた後、こ
れら複数の類似度の中から一つを選択する手段を有す
る。すなわち、異なる時刻の複数生体情報の組み合わせ
が可能となる。例えば、時刻iの音声による認証と時刻j
の顔画像による認証の組み合わせが可能となるために、
同一時刻の2つの情報の組み合わせを考える従来例より
も、精度の高いものどうしの組み合わせが可能となる。

【００２４】第２に、複数種類の生体情報の類似度から
総合的に判定処理を行う手段に学習機能を有する。例え
ば、生体情報の信頼性に優位差がある場合、信頼性に対
応した重みを各生体情報の類似度に掛けた値の組み合わ
せから総合的に判定する仕様とした上で、判定結果の正
否を基にこの重み値を更新する機能を有する。あるい
は、各生体情報の類似度から総合的な判定を行うための
関数を考え、判定結果の正否を基にこの関数の係数を更
新する機能を有する。従って、統計上十分な学習サンプ
ルが得られないまま識別境界の設定を行った場合でも、
運用中に、より精度の高い識別境界に修正していくこと
ができる。また、これら重み値などの係数は利用者ごと
に可変とすることができるために、よりきめ細かい制御
が可能となる。

【００２５】第３に、利用に際して比較的ユーザが違和
感のない情報あるいは意識しないでもデータが採取可能
な情報、例えば、音声、顔全体、眼、鼻、唇、耳、眉毛
などの顔画像、署名、体臭などの生体情報を前提とす
る。また、仮想店員／仮想受付人などのエージェントを
設け、利用者と仮想店員との対話の間に個人認証に必要
な情報の入手を行う。例えば、パソコンを用いてインタ
ーネットに接続し上記買い物を行う場合、内蔵マイクを
用いてユーザの音声データを取得して認証に用いる。あ
るいは、パソコンに取り付けたカメラで顔情報をとり続
けて認証に用いる。従って、「これから認証される」と
いう印象を強く利用者に与えることなく個人認証に必要
な生体情報の取得が可能である。

【００２６】

【発明の実施の形態】本発明の第１の実施例となる情報
処理装置10の構成を図１に示す。情報処理装置10は、マ
イクなどの音声データ入力手段20、テレビカメラなどの
顔データ入力手段30、音声データ類似度計算40−1〜40
−N、顔データ類似度計算50−1〜50−N、選択手段Ａ6
0、選択手段Ｂ70、総合判定手段80、対話手段90から構
成されている。対話手段90は、仮想店員などのエージェ
ントを用いて、利用者に対して製品紹介などを行う。あ
るいは、利用者に幾つかの質問を行う。対話手段90と利
用者との間の質疑応答から、認証に必要な音声データを
音声データ入力手段20により取得する。あるいは、顔デ
ータ入力手段30により顔データを取得する。音声データ
類似度計算40は、指定された話者IDと音声データ入力手
段20から送られてくる音声データを入力として類似度を
求め、求めた類似度を選択手段Ａ60に送る。選択手段Ａ
60では、予め決められた規則に従い、入力された複数個
の類似度の中から一つを選択して総合判定手段80に送
る。総合判定手段80では、選択手段Ａ60から送られてき
た音声データの類似度と選択手段Ｂ70から送られてきた
顔データの類似度から総合的な判定を行い、受理／棄却
の判定結果を出力する。顔データ類似度計算50、選択手
段Ｂ70に関しては、基本的な機能は音声の場合と同様で
あるため、ここでは説明を省略する。

【００２７】類似度計算システム40の構成例を図８に示
す。図８において、類似度計算システム40は、特徴抽出
部110、類似度計算部120、標準パターン130から構成さ
れている。まず、特徴抽出部110により、声紋データ入
力手段20から送られてくる入力音声の特徴量データが抽
出されて類似度計算部120に送られる。この特徴量デー
タと、情報処理装置10の外部から類似度計算システム40
に入力された話者IDに対応した、予め登録している標準
パターン130との比較を類似度計算部120で行い、類似度
を求める。この類似度は選択手段Ａ60に送られる。

【００２８】図９に最大類似度を選択する場合の選択手
段Ａの一例を示す。図９に示す選択手段Ａ60は、音声類
似度記憶手段61−1〜61−Nおよび最大値検出手段62から
構成されている。音声類似度記憶手段61−1〜61−Nは、
それぞれ、類似度計算システム40−1〜40−Nから送られ
てくる類似度を記憶するメモリである。音声類似度記憶
手段61−1〜61−Nに記憶された類似度はそれぞれ最大値
検出手段62に送られ、最大値検出手段62で最大値が音声
類似度として選ばれて総合判定手段80に送られる。最大
値を求めるアルゴリズムは幾つか存在する。例えば、61
−1から送られてきた類似度をまず初めに仮の最大値と
する。次に、61−2から送られてきた類似度と仮の最大
値を比較し、仮の最大値の方が小さければ、61−2から
送られてきた類似度を仮の最大値として入れ替える。同
様の処理を順次61−Nまでくり返し、最後に仮の最大値
として記憶された類似度が最終的な最大値となる。

【００２９】図１０に上位k個の類似度の平均値を出力
として選択する場合の選択手段Ａの一例を示す。図１０
に示す選択手段Ａ60は、音声類似度記憶手段61−1〜61
−N、ソート手段63および平均値計算手段64から構成さ
れている。音声類似度記憶手段61−1〜61−Nは、それぞ
れ、類似度計算システム40−1〜40−Nから送られてくる
類似度を記憶するメモリである。音声類似度記憶手段61
−1〜61−Nに記憶された類似度はそれぞれソート手段63
に送られ、類似度の高い順番に並び替えられた後、類似
度の高い上位k個が平均値計算手段64に送られる。平均
値計算手段64では、ソート手段63から送られてくるk個
の類似度の平均を求め、その値を音声類似度として総合
判定手段80に送る。ソート方法に関しては、クイックソ
ート、バブルソート等、幾つか提案されている汎用のソ
ートアルゴリズムのいずれかを用いる。

【００３０】図９、図１０では、N回分の入力データに
対応したN個の類似度データの中なら最終的な類似度デ
ータを求めて判定する方法の例を示した。N回分のデー
タ入力から得られるN個の特徴量を時系列データとして
扱い、ニューラルネットワーク技術などを用いて、判定
を行うこともできる。例えば、顔画像を対象とした場合
の例が、玉井洋行、永野俊：「顔の時系列画像を用いた
個人照合ニューラルシステム」，信学技報、NC97−16
2，pp. 179−184（1998）に記載されている。一般に、
顔を用いた個人照合の多くは1枚の2次元静止画像の正面
顔を入力データとして特徴量の抽出を行い類似度計算を
行う。一方、人間の顔には目や口といった部分に明確な
特徴があるにも関わらず、撮影時の姿勢や表情、照明条
件により見え方は様々に変化する。従って、1枚の2次元
静止画像の正面顔を入力データとした場合、撮影時の姿
勢や表情、照明条件の変動の影響を大きく受けてしま
う。そこで、撮影時の姿勢や表情、照明条件の変動の影
響を回避し、特徴抽出失敗の不完全データによる照合防
止のために上記時系列データによる顔照合の提案がされ
ている。また、多少の変動にも柔軟に対応できるように
ニューラルネットワーク技術によるロバスト性の向上を
図っている。

【００３１】顔の時系列画像と音声データから個人照合
を行う、第２の実施例となる情報処理装置11の構成を図
１９に示す。情報処理装置11は、マイクなどの音声デー
タ入力手段20、テレビカメラなどの顔データ入力手段3
0、音声データ類似度計算40−1〜40−N、顔データ特徴
抽出51−1〜51−N、選択手段Ａ60、総合判定手段81、対
話手段90から構成されている。図１との違いは、顔デー
タ特徴抽出51−1〜51−Nから送られてくる時系列デー
タ、すなわちN個の特徴量、選択手段Ａ60から送られて
くる音声類似度、話者IDを入力として、総合判定手段81
が受理／棄却の判定結果を出力する点にある。例えば、
話者IDおよび音声類似度を条件項入力データ、顔に関す
るN個の特徴量を時系列入力データとするニューラルネ
ットワークの学習を考えることにより総合判定手段81は
実現可能である。

【００３２】上記本発明によれば、選択手段Ａ60、B70
から総合判定手段80に送られる特徴量は従来例よりもデ
ータ登録時と近い条件で採取された入力データに対応す
る確率が高くなる。従って、図６で示した領域B、Cに入
る確率を低下させ、逆に、領域A、Dに入る確率を増加さ
せることができる。

【００３３】次に、総合判定手段80の構成例について示
す。第１の構成例としては、図５、図６、図７で紹介し
た方式をそのまま流用することが考えられる。上記本発
明によれば、選択手段Ａ60、B70から総合判定手段80に
送られる特徴量は従来例よりもデータ登録時と近い条件
で採取された入力データに対応する確率が高いために、
図６で示した領域B、Cに入る確率が低下する。すなわ
ち、図５、図６、図７で紹介した方式をそのまま流用し
たとしても、認識結果の精度は向上する。

【００３４】より認識結果の精度を向上させるために
は、複数種類の生体情報の類似度から総合的に判定処理
を行う総合判定手段80に学習機能を設けることが考えら
れる。例えば、生体情報の信頼性に優位差がある場合、
信頼性に対応した重み値を各生体情報の類似度に掛けた
値の組み合わせから総合的に判定する仕様とした上で、
判定結果の正否を基にこの重み値を更新する機能を設け
る。例えば、音声のしきい値をT_v、顔のしきい値をT_f、
重み値をαとした時、以下に示す数１で定義される総合
しきい値T₀を定義する。

【００３５】

【数１】 T₀＝αT_v＋（1−α）T_f ，（0＜α＜1） ……（1）また、認証時の音声類似度をv、顔類似度をf、重み値を
αとして、以下に示す数２で定義される総合類似度をT
を定義する。

【００３６】

【数２】 T＝αv＋（1−α）f ，（0＜α＜1） ……（2） TがT₀よりも大きければ受理と判定し、小さければ棄却
と判定する。例えば、音声類似度vが音声のしきい値T_v
よりも大きく、かつ顔類似度fが顔のしきい値T_fよりも
大きい場合には、αの値に依らずTはT₀よりも大きくな
り、判定結果は受理となる。vがT_vよりも小さく、かつf
がTfよりも小さい場合には、αの値に依らずTはT₀より
も小さくなり、判定結果は棄却となる。vがTvよりも大
きく、かつfがT_fよりも小さい場合、あるいは、vがT_vよ
りも小さく、かつfがT_fよりも大きい場合には、判定結
果はαの値に依存する。αを大きくする程、音声認証の
影響を強く受けることになるため、話者照合の判定を誤
ったことが原因で総合判定を誤った場合にはαの値を微
小量、例えば0.01αだけ小さくした値を新たにαとする
更新処理を行う。顔認識の判定を誤ったことが原因で総
合判定を誤った場合にはαの値を、例えば0.01αだけ、
大きくした値を新たにαとする更新処理を行う。

【００３７】これは、例えば図６の領域Bについて述べ
ると、図１１に示すように領域Bを２分する直線を考
え、この直線より類似度が上に位置すれば受理、下に位
置すれば棄却と判定する仕様とし、判定結果を誤った場
合、この直線を修正することに対応する。αを大きくす
ると、縦軸との交点を上方向にシフトし、横軸との交点
を左方向にシフトすることに対応する。

【００３８】この場合の総合判定手段８０Ｂの一構成例
を図１２に示す。音声および顔の類似度から照合判定を
行う方法に関しては、識別境界の設定方法が図７に代わ
って図１１になった以外は図５と同じであるために説明
を省略する。図５との違いは重み値αの学習機能を実現
するために、αの記憶手段84と更新手段85を有する点に
ある。更新手段85は、総合判定手段80Bに対して入力さ
れた誤り通知信号と2次元スコア空間83から入力した話
者および顔に関する判定結果をもとに、どちらの判定が
誤っていたのかを解析し、記憶手段84に格納されたαの
増減を行う。αの初期値としては、2種類の生体情報の
影響を等しく受けるように、例えば0.5に設定する。記
憶手段84は、例えば、情報処理装置内のメモリを用い
る。ここでは、音声と顔画像の2種類の組み合わせに関
して一例を示した。他の生体情報の組み合わせ、あるい
は、3種類以上の生体情報の組み合わせに関しても同様
の考え方で対応できる。

【００３９】識別境界を決定する判別式に関しては必ず
しも直線である必要はない。図１３に示す様な曲線ある
いは多項式でもよい。N種類の生体情報を対象としたN変
数の多項式の場合は上記の場合と同様にN個の係数を学
習することにより実現できる。あるいは、ニューラルネ
ットワークを用いて係数の学習を行うことも可能であ
る。

【００４０】人により、顔の特徴が出にくい場合や声の
特徴が出にくい場合がある。あるいは、適切なしきい値
や識別境界関数が変ってくる可能性がある。そこで、図
１４に示すように、話者ごとに、顔しきい値、声しきい
値、重み値、識別境界を決定する判別式を設けることも
考えられる。

【００４１】図１４において、総合判定手段80Cは、話
者ごとに、顔しきい値、声しきい値、重み値、識別境界
を決定する判別式を記憶するメモリ86、2次元スコア空
間での判定83C、更新手段85Cから構成される。2次元ス
コア空間での判定83Cは顔の類似度f、音声の類似度v、
話者IDに対応した顔しきい値T_f、声しきい値T_v、重み値
α、識別境界を決定する判別式から受理／棄却を決定し
て認識結果として出力する。更新手段85Cは、総合判定
手段80に対して入力された誤り通知信号と2次元スコア
空間83Cから入力した話者および顔に関する判定結果を
もとに、どちらの判定が誤っていたのかを解析し、メモ
リ86に格納された、指定された話者IDに対応した変数の
更新を行う。

【００４２】上記本発明によれば、複数種類の生体情報
の類似度から総合的に判定処理を行う手段に学習機能を
有する。従って、統計上十分な学習サンプルが得られな
いまま上記領域B、Cの識別境界の設定を行った場合で
も、運用中に、より精度の高い識別境界に修正していく
ことができる。また、識別境界の設定は利用者ごとに可
変とすることができるために、よりきめ細かい制御が可
能となる。

【００４３】図１５に、アクセス対象となる情報あるい
は応用ごとに判定の厳しさを可変とする場合の総合判定
手段80Dの構成例を示す。図１５において、総合判定手
段80Dは、応用ごとに、顔しきい値、声しきい値、重み
値、識別境界を決定する判別式を記憶するメモリ87、2
次元スコア空間での判定83D、から構成される。2次元ス
コア空間での判定83Dは顔の類似度f、音声の類似度v、
応用IDに対応した顔しきい値Tf、声しきい値Tv、重み値
α、識別境界を決定する判別式から受理／棄却を決定し
て認識結果として出力する。応用IDは、例えば利用者が
どの応用、あるいは、どの情報にアクセスしようとして
いるか検知可能な対話手段90から得ることが可能であ
る。

【００４４】上記発明によれば、比較的機密性の低い情
報はしきい値を下げて、本人が棄却する確率を減少させ
ることができる。一方、極秘情報はしきい値を上げて、
他人を誤って受理する確率を下げることができる。

【００４５】図１６に、仮想店員／仮想受付人などのエ
ージェントを設け、利用者と仮想受付人との対話の間に
個人認証に必要な情報の入手を行う例を示す。図１６の
例では、インターネットバンキングで振り込み処理を行
う例を示している。生体情報としては音声と顔画像を仮
定している。パソコンなどの情報処理装置の画面上に
は、仮想受付人が表示されている。仮想受付人は、振り
込み処理に必要な情報の問い合わせ910を利用者に対し
て行う。利用者は、仮想受付人の問い合わせに対して応
答920を音声で行う。他人に聞かれたくない内容は、一
部、テキスト入力する。利用者の回答の内、マイクなど
を通して音声入力された内容が話者照合用のデータとし
て適用される。例えば、「振り込みです」、「日立太郎
です」、「東海銀行です」などの音声情報をもとに、そ
れぞれ類似度計算が行われる。仮想受付人と利用者の対
話の間に、並行してテレビカメラなどで顔画像を取り込
み、顔画像による類似度を求める。図１６において、仮
想受付人からの問い合わせ内容は、仮に実際に銀行に出
向いて振り込み処理を行う場合でも通常必要な情報であ
るために、利用者に対して特に認証されているという強
い印象を与えることがない。

【００４６】図１７に、インターネットショッピングで
検索を行う例を示す。図１６と同様に、生体情報として
は音声と顔画像を仮定している。パソコンなどの情報処
理装置の画面上には、仮想店員が表示されている。仮想
店員は、サービスを受けることができる登録会員である
かどうかの確認および利用者が知りたい内容の問い合わ
せ911を利用者に対して行う。利用者は、仮想店員の問
い合わせに対して応答921を音声で行う。他人に聞かれ
たくない内容は、一部、テキスト入力する。利用者の回
答の内、マイクなどを通して音声入力された内容が話者
照合用のデータとして適用される。例えば、「はい」、
「日立太郎です」、「製品紹介です」などの音声情報を
もとに、それぞれ類似度計算が行われる。仮想店員と利
用者の対話の間に、並行してテレビカメラなどで顔画像
を取り込み、顔画像による類似度を求める。

【００４７】上記図１６、図１７において、仮想店員の
声は、肉声を録音して再生することで実現できる。ある
いは、機械的に合成した合成音声を用いることもでき
る。仮想店員／仮想受付人は、予め録画した人間の映
像、コンピュータグラフィック、人形、アニメなどで実
現することができる。幾つかのキャラクタのメニューを
準備し、利用者が選択する仕様とすることもできる。コ
ンピュータテレフォニーインテグレーション（Comput
er Telephony Integration）技術を用いてパソコンを用
いたテレビ電話を使えば、リアルタイムで実際の店員／
受付人が対応することもできる。仮想店員の声として機
械的に合成した日本語合成音声を用いる場合には、仮想
店員のキャラクタとしてロボットまたは宇宙人などの自
然な人間の声質から大きくずれていても違和感のないキ
ャラクタを用いることもできる。また、特開平10−9726
7号公報「声質変換方法および装置」の技術を用いれ
ば、予め登録された仮想店員／受付人の声質を、利用者
の好みに応じて自由に変換ができる仕様とすることも可
能である。

【００４８】上記図１６、図１７の例においては、生体
情報として音声と顔画像を仮定したが、利用に際して比
較的ユーザが違和感のない情報あるいは意識しないでも
データを採取可能な情報、例えば、音声、顔全体、眼、
鼻、唇、耳、眉毛などの顔画像、署名、体臭などの生体
情報は全て本発明の対象とすることができる。

【００４９】上記本発明によれば、利用に際して比較的
ユーザが違和感のない情報あるいは意識しないでもデー
タを採取可能な情報、例えば、音声、顔全体、眼、鼻、
唇、耳、眉毛などの顔画像、署名、体臭などの生体情報
を前提とする。また、仮想店員／仮想受付人などのエー
ジェントを設け、利用者と仮想店員との対話の間に個人
認証に必要な情報を入手する。従って、「これから認証
される」という印象を利用者に与えることなく個人認証
に必要な生体情報の取得が可能である。

【００５０】上記実施例では、利用者に対して出来るだ
け気付かれないように個人認証を行う場合の例を示し
た。個人認証を全てシステムに任せるか、個人認証に使
用する生体情報の種類を利用者自身が指定するかを、利
用者に明示的に選択させる仕様とすることもできる。こ
の場合の処理の流れの一例を図１８に示す。

【００５１】図１８の例では、まず、個人認証に使用す
る生体情報の種類をシステムに委任するか、利用者自身
が決めるかの選択1000をシステムから利用者に問い合わ
せる。システムに委任1010を利用者が選択した場合は、
音声、顔画像、体臭などによるシステム側主導の個人認
証が行われる。利用者自身が決める1020を利用者が選択
した場合は、選択可能な生体情報のメニューが表示され
る。この場合、利用者は、例えば指紋、音声、顔画像、
サインの中から一つ以上を選択する1030。指紋が選択さ
れた場合は指紋による個人認証1031が実行される。音声
が選択された場合は音声による個人認証1032が実行され
る。顔画像が選択された場合は顔画像による個人認証10
33 が実行される。サインが選択された場合はサインに
よる個人認証1034が実行される。上記処理は、判定結果
の確信度が十分になるまで繰り返され1040、最後に受理
／棄却の通知1050が出力される。

【００５２】図１８では一種類の生体情報を利用者が指
定する場合の例を示したが、当然、二種類以上の生体情
報を利用者が指定する仕様とすることもできる。また、
使用対象から除外する生体情報を利用者に指定させる仕
様とすることもできる。

【００５３】個人認証に用いる生体情報を利用者が選択
できる機能を設けることにより、例えば、風邪で声質に
変化がある場合は声紋以外を認証に使用する、指に怪我
をした場合はサイン以外を認証に使用する、女性など化
粧の出来映えが顔データ登録時と大きく異なる場合は顔
データ以外を使用するなど、認証精度の低下を防ぐ効果
が期待できる。

【００５４】

【発明の効果】本発明によれば、第１に、データ登録時
とできるだけ近い条件下でそれぞれの生体情報データの
取得を可能とすることができる。また、それらの最適な
組み合わせができる。第２に、実運用に十分な学習サン
プルが予め十分得られなかったとしても、より精度が良
くなるように、運用中にパラメータの修正が可能であ
る。第３に、「これから認証される」という印象を強く
利用者に与えることなく上記2つの目的を実現するため
の生体情報を取得することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例となる情報処理装置を示
すブロック図。

【図２】話者識別システムの機能構成例を示すブロック
図。

【図３】話者照合システムの機能構成例を示すブロック
図。

【図４】話者照合の判定のしきい値と2種の誤り率の関
係を示す説明図。

【図５】総合判定手段の機能構成例を示すブロック図。

【図６】顔・音声の照合スコアに基づく2次元のスコア
空間の説明図。

【図７】図６の領域Bにおける識別境界の設定例の説明
図。

【図８】類似度計算システムの機能構成例を示すブロッ
ク図。

【図９】選択手段の第１の機能構成例を示すブロック
図。

【図１０】選択手段の第２の機能構成例を示すブロック
図。

【図１１】図６の領域Bにおける識別境界の第２の設定
例の説明図。

【図１２】重み値学習機能付き総合判定手段の機能構成
例を示すブロック図。

【図１３】図６の領域Bにおける識別境界の第３の設定
例の説明図。

【図１４】変数学習機能付き総合判定手段の機能構成例
を示すブロック図。

【図１５】応用依存型総合判定手段の機能構成例を示す
ブロック図。

【図１６】インターネットバンキングで振込処理を行う
例における対話処理の流れ図。

【図１７】インターネットショッピングで検索を行う例
における対話処理の流れ図。

【図１８】生体情報選択処理の一例を示す流れ図。

【図１９】本発明の第２の実施例となる情報処理装置を
示すブロック図。

【符号の説明】

10…第１の実施例となる情報処理装置、20…生体情報デ
ータ入力手段、30…生体情報データ入力手段、40…類似
度計算システム、50…類似度計算システム、60…類似度
選択手段、70…類似度選択手段、80…総合判定手段、90
…対話手段、110…特徴抽出部、120…類似度計算部、13
0…標準パターン、85…更新手段。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 3/16 ３２０Ｇ０６Ｆ 15/00 ３３０Ｆ５Ｅ５０１ 15/00 ３３０Ａ６１Ｂ 5/10 ３２０Ｂ５Ｌ０９６Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ４６５ＡＧ１０Ｌ 17/00 15/70 ４６５ＡＧ１０Ｌ 3/00 ５４５Ｆ (72)発明者炭野重雄東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内Ｆターム(参考） 4C038 VA07 VB03 VB04 VB05 VB40 VC05 VC20 5B043 AA09 BA01 BA02 BA03 BA04 BA06 BA07 FA08 GA02 5B047 AA23 5B085 AC03 AE06 AE23 AE25 5D015 AA03 DD02 DD05 GG01 HH05 LL02 5E501 AA09 AB22 AC33 AC42 BA12 CB05 CB14 CB15 CC14 DA11 DA15 DA17 EA21 EB01 FA32 5L096 BA16 BA18 HA09 JA03 KA04

Claims

【特許請求の範囲】

【請求項１】第１の生体情報を入力する手段と、第１の
入力手段を介して得られた一つ以上の生体情報の類似度
を求める手段と、上記一つ以上の第１の生体情報の類似
度から最終的類似度を決定または選択する手段と、第２
の生体情報を入力する手段と、第２の入力手段を介して
得られた一つ以上の生体情報の類似度を求める手段と、
上記一つ以上の第２の生体情報の類似度から最終的類似
度を決定または選択する手段と、上記第１の生体情報に
対する最終的類似度と第２の生体情報に対する最終的類
似度から総合的な判定を行う手段と、利用者との対話手
段を有することを特徴とする情報処理装置。
【請求項２】第１の生体情報を入力する手段と、第１の
入力手段を介して得られた一つ以上の生体情報の類似度
を求める手段と、上記一つ以上の第１の生体情報の類似
度から最終的類似度を決定または選択する手段と、第２
の生体情報を入力する手段と、第２の入力手段を介して
得られた一つ以上の生体情報の特徴量を求める手段と、
上記一つ以上の第２の生体情報の特徴量と上記第１の生
体情報に対する最終的類似度から総合的な判定を行う手
段と、利用者との対話手段を有することを特徴とする情
報処理装置。
【請求項３】請求項１または請求項２の情報処理装置に
おいて、上記生体情報は、音声、眼、鼻、唇、耳、眉毛
などの顔情報の一部または顔画像全体、筆跡、体臭のい
ずれかであることを特徴とする情報処理装置。
【請求項４】請求項１または請求項２の情報処理装置に
おいて、上記一つ以上の生体情報の類似度から最終的類
似度を決定する手段は、最大類似度を最終的な類似度と
する手段であることを特徴とする情報処理装置。
【請求項５】請求項１の情報処理装置において、上記一
つ以上の生体情報の類似度から最終的類似度を決定する
手段は、上位幾つかの類似度の平均値を最終的な類似度
とする手段であることを特徴とする情報処理装置。
【請求項６】請求項１の情報処理装置において、上記第
１の生体情報に対する最終的類似度と第２の生体情報に
対する最終的類似度から総合的な判定を行う手段は、学
習機能を有することを特徴とする情報処理装置。
【請求項７】請求項２の情報処理装置において、上記一
つ以上の第２の生体情報の特徴量と上記第１の生体情報
に対する最終的類似度から総合的な判定を行う手段は、
学習機能を有することを特徴とする情報処理装置。
【請求項８】請求項６の情報処理装置において、上記学
習機能は、各生体情報に対応した重み値を各生体情報の
最終的な類似度に掛けた値の組み合わせから総合的に判
定する仕様とした上で、判定結果の正否に基づき、上記
重み値を更新する機能であることを特徴とする情報処理
装置。
【請求項９】請求項６または請求項７の情報処理装置に
おいて、上記学習機能は、利用者ごとに設けることを特
徴とする情報処理装置。
【請求項１０】請求項１の情報処理装置において、上記
第１の生体情報に対する最終的類似度と第２の生体情報
に対する最終的類似度から総合的な判定を行う手段は、
アクセス対象となる情報や応用ごとに判定の厳しさを可
変とする機能を有することを特徴とする情報処理装置。
【請求項１１】請求項２の情報処理装置において、上記
第１の生体情報に対する最終的類似度と第２の生体情報
に対する一つ以上特徴量から総合的な判定を行う手段
は、アクセス対象となる情報や応用ごとに判定の厳しさ
を可変とする機能を有することを特徴とする情報処理装
置。
【請求項１２】請求項１または請求項２の情報処理装置
において、上記利用者との対話手段は、仮想店員／仮想
受付人などのエージェントを設け、利用者と上記エージ
ェントとの対話の間に個人認証に必要な生体情報の入手
を行う手段であることを特徴とする情報処理装置。
【請求項１３】請求項１２の情報処理装置において、上
記エージェントは、複数のキャラクタメニューの中から
利用者が選択できる機能を有することを特徴とする情報
処理装置。
【請求項１４】請求項１２の情報処理装置において、上
記エージェントの声は、録音した肉声またはテキストか
ら機械的に合成した合成音声を用いることを特徴とする
情報処理装置。
【請求項１５】請求項１４の情報処理装置において、上
記エージェントの声として日本語の合成音声を用いる場
合には、ロボットや宇宙人などの自然な人間の声質から
大きくずれていても違和感のないキャラクタを用いるこ
とを特徴とする情報処理装置。
【請求項１６】請求項１２の情報処理装置において、上
記エージェントの声は、利用者の好みに応じて自由に変
換できる手段を有することを特徴とする情報処理装置。
【請求項１７】請求項１または請求項２の情報処理装置
において、上記利用者との対話手段は、個人認証に使用
する生体情報の種類をシステムに委任するか利用者自身
が選ぶかの選択手段を有することを特徴とする情報処理
装置。
【請求項１８】二つ以上の第１の生体情報データと二つ
以上の第２の生体情報データを入力して個人認証を行う
認証方式であって、異なる時刻に採取した第１の生体情
報データと第２の生体情報データの組み合わせから個人
認証を行うことを特徴とする個人認証方式。