JP2005293399A - 個人認証方法と装置 - Google Patents
個人認証方法と装置 Download PDFInfo
- Publication number
- JP2005293399A JP2005293399A JP2004109941A JP2004109941A JP2005293399A JP 2005293399 A JP2005293399 A JP 2005293399A JP 2004109941 A JP2004109941 A JP 2004109941A JP 2004109941 A JP2004109941 A JP 2004109941A JP 2005293399 A JP2005293399 A JP 2005293399A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- feature point
- person
- card
- local feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Credit Cards Or The Like (AREA)
Abstract
【課題】ＩＣカード２０内に保存された本人顔画像を外に出すことなく顔画像認証を行う方法を提供する。
【解決手段】登録端末１０で、本人顔画像及び参照顔画像の一方に複数の特徴点を設定し、この特徴点に対応する特徴点を他方の顔画像上で求めて、ＩＣカード２０に、本人顔画像及び参照顔画像の特徴点を登録する。認証時に、認証端末３０は、参照顔画像の特徴点をＩＣカード２０から読み出し、参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求めて、撮影顔画像の特徴点をＩＣカード２０に書き込む。ＩＣカード２０は、本人顔画像の特徴点と撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定する。この個人認証方法では、ＩＣカード２０に登録された本人顔画像データは、認証時にＩＣカード２０の外に出ないため本人顔画像に対するセキュリティやプライバシーが保護される。
【選択図】図１
【解決手段】登録端末１０で、本人顔画像及び参照顔画像の一方に複数の特徴点を設定し、この特徴点に対応する特徴点を他方の顔画像上で求めて、ＩＣカード２０に、本人顔画像及び参照顔画像の特徴点を登録する。認証時に、認証端末３０は、参照顔画像の特徴点をＩＣカード２０から読み出し、参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求めて、撮影顔画像の特徴点をＩＣカード２０に書き込む。ＩＣカード２０は、本人顔画像の特徴点と撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定する。この個人認証方法では、ＩＣカード２０に登録された本人顔画像データは、認証時にＩＣカード２０の外に出ないため本人顔画像に対するセキュリティやプライバシーが保護される。
【選択図】図１
Description
本発明は、顔画像を利用して個人認証を行う方法と、その方法に用いるＩＣカード及び認証装置に関し、ＩＣカードに登録された本人顔画像の保護を図るものである。
セキュリティシステム等では、本人認証の方法として、個人の認証に必要な情報が書き込まれたＩＣカードから情報を読み取り、本人であることを確認する方法が行われている。また、ＩＣカードの所持者を確かめるため、撮影した所持者の顔画像とＩＣカードに登録された顔画像とを照合する顔画像認証を利用するケースもある。
顔画像を照合する技術には幾つかの方法が知られており、例えば、下記特許文献１及び非特許文献１には、有効性が高いと評価されている弾性グラフマッチングと呼ばれた手法が記載されている。この手法では、照合用のモデル顔画像の特定点を局所特徴点として指定し、撮像顔画像から、この局所特徴点の対応点を探索して、局所特徴点の特徴量（濃淡など）の差分や局所特徴点間の距離の差分に基づいて、モデル顔画像と撮影顔画像との類似度を評価する。
顔画像を照合する技術には幾つかの方法が知られており、例えば、下記特許文献１及び非特許文献１には、有効性が高いと評価されている弾性グラフマッチングと呼ばれた手法が記載されている。この手法では、照合用のモデル顔画像の特定点を局所特徴点として指定し、撮像顔画像から、この局所特徴点の対応点を探索して、局所特徴点の特徴量（濃淡など）の差分や局所特徴点間の距離の差分に基づいて、モデル顔画像と撮影顔画像との類似度を評価する。
しかし、顔画像認証では、所持者の顔画像を撮影したときの照明や姿勢、表情などが顔画像の登録時とは違っており、多くの変動要素を有しているため、高精度の認証アルゴリズムによる計算量が非常に多くなり、現在のＩＣカードの計算能力では対応できない。そのため、殆どの場合、ＩＣカードは顔画像を携帯する媒体として利用され、認証の時には、ＩＣカード内に保存された本人の登録データを外側に送出し、ＩＣカードの外で顔画像認証が行われる。
特表２００２−５１１６１７号公報
「Face Recognition by Elastic Bunch Graph Matching」(IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.19, No.7, July 1997, pp.775-779)
しかし、認証時に、ＩＣカード内で保存された本人の登録データを外側に送出することは、セキュリティ上不安であり、また、個人プライバシーが侵される危険性がある。
本発明は、こうした従来の問題点を解決するものであり、ＩＣカード内に保存された本人の登録データを外側に出すことなく顔画像認証を行う個人認証方法を提供し、また、その方法を実施するＩＣカード及び認証装置を提供することを目的としている。
本発明は、こうした従来の問題点を解決するものであり、ＩＣカード内に保存された本人の登録データを外側に出すことなく顔画像認証を行う個人認証方法を提供し、また、その方法を実施するＩＣカード及び認証装置を提供することを目的としている。
本発明の個人認証方法では、本人顔画像及び参照顔画像の一方に複数の特徴点を設定し、この特徴点に対応する特徴点を他方の顔画像上で求めて、ＩＣカードに、本人顔画像の特徴点を登録し、認証時に、参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求めて、撮影顔画像の特徴点をＩＣカードに書き込み、ＩＣカード内で、本人顔画像の特徴点と撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定する。
この個人認証方法では、ＩＣカードに登録された本人顔画像データは、認証時にＩＣカードの外に出力されない。そのため本人顔画像に対するセキュリティは守られ、プライバシーは保護される。また、認証時の処理の内、参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求める重たい処理は、ＩＣカードの外で行われ、ＩＣカード内では、特徴点が既に決まっている本人顔画像と撮影顔画像とを照合する軽い処理だけが行われる。そのため、ＩＣカードの計算能力で十分対応できる。
この個人認証方法では、ＩＣカードに登録された本人顔画像データは、認証時にＩＣカードの外に出力されない。そのため本人顔画像に対するセキュリティは守られ、プライバシーは保護される。また、認証時の処理の内、参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求める重たい処理は、ＩＣカードの外で行われ、ＩＣカード内では、特徴点が既に決まっている本人顔画像と撮影顔画像とを照合する軽い処理だけが行われる。そのため、ＩＣカードの計算能力で十分対応できる。
また、本発明の個人認証方法では、本人顔画像及び参照顔画像の一方に複数の特徴点を設定し、この特徴点に対応する特徴点を他方の顔画像上で求めて、ＩＣカードに、本人顔画像の特徴点と参照顔画像の特徴点とを登録し、認証時に、ＩＣカードから参照顔画像の特徴点を読み出し、参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求めて、撮影顔画像の特徴点をＩＣカードに書き込み、ＩＣカード内で、本人顔画像の特徴点と撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定する。
この個人認証方法では、本人顔画像と、本人顔画像を推定できない参照顔画像とがＩＣカードに登録され、認証時には参照顔画像だけがＩＣカードから読み出される。そのため本人顔画像に対するセキュリティは守られ、プライバシーは保護される。
この個人認証方法では、本人顔画像と、本人顔画像を推定できない参照顔画像とがＩＣカードに登録され、認証時には参照顔画像だけがＩＣカードから読み出される。そのため本人顔画像に対するセキュリティは守られ、プライバシーは保護される。
また、本発明の個人認証方法では、参照顔画像として、複数の人の平均顔画像や、本人が属する集団の複数の人から生成した平均顔画像、本人以外の任意の他人顔画像などを用いる。
また、参照顔画像の特徴点を設定し、この特徴点に対応する特徴点を本人顔画像の上で求め、あるいは、逆に、本人顔画像の特徴点を設定し、この特徴点に対応する特徴点を参照顔画像の上で求める。後者の場合、本人顔画像の特徴点として、本人認証に最適な点を設定することにより、認証精度を高めることができる。
また、本発明では、ＩＣカードに、本人顔画像の特徴点のデータを保持する本人顔画像保持部と、認証時に、特徴点が決められた撮影顔画像のデータを外部から取得する撮影顔画像入力部と、本人顔画像保持部から読み出した本人顔画像の特徴点と外部から取得した撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定する照合部とを設けている。
このＩＣカードは、登録された本人顔画像を外部に出力すること無く、撮影顔画像と本人顔画像との一致を判定することができる。
また、参照顔画像の特徴点を設定し、この特徴点に対応する特徴点を本人顔画像の上で求め、あるいは、逆に、本人顔画像の特徴点を設定し、この特徴点に対応する特徴点を参照顔画像の上で求める。後者の場合、本人顔画像の特徴点として、本人認証に最適な点を設定することにより、認証精度を高めることができる。
また、本発明では、ＩＣカードに、本人顔画像の特徴点のデータを保持する本人顔画像保持部と、認証時に、特徴点が決められた撮影顔画像のデータを外部から取得する撮影顔画像入力部と、本人顔画像保持部から読み出した本人顔画像の特徴点と外部から取得した撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定する照合部とを設けている。
このＩＣカードは、登録された本人顔画像を外部に出力すること無く、撮影顔画像と本人顔画像との一致を判定することができる。
また、このＩＣカードに、さらに、参照顔画像の特徴点のデータを保持する参照顔画像保持部を設け、認証時に、この参照顔画像の特徴点のデータが外部に読み出されるように構成している。
認証時には、このＩＣカードから、本人顔画像を推定できない参照顔画像が認証装置に読み出されるが、本人顔画像は外部に出力されない。
認証時には、このＩＣカードから、本人顔画像を推定できない参照顔画像が認証装置に読み出されるが、本人顔画像は外部に出力されない。
また、本発明では、認証装置に、参照顔画像の特徴点のデータを取得する参照顔画像入力部と、撮影顔画像を取得する撮影顔画像入力部と、参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求める対応点計算部と、得られた撮影顔画像の特徴点をＩＣカードに書き込む撮影顔画像出力部と、ＩＣカードから認証結果を取得して、認証結果に応じた処理を行う認証結果処理部とを設けている。
この認証装置は、撮影顔画像上で参照顔画像の特徴点に対応する特徴点を求める、処理負担が極めて重い処理を担当し、特徴点が決まった本人顔画像及び撮影顔画像の照合処理（即ち、処理負担が軽い処理）をＩＣカードに任せる。
この認証装置の参照顔画像入力部は、ＩＣカードに登録された参照顔画像の特徴点のデータをＩＣカードから取得し、あるいは、ＩＣカードに本人顔画像のデータを登録した登録機器から参照顔画像の特徴点のデータを取得する。
この認証装置は、撮影顔画像上で参照顔画像の特徴点に対応する特徴点を求める、処理負担が極めて重い処理を担当し、特徴点が決まった本人顔画像及び撮影顔画像の照合処理（即ち、処理負担が軽い処理）をＩＣカードに任せる。
この認証装置の参照顔画像入力部は、ＩＣカードに登録された参照顔画像の特徴点のデータをＩＣカードから取得し、あるいは、ＩＣカードに本人顔画像のデータを登録した登録機器から参照顔画像の特徴点のデータを取得する。
本発明の個人認証方法では、ＩＣカード内に保存された本人の登録データを外側に出さずに顔画像認証を行うことができ、セキュリティ上の不安や、個人プライバシー侵害の恐れを排除できる。
また、本発明のＩＣカード及び認証装置は、この個人認証方法を実施することができる。
また、本発明のＩＣカード及び認証装置は、この個人認証方法を実施することができる。
（第１の実施形態）
本発明の第１の実施形態における顔画像認証方法では、ＩＣカードに本人顔画像と、本人顔画像を推定できない参照用の顔画像（参照顔画像）とを格納し、顔画像認証時には、参照顔画像を介して、本人顔画像と撮影顔画像とを照合する。
本発明の第１の実施形態では、この参照顔画像として、複数の人間の顔を平均化した平均顔を用いる場合について説明する。
図１は、この顔画像認証方法に用いるＩＣカード２０と、ＩＣカードの所有者の本人顔画像と参照顔画像とをＩＣカード２０に登録する登録端末１０と、ＩＣカード２０の利用者がＩＣカード２０の所有者と同一人物であるかを確認する認証端末３０との構成を示している。
登録端末１０は、一枚または複数枚の本人顔画像を取得する本人顔画像入力部１１と、複数枚の参照顔画像を取得する参照顔画像入力部１２と、本人顔画像入力部１１及び参照顔画像入力部１２より入力された顔画像から、ＩＣカード２０に登録する本人顔画像及び参照顔画像、並びに、それらの局所特徴点及び局所特徴量を生成する対応点計算部１３と、ＩＣカード２０に本人顔画像とその局所特徴点及び局所特徴量を登録する本人顔画像登録部１４と、ＩＣカード２０に参照顔画像とその局所特徴点及び局所特徴量を登録する参照顔画像登録部１５とを備えている。
本発明の第１の実施形態における顔画像認証方法では、ＩＣカードに本人顔画像と、本人顔画像を推定できない参照用の顔画像（参照顔画像）とを格納し、顔画像認証時には、参照顔画像を介して、本人顔画像と撮影顔画像とを照合する。
本発明の第１の実施形態では、この参照顔画像として、複数の人間の顔を平均化した平均顔を用いる場合について説明する。
図１は、この顔画像認証方法に用いるＩＣカード２０と、ＩＣカードの所有者の本人顔画像と参照顔画像とをＩＣカード２０に登録する登録端末１０と、ＩＣカード２０の利用者がＩＣカード２０の所有者と同一人物であるかを確認する認証端末３０との構成を示している。
登録端末１０は、一枚または複数枚の本人顔画像を取得する本人顔画像入力部１１と、複数枚の参照顔画像を取得する参照顔画像入力部１２と、本人顔画像入力部１１及び参照顔画像入力部１２より入力された顔画像から、ＩＣカード２０に登録する本人顔画像及び参照顔画像、並びに、それらの局所特徴点及び局所特徴量を生成する対応点計算部１３と、ＩＣカード２０に本人顔画像とその局所特徴点及び局所特徴量を登録する本人顔画像登録部１４と、ＩＣカード２０に参照顔画像とその局所特徴点及び局所特徴量を登録する参照顔画像登録部１５とを備えている。
また、ＩＣカード２０は、本人顔画像とその局所特徴点及び局所特徴量を登録データとして記憶する本人顔画像保持部２１と、参照顔画像とその局所特徴点及び局所特徴量を登録データとして記憶する参照顔画像保持部２２と、認証端末３０から局所特徴点が決定された撮影顔画像を入力する撮像顔画像入力部２４と、本人顔画像保持部２１で保持された本人顔画像と認証端末３０から入力した撮影顔画像との類似度を計算する照合部２３と、照合部２３の計算結果を基に、ＩＣカード２０の利用者が本人か否かを判断して認証端末３０に知らせる認証結果出力部２５とを備えている。
また、認証端末３０は、ＩＣカード２０に登録された参照顔画像とその局所特徴点及び局所特徴量を入力する参照顔画像入力部３１と、カメラなどの撮像装置からＩＣカード２０の利用者の撮像顔画像を入力する撮像顔画像入力部３２と、参照顔画像の局所特徴点に対応する撮像顔画像上での局所特徴点を求める対応点計算部３３と、局所特徴点が決定された撮像顔画像をＩＣカード２０に送信する撮像顔画像出力部３４と、ＩＣカード２０から認証結果を受けて、必要な処理、例えば、警報やコントロール信号の発信などを行う認証結果処理部３５とを備えている。
また、認証端末３０は、ＩＣカード２０に登録された参照顔画像とその局所特徴点及び局所特徴量を入力する参照顔画像入力部３１と、カメラなどの撮像装置からＩＣカード２０の利用者の撮像顔画像を入力する撮像顔画像入力部３２と、参照顔画像の局所特徴点に対応する撮像顔画像上での局所特徴点を求める対応点計算部３３と、局所特徴点が決定された撮像顔画像をＩＣカード２０に送信する撮像顔画像出力部３４と、ＩＣカード２０から認証結果を受けて、必要な処理、例えば、警報やコントロール信号の発信などを行う認証結果処理部３５とを備えている。
登録端末１０によって行われる、ＩＣカード２０への本人顔画像及び参照顔画像の登録処理は、認証端末３０及びＩＣカード２０による認証処理より、時間的に先でなければならない。また、地理的には、通常、登録端末１０と認証端末３０とは異なる場所に設置される。
登録端末１０の本人顔画像入力部１１及び参照顔画像入力部１２は、カメラによる撮像、スキャナーによる顔写真の取り込み、あるいは、特定データベースからの取寄せなどにより、一枚または複数枚の本人顔画像または参照顔画像を取得する。
登録端末１０の本人顔画像入力部１１及び参照顔画像入力部１２は、カメラによる撮像、スキャナーによる顔写真の取り込み、あるいは、特定データベースからの取寄せなどにより、一枚または複数枚の本人顔画像または参照顔画像を取得する。
図２（ａ）のフローチャートは、登録端末１０の対応点計算部１３で行われる処理の手順を示している。対応点計算部１３は、参照顔画像入力部１２から入力した複数の参照顔画像（顔画像セット）に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ１）、顔画像セットの平均顔画像を生成する（ステップ２）。平均顔画像の生成方法に関しては、文献「平均顔を用いた顔印象分析」（永田ら、電子情報通信学会論文誌, Vol. J80-A, No.8, pp.1266-1272, 1997年8月）に記載された技術を利用することができる。
次に、平均顔画像の特定領域に局所特徴点を選定する（ステップ３）。
局所特徴点は、図３（ａ）に示すように、顔画像の特定領域を規則的に分割する格子点を局所特徴点として選定してもよく、また、図３（ｂ）に示すように、顔のランドマーク点、例えば、目、鼻、口などの特徴点を局所特徴点として選定してもよい。ここでは、顔画像の特定領域に設けた格子点を局所特徴点とする場合について説明する。
対応点計算部１３は、また、本人顔画像入力部１１から入力した本人顔画像に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い、本人顔画像を生成する（ステップ４）。
次に、図４に示すように、ステップ３で選定した平均顔画像の局所特徴点（図４（ａ））に対応する点を、本人顔画像の局所特徴点の初期値（図４（ｂ））として設定し（ステップ５）、この局所特徴点を移動させながら、平均顔画像の局所特徴点に最も対応すると評価できる本人顔画像の局所特徴点の位置を求める（ステップ６）。
局所特徴点は、図３（ａ）に示すように、顔画像の特定領域を規則的に分割する格子点を局所特徴点として選定してもよく、また、図３（ｂ）に示すように、顔のランドマーク点、例えば、目、鼻、口などの特徴点を局所特徴点として選定してもよい。ここでは、顔画像の特定領域に設けた格子点を局所特徴点とする場合について説明する。
対応点計算部１３は、また、本人顔画像入力部１１から入力した本人顔画像に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い、本人顔画像を生成する（ステップ４）。
次に、図４に示すように、ステップ３で選定した平均顔画像の局所特徴点（図４（ａ））に対応する点を、本人顔画像の局所特徴点の初期値（図４（ｂ））として設定し（ステップ５）、この局所特徴点を移動させながら、平均顔画像の局所特徴点に最も対応すると評価できる本人顔画像の局所特徴点の位置を求める（ステップ６）。
この評価は、局所特徴点周辺のテクスチャー（濃淡値）の分布や、局所特徴点間の距離に着目して行う。具体的には、局所特徴点周辺のテクスチャーの性質を測定するため、例えば前記非特許文献１に記載されているように、各局所特徴点に対して、図５に示す８つの方向（ｄ１〜ｄ８）の各方向について、空間周波数を異なる５つのスケールに設定した合計４０のウエーブレットフィルタを用いてテクスチャーの特徴を抽出する。このウエーブレットフィルタには、人間の視覚系をモデル化した「Ｇａｂｏｒフィルタ」等を使用する。
各ウエーブレットフィルタの出力は、複素数ａｉ＋ｊｂｉ（ｉはｉ番目のウエーブレットフィルタを示す）の形で得られる。この複素数ａｉ＋ｊｂｉより一つの実数ｄｉ＝（ａｉ2＋ｂｉ2）1/2を求め、４０個のウエーブレットフィルタの出力から求めた実数ｄｉにより４０次元の局所特徴ベクトルＷ＝[ｄ1,ｄ2,…,ｄ40]を生成する。このＷは、局所特徴点の局所特徴量を表している。
平均顔画像の局所特徴点ｒの局所特徴量Ｗｒと、局所特徴点ｒに対応する本人顔画像の局所特徴点ｔの局所特徴量Ｗｔとの差分は、局所特徴ベクトルＷｒとＷｔとの距離||Ｗｒ−Ｗｔ||として求めることができる。
各ウエーブレットフィルタの出力は、複素数ａｉ＋ｊｂｉ（ｉはｉ番目のウエーブレットフィルタを示す）の形で得られる。この複素数ａｉ＋ｊｂｉより一つの実数ｄｉ＝（ａｉ2＋ｂｉ2）1/2を求め、４０個のウエーブレットフィルタの出力から求めた実数ｄｉにより４０次元の局所特徴ベクトルＷ＝[ｄ1,ｄ2,…,ｄ40]を生成する。このＷは、局所特徴点の局所特徴量を表している。
平均顔画像の局所特徴点ｒの局所特徴量Ｗｒと、局所特徴点ｒに対応する本人顔画像の局所特徴点ｔの局所特徴量Ｗｔとの差分は、局所特徴ベクトルＷｒとＷｔとの距離||Ｗｒ−Ｗｔ||として求めることができる。
また、図４に示すように、平均顔画像の局所特徴点ｒに繋がる局所特徴点をｒ１、ｒ２、ｒ３、ｒ４とし、本人顔画像の局所特徴点ｔに繋がる局所特徴点をｔ１、ｔ２、ｔ３、ｔ４とするとき、局所特徴点ｒとｔとの局所特徴点間距離の差分||Ｐｒ−Ｐｔ||は、次の（数１）により計算することができる。
||Ｐｒ−Ｐｔ||＝Σ|（ｒ−ｒｉ−ｔ＋ｔｉ）| （数１）
（Σはｉ＝１から４まで加算）
この対応局所特徴点ｒとｔとの差分を表す局所コストＳ（ｒ，ｔ）を（数２）で求める。
Ｓ（ｒ，ｔ）＝α||Ｗｒ−Ｗｔ||＋β||Ｐｒ−Ｐｔ|| （数２）
但し、α、βは適当な係数である。
||Ｐｒ−Ｐｔ||＝Σ|（ｒ−ｒｉ−ｔ＋ｔｉ）| （数１）
（Σはｉ＝１から４まで加算）
この対応局所特徴点ｒとｔとの差分を表す局所コストＳ（ｒ，ｔ）を（数２）で求める。
Ｓ（ｒ，ｔ）＝α||Ｗｒ−Ｗｔ||＋β||Ｐｒ−Ｐｔ|| （数２）
但し、α、βは適当な係数である。
そして、（数３）で示すコスト関数Ｃを評価式に用いて、位相構造を維持しながら、本人顔画像上で局所特徴点を移動し、コスト関数Ｃが最小になる局所特徴点を求める。
但し、Ｒは参照顔画像とした平均顔画像の局所特徴点の集合、Ｔは本人顔画像の局所特徴点の集合、Ｓ（Ｒ,Ｔ）は、（数２）で示す、対応局所特徴点ｒとｔにおける局所コストである。
図４では、こうした方法で最終的に求めた、平均顔画像の局所特徴点に対応する本人顔画像の局所特徴点を図４（ｃ）に示している。
図４では、こうした方法で最終的に求めた、平均顔画像の局所特徴点に対応する本人顔画像の局所特徴点を図４（ｃ）に示している。
本人顔画像入力部１１から複数枚の本人顔画像が入力した場合は、本人顔画像の各々について、同様の方法で局所特徴点及び局所特徴量を求め、その平均値を求める（ステップ７）。
本人顔画像登録部１４及び参照顔画像登録部１５を通じて、本人顔画像とその局所特徴点及び局所特徴量、並びに、参照顔画像とその局所特徴点及び局所特徴量をＩＣカード２０に書き込む（ステップ８）。
本人顔画像登録部１４及び参照顔画像登録部１５を通じて、本人顔画像とその局所特徴点及び局所特徴量、並びに、参照顔画像とその局所特徴点及び局所特徴量をＩＣカード２０に書き込む（ステップ８）。
図２（ｂ）のフローチャートは、認証時に認証端末３０及びＩＣカード２０で行われる処理の手順を示している。
認証端末３０の対応点計算部３３は、撮影像顔画像入力部３２から入力した撮像顔画像の姿勢、サイズ、輝度を周知の方法で正規化する（ステップ１０）。ＩＣカード２０から、参照顔画像入力部３１を通じて、平均顔画像とその局所特徴点及び局所特徴量を取得し（ステップ１１）、図４に示すように、平均顔画像の局所特徴点（図４（ａ））に対応する点を、撮影顔画像の局所特徴点の初期値（図４（ｄ））として設定し（ステップ１２）、この局所特徴点を移動させながら、平均顔画像の局所特徴点に最も対応すると評価できる撮影顔画像の局所特徴点（図４（ｅ））の位置を求める（ステップ１３）。この場合、ステップ６と同様に、（数３）を評価式に用いて、撮影顔画像上で局所特徴点を移動しながら、評価式の値が最小になる撮影顔画像の局所特徴点及び局所特徴量を求める。
認証端末３０の対応点計算部３３は、撮影像顔画像入力部３２から入力した撮像顔画像の姿勢、サイズ、輝度を周知の方法で正規化する（ステップ１０）。ＩＣカード２０から、参照顔画像入力部３１を通じて、平均顔画像とその局所特徴点及び局所特徴量を取得し（ステップ１１）、図４に示すように、平均顔画像の局所特徴点（図４（ａ））に対応する点を、撮影顔画像の局所特徴点の初期値（図４（ｄ））として設定し（ステップ１２）、この局所特徴点を移動させながら、平均顔画像の局所特徴点に最も対応すると評価できる撮影顔画像の局所特徴点（図４（ｅ））の位置を求める（ステップ１３）。この場合、ステップ６と同様に、（数３）を評価式に用いて、撮影顔画像上で局所特徴点を移動しながら、評価式の値が最小になる撮影顔画像の局所特徴点及び局所特徴量を求める。
認証端末３０の対応点計算部３３で算出された撮影顔画像の局所特徴点及び局所特徴量は、撮影顔画像出力部３４を通じてＩＣカード２０に送られる。
ＩＣカード２０の照合部２３は、本人顔画像保持部２１で保持されている本人顔画像の局所特徴点及び局所特徴量を読み出し（ステップ１４）、本人顔画像の局所特徴点と撮影顔画像の局所特徴点とを対応させる（ステップ１５）。即ち、図４（ｃ）の本人顔画像の局所特徴点と図４（ｅ）の撮影顔画像の局所特徴点とを対応させる。これらの局所特徴点は、参照顔画像の局所特徴点（図４（ａ））を介して１対１で対応している。
ＩＣカード２０の照合部２３は、本人顔画像保持部２１で保持されている本人顔画像の局所特徴点及び局所特徴量を読み出し（ステップ１４）、本人顔画像の局所特徴点と撮影顔画像の局所特徴点とを対応させる（ステップ１５）。即ち、図４（ｃ）の本人顔画像の局所特徴点と図４（ｅ）の撮影顔画像の局所特徴点とを対応させる。これらの局所特徴点は、参照顔画像の局所特徴点（図４（ａ））を介して１対１で対応している。
次に、（数３）において、Ｒを本人顔画像の局所特徴点の集合、Ｔを撮影顔画像の局所特徴点の集合としてコスト関数Ｃの値を計算し、本人顔画像と撮影顔画像との類似度を求める（ステップ１６）。算出したコスト関数Ｃの値を予め定めた閾値と比較し、コスト関数Ｃの値が閾値以下であれば、撮影顔画像の人物を本人と判定し、閾値を超えていれば、撮影顔画像の人物を本人ではないと判定する（ステップ１７）。この判定結果を、認証結果出力部２５を通じて認証端末３０に出力する（ステップ１８）。
このように、この認証方法では、ＩＣカード２０に、本人顔画像と、本人顔画像を推定できない平均顔画像とが登録され、認証時には、平均顔画像のみがＩＣカード２０の外に出力される。そのため、本人顔画像に対するセキュリティは守られ、プライバシーは保護される。
また、認証時に行われる処理の内、撮影顔画像から対応局所特徴点を求める処理は、極めて計算量が多いが、局所特徴点が既に決まっている本人顔画像及び撮影顔画像の類似度を計算する処理の計算量は僅かである。例えば、ＰＣを用いて、この対応局所特徴点を求める処理を行う場合、数十秒を要するが、類似度の計算は、μｓのオーダーの時間で処理できる。この認証方法では、処理負担が重い対応局所特徴点を求める処理は認証端末３０に任され、ＩＣカード２０が行うべき処理は、局所特徴点が既に決まっている本人顔画像及び撮影顔画像の類似度の計算だけであるため、ＩＣカードの計算能力で十分対応できる。
また、参照顔画像として平均顔を利用することにより、各個人に対して安定的に局所特徴点と局所特徴量とを抽出することができ、安定的な認証精度が維持できる。
また、認証時に行われる処理の内、撮影顔画像から対応局所特徴点を求める処理は、極めて計算量が多いが、局所特徴点が既に決まっている本人顔画像及び撮影顔画像の類似度を計算する処理の計算量は僅かである。例えば、ＰＣを用いて、この対応局所特徴点を求める処理を行う場合、数十秒を要するが、類似度の計算は、μｓのオーダーの時間で処理できる。この認証方法では、処理負担が重い対応局所特徴点を求める処理は認証端末３０に任され、ＩＣカード２０が行うべき処理は、局所特徴点が既に決まっている本人顔画像及び撮影顔画像の類似度の計算だけであるため、ＩＣカードの計算能力で十分対応できる。
また、参照顔画像として平均顔を利用することにより、各個人に対して安定的に局所特徴点と局所特徴量とを抽出することができ、安定的な認証精度が維持できる。
なお、ステップ１６で本人顔画像と撮影顔画像との類似度を求める場合に、全ての局所特徴点ではなく、局所特徴点の一部を用いてコスト関数Ｃの計算を行うことも考えられる。
また、ここでは、弾性グラフマッチング法により顔認証を行う場合について説明したが、本発明の方法、即ち、ＩＣカードに本人顔画像と参照顔画像とを登録し、認証時に参照顔画像をＩＣカードから出力して、参照顔画像を介して本人顔画像と撮影顔画像とを照合する方法は、その他の顔照合アルゴリズムを用いて顔認証を行う場合にも適用できる。
また、ここでは、弾性グラフマッチング法により顔認証を行う場合について説明したが、本発明の方法、即ち、ＩＣカードに本人顔画像と参照顔画像とを登録し、認証時に参照顔画像をＩＣカードから出力して、参照顔画像を介して本人顔画像と撮影顔画像とを照合する方法は、その他の顔照合アルゴリズムを用いて顔認証を行う場合にも適用できる。
（第２の実施形態）
本発明の第２の実施形態では、参照顔画像として、人種または年齢等によってクラスタリングされた顔画像セットの平均値を利用する場合について説明する。
この顔画像認証方法では、参照顔画像の生成に用いる顔画像セットをクラスタリングし、本人顔画像の属するクラスターの平均顔画像を参照顔画像としてＩＣカードに登録する。この登録は、第１の実施形態（図１）と同様の構成を有する登録端末１０によって行われる。ＩＣカード２０及び認証端末３０の構成、並びに認証時の動作（図２（ｂ））は第１の実施形態と変わりがない。
本発明の第２の実施形態では、参照顔画像として、人種または年齢等によってクラスタリングされた顔画像セットの平均値を利用する場合について説明する。
この顔画像認証方法では、参照顔画像の生成に用いる顔画像セットをクラスタリングし、本人顔画像の属するクラスターの平均顔画像を参照顔画像としてＩＣカードに登録する。この登録は、第１の実施形態（図１）と同様の構成を有する登録端末１０によって行われる。ＩＣカード２０及び認証端末３０の構成、並びに認証時の動作（図２（ｂ））は第１の実施形態と変わりがない。
図６のフローチャートは、登録端末１０の対応点計算部１３で行われる処理の手順を示している。
対応点計算部１３は、参照顔画像入力部１２から入力した複数の参照顔画像（顔画像セット）に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ２０）、次に、顔画像セットを所定の方法で、例えば、年齢別、人種別、男女別、職業別、顔特徴別などにクラスタリングし（ステップ２１）、各クラスターの平均顔を計算する（ステップ２２）。次に、各クラスターの平均顔画像の特定領域に局所特徴点を選定し、その点での局所特徴量を求める（ステップ２３）。
また、本人顔画像入力部１１から入力した本人顔画像に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行って本人顔画像を生成し（ステップ２４）、その本人顔画像が分類されるクラスターを選定する（ステップ２５）。次に、そのクラスターの平均顔を選択し（ステップ２６）、その平均顔画像の局所特徴点に対応する点を、本人顔画像の局所特徴点の初期値として設定する（ステップ２７）。
対応点計算部１３は、参照顔画像入力部１２から入力した複数の参照顔画像（顔画像セット）に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ２０）、次に、顔画像セットを所定の方法で、例えば、年齢別、人種別、男女別、職業別、顔特徴別などにクラスタリングし（ステップ２１）、各クラスターの平均顔を計算する（ステップ２２）。次に、各クラスターの平均顔画像の特定領域に局所特徴点を選定し、その点での局所特徴量を求める（ステップ２３）。
また、本人顔画像入力部１１から入力した本人顔画像に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行って本人顔画像を生成し（ステップ２４）、その本人顔画像が分類されるクラスターを選定する（ステップ２５）。次に、そのクラスターの平均顔を選択し（ステップ２６）、その平均顔画像の局所特徴点に対応する点を、本人顔画像の局所特徴点の初期値として設定する（ステップ２７）。
以後の処理は、第１の実施形態と同じであり、この局所特徴点を本人顔画像上で移動しながら、（数３）の値が最小になる本人顔画像の局所特徴点の位置と、その点での局所特徴量とを求める（ステップ２８）。また、本人顔画像入力部１１から複数枚の本人顔画像が入力した場合は、本人顔画像の各々について、同様の方法で局所特徴点及び局所特徴量を求め、その平均値を求める（ステップ２９）。そして、本人顔画像とその局所特徴点及び局所特徴量、並びに、参照顔画像としたクラスターの平均顔画像とその局所特徴点及び局所特徴量をＩＣカード２０に書き込む（ステップ３０）。
このように、参照顔画像として、本人顔画像が属するクラスターの平均顔画像を用いる場合は、参照顔画像と本人顔画像との特徴が多くの点で共通しているため、より適切な局部特徴点を設定できる。その結果、認証精度の向上と安定とを図ることができる。
（第３の実施形態）
本発明の第３の実施形態では、参照顔画像として、任意の他人顔画像を利用する場合について説明する。
この顔画像認証方法では、任意の他人の顔画像を参照顔画像としてＩＣカードに登録する。この登録は、第１の実施形態（図１）と同様の構成を有する登録端末１０によって行われる。ＩＣカード２０及び認証端末３０の構成、並びに、認証時の動作（図２（ｂ））は第１の実施形態と変わりがない。
本発明の第３の実施形態では、参照顔画像として、任意の他人顔画像を利用する場合について説明する。
この顔画像認証方法では、任意の他人の顔画像を参照顔画像としてＩＣカードに登録する。この登録は、第１の実施形態（図１）と同様の構成を有する登録端末１０によって行われる。ＩＣカード２０及び認証端末３０の構成、並びに、認証時の動作（図２（ｂ））は第１の実施形態と変わりがない。
図７のフローチャートは、登録端末１０の対応点計算部１３で行われる処理の手順を示している。
対応点計算部１３は、参照顔画像入力部１２から入力した他人顔画像に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ３１）、この他人顔画像の特定領域に局所特徴点を選定し、その点の局所特徴量を求める（ステップ３２）。
対応点計算部１３は、参照顔画像入力部１２から入力した他人顔画像に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ３１）、この他人顔画像の特定領域に局所特徴点を選定し、その点の局所特徴量を求める（ステップ３２）。
以後の処理は、第１の実施形態と同様であり、本人顔画像入力部１１から入力した本人顔画像に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行って本人顔画像を生成し（ステップ３３）、他人顔画像の局所特徴点に対応する点を、本人顔画像の局所特徴点の初期値として設定する（ステップ３４）。次いで、本人顔画像上で局所特徴点を移動しながら、（数３）の値が最小になる本人顔画像の局所特徴点の位置と、その点での局所特徴量とを求める（ステップ３５）。また、本人顔画像入力部１１から複数枚の本人顔画像が入力した場合は、本人顔画像の各々について、同様の方法で局所特徴点及び局所特徴量を求め、その平均値を求める（ステップ３６）。そして、本人顔画像とその局所特徴点及び局所特徴量、並びに、参照顔画像である他人顔画像とその局所特徴点及び局所特徴量をＩＣカード２０に書き込む（ステップ３７）。
このように、参照顔画像として、任意の他人顔画像を用いる場合には、平均顔関連の計算を省略できる。そのため、登録に要する時間とリソースとを節約することができる。
（第４の実施形態）
本発明の第４の実施形態では、本人顔画像の局部特徴点を決めてから、それに対応する参照顔画像の局部特徴点を求める場合について説明する。
第１〜第３の実施形態では、局所特徴点の選定を、参照顔画像を用いて行い、本人顔画像上でそれに対応する局所特徴点を求めたが、この実施形態の顔画像認証方法では、逆に、本人顔画像を利用して局所特徴点を選定する。この方法を実施する登録端末、ＩＣカード及び認証端末の構成は、第１の実施形態（図１）と同様であり、また、認証時の動作についても、第１の実施形態（図２（ｂ））と変わりがない。ただ、登録端末１０の動作が第１の実施形態と違っている。
本発明の第４の実施形態では、本人顔画像の局部特徴点を決めてから、それに対応する参照顔画像の局部特徴点を求める場合について説明する。
第１〜第３の実施形態では、局所特徴点の選定を、参照顔画像を用いて行い、本人顔画像上でそれに対応する局所特徴点を求めたが、この実施形態の顔画像認証方法では、逆に、本人顔画像を利用して局所特徴点を選定する。この方法を実施する登録端末、ＩＣカード及び認証端末の構成は、第１の実施形態（図１）と同様であり、また、認証時の動作についても、第１の実施形態（図２（ｂ））と変わりがない。ただ、登録端末１０の動作が第１の実施形態と違っている。
図８のフローチャートは、登録端末１０の対応点計算部１３で行われる処理の手順を示している。
対応点計算部１３は、本人顔画像入力部１１から入力した複数の本人顔画像のそれぞれに対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ４１）、本人顔画像の平均顔を計算し（ステップ４２）、この本人平均顔の特定領域に局所特徴点を選定し、その点の局所特徴量を求める（ステップ４３）。
また、参照顔画像入力部１２から入力した複数の参照顔画像（顔画像セット）に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ４４）、顔画像セットの平均顔を計算して（ステップ４５）、本人平均顔の局所特徴点に対応する点を、この顔画像セットの平均顔における局所特徴点の初期値として設定する（ステップ４６）。
対応点計算部１３は、本人顔画像入力部１１から入力した複数の本人顔画像のそれぞれに対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ４１）、本人顔画像の平均顔を計算し（ステップ４２）、この本人平均顔の特定領域に局所特徴点を選定し、その点の局所特徴量を求める（ステップ４３）。
また、参照顔画像入力部１２から入力した複数の参照顔画像（顔画像セット）に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ４４）、顔画像セットの平均顔を計算して（ステップ４５）、本人平均顔の局所特徴点に対応する点を、この顔画像セットの平均顔における局所特徴点の初期値として設定する（ステップ４６）。
次いで、顔画像セット平均顔上で、局所特徴点を移動しながら、（数３）の値が最小になる顔画像セット平均顔の局所特徴点の位置と、その点での局所特徴量とを求める（ステップ４７）。そして、本人平均顔とその局所特徴点及び局所特徴量、並びに、参照顔画像である顔画像セット平均顔とその局所特徴点及び局所特徴量をＩＣカード２０に書き込む（ステップ４８）。
このように、本人顔画像の局部特徴点を先に決め、それに対応する参照顔画像の局部特徴点を求めることによって、本人特有の局部特徴点を選定することができ、認証精度の向上が実現できる。
このように、本人顔画像の局部特徴点を先に決め、それに対応する参照顔画像の局部特徴点を求めることによって、本人特有の局部特徴点を選定することができ、認証精度の向上が実現できる。
なお、本人平均顔の局所特徴量は、本人平均顔より局所特徴量を求めても良いし、あるいは、本人顔画像の各々から求めた局所特徴量の平均値を本人平均顔の局所特徴量としても良い。
また、ここでは、顔画像セットの平均顔を参照顔画像としているが、第２及び第３の実施形態のように、クラスタリングした顔画像の平均値や他人顔画像を参照顔画像としても良い。
また、ここでは、顔画像セットの平均顔を参照顔画像としているが、第２及び第３の実施形態のように、クラスタリングした顔画像の平均値や他人顔画像を参照顔画像としても良い。
（第５の実施形態）
本発明の第５の実施形態では、第４の実施形態のように、本人顔画像の局部特徴点を先に決めるときに、認証効果が高い局所特徴点を選定する場合について説明する。
この顔画像認証方法では、本人の特徴が反映される点を本人顔画像の局所特徴点として選定する。この方法を実施する登録端末、ＩＣカード及び認証端末の構成は、第１の実施形態（図１）と同様であり、また、認証時の動作についても、第１の実施形態（図２（ｂ））と変わりがない。ただ、登録端末１０の動作が第１の実施形態と違っている。
本発明の第５の実施形態では、第４の実施形態のように、本人顔画像の局部特徴点を先に決めるときに、認証効果が高い局所特徴点を選定する場合について説明する。
この顔画像認証方法では、本人の特徴が反映される点を本人顔画像の局所特徴点として選定する。この方法を実施する登録端末、ＩＣカード及び認証端末の構成は、第１の実施形態（図１）と同様であり、また、認証時の動作についても、第１の実施形態（図２（ｂ））と変わりがない。ただ、登録端末１０の動作が第１の実施形態と違っている。
図９のフローチャートは、登録端末１０の対応点計算部１３で行われる処理の手順を示している。
対応点計算部１３は、参照顔画像入力部１２から入力した複数の参照顔画像（顔画像セット）に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ５１）、顔画像セットの平均顔を計算する（ステップ５２）。また、本人顔画像入力部１１から入力した複数の本人顔画像のそれぞれに対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ５３）、本人顔画像の平均顔を計算し（ステップ５４）、この本人平均顔において本人の特徴が良く反映される局所特徴点を選定し、その点の局所特徴量を求める（ステップ５５）。
対応点計算部１３は、参照顔画像入力部１２から入力した複数の参照顔画像（顔画像セット）に対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ５１）、顔画像セットの平均顔を計算する（ステップ５２）。また、本人顔画像入力部１１から入力した複数の本人顔画像のそれぞれに対して、周知の方法で姿勢、サイズ、輝度等を正規化する前処理を行い（ステップ５３）、本人顔画像の平均顔を計算し（ステップ５４）、この本人平均顔において本人の特徴が良く反映される局所特徴点を選定し、その点の局所特徴量を求める（ステップ５５）。
この局所特徴点は、顔画像セットに対して、本人平均顔の識別率を高めることができる特徴点として求められ、例えば、顔画像セット平均顔上で（数３）のコスト関数Ｃの値が最小になるように対応局所特徴点を設定したときのコスト関数Ｃの最小値が最も大きくなる点として求めることができる。また、この局所特徴点の選定に際しては、例えば、文献「未知の画像に対する識別率を用いた顔検出のための特徴点の順序づけ」（電子情報通信学会論文誌, Vol.J84-Ｄ-II, No.8, pp.1781-1789, Aug 2001）に記載された技術を利用することができる。
図１０（ａ）は、本人平均顔において本人の特徴が良く反映される局所特徴点を例示している。
次に、この本人平均顔の局所特徴点に対応する点を、図１０（ｂ）に示すように、顔画像セット平均顔における局所特徴点の初期値として設定し（ステップ５６）、顔画像セット平均顔上で局所特徴点を移動しながら、（数３）で表されるコスト関数Ｃの値が最小になる顔画像セット平均顔の局所特徴点の位置と、その点での局所特徴量とを求める（ステップ５７）。図１０（ｃ）には、最終的に求められた顔画像セット平均顔での対応局所特徴点の位置を示している。そして、本人平均顔とその局所特徴点及び局所特徴量、並びに、参照顔画像である顔画像セット平均顔とその局所特徴点及び局所特徴量をＩＣカード２０に書き込む（ステップ５８）。
次に、この本人平均顔の局所特徴点に対応する点を、図１０（ｂ）に示すように、顔画像セット平均顔における局所特徴点の初期値として設定し（ステップ５６）、顔画像セット平均顔上で局所特徴点を移動しながら、（数３）で表されるコスト関数Ｃの値が最小になる顔画像セット平均顔の局所特徴点の位置と、その点での局所特徴量とを求める（ステップ５７）。図１０（ｃ）には、最終的に求められた顔画像セット平均顔での対応局所特徴点の位置を示している。そして、本人平均顔とその局所特徴点及び局所特徴量、並びに、参照顔画像である顔画像セット平均顔とその局所特徴点及び局所特徴量をＩＣカード２０に書き込む（ステップ５８）。
このように、本人の特徴を反映した局所特徴点を選定することにより、認証精度を高めることができる。
なお、ここでは、顔画像セットの平均顔を参照顔画像としているが、第２及び第３の実施形態のように、クラスタリングした顔画像の平均値や他人顔画像を参照顔画像としても良い。
なお、ここでは、顔画像セットの平均顔を参照顔画像としているが、第２及び第３の実施形態のように、クラスタリングした顔画像の平均値や他人顔画像を参照顔画像としても良い。
（第６の実施形態）
本発明の第６の実施形態では、ＩＣカードで参照顔画像を保持せずに認証処理を行う方法について説明する。
この認証処理は、図１１に示す登録端末１０、ＩＣカード２０及び認証端末３０によって行われる。登録端末１０は、図１と同様に、本人顔画像入力部１１、参照顔画像入力部１２、対応点計算部１３及び本人顔画像登録部１４を具備し、参照顔画像登録部に代わるものとして、参照顔画像とその局所特徴点及び局所特徴量を保持し、それらのデータを認証端末３０に転送する参照顔画像保持部１６を備えている。
本発明の第６の実施形態では、ＩＣカードで参照顔画像を保持せずに認証処理を行う方法について説明する。
この認証処理は、図１１に示す登録端末１０、ＩＣカード２０及び認証端末３０によって行われる。登録端末１０は、図１と同様に、本人顔画像入力部１１、参照顔画像入力部１２、対応点計算部１３及び本人顔画像登録部１４を具備し、参照顔画像登録部に代わるものとして、参照顔画像とその局所特徴点及び局所特徴量を保持し、それらのデータを認証端末３０に転送する参照顔画像保持部１６を備えている。
また、ＩＣカード２０は、図１と同様に、本人顔画像保持部２１、撮像顔画像入力部２４、照合部２３及び認証結果出力部２５を具備し、参照顔画像保持部は有していない。
また、認証端末３０は、登録端末１０から参照顔画像とその局所特徴点及び局所特徴量を取得する参照顔画像入力部３１を具備し、その他に、図１と同様に、撮像顔画像入力部３２、対応点計算部３３、撮像顔画像出力部３４及び認証結果処理部３５を備えている。
また、認証端末３０は、登録端末１０から参照顔画像とその局所特徴点及び局所特徴量を取得する参照顔画像入力部３１を具備し、その他に、図１と同様に、撮像顔画像入力部３２、対応点計算部３３、撮像顔画像出力部３４及び認証結果処理部３５を備えている。
登録端末１０の対応点計算部１３で行われる処理の手順は、図２（ａ）、あるいは、図６、図７、図８、図９に示すものと変わりがない。ただ、登録データの出力先は変わっており、本人顔画像とその局所特徴点及び局所特徴量はＩＣカード２０に送られ、参照顔画像とその局所特徴点及び局所特徴量は認証端末３０に送られる。
また、認証時の処理手順は、図２（ｂ）に示すものと変わりがない。ただ、参照顔画像の取得先が、ＩＣカード２０では無く、登録端末１０である点が変わっている。
また、認証時の処理手順は、図２（ｂ）に示すものと変わりがない。ただ、参照顔画像の取得先が、ＩＣカード２０では無く、登録端末１０である点が変わっている。
登録端末１０が、例えばＩＣカード２０を添付したパスポートを発行する区役所等に設置され、この登録端末１０にネットワークで接続する認証端末３０が、例えば空港に設置されている場合では、各空港の認証端末３０は、パスポート所持者の顔を撮影したときに、登録端末１０から参照顔画像とその局所特徴点及び局所特徴量を取得して、撮影顔画像の対応局所特徴点を算出し、撮影顔画像の局所特徴点及び局所特徴量をパスポートのＩＣカード２０に送る。
ＩＣカード２０は、保持している本人顔画像の局所特徴点及び局所特徴量と、認証端末３０から送られた撮影顔画像の局所特徴点及び局所特徴量とを用いて、本人顔画像と撮影顔画像との類似度を求め、撮影された人物が本人か否かの判定結果を認証端末３０に出力する。
ＩＣカード２０は、保持している本人顔画像の局所特徴点及び局所特徴量と、認証端末３０から送られた撮影顔画像の局所特徴点及び局所特徴量とを用いて、本人顔画像と撮影顔画像との類似度を求め、撮影された人物が本人か否かの判定結果を認証端末３０に出力する。
このように、この顔画像認証方法では、登録端末で保持された参照顔画像のデータを各所の認証端末が共同で利用することができる。また、ＩＣカードは、参照顔画像データを保持する必要がないため、メモリ負担が軽減される。
なお、各実施形態におけるＩＣカードは、カード形状のものでも、チップ状のものでも良く、また、カード単体で使用するものでも、携帯端末に装着して使用するものでも、あるいは、携帯端末に部品として組み込まれるものであっても良い。
なお、各実施形態におけるＩＣカードは、カード形状のものでも、チップ状のものでも良く、また、カード単体で使用するものでも、携帯端末に装着して使用するものでも、あるいは、携帯端末に部品として組み込まれるものであっても良い。
本発明の個人認証方法は、ＩＣカードの利用者の本人確認に用いることができ、例えば、建物等への入退出管理に使用するＩＣカードや、ＩＣカード機能が付された銀行カードやパスポート、定期券、携帯端末に搭載してチケットや電子マネーの情報が蓄積されるＩＣカードなど、各種形態のＩＣカードが使用される全ての分野において利用することができる。また、本発明のＩＣカード及び認証機器は、それらのＩＣカード及び本人確認用機器として使用することができる。
１０ 登録端末
１１ 本人顔画像入力部
１２ 参照顔画像入力部
１３ 対応点計算部
１４ 本人顔画像登録部
１５ 参照顔画像登録部
１６ 参照顔画像保持部
２０ ＩＣカード
２１ 本人顔画像保持部
２２ 参照顔画像保持部
２３ 照合部
２４ 撮像顔画像入力部
２５ 認証結果出力部
３０ 認証端末
３１ 参照顔画像入力部
３２ 撮像顔画像入力部
３３ 対応点計算部
３４ 撮像顔画像出力部
３５ 認証結果処理部
１１ 本人顔画像入力部
１２ 参照顔画像入力部
１３ 対応点計算部
１４ 本人顔画像登録部
１５ 参照顔画像登録部
１６ 参照顔画像保持部
２０ ＩＣカード
２１ 本人顔画像保持部
２２ 参照顔画像保持部
２３ 照合部
２４ 撮像顔画像入力部
２５ 認証結果出力部
３０ 認証端末
３１ 参照顔画像入力部
３２ 撮像顔画像入力部
３３ 対応点計算部
３４ 撮像顔画像出力部
３５ 認証結果処理部
Claims (13)
- 本人顔画像及び参照顔画像の一方に複数の特徴点を設定し、前記特徴点に対応する特徴点を他方の顔画像上で求めて、ＩＣカードに、本人顔画像の特徴点を登録し、認証時に、前記参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求めて、撮影顔画像の特徴点を前記ＩＣカードに書き込み、前記ＩＣカード内で、本人顔画像の特徴点と撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定することを特徴とする個人認証方法。
- 本人顔画像及び参照顔画像の一方に複数の特徴点を設定し、前記特徴点に対応する特徴点を他方の顔画像上で求めて、ＩＣカードに、本人顔画像の特徴点と参照顔画像の特徴点とを登録し、認証時に、前記ＩＣカードから参照顔画像の特徴点を読み出し、前記参照顔画像の特徴点に対応する特徴点を撮影顔画像の上で求めて、撮影顔画像の特徴点を前記ＩＣカードに書き込み、前記ＩＣカード内で、本人顔画像の特徴点と撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定することを特徴とする個人認証方法。
- 前記参照顔画像として、複数の人の平均顔画像を用いることを特徴とする請求項１または請求項２に記載の個人認証方法。
- 前記参照顔画像として、本人が属する集団の複数の人から生成した平均顔画像を用いることを特徴とする請求項１または請求項２に記載の個人認証方法。
- 前記参照顔画像として、本人以外の任意の他人顔画像を用いることを特徴とする請求項１または請求項２に記載の個人認証方法。
- 前記参照顔画像の特徴点を設定し、前記特徴点に対応する特徴点を本人顔画像の上で求めることを特徴とする請求項１または請求項２に記載の個人認証方法。
- 前記本人顔画像の特徴点を設定し、前記特徴点に対応する特徴点を参照顔画像の上で求めることを特徴とする請求項１または請求項２に記載の個人認証方法。
- 前記本人顔画像の特徴点として、本人認証に最適な点を設定することを特徴とする請求項７に記載の個人認証方法。
- 本人顔画像の特徴点のデータを保持する本人顔画像保持部と、
認証時に、特徴点が決められた撮影顔画像のデータを外部から取得する撮影顔画像入力部と、
前記本人顔画像保持部から読み出した本人顔画像の特徴点と、外部から取得した撮影顔画像の特徴点とを照合して、撮影顔画像と本人顔画像との一致を判定する照合部と
を備えることを特徴とするＩＣカード。 - 参照顔画像の特徴点のデータを保持する参照顔画像保持部をさらに具備し、認証時に、前記参照顔画像の特徴点のデータが外部に読み出されることを特徴とする請求項９に記載のＩＣカード。
- 参照顔画像の特徴点のデータを取得する参照顔画像入力部と、
撮影顔画像を取得する撮影顔画像入力部と、
前記参照顔画像の特徴点に対応する特徴点を前記撮影顔画像の上で求める対応点計算部と、
得られた撮影顔画像の特徴点をＩＣカードに書き込む撮影顔画像出力部と、
前記ＩＣカードから認証結果を取得して、認証結果に応じた処理を行う認証結果処理部と
を備えることを特徴とする認証装置。 - 前記参照顔画像入力部が、前記ＩＣカードから前記参照顔画像の特徴点のデータを取得することを特徴とする請求項１１に記載の認証装置。
- 前記参照顔画像入力部が、前記ＩＣカードに本人顔画像のデータを登録した機器から前記参照顔画像の特徴点のデータを取得することを特徴とする請求項１１に記載の認証装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004109941A JP2005293399A (ja) | 2004-04-02 | 2004-04-02 | 個人認証方法と装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004109941A JP2005293399A (ja) | 2004-04-02 | 2004-04-02 | 個人認証方法と装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005293399A true JP2005293399A (ja) | 2005-10-20 |
Family
ID=35326233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004109941A Pending JP2005293399A (ja) | 2004-04-02 | 2004-04-02 | 個人認証方法と装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005293399A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005310009A (ja) * | 2004-04-23 | 2005-11-04 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | 情報処理装置及び情報処理方法、並びにシフト・レジスタ |
| EP1802093A1 (fr) * | 2005-12-26 | 2007-06-27 | Axalto SA | Procédé de synchronisation d'image pour marquage invisible |
| JP2008310814A (ja) * | 2007-06-15 | 2008-12-25 | Research & Industry-Univ Cooperation Foundation Hankuk Univ Of Foreign Studies | 指紋照合システムおよび指紋照合方法 |
| JP2009087209A (ja) * | 2007-10-02 | 2009-04-23 | Sony Corp | 画像処理装置、撮像装置、これらにおける処理方法およびプログラム |
| JP2011013818A (ja) * | 2009-06-30 | 2011-01-20 | Nippon Hoso Kyokai <Nhk> | 顔特徴点抽出装置及び顔特徴点抽出プログラム |
| JP2012008967A (ja) * | 2010-06-28 | 2012-01-12 | Glory Ltd | 画像照合装置および画像照合方法 |
| JP2012256272A (ja) * | 2011-06-10 | 2012-12-27 | Seiko Epson Corp | 生体識別装置、及び、生体識別方法 |
| CN103824030A (zh) * | 2014-02-27 | 2014-05-28 | 宇龙计算机通信科技(深圳)有限公司 | 数据保护装置和数据保护方法 |
| CN106921791A (zh) * | 2017-01-25 | 2017-07-04 | 北京奇虎科技有限公司 | 一种多媒体文件的存储和查看方法、装置及移动终端 |
| CN114431631A (zh) * | 2022-01-24 | 2022-05-06 | 郑州大学 | 一种支持身份识别和精准审方的智能药柜装置 |
-
2004
- 2004-04-02 JP JP2004109941A patent/JP2005293399A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005310009A (ja) * | 2004-04-23 | 2005-11-04 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | 情報処理装置及び情報処理方法、並びにシフト・レジスタ |
| EP1802093A1 (fr) * | 2005-12-26 | 2007-06-27 | Axalto SA | Procédé de synchronisation d'image pour marquage invisible |
| WO2007074393A1 (fr) * | 2005-12-26 | 2007-07-05 | Axalto Sa | Procede de synchronisation d'image pour marquage invisible |
| US8358817B2 (en) | 2007-06-15 | 2013-01-22 | Empire Technology Development Llc | Systems and methods for fingerprint matching based on transforming the deformable mesh |
| JP2008310814A (ja) * | 2007-06-15 | 2008-12-25 | Research & Industry-Univ Cooperation Foundation Hankuk Univ Of Foreign Studies | 指紋照合システムおよび指紋照合方法 |
| JP2009087209A (ja) * | 2007-10-02 | 2009-04-23 | Sony Corp | 画像処理装置、撮像装置、これらにおける処理方法およびプログラム |
| US8213690B2 (en) | 2007-10-02 | 2012-07-03 | Sony Corporation | Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses |
| JP2011013818A (ja) * | 2009-06-30 | 2011-01-20 | Nippon Hoso Kyokai <Nhk> | 顔特徴点抽出装置及び顔特徴点抽出プログラム |
| JP2012008967A (ja) * | 2010-06-28 | 2012-01-12 | Glory Ltd | 画像照合装置および画像照合方法 |
| JP2012256272A (ja) * | 2011-06-10 | 2012-12-27 | Seiko Epson Corp | 生体識別装置、及び、生体識別方法 |
| CN103824030A (zh) * | 2014-02-27 | 2014-05-28 | 宇龙计算机通信科技(深圳)有限公司 | 数据保护装置和数据保护方法 |
| CN106921791A (zh) * | 2017-01-25 | 2017-07-04 | 北京奇虎科技有限公司 | 一种多媒体文件的存储和查看方法、装置及移动终端 |
| CN114431631A (zh) * | 2022-01-24 | 2022-05-06 | 郑州大学 | 一种支持身份识别和精准审方的智能药柜装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7447978B2 (ja) | 顔照合システム、顔照合方法、及びプログラム | |
| CN104751108B (zh) | 人脸图像识别装置和人脸图像识别方法 | |
| Yan et al. | Multi-biometrics 2D and 3D ear recognition | |
| JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
| JP2007206833A (ja) | 生体照合方法および生体照合装置 | |
| JP2006338092A (ja) | パタン照合方法、パタン照合システム及びパタン照合プログラム | |
| KR101464446B1 (ko) | 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치 | |
| JP7151875B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| Kar et al. | A multi-algorithmic face recognition system | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| JP2005293399A (ja) | 個人認証方法と装置 | |
| JP2006085268A (ja) | 生体認証システムおよび生体認証方法 | |
| JP7248348B2 (ja) | 顔認証装置、顔認証方法、及びプログラム | |
| Ravi et al. | A study on face recognition technique based on Eigenface | |
| KR102215535B1 (ko) | 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템 | |
| Zhang et al. | A novel face recognition system using hybrid neural and dual eigenspaces methods | |
| JP4384366B2 (ja) | 画像照合処理システムおよび画像照合方法 | |
| Menon | Leveraging Facial Recognition Technology in Criminal Identification | |
| JP3841482B2 (ja) | 顔画像認識装置 | |
| JP6429823B2 (ja) | 特徴量抽出装置 | |
| KR20230034622A (ko) | 다중 데이터 합성을 이용한 신원 인증 방법 | |
| Archana et al. | Leveraging Facial Analytics for Enhanced Crime Prevention-Integrating Video Surveillance and FaceNet Algorithm | |
| Paik et al. | On a lip print recognition by the pattern kernels with multiresolution architecture | |
| Meivel et al. | Hybrid Student Authentication System Using RFID Reader and Face Biometrics Using Deep Learning Techniques | |
| Katke | Face detection using Viola Jones algorithm and MLP technique |