JP2006171813A - 顔画像認証システム、携帯端末及び認証装置 - Google Patents

Abstract

【課題】登録時の画像（標準パターン）と認証時の入力画像とを一致させて、正確な顔画像の認証を可能にする顔画像認証システム、携帯端末及び認証装置を提供すること。
【解決手段】顔画像を認証する顔画像認証システムにおいて、登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、且つ、前記登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する登録用の顔画像データ生成部と、前記認証用の顔画像データを前記標準パターン条件を満たす標準パターン顔画像に実質的に一致させるように認証用の顔画像データを生成する認証用の顔画像データ生成部とからなる前処理手段を備えることを特徴とする顔画像認証システム。
【選択図】 図１

Description

本発明は、顔画像認証システム、携帯端末及び認証装置に関し、詳しくは、登録時の画像（標準パターン）と認証時の入力画像とを一致させて、正確な顔画像の認証を可能にする顔画像認証システム、携帯端末及び認証装置に関する。

従来、セキュリティ管理は各種方面でその必要性が増大している。例えば会社などでは
機密文書の無断外部持ち出しを制限するために、会社建物に入る人の確認をする必要性が
増大してきている。また病院のような場所では、不審者の進入の防止や患者の確認、病院
利用者の料金未払い防止などのために人の確認が必要となっている。また空港などでは、
不正入国者の摘発や、テロの防止のために、パスポートの利用者が真正な所持者であるか
を確認する必要性も増大してきている。

近年、人の確認手段として、人の顔による認証、識別が研究され、普及しつつある。

このような顔の識別は、データベース登録や写真貼付などの方法で予め登録した顔画像と本人の顔とを比較することによって、その人の認証がされてきた。予め登録した顔画像と本人の顔との比較は、認証したい人の顔画像を読み込んで予め登録された顔画像とをコンピュータアルゴリズムにより行う。このように当該比較はコンピュータ演算によるので、扱うデータの容量がコンピュータシステム上少なければ少ないほど演算の速度は速くなり、データベースに登録するための容量が少なくて済む。

しかし、従来の画像データはイメージデータであるため、その容量はとても大きいものとなり、比較判定するために時間がかかるという問題があり、また、予め登録するためのデータベースは容量の大きいものが要求されるという問題点があった。

この問題を解決するために、ＪＰＥＧ（静止画像世界標準符号化方式）やＧＩＦ等の従
来の画像圧縮手法により画像を圧縮する方法が考えられるが、このような従来の圧縮手法
を適用しても、多少の容量の減少は期待できるが、結局は画像データであることは変わら
ずその容量は依然大きいままである。

そこで、本発明者は、画像を含む任意の信号のＤＣＴ符号の性質を利用して、低容量で
画像特徴の識別信号が作成できる画像特徴の識別信号作成装置及び画像特徴の識別信号作
成方法を先に提案した（特許文献１）。

上記先提案の画像特徴の識別信号作成装置及び画像特徴の識別信号作成方法を具体化す
べく、鋭意検討した結果、登録時の画像（標準パターン）と認証時の入力画像とを実質的
に一致させることが正確な顔画像の認証を可能にする上で、極めて重要であることを見出
し、本発明に至った。
国際公開第０３／０４９０２８号パンフレット

そこで、本発明は、登録時の画像（標準パターン）と認証時の入力画像とを一致させて、正確な顔画像の認証を可能にする顔画像認証システム、携帯端末及び認証装置を提供することを課題とする。

本発明の課題を解決する上で、本発明者が見出した技術的課題ないし技術思想の第１は、登録時の画像（標準パターン）を作成するに際し、標準パターンの画像の特定であり、そのためのパラメータを設定した点である。具体的には、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３を設定した。

次に本発明者が見出した技術的課題ないし技術思想の第２は、認証用の画像の入力をいかにするかという点である。つまり、正確な認証を実施するには、いかなる認証用の画像を入力すべきかである。

認証用の画像の入力に際しては、チェックされる人物が自らＣＣＤカメラの前に立って、顔画像が撮影される。この場合、チェックされている人物に対して全く無拘束な状態（自然体）で撮影するため、（１）人物と認証撮影用のＣＣＤカメラとの距離は一定していない、（２）人物の高さが人によって異なる、（３）人物の顔の向きが認証撮影用のＣＣＤカメラに対する角度と異なる、などの理由によって、上記の標準パターン顔画像のパラメータを満たす顔画像の撮影は困難である。

このため本発明者は、登録時の画像（標準パターン）と認証時の入力画像を一致させれば、正確な顔画像の認証ができることを見出した。

即ち、本発明の構成は、以下の通りである。

（請求項１）
顔画像を認証する顔画像認証システムにおいて、
登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、
且つ、前記登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する登録用の顔画像データ生成部と、前記認証用の顔画像データを前記標準パターン条件を満たす標準パターン顔画像に実質的に一致させるように認証用の顔画像データを生成する認証用の顔画像データ生成部とからなる前処理装置を備えることを特徴とする顔画像認証システム。

（請求項２）
顔画像認証システムが、ユーザ端末と、データベースサーバと、認証サーバと、これらを互いに接続する通信回線網とからなり、
前記認証サーバが、前記前処理装置を備えることを特徴とする請求項１記載の顔画像認証システム。

（請求項３）
顔画像を認証する携帯端末において、
登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、
且つ、前記登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する登録用の顔画像データ生成部と、前記認証用の顔画像データを前記標準パターン条件を満たす標準パターン顔画像に実質的に一致させるように認証用の顔画像データを生成する認証用の顔画像データ生成部とからなる前処理装置を備えることを特徴とする携帯端末。

（請求項４）
顔画像を認証する認証装置において、
登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、
且つ、前記登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する登録用の顔画像データ生成部と、前記認証用の顔画像データを前記標準パターン条件を満たす標準パターン顔画像に実質的に一致させるように認証用の顔画像データを生成する認証用の顔画像データ生成部とからなる前処理装置を備えることを特徴とする認証装置。

本発明によると、登録時の画像（標準パターン）と認証時の入力画像とを一致させて、正確な顔画像の認証を可能にする顔画像認証システム、携帯端末及び認証装置を提供することができる。

以下、本発明の実施の形態について説明する。

図１は、本発明の顔画像認証システムをＰＣログインに用いるハードウェアの一例を示す機能ブロック図である。

図１において、１はユーザ端末（クライアント端末ともいう）、２は認証サーバ、３はデータベースサーバあり、これらは互いに通信回線網４によって接続されている。図示の例は、ユーザ端末１、認証サーバ２、データベースサーバ３の各々の機能を分けて説明したものであるが、ハードウェアとしては、ユーザ端末１に認証サーバ２、データベースサーバ３の機能を保有していてもよいし、認証サーバ２、データベースサーバ３が一つのサーバで二つの機能を保有していてもよい。

ユーザ端末１は、登録及び認証のための顔画像データを入力する顔画像入力手段の一例である顔画像データ入力部１０、前記顔画像に関連する登録及び認証のための識別データを入力する識別データ入力部１０１、モニターなどの表示部１０２、送信部１０３、受信部１０４を少なくとも備えている。表示部１０２はユーザ端末１の本体と一体であっても別体であってもよい。

本発明の顔画像認証システムでは、１）カメラで撮影して顔画像を登録・認証する手法と、２）顔写真をスキャナ読み込みして登録・認証する手法と、３）登録時に写真のスキャナ読み込み、認証時にカメラ撮影を用いる手法、４）登録時にカメラ撮影、認証時に写真のスキャナ読み込みを用いる手法などが挙げられる。

顔画像データ入力部１０は、登録用の顔画像を入力する登録顔画像入力部と、認証用の顔画像を入力する認証顔画像入力部とを備える。

顔画像データ入力部１０は、図２に示すように被写体を撮像する撮像手段１０Ａと、標準パターン顔画像取り込み処理部１０Ｂと、画像処理部１０Ｃ、画素数設定部１０Ｄからなる。また１０Ｅは、必要に応じて用いることができるスキャナである。

撮像手段１０Ａは例えばデジタルカメラやカメラ付携帯電話を用いることができる。デジタルカメラは人物の顔や顔写真のような被写体を、撮像レンズを介して撮影し、ＣＣＤ（撮像素子）の撮像面上に結像し、ＣＣＤにより結像された光学像を画素単位で光量に応じた信号電荷に光電変換する。

光電変換された信号は画像処理部１０Ｃに入力され、ノイズ低減処理、また利得調整処理、あるいは以下に記述する照明処理等が施され、更にＡ／Ｄ変換器によりデジタル信号に変換される。

カメラ１０Ａはユーザ端末１にログインするユーザを撮影できる位置に設けられ、ユーザ端末１本体の上部に着脱可能に取り付けられていてもよいし、あるいはユーザ端末１本体に近接した位置に固定しておいてもよい。またカメラ１０Ａは認証サーバ２に設けることも出来る。なお、撮影レンズの向きは自由に変更出来るように構成されていてもよい。

識別データ入力部１０１は、前記顔画像に関連する識別データを入力する役割を果たすのもので、例えばユーザインターフェースを用いることが出来る。ユーザインターフェース１０１としては、キーボード、マウス、タッチパネル等を用いることが出来る。

認証サーバ２は、ユーザ端末１にログインしようとするユーザに、ログインを許可するか否かの認証を行う認証部２００と、認証情報生成部２０１と、送信部２０２と、受信部２０３を少なくとも備えている。

認証情報生成部２０１は、入力された顔画像を処理する前処理手段２０１Ａと２値１次元信号生成手段２０１Ｂとを少なくとも備えている。

データベースサーバ３は、認証情報生成部２０１で生成された認証情報を保存するデータテーブル３００、送信部３０１、受信部３０２を少なくとも備えている。

本発明に係るユーザ端末の顔画像認証システムは、登録処理と認証処理を含む。以下、登録処理と認証処理の各々について詳説する。

（１）登録処理
本態様では、カメラ撮影による登録処理の例について、図３に基づいて説明する。

最初に、登録画面を表示部１０２に表示する（Ｓ１）。表示部１０２には、顔画像を入力するユーザに関する識別データ入力の登録画面（図示せず）が表示される。

次に、ユーザインターフェース１０１から識別データを入力する（Ｓ２）。識別データとしては、ユーザ毎に重複しない個人情報であればよく、例えば社員番号、免許証番号、社会保険番号、納税者番号などのＩＤ番号が好ましい。また必要により氏名、生年月日、会社部署、役職などの利用者属性を入力しておいてもよい。

次に、顔画像データ入力部１０のカメラ１０Ａを起動させて顔画像を入力する（Ｓ３）。Ｓ３で入力された顔画像は、ユーザ端末１の送信部１０３から認証サーバ２に送信され、認証サーバ２の受信部２０３を介して認証情報生成部２０１に送られる。認証情報生成部２０１は、登録用の顔画像データと識別データを取得する（Ｓ４）。

次に、認証情報生成部２０１において、２値１次元テンプレートの作成処理を行う（Ｓ５）。

以下に、２値１次元テンプレートを作成処理のシステムフローを図４に基づいて説明する。

登録処理における前処理手段としては、以下に説明する標準パターン顔画像の生成、照明処理、平滑化処理、顔位置の検出や回転、拡大、縮小、平行移動のような画像変換処理などを含む。

先ず、前処理手段２０１Ａにおいて、標準パターン生成処理を行う（Ｓ２０）。

具体的には、入力された登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する。

入力された顔画像について、照明処理を施すことが認証率を向上させる上で好ましい。本発明者の実験結果によると、認証率を向上させるためには、登録時の照明条件と認証時の照明条件は一致、又はできるだけ変動を少なくすることが好ましいことがわかった。しかし、ユーザが認証システムを使用する際、同レベルの照明条件を設置するのは困難である。従ってシステムの中でこの問題を解決することが必要となる。

本発明の好ましい態様としては、濃淡ヒストグラムによる画像の平滑化処理による照明処理を行うことが挙げられる。

図５に示す濃淡ヒストグラムは、階調画像（例えば階調値：０〜２５５）から階調値と画像に含まれるその階調の画素の数（頻度）との関係図である。濃淡ヒストグラムから元の画像の濃淡分布を知ることができる。ここで濃淡ヒストグラムを用いる各階調の分布をほぼ等しい値にする濃度補正法としてヒストグラム平滑化を行う。

具体的に図６に示すように平滑化閾値を用いて平滑化を行う。平滑化閾値の設定は、以下の式によって行える。

平滑化閾値＝画像の横画素数×縦画素数/表現階調数

平滑化処理のプロセスにおいて、ある階調値の画素数が平滑化閾値より大きい時、それらの画素を幾つかの新しい階調値に割り振る必要があるが、一般に処理が複雑になり、さらに処理時間も長くなってしまう。このため、処理後の画像の階調数を例えば１２８階調などに制限に平滑化閾値を大きくし、平滑化閾値に満たない階調を幾つか合わせて近い値にし、目標値を越える階調について分割などの処理を行わない方法も用いられる。

本発明において、画像入力の手段は、デジタルカメラに代えてスキャナ読み込み部１０Ｅを用いることも出来る（図２参照）。

入力又は読み込まれたデータは多値化デジタルデータである。カメラ１０Ａ又はスキャナ読み込み部１０Ｅによって得られた多値化デジタルデータは、標準パターン顔画像取り込み処理部１０Ｂにおいて、標準パターン条件を満たす標準パターン顔画像データになるように処理される。

画素数設定部１０ＤではＭ×Ｎ画素のように画素数が設定される。Ｍ、Ｎは対象によって異なり、３２，６４，１２８，２５６，５１２のうちのいずれかとする。

標準パターン顔画像取り込み処理部１０Ｂにおいて、標準パターン条件を満たす標準パターン顔画像を入力するには、登録の際に、標準パターン顔画像の下記条件１、２、３（パラメータ）を達成することができるように、登録（入力）顔画像を撮影する。

本発明において、標準パターン条件は、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３である。

条件１は、画素数設定部１０Ｄにおいて、Ｍ×Ｎ（ｐｉｘｅｌ）画素のように画素数を設定する。

条件２は、顔画像が座標を有する条件であり、例えば、図９（Ａ）に示すように、ｘ−ｙ座標軸において、顔画像Ｆの例えば両瞳Ｉ，Ｉ’が所定座標位置（ｘ１、ｙ１）、（ｘ２、ｙ２）となるように設定する。

条件３は、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件であり、例えば、顔画像の中で対称性を有する部位を両瞳を選定する場合は、図９（Ａ）に示すように、その顔画像の両瞳Ｉ，Ｉ’を連結する直線Ｌが水平線、即ち、横軸（ｘ軸）との角度が０となるように設定する。

上記条件１−３の設定は、撮影オペレータが行ってもよいが、好ましくは自動で撮影できるようにすることである。自動で撮影する場合は、上記条件１−３を設定しておくようにする。

次に、前処理手段２０１Ａは、標準パターン条件を満たす標準パターン顔画像を生成するには、顔位置検出処理が好ましく採用される。

図７において、１１１は、撮影された顔画像の顔位置を検出する検出処理部である。顔位置の検出処理部１１１を設けるのは、顔認証の認証率を向上させるため、顔位置の検出することが重要であるからである。

顔位置の検出方法としては、以下のように幾つかの手段がある。

第１は、目検出である。目検出は以下のような条件の何れか一つ又はそれらの組み合わせに基づいて行う。

ア 目と目の周辺との色差（肌色）
イ 目の特徴（対称性、形状等）
ウ 目と他の領域（例えば、鼻、口、眉等）との関係

第２は、瞳検出である。目検出より更に正確性を求める場合、瞳検出を行うことは好ましい。

瞳検出は目検出した上に行うことは更に好ましい。具体的に以下のような条件の何れか一つ又はそれらの組み合わせを用いて瞳検出を行う。

ア 瞳の形状（円）
イ 瞳とその周辺とのコントラスト（瞳のエッジの強さ）

瞳検出するのは、人種の違いによって条件イを使いにくいところがある。従って、正常に瞳検出が可能の場合に検出精度は目検出より高いと考えられるが、使用者の瞳色によって検出できなくなる可能性がある。

第３に、鼻及び鼻孔検出である。鼻及び鼻孔検出の特徴として、それらの位置は不変である。それは顔表情が幾ら変化しても鼻及び鼻孔には影響を与えないことである。つまり、鼻及び鼻孔の位置は顔の中で非常に安定したパターンと考えられる。

鼻及び鼻孔検出では以下の条件の何れか一つ又はそれらの組み合わせに基づいて行う。

ア 鼻は顔から突き出ていて顔の他の部分より照明を受けやすく、ほとんどの画像で顔の中で最も明るい部分となっている
イ 鼻の形状はほとんど変化しない
ウ 鼻とその周辺とのコントラストは鮮明である
エ 鼻孔の形状（円）
オ 鼻孔の対称性

一般的に、鼻位置を確定してから鼻孔の正確な位置検出を行うことが好ましい。

図７において、１１２は、該検出処理部１１１で検出された顔画像の顔位置座標と、標準パターン顔画像の位置座標とから変換パラメータを算出するパラメータ算出部である。

１１３は、該パラメータ算出部１１２で得られたパラメータにより回転、平行移動、拡大・縮小の少なくとも何れか一つの処理を行う画像変換処理部である。

本発明においては、回転、平行移動、拡大・縮小の処理は、何れか一つの処理を行う場合を含み、好ましくは全ての処理を行うことである。全ての処理を行う場合、回転、平行移動、拡大・縮小の順に行うことが好ましい。

本発明において、画像の回転、拡大、縮小、平行移動のような画像変換を行うには、座標の変換を行う幾何学的変換がある。幾何学的変換には画像の回転、拡大、縮小、平行移動、歪みの補正などの処理がある。

幾何学的変換の中でも、画像の拡大・縮小、回転、座標の移動などには、アフイン変換（affine transformation）が最もよく用いられている。

（アフイン変換）
変換前の画像の座標系を（ｘ，y）、変換後の座標系を（ｘ*，ｙ*）とすると、座標変換は

ｘ*＝ｇ（ｘ，ｙ）
ｙ*＝ｈ（ｘ，ｙ） （１）

で表される。特に

ｘ*＝ａｘ＋ｂｙ＋ｃ
ｙ*＝ｄｘ＋ｅｙ＋ｆ （２）
すなわち

と表せるときに、これをアフイン変換という。

拡大・縮小、平行移動、回転などの処理に対応する、a〜fの値はそれぞれ下記表１のようになる。

表中、平行移動におけるｔｘ，ｔｙはそれぞれｘ軸，ｙ軸方向への移動量を表す。

拡大・縮小におけるＳｘ，Ｓｙはそれぞれｘ軸，ｙ軸方向への拡大（あるいは縮小）率を表す。

回転におけるθは座標原点を中心とする回転角を表す。

反転における２ａｘ、２ａｙは点（ａｘ，ａｙ）に関して反転することを表す。

スキュー（ｓｋｅｗ）は、画像を平方四辺形につぶす処理であり、スキュー角θｖで鉛直方向に変形を行う。

アフイン変換の上記式（３）は次式（４）のように３×３行列を用いて表すこともできる。

上記の表記法を同次座標（homogeneous coordinate）と呼び、表の変換を組み合わせて行う場合は、単純に上記マトリックスを掛け合わせて演算すればよい。

次に、拡大処理を行う場合には、画素の補間を行う必要があり、その画素の補間方法としては、図８に示すような線形補間法を採用できる。

この方法は、図８に示すように、求められたアドレスが格子点に一致しない場合、近傍の４個の格子点からの距離の比を求め、この比率で近傍４画素の濃度値から補間するものである。

式で表すと、下記数式で表される。

ここで、ｄ（ｘ，ｙ）は座標（ｘ，ｙ）における濃度値を示す。［ｘ］，［ｙ］は、それぞれｘ，ｙを越えない整数を示す。

この補間を近傍４点ではなく、近傍の９点や１６点を使って行う高次の補間法もある。

次に、本発明における回転、平行移動、拡大・縮小処理の好ましい態様を以下に説明する。

回転処理を行う場合、前記パラメータ算出部１１２は、前記検出処理部１１１で検出された顔画像の座標と、標準パターン顔画像の水平座標パラメータ計算アルゴリズムによって求めた標準パターン顔画像の水平座標パラメータとの角度差値Δθを計算する角度差値算出部を含み、前記画像変換処理部１１３は、該角度差値算出部による計算結果によって標準パターン顔画像の水平座標パラメータと検出された顔画像の座標との角度差値を０°になるまで顔画像を画像の水平軸に基づいて回転させる回転処理部を含む。

平行移動を行う場合、前記パラメータ算出部１１２は、前記検出処理部１１１で検出された顔画像の座標と、標準パターン顔画像の垂直座標パラメータ計算アルゴリズムによって求めた標準パターン顔画像の垂直座標パラメータとの座標差値α、βを計算する座標差値算出部を含み、前記画像変換処理部１１３は、該座標差値算出部の計算結果によって顔画像を画像の垂直対称軸に基づいて平行（垂直）に移動させる平行移動処理部を含む。

拡大・縮小処理を行う場合、前記パラメータ算出部１１２は、前記検出処理部１１１で検出された顔画像の座標と、標準パターン顔画像の水平座標パラメータ計算アルゴリズムによって求めた標準パターン顔画像の水平座標パラメータとの座標差値を計算する座標差値算出部を含み、前記画像変換処理部１１３は、該座標差値算出部の計算結果によって入力した顔画像は標準パターン顔画像との倍率φを求め、該倍率によって拡大・縮小する拡大・縮小処理部を含む。

ここで、回転、平行移動、拡大・縮小の各処理の方法を図９〜１２に基づいて説明する。

回転処理の好ましい態様としては、顔位置の検出処理部１１１で、認証用に撮影された顔画像に対して図９（Ｂ）に示すように、両瞳Ｉ、Ｉ’の検出を行い、該検出処理部１１１で検出された顔画像の両瞳座標を求める。両瞳Ｉ、Ｉ’の位置座標をそれぞれ（ｘ３、ｙ３）、（ｘ４、ｙ４）のように求める。

次いで、角度差値算出部において、図９（Ａ）の標準パターン顔画像Ｆの水平座標パラメータ計算アルゴリズムによって求めた標準パターン顔画像Ｆの水平座標パラメータと両瞳Ｉ、Ｉ’の位置座標の角度差値を計算する。

次いで、回転処理部において、該角度差値算出部による計算結果によって、標準パターン顔画像Ｆの水平座標パラメータと検出された顔画像の両瞳座標との角度差値を０°になるまで顔画像を画像の水平軸に基づいて回転させる。

回転処理の結果、図９（Ｃ）のようになり、図９（Ａ）に示す標準パターン条件を満たす標準パターン顔画像Ｆに実質的に一致している。ここで、実質的とは、最小限、水平座標軸が一致していればよいので、多少画像の大きさが異なっても良いことを意味している。

次に、平行移動の好ましい態様としては、顔位置の検出処理部１１１で、撮影された顔画像に対して図１０（Ｂ）に示すように、両瞳Ｉ、Ｉ’の検出を行い、両瞳Ｉ、Ｉ’の位置座標をそれぞれ（ｘ１、ｙ１）、（ｘ２、ｙ２）のように求める。

次いで、座標差値算出部において、図１０（Ａ）の標準パターン顔画像Ｆの垂直座標パラメータ計算アルゴリズムによって求めた標準パターン顔画像Ｆの垂直座標パラメータと両瞳Ｉ、Ｉ’の位置座標の座標差値を計算する。

次いで、平行移動処理部において、該座標差値算出部の計算結果によって、顔画像Ｆを顔画像の垂直対称軸に基づいて平行及び又は垂直に移動させる。

平行移動処理の結果、図１０（Ｃ）のようになり、図１０（Ａ）に示す標準パターン条件を満たす標準パターン顔画像Ｆに実質的に一致している。ここで、実質的とは、最小限、垂直座標軸が一致していればよいので、多少画像の大きさが異なっても良いことを意味している。

次に、拡大・縮小処理の好ましい態様としては、顔位置の検出処理部１１１で、撮影された顔画像に対して図１１（Ｂ）に示すように、両瞳Ｉ、Ｉ’の検出を行い、両瞳Ｉ、Ｉ’の位置座標をそれぞれ（ｘ１、ｙ１）、（ｘ２、ｙ２）のように求める。

次いで、座標差値算出部において、図１１（Ａ）の標準パターン顔画像Ｆの水平座標パラメータ計算アルゴリズムによって求めた標準パターン顔画像Ｆの水平座標パラメータと両瞳Ｉ、Ｉ’の位置座標の座標差値を計算する。

次いで、拡大・縮小処理部において、座標差値算出部で座標差値を求め、該座標差値算出部の計算結果によって、入力した顔画像と標準パターン顔画像Ｆとの倍率を求め、倍率＜１の場合、入力した顔画像に対して拡大処理を行う。

図１１（Ｃ）には、拡大処理した結果が示されており、図１１（Ａ）に示す標準パターン条件を満たす標準パターン顔画像Ｆに実質的に一致している。

次に、図１２（Ｂ）の顔画像を縮小処理する例について説明する。

拡大・縮小処理部において、倍率＞１の場合、入力した顔画像に対して縮小処理を行い、その結果が図１２（Ｃ）に示されている。

図１２（Ｃ）の縮小処理した結果は、図１２（Ａ）に示す標準パターン条件を満たす標準パターン顔画像に実質的に一致している。

図１３に基づいて、回転、平行移動、拡大・縮小の各処理を連続的に行う処理フローについて説明する。

最初に、パラメータ算出部から登録用顔画像と標準パターンとの角度差値Δθを読取り（Ｓ１０１）、Δθが０であるか否か判断する（Ｓ１０２）。Δθが０でない場合、回転処理を行う（Ｓ１０３）。

パラメータ算出部から登録用顔画像と標準パターンとのｘ−ｙ軸座標差値α、βを読取り（Ｓ１０４）、α＝０かどうか及びβ＝０かどうかを判断する（Ｓ１０５）。α＝０でなく、且つβ＝０でない場合は、平行移動処理を行う（Ｓ１０６）。

パラメータ算出部から登録用顔画像と標準パターンとの倍率値φを読取り（Ｓ１０７）、φ＝１かどうかを判断する（Ｓ１０８）。φ＝１でない場合、拡大・縮小処理を行う（Ｓ１０９）。φ＜１の場合は、拡大処理、φ＞１の場合は縮小処理を行う。

次に、図４のフローに戻り、標準パターンに生成された登録顔画像データの２次元の離散コサイン変換（ＤＣＴ変換）を行う（Ｓ２１）。Ｍ×Ｎ画素の入力顔画像情報（デジタル画像情報）の場合に、横方向位置ｍと縦方向位置ｎの画像信号（画素値）をｆ_ｍｎとしたとき、周波数軸上の横方向位置ｕ、縦方向ｖのＤＣＴ係数はＦ_ｕｖとして与えられる。

２次元ＤＣＴは、次数式で定義される。但し、信号ｆ_ｍｎはｍ=0・・・M-1,ｎ=0・・・N-1 である。

ここで、Ｃ(k)は次数式で示すような正規化定数である。

Ｆ_ｕｖは実数であるから、その振幅部と符号部との分離可能関数(Separable function)

として記述できる。ただし、

である。

以上のＤＣＴ変換によってＤＣＴ係数を求める（Ｓ２２）。そのＤＣＴ係数Ｆ_ｕｖからＤＣＴ振幅とＤＣＴ符号（正・負）を求めることができる。

ＤＣＴ振幅は各成分（周波数）位置でのパワーを表すものであり、いいかえれば原信号の中に含まれているその成分の大きさを表すものである。即ち、ＤＣＴ振幅は原信号のエネルギーに関した情報を担っているといえる。

同じＤＣＴ振幅でも、ＤＣＴ符号が異なれば明らかに異なった信号となる。ＤＣＴ符号は、信号の構成に際してその信号の骨格となる情報を有している。即ち、ＤＣＴ符号の正・負の配置で原信号を識別でき、正・負のＤＣＴ符号のみから、その画像の輪郭線画が得られる。このことはＤＣＴ符号の特徴的性質を示す符号のみの逆変換であるsign-Onlysynthesis（ＳＯＳともいう）画像をみると明らかとなる。ＳＯＳの数式を参考までに以下に示す。

従って、ＤＣＴ符号によって、顔の輪郭や、顔の部品である目、鼻、口、眉、頬等の各々の輪郭も明らかとなる。

例えば図１４に示す８×８画素の画像をＤＣＴ変換した場合の例を図１５及び図１６に示す。

図１５には、ＤＣＴ係数と番地の関係が示されている。また図１６には、ＤＣＴ係数を算出した時の符号点のみの分布図が示されている。

次に、ＤＣＴ係数の絶対値の上位から所定数までの該ＤＣＴ係数に１対１対応する番地（アドレス）とＤＣＴ符号を求める（Ｓ２３）。ここで所定数というのは、画素数によっても異なるが、本発明で好ましく適用できる１２８×１２８画素の場合で、ＤＣＴ係数の絶対値の上位（大きい方）から０．１〜１％（例えば、１６点〜１６４点程度）の範囲で決められる数（番地数）である。０．１％未満であると顔画像の特徴点を抽出する上では十分と言えず、また１％を越えてもデータ容量が増えるだけで効果の向上は認められない。なお、図示の例では８×８画素であり、所定値は便宜上１４点とした。即ち、本発明は、ＤＣＴ符号の全てを用いることなく、ＤＣＴ係数の絶対値の上位から所定数までの該ＤＣＴ係数に１対１対応する番地（アドレス）とＤＣＴ符号を求めることにより、少ないデータ容量で顔画像の特徴点を抽出することができる。

Ｓ２３の処理を理解しやすくするために、図１７には、顔画像の特徴点を抽出した結果の抽出点分布図が示されている。同図には、８×８画素の画像の場合に１４点を抽出した結果が示されている。

次に、Ｓ２３の処理によって得られる特徴点の符号を元に「０」、「１」の２値１次元情報で表された登録用の２値１次元テンプレートを作成する（Ｓ２４）。この２値１次元テンプレートの作成過程について図１８を用いて説明する。即ち、図１６における符号点に図１７の抽出点を重ね合わせると図１８のように表わせる。図１８において、左上から右に向かって順に、行ごとに、二値化したデータを取得し、２値１次元情報を得る。その結果をもとに図１９に示すような２値１次元テンプレートを作成することができる。

以上のようにして、図３のフローにおけるＳ５の処理である２値１次元テンプレートを作成したら、図３の処理に戻り、作成された２値１次元テンプレートと該２値１次元テンプレートに対応した前記取得した識別データ（例えばＩＤなど）からなる登録用テンプレートを作成する（Ｓ６）。

図２０には作成された登録用テンプレートの一例が示されている。図２０において、５００は識別データであり、５０１は２値１次元テンプレートであり、５０２は識別データ５００と２値１次元テンプレート５０１からなる登録用テンプレートである。

登録用テンプレート５０２は、認証サーバ２の送信部２０２からデータベースサーバ３に送信される（Ｓ７）。データベースサーバ３の受信部３０２が受信したら、データテーブル３００に保存される（Ｓ８）。

図２１には、データテーブル３００に複数の登録用テンプレートが保存されている例が示されている。

（２）認証処理
次に、ユーザ端末にログインする場合のユーザの認証処理について説明する。

図２２には認証処理の処理フロー図が示されている。はじめにユーザ端末１の電源を入れる（Ｓ３０）と、表示部１０２に図２３に示すＰＣログイン画面を表示する（Ｓ３１）。ＰＣログイン画面には、ユーザＩＤの入力欄１０２Ａと決定ボタン１０２Ｂを備えている。

ユーザインターフェース１０１を操作して入力欄１０２ＡにユーザＩＤを入力し（Ｓ３２）、決定ボタン１０２Ｂを押す（Ｓ３３）と、ＣＣＤカメラ１００が起動し（Ｓ３４）、撮影状態になる。

次にカメラ１０Ａによりログインしようとするユーザの顔画像を入力する（Ｓ３５）。入力された顔画像とユーザＩＤをユーザ端末１の送信部１０３から認証サーバ２の認証部２００に送信する（Ｓ３６）。

認証部２００は、顔画像を取得したら、顔画像を認証情報生成部２０１に送り（Ｓ３７）、認証情報生成部２０１の前処理手段２０１Ａの認証顔画像データ生成部は、登録処理と同様に、標準パターン生成処理を行う（Ｓ３８）。

具体的には、登録処理と同様に、認証用の顔画像データを標準パターン条件を満たす標準パターン顔画像に実質的に一致させるような前処理を行って認証用の顔画像データを生成する。

認証処理における前処理手段としては、上記以外に、登録処理で説明した照明処理、平滑化処理、顔位置の検出や回転、拡大、縮小、平行移動のような画像変換処理などを含む。

次に、認証情報生成部２０１の２値１次元生成手段２０１Ｂで、登録時と同様な手法でＤＣＴ変換を行う（Ｓ３９）。次いでＤＣＴ係数算出を行う（Ｓ４０）。図２４にはＤＣＴ係数を算出した時の符号点のみの分布図が示されている。

次いで該ＤＣＴ係数の絶対値の上位から所定数までの該ＤＣＴ係数に１対１対応するＤＣＴ符号を求める（Ｓ４１）。この処理は、登録処理と同様であり、また所定数の定義も登録処理と同様である。Ｓ４１の処理は顔画像の特徴点を抽出する処理である。

Ｓ４１の処理を理解しやすくするために、図２５には、顔画像の特徴点を抽出した結果の抽出点分布図が示されている。同図には８×８画素の画像の場合に１４点を抽出した結果が示されている。

次に、Ｓ４１の処理によって得られる特徴点の符号を元に「０」、「１」の２値１次元情報で表された認証用２値１次元情報を作成する（Ｓ４２）。この認証用２値１次元情報を作成過程について図２６を用いて説明する。即ち、図２４における符号点に図２５の抽出点を重ね合わせると図２６のように表わせる。図２６において、左上から右に向かって順に、行ごとに、二値化したデータを取得し、２値１次元情報を得る。その結果をもとに図２７の上段に示すような認証用２値１次元情報を作成することができる。

次に、認証部２００は、データテーブル３００から、登録用テンプレートのうちユーザＩＤ（例えばＧＳＤ０００１）に対応する２値１次元テンプレートを呼び出す（Ｓ４３）。

次に、呼び出した２値１次元テンプレートと認証用２値１次元情報（図２７の上段）とを比較する（Ｓ４４）。なお図２７の下段には比較対象の２値１次元テンプレートを示した。

比較の際の閾値は、例えば９５％と設定しておく。比較の結果、１４点のうち１点が違っているだけで、その他は一致しているので、一致率は９９％以上である。従って、閾値以上であるので、ログインしたユーザは認証の結果、ログイン許可される（Ｓ４５）。

比較の結果、閾値未満である場合は、ログイン不許可となる（Ｓ４６）。

認証結果（許可、不許可）は認証部２００からユーザ端末１の受信部１０４に送られ、表示部１０２に表示される。

Ｓ４６でログイン不許可となった場合、再度ログイン操作を行うか否かの判断する（Ｓ４７）。ログイン操作をやる旨の指示があった場合は、再度Ｓ３１の処理からやり直す。ログイン操作をやらない旨の指示があった場合は、ＰＣログインの処理を終了させる旨を表示部１０２に表示させて、処理を終了する。

（第２の態様）
以下、本発明の第２の態様について説明する。第２の態様において、第１の態様と同様の構成及び処理については、第１の態様の説明を援用し、その説明を省略する。

（１）登録処理
登録処理に採用するハードウェアは基本的に図１のハードウェアを採用する。第２の態様における登録処理のシステムフローを図２８に示す。

最初、第１の態様と同様に、Ｓ１〜Ｓ４までの処理フローを行う。次に、認証情報生成部２０１で番地付テンプレート作成処理を行う（Ｓ５０）。

以下に、番地付テンプレート作成処理のシステムフローを図２９に基づいて説明する。

第１の態様と同様にＳ２０〜Ｓ２４までの処理を行う。

第１の態様の処理では、Ｓ２３の処理は、２値１次元テンプレートを作成するための補助手段であるため、２値１次元テンプレートの中には情報として入れられていない。これに対し、第２の態様では、第１の態様におけるＳ２３の処理で抽出した番地をテンプレートの中に入れる点で第１の態様と異なっている。

次いで、得られる番地（特徴点）の符号を元に「０」、「１」の２値１次元情報で表された２値１次元テンプレートを作成し（Ｓ２４）、更に２値１次元テンプレートと、Ｓ２３で得られた番地からなる番地付テンプレートを生成する（Ｓ６０）。番地付テンプレートの一形態は図３０に示されている。

以上のようにＳ６０の処理である番地付テンプレートを生成したら、図２８の処理に戻り、Ｓ５０の処理の結果、作成された番地付テンプレートと該番地付テンプレートに対応した前記取得した識別データ（例えばＩＤ）などからなる登録用テンプレートを作成する（Ｓ５１）。図３１には作成された第２の態様における登録用テンプレートの一例が示されている。

図３１において、５００は識別データであり、５０１は２値１次元テンプレートであり、５０３は番地であり、５０４は２値１次元テンプレート５０１と番地５０３からなる番地付テンプレートである。従って、第２の態様における登録用テンプレート５０２は識別データ５００と番地付テンプレート５０４からなる構成である。

次に、第１の態様と同様にＳ７、Ｓ８の処理フローを行う。

図３２には、データテーブル３００に第２の態様における複数の登録用テンプレートが保存されている例が示されている。

（２）認証処理
次に、第２の態様の認証処理について説明する。

図３３には第２の態様に係る認証処理の処理フロー図が示されている。

第１の態様と同様に、図２２におけるＳ３０〜Ｓ３７までの処理を行う。

次に、認証部２００は、登録用テンプレートのうちユーザＩＤ（例えばＧＳＤ００１）に対応する番地付テンプレートをデータテーブル３００から呼び出す（Ｓ７０）。呼び出した番地付テンプレートのうち、番地の部分を認証情報生成部に送る（Ｓ７１）。

次に、図２２におけるＳ３８〜Ｓ４０まで同様に処理を行う。

認証情報生成部２０１は、Ｓ４０でＤＣＴ係数を算出したら、Ｓ７１で取得した番地を基にＤＣＴ符号を求め、該ＤＣＴ符号の特徴点の符号を基に「０」、「１」の２値１次元情報で表された認証用２値１次元情報を作成する（Ｓ７２）、作成された認証用２値１次元情報を認証部２００に送る。

次に、図２２におけるＳ４４〜Ｓ４７までは同様の処理を行う。

（その他の態様）
以下、本発明のその他の好ましい態様について説明する。

以上の実施の形態において、図１９及び図３０に示す２値１次元テンプレート例は、８×８画素の例であるが、画素数が多い実際の写真認証やカメラ認証ではテンプレートのバイト数は異なる。例えば顔写真をスキャナ読み込みして登録・認証する写真認証の場合には、例えば１６バイトの２値１次元テンプレートを使用することができ、またカメラで撮影して顔画像を登録・認証するカメラ認証の場合には、例えば１２８バイトの２値１次元テンプレートを使用することができる。

図３４（Ａ）には１６バイトの２値１次元テンプレート例が示され、図３４（Ｂ）には１２８バイトの番地付テンプレート例が示されている（番地も２値化されている）。

また、本発明の他の好ましい態様としては、登録用テンプレートに、顔位置データ及び／又は顔撮影条件を含むことである。顔位置データ及び／又は顔撮影条件としては、瞳検出時のデータ（座標データ等）、瞳の位置からの顔の切り出し距離データ、画像の回転、拡大、縮小、平行移動のような画像処理の際の変換データ、画像の平滑化・照明処理データ等、画像入力時のカメラ照度、カメラから顔（瞳）までの距離、傾きなどが挙げられる。

更に本発明の他の好ましい態様としては、ユーザがログイン許可された後、ログアウト（図示せず）しないで、ログイン対象のパソコンを一時的に離れた場合（例えばユーザインターフェースからの入力が所定時間なかった場合など）に、再度パソコン使用を開始する場合には、自動的に本発明のログインシステムを作動させるようにして、セキュリティーを向上させることもできる。このときユーザＩＤなどの入力を省略できるようにするとユーザに便利である。またスクリーンセーバからの復帰の場合にも、自動的に本発明のログインシステムを作動させることもできる。

次に、携帯端末を用いて認証する態様について説明する。即ち、本発明の携帯端末は、顔画像を認証する携帯端末において、登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、且つ前述の前処理手段を備えており、詳細は前述の説明を援用できる。本発明において、携帯端末が前述の登録処理（前処理を含む）及び認証処理の両方を実施する構成を採用することは好ましいことである。

次に、認証装置を用いて認証する態様について説明する。即ち、本発明の認証装置は、顔画像を認証する認証装置において、登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、且つ前述の前処理手段を備えており、詳細は前述の説明を援用できる。本発明において、認証装置が前述の登録処理（前処理を含む）及び認証処理の両方を実施する構成を採用することは好ましいことである。

第１の態様におけるハードウェアの構成を示す図 顔画像入力部の一例を示すブロック図 同上の登録処理に係るシステムフロー図 同上の登録処理における２値１次元テンプレート作成処理に係るシステムフロー図 画素数と階調値との関係図 平滑化閾値を用いた平滑化処理を示す図 前処理手段 画素の補間法を示す図 回転処理の例を示す図 平行移動処理の例を示す図 拡大処理の例を示す図 縮小処理の例を示す図 連続処理例のフロー図 同上の登録処理に用いた８×８画素の画像例を示す図 ＤＣＴ変換した後のＤＣＴ係数と番地を示した分布図 ＤＣＴ係数のうちＤＣＴ符号のみを示した分布図 画像の特徴点を抽出した結果の抽出点分布図 図１６と図１７を重ね合わせた分布図 第１の態様における２値１次元テンプレートを示した図 同上における登録用テンプレートを示した図 同上におけるデータテーブルを示した図 同上における認証処理を示したシステムフロー図 同上における認証処理のログイン開始画面を示した図 同上における認証処理の入力画像のＤＣＴ係数のうちＤＣＴ符号のみを示した図 同上における認証時の画像の特徴点を抽出した結果の抽出点分布図 図２４と図２５を重ね合わせた分布図 比較するテンプレートを示した図 第２の態様における登録処理に係るシステムフロー図 同上の登録処理における番地付テンプレート作成処理に係るシステムフロー図 同上における番地付テンプレートを示した図 同上における登録用テンプレートを示した図 同上におけるデータテーブルを示した図 同上における認証処理を示したシステムフロー図 １６バイト及び１２８バイトの２値１次元テンプレート例を示す図

符号の説明

１：ユーザ端末
２：認証サーバ
３：データベースサーバ
４：通信回線網

Claims (4)

1. 顔画像を認証する顔画像認証システムにおいて、
   登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、
   且つ、前記登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する登録用の顔画像データ生成部と、前記認証用の顔画像データを前記標準パターン条件を満たす標準パターン顔画像に実質的に一致させるように認証用の顔画像データを生成する認証用の顔画像データ生成部とからなる前処理手段を備えることを特徴とする顔画像認証システム。
2. 顔画像認証システムが、クライアント端末と、データベースサーバと、認証サーバと、これらを互いに接続する通信回線網とからなり、
   前記認証サーバが、前記前処理手段を備えることを特徴とする請求項１記載の顔画像認証システム。
3. 顔画像を認証する携帯端末において、
   登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、
   且つ、前記登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する登録用の顔画像データ生成部と、前記認証用の顔画像データを前記標準パターン条件を満たす標準パターン顔画像に実質的に一致させるように認証用の顔画像データを生成する認証用の顔画像データ生成部とからなる前処理手段を備えることを特徴とする携帯端末。
4. 顔画像を認証する認証装置において、
   登録用の顔画像データと認証用の顔画像データを入力する顔画像データ入力手段を備え、
   且つ、前記登録用の顔画像データを、顔画像サイズがＭ×Ｎ（ｐｉｘｅｌ）からなる条件１と、顔画像が座標を有する条件２と、顔画像の中で対称性を有する部位を結ぶ連結線が水平線となる条件３からなる標準パターン条件を満たすように標準パターン顔画像を生成する登録用の顔画像データ生成部と、前記認証用の顔画像データを前記標準パターン条件を満たす標準パターン顔画像に実質的に一致させるように認証用の顔画像データを生成する認証用の顔画像データ生成部とからなる前処理手段を備えることを特徴とする認証装置。