JP2008158597A - 顔認証装置、その方法および顔認証装置を有する携帯端末器 - Google Patents

Abstract

【課題】赤外光画像および可視光画像によって顔認証を行い、きわめて高い顔認証の認識率を達成できる顔認証装置を提供する。
【解決手段】 赤外光を顔に照射する光源（６０）と、可視光による顔の可視光画像および照射された赤外光による顔の赤外光画像を撮像する撮像部（１１０）と、赤外光画像、ならびに赤外光画像および可視光画像を利用して顔の認証を行う認証部（１３０）と、を備える。また、認証部（１３０）は、複数の赤外光画像と複数の可視光画像とを画像ファイル（１３５）として記憶する。
【選択図】図２

Description

本発明は、赤外光を顔に照射し、その反射光による赤外光画像を用いて顔認証を行うとともに、可視光下における可視光画像を用いて顔認証を行う技術に関する。

近年になって注目されている認証方法は、指紋、掌紋、虹彩、静脈、声紋、または顔などの生体情報によるバイオメトリクス認証である。バイオメトリクス認証は、本人自身の生体情報を使用するため、鍵またはＩＤカードなどを盗まれまたは失うおそれが少ない。また、バイオメトリクス認証は、暗証番号のようにどこかに記載しておかなければ忘れてしまうこともなく、セキュリティ上の懸念が相当に抑制される。このため、バイオメトリクスを使った認証システムが普及するものと考えられる。

このうち、指紋または掌紋を使ったバイオメトリクス認証は、指先または手をよく使うために表面の皮膚が薄くなることがあり、その際に認識率が著しく悪くなることが多い。声紋を使ったバイオメトリクス認証は、現時点では認識率が悪い。虹彩または静脈を使ったバイオメトリクス認証は、指紋または掌紋の認証に比べ認識率が高いが、本人の目または手を認証装置に近づける必要があった。また、虹彩または静脈を使ったバイオメトリクス認証装置は大きく、銀行などのＡＴＭなど大型の固定装置に取り付けることができるが、人が持ち運べるような携帯機器には搭載ができない。顔を使ったバイオメトリクス認証も、可視光の下では精度を向上させるのに他人の受け入れ率を下げるために認証の閾値を上げざるを得ず、それによって本人の拒否率が高くなってしまうといった問題がある。このため、特許文献１では、顔を使ったバイオメトリクス認証に虹彩を使ったバイオメトリクス認証を組み合わせて認証精度を向上させている。
特開平２００５−２４２６７７号公報

顔を使ったバイオメトリクス認証に虹彩を使ったバイオメトリクス認証を組み合わせると、バイオメトリクス認証装置が大きくなる。そのため、特に携帯電話やＰＤＡ（Personal Digital Assistance）などの携帯機器に、このようなバイオメトリクス認証装置を実装する場合において、スペースの制約が問題となる。また、これまでの顔を使ったバイオメトリクス認証は、炎天下のような明るい野外では、認証精度がある程度確保される。しかし、顔を使ったバイオメトリクス認証は、室内または夕暮れなど暗い状態で認証精度が悪かった。

本発明は、このような課題に鑑みてなされたものである。その目的は、天候の状態または室内の明るさにかかわらずバイオメトリクス認証を行うことができる顔認証装置および方法を提供することである。また、人が持ち運び可能な携帯型の顔認証装置を有する携帯端末器を提供することにある。

第一の観点の持ち運び可能な顔認証装置は、赤外光を顔に照射する光源と、可視光による顔の可視光画像および照射された赤外光による顔の赤外光画像を撮像する撮像部と、前記赤外光画像のみを利用して顔の認証を行うとともに、前記赤外光画像および可視光画像を利用して顔の認証を行う認証部と、を備える。
この構成によれば、炎天下の下、蛍光灯などの照明の下、または真っ暗闇などのいろいろな条件下であっても顔を認証することができる。すなわち、蛍光灯などの照明の下、または真っ暗闇では赤外光を使った顔認証を行うことができる。また、炎天下では可視光を使って顔認証を実現することができる。
で本人を判定。

第二の観点による顔認証装置は、認証部が赤外光画像で顔認証ができなかった際に、さらに撮像部で可視光画像を撮像し、認証部が可視光画像で顔認証を行う。
本構成により、赤外光による顔認証を先に実行することにより、パソコン画面に映った顔画像や顔写真などを利用したいわゆる「なりすまし」行為を防止することができる。パソコン画面に映った顔画像や写真は赤外光方式の場合は全く顔が写らず真っ白になり、顔検知もできないからである。特に赤外光成分を多く含む炎天下で顔検知ができない場合には、可視光によって顔認証を行うことができる。

第三の観点の顔認証装置は、さらに、照度を検出する照度検出部を備え、認証部は、照度が所定照度以下の際に認証部が赤外光画像のみで顔の認証を行い、照度が所定照度より高い際に赤外光画像および可視光画像で顔の認証を行う。
この構成によれば、照度に応じて赤外光による顔認証と、赤外光画像および可視光画像で顔の認証とを切り替えることができる。

第四の観点の顔認証装置では、第三の観点において、所定照度が１００００ルクスないし４００００ルクスである。
かなり明るい野外においては、赤外光画像および可視光画像で顔の認証を行う。一方で、室内などは明るくても１０００ルクス程度である。したがって室内で顔認証を行う場合には赤外光による顔認証しか行わないので、「なりすまし」を防ぐことができる。

第五の観点の顔認証装置では、第三の観点において、照度が所定照度より高い際に、認証部が、赤外光画像で顔認証を先に行い赤外光画像で顔認証ができなかった場合に可視光画像で顔認証を行う。
かなり明るい野外においても、先に赤外光画像で顔認証を行うことを試みる。「なりすまし」を防ぐためである。

第六の観点の顔認証装置は、第一ないし第四の観点において、認証部が複数の赤外光画像と複数の可視光画像とを画像ファイルとして記憶する。
この構成によれば、顔認証をするためには、最初にオペレータの顔を登録する必要がある。この場合に、一枚の登録画像だけでなく複数枚の赤外光画像と複数の可視光画像とを記憶しておく。このようにして顔の表情の変化または斜め向いた横顔などであっても、できるだけ正確に顔の認証を行うことができる。

第七の観点の顔認証装置は、顔認証装置は、画像ファイルに記憶された複数の赤外光画像と撮像部で撮像された赤外光画像とに認証率を算出し、この認識率が閾値より大きいときに本人認識と確認する。
顔認証を行う際には、顔の表情などにより認証率がいろいろ変動する。登録された画像と比較などして、認識率を算出する。この認識率が閾値より大きいと本人であると確認できる。

第八の観点の顔認証装置は、第一ないし第七の観点の顔認証装置において、認証部は、赤外光画像および可視光画像から顔全体の輪郭を特定し、さらに、顔の両目の位置、鼻の穴の位置および口の位置を特定することで、認証を行う。
本構成により、赤外光では、皮膚の下まで透過した画像を得ることができ、その上で顔の両目の位置、鼻の穴の位置および口の位置を特定している。濃い化粧をして他人と同じような顔に似せても、皮膚の下まで透過した画像に基づいて特定しているので、誤認識する確立が少ない。可視光では、顔の表面の画像から顔認証することができる。

第九の観点の携帯端末器は、第三ないし第八の観点のいずれかの観点の顔認証装置を備えている。そして、この携帯端末器で顔の認証を行う際に、光源が顔の方に向くように配置し、照度検出部が天を向くように配置する。
顔認証を行う際に、照度検出部が天を向くように配置されているため、室内の天井からの照度または野外の照度を正確に検出することができる。また、暗闇でも赤外光は十分に顔に照射される。

第十の観点の顔認証方法は、赤外光を顔に照射し照射された赤外光により顔の赤外光画像を撮像する赤外光撮像ステップと、赤外光画像により顔認証を行う赤外光の顔認証ステップと、赤外光で顔認証が行えなかったときに可視光により顔の可視光画像を撮像する可視光撮像ステップと、可視光画像により顔認証を行う可視光の顔認証ステップと、を備える。
本方法により、赤外光による顔認証を先に実行し映像の顔や顔写真などを利用したいわゆる「なりすまし」行為を防止することができる。赤外光成分を多く含む炎天下で顔検知ができない場合には、可視光によって顔認証を行うことができる。

本発明によれば、曇りの日、朝夕の野外、蛍光灯などの照明の下、または真っ暗闇では赤外光を使った顔認証を行うことができる。また、炎天下では可視光を使って顔認証を実現することができる。このため、きわめて高い認識率を達成できるとともに、簡単に「なりすまし」で不正が行われない。

以下、本発明の好適な実施の形態を説明する。
＜携帯端末器の構成＞
図１は、本発明の実施の形態に係る携帯端末器の一例を示した外観図である。図１Ａは折畳み式の携帯電話１０の斜視図である。折畳み式の携帯電話１０を開くと、第一筐体１０にモニター３０が配置され、第二筐体１２に入力ボタン４０とが配置されている。さらに、第一筐体１１のモニター３０と同一面に、一つのカメラ１１０と一つ以上の赤外光を発光するＩｒＬＥＤ（Laser Emitting Diode）６０が配置されている。カメラ１１０とＩｒＬＥＤ６０は、以下に説明するバイオメトリクス認証装置１００（図２参照）の構成部品である。カメラ１１０は、少なくとも赤外光の画像を撮影できる。所定の入力ボタン４０を押したりまたは折畳み式の携帯電話１０を開いたりすると、ＩｒＬＥＤ６０とカメラ１１０が起動する。

図１Ｂは、回転機能を有する回転式の携帯電話２０の背面図である。第一筐体２１の正面には不図示の大型モニターが設けられ、背面には小型モニター３０が配置されている。回転式の携帯電話２０の入力ボタン４０などは第二筐体２２の背面に配置されている。第一筐体２１の背面には小型モニター３０と同一面に、一つのカメラ１１０と二つの赤外光を発光するＩｒＬＥＤ６０が配置されている。また、携帯電話２０の周囲の照度を検出する照度計６１を携帯電話２０の端部に配置している。所定の入力ボタン４０を押したりまたは回転式の携帯電話２０を回転させたりすると、ＩｒＬＥＤ６０、照度計６１およびカメラ１１０が起動する。

＜バイオメトリクス認証装置１００の構成＞
図２は、バイオメトリクス認証装置１００の構成図である。このバイオメトリクス認証装置１００は、赤外光を発光するＩｒＬＥＤ６０と、可視光画像と赤外光画像とを撮像できるカメラ１１０と、カメラ１１０で撮像された可視光画像と赤外光画像とを用いて顔認証を行う顔認証部１３０と、可視光画像と赤外光画像とを表示するモニター３０とを含む。また、必要に応じて照度計６１がバイオメトリクス認証装置１００の構成に加えられる。本実施形態では、折畳み式の携帯電話１０および回転式の携帯電話２０は、カメラ１１０が赤外光画像および可視光画像を撮像できるものである。カメラ１１０の詳細については図３または図４で説明する。

顔認証部１３０を詳述すると、顔認証部１３０は、赤外光画像の画像処理を行う画像処理部１３１と、本人の画像テンプレートを保存する顔画像ファイル１３５とを有している。さらに顔認証部１３０は、顔の認証を行うため顔の輪郭または特徴部分を抽出し、顔画像ファイル１３５からの顔データと比較演算する顔認証演算部１３３と、これらの制御を行う画像制御部１３７を有している。画像制御部１３７には入力ボタン４０（図１参照）またはスイッチなどによる指示信号を受け取るＩ／Ｆ部１６０が接続されている。入力ボタン４０またはＩ／Ｆ部１６０により、画像制御部１３７がバイオメトリクス認証装置１００全体の制御を行う。さらに、画像制御部１３７は、ＩｒＬＥＤ６０、照度計６１およびカメラ１１０に接続されている。Ｉ／Ｆ部１６０を経由して送られてきた指令信号に基づいて、ＩｒＬＥＤ６０、照度計６１およびカメラ１１０を制御する。

ＩｒＬＥＤ６０は、７６０ｎｍから１０００ｎｍの波長の範囲で赤外光を発光するものである。いろいろな波長のＩｒＬＥＤが販売されているが、特に８００ｎｍから９２０ｎｍのＩｒＬＥＤが顔認証の認証率が高いので特に好ましい。また、ＩｒＬＥＤ６０の放射強度（ｍＷ／ｓｒ：ミリワット／ステラジアン）は、携帯電話１０または携帯電話２０で顔認証を行えば、３０ｍＷ／ｓｒのＩｒＬＥＤ６０一つで足りる。複数のＩｒＬＥＤ６０を用いると消費電力が多くなる。消費電力ができるだけ少ない方が好ましい携帯電話としては、３０ｍＷ／ｓｒのＩｒＬＥＤ６０を一つ光学基板１５０に設けるとよい。３０ｃｍから５０ｃｍの最適な顔認証の距離で顔認証を行うことができるようにするためには、７０ｍＷ／ｓｒのＩｒＬＥＤ６０を四つほど光学基板１５０に配置する。

照度計６１は、ピーク感度波長が５００ｎｍから６００ｎｍで、約１００から４５０００ルクスの範囲を検出できるシリコンダイオードなどで構成される。照度計６１が１００００ルクス以下の範囲しか検出できない場合には、減光フィルタを照度計６１に配置して、高い照度を検出できるようにする。たとえば、携帯電話２０の周囲が１００００ルクスないし４００００ルクス以下であるか否かを判断できればよい。一般に、ショッピングセンターのモールやオフィスビルの一般事務室が明るいところでも１０００ルクス程度で、住宅の部屋で５０から２００ルクス程度である。一方、夏の晴れた日中で最高１０万ルクス、冬の雪山でも晴れた日中は１０万ルクス程度である。なお、太陽光に含まれる赤外光成分の高い炎天下などの環境においては、赤外光画像による顔認証が困難となる。

バイオメトリクス認証装置１００の構成について説明してきたが、写真撮影機能が付いた携帯電話１０または携帯電話２０であれば、風景写真を撮影するカメラまたは制御部などと共用する部品が多い。たとえば、携帯電話１０で風景を写真撮影したいときには、オペレータが入力ボタン４０を押すと、画像制御部１３７にその信号が伝わり、カメラ１１０を動作させる。カメラ１１０は可視光画像を画像処理部１３１に送り、画像処理した画像をモニター３０またはメモリーである画像ファイル１４１に送る。モニター３０は、写真撮影した風景を表示し、画像ファイル１４１はその画像を記録する。モニター３０、カメラ１１０、画像処理部１３１および画像制御部１３７は写真撮影機能と共用できる。

＜バイオメトリクス認証装置１００の動作＞
ここで、図２を使ってバイオメトリクス認証装置１００の動作について説明する。まず、赤外光の顔認識について説明する。入力ボタン４０（図１参照）またはスイッチなどによる指示信号をＩ／Ｆ部１６０が受け取ると、その指令信号が画像制御部１３７に伝達される。すると画像制御部１３７は、ＩｒＬＥＤ６０とカメラ１１０とを駆動させる。以下に説明する実施例２では、最初に照度計６１を駆動させ、その後ＩｒＬＥＤ６０を駆動させる。ＩｒＬＥＤ６０は顔認証を行っている最中は常時点灯してもよいし、カメラ１１０の撮像タイミングに合わせて点滅してもよい。また、画像制御部１３７は、画像処理部１３１にモニター３０に、顔の位置および大きさを示す枠３２を表示してもよい。

ＩｒＬＥＤ６０から発光された赤外光は、人物の顔に照射されて、その反射光がカメラ１１０に入射する。カメラ１１０はその反射光を電気信号に変えて、その電気信号を画像処理部１３１へ送る。画像処理部１３１では、モニター３０に赤外光画像を表示するように画像処理して、赤外光画像信号をモニター３０に送る。モニター３０は、画像処理された赤外光画像を表示する。

すると、モニター３０は、顔の位置および大きさを示す枠３２に加えて、顔の赤外光画像を表示する。モニター３０の枠３２から顔が外れていたり、顔が大きく表示されすぎてモニター３０の枠からはみ出ていたり、顔が小さすぎたりしないように、オペレータは腕を左右上下に動かしたり、伸ばしたり又縮めたりして、折畳み式の携帯電話１０または回転式の携帯電話２０の位置を調整する。

画像処理部１３１は、顔の輪郭および顔の特徴部分などを含む画像信号を、顔認証演算部１３３に送る。顔認証演算部１３３では、まず、髪型を除く顔の輪郭を抽出する。また、両目の位置、鼻の孔の位置および口の位置ならびにそれらの位置関係を演算する。そして写された顔の特徴部分を把握する。次に、顔認証演算部１３３は顔画像ファイル１３５にアクセスし、顔画像ファイル１３５に事前に保存された赤外光画像テンプレートを読み出す。そして、読み出された赤外光画像テンプレートと、今回演算した結果の顔の輪郭および顔の特徴部分とを比較する。顔認証演算部１３３は、比較した後に認識結果の信号をバイオメトリクス認証装置１００の外部へ出力する。なお、顔認証演算部１３３からモニター３０への点線矢印で示すように、顔認証演算部１３３は、認識結果の信号をモニター３０に送り、「本人と認識できました。」または「本人と認識できませんでした。」と表示するようにしてもよい。また、モニター３０に表示することなく、音声でオペレータに顔認証の状態を知らせるようにしてもよい。

モニター３０に表示される顔の赤外光画像は単色であり、いわゆる白黒画像に近い画像である。しかし、赤外光を顔に照射することにより、顔の皮膚の表面の画像でなく、顔の皮膚の表面から内部へ数ミリ入り込んだ画像をカメラ１１０は撮像している。たとえば、顔表面に吹き出ている「そばかす」やキズは撮像されない。また、濃い化粧をしても化粧は撮像されないので、他人が本人に似せて化粧したとしても、誤って本人と判断することはない。また、赤外光画像では、眼鏡をかけた人の顔認証であっても、眼鏡のレンズの影響をほとんど受けないので、眼鏡を取り替えたりしても顔認証で高い認識率を得ることができる。さらに、オペレータ本人の同じ寸法の顔写真をカメラ１１０が撮影しても、顔写真は赤外光を写真の全面からほぼ同じ反射率でそのまま反射する。すなわち、顔写真を撮像した赤外光画像は、可視光の下で白紙を写すような画像しか取得できないので、同一人物と認証することはない。赤外光で撮影された、両目の位置、鼻の孔の位置および口の位置ならびにそれらの位置関係を把握すれば、高い認識率で顔認証を行うことができる。

可視光を使わないことで、外乱の影響を受けにくいため顔認証の認証率は高い。たとえば可視光で顔認証を試みると、蛍光灯の下では蛍光灯のチラツキの影響を受ける。また、顔認証の際にフラッシュ撮影または正面からの照明などを行われない限り、屋根などの取り付けた照明により鼻の横または下に影が生じる。このため可視光を使った顔認証は、認識率が低かった。一方、本実施形態は赤外光を照射しているので、これらの問題は生じない。ただし、赤外光成分を多く含む炎天下の場合には、赤外光成分同士の干渉の点で、赤外光画像による顔認証は、認証がしにくい場合がある。

次に、可視光の顔認識について説明する。可視光では、基本的にＩｒＬＥＤ６０を点灯させない。可視光は赤外光フィルタ１２７（図５参照）でカットされる。可視光の場合には、顔の皮膚の表面の画像をカメラ１１０は撮像している。カメラ１１０は、入射した光を電気信号に変えて、その電気信号を画像処理部１３１へ送る。画像処理部１３１では、モニター３０に可視光画像を表示するように画像処理して、可視光画像信号をモニター３０に送る。モニター３０は、画像処理された可視光画像を表示する。モニター３０に表示される顔の可視光画像はカラーである。

画像処理部１３１は、顔の輪郭および顔の特徴部分などを含む画像信号を、顔認証演算部１３３に送る。顔認証演算部１３３では、まず、髪型を除く顔の輪郭を抽出する。また、両目の位置、鼻の孔の位置および口の位置ならびにそれらの位置関係を演算する。そして写された顔の特徴部分を把握する。次に、顔認証演算部１３３は顔画像ファイル１３５にアクセスし、顔画像ファイル１３５に事前に保存された可視光画像テンプレートを読み出す。そして、読み出された可視光画像テンプレートと、今回演算した結果の顔の輪郭および顔の特徴部分とを比較する。顔認証演算部１３３は、比較した後に認識結果の信号をバイオメトリクス認証装置１００の外部へ出力する。

＜カメラ１１０の構成＞
図３および図４はカメラ１１０の基本構成を示した構成図である。同じ機能のものには、同じ符号を付している。図３Ａは、可視光カメラ受光部１２０と赤外光カメラ受光部１２２とを備えるカメラ１１０−Ａである。可視光カメラ受光部１２０は、可視光のみを透過し、約７６０ｎｍ以上の波長は遮断する可視光フィルタ１２５と、可視光フィルタ１２５を透過した可視光を集光するレンズ１２９と、レンズ１２９で集光された光を電気信号に変換する光電変換素子、たとえばエリアＣＣＤ（Charge Coupled Device）１２１とから構成される。一方、赤外光カメラ受光部１２２は、約７６０ｎｍ以上の波長のみを透過させる赤外光フィルタ１２７と、赤外光フィルタ１２７を透過した赤外光を集光するレンズ１２９と、レンズ１２９で集光された光を電気信号に変換するエリアＣＣＤ１２１とから構成される。なお、可視光フィルタ１２５および赤外光フィルタ１２７は、オペレータの顔とレンズ１２９との光路間に配置されるようになっているが、レンズ１２９とエリアＣＣＤ１２１との光路間に配置してもよい。

さらに、カメラ１１０−Ａは、エリアＣＣＤ１２１の出力をデジタル信号に変換するＡ／Ｄ変換器１１５、カメラ１１０全体を制御するカメラ制御部１１６を備えている。カメラ制御部１１６は、画像制御部１３７からの指令信号に基づいて、可視光カメラ受光部１２０と赤外光カメラ受光部１２２とのそれぞれのエリアＣＣＤ１２１を別々に駆動し、Ａ／Ｄ変換器１１５でアナログ信号をデジタル信号に変換する。これらの動作により、カメラ１１０−Ａから赤外光画像または可視光画像のデジタル信号が出力される。折畳み式の携帯電話１０の場合、図１Ａに示したように顔認証を行う際には、モニター３０側に赤外光カメラ受光部１２２が配置されていた方が使い勝手がよい。一方、自分が風景や他人などを撮影したい場合には、第一筐体１０のモニター３０の背面に可視光カメラ受光部１２０が配置されていた方が使い勝手がよい。つまり、第一筐体１０の大きさまたは厚みが大きくなるが、顔認証の使い勝手と通常撮影の使い勝手とを考えた場合には、可視光カメラ受光部１２０と赤外光カメラ受光部１２２とを備えるカメラ１１０−Ａは有効である。

図３Ｂは、フィルタ切り替えカメラ受光部１２３を備えるカメラ１１０−Ｂである。カメラ１１０−Ａと異なる箇所を説明し、同じ機能のところは説明を割愛する。フィルタ切り替えカメラ受光部１２３は、一つのエリアＣＣＤ１２１と一つのレンズ１２９とを有している。さらに、フィルタ切り替えカメラ受光部１２３は、可視光フィルタ１２５と赤外光フィルタ１２７とをレンズ１２９の前で切り替える機械的な機構とその機構を駆動する駆動モ−タ１１４と、どちらのフィルタがレンズ１２９の前に配置されているかを認識する信号センサー１１３とを有している。カメラ制御部１１６は、画像制御部１３７から、赤外光画像または可視光画像のどちらを出力するかの指令信号を受ける。仮に指令信号が可視光画像であれば、信号センサー１１３からレンズ１２９の前にあるフィルタがどちらであるかの信号を受け、赤外光フィルタ１２７がレンズ１２９の前に配置されているのであれば、駆動モ−タ１１４を駆動して可視光フィルタ１２５をレンズ１２９の前に移動させ、赤外光フィルタ１２７を光路から退避させる。可視光フィルタ１２５がレンズ１２９の前に配置されている信号であれば、そのまま次の動作に移行する。このような動作をすることで、エリアＣＣＤ１２１の全面が可視光フィルタ１２５に覆われ、エリアＣＣＤ１２１から可視光画像を出力することができる。一つのエリアＣＣＤ１２１と一つのレンズ１２９で、可視光画像および赤外光画像を得ることができるので、スペースとコストを減らすことができる。また、エリアＣＣＤ１２１は一つで済むので、画素の大きな高性能なＣＣＤを使用することもできる。

図４Ａは、受光素子にフィルタが設けられているカメラ受光部１２４を備えるカメラ１１０−Ｃである。図４Ａのカメラ受光部１２４には、ホコリを防ぎ幅広い波長を透過させるガラス板１２８が設けられており、切り替えＣＣＤ１１７には、その受光素子の前に可視光フィルタ１２５と赤外光フィルタ１２７とが設けられている。図４Ｂは、そのＣＣＤ１１７の受光素子の拡大図である。図４Ｂでは、可視光フィルタ１２５は、赤色を透過させるＲフィルタ、緑色を透過させるＧフィルタおよび青色を透過させるＢフィルタで示している。切り替えＣＣＤ１１７は、ＲフィルタとＧフィルタとが交互に配列された第１の可視光ライン１１８、赤外光を透過させるＩｒフィルタ１２７が配列された赤外光ライン１１９、ＧフィルタとＢフィルタとが交互に配列された第２の可視光ライン１１８およびＩｒフィルタが配列された赤外光ライン１１９の４つのラインで構成される。この４つのラインの配列が、ＣＣＤ１１７のエリア内において順次繰り返される。

図４Ａにおいて、カメラ制御部１１６は、画像制御部１３７から、赤外光画像または可視光画像のどちらを出力するかの指令信号を受ける。仮に指令信号が可視光画像であれば、カメラ制御部１１６は可視光ライン１１８からのみ画像信号を出力するように制御する。その画像信号がＡ／Ｄ変換器１１５に入り、デジタル信号として可視光画像を出力する。指令信号が赤外光画像であれば、カメラ制御部１１６は赤外光ライン１１９からのみ画像信号を出力するように制御する。電気的に切り替えることができるので、応答が速く故障も少なくすることができる。

図３および図４において、カメラ１１０について説明してきたが、これらで使われる固体撮像素子はＣＣＤに限られるものでなく、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor）であってもよい。また、図４Ｂにおいて、ＲＧＢフィルタを使用したが、マゼンタ（Ｍｇ）フィルタ、シアン（Ｃｙ）フィルタ、黄（Ｙｅ）フィルタおよびＧフィルタで可視光フィルタ１２５を構成してもよい。

＜可視光フィルタ１２５および赤外光フィルタ１２７＞
図５は、光の波長と照射強度とを示した図である。図５Ａは、炎天下における可視光顔認証時を示した図であり、図５Ｂは、暗闇および室内照明下における赤外線顔認証時を示した図である。照炎天下の太陽光の照射強度が非常に強いため、図５Ａでは太陽光の照射強度を抑えて描いてある。

赤外光成分を多く含む炎天下の場合には、赤外光成分同士の干渉の点で、顔認証がしにくくなる場合がある。このため、約７６０ｎｍ以上の波長を遮断する可視光フィルタ１２５をＣＣＤ１２１の前に配置すると、可視光で顔認証をすることができる。一方、曇りまたは朝夕の野外では、赤外光成分はあまり多くなく、また、室内の白熱灯または蛍光灯下でも赤外光成分は多くない。このような状態で、約７６０ｎｍ以上の波長のみを透過させる赤外光フィルタ１２７をＣＣＤ１２１の前に配置すると、赤外光で顔認証をすることができる。可視光フィルタ１２５と赤外光フィルタ１２７との境界を、約７６０ｎｍの波長で説明したが約７８０ｎｍまたは約８００ｎｍにしてもよい。さらに、可視光フィルタ１２５が８００ｎｍ以下の波長を透過するようにし、赤外光フィルタ１２７が約７６０ｎｍ以上の光を透過するようにして、一部重複領域があってもよい。

＜顔認証を行う場合の携帯電話の使い方＞
図６は、照度計６１を備えた携帯電話２０で顔を撮影する際のイメージ図である。図６において、携帯電話２０には、ＩｒＬＥＤ６０、照度計６１およびカメラ１１０を実装した光学基板１５０が備え付けてある。製造コストおよび省スペースのためＩｒＬＥＤ６０、照度計６１およびカメラ１１０が一体に製造されている。モニター３０も、一体に製造してもよい。ＩｒＬＥＤ６０に限らず、一般に、ＬＥＤは指向性が高くなるように製造されている。今回は視覚角度が約３０度から４０度のＩｒＬＥＤ６０を使用した。照度計６１は、携帯電話２０で自分の顔を撮影する際に、上に向く位置に配置する。太陽、または天井の照明などの照度を正確に把握するためである。

＜顔登録モードのフローチャート＞
顔登録モードの動作を説明する。折畳み式の携帯電話１０を初めて使用する場合に、顔登録を行う。図７は、図３Ｂで示したフィルタ切り替えカメラ受光部１２３を備えるカメラ１１０−Ｂを使って顔登録を行うフローチャートである。なお、回転式の携帯電話２０でも同様である。

図７のステップＦ１１において、顔登録モードに使われる変数Ｌを初期化する。次にステップＦ１２においてＩｒＬＥＤ６０が点灯する。この際にモニター３０には、顔の位置および大きさを示す枠３２（図２参照）を表示してもよい。ステップＦ１３において、赤外光フィルタ１２７をＣＣＤ１２１前に配置する。これで赤外光による顔登録の準備が整う。

ステップＦ１４では、カメラ１１０により顔の撮影を行う。赤外光で撮影された画像は、ステップＦ１５で、顔画像ファイル１３５に赤外光画像テンプレートとして記憶される。ステップＦ１６では、赤外光で撮影された赤外光画像テンプレートが所定枚数Ｅまで、記憶されたかを判断する。所定枚数Ｅまで達していなければ、ステップＦ１７に進み、変数Ｌを加算する。そして、ステップＦ１４からステップＦ１６を繰り返し、赤外光画像テンプレートが所定枚数Ｅまで顔画像ファイル１３５に記憶される。所定枚数Ｅに達したらステップＦ１８に進む。

次に、可視光による顔登録を行う。可視光で顔を撮影する際には均一な照明光が顔にあたる状態で行うことが好ましい。ステップＦ２１において、顔登録モードに使われる変数Ｍを初期化する。次にステップＦ２２においてＩｒＬＥＤ６０を消灯する。ステップＦ２３において、可視光フィルタ１２５をＣＣＤ１２１前に配置する。これで可視光による顔登録の準備が整う。この際に、ステップＦ２２においてＩｒＬＥＤ６０を消灯しなくても、可視光フィルタ１２５で赤外光はカットされる。しかし、消費電力の抑えるため、ＩｒＬＥＤ６０を消灯する方が好ましい。

ステップＦ２４では、カメラ１１０により顔の撮影を行う。可視光で撮影された画像は、ステップＦ２５で、顔画像ファイル１３５に可視光画像テンプレートとして記憶される。ステップＦ２６では可視光で撮影された可視光画像テンプレートが所定枚数Ｆまで、記憶されたかを判断する。所定枚数Ｆまで達していなければ、ステップＦ２７に進み、変数Ｍを加算する。そして、ステップＦ２４からステップＦ２６を繰り返し、可視光画像テンプレートが所定枚数Ｆまで顔画像ファイル１３５に記憶される。所定枚数Ｅに達したらステップＦ２８に進む。

このように、所定枚数Ｅの赤外光画像テンプレートおよび所定枚数Ｆの可視光画像テンプレートは、顔画像ファイル１３５に記憶される。このように複数枚の赤外光画像テンプレートおよび複数枚の可視光画像テンプレートを用意する理由は、顔認証の認識率を上げるためである。顔の表情は気分で変わり、また斜め横向きの顔で顔認証されることもある。このため多くの画像テンプレートを用意しておき、認識率を上げる。しかし、画像テンプレートがあまりに多いと、顔認証に時間がかかることになる。そのため、赤外光画像テンプレートおよび可視光画像テンプレートともに、３枚から６枚ほどのテンプレートを用意することが好ましい。

＜顔認証のフローチャート＞
<<第一実施例>>
携帯端末器の一例として携帯電話１０における顔認証の動作を説明する。図８は、第一実施例で、携帯電話１０を使用開始する際に顔認証を行うフローチャートである。携帯電話１０には多くの個人情報またはメールが含まれている。このため、顔認証で合格しなければ、携帯電話１０の使用ができないようにしている。また、図８は、図３Ｂで示したフィルタ切り替えカメラ受光部１２３を備えるカメラ１１０−Ｂを使って顔登録を行うフローチャートである。

図８のステップＳ１１において、顔認証に使われる変数Ｎを初期化する。次にステップＳ１２においてＩｒＬＥＤ６０を点灯する。ステップＳ１３において、赤外光フィルタ１２７をＣＣＤ１２１前に配置する。この際にモニター３０には、顔の位置および大きさを示す枠３２（図２参照）を表示してもよい。顔が最適な位置および大きさになるようにオペレータに促すためである。

ステップＳ１４において、顔の輪郭および顔の特徴部分を把握する。図２で示した画像処理部１３１の画像処理速度に応答して、顔認証演算部１３３で顔の輪郭および特徴部分を抽出する。顔が大きすぎたり小さすぎたりして、所定の輪郭および特徴部分が把握できない場合には、ステップＳ１５およびステップＳ１６に進み、変数Ｎが閾値ＳＲに達するまで、顔の輪郭および顔の特徴部分の把握を繰り返す。ステップＳ１５において変数Ｎが閾値ＳＲに達すると、ステップＳ２８において顔認証ができなかったことをモニター３０に表示する。ステップＳ１４において、顔の輪郭および顔の特徴部分を把握できた場合には、ステップＳ２１に進む。

ステップＳ２１では、図２に示した顔画像ファイル１３５で保存されている赤外光画像テンプレートと顔の輪郭および顔の特徴部分とが一致するかを判断する。たとえば、ステップＳ１４において顔の輪郭および顔の特徴部分が把握できていても、顔が斜め横向きであったために同一人物でないと判断されてしまう。このため、所定枚数Ｅの赤外光画像テンプレートと顔の輪郭および顔の特徴部分とが一致しているかを算出し、認識率Ｘを求める。
ステップＳ２２では、認識率Ｘが第一閾値Ａよりも高いか否かを判断する。認識率Ｘが第一閾値Ａよりも高ければ、ステップＳ２３に進み、本人認証が完了し、電話をかけたり、電子金銭決済を行ったりＥメールを出したりすることができる。一方、認識率Ｘが第一閾値Ａよりも低ければ、ステップＳ２４に進む。

ステップＳ２４においてＩｒＬＥＤ６０を消灯する。ステップＳ２５において、可視光フィルタ１２５をＣＣＤ１２１前に配置する。ステップＦ２２においてＩｒＬＥＤ６０を消灯しなくても、可視光フィルタ１２５で赤外光はカットされる。しかし、消費電力の抑えるため、ＩｒＬＥＤ６０を消灯する方が好ましい。

ステップＳ２６では、顔画像ファイル１３５で保存されている可視光画像テンプレートと顔の輪郭および顔の特徴部分とが一致するかを判断する。所定枚数Ｆの可視光画像テンプレートと顔の輪郭および顔の特徴部分とが一致しているかを算出し、認識率Ｙを求める。
ステップＳ２７では、認識率Ｙが第二閾値Ｂよりも高いか否かを判断する。認識率Ｙが第二閾値Ｂよりも高ければ、ステップＳ２３に進み、本人認証が完了する。一方、認識率Ｙが第二閾値Ｂよりも低ければ、ステップＳ２８に進む。そして顔認証ができなかったことをモニター３０に表示する。

上述したように、図８に示した顔認証を行うフローチャートでは、可視光による顔認証を行わないことはあるが、必ず赤外光による顔認証を行う。光の影による影響を受けないため顔認証率が高く、また、顔写真であっても同一人物と認証することはしないので、いわゆる「なりすまし」を防ぐこともできるからである。なお、顔認証ができずにステップＳ２８に進んだ後、終了するのではなく、所定回数だけ顔認証を再び行うことも可能である。この場合には、点線で示すようにステップＳ２８からステップＳ１１へ移行させればよい。

<<第二実施例>>
図９は、第二実施例で、照度計６１を備えた携帯電話２０における顔認証の動作を説明する。図９は、携帯電話２０を使用して、携帯電話２０の電源投入後、携帯電話２０が備える電子金銭決済の特定の機能に、顔認証で合格しなければその特定の機能を使用できなくしている。また、図９は、図３Ｂで示したフィルタ切り替えカメラ受光部１２３を備えるカメラ１１０−Ｂを使って顔登録を行うフローチャートである。

図９のステップＳ３１において、顔認証に使われる変数Ｎを初期化する。次にステップＳ３２において、照度計６１で検出した照度が照度閾値Ｇよりも大きいか否かを判断する。照度が照度閾値Ｇよりも大きければ、ステップＳ４１に進み、照度が照度閾値Ｇよりも大きくなければ、ステップＳ３３に進む。照度閾値Ｇは、たとえば１００００ルクスないし４００００ルクスに設定する。好ましくは、１６０００ルクスないし４００００ルクスである。

曇り、室内または暗闇の場合には、ステップＳ３３においてＩｒＬＥＤ６０を点灯する。ステップＳ３４において、赤外光フィルタ１２７をＣＣＤ１２１前に配置する。ステップＳ３５において、顔の輪郭および顔の特徴部分を把握する。所定の輪郭および特徴部分が把握できない場合には、ステップＳ３６およびステップＳ３７に進み、変数Ｎが閾値ＳＲに達するまで、顔の輪郭および顔の特徴部分の把握を繰り返す。ステップＳ３６において変数Ｎが閾値ＳＲに達すると、ステップＳ５２において顔認証ができなかったことをモニター３０に表示する。ステップＳ３５において、顔の輪郭および顔の特徴部分を把握できた場合には、ステップＳ３８に進む。

ステップＳ３８では、顔画像ファイル１３５で保存されている赤外光画像テンプレートと顔の輪郭および顔の特徴部分とが一致するかを判断する。所定枚数Ｅの赤外光画像テンプレートと顔の輪郭および顔の特徴部分とが一致しているかを算出し、認識率Ｘを求める。ステップＳ３９では、認識率Ｘが第一閾値Ａよりも高いか否かを判断する。認識率Ｘが第一閾値Ａよりも高ければ、ステップＳ５１に進み、本人認証が完了する。一方、認識率Ｘが第一閾値Ａよりも低ければ、ステップＳ５２において顔認証ができなかったことをモニター３０に表示する。

次に、炎天下の場合には、照度が照度閾値Ｇよりも大きいのでステップＳ４１に進み、ステップＳ４１において、赤外光フィルタ１２７をＣＣＤ１２１前に配置する。そもそも炎天下であるため赤外光も多く含まれているため、ＩｒＬＥＤ６０を点灯することはない。

ステップＳ４２において、顔の輪郭および顔の特徴部分を把握する。所定の輪郭および特徴部分が把握できない場合には、ステップＳ４３およびステップＳ４４に進み、変数Ｎが閾値ＳＲに達するまで、顔の輪郭および顔の特徴部分の把握を繰り返す。ステップＳ４３において変数Ｎが閾値ＳＲに達すると、ステップＳ５２において顔認証ができなかったことをモニター３０に表示する。ステップＳ４２において、顔の輪郭および顔の特徴部分を把握できた場合には、ステップＳ４５に進む。

ステップＳ４５では、顔画像ファイル１３５で保存されている赤外光画像テンプレートと顔の輪郭および顔の特徴部分とが一致するかを判断する。所定枚数Ｅの赤外光画像テンプレートと顔の輪郭および顔の特徴部分とが一致しているかを算出し、認識率Ｘを求める。ステップＳ４６では、認識率Ｘが第一閾値Ａよりも高いか否かを判断する。認識率Ｘが第一閾値Ａよりも高ければ、ステップＳ５１に進み、本人認証が完了する。一方、認識率Ｘが第一閾値Ａよりも低ければ、ステップＳ４７に進み、ステップＳ４７において、可視光フィルタ１２５をＣＣＤ１２１前に配置する。

ステップＳ４８では、顔画像ファイル１３５で保存されている可視光画像テンプレートと顔の輪郭および顔の特徴部分とが一致するかを判断する。所定枚数Ｆの可視光画像テンプレートと顔の輪郭および顔の特徴部分とが一致しているかを算出し、認識率Ｙを求める。
ステップＳ４９では、認識率Ｙが第二閾値Ｂよりも高いか否かを判断する。認識率Ｙが第二閾値Ｂよりも高ければ、ステップＳ５１に進み、本人認証が完了する。一方、認識率Ｙが第二閾値Ｂよりも低ければ、ステップＳ５２に進む。そして顔認証ができなかったことをモニター３０に表示する。

上述したように、図９に示した顔認証を行うフローチャートでは、照度が照度閾値Ｇよりも大きいか否かで異なる顔認証を行う。赤外光成分を多く含む炎天下の利用の場合には、可視光による顔認証の認証率が高い。しかし、照度が照度閾値Ｇよりも大きくても必ず赤外光による顔認証を行う。顔写真であっても同一人物と認証することはしないので、いわゆる「なりすまし」を防ぐこともできるからである。なお、顔認証ができずにステップＳ２８に進んだ後、終了するのではなく、所定回数だけ顔認証を再び行うことも可能である。この場合には、点線で示すようにステップＳ５２からステップＳ３１へ移行させればよい。

以上、いろいろな実施形態を説明したが、これらの実施形態は例示であり、それらの各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。たとえば、携帯端末器の一例として、図１では折畳み式の携帯電話１０および回転式の携帯電話２０を示した。しかし、本発明の携帯端末器はこれに限られるものでなく、ストレート式の携帯電話であってもよいし、ＰＤＡであっても良い。ＵＳＢカメラを取り付けた携帯可能なノートパソコンも携帯端末器に含まれる。本発明の携帯端末器は、人が手に持ってカメラ１１０と顔との距離を変えることができるものをいう。また、携帯端末器だけでなく、部屋の入退室のチェックを行う顔認証装置にも適用できる。

また、レンズ１２９は固定焦点の前提で説明してきたが、オートフォーカス機能を設けても良いことはいうまでもない。さらに、顔登録モードのフローチャートおよび顔認証のフローチャートでは、フィルタ切り替えカメラ受光部１２３を備えるカメラ１１０−Ｂで説明した。しかし、可視光カメラ受光部１２０と赤外光カメラ受光部１２２とを備えるカメラ１１０−Ａでも、受光素子にフィルタが設けられているカメラ受光部１２４を備えるカメラ１１０−Ｃでも、顔登録モードのフローチャートおよび顔認証のフローチャートのように適用できることは、当業者に理解されるところである。

Ａは、ＩｒＬＥＤ６０を備えた折畳み式の携帯電話１０の斜視図であり、Ｂは、ＩｒＬＥＤ６０を備えた回転式の携帯電話２０の背面図である。 バイオメトリクス認証装置１００の構成図である。 Ａは、可視光カメラ受光部１２０と赤外光カメラ受光部１２２とを備えるカメラ１１０−Ａで、Ｂは、フィルタ切り替えカメラ受光部１２３を備えるカメラ１１０−Ｂである。 Ａは、受光素子にフィルタが設けられているカメラ受光部１２４を備えるカメラ１１０−Ｃである。Ｂは、カメラ受光部１２４のＣＣＤ１１７の受光素子の拡大図である。 光の波長と照射強度とを示した図である。 携帯電話２０で顔に赤外光を照射したイメージ図である。 顔登録を行うフローチャートである。 第一実施例で、携帯電話１０を使用開始する際に顔認証を行うフローチャートである。 第二実施例で、照度計６１を備えた携帯電話２０における顔認証のフローチャートである。

符号の説明

３０ … モニター
４０ … 入力ボタン
６０ … ＩｒＬＥＤ
６１ … 照度計
１００ … バイオメトリクス認証装置
１１０ … カメラ
１１７，１２１ … ＣＣＤ
１２５ … 可視光フィルタ
１２７ … 赤外光フィルタ
１３０ … 顔認証部
１５０ … 光学基板

Claims (10)

1. 赤外光を顔に照射する光源と、
   可視光による顔の可視光画像および照射された赤外光による顔の赤外光画像を撮像する撮像部と、
   前記赤外光画像のみを利用して顔の認証を行うとともに、前記赤外光画像および可視光画像を利用して顔の認証を行う認証部と、
   を備えることを特徴とする顔認証装置。
2. 前記認証部が前記赤外光画像で顔認証ができなかった際に、さらに前記撮像部で可視光画像を撮像し、前記認証部が前記可視光画像で顔認証を行うことを特徴とする請求項１に記載の顔認証装置。
3. さらに、照度を検出する照度検出部を備え、
   前記認証部は、前記照度が所定照度以下の際に前記認証部が前記赤外光画像のみで顔の認証を行い、前記照度が所定照度より高い際に前記赤外光画像および可視光画像で顔の認証を行うことを特徴とする請求項１に記載の顔認証装置。
4. 前記所定照度は、１００００ルクスないし４００００ルクスであることを特徴とする請求項３に記載の顔認証装置。
5. 前記照度が所定照度より高い際に、前記認証部は、前記赤外光画像で顔認証を先に行い、前記赤外光画像で顔認証ができなかった場合に前記可視光画像で顔認証を行うことを特徴とする請求項３に記載の顔認証装置。
6. 前記認証部は、複数の赤外光画像と複数の可視光画像とを画像ファイルとして記憶することを特徴とする請求項１ないし請求項４のいずれか一項に記載の顔認証装置。
7. 顔認証装置は、前記画像ファイルに記憶された複数の赤外光画像と前記撮像部で撮像された赤外光画像とに基づいて認証率を算出し、この認識率が閾値より大きいときに本人認識と確認することを特徴とする請求項６に記載の顔認証装置。
8. 前記認証部は、前記赤外光画像および前記可視光画像から顔全体の輪郭を特定し、さらに、顔の両目の位置、鼻の穴の位置および口の位置を特定することで、認証を行うことを特徴とする請求項１ないし請求項７のいずれか一項に記載の顔認証装置。
9. 請求項３ないし請求項８のいずれか一項に記載の顔認証装置を備えた携帯端末器であって、
   この携帯端末器で顔の認証を行う際に、前記光源が顔の方に向くように配置し、前記照度検出部が天を向くように配置することを特徴とする携帯端末器。
10. 可視光による顔の可視光画像および照射された赤外光による顔の赤外光画像による顔の認証方法において、
    赤外光を顔に照射し、照射された赤外光により顔の赤外光画像を撮像する赤外光撮像ステップと、
    前記赤外光画像により、顔認証を行う赤外光の顔認証ステップと、
    前記赤外光で顔認証が行えなかったときに、可視光により顔の可視光画像を撮像する可視光撮像ステップと、
    前記可視光画像により、顔認証を行う可視光の顔認証ステップと、
    を備えることを特徴とする顔認証方法。