JP2005292542A - 目画像撮像装置および携帯端末装置 - Google Patents

Abstract

【課題】目画像取得時の違和感や扱い難さを解消するとともに、虹彩認証動作を他人に察知され難くすることのできる目画像撮像装置および携帯端末装置を提供する。
【解決手段】目との距離を一定に保った状態で目画像を撮像する望遠モードと顔を撮像する広角モードとを切り換え可能な撮像部２００と、広角モードで撮像された画像を表示する画像表示部３９０と、広角モードで撮像された画像にもとづいて目が所定の位置に誘導されたことを自動的に判定する誘導検出部３３０と、目が所定の位置に誘導されたことを誘導検出部３３０が判定した場合撮像部２００を広角モードから望遠モードに自動的に切り換えるレンズ切替手段２３０とを備えた。
【選択図】図３

Description

本発明は、虹彩認証装置等に搭載する目画像撮像装置に関し、特に、顔画像等の広角画像と虹彩画像等の狭角画像の両方を撮像することができる目画像撮像装置およびそれを搭載した携帯端末装置に関する。

近年、携帯電話機にカメラ機能を付加し、風景画像を撮像して通信相手に送信したり、テレビ電話機として使用する等、携帯電話機に広角カメラを搭載したものが普及するようになってきている。

一方、携帯電話器等の携帯端末装置を用いた決済システム等の普及に伴い、本人認証の信頼性の高い虹彩認証装置をこれら携帯端末装置に搭載する試みがなされている。一般に虹彩認証は、近赤外線照明等で被写体の目およびその周辺を照明し、カメラを用いて目およびその周辺の画像（以下、目画像と略記する）を撮像し、得られた目画像から虹彩情報を抽出して、すでに登録されている虹彩情報データベースの虹彩情報と比較照合することにより個人認証を行うものである。このとき用いられる目画像撮像装置は、被写体の虹彩情報を正確に抽出する必要があるので画角の狭い望遠カメラであり、また虹彩画像は近赤外付近で最も鮮明な画像が得られるため、可視光カットフィルタをレンズに取り付けたものが多い。このような、風景画像や顔画像等を撮像できる広角カメラ機能と目画像等を撮像できる狭角望遠カメラ機能とを省スペースで搭載できる携帯端末用の撮像装置が提案されている（たとえば特許文献１参照）。
特開２００３−２５６８１９号公報

しかしながら、虹彩撮像用の望遠カメラは画角が狭いために目の誘導用には使い難く、また設置面積上の制約から目の誘導のために大きな鏡を設置することも難しかった。そこで従来は、カメラを５〜１５ｃｍの距離まで目に近づけて目画像の撮像を行うのが一般的であった。この方法では虹彩認証時に目をカメラに極端に近づけるために目画像取得時における使用上の違和感が大きく、また、虹彩認証動作を他人に察知されやすいといった問題もあった。

本発明の目画像撮像装置はこれらの課題に鑑みなされたものであり、虹彩認証時における目とカメラの距離を一定に保つことにより、目画像取得時の違和感や扱い難さを解消するとともに、虹彩認証動作を他人に察知され難くすることのできる目画像撮像装置および携帯端末装置を提供する。

本発明の目画像撮像装置は、被写体の目との距離を一定に保った状態で被写体の目画像を撮像する望遠モードと被写体の顔を撮像する広角モードとの切り換え可能な撮像部と、広角モードで撮像された画像を表示する画像表示部と、広角モードで撮像された画像にもとづいて被写体の目が所定の位置に誘導されたことを自動的に判定する誘導検出部と、被写体の目が所定の位置に誘導されたことを誘導検出部が判定したときに撮像部を広角モードから望遠モードに自動的に切り換える切替手段とを備えたことを特徴とする。この構成により、虹彩認証時においても目をカメラに極端に近づける必要がなくなるので、目画像取得時の違和感や扱い難さを解消するとともに、虹彩認証動作を他人に察知され難くすることが可能となる。

また、本発明の目画像撮像装置の撮像部は望遠レンズと広角レンズとを有し、切替手段は、広角レンズと望遠レンズとを切り換えることにより望遠モードと広角モードとを切り換えるレンズ切替手段であってもよい。この構成により、このとき撮像部の広角モードと望遠モードとの切り換えをレンズの切り換えで行うので安価に切替手段を実現できる。

また、本発明の目画像撮像装置の撮像部はズームレンズを有し、切替手段は、ズームレンズを駆動することにより望遠モードと広角モードとを切り換えるズームレンズ駆動手段であってもよい。この構成により、ズーム時の画像を連続的に画像表示部に表示することにより、被写体が常に撮像画像中の目の位置を確認できるので、位置がズレ始めても容易に修正することができる。

また、本発明の目画像撮像装置の撮像部は望遠カメラと広角カメラとを有し、切替手段は、広角カメラと望遠カメラとを切り換えることにより望遠モードと広角モードとを切り換えるカメラ切替手段であってもよい。この構成により、機械的な稼動部を設けることなく撮像部を構成できるので、信頼性が高く、消費電力も少ない目画像撮像装置を実現できる。

また、本発明の携帯端末装置は、上述した本発明の目画像撮像装置を搭載した携帯端末装置である。

本発明の目画像撮像装置および携帯端末装置によれば、虹彩認証時においても目とカメラとの距離を一定に保つことができるので、目画像取得時の違和感や扱い難さを解消するとともに、虹彩認証動作を他人に察知され難くすることが可能となる。

（第１の実施の形態）
本発明の実施の形態における目画像撮像装置（以下、目画像撮像装置と略記する）について、図面を用いて説明する。

図１は、本発明の第１の実施の形態における目画像撮像装置および虹彩認証処理部を搭載した折畳式携帯電話機１０の開いた状態の外観図である。この携帯電話機１０は、第１本体１０ａと第２本体１０ｂとが折り畳み自在に連結されて構成され、第１本体１０ａに入力操作ボタン１１やマイク１２が設けられている。第２本体１０ｂには液晶、有機ＥＬ等を用いた画像表示部１３が設けられている。さらに第２本体１０ｂには、スピーカ１４と、近赤外光を発光する発光素子である２個のＬＥＤ１１０と、撮像部２００が設けられている。

図２は、折畳式携帯電話機１０のＡ−Ａ断面図であり、撮像部２００の主要構成を示したものである。本実施の形態における撮像部２００は、ＣＣＤやＣＭＯＳ等の撮像素子２１０と、この撮像素子２１０の前面位置に設けられた光学系２２０とを備えている。光学系２２０はソレノイド２３１とコイルバネ２３２で構成されたアクチュエータを用いたレンズ切替手段２３０により矢印Ｂ方向にスライドする構成となっている。この光学系２２０内には、画角が狭角の望遠レンズ２２１と、画角が広角の広角レンズ２２２とが並列に設けられており、望遠レンズ２２１、広角レンズ２２２のいずれか一方が撮像素子２１０の前面位置にくるようにレンズ切替手段２３０により選択される。こうして撮像部２００の光学系２２０は望遠モードと広角モードとを切り換えることができる。また、光学系２２０内には、望遠レンズ２２１に重ねて可視光カットフィルタ２２６が設けられ、広角レンズ２２２に重ねて赤外光カットフィルタ２２７が設けられている。これらは、望遠レンズ２２１を使用するときには赤外光のみを、広角レンズ２２２を使用するときには可視光のみを撮像素子２１０に取り込むためのものである。

図３は、本発明の第１の実施の形態における目画像撮像装置１および虹彩認証処理部４００のブロック構成図である。目画像撮像装置１は、撮像部２００と、照明部１００と、画像信号処理部３００と、画像表示部３９０とを備えている。第１の実施の形態では、携帯電話機１０自体が虹彩認証処理部４００も搭載し、撮像部２００で撮像された目画像データを画像信号処理部３００から受け取り、虹彩認証処理部４００で虹彩の認証処理も行う構成となっている。

照明部１００は、近赤外光を発光するＬＥＤ１１０と、ＬＥＤ１１０の照明制御を行う照明制御部１２０から構成され、目画像取得に適した光量を目に向けて照射する構造となっている。

撮像部２００は、前述した光学系２２０と、撮像素子２１０と、前処理部２５０と、レンズおよびフィルタを自動的に切り換えるためのレンズ切替手段２３０とを備えている。被写体の顔あるいは目からの反射光は、光学系２２０の広角レンズ２２２あるいは望遠レンズ２２１のいずれかを通して撮像素子２１０に入力される。入力された入射光は撮像素子２１０で光電変換され、電気信号として前処理部２５０に入力される。前処理部２５０では、撮像素子２１０より入力された電気信号から画像信号成分を取り出し、ゲイン調整等、画像信号として必要な処理を行った上で画像信号処理部３００に出力するとともに画像表示部３９０にも出力する。レンズ切替手段２３０は後述する誘導検出部３３０からの信号にしたがって光学系２２０のレンズを広角レンズ２２２あるいは望遠レンズ２２１に切り換える。

画像信号処理部３００は、瞳孔検出部３１０と、瞳孔距離判定部３２０と、誘導検出部３３０と、認証画像取得部３４０とを備えている。瞳孔検出部３１０は、前処理部２５０から出力された広角レンズ２２２による顔画像信号の中から２つの瞳孔位置を検出する。顔画像信号の中から瞳孔位置を検出する方法としては、テンプレートマッチングを用いる方法、あるいは周回積分を用いる方法（特表平８−５０４９７９公報）等の従来の技術を使用することができる。瞳孔距離判定部３２０は顔画像における２つの瞳孔間の距離を測定し、あらかじめ登録されている被写体の瞳孔間距離にもとづいて撮像距離を割り出す。誘導検出部３３０は、表示画面の中心位置での瞳孔の有無を判定し、画面中心位置で瞳孔を一定の時間（たとえば０．５秒程度）安定して検出できた場合に目の誘導が完了した旨の信号をレンズ切替手段２３０に出力する。認証画像取得部３４０は、前処理部２５０から出力された望遠レンズ２２１による目画像信号を取り込み、認証用の目画像として虹彩認証処理部４００に出力する。

虹彩認証処理部４００は、画像信号処理部３００から出力される認証用の目画像から虹彩情報をコードデータとして抽出し、あらかじめ登録されている登録データと比較して、被写体が登録者であるか否かの判断を行う。

つぎに、本発明の第１の実施の形態における目画像撮像装置の動作手順について説明する。ここでは、使用者が被写体になるものとして説明する。図４は本発明の第１の実施の形態における目画像撮像装置の動作を示すフローチャートである。なお、初期状態では光学系２２０は広角レンズ２２２に設定されているものとして説明する。

虹彩認証を行う場合、まず使用者が携帯電話機の動作モードを認証モードに設定する（Ｓ１）。すると、レンズは広角レンズ２２２のままで、画像表示部３９０に目を誘導するためのマーク、たとえば十字マークを表示する（Ｓ２）。そして撮像部２００が被写体の顔画像を取り込む（Ｓ３）。瞳孔検出部３１０は、被写体の顔画像の中から２つの瞳孔位置を検出し（Ｓ４）、瞳孔距離判定部３２０は２つの瞳孔間距離をあらかじめ登録されている被写体の瞳孔間距離と比較する（Ｓ５）。そして、瞳孔間距離が狭すぎる場合は撮像距離が遠すぎるのでカメラを目に近づける旨のメッセージを画像表示部３９０に出力し、逆に瞳孔間距離が広すぎる場合はカメラを目から遠ざける旨のメッセージを出力する。また、被写体の目が所定の位置、すなわち画像表示部３９０に表示された目誘導用の十字マークの位置に瞳孔がない場合は、十字マークに目を合わせる旨のメッセージを出力する。これらのメッセージはスピーカを用いて音声メッセージとして出力してもよい。瞳孔間距離が広すぎるか狭すぎる場合、あるいは目誘導用の十字マークの位置に瞳孔がない場合は再度顔画像の取り込みを行う（Ｓ６）。

瞳孔間距離があらかじめ登録されている瞳孔間距離と等しくかつ十字マークの位置に瞳孔のある顔画像を一定時間（たとえば０．５秒程度）安定して取り込めたら、誘導検出部３３０は誘導完了の信号をレンズ切替手段２３０に出力する（Ｓ７）。

誘導完了の信号を受けて、レンズ切替手段２３０は光学系２２０のレンズを広角レンズ２２２から望遠レンズ２２１に切り換える（Ｓ８）。そして、撮像部２００は被写体の目画像を取り込む（Ｓ９）。認証画像取得部３４０は取り込んだ目画像の画像品質を判定し、虹彩認証が可能な画像であれば認証用の目画像として虹彩認証処理部４００へ出力する。そうでない場合には再度目画像を取り込む（Ｓ１０）。虹彩認証処理部４００は認証用の目画像から虹彩のコードデータを抽出し、登録データと比較して被写体の認証を行う（Ｓ１１）。

図５は本発明の第１の実施の形態における目画像撮像装置の撮像部の望遠レンズ２２１の画角を示す図であり、図６は同撮像部の広角レンズ２２２の画角を示す図である。望遠レンズ２２１は虹彩認証用の虹彩画像を撮像するときに動作するものであり、焦点距離が３０ｃｍ程度に設定されている。そして使用者自身の目の拡大画像を画面一杯に撮像する。一方、目誘導のために顔画像を撮像する広角レンズ２２２は、虹彩認証動作を行わないときは通常の撮像用カメラとして使用される。そして、図６に示すように広角レンズ２２２は広い範囲の画像が取り込めるので、携帯電話機１０をデジタルカメラあるいはテレビ電話機として使用することができる。

以上のように、第１の実施の形態では広角レンズを用いた被写体の顔画像を表示するため目の誘導が容易であり、広角レンズと望遠レンズとの切り換えを自動で行うためカメラ切り換え時にぶれを起こす心配もない。また、虹彩認証時における目とカメラとの距離を３０ｃｍ程度とすることができ、この距離は携帯電話機を通常使用する場合の平均的な距離であるため、目画像取得時の違和感や扱い難さを解消するとともに、虹彩認証動作を他人に察知され難くなる。また、光学系は単に２つのレンズを切り換える構成であるので、安価に製造することができる。

（第２の実施の形態）
図７は、本発明の第２の実施の形態における目画像撮像装置２および虹彩認証処理部４００のブロック構成図である。第２の実施の形態における目画像撮像装置２のうち第１の実施の形態と同様の構成要素には図３と同一の符号を付与している。目画像撮像装置２は、撮像部２００と、照明部１００と、画像信号処理部３００と、画像表示部３９０とを備えている。また、携帯電話機１０自体が虹彩認証処理部４００も搭載し、撮像部２００で撮像された認証用の目画像を画像信号処理部３００から受け取り、虹彩の認証処理も行う構成となっているところも第１の実施の形態と同様である。

第２の実施の形態における目画像撮像装置２が第１の実施の形態と大きく異なるところは、撮像素子２１０の前面位置に設けられる光学系２７０がズームレンズで構成されている点である。撮像部２００は、ズームレンズで構成された光学系２７０と、撮像素子２１０と、前処理部２５０と、ズームレンズ駆動手段２８０とを備えている。ズームレンズ駆動手段２８０は後述する誘導検出部３３０からの信号にしたがってズームレンズを駆動し、撮像部２００の光学系２７０を広角モードあるいは望遠モードに自動的に切り換える機能を持つとともにオートフォーカス機能もあわせ持っている。ズームレンズの構成およびオートフォーカス機能については公知の技術を用いて実現することができる。

画像信号処理部３００は、瞳孔検出部３１０と、誘導検出部３３０と、認証画像取得部３４０とを備えているが、ズームレンズ駆動手段２８０がオートフォーカス機能もあわせ持っているため第１の実施の形態で用いた瞳孔距離判定部は必要としない。

つぎに、第２の実施の形態における目画像撮像装置の動作について説明する。図８は本発明の第２の実施の形態における目画像撮像装置の動作を示すフローチャートである。虹彩認証を行う場合、まず使用者が携帯電話機の動作モードを認証モードに設定する（Ｓ２１）。すると、ズームレンズ駆動手段２８０はズームレンズを広角に設定する（Ｓ２２）。そして画像表示部３９０は目誘導用の十字マークを表示する（Ｓ２３）。つぎに撮像部２００が被写体の顔画像を取り込む（Ｓ２４）。瞳孔検出部３１０は、被写体の顔画像の中から瞳孔位置を検出する（Ｓ２５）。このとき、画像表示部３９０に表示された目誘導用の十字マークの位置に瞳孔がない場合は、十字マークに目を合わせる旨のメッセージを画像表示部３９０に出力する。このメッセージはスピーカを用いて音声メッセージとして出力してもよい。目誘導用の十字マークの位置に瞳孔がない場合は再度顔画像の取り込みを行う（Ｓ２６）。十字マークの位置に瞳孔のある顔画像が一定時間（たとえば０．５秒程度）の間ぶれることなく安定して取り込めたら、誘導検出部３３０は誘導完了の信号をズームレンズ駆動手段２８０に出力する（Ｓ２７）。

誘導完了の信号を受けて、ズームレンズ駆動手段２８０は光学系２７０のズームレンズを望遠に設定しフォーカスを合わせる（Ｓ２８）。そして、撮像部２００は被写体の目画像を取り込む（Ｓ２９）。認証画像取得部３４０は取り込んだ目画像の画像品質を判定し、虹彩認証が可能な画像であれば認証用の目画像として虹彩認証処理部４００へ出力する。そうでない場合には再度目画像を取り込む（Ｓ３０）。虹彩認証処理部４００は認証用の目画像から虹彩のコードデータを抽出し、登録データと比較して被写体の認証を行う（Ｓ３１）。

以上のように、第２の実施の形態においても、虹彩認証時における目とカメラの距離を３０ｃｍ程度に設定することができ、目画像取得時の違和感や扱い難さを解消するとともに、虹彩認証動作を他人に察知され難くすることが可能となる。くわえて、画角を自由に設定できるので、使用者の習熟度に合わせて目誘導時の画角を狭くすることにより目画像取り込みまでの時間を短縮することができる。さらに、ズーム時の画像を連続的に画像表示部３９０に表示することにより、使用者が常に撮像画像中の目の位置を確認できるので、位置がズレ始めても容易に修正することができる。なお、第２の実施の形態のように撮像部にズームレンズを用いた場合は、虹彩認証時における目とカメラの距離を使用者の好みに応じて、ある範囲で自由に設定することができる。

（第３の実施の形態）
図９は、本発明の第３の実施の形態における目画像撮像装置３および虹彩認証処理部４００のブロック構成図である。第３の実施の形態における目画像撮像装置３のうち第１の実施の形態と同様の構成要素には図３と同一の符号を付与している。目画像撮像装置３は、撮像部２００と、照明部１００と、画像信号処理部３００と、画像表示部３９０とを備えている。また、携帯電話機１０自体が虹彩認証処理部４００も搭載し、認証用の目画像を画像信号処理部３００から受け取り、虹彩の認証処理も行う構成となっているところも第１の実施の形態と同様である。

第３の実施の形態における目画像撮像装置３が第１の実施の形態と大きく異なるところは、撮像部２００が望遠カメラ２９１と、広角カメラ２９２と、それらを切り換えるためのカメラ切替手段２９３とを備えている点である。そして、カメラ切替手段２９３が広角カメラ２９１と望遠カメラ２９２とを電気的に切り換えることにより撮像部２００の望遠モードと広角モードとを切り換えている。カメラ切替手段２９３は、第１の実施の形態におけるレンズ切替手段２３０と同様に、誘導検出部３３０からの信号にしたがって撮像部２００のカメラを望遠カメラ２９１あるいは広角カメラ２９２に切り換える。

本発明の第３の実施の形態における目画像撮像装置の動作手順については、第１の実施の形態と同様であるため説明を省略する。

第３の実施の形態における撮像部２００はこのようにカメラの切り換えを電気的にかつ自動的に行い、機械的な可動部分を持たないため、信頼性に優れ、また、消費電力も少ない。

本発明の目画像撮像装置は、目とカメラとの距離を一定に保ったまま目画像を撮像でき、目画像取得時の違和感や扱い難さを解消するとともに、虹彩認証動作を他人に察知され難くすることが可能であるので、携帯端末装置等の小型機器に搭載する虹彩認証用の目画像撮像装置、特に顔画像等の広角画像と虹彩画像等の狭角画像の両方を撮像することができる携帯端末装置等として有用である。

本発明の第１の実施の形態における目画像撮像装置および虹彩認証処理部を搭載した折畳式携帯電話機の開いた状態の外観図 同折畳式携帯電話機のＡ−Ａ断面図 同目画像撮像装置および虹彩認証処理部のブロック構成図 同目画像撮像装置の動作を示すフローチャート 同目画像撮像装置の撮像部の望遠レンズの画角を示す図 同目画像撮像装置の撮像部の広角レンズの画角を示す図 本発明の第２の実施の形態における目画像撮像装置および虹彩認証処理部のブロック構成図 同目画像撮像装置の動作を示すフローチャート 本発明の第３の実施の形態における目画像撮像装置および虹彩認証処理部のブロック構成図

符号の説明

１，２，３ 目画像撮像装置
１０ 携帯電話機
１００ 照明部
１１０ ＬＥＤ
１２０ 照明制御部
２００ 撮像部
２１０ 撮像素子
２２０，２７０ 光学系
２２１ 望遠レンズ
２２２ 広角レンズ
２２６ 可視光カットフィルタ
２２７ 赤外光カットフィルタ
２３０ レンズ切替手段
２５０ 前処理部
２８０ ズームレンズ駆動手段
２９１ 望遠カメラ
２９２ 広角カメラ
２９３ カメラ切替手段
３００ 画像信号処理部
３１０ 瞳孔検出部
３２０ 瞳孔距離判定部
３３０ 誘導検出部
３４０ 認証画像取得部
３９０ 画像表示部
４００ 虹彩認証処理部

Claims (5)

1. 被写体の目との距離を一定に保った状態で前記被写体の目画像を撮像する望遠モードと、前記被写体の顔を撮像する広角モードとの切り換え可能な撮像部と、
   前記広角モードで撮像された画像を表示する画像表示部と、
   前記広角モードで撮像された画像にもとづいて前記被写体の目が所定の位置に誘導されたことを自動的に判定する誘導検出部と、
   前記被写体の目が所定の位置に誘導されたことを前記誘導検出部が判定したときに、前記撮像部を前記広角モードから前記望遠モードに自動的に切り換える切替手段と
   を備えたことを特徴とする目画像撮像装置。
2. 前記撮像部は望遠レンズと広角レンズとを有し、
   前記切替手段は、前記広角レンズと前記望遠レンズとを切り換えることにより前記望遠モードと前記広角モードとを切り換えるレンズ切替手段であることを特徴とする請求項１に記載の目画像撮像装置。
3. 前記撮像部はズームレンズを有し、
   前記切替手段は、前記ズームレンズを駆動することにより前記望遠モードと前記広角モードとを切り換えるズームレンズ駆動手段であることを特徴とする請求項１に記載の目画像撮像装置。
4. 前記撮像部は望遠カメラと広角カメラとを有し、
   前記切替手段は、前記広角カメラと前記望遠カメラとを切り換えることにより前記望遠モードと前記広角モードとを切り換えるカメラ切替手段であることを特徴とする請求項１に記載の目画像撮像装置。
5. 請求項１から請求項４までのいずれか１項に記載の目画像撮像装置を搭載した携帯端末装置。

Images