JP2005140667A - 目画像撮像装置および携帯端末装置 - Google Patents

Abstract

【課題】新たな測距センサ等を搭載することなしに、小型、軽量、安価でかつ測距機能を備えた目画像撮像装置を提供する。
【解決手段】使用者の目画像を撮像する撮像部１２０と、近赤外線を使用者の目を含む領域に照射する照明部１１０と、照明部が照射した照射領域を目画像の中から検出する照射領域検出部１３２と、照射領域の検出結果にもとづいて目までの距離を算出する距離算出部１３３を備え、撮像距離に依存して目画像中の照射領域が変化することを利用して目までの距離を算出することを特徴とする。
【選択図】図１

Description

本発明は、携帯端末装置等に搭載する虹彩認証用の目画像撮像装置に関する。

一般に虹彩認証は、近赤外線照明等で使用者の目およびその周辺を照明し、カメラを用いて目およびその周辺の画像（以下、目画像と略記する）を撮像し、得られた目画像から虹彩情報を抽出して、すでに登録されている虹彩情報データベースの虹彩情報と比較照合することにより個人認証を行うものである。このとき用いられる目画像撮像装置は、使用者の虹彩情報を正確に抽出する必要があるので目画像を精度良く撮像できるものでなければならない。

一方、近年では携帯電話器等の携帯端末装置を用いた決済システム等の普及に伴い、本人認証の信頼性の高い虹彩認証装置をこれら携帯端末装置に搭載する試みがなされている。ところが、これら携帯端末装置に目画像撮像装置を搭載するにあたっては、設置スペース、重量、コスト等の制約が大きく、自動焦点機構を搭載することはきわめて困難となっている。このようなことから、携帯端末装置用の目画像撮像装置としては、固定焦点レンズを用いた小型、軽量、安価なカメラを搭載し、使用者の目を固定焦点レンズの合焦位置へ誘導するという方法が一般的である（たとえば特許文献１参照）。
特開２００３−１５７４３０号公報

しかしながら、このような従来の目画像撮像装置では、使用者が固定焦点レンズの合焦位置へ目を移動させるため、レンズと目との距離を覚えておく等、ある程度その装置の使用に習熟することが必要であり、焦点の合った目画像を得るまでに長い時間を要する場合があるという課題があった。

本発明は、これら従来の課題を解決するもので、携帯電話機等の設置スペースの限られた携帯端末装置に最適な、小型、軽量、安価でかつ測距機能を備えた目画像撮像装置を提供することを目的とする。

本発明の目画像撮像装置は、使用者の目画像を撮像する撮像部と、使用者の目を含む領域を照射する複数の光源を有する照明部と、照明部が照射した照射領域を目画像の中から検出する照射領域検出部と、照射領域検出部の検出結果にもとづいて目までの距離を算出する距離算出部を備え、距離算出部は複数の光源のうち少なくとも２つの光源のそれぞれに対応する照射領域の検出結果にもとづいて撮像部から目までの距離を算出する。この構成により、携帯電話機等の設置スペースの限られた携帯端末装置に最適な、小型、軽量、安価でかつ測距機能を備えた目画像撮像装置を提供することができる。

また、本発明の目画像撮像装置の照明部の複数の光源は、近赤外線を発する近赤外線光源であってもよい。近赤外線光源を用いることで使用者に違和感を与えずに目画像の撮像ができること、得られる目画像のコントラストが高く可視光に比較して良好な目画像が得られるという利点がある。

また、本発明の目画像撮像装置の撮像部は固定焦点レンズを有し、撮像部から目までの距離が固定焦点レンズにより決まる撮像部の合焦距離に等しいとき、複数の光源のうち少なくとも２つの光源の照射領域を略一致させた構成としてもよい。この構成により、合焦距離の位置では複数の光源が虹彩を照射するようにし、目画像を取得する上での障害にならないように光のあたらない部分も小さくすることができる。

また、本発明の目画像撮像装置の距離算出部は、照明部が照射した照射領域の検出結果と撮像距離の実測値とにもとづく変換テーブルを用いて距離を算出する構成としてもよい。この構成により、製造工程において合焦距離で左右それぞれの光源の照射領域を厳密に重なるように調整する必要がなくなるので、製造時の煩雑さを避けることができる。

本発明の携帯端末装置は、請求項１から請求項４までのいずれかに記載の目画像撮像装置を具備したことを特徴とする。この構成により、使用者は特別な習熟を必要とせずに固定焦点レンズの合焦位置へ目を移動させることができ、容易に認証動作を行うことができる。

本発明によれば、携帯電話機等の設置スペースの限られた携帯端末装置に最適な、小型、軽量、安価でかつ測距機能を備えた目画像撮像装置を提供することが可能となる。

以下、本発明の実施の形態の目画像撮像装置について、図面を用いて説明する。

（実施の形態）
図１は本発明の実施の形態における目画像撮像装置のブロック図である。

目画像撮像装置１００は、近赤外線を使用者の目を含む領域に照射する照明部１１０、使用者の目画像を撮像し目画像を出力する撮像部１２０、目画像信号にもとづき撮像距離を計算する信号処理部１３０、文字あるいは画像等の情報を表示する表示部１４０、およびこれらを制御するための制御部１５０を備えている。

照明部１１０は、２つの近赤外線光源１１１Ｒ、１１１Ｌと、照明制御部１１２とを有し、目画像取得に適した光量の近赤外線を使用者の目を含む領域に照射する。ここで用いる近赤外線光源１１１Ｒ、１１１Ｌは強い指向性を持つＬＥＤであり、使用者の顔へ縦方向に長い帯状もしくは楕円状の領域に近赤外線を照射する。照明制御部１１２は、近赤外線光源１１１Ｒ、１１１Ｌをそれぞれ独立にオン、オフによる輝度制御を行う。なお、２つの近赤外線光源に代えて可視光線を発する可視光源を用いてもよいが、近赤外線光源を用いることで使用者に違和感を与えずに目画像の撮像ができること、得られる目画像のコントラストが高く可視光に比較して良好な目画像が得られるという利点がある。

撮像部１２０は、レンズ１２１、可視光カットフィルタ１２２、撮像素子１２３、画像信号変換部１２４および誘導ミラー１２５を有する。実施の形態においては、レンズ１２１として固定焦点レンズを用いることにより光学系の小型化と低コスト化を実現している。誘導ミラー１２５は使用者が目を映すことで目を撮像に適した位置へ誘導する。具体的には、誘導ミラー１２５に位置決めのための指示マークが付与されており、その指示マークにしたがって目を映すように使用者の目を導く。そして、近赤外線光源１１１Ｒ、１１１Ｌにより照射された使用者の目は、レンズ１２１および可視光カットフィルタ１２２を通して撮像素子１２３で撮像される。画像信号変換部１２４は、撮像素子１２３の出力信号を画像信号に変換し、ゲイン調整等必要な処理を行った上で、目画像信号として認証部２００に出力する。

信号処理部１３０は、画質判定部１３１、照射領域検出部１３２および距離算出部１３３を有する。画質判定部１３１は、撮像された目画像信号の輝度、コントラスト等の画質の判定を行う。照射領域検出部１３２は、取得した目画像の中から、照明部１１０が照射した領域（以下、照射領域と称する）を検出する。具体的には、取得した目画像信号を垂直方向に積分し、その信号を２値化して照明の照射領域の境界を示す水平座標（以下、照射領域座標と称する）を求める。距離算出部１３３は、近赤外線光源１１１Ｒと近赤外線光源１１１Ｌとにおける照明の照射領域座標にもとづき、目までの撮像距離を算出する。そして撮像距離の算出結果を、認証部２００へ出力し撮像距離が合焦距離の許容範囲内になったときに、合焦した目画像が得られたことを知らせる。

表示部１４０は、液晶表示装置またはＥＬ表示装置等であり、適切な目画像を撮像するための情報を表示するための表示装置である。表示内容は、たとえば撮像距離でもよいし、あるいは合焦した目画像を得るためにカメラを目に近づけるべきか目から遠ざけるべきかを使用者に知らせるための情報でもよい。

制御部１５０は、各回路ブロックを制御する。特に距離算出部１３３で算出した撮像距離が合焦距離の許容範囲にあるか否かを判定し、その結果にもとづいて各ブロックの制御を行う。

図２は本発明の実施の形態における照射領域検出部１３２の動作を説明するための図であり、目画像信号の中から照明の照射領域座標を求める方法を説明するための図でもある。図２（ａ）は近赤外線光源の一方のみ、たとえば近赤外線光源１１１Ｌが点灯している場合の撮像部１２０で撮像した目画像１６０の一例である。上述したように実施の形態においては指向性の強い近赤外線光源を使用しているため、目画像１６０の左右の端部では近赤外線が照射されず影になっている。図２（ｂ）はこの目画像信号を垂直方向に積分した信号を示しており、目画像の左右の影になっている部分では積分値は小さく、近赤外線が照射している部分では大きくなっている。図２（ｃ）はさらにこの信号を所定の閾値で２値化して照明の照射領域を求めたものである。ここでＸＬｌは近赤外線光源１１１Ｌによる照射領域左端の水平座標を示し、ＸＬｒは近赤外線光源１１１Ｌによる照射領域右端の水平座標を示す。なお、もう一方の近赤外線光源１１１Ｒについても同様に照射範囲を求めることができ、その照射領域左端および右端の水平座標をそれぞれＸＲｌ、ＸＲｒと記す。

図３は照明の照射領域にもとづき撮像距離を求めることができる理由を説明するための図である。図３（ａ）は実施の形態における照明部１１０の照射領域および撮像部１２０の撮像範囲と撮像距離との関係の一例を示す図であり、この例では撮像距離が２００ｍｍの位置で合焦するものとする。２つの近赤外線光源１１１Ｒ、１１１Ｌはレンズ１２１の光軸に関して水平方向に左右の対称の位置にそれぞれ設置されている。そしてレンズ１２１から目までの距離が合焦距離２００ｍｍよりも近いときは右側の近赤外線光源１１１Ｒは目の撮像範囲の右寄りを照射し、左側の近赤外線光源１１１Ｌは目の撮像範囲の左寄りを照射するが、目までの距離が遠ざかるにつれて右側の近赤外線光源１１１Ｒの照射領域は左に移動し、左側の近赤外線光源１１１Ｌの照射領域は右に移動する。そして合焦距離において２つの照明の照射領域が一致し、さらに遠ざかると右側の近赤外線光源１１１Ｒは目の撮像範囲の左寄りを照射し、左側の近赤外線光源１１１Ｌは目の撮像範囲の右寄りを照射するようになる。

実施の形態においては、上述の条件を満たすように撮像部１２０の画角、近赤外光源１１１Ｒ、１１１Ｌの照射角およびレンズ１２１までの距離等の光学系を設計した。具体的な設計値としては、レンズ１２１の光軸と近赤外線光源１１１Ｒ、１１１Ｌとの間隔は１０ｍｍとした。また、合焦する撮像距離２００ｍｍにおける撮像範囲（水平方向）を５０ｍｍ、各近赤外線光源１１１Ｒ、１１１Ｌの近赤外線照射領域（水平方向）を４０ｍｍとした。もちろんこれらの値は、使用する撮像部１２０および照明部１１０の光学特性、あるいは接続される虹彩認証装置の特性等にもとづいて最適化することが望ましい。

図３（ｂ）〜（ｅ）はこのとき取得した目画像の一例を示し、それぞれ１００ｍｍ、１５０ｍｍ、２００ｍｍ、２５０ｍｍにおける撮像距離での目画像である。このように撮像距離が大きくなるにつれて撮像される目の大きさは小さくなるが、目の大きさそのものは個人差が大きいので撮像距離を表す指標にはならない。しかし、照明の照射領域座標ＸＲｌ、ＸＲｒ、ＸＬｌ、ＸＬｒは撮像距離によって一意的に決まるので、演算回路、変換テーブル等を用いて撮像距離に変換することができる。なお、ＸＲ、ＸＬはそれぞれ近赤外線光源１１１Ｒ、１１１Ｌによる照射領域の中心座標を示す。

図４は本発明の実施の形態における目画像撮像装置の撮像距離と照射領域座標ＸＲｌ、ＸＲｒ、ＸＬｌ、ＸＬｒとの関係を示した図である。このように原理的には４つの座標ＸＲｌ、ＸＲｒ、ＸＬｌ、ＸＬｒのうち１つがわかれば撮像距離を求めることができる。しかしながら、一般に近赤外線光源１１１Ｒ、１１１Ｌの照射領域の境界は鮮明でなく明確ではないこと、また、合焦距離以外では目画像そのものがある程度ぼけること、さらに目画像撮像時の外光等により画像全体の輝度やコントラストが変化する等の影響により照射領域座標を厳密に決めることは難しい。したがって照射領域にもとづいて撮像距離を算出する場合にはこれら照射領域の水平座標ＸＲｌ、ＸＲｒ、ＸＬｌ、ＸＬｒの値に誤差が含まれていることを考慮しておくことが必要である。実施の形態においてはこれらの誤差の影響を抑えるために、近赤外線光源１１１Ｒのみをオンとした場合の目画像と近赤外線光源１１１Ｌのみをオンとした場合の目画像との２つの目画像を用いて撮像距離を算出する。まず、近赤外線光源１１１Ｒのみをオンとした場合の照射領域の中心座標ＸＲとしてＸＲ＝（ＸＲｌ＋ＸＲｒ）／２、近赤外線光源１１１Ｌのみをオンとした場合の照射領域の中心座標ＸＬとしてＸＬ＝（ＸＬｌ＋ＸＬｒ）／２を求め、つぎにその差ΔＸ＝ＸＲ−ＸＬを求め、その後、メモリ等にあらかじめ準備しておいた変換テーブルを用いて中心座標の差ΔＸを撮像距離の値に変換している。

なお、図３（ｂ）〜（ｅ）には照射領域の水平座標に加えて照射領域の中心座標ＸＲ、ＸＬも示した。また、その差ΔＸを矢印で示した。このように差ΔＸと撮像距離とは１対１に対応することがわかる。

ここで、図３（ｂ）に示す目画像からはＸＲｒ、ＸＬｌを求めることができないが、この場合は、たとえば画像の右端の座標をＸＲｒ、左端の座標をＸＬｌとおいて座標ＸＲ、ＸＬを求めてもよく、あるいは撮像距離が近すぎるとして再度目画像を取得するように指示してもよい。

以上のように、本発明によれば撮像距離に依存して撮像画像中の照射領域が変化することを利用して目までの距離を算出しているので、上述の実施の形態においては、左右それぞれの光源の近赤外線照射領域座標が撮像距離によって変化するので、この照射領域を検出することにより使用者の目までの距離を知ることができる。加えて、実施の形態においては、合焦距離で左右の近赤外線光源の照射領域が撮像すべき目の部分を含み、かつ略一致するように照射光の広がりと角度を設計しているため、合焦距離では両側の光源が虹彩を照射し、目画像を取得する上での障害にならないように影の部分も両側に小さくできている。

このように照明用光源を用いて距離測定を行うので、距離測定を行うための新たな部材を追加する必要がなく、小型、軽量、安価に測距機能を備えた目画像撮像装置を提供することができる。

つぎに、本発明の実施の形態における目画像撮像装置１００の動作について説明する。図５は、本発明の実施の形態における目画像撮像装置１００の動作手順を示すフローチャートである。

使用者が認証開始操作を行って認証を始めると、まず表示部１４０は認証を始める旨のメッセージ、たとえば「認証を始めます。」等を表示する（Ｓ１１）。

続いて、撮像部１２０が目画像の取り込みを行う。このとき近赤外線光源１１１Ｒのみの目画像および近赤外線光源１１１Ｌのみの目画像の２つを順次取り込む（Ｓ１２）。画質判定部１３１は取り込んだ目画像の輝度、コントラストが適切かどうか判定し、適切でなければ制御部１５０は画像信号変換部１２４を制御して再度目画像の取り込みを行う（Ｓ１３）。適切であれば、照射領域検出部１３２は取り込んだ２つの目画像について照射領域座標ＸＲｌ、ＸＲｒおよびＸＬｌ、ＸＬｒを求める（Ｓ１４）。距離算出部１３３は４つの照射領域座標の値にもとづいて使用者の目までの撮像距離を算出する（Ｓ１５）。このときの算出方法は、上述したように、４つの照射領域座標ＸＲｌ、ＸＲｒ、ＸＬｌ、ＸＬｒから中心座標の差ΔＸを求め、変換テーブルを用いて差ΔＸを撮像距離の値に換算している。

制御部１５０は、取り込んだ目画像の撮像距離が合焦距離の許容範囲に入っているかどうかを判定する（Ｓ１６）。撮像距離が合焦距離の許容範囲に入っていない場合は、表示部１４０は、カメラを適切な撮像距離に誘導するための情報を表示する（Ｓ１７）。合焦した目画像が得られた場合には、その旨のメッセージ、たとえば認証結果等を表示する（Ｓ１８）。

なお、実施の形態においては、合焦距離において左右それぞれの光源の近赤外線照射領域が一致するものとして説明してきた。しかし照射領域が厳密に一致しない場合であっても、あらかじめ合焦距離における左右の照射領域の相対関係、たとえば中心座標の差ΔＸの値がわかっていれば、相対関係から撮像距離が合焦距離より長いか短いかを判定することは可能である。つまり、合焦距離において左右それぞれの光源の照射領域が部分的にしか重ならなくても撮像距離の適否を判定することはできる。特に製造工程において合焦距離で左右それぞれの光源の照射領域が厳密に重なるように調整するのは煩雑でありコストアップにもつながる。したがって現実的には、距離算出部はメモリ等を用いた変換テーブルを備え、被写体までの距離を変えながら左右の光源に対する照射領域座標を測定し、その結果を変換テーブルに書き込むことによって照射領域座標を撮像距離に変換することが望ましい。

こうして、個々の目画像撮像装置に対して工場出荷前に撮像距離を実測しながら照射領域を測定して変換テーブルを設定することにより、照明の照射領域やカメラの光軸等、光学系の精度にある程度ばらつきがあっても、そのばらつきを吸収することが可能となり、製造歩留まりを上げることができる。

また、実施の形態においては、近赤外線光源１１１Ｒ、１１１Ｌとして２つの光源を用いたが、３つ以上の光源を用いてそれぞれの光源の照射領域座標と撮像距離との関係から目までの距離を算出する構成としてもよい。

さらに、実施の形態においては、水平方向に強い指向性を持つ照明を用いて使用者の顔に縦方向に長い領域の近赤外線を照射し、その照射領域の境界の水平座標にもとづいて撮像距離を求めた。しかし、使用者の目を含む領域に近赤外線を照射する光源を用いて、目画像の中からその照射領域を特徴付ける特徴量が検出できれば照射領域の境界の水平座標に限定されるものではなく、照射領域の境界の垂直座標、あるいは照射領域の半径等でもよい。

図６は本発明の目画像撮像装置を搭載した携帯電話の一例を示す斜視図である。携帯端末装置の１つである携帯電話３００には本発明における目画像撮像装置が搭載されており、撮像部１２０、および２つの近赤外線光源１１１Ｒ、１１１Ｌが表示部１４０（携帯電話の表示部と兼用）の下部に設けられている。

使用者が携帯電話３００を用いて認証動作を行う際に最初から固定焦点レンズの合焦位置に目を合わすことができなくても、目画像撮像装置が測距機能をあわせ持っているため、合焦した画像を得るためには目を撮像部１２０に近づけるべきか遠ざけるべきかを算出することができる。そしてその結果を表示部１４０に表示することによって、使用者は特別な習熟を必要とせずに固定焦点レンズの合焦位置へ目を移動させることができ、容易に認証動作を行うことができる。

本発明にかかる目画像撮像装置は、小型、軽量、安価でかつ測距機能を備えた目画像撮像装置を提供することが可能となり、携帯端末装置等に搭載する虹彩認証用の目画像撮像装置等として有用である。

本発明の実施の形態における目画像撮像装置のブロック図 本発明の実施の形態における目画像撮像装置の照射領域検出部の動作を説明するための図 照明の照射領域にもとづき撮像距離を求めることができる理由を説明するための図 本発明の実施の形態における目画像撮像装置の撮像距離と照射領域座標との関係を示した図 本発明の実施の形態における目画像撮像装置の動作手順を示すフローチャート 本発明の目画像撮像装置を搭載した携帯電話の一例を示す斜視図

符号の説明

１００ 目画像撮像装置
１１０ 照明部
１１１Ｌ，１１１Ｒ 近赤外線光源
１１２ 照明制御部
１２０ 撮像部
１２１ レンズ
１２２ 可視光カットフィルタ
１２３ 撮像素子
１２４ 画像信号変換部
１２５ 誘導ミラー
１３０ 信号処理部
１３１ 画質判定部
１３２ 照射領域検出部
１３３ 距離算出部
１４０ 表示部
１５０ 制御部
１６０ 目画像
２００ 認証部
３００ 携帯電話

Claims (5)

1. 使用者の目画像を撮像する撮像部と、
   前記使用者の目を含む領域を照射する複数の光源を有する照明部と、
   前記照明部が照射した照射領域を前記目画像の中から検出する照射領域検出部と、
   前記照射領域検出部の検出結果にもとづいて前記目までの距離を算出する距離算出部とを備え、
   前記距離算出部は複数の前記光源のうち少なくとも２つの光源のそれぞれに対応する照射領域の検出結果にもとづいて前記撮像部から前記目までの距離を算出することを特徴とする目画像撮像装置。
2. 前記光源は、近赤外線を発する近赤外線光源であることを特徴とする請求項１に記載の目画像撮像装置。
3. 前記撮像部は固定焦点レンズを有し、
   前記撮像部から前記目までの距離が、前記固定焦点レンズにより決まる前記撮像部の合焦距離に等しいとき、複数の前記光源のうち少なくとも２つの光源の照射領域を略一致させたことを特徴とする請求項１または請求項２に記載の目画像撮像装置。
4. 前記距離算出部は、前記照明部が照射した照射領域の検出結果と撮像距離の実測値とにもとづく変換テーブルを用いて距離を算出することを特徴とする請求項１から請求項３までのいずれかに記載の目画像撮像装置。
5. 請求項１から請求項４までのいずれかに記載の目画像撮像装置を具備したことを特徴とする携帯端末装置。

Images