JP2017503276A - 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法 - Google Patents

顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法 Download PDF

Info

Publication number
JP2017503276A
JP2017503276A JP2016544380A JP2016544380A JP2017503276A JP 2017503276 A JP2017503276 A JP 2017503276A JP 2016544380 A JP2016544380 A JP 2016544380A JP 2016544380 A JP2016544380 A JP 2016544380A JP 2017503276 A JP2017503276 A JP 2017503276A
Authority
JP
Japan
Prior art keywords
image
iris
distance
face component
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016544380A
Other languages
English (en)
Inventor
キム・デフン
チェ・ヒョンイン
チョン・ビョンジン
ティ・タン・トゥイェン・グエン
チェ・スジン
キム・ヘンムン
Original Assignee
イリテック インコーポレイテッド
イリテック インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イリテック インコーポレイテッド, イリテック インコーポレイテッド filed Critical イリテック インコーポレイテッド
Publication of JP2017503276A publication Critical patent/JP2017503276A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

虹彩認識用イメージを取得するために一つ以上の被撮影者の人物イメージをカメラで撮影して保存するバッファーと、前記バッファーに保存された人物イメージから、顔構成要素距離を演算する顔構成要素距離演算部と、前記顔構成要素距離演算部で計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、推定した距離から被撮影者が虹彩撮影空間にいるか否かを確認する実際距離推定部と、前記実際距離推定部で虹彩撮影空間にいると確認された被撮影者の人物イメージからアイイメージを取得し、取得したアイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得する虹彩イメージ取得部とを含むことを特徴とする、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供する。【選択図】図1

Description

本発明は、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法に関する。特に、虹彩認識用イメージを取得するために一つ以上の被撮影者の人物イメージをカメラで撮影して保存するバッファーと、前記バッファーに保存された人物イメージから顔構成要素距離を演算する顔構成要素距離演算部と、前記顔構成要素距離演算部で計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、推定した距離から、被撮影者が虹彩撮影空間にいるか否かを確認する実際距離推定部と、前記実際距離推定部で虹彩撮影空間にいると確認された被撮影者の人物イメージから、アイイメージを取得し、取得したアイイメージの品質を測定して、基準品質度を満たす虹彩認識用イメージを取得する虹彩イメージ取得部とを含む、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法に関する。
一般に、虹彩認識は、被撮影者の虹彩を抽出して、他のイメージから抽出された虹彩と比較し、認証又は身元確認を行う。かかる虹彩認識において最も重要な要素は、被撮影者の便宜性を極大化しながら、鮮明な虹彩イメージを取得することである。
鮮明な虹彩イメージを得るためには、被撮影者の目が虹彩認識カメラの画角範囲内に位置すると共に、焦点の合う距離に位置する必要があるが、そのために様々な方法が試みられている。
最も広く用いられている従来の技術は、被撮影者が画面を直接見ながら一定の距離を動いて停止した状態で測定することであるが、被撮影者の協調なしでは不可能であり、被撮影者の熟練度によって、取得する虹彩イメージの品質がばらつく等の問題があった。
前記技術の問題点を克服するための他の従来の代表的な技術には、距離測定センサーを用いて被撮影者との距離を測定する技術、複数台のカメラを用いて目の位置を把握する技術などがある。
まず、距離測定センサーを用いて被撮影者との距離を測定して自動でカメラの焦点を合わせる本願発明と関連した従来技術には、大韓民国公開特許第2002−0086977号公報、第2002−0073653号公報がある。
前記の大韓民国公開特許第2002−0086977号公報、第2002−0073653号公報では、被撮影者と虹彩認識用カメラの間の距離を測定するために、赤外線スポット(spot)光の形態の距離測定用ポインタを被撮影者の顔に投射して撮影した人物イメージを分析して距離を計算する。この方法を用いるには、スポット光を投射する装置及び距離測定センサーのような付加装備をさらに装着しなければならないが、(最近のスマートフォンのように)全般的に小型化しつつある電子機器の限られた空間の問題、及び低コスト化の問題から、付加装備を装着するには限界があった。
また、2台以上のカメラを用いて目の位置を把握し、虹彩イメージを撮影する技術もあり、本願発明と関連している従来技術には大韓民国公開特許第10−2006−0081380号公報がある。
この大韓民国公開特許第10−2006−0081380号公報では、移動端末機上に2台以上のカメラを装着し、焦点を合わせてステレオ虹彩イメージを取得することで、上述した不便さを解消することはできるが、ステレオカメラ装着によって装置の体積及びコストが嵩むという問題があった。その上、それぞれのカメラを機構的、電気的に駆動させなければならず、システム構成が複雑化するという限界があった。
また、本願発明と関連している他の従来技術に大韓民国公開特許第10−2013−0123859号公報がある。大韓民国公開特許第10−2013−0123859号公報では、本文及び解決課題で説明しているように、別の赤外線照明を端末に付加せず、端末に内蔵されている近接センサーを用いて、外部客体によって反射される光を収集した後、収集した光を分析して距離を測定する近接センシング部を含んでいる。しかしながら、赤外線照明ではなく一般デジタル(カラー)カメラで虹彩イメージを撮影しているため、周辺の事物(被写体)から反射される反射光が虹彩領域に集まって虹彩イメージを覆い、虹彩認識の正確度が低下するという限界があった。また、周辺の照明や反射光によって距離測定そのものにおいて信頼度の問題が発生しうるという短所もあった。
その上、最近では、今までは考えられなかった様々な機器に虹彩認識を適用するための研究が行われている。既存のCCTVのような保安機器、ドアロックのような出入り口関連機器、カメラ、ビデオ、カムコーダのような映像機器、及びスマートフォン、タブレット、PDA、PC、ノートパソコンのようなスマート機器などへも虹彩認識を適用するための研究について、産業界でも盛んに議論されている。
特に、スマートフォンのような端末機などでインテリジェント化が急速に進行されており、また、スマートフォンのような端末機などに装着されるカメラと関連した技術分野も飛躍的に発展している。最近では12Mピクセル又は16Mピクセルの解像度と秒当たりに30フレーム以上の伝送速度を有するスマートフォン向けカメラモジュールが安価で普及し始まっており、近いうちに、より高い解像度及びより高速のフレーム伝送速度を有するカメラモジュールを採用したより安価な機器の使用が普遍化すると予想される。
そこで、上述した既存の技術における短所を克服し、物理的空間及び経済的費用の問題を十分に考慮しながらユーザの便宜性を増大させることができ、且つ、既存のCCTVのような保安機器、ドアロックのような出入り口関連機器、カメラ、ビデオ、カムコーダのような映像機器、及びスマートフォン、タブレット、PDA、PC、ノートパソコンのような様々なスマート機器にも虹彩認識を容易に適用できる技術的装置及び方法に関するニーズが増大しつつある実情である。
本発明が解決しようとする課題は、前記の従来技術の問題点を解決するためのものであり、鮮明な虹彩イメージを取得するために用いる既存の複雑な距離測定装置及び方法を利用せず、既存機器のカメラで撮影したイメージから顔構成要素距離を用いて虹彩認識用イメージを取得することにある。
本発明が解決しようとする他の課題は、カメラと被撮影者の間の実際距離を推定して、機器の種類によって別々に設定されている最適のイメージを取得する位置で虹彩認識用イメージを取得することにある。
本発明が解決しようとする他の課題は、既存機器のカメラで撮影したイメージから、虹彩領域の含まれたイメージを分離して品質項目を測定し、一定の品質基準を満たす虹彩認識用イメージを取得することにある。
本発明が解決しようとする他の課題は、最適のイメージ取得を可能にする位置に被撮影者を接近させるために、従来の複雑で難しい方法を利用せず、直観的に認知できるようにするガイドを提供したり、又は、カメラにアクチュエータを付加して、被撮影者は停止している状態でカメラが自動で動くようにしたりすることで、被撮影者の便宜性を増大させることにある。
本発明が解決しようとする他の課題は、最適のイメージを取得する位置で虹彩認識用イメージを取得することによって、既存機器の電力及びリソースの効率性を最適化することにある。
本発明が解決しようとする他の課題は、取得する虹彩認識用イメージの偽・変造を防止するために、従来の方法を利用せず、顔構成要素距離を抽出するために用いる顔認識又はアイトラッキング技術を用いることにある。
本発明が解決しようとする他の課題は、虹彩認識用イメージを取得するために既存の機器で撮影したイメージを付加的に既存の機器の顔認識に使用したり、又は、虹彩認識用イメージを用いて虹彩認識を行うようにして、機器のロックを解除したり保安を強化することに容易に応用可能にすることにある。
本発明の課題を解決するための手段は、虹彩認識用イメージを取得するために一つ以上の被撮影者の人物イメージをカメラで撮影して保存するバッファーと、前記バッファーに保存された人物イメージから、顔構成要素距離を演算する顔構成要素距離演算部と、前記顔構成要素距離演算部で計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、推定した距離から被撮影者が虹彩撮影空間にいるか否かを確認する実際距離推定部と、前記実際距離推定部で虹彩撮影空間にいると確認された被撮影者の人物イメージからアイイメージを取得し、取得したアイイメージの品質を測定して、基準品質度を満たす虹彩認識用イメージを取得する虹彩イメージ取得部とを含む、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供することにある。
本発明の他の課題を解決するための手段は、事前実験によって取得してコンピュータ又は端末機のメモリ又はデータベースに保存された被撮影者とカメラの間の実際距離と顔構成要素距離との関係を示す関数から、被撮影者とカメラの間の実際距離を演算する実際距離演算部と、前記演算した被撮影者とカメラの間の実際距離から、被撮影者が虹彩撮影空間にいるか否かを確認して虹彩イメージ取得部に伝達する虹彩撮影空間確認部とを含む、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供することにある。
本発明の他の課題を解決するための手段は、虹彩撮影空間で撮影されてバッファーに保存された人物イメージから左目及び右目のアイイメージを抽出するアイイメージ抽出部と、前記抽出した左目及び右目のアイイメージを分離して保存するアイイメージ保存部と、前記保存された左目及び右目のアイイメージの品質を測定し、測定したアイイメージ品質が基準品質度を満たすか否かを評価し、基準品質度を満たすアイイメージを虹彩認識用イメージとして取得するアイイメージ品質測定部とを含む、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供することにある。
本発明の他の課題を解決するための手段は、被撮影者が虹彩撮影空間に進入するように導くために操作された映像ガイドを提供する直観ガイド部、又はカメラのアクチュエータ(actuator)を制御するアクチュエータ制御部を虹彩撮影空間確認部にさらに含む、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供することにある。
本発明の他の課題を解決するための手段は、顔構成要素距離を測定するために顔構成要素を抽出する時、顔認識を行う顔認識部と、虹彩認識用イメージを用いて虹彩認識を行う虹彩認識部をさらに含む、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供することにある。
本発明は、上述した従来技術の問題点を解決するためのものであり、鮮明な虹彩イメージを取得するために用いる既存の複雑な距離測定装置及び方法を利用せず、既存機器のカメラで撮影したイメージから、顔構成要素距離を用いて虹彩認識用イメージを取得するという効果がある。
本発明の他の効果は、カメラと被撮影者の間の実際距離を推定し、機器の種類に従って別々に設定されている最適のイメージを取得する位置で虹彩認識用イメージを取得することにある。
本発明の他の効果は、既存機器のカメラで撮影したイメージから虹彩領域の含まれたイメージを分離して品質項目を測定し、一定の品質基準を満たす虹彩認識用イメージを取得することにある。
本発明の他の効果は、最適のイメージ取得を可能にする位置に被撮影者を接近させるために、従来の複雑で難しい方法を使用するのではなく、直観的に認知可能にするガイドを提供したり、又は、カメラにアクチュエータを付加して、被撮影者は停止している状態でカメラだけが自動で動くようにし、被撮影者の便宜性を増大させることにある。
本発明の他の効果は、最適のイメージを取得する位置で虹彩認識用イメージを取得することによって、既存機器の電力及びリソースの効率性を最適化することにある。
本発明の他の効果は、取得される虹彩認識用イメージの偽・変造を防止するために、従来の方法を利用せず、顔構成要素距離を抽出するために用いる顔認識又はアイトラッキング技術を利用することにある。
本発明の他の効果は、虹彩認識用イメージを取得するために既存の機器で撮影したイメージを付加的に既存の機器の顔認識に使用したり、又は、虹彩認識用イメージを用いて虹彩認識を行うようにして、機器のロックを解除したり保安を強化することに容易に応用可能することにある。
図1は、本発明の一実施例に係る顔構成要素元素間の距離の様々な例示を示す図である。 図2は、本発明の一実施例に係る、基準点の位置によって様々に測定可能な左目と右目の間の距離を例示として示す図である。 図3は、本発明の一実施例に係る、顔構成要素距離を用いた虹彩認識用イメージ取得装置を簡略に示すブロック構成図である。 図4は、本発明の一実施例に係る、顔構成要素距離を用いた虹彩認識用イメージを取得する方法を説明するためのフローチャートである。 図5は、本発明の一実施例に係る、顔構成要素距離演算部を簡略に示すブロック構成図である。 図6は、本発明の一実施例に係る、顔構成要素距離を計算する方法を説明するためのフローチャートである。 図7は、本発明の一実施例に係る実際距離推定部を簡略に示すブロック構成図である。 図8は、本発明の一実施例に係る、顔構成要素距離と実際距離との関係を示すピンホールカメラモデル(pinhole camera model)の原理を例示として示す図である。 図9は、本発明の一実施例に係る、統計的な手段(主に、回帰分析)を用いて顔構成要素距離と実際距離との関係を示す関数を求める原理を例示として示す図である。 図10は、本発明の一実施例に係る顔構成要素距離として瞳孔中心間の距離を用いて推定した被撮影者とカメラの間の実際距離と顔構成要素距離との関係を理解しやすく例示する図である。 図11は、本発明の一実施例に係る、ガイド部が被撮影者に直観映像ガイドを用いて虹彩撮影空間に接近したことを知らせる方法を、スマートフォンの画面を取り上げて説明する図である。 図12は、本発明の一実施例に係る虹彩イメージ取得部を簡略に示すブロック構成図である。 図13は、本発明の一実施例に係る虹彩認識用イメージを取得する方法を説明するためのフローチャートである。 図14は、本発明の一実施例に係る虹彩撮影空間で撮影した人物イメージからアイイメージを抽出する原理を例示する図である。 図15は、本発明の一実施例に係る、虹彩撮影空間が捕捉空間よりも大きい場合、撮影した人物イメージからアイイメージを抽出する原理を説明するための例示図である。 図16は、本発明の一実施例に係る、左目及び右目のアイイメージを論理的に区分して保存することを説明するための例示図である。 図17は、本発明の一実施例に係る、左目及び右目のアイイメージを物理的に区分して保存することを説明するための例示図である。
本発明は、虹彩認識用イメージを取得するために一つ以上の被撮影者の人物イメージをカメラで撮影して保存するバッファーと、前記バッファーに保存された人物イメージから、顔構成要素距離を演算する顔構成要素距離演算部と、前記顔構成要素距離演算部で計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、推定した距離から、被撮影者が虹彩撮影空間にいるか否かを確認する実際距離推定部と、前記実際距離推定部で虹彩撮影空間にいると確認された被撮影者の人物イメージからアイイメージを取得し、取得したアイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得する虹彩イメージ取得部とを含む、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供することにある。
以下、添付の図面を参照して本発明の実施例の構成及び作用を説明する。ただし、図面に示されて説明される本発明の構成及び作用は、少なくとも一つの実施例として説明されるものであり、これらに本発明の技術的思想とその核心構成及び作用が制限されるものではない。したがって、本発明の一実施例の属する技術の分野における通常の知識を有する者にとっては、本発明の一実施例の本質的な特性から逸脱しない範囲内で、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法の核心構成要素に対して様々な修正及び変形を適用することが可能であろう。
また、本発明の構成要素を説明する際に、A、B、(a)、(b)などの用語を使うことができる。このような用語はその構成要素を他の構成要素と区別するために使うものに過ぎず、その用語によって当該構成要素の本質又は順序などが限定されるものではない。ある構成要素が他の構成要素に“連結される”、“含まれる”又は“構成される”と記載された場合、その構成要素と他の構成要素との間に何ら他の構成要素も介在しない場合も含み、両構成要素の間に他の構成要素が介在する場合も含むと理解すべきである。
また、本発明では、別個の図面では、容易な理解のために、同一の構成要素であっても別個の図面符号を付するものとする。
本発明を実施するための具体的な内容について説明する。
まず、本発明における顔構成要素元素及び顔構成要素距離について説明する。
一般に、予期せぬ疾病や事故による特別な理由がない限り、一般の人々は左目、右目、鼻、口、あごなどの顔の部位を有しており、このような特定の顔の部位は顔検出や顔認識などに様々に利用されている。

このような顔検出や顔認識に使われる技術的構成(方法)によって、目(左、右)、眉毛(左、右)、鼻、鼻孔(左、右)、口、耳、あご、頬、顔の境界などに該当する部分の一部又は全部を抽出して用いる。
上述した顔検出や顔認識に用いる目(左、右)、眉毛(左、右)、鼻、鼻孔(左、右)、口、耳、あご、頬、顔の境界などは、一般に、顔要素又は顔構成要素と呼ばれているが、本発明ではこれらを顔構成要素元素と定義し、これら定義されたそれぞれの顔構成要素元素間の距離から顔構成要素距離を求める。このとき、顔構成要素元素間の距離は、後述するカメラで撮影した人物イメージにおけるピクセル(pixel)距離を測定して求める。
図1は、本発明の一実施例に係る、顔構成要素元素間の距離の様々な例示を示す図である。
図1に示すように、顔検出及び顔認識に用いる技術的構成(方法)によって様々な顔構成要素元素を抽出することができ、それらの元素間の様々な距離が存在してもよい。
説明の便宜のために、上述した顔検出及び顔認識に用いられた任意の方法をAといい、Aという方法によって任意のk個の顔構成要素元素a1,a2,…,akが抽出されたと仮定すれば、A={a1,a2,…,ak}のように集合の形態で表現するものとする。また、特定の方法Aによって抽出した顔構成要素元素間の距離をL(ai,aj)又はL(aj,ai)の形態で表現する(ai,aj∈{a1,a2,…,ak})。
このような表記によれば、特定の方式Bでそれぞれm個の顔構成要素元素を抽出した場合には、B={b1,b2,…,bm}と表現することができ、特定の方式Cでそれぞれn個の顔構成要素元素を抽出した場合には、C={c1,c2,…,cn}と表現することができる。
また、特定の方式Dによって抽出された顔構成要素元素がr個存在するとすれば(D={d1,d2,…,dr})、抽出した元素間の距離はL(di,dj)と表現することができ、存在する元素間の距離の個数はr(r−1)/2個となる。
したがって、r(r−1)/2個の顔構成要素元素間の距離の中からいずれかを選択したり、2個以上をそれぞれ個別に使用したり、又は多変数回帰(regression)関数によって変換して、顔構成要素距離として用いる。
次に、上述した顔構成要素元素と顔構成要素距離について具体的な例示を挙げて説明する。
(T1) D={d1,d2}(r=2)、L(d1,d2)のみ存在
顔構成要素元素として、左目と右目、左目と鼻、左目と口、右目と鼻、右目と口、鼻と口のように、2つの顔部位だけを使用する場合を意味する。このため、顔構成要素元素間の距離は、それぞれ、左目と右目の間の距離、左目と鼻の間の距離、左目と口の間の距離、右目と鼻の間の距離、右目と口の間の距離、鼻と口の間の距離のように1個だけ存在する。
(T2) D={d1,d2,d3}(r=3)、L(d1,d2),L(d1,d3)及びL(d2,d3)が存在
顔構成要素元素として左目と右目と鼻、左目と右目と口、左目と鼻と口、右目と鼻と口、のように3つの顔の部位を使用する場合を意味する。このため、このとき、顔構成要素元素間の距離もそれぞれ次のように存在する。
・左目と右目と鼻:左目と右目の間の距離、左目と鼻の間の距離、右目と鼻の間の距離
・左目と右目と口:左目と右目の間の距離、左目と口の間の距離、右目と口の間の距離
・左目と鼻と口:左目と鼻の間の距離、左目と口の間の距離、鼻と口の間の距離
・右目と鼻と口:右目と鼻の間の距離、右目と口の間の距離、鼻と口の間の距離
前記(T1)の例示のように顔構成要素元素間の距離が一つである場合は、顔構成要素元素間の距離を顔構成要素距離として用いることができるが、(T2)の例示のように2個以上の顔構成要素元素間の距離が存在する場合には、1個を選択したり、2個以上の距離を全て計算因子として同時に使用したり、又は2個以上の距離を多変数回帰(regression)関数で計算して一つの値にして用いることができる。
次に、上述した2個以上の距離で構成された顔構成要素距離について、(T2)の例示を挙げて具体的に説明する。
説明の便宜のために、(T2)の例示で、左目(d1)と右目(d2)と鼻(d3)を選択すると、顔構成要素元素間の距離は、L(左目(d1)、右目(d2))、L(左目(d1)、鼻(d3))、L(右目(d2)、鼻(d3))の3個が存在する。このように測定されたL(d1,d2)、L(d1,d3)、L(d2,d3)の3つの距離から顔構成要素距離を計算する関数をFとすれば、顔構成要素距離は、F(L(d1,d2),L(d1,d3),L(d2,d3))となる。
まず、測定された3つの距離のうちいずれか一つを使用する場合には、最も測定しやすい距離を選択したり、又は、測定のし易さが同じ場合には、任意に一つを選択して顔構成要素距離として用いる。
また、測定された3つの距離を単純に個別に同時に使用する場合には、F(L(d1,d2),L(d1,d3),L(d2,d3))値は、それぞれのL(d1,d2)、L(d1,d3)、L(d2,d3)値を順序対、行列又はベクトルの形態で有することができ、最後に、測定された3つの距離を一つの値に変換して使用する場合には、F(L(d1,d2),L(d1,d3),L(d2,d3))値は多変数回帰(regression)関数で変換された値を有する。
また、上述した同じ顔構成要素元素間の距離であっても、測定する基準点の位置によってその距離が異なる。基準点とは、顔構成要素元素間の距離を測定するために必要な顔構成要素元素の特定の位置を意味する。例えば、鼻の部位は、左、右の鼻孔、及び鼻先(nose tip)などの様々な特定の位置を基準点として用いることができる。
図2に、本発明の一実施例に係る、基準点の位置によって様々に測定可能な左目と右目の間の距離を例示として示す。
図2に示すように、同じ左目と右目を選択しても、距離測定のために選定する基準点の位置によって様々な距離測定が可能である。例えば、眼科及びめがね関連分野で用いられる瞳孔間距離(InterPupillary distance:IPD又はPD)(L(d1,d2)=L1)は、両目の瞳孔中心を基準点にして距離を測定する。そして、整形分野で用いられる内眼角(目の内側)間距離(Intercanthal Distance:ICD又はID)(L(d1,d2)=L2))は、両側目の境界のうち、鼻の部位に最も近い側の境界間の距離を測定する。その他にも、瞳孔の外側端の間の距離(L(d1,d2)=L3))、外眼角(目の外側)間距離(L(d1,d2)=L4))のように、基準点の位置によって様々な左目と右目の間の距離が存在してもよい。
次に、上述した顔構成要素距離を用いた虹彩認識用イメージ取得装置の技術的構成について説明する。
本発明では、発明の趣旨を最も理解させやすいと判断される顔構成要素元素として左目と右目を取り上げ、顔構成要素距離として瞳孔間距離を取り上げて説明する。したがって、たとえ顔構成要素元素として左目と右目を取り上げ、顔構成要素距離として瞳孔間距離を取り上げても、他の顔構成要素元素及び顔構成要素距離にも十分に同様の方法で説明が可能であり、同様の適用が可能であると理解すべきである。
図3は、本発明の一実施例に係る、顔構成要素距離を用いた虹彩認識用イメージ取得装置を簡略に示すブロック構成図である。
図3に示すように、本発明に係る顔構成要素距離を用いた虹彩認識用イメージ取得装置は、虹彩認識用イメージを取得するために、被撮影者の顔が含まれた被撮影者の一部又は全部をカメラで撮影したイメージ又はカメラにおける被撮影者のイメージから顔領域だけを切り取って(cropping)、そのイメージ(以下、‘人物イメージ’という。)を臨時に保存する手段(以下、‘バッファー’という。)301と、バッファー301で保存している一つ以上の人物イメージから顔構成要素元素を抽出し、抽出した元素間の距離から、顔構成要素距離を計算する手段(以下、‘顔構成要素距離演算部’という。)302と、顔構成要素距離演算部302で計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、推定した距離から、被撮影者が赤外線照明で人物イメージを撮影する位置(以下、‘虹彩撮影空間’という。)にいるか否かを確認する手段(以下、‘実際距離推定部’という。)303と、実際距離推定部303で虹彩撮影空間にいると確認された被撮影者の人物イメージから、虹彩を含む目領域を切り取ったイメージ(以下、‘アイイメージ’という。)を、左目及び右目のアイイメージに分離して保存し、保存したアイイメージの品質を測定して、一定の品質基準(以下、‘基準品質度’という。)を満たすアイイメージ(以下、‘虹彩認識用イメージ’という。)を取得する手段(以下、‘虹彩イメージ取得部’という。)304とで構成される。
また、顔構成要素距離演算部302で顔構成要素元素を抽出する過程中に顔認識を行うこともでき、そのために、後述する顔認識部305をさらに構成してもよい。
また、虹彩イメージ取得部304で虹彩認識用イメージを取得する過程中に虹彩認識を行うこともでき、そのために、後述する虹彩認識部306をさらに構成してもよい。
次に、上述した顔構成要素距離を用いた虹彩認識用イメージを取得する方法について詳しく説明する。
図4は、本発明の一実施例に係る、顔構成要素距離を用いた虹彩認識用イメージを取得する方法を説明するためのフローチャートである。
図4に示すように、本発明の一実施例に係る虹彩認識用イメージ取得方法は、次のような段階を有する。
まず、カメラが待機状態(以下、‘スリープモード’という。)にあるが、被撮影者を感知すると人物イメージを撮影し始め、撮影した人物イメージをバッファーに保存する段階(S401)と、前記バッファーに保存された人物イメージから、顔構成要素距離演算部で顔構成要素距離を計算する段階(S402)と、前記計算された顔構成要素距離から、実際距離推定部で被撮影者とカメラの間の実際距離を推定し、被撮影者が虹彩撮影空間にいるか否かを確認する段階(S403)と、この段階で被撮影者が虹彩撮影空間にいると確認されると、虹彩イメージ取得部で被撮影者の人物イメージからアイイメージを取得し、左目及び右目のアイイメージを分離して保存する段階(S404)と、これらのアイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得する段階(S405)とを有する。
図4では、段階S401乃至段階S405を順次に実行すると記載しているが、これは本発明の一実施例の技術思想を例示的に説明したものに過ぎず、本発明の一実施例の属する技術の分野における通常の知識を有する者にとっては、本発明の一実施例の本質的な特性から逸脱しない範囲で、図4に記載された順序を変更して実行したり、段階S401乃至段階S405のうち一つ以上の段階を並列的に実行するなどの様々な修正及び変形も可能であるため、図4は時系列的な順序に限定されるものではない。
次に、上述した顔構成要素距離を用いた虹彩認識用イメージ取得装置の細部構成について詳しく説明する。
まず、カメラについて具体的に説明する。
本発明でいうカメラは、単純にカメラ完成品に限定されるものではなく、近年、虹彩認識を導入したり、導入のための研究が活発に行われているドアロックのような出入り口関連機器、CCTVのような保安機器、カメラ、ビデオ、カムコーダのような映像機器、及びスマートフォン、タブレット、PDA、PC、ノートパソコンのようなスマート機器などにおけるカメラレンズやカメラモジュールをも含む。
一般に、虹彩認識に必要なイメージの解像度はISOの規定を参考にしており、ISO規定は、VGA解像度イメージ(VGA resolution image)を基準に虹彩径におけるピクセル(pixel)数で規定している。ISO規格によれば、通常、200ピクセル以上の場合を高画質、170ピクセルの場合を普通の画質、そして120ピクセルの場合を低画質と規定している。したがって、本発明では、左目及び右目のアイイメージを取得しながら、被撮影者の便宜を図り得る高画質の画素を有するカメラをできるだけ使用するが、これもまた、虹彩の画質又は他の付加装置の特性によって様々な画素数を適用する可能性が高いため、必ずしも高画質の画素に制限されない。特に、最近では、12Mピクセル又は16Mピクセルの解像度と秒当たり30フレーム以上の伝送速度を有する高画質のカメラモジュールがデジタル映像機器及びスマート機器などで使われており、虹彩撮影空間内で基準品質度を満たす虹彩認識用イメージを取得するには十分である。
また、前記のカメラは一般に、1個のカメラ又は2個以上の複数のカメラで構成することができ、必要によって様々に変形して構成してもよい。
また、鮮明な虹彩イメージを取得するために既存機器のカメラを極力活用して人物イメージを取得する本発明の目的及び趣旨に符合するように、別の特定カメラをさらに構成することを最小化する。しかし、顔検出及び顔認識に用いられる技術(方法)によって照明部をさらに構成してもよい。例えば、赤外線ではなく可視光線を使用する顔検出及び顔認識方法を用いる場合には、後述する虹彩撮影空間で赤外線照明をつける照明部をさらに構成しなければならない。一方、熱赤外線を使用する顔検出及び顔認識方法では、別の照明部を構成しなくて済む。前記の照明部を必要とする場合にも、第一に、可視光線照明を使用するが、虹彩撮影空間に進入すると可視光線照明をオフ(off)し、赤外線照明をオン(on)する手段を有する構成を用いたり、又は、第二に、虹彩撮影空間で可視光線照明をオン(on)する場合には、照明の前に赤外線通過フィルターが位置するように設計製作して赤外線だけを通過させる手段を有する技術的構成を用いることで、費用の側面又は物理的な大きさによる空間制約の側面でも十分に付加設置が可能であり、容易な適用が可能であろう。
まず、バッファーについて具体的に説明する。
バッファーは、カメラが撮影する単数又は複数の人物イメージを臨時に保存し、且つ、カメラ及び顔構成要素距離演算部と主に連動する。
一般に、バッファーの特性上保存空間が多くないため、本発明では、被撮影者が虹彩撮影空間に進入する前には、カメラで撮影した人物イメージを、顔構成要素距離のみを計算して直ちに削除するように構成する。
また、被撮影者が虹彩撮影空間に進入すると、カメラで撮影した人物イメージからアイイメージを取得しなければならず、人物イメージを削除しないで一定時間保存しておく。
そのために、本発明では、バッファーを、上述した役割を分離して担当する2個のバッファーで構成したり、又は、バッファーに特定の保存空間を追加し、カメラで撮影した人物イメージを保存する時には特定の保存空間に保存したりするなど、本発明の目的及び趣旨に符合する様々な構成にしてもよい。
次に、顔構成要素距離演算部について具体的に説明する。
図5は、本発明の一実施例に係る顔構成要素距離演算部を簡略に示すブロック構成図である。
図5に示すように、本発明の一実施例に係る顔構成要素距離演算部は、人物イメージから顔構成要素元素を抽出する手段(以下、‘元素抽出部’という。)501と、前記元素抽出部で抽出した顔構成要素元素から、顔構成要素元素間の距離を測定する手段(以下、‘元素距離測定部’という。)502と、前記元素距離測定部で測定した顔構成要素元素間の距離から、顔構成要素距離を計算する手段(以下、‘構成要素距離演算部’という。)503とで構成される。
また、元素抽出部501で顔構成要素元素を抽出する過程中に顔の認証及び識別を行う顔認識部504を単独でさらに構成してもよく、顔認識部に加えて、目の偽造(fake eye)を検出する目偽造検出部505をさらに構成してもよい。
次に、上述した顔構成要素距離演算部で顔構成要素距離を計算する方法について詳しく説明する。
図6は、本発明の一実施例に係る顔構成要素距離を計算する方法を説明するためのフローチャートである。
図6に示すように、本発明の一実施例に係る顔構成要素距離を計算する方法は、次のような段階を有する。
まず、バッファーに保存された人物イメージから元素抽出部で顔構成要素元素を抽出する段階(S601)と、前記抽出された顔構成要素元素を用いて顔認識部で顔認識を行うか否かを決定して行う段階(S602)と、前記認識された顔から、目偽造検出部で目の偽造を判別して検出する段階(S603)と、前記抽出された顔構成要素元素のうち、距離測定可能な顔構成要素元素があるか否かを元素距離測定部で確認し、顔構成要素元素間の距離を測定する段階(S604)と、前記測定した顔構成要素元素間の距離から、構成要素距離演算部で顔構成要素距離を計算する段階(S605)とを有する。
図6では、段階S601乃至段階S605を順次に実行する例を記載しているが、これは、本発明の一実施例の技術思想を例示的に説明するものに過ぎず、本発明の一実施例の属する技術の分野における通常の知識を有する者にとっては、本発明の一実施例の本質的な特性から逸脱しない範囲で、図6に記載された順序を変更して実行したり、段階S601乃至段階S605のうち一つ以上の段階を並列的に実行したりするなど、様々な修正及び変形も適用可能であり、図6は必ずしも時系列的な順序に限定されない。
次に、上述した元素抽出部について詳しく説明する。
本発明で、元素抽出部は、顔認証システムにおける顔検出、顔認識の段階で用いる周知の技術を用いて顔構成要素元素を抽出する。
顔検出は、顔認識の前処理段階であり、顔認識性能に決定的な影響を及ぼし、今まで知られている方法には、HSIカラーモデルの色成分を用いたカラーベース検出方法、カラー情報及び動き情報を複合的に顔検出に利用する方法、及びカラー情報及びイメージのエッジ情報を用いて顔領域を検出する方法などがある。
また、顔認識には、幾何学的特徴ベース(geometric feature−based)の方法、テンプレートベース(template−based)の方法、モデルベース(model−based)の方法、熱赤外線又は3次元の顔イメージを用いた方法などを利用することができる。
また、顔検出及び顔認識に用いられるオープンソースとしてOpenCVなどが全世界的に広く用いられている。
したがって、本発明では、上述した従来の技術のうち、人物イメージから顔構成要素元素を旨く抽出する本発明の目的及び趣旨に符合するいかなる技術を用いても構わなく、顔検出及び顔認識に関する従来の技術は公知の技術であり、その詳細な説明は省略する。
元素抽出部は、顔検出や顔認識で使用する従来の技術によって、目(左、右)、眉毛(左、右)、鼻、鼻孔(左、右)、口、耳、あご、頬、顔の境界などの全部又は一部を抽出するが、大部分の場合、目領域(左、右)を検出する。
元素抽出部で顔検出及び顔認識に用いられた任意の方法をAといい、Aという方法によって任意のk個の顔構成要素元素a1,a2,…,akが抽出されたと仮定すれば、A={a1,a2,…,ak}のように集合の形態で表現するものとする。また、特定の方法Aによって抽出した顔構成要素元素間の距離をL(ai,aj)又はL(aj,ai)の形態で表現するものとする(A={a1,a2,…,ak})。
このような表記によれば、特定の方式Bでそれぞれm個の顔構成要素元素を抽出した場合には、B={b1,b2,…,bm}と表現でき、特定の方式Cでそれぞれn個の顔構成要素元素を抽出した場合には、C={c1,c2,…,cn}と表現することができる。
また、特定の方式Dによって抽出された顔構成要素元素がr個存在すると(D={d1,d2,…,dr})、抽出した元素間の距離はL(di,dj)と表現することができ、存在する元素間の距離の個数は、r(r−1)/2個となる。
これに関する詳細な技術的構成については、前述した顔構成要素元素及び顔構成要素距離の説明における内容と同一なので省略する。
次に、上述した元素距離測定部について詳しく説明する。
元素抽出部で抽出した顔構成要素元素間の距離を測定した後、測定した距離の一部又は全部を使用する。この時、顔構成要素元素間の距離は、バッファーに保存されている人物イメージにおける顔構成要素元素間のピクセル距離を測定して求める。
また、顔構成要素元素間の距離は、測定する基準点の位置によって様々に測定されてもよいが、例えば、同じ左目と右目を選択しても、距離測定のために選定する基準点の位置によって様々な距離が測定可能である。例えば、眼科及びめがね関連分野で用いられる瞳孔間距離(InterPupillary distance:IPD又はPD)(L(d1,d2)=L1)は、両側目の瞳孔中心を基準点に選定して距離を測定する。そして、整形分野で用いられる内眼角間距離(Intercanthal Distance:ICD又はID)(L(d1,d2)=L2))は、両側目の境界のうち、鼻部位に最も近い境界の間の距離を測定する。その他にも、瞳孔外側端間の距離(L(d1,d2)=L3))、外眼角(目の外側)間距離(L(d1,d2)=L4))などの基準点の位置によって様々な左目と右目の間の距離が存在してもよい。
次に、上述した顔構成要素距離について具体的な例示を挙げて説明する。
(T1) D={d1,d2}(r=2)、L(d1,d2)のみ存在
顔構成要素元素として、左目と右目、左目と鼻、左目と口、右目と鼻、右目と口、鼻と口、のように2つの顔部位だけを使用する場合を意味する。このため、顔構成要素元素間の距離はそれぞれ、左目と右目の間の距離、左目と鼻の間の距離、左目と口の間の距離、右目と鼻の間の距離、右目と口の間の距離、鼻と口の間の距離のように1個のみ存在する。
(T2) D={d1,d2,d3}(r=3)、L(d1,d2)、L(d1,d3)、L(d2,d3)が存在
顔構成要素元素として、左目と右目と鼻、左目と右目と口、左目と鼻と口、右目と鼻と口のように3つの顔部位を使用する場合を意味する。このため、このとき、顔構成要素元素間の距離もそれぞれ、次のように測定した値を有する。
・左目と右目と鼻:左目と右目の間の距離、左目と鼻の間の距離、右目と鼻の間の距離
・左目と右目と口:左目と右目の間の距離、左目と口の間の距離、右目と口の間の距離
・左目と鼻と口:左目と鼻の間の距離、左目と口の間の距離、鼻と口の間の距離
・右目と鼻と口:右目と鼻の間の距離、右目と口の間の距離、鼻と口の間の距離
これに関する詳細な技術的構成については、前述した顔構成要素元素及び顔構成要素距離の説明における内容と同一なので省略する。
次に、上述した構成要素距離演算部について詳しく説明する。
元素距離測定部で測定した顔構成要素元素間の距離のうち一つを選択して使用したり、又は2個以上の距離を選択して顔構成要素距離として用いる。このとき、2個以上の距離が存在する場合には、2個以上の距離を同時に使用したり、2個以上の距離を一つの距離に変換して使用する。
第一に、顔構成要素元素間の距離が一つである場合には、顔構成要素元素間の距離が顔構成要素距離となり、また、顔構成要素元素間の距離が2個以上であっても、いずれか一つを選択して顔構成要素距離として用いることができる。
第二に、顔構成要素元素間の距離が2個以上であり、選択した距離も2個以上である場合には、それぞれを計算因子として同時に使用してもよく、多変数回帰関数によって変換して使用してもよい。
次に、上述した2個以上の距離で構成された顔構成要素距離について、(T2)の例示を挙げて具体的に説明する。
説明の便宜のために、(T2)の例示のうち、左目(d1)と右目(d2)と鼻(d3)を選択すると、顔構成要素元素間の距離は、L(左目(d1),右目(d2))、L(左目(d1),鼻(d3))、L(右目(d2),鼻(d3))の3個が存在する。このように測定されたL(d1,d2)、L(d1,d3)、L(d2,d3)の3つの距離から顔構成要素距離を計算する関数をFとすれば、顔構成要素距離は、F(L(d1,d2),L(d1,d3),L(d2,d3))となる。
まず、測定された3つの距離の中から一つを使用する場合には、最も測定しやすい距離を選択したり、測定のし易さが同じ場合には、任意に一つを選択して顔構成要素距離として用いる。
また、測定された3つの距離を単純に個別に同時に使用する場合には、F(L(d1,d2),L(d1,d3),L(d2,d3))値は、それぞれのL(d1,d2)、L(d1,d3)、L(d2,d3)の値を順序対、行列又はベクトルの形態で有することができ、最後に、測定された3つの距離を一つの値に変換して使用する場合には、F(L(d1,d2),L(d1,d3),L(d2,d3))の値は、多変数回帰関数で変換された値を有する。
これに関する詳細な技術的構成については、前述した顔構成要素元素及び顔構成要素距離の説明における内容と同一なので省略する。
次に、上述した顔認識部について詳しく説明する。
一般に、認識という意味の言葉としてVerification、Identification、Recognitionを使うが、一対一(1:1)マッチングの場合には認証(Verification)を使用し、一対多(1:N)マッチングの場合には識別(Identification又はSearching)を使用する。認証及び識別を含む広義の認識としてはRecognitionを使用する。
顔認識部は、上述した元素抽出部で利用する顔検出及び顔認識技術を用いて、バッファーに保存された被撮影者の人物イメージから顔認識を行う。本発明では、顔認識の結果が正確でなくても、後述する虹彩イメージ取得部で虹彩認識用イメージを取得した後、虹彩認識部で虹彩認識の結果と結合させることで、正確度を向上させることができる。
また、実際に、上述した全世界的に顔検出及び顔認識に広く用いられているOpenCVのようなソリューションなどは、顔構成要素元素を抽出しながら顔認識を同時に容易に行うことができる。
次に、上述した目偽造検出部について詳しく説明する。
一般に、虹彩認識の他、顔認識においても、偽造されたイメージを取得することを防止するために様々な研究が進行されてきた。例えば、顔認識分野では、フーリエスペクトルを分析して、偽造された顔を検出する方法、目の動きを用いた偽造検出方法、目の瞬きを用いた偽造検出方法などが広く用いられている。
その上、最近では、瞳の動きを感知して視線の位置を追跡するアイトラッキング(eye−tracking)技術が急速に発達している。特に、様々な従来の技術のうち、実時間カメライメージを分析して瞳孔の動きを検出するビデオ分析方式の技術を、虹彩認識用イメージの真偽の検出に適用することができる。
したがって、目偽造検出部は、上述した従来の顔認識分野における偽顔を検出する技術及びアイトラッキング技術のうち、偽・変造された虹彩認識用イメージ(fake image)が取得されることを防止するという本発明の目的及び趣旨(liveness detection)に符合する如何なる技術を用いても構わなく、顔認識部と併せてさらに構成することができる。
次に、実際距離推定部について具体的に説明する。
図7は、本発明の一実施例に係る実際距離推定部を簡略に示すブロック構成図である。
図7に示すように、本発明の一実施例に係る実際距離推定部は、事前実験によって取得してコンピュータ又は端末機のメモリ又はデータベースに保存された被撮影者とカメラの間の実際距離と顔構成要素距離との関係を示す関数から、被撮影者とカメラの間の実際距離を計算して推定する手段(以下、‘実際距離演算部’という。)701と、前記実際距離演算部で推定した被撮影者とカメラの間の実際距離から、被撮影者が虹彩撮影空間にいるか否かを確認する手段(以下、‘虹彩撮影空間確認部’という。)702とで構成される。
次に、実際距離演算部について具体的に説明する。
まず、顔構成要素距離と被撮影者とカメラの間の実際距離との関係を示す関数を求める原理について説明する。
一般に、顔構成要素距離と被撮影者とカメラの間の実際距離との関係を示す単純で且つ理想的な原理としてピンホールカメラモデル(pinhole camera model)がある。
図8に、本発明の一実施例に係る顔構成要素距離と実際距離との関係を示すピンホールカメラモデル(pinhole camera model)の原理を例示する。
図8に示すように、Aとaはそれぞれ実際の物体の大きさとイメージ内の物体の大きさを表し、fとZは焦点距離とカメラ及び物体間の距離を表すとき、三角形の比例式によって次のような関係を見出すことができる(数式1)。
a=f*(A/Z)−−−−(数式1)
したがって、前記の数式(1)を、Zを独立変数とする関数に変換すると、次のような数式を求めることができる(数式2)
Z=f*(A/a)−−−−(数式2)
したがって、イメージ内の物体の大きさ(a)に該当する人物イメージにおける顔構成要素距離を求めると、カメラと物体の間の距離(Z)に該当する被撮影者とカメラの間の実際距離を前記の数式(2)を用いて求めることができる。
しかし、実際には、図8に示すような2次元平面ではなく、3次元の空間上でイメージを撮影し、光軸をセンサー中心に通すことは非常に難しい。また、カメラの特性(レンズの焦点、複合レンズで構成されたレンズ及び画角など)、レンズ位置をピンホールに合わせ難いこと、又は被撮影者の特性(年齢など)の様々な原因によって、前記のピンホールカメラモデル(pinhole camera model)の原理をそのまま適用することができない。
そこで、本発明では、カメラを固定した状態で被撮影者が動いたり、又は被撮影者はそのまま止まっている状態でカメラが動いたりしながら、様々な位置における被撮影者とカメラの間の実際距離と顔構成要素距離を測定し、測定した値を統計的な手段(主に、回帰分析)を用いて両変数間の関係を示す関数を求める。
図9は、本発明の一実施例に係る統計的な手段(主に、回帰分析)を用いて顔構成要素距離と実際距離との関係を示す関数を求める原理を例示する図である。
図9に示すように、被撮影者とカメラの間の実際距離(Y変数、従属変数)及び顔構成要素距離(X変数、独立変数)を測定して座標軸に表示する。仮に、顔構成要素距離が1個である場合にはY=H(X)、2個以上である場合にはY=H(X1,X2,…,Xn)と表現することができる。前記座標軸に表示された点から、統計的な手段(主に、回帰分析)を用いてそれらの点を代表する関数を求めるが、2次元では一般にY=1/(aX+b)の双曲線の形状を有するが、その他にも、ほう物線などの様々な曲線で表現されてもよい。2個の顔構成要素距離を有する3次元では、関数の形状が様々な立体を有する曲線で表現される。実際に、顔構成要素距離がX1,X2,…,Xnとn個である場合、被撮影者とカメラの間の実際距離Yは、Y=H(X1,X2,…,Xn)と表現されるH関数で表される多変数回帰関数(regression function)となる。
前記関数は一般に、一つの関数を全ユーザに同一に適用するが、カメラ及びセンサーの特性と被撮影者の年齢(子供、老人など)を考慮して、補正する必要がある場合には補正作業(calibration)を行った後に、ユーザ別に異なる関数を実際距離の推定に使用する。
図10は、本発明の一実施例に係る顔構成要素距離として瞳孔間距離を用いて推定した被撮影者とカメラの間の実際距離と顔構成要素距離との関係を理解しやすく例示する図である。
図10に示すように、実際距離演算部は、前記で求めた関数に瞳孔間距離d1,d2,d3を代入し、被撮影者とカメラの間の実際距離L1,L2,L3を計算して推定する。
次に、虹彩撮影空間確認部について具体的に説明する。
一般に、ドアロックのような出入り口関連機器、CCTVのような保安機器、カメラ、ビデオ、カムコーダのような映像機器、及びスマートフォン、タブレット、PDA、PC、ノートパソコンのようなスマート機器などにとっては、被撮影者の鮮明なイメージを撮影できる位置(Capture Volume、以下、‘捕捉空間’という。)がある。したがって、被撮影者が捕捉空間に進入した時の人物イメージから取得したアイイメージの品質が高い可能性が非常に高い。ただし、虹彩撮影空間を捕捉空間と正確に一致させず、特定基準を選定して虹彩撮影空間を捕捉空間よりも大きく設定することもできる。
次に、前記の虹彩撮影空間が捕捉空間と異なる場合に虹彩撮影空間を設定する方法について説明する。
(S1)距離を基準にして設定する場合
一般に、捕捉空間は機器別に事前に設定されており、これを基準に、捕捉空間に進入する時点の前又は捕捉空間を離れる時点の後に一定の余裕距離を置いて虹彩撮影空間を設定することができる。したがって、虹彩撮影空間に進入するとバッファーは、カメラから受け取った人物イメージを保存し始め、虹彩撮影空間を離れると保存を終了する。
(S2)時間を基準にして設定する場合
捕捉空間に進入する時点の前又は捕捉空間を離れる時点の後に一定の時間的余裕を置いて虹彩撮影空間を設定してもよい。したがって、虹彩撮影空間に進入した時点の時刻にバッファーは、カメラから受け取った人物イメージを保存し始め、虹彩撮影空間を離れる時点の時刻に保存を終了する。
前記任意の時間と距離を設定する基準は、虹彩認識用イメージの取得に必要な最小限の人物イメージの個数、人物イメージから取得されるアイイメージの個数、又は基準品質度を満たすアイイメージの個数によって決定することができる。
その詳細な内容は、後述するアイイメージ抽出部で説明するものとし、本発明では、虹彩撮影空間と捕捉空間を特別に区分して表現する場合以外は、言語の統一性のために、捕捉空間を虹彩撮影空間の意味で使うものとする。
また、被撮影者が虹彩撮影空間に進入することを誘導するために操作された映像ガイド(以下、‘直観映像ガイド’という。)を提供する手段(以下、‘直観ガイド部’という。)、又はカメラのアクチュエータ(actuator)を制御する手段(以下、‘アクチュエータ制御部’という。)を虹彩撮影空間確認部にさらに構成してもよい。
まず、直観ガイド部は、カメラは停止しており、被撮影者がゆっくり前後に動いたり、スマートフォンのようなモバイル機器において機器を動いて虹彩撮影空間に進入するように導く場合に主に用いるものであり、人物イメージの大きさ、鮮明度又は色を用いた直観映像ガイドを提供して被撮影者が認知できるように構成することができる。
図11は、本発明の一実施例に係るガイド部が被撮影者に直観映像ガイドを用いて虹彩撮影空間に接近したことを知らせる方法を、スマートフォンの画面を取り上げて示す図である。
図11に示すように、スマートフォンに内蔵されたカメラと被撮影者の間の実際距離が変わることによりスマートフォンの画面に直観映像ガイドが提供され、被撮影者はスマートフォンの画面から直観的に直接確認することができる。
さらにいうと、A位置からE位置に被撮影者が動くにつれて被撮影者はカメラに近づける。カメラと被撮影者との距離が近づくほど被撮影者の人物イメージの大きさを増加させ、カメラと被撮影者との距離が遠ざかるほど被撮影者の人物イメージの大きさを減少させることで、距離の遠近感に関する情報を直観的に与えることができる。
また、被撮影者が虹彩撮影空間にいることを知らせるために、虹彩撮影空間にいない時には不鮮明なイメージ(blurry image)を提供し、虹彩撮影空間にいる時には鮮明なイメージ(sharpen image)を提供することで、直観的に虹彩撮影空間に位置できるようにし、被撮影者の便宜性を極大化することができる。
また、被撮影者が虹彩撮影空間にいない時には、白色又は黒色のような被撮影者の姿を認知できないような背景色とするイメージを提供し、被撮影者が虹彩撮影空間にいる時には、撮影された被撮影者のイメージの色のまま伝送することで、直観的に虹彩撮影空間に位置できるようにし、被撮影者の便宜性を極大化することができる。
アクチュエータ制御部は、被撮影者は停止している状態で、カメラ全体、カメラレンズ又はカメラセンサーが自動で前後に動いて虹彩撮影空間に進入するように導く場合に主に用いるものであり、被撮影者の動きを最小化し、目を凝視したり大きく開けたりするなどの動作を誘導する。
本発明の直観ガイド部で使用する直観映像ガイドに、声又は音のような聴覚的信号を発生させる手段、LED、フラッシュなどによる視覚的信号を発生させる手段、又は振動を発生させる手段などを付加してもよい。これは、仮にスマートフォンのように直観映像ガイドを伝送できる鏡又はLCDなどのディスプレイなどがない場合にも、費用の側面又は物理的な大きさによる空間制約の側面においても十分に付加設置が可能であり、容易に適用することが可能である。
次に、虹彩イメージ取得部について具体的に説明する。
図12は、本発明の一実施例に係る虹彩イメージ取得部を簡略に示すブロック構成図である。
図12に示すように、本発明の一実施例に係る虹彩イメージ取得部は、虹彩撮影空間で撮影されてバッファーに保存された人物イメージから、左目及び右目のアイイメージを抽出する手段(以下、‘アイイメージ抽出部’という。)1201と、前記アイイメージ抽出部で抽出したアイイメージを左目及び右目のアイイメージに分離して保存する手段(以下、‘アイイメージ保存部’という。)1202と、前記アイイメージ保存部に保存されている左目及び右目のアイイメージの品質を測定し、測定したアイイメージ品質が基準品質度を満たすか否かを評価し、基準品質度を満たすアイイメージを虹彩認識用イメージとして取得する手段(以下、‘アイイメージ品質測定部’という。)1203とで構成される。
次に、上述した虹彩撮影空間で撮影した人物イメージから虹彩認識用イメージを取得する方法について詳しく説明する。
図13は、本発明の一実施例に係る虹彩認識用イメージを取得する方法を説明するためのフローチャートである。
図13に示すように、本発明の一実施例に係る虹彩認識用イメージを取得する方法は、次のような段階を有する。
まず、アイイメージ抽出部が、虹彩撮影空間で撮影してバッファーに保存された人物イメージから左目及び右目のアイイメージを抽出する段階(S1301)と、前記抽出した左目及び右目のアイイメージを分離してアイイメージ保存部に保存する段階(S1302)と、前記保存された左目及び右目のアイイメージの品質をアイイメージ品質測定部で測定する段階(S1303)と、前記測定したアイイメージ品質が基準品質度を満たすか否かをアイイメージ品質測定部で評価し、基準品質度を満たすアイイメージを虹彩認識用イメージとして取得する段階(S1304)とを有する。
図13では、段階S1301乃至段階S1304を順次に実行する例を記載しているが、これは、本発明の一実施例の技術思想を例示的に説明したものに過ぎず、本発明の一実施例の属する技術の分野における通常の知識を有する者にとっては、本発明の一実施例の本質的な特性から逸脱しない範囲で、図13に記載された順序を変更して実行したり、段階S1301乃至段階S1304のうち一つ以上の段階を並列的に実行したりするなど、様々な修正及び変形も適用可能であり、図13は必ずしも時系列的な順序に限定されない。
次に、アイイメージ抽出部について具体的に説明する。
まず、虹彩撮影空間で撮影した人物イメージからアイイメージを抽出する原理について説明する。特に、虹彩撮影空間が捕捉空間と一致する場合と、虹彩撮影空間が捕捉空間よりも大きい場合とに区別してアイイメージを抽出する原理を説明する。
赤外線を使用しないで可視光線を使用する顔検出及び顔認識方法を用いる場合には、虹彩撮影空間で赤外線照明をつける照明部をさらに構成しなければならなく、熱赤外線を使用する顔検出及び顔認識方法では、別の照明部を備えなくて済む。前記光源を調節する方法には、第一に、可視光線照明を使用するが、虹彩撮影空間では可視光線照明を消して赤外線照明をつける方式、又は、第二に、可視光線照明を使用し、虹彩撮影空間では可視光線照明に赤外線フィルターが取り付けられており、赤外線のみを光源として用いる方式がある。
(R1)虹彩撮影空間が捕捉空間と一致する場合
図14は、本発明の一実施例に係る、虹彩撮影空間で撮影した人物イメージからアイイメージを抽出する原理を例示する図である。
図14に示すように、虹彩撮影空間(=捕捉空間)に被撮影者が進入する場合に撮影した複数の被撮影者の人物イメージを取得する。取得した複数の被撮影者の人物イメージから、虹彩領域が必ず含まれた目の一部又は全部を含む目部位の領域を見出す。このときに用いる方法は、前記の顔構成要素距離演算部の元素抽出部で述べた内容と同一なので省略する。虹彩を含む目部位の領域を見出した後には、それを人物イメージから切り取る。このとき、切り取る領域は、四角形、円形、楕円形などのあらかじめ指定された形状を有し、左目と右目の領域を同時に切り取るか、又は分離して切り取る。
(R2)虹彩撮影空間が捕捉空間よりも大きい場合
これは、虹彩撮影空間を正確に捕捉空間と一致させず、捕捉空間に進入する時点の前又は捕捉空間を離れた時点の後に任意の時間又は距離をさらに付加した場合であり、虹彩撮影空間に被撮影者が進入するときに撮影した複数の被撮影者の人物イメージを自動で取得する。しかし、(R1)の場合とは違い、虹彩撮影空間ではなく捕捉空間に進入した時に撮影した複数の被撮影者の人物イメージから、虹彩を含む目部位の領域を見出して人物イメージから切り取る。
図15は、本発明の一実施例に係る、虹彩撮影空間が捕捉空間よりも大きい場合に撮影した人物イメージからアイイメージを抽出する原理を説明するための例示図である。
図15に示すように、虹彩撮影空間に進入して撮影を開始する時間をT_start、終了する時間をT_endとすれば、両時間の間に、秒当たりに一定の速度でT1からTnまでのn個の人物イメージを自動で取得する。しかし、捕捉空間に進入して撮影する時間をT1、終了する時間をTnとすれば、T2からTn−1までのn−2個の人物イメージを自動で取得するようになる。したがって、T1とTnで取得した人物イメージからはアイイメージを取得せず、T2からTn−1までのn−2個の人物イメージからアイイメージを取得する。
従来では、虹彩認識用イメージを取得するための関連プロセス作業を持続して行うことから、ドアロックのような出入り口関連機器、CCTVのような保安機器、カメラ、ビデオ、カムコーダのような映像機器、及びスマートフォン、タブレット、PDA、PC、ノートパソコンのようなスマート機器のリソース及びバッテリー容量が十分でないと、持続して虹彩認識用イメージを取得する作業を行うことができないという限界があった。特に、現在広く使われているスマートフォンなどの小型機器ではリソース及びバッテリー容量に限界があるため、虹彩認識用イメージを取得する作業を長時間持続することができない。したがって、本発明では、前記のリソース及びバッテリー容量の限界という問題点を最小化するために、捕捉空間で取得した人物イメージからアイイメージを取得する。
次に、アイイメージ保存部について具体的に説明する。
図16は、本発明の一実施例に係る左目及び右目のアイイメージを論理的に区分して保存することを説明するための例示図である。
図16に示すように、アイイメージを保存する一つの物理的空間を、論理的に左目のアイイメージを保存する空間と右目のアイイメージを保存する空間とに区分し、それぞれの保存空間に左目のアイイメージと右目のアイイメージを保存する。
図17は、本発明の一実施例に係る左目及び右目のアイイメージを物理的に区分して保存することを説明するための例示図である。
図17に示すように、アイイメージを保存する物理的空間を、左目のアイイメージ保存空間と右目のアイイメージ保存空間とに分離して構成し、別々の物理的保存空間に左目のアイイメージと右目のアイイメージをそれぞれ保存する。
同じ人物イメージから取得したアイイメージであっても、左目アイイメージの品質と右目アイイメージの品質とが異なりうる。例えば、同じ人物イメージであっても、左目は開けており、右目は閉じていると、左目アイイメージの品質と右目アイイメージの品質とが異ならざるを得ない。したがって、図16及び図17に示すように、同一の個数(m個)の人物イメージから取得したアイイメージの個数が異なってもよい(右目はm個であり、左目はn個であってもよい。又は、その逆であってもよく、互いに同数であってもよい。)。このような特性を考慮して、アイイメージ保存部は左目アイイメージと右目アイイメージとを分離して保存する。
次に、アイイメージ品質測定部について具体的に説明する。
アイイメージ品質測定部は、アイイメージ保存部に保存された複数の左目及び右目のアイイメージを分離し、測定項目(以下、‘特性項目’という。)によってアイイメージの品質(以下、‘項目品質度’という。)を測定する。このとき、項目品質度はいずれも数値で表現された値である。
次に、上述した特性項目について詳しく説明する。特性項目は、虹彩特性とは無関係な一般的なイメージ選択に必要な項目(A1−A3)と、虹彩特性に関係する項目(A4−A12)を含む。
第一に、(A1)鮮明度(sharpness)、(A2)明暗比(contrast ratio)、(A3)ノイズレベル(noise level)などがある。第二に、(A4)虹彩領域のキャプチャー範囲、(A5)光反射の程度、(A6)虹彩の位置、(A7)虹彩鮮明度、(A8)虹彩明暗比、(A9)虹彩ノイズの程度、(A10)虹彩境界鮮明度、(A11)虹彩境界明暗比、(A12)虹彩境界ノイズの程度などがある。これらの項目は例示に過ぎず(表1参照)、その他にも、虹彩特性によって様々な測定項目が付加されてもよく、前記の項目が除外されてもよい。表1は、虹彩の特性項目を示すものである。
前記アイイメージ品質測定部で測定した項目品質度を基準品質度と比較して、基準品質度を満たすアイイメージを虹彩認識用イメージとして選択する。仮に分離して測定した左目及び右目のアイイメージのうちで、いずれか一方のアイイメージが基準品質度を満たさない場合には、その基準品質度を満たさない目のアイイメージを全て捨て、新しいアイイメージの取得を要求し、両方とも基準品質度を満たさない場合には、両方のアイイメージを捨て、新しいアイイメージの取得を要求する。したがって、基準品質度を満たす一つの左目のアイイメージ及び一つの右目のアイイメージからなる一対の虹彩認識用イメージが選択されるまで、新しいアイイメージの取得を繰り返し要求する。
仮にそれぞれの基準品質度を満たす、分離して測定した左目及び右目のアイイメージが一つではなく複数である場合には、複数のアイイメージの中から、項目品質度を評価した値(以下、‘総合品質度’という。)を計算し、最も高い総合品質度を有するアイイメージを選択する。このようなアイイメージ評価過程は、虹彩認識用イメージ取得過程で実時間で行うことができる。本発明では、総合品質度を評価する代表的な方法の一つとして、項目品質度を加重合算して測定する。
前記総合品質度は、イメージの鮮明度の数値をa1とし、これに対する加重値をw1とし、イメージの明暗比の数値値をa2とし、これに対する加重値をw2とし、イメージのノイズレベルの数値をa3とし、これに対する加重値をw3とし、虹彩領域のキャプチャー範囲の数値をa4とし、これに対する加重値をw4とし、光反射の程度の数値をa5とし、これに対する加重値をw5とし、虹彩の位置の数値をa6とし、これに対する加重値をw6とし、虹彩鮮明度の数値をa7とし、これに対する加重値をw7とし、虹彩明暗比の数値をa8とし、これに対する加重値をw8とし、虹彩ノイズ程度の数値をa9とし、これに対する加重値をw9とし、虹彩鮮明度の数値をa10とし、これに対する加重値をw10とし、虹彩境界明暗比の数値をa11とし、これに対する加重値をw11とし、虹彩境界ノイズの程度の数値をa12とし、これに対する加重値をw12とするとき、w1にa1をかけた値、w2にa2をかけた値、w3にa3をかけた値、w4にa4をかけた値、w5にa5をかけた値、w6にa6をかけた値、w7にa7をかけた値、w8にa8をかけた値、w9にa9をかけた値、w10にa10をかけた値、w11にa11をかけた値、w11にa12をかけた値を全て合算した値であり、これは数式(3)のとおりである。
総合品質度=w1*a1+w2*a2+w3*a3+w4*a4+w5*a5+w6*a6+w7*a7+w8*a8+w9*a9+w10*a10+w11*a11+w12*a12
−−−−(数式3)

前記総合品質度は、各項目品質度に負でない加重値をかけた後、それらの結果を合算して得た値を用いて、特性項目の重要度によって加重値を調節することができる。したがって、項目品質度が基準品質度を満たす複数のアイイメージの中から、前記の総合品質度値が最大であるものを選択する。
次に、上述した虹彩認識部について詳しく説明する。
虹彩認識部は、上述したアイイメージ品質測定部で取得した虹彩認識用イメージを用いて虹彩認識を行う。虹彩認識に関連した従来の技術は、虹彩認識用イメージから虹彩領域を抽出し、抽出した虹彩領域から虹彩特徴を抽出してコード化し、コードを比較して認証及び識別を行う方式である。虹彩認識用イメージから虹彩領域を抽出する方法には、円形エッジ検出器方法、ハフ変換(Hough transform)方法、テンプレート整合方法などがある。最近では、米国のIridian社が有する虹彩認識の源泉特許の有効期間が満了し、これを用いた様々なソフトウェアが開発されている。
したがって、本発明では、上述した従来の技術のうち、虹彩認識用イメージから虹彩領域を旨く抽出して虹彩認識を可能にする本発明の目的及び趣旨に符合する如何なる技術を用いても構わなく、虹彩認識に関する従来の技術は公知の技術であるから、その詳細な説明は省略する。
ドアロックのような出入り口関連機器、CCTVのような保安機器、カメラ、ビデオ、カムコーダのような映像機器、及びスマートフォン、タブレット、PDA、PC、ノートパソコンのようなスマート機器において虹彩認識用イメージを用いて虹彩認識を行うようにして、機器のロックを解除したり保安を強化したりすることを容易にさせることもできる。
次に、上述した顔構成要素距離を用いた虹彩認識用イメージ取得方法の技術的構成について説明する。
本発明の一実施例に係る顔構成要素距離を用いた虹彩認識用イメージ取得方法は、次のような順序で行われる(図4参照)。
まず、カメラが待機状態(以下、‘スリープモード’という。)にあるが、被撮影者を感知すると人物イメージを撮影し始め、撮影した人物イメージをバッファーに保存する段階(S401)と、前記バッファーに保存された人物イメージから、顔構成要素距離を計算する段階(S402)と、前記計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定して、被撮影者が虹彩撮影空間にいるか否かを確認する段階(S403)と、この段階で被撮影者が虹彩撮影空間にいると確認されると、被撮影者の人物イメージからアイイメージを取得し、左目及び右目のアイイメージを分離して保存する段階(S404)と、前記アイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得する段階(S405)とを有する。
これに関する詳細な技術的構成については、前述した顔構成要素距離を用いた虹彩認識用イメージ取得装置で説明した内容と同一なので省略する。
次に、上述した本発明の一実施例に係る顔構成要素距離を計算する方法について説明する。
本発明の一実施例に係る顔構成要素距離を計算する方法は、次のような順序で行われる(図6参照)。
まず、バッファーに保存された人物イメージから顔構成要素元素を抽出する段階(S601)と、これらの抽出された顔構成要素元素を用いて顔認識を行うか否かを決定して行う段階(S602)と、この行われた顔認識において目の偽造を判別して検出する段階(S603)、前記抽出された顔構成要素元素のうち、距離測定が可能な顔構成要素元素があるか否か確認し、顔構成要素元素間の距離を測定する段階(S604)と、この測定した顔構成要素元素間の距離から、顔構成要素距離を計算する段階(S605)とを有する。
これに関する詳細な技術的構成については、前述した顔構成要素距離を用いた虹彩認識用イメージ取得装置で説明した内容と同一なので省略する。
次に、上述した本発明の一実施例に係る実際距離を推定する方法について説明する。
本発明の一実施例に係る実際距離を推定する方法は、次のような順序で行われる。
事前実験によって取得してコンピュータ又はスマートフォンを含む各種端末機のメモリ又はデータベースに保存された被撮影者とカメラの間の実際距離と顔構成要素距離との関係を示す関数から、被撮影者とカメラの間の実際距離を計算して推定する段階と、この段階で推定した被撮影者とカメラの間の実際距離から、被撮影者が虹彩撮影空間にいるか否かを確認する段階とを有する。
これに関する詳細な技術的構成については、前述した顔構成要素距離を用いた虹彩認識用イメージ取得装置で説明した内容と同一なので省略する。
次に、上述した本発明の一実施例に係る虹彩認識用イメージを取得する方法について説明する。
本発明の一実施例に係る、虹彩認識用イメージを取得する方法は次のような順序で行われる(図13参照)。
まず、虹彩撮影空間で撮影してバッファーに保存された人物イメージから、左目及び右目のアイイメージを抽出する段階(S1301)と、前記抽出した左目及び右目のアイイメージを分離して保存する段階(S1302)と、前記保存された左目及び右目のアイイメージの品質を測定する段階(S1303)と、前記測定したアイイメージ品質が基準品質度を満たすか否かを評価し、基準品質度を満たすアイイメージを虹彩認識用イメージとして取得する段階(S1304)とを有する。
また、前記取得した虹彩認識用イメージを用いて、機器のロックを解除したり保安を強化するために虹彩認識を行う段階をさらに有することができる。
これに関する詳細な技術的構成については、前述した顔構成要素距離を用いた虹彩認識用イメージ取得装置で説明した内容と同一なので省略する。
以上、本発明の実施例を構成する全ての構成要素が一つに結合されたり、結合されて動作するものとして説明されたとしても、本発明が必ずしもそれらの実施例に限定されるものではない。
すなわち、本発明の目的範囲内では、前記全ての構成要素のうちで一つ以上が選択的に結合して動作すしてもよい。また、これらの全ての構成要素がそれぞれ一つの独立したハードウェアとして具現されてもよいが、これらの各構成要素の一部又は全部が選択的に組合みわせられて、一つ又は複数個のハードウェアで組み合わされた一部又は全部の機能を果たすプログラムモジュールを有するコンピュータプログラムとして具現されてもよい。
これらのコンピュータプログラムを構成するコード及びコードセグメントは、本発明の技術分野における当業者にとっては容易に推論可能であろう。このようなコンピュータプログラムは、コンピュータで読み出し可能な保存媒体(Computer Readable Media)に保存されてコンピュータによって読み出されて実行されることによって、本発明の実施例を具現することができる。コンピュータプログラムの保存媒体としては、磁気記録媒体、光記録媒体、キャリアウェーブ媒体などを含むことができる。
また、以上で記載された“含む”、“構成する”、又は“有する”などの用語は、特別な記載がない限り、当該構成要素が含まれればよいという意味であるため、他の構成要素を除外する意味ではなく、他の構成要素をさらに含んでもよいという意味で解釈しなければならない。
技術的又は科学的な用語を含む全ての用語は、特別に定義されない限り、本発明の属する技術の分野における通常の知識を有する者によって一般に理解される意味と同じ意味を有する。辞書に定義された用語のように一般に用いられる用語は、関連技術の文脈上の意味と一致するものとして解釈しなければならない。
本発明は、虹彩認識用イメージを取得するために一つ以上の被撮影者の人物イメージをカメラで撮影して保存するバッファーと、前記バッファーに保存された人物イメージから、顔構成要素距離を演算する顔構成要素距離演算部と、前記顔構成要素距離演算部で計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、推定した距離から、被撮影者が虹彩撮影空間にいるか否かを確認する実際距離推定部と、前記実際距離推定部で虹彩撮影空間にいると確認された被撮影者の人物イメージからアイイメージを取得し、取得したアイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得する虹彩イメージ取得部とを含むことを特徴とする、顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法を提供できるため、産業上の利用可能性が極めて高い。

Claims (58)

  1. 顔構成要素距離を用いた虹彩認識用イメージ取得装置であって、
    虹彩認識用イメージを取得するために一つ以上の被撮影者の人物イメージをカメラで撮影して保存するバッファーと、
    前記バッファーに保存された人物イメージから、顔構成要素距離を計算する顔構成要素距離演算部と、
    前記顔構成要素距離演算部で計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、推定した距離から、被撮影者が虹彩撮影空間にいるか否かを確認する実際距離推定部と、
    前記実際距離推定部で虹彩撮影空間にいると確認された被撮影者の人物イメージからアイイメージを取得し、取得したアイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得する虹彩イメージ取得部と、
    を含むことを特徴とする、顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  2. 前記人物イメージは、被撮影者の顔が含まれた被撮影者の一部又は全部を撮影したイメージ、又は被撮影者のイメージから顔領域だけを切り取って分離したイメージであることを特徴とする、請求項1に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  3. 前記顔構成要素距離演算部は、
    バッファーに保存された人物イメージから顔構成要素元素を抽出する元素抽出部と、
    前記抽出された顔構成要素元素のうちで距離測定が可能な顔構成要素元素があるか否かを確認し、距離測定が可能な顔構成要素元素間の距離を測定する元素距離測定部と、
    前記測定した顔構成要素元素間の距離から、顔構成要素距離を計算する構成要素距離演算部と、
    を有することを特徴とする、請求項1に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  4. 前記元素抽出部は、
    顔構成要素元素として、目(左、右)、眉毛(左、右)、鼻、鼻孔(左、右)、口、耳、あご、頬、顔の境界の中から一つ以上を選択して一部又は全部を使用することを特徴とする、請求項3に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  5. 前記元素距離測定部は、
    前記元素抽出部で抽出された顔構成要素元素間の距離を測定した後、測定した距離のうちの一部又は全部を使用することを特徴とする、請求項3に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  6. 前記顔構成要素元素間の距離は、カメラで撮影した人物イメージにおける顔構成要素元素間のピクセル距離を測定して求めることを特徴とする、請求項5に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  7. 前記顔構成要素元素間の距離は、測定する基準点の位置によって異なることを特徴とする、請求項5に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  8. 前記顔構成要素元素間の距離のうち、左目と右目の間の距離は、瞳孔中心間距離、内眼角間距離、瞳孔外側端間距離、外眼角(目の外側)間距離の中から一つ以上を基準点として選択して使用することを特徴とする、請求項5に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  9. 前記構成要素距離演算部は、
    前記元素距離測定部で測定が可能な顔構成要素元素間の距離の個数によって別々に顔構成要素距離を計算することを特徴とする、請求項3に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  10. 前記顔構成要素距離の計算は、顔構成要素元素間の距離が2個以上である場合には、いずれか1つを選択したり、2つ以上の距離を全て計算因子として同時に使用したり、又は2つ以上の距離を1つの値に変換して顔構成要素距離として用いることを特徴とする、請求項9に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  11. 前記顔構成要素元素間の距離が2個以上であり、その中から1つを選択する場合には、最も測定しやすい距離を選択したり、又は測定のし易さが同じ場合には、任意に1つを選択して顔構成要素距離として用いることを特徴とする、請求項10に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  12. 前記顔構成要素元素間の距離が2個以上であり、これらの距離を計算因子として同時に使用する場合には、順序対、行列又はベクトルの形態で表現して顔構成要素距離として用いることを特徴とする、請求項10に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  13. 前記顔構成要素元素間の距離が2個以上であり、2個以上の距離を1つの距離に計算して使用する場合には、多変数回帰関数によって1つの値に計算された距離を顔構成要素距離として用いることを特徴とする、請求項10に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  14. 前記実際距離推定部は、
    コンピュータ又は端末機のメモリ又はデータベースに保存された被撮影者とカメラの間の実際距離と顔構成要素距離との関係を示す関数から、被撮影者とカメラの間の実際距離を計算して推定する実際距離演算部と、
    前記推定した被撮影者とカメラの間の実際距離から、被撮影者が虹彩撮影空間にいるか否かを確認する虹彩撮影空間確認部と、
    を有することを特徴とする、請求項1に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  15. 前記関数は、被撮影者とカメラの間の実際距離を変動させて得た被撮影者とカメラの間の実際距離と顔構成要素距離との関係を統計的な手段を用いて求めることを特徴とする、請求項14に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  16. 前記関数を求めるために使用する統計的な手段は、顔構成要素距離を独立変数とし、被撮影者とカメラの間の実際距離を従属変数として用いる回帰分析を利用することを特徴とする、請求項15に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  17. 前記関数は、1つの関数を全てのユーザに同一に使用したり、又は補正作業を行ってユーザ別に使用するように構成されることを特徴とする、請求項14に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  18. 前記補正作業は、カメラ及びセンサーの特性又は被撮影者の年齢を考慮して補正することを特徴とする、請求項17に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  19. 前記虹彩撮影空間は、捕捉空間に進入する時点の前又は捕捉空間を離れる時の後に一定の距離を付加して、捕捉空間よりも大きく設定することを特徴とする、請求項1乃至14のいずれかに記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  20. 前記虹彩撮影空間は、捕捉空間に進入する時点の前の時刻又は捕捉空間を離れる時点の後の時刻に一定の時間を付加して、捕捉空間よりも大きく設定することを特徴とする、請求項1乃至14のいずれかに記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  21. 前記任意の時間と距離を設定する基準は、虹彩認識用イメージ取得に必要な最小限の人物イメージの個数、人物イメージから取得されるアイイメージの個数、又は基準品質度を満たすアイイメージの個数によって定められることを特徴とする、請求項19に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  22. 前記虹彩撮影空間確認部は、
    被撮影者を虹彩撮影空間に位置させるように直観映像ガイドを提供する直観映像ガイド部を有することを特徴とする、請求項14に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  23. 前記直観映像ガイドは、人物イメージの大きさ、鮮明度及び色のうち一つ以上を用いたイメージを使用することを特徴とする、請求項22に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  24. 前記人物イメージの大きさを用いたイメージとして、カメラと被撮影者の距離が近づくほど人物イメージの大きさを増加させて提供し、カメラと被撮影者の距離が遠ざかるほど人物イメージの大きさを減少させて提供することを特徴とする、請求項23に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  25. 前記人物イメージの鮮明度を用いたイメージとして、被撮影者が虹彩撮影空間にいない時には不鮮明なイメージ(blurry image)を提供し、被撮影者が虹彩撮影空間にいる時には鮮明なイメージ(sharpen image)を提供することを特徴とする、請求項23に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  26. 前記人物イメージの色を用いたイメージとして、被撮影者が虹彩撮影空間にいない時には、被撮影者の姿を認知されない背景色で人物イメージを提供し、被撮影者が虹彩撮影空間にいる時には、撮影された被撮影者の人物イメージの色ままで提供することを特徴とする、請求項23に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  27. 前記直観映像ガイドに、声又は音のように聴覚的信号を発生させる手段、LED、フラッシュによる視覚的信号を発生させる手段、及び振動を発生させる手段のうち一つ以上を付加することを特徴とする、請求項22に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  28. 前記虹彩撮影空間確認部は、
    被撮影者が停止した状態で虹彩撮影空間に収まるようにカメラ全体、カメラレンズ又はカメラセンサーを前後に動かして人物イメージを撮影することを特徴とする、請求項14に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  29. 前記虹彩イメージ取得部は、
    虹彩撮影空間で撮影されてバッファーに保存された人物イメージから、左目及び右目のアイイメージを抽出するアイイメージ抽出部と、
    前記アイイメージ抽出部から抽出したアイイメージを左目のアイイメージと右目のアイイメージとに分離して保存するアイイメージ保存部と、
    前記アイイメージ保存部に保存されている左目及び右目のアイイメージの品質を測定し、測定したアイイメージ品質が基準品質度を満たすか否かを評価し、基準品質度を満たすアイイメージを虹彩認識用イメージとして取得するアイイメージ品質測定部と、
    を有することを特徴とする、請求項1に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  30. 前記アイイメージ抽出部は、
    虹彩撮影空間が捕捉空間(capture volume)と同じ場合には、虹彩撮影空間で撮影された被撮影者の人物イメージから目部位の領域を切り取り、切り取った人物イメージをアイイメージとして用いることを特徴とする、請求項29に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  31. 前記アイイメージ抽出部は、
    虹彩撮影空間が捕捉空間(capture volume)よりも大きい場合には、捕捉空間で撮影された被撮影者の人物イメージから目部位の領域を同時に切り取ったり又は分離して切り取り、切り取った人物イメージをアイイメージとして用いることを特徴とする、請求項29に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  32. 前記目部位の領域は、虹彩領域が必ず含まれた目領域の一部又は全部を含むことを特徴とする、請求項30又は31に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  33. 前記目部位の領域を、四角形、円形、楕円形のうち、あらかじめ指定された図形で切り取ることを特徴とする、請求項30又は31に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  34. 前記虹彩撮影空間で被撮影者に知らせないで自動で一定の速度で複数の人物イメージを撮影することを特徴とする、請求項30又は31に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  35. 前記アイイメージを取得する空間を捕捉空間に限定させて、電力及びリソースの効率性を最適化することを特徴とする、請求項30又は31に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  36. 前記アイイメージ保存部は、
    左目及び右目のアイイメージを論理的に又は物理的に分離して保存することを特徴とする、請求項29に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  37. 前記論理的に分離して保存することは、アイイメージを保存する1個の物理的空間を論理的に、左目のアイイメージの保存空間と右目のアイイメージの保存空間とに区分して保存することを特徴とする、請求項36に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  38. 前記物理的に分離して保存することは、アイイメージを保存する物理的空間を左目のアイイメージの保存空間と右目のアイイメージの保存空間とに分離して構成して保存することを特徴とする、請求項36に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  39. 前記アイイメージ品質測定部は、
    左目及び右目のアイイメージを分離して品質を測定することを特徴とする、請求項29に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  40. 品質を測定する項目は、虹彩特性に関係ない一般的なイメージ選択に必要な品質項目と、虹彩特性に関係する品質項目とを含むことを特徴とする、請求項29に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  41. 前記虹彩特性に関係ない一般的なイメージ選択に必要な品質項目は、鮮明度、明暗比、ノイズレベルのうち一つ以上を含み、虹彩特性に関係する品質項目は、虹彩領域のキャプチャー範囲、光反射の程度、虹彩の位置、虹彩鮮明度、虹彩明暗比、虹彩ノイズの程度、虹彩境界鮮明度、虹彩境界明暗比、虹彩境界ノイズの程度のうち一つ以上を含むことを特徴とする、請求項40に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  42. 前記アイイメージ品質測定部は、
    分離して品質を測定した左目及び右目のアイイメージの中から、基準品質度を満たす単数の左目及び右目のアイイメージで構成された一対の虹彩認識用イメージを選択することを特徴とする、請求項29に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  43. 虹彩認識用イメージ取得装置は、基準品質度を満たす単数の左目及び右目のアイイメージのいずれか一方がない場合には、その一方のアイイメージの全体を捨て、新しいアイイメージの取得を要求することを特徴とする、請求項42に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  44. 基準品質度を満たす単数の左目及び右目のアイイメージの両方がない場合には、その両方のアイイメージの全体を捨て、新しいアイイメージの取得を要求することを特徴とする、請求項42に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  45. 基準品質度を満たす左目及び右目のアイイメージが複数個存在する場合には、それらの中から、総合品質度が最も高いアイイメージを選択することを特徴とする、請求項42に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  46. 前記総合品質度は、下記の数式(3)で決定される加重合算によって測定されることを特徴とする、請求項45に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
    {総合品質度=w1*a1+w2*a2+w3*a3+w4*a4+w5*a5+w6*a6+w7*a7+w8*a8+w9*a9+w10*a10+w11*a11+w12*a12−−−−(数式3)
    ここで、総合品質度は、イメージの鮮明度の数値をa1とし、これに対する加重値をw1とし、イメージの明暗比の数値をa2とし、これに対する加重値をw2とし、イメージのノイズレベルの数値をa3とし、これに対する加重値をw3とし、虹彩領域のキャプチャー範囲の数値をa4とし、これに対する加重値をw4とし、光反射の程度の数値をa5とし、これに対する加重値をw5とし、虹彩の位置の数値をa6とし、これに対する加重値をw6とし、虹彩鮮明度の数値をa7とし、これに対する加重値をw7とし、虹彩明暗比の数値をa8とし、これに対する加重値をw8とし、虹彩ノイズの程度の数値をa9とし、これに対する加重値をw9とし、虹彩鮮明度の数値をa10とし、これに対する加重値をw10とし、虹彩境界明暗比の数値をa11とし、これに対する加重値をw11とし、虹彩境界ノイズの程度の数値をa12とし、これに対する加重値をw12としたとき、w1にa1をかけた値、w2にa2をかけた値、w3にa3をかけた値、w4にa4をかけた値、w5にa5をかけた値、w6にa6をかけた値、w7にa7をかけた値、w8にa8をかけた値、w9にa9をかけた値、w10にa10をかけた値、w11にa11をかけた値、w11にa12をかけた値を全て合算した値}
  47. 前記顔構成要素距離を計算する過程中に顔認識を行う顔認識部をさらに含むことを特徴とする、請求項1乃至3のいずれかに記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  48. 顔認識分野で偽顔を検出する技術及びアイトラッキング技術を用いて、偽・変造された人物イメージ取得を防止するための目偽造検出部をさらに含むことを特徴とする、請求項1又は3に記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  49. 前記取得した虹彩認識用イメージを用いて、機器のロックを解除したり又は保安を強化するために虹彩認識を行う虹彩認識部をさらに含むことを特徴とする、請求項29、42及び45のいずれかに記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  50. 虹彩撮影空間で可視光線照明をオフ(off)し、赤外線照明をオン(on)する手段、又は可視光線照明をオンする場合に照明の前に赤外線通過フィルターが位置するように構成して赤外線のみを通過させる手段をさらに含む、請求項1乃至18のいずれかに記載の顔構成要素距離を用いた虹彩認識用イメージ取得装置。
  51. 顔構成要素距離を用いた虹彩認識用イメージ取得方法であって、
    カメラが待機状態にあるが、被撮影者を感知すると人物イメージを撮影し始め、撮影した人物イメージをバッファーに保存するステップと、
    前記バッファーに保存された人物イメージから、顔構成要素距離を計算するステップと、
    前記計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、被撮影者が虹彩撮影空間にいるか否かを確認するステップと、
    前記虹彩撮影空間にいると確認された被撮影者の人物イメージからアイイメージを取得し、取得したアイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得するステップと、
    を有することを特徴とする、顔構成要素距離を用いた虹彩認識用イメージ取得方法。
  52. 前記バッファーに保存された人物イメージから、顔構成要素距離を計算するステップは、
    バッファーに保存された人物イメージから顔構成要素元素を抽出するステップと、
    前記抽出された顔構成要素元素のうち、距離測定が可能な顔構成要素元素があるか否か確認し、顔構成要素元素間の距離を測定するステップと、
    前記測定した顔構成要素元素間の距離から、顔構成要素距離を計算するステップと、
    を有することを特徴とする、請求項51に記載の顔構成要素距離を用いた虹彩認識用イメージ取得方法。
  53. 前記抽出された顔構成要素元素を用いて顔認識を行うか否かを決定して行うステップをさらに有することを特徴とする、請求項52に記載の顔構成要素距離を用いた虹彩認識用イメージ取得方法。
  54. 前記顔認識を行うか否かを決定して行うステップは、目偽造検出部を用いて、目の偽造を判別して検出することを含むことを特徴とする、請求項53に記載の顔構成要素距離を用いた虹彩認識用イメージ取得方法。
  55. 前記計算された顔構成要素距離から、被撮影者とカメラの間の実際距離を推定し、被撮影者が虹彩撮影空間にいるか否かを確認するステップは、
    メモリ又はデータベースに保存された被撮影者とカメラの間の実際距離と顔構成要素距離との関係を示す関数から、被撮影者とカメラの間の実際距離を計算して推定するステップと、
    前記ステップで推定した被撮影者とカメラの間の実際距離から、被撮影者が虹彩撮影空間にいるか否かを判断するステップと、
    を有することを特徴とする、請求項51に記載の顔構成要素距離を用いた虹彩認識用イメージ取得方法。
  56. 虹彩撮影空間にいると確認された被撮影者の人物イメージからアイイメージを取得し、取得したアイイメージの品質を測定し、基準品質度を満たす虹彩認識用イメージを取得するステップは、
    虹彩撮影空間で撮影されてバッファーに保存された人物イメージから、左目及び右目のアイイメージを抽出するステップと、
    前記抽出した左目及び右目のアイイメージを分離して保存するステップと、
    前記保存された左目及び右目のアイイメージの品質を測定するステップと、
    前記測定したアイイメージ品質が基準品質度を満たすか否かを評価し、基準品質度を満たすアイイメージを虹彩認識用イメージとして取得するステップと、
    を要することを特徴とする、請求項51に記載の顔構成要素距離を用いた虹彩認識用イメージ取得方法。
  57. 前記取得した虹彩認識用イメージを用いて、機器のロックを解除したり又は保安を強化するために虹彩認識を行うステップをさらに有することを特徴とする、請求項56に記載の顔構成要素距離を用いた虹彩認識用イメージ取得方法。
  58. 請求項51乃至57のいずれかに記載の顔構成要素距離を用いた虹彩認識用イメージ取得方法を行うためにコンピュータ又は端末機に搭載されて、顔構成要素距離を用いた虹彩認識用イメージ取得方法の各ステップを実行するためのプログラムを記録している、コンピュータ又は端末機で読み出し可能な記録媒体。
JP2016544380A 2014-01-02 2014-12-30 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法 Pending JP2017503276A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0000160 2014-01-02
KR1020140000160A KR101569268B1 (ko) 2014-01-02 2014-01-02 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
PCT/KR2014/013022 WO2015102361A1 (ko) 2014-01-02 2014-12-30 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2017503276A true JP2017503276A (ja) 2017-01-26

Family

ID=53493644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016544380A Pending JP2017503276A (ja) 2014-01-02 2014-12-30 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法

Country Status (5)

Country Link
US (1) US20160335495A1 (ja)
JP (1) JP2017503276A (ja)
KR (1) KR101569268B1 (ja)
CN (1) CN105874473A (ja)
WO (1) WO2015102361A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491302A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 终端控制方法及装置
KR20190071280A (ko) * 2017-12-14 2019-06-24 현대자동차주식회사 차량의 사용자 영상 처리 장치 및 그 방법
KR20200008820A (ko) * 2018-07-17 2020-01-29 성균관대학교산학협력단 사용자 인식방법 및 병적징후 예측방법
WO2021044566A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 体格判定装置および体格判定方法
WO2021166221A1 (ja) * 2020-02-21 2021-08-26 日本電気株式会社 生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体
JPWO2020179898A1 (ja) * 2019-03-07 2021-12-02 日本電気株式会社 撮影装置、撮影方法、プログラム
KR102477694B1 (ko) * 2022-06-29 2022-12-14 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
US11663719B2 (en) 2021-06-30 2023-05-30 Thyroscope Inc. Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
US11717160B2 (en) 2021-06-30 2023-08-08 Thyroscope Inc. Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
US11741610B2 (en) 2021-06-30 2023-08-29 Thyroscope Inc. Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
US11967138B2 (en) 2021-03-03 2024-04-23 Nec Corporation Processing apparatus, information processing method and recording medium

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066862B (zh) 2007-09-24 2022-11-25 苹果公司 电子设备中的嵌入式验证系统
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
KR102305997B1 (ko) * 2014-11-17 2021-09-28 엘지이노텍 주식회사 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
US9961258B2 (en) * 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
KR101782086B1 (ko) * 2015-10-01 2017-09-26 장헌영 이동단말 제어장치 및 방법
KR102388249B1 (ko) * 2015-11-27 2022-04-20 엘지이노텍 주식회사 일반 촬영 및 적외선 촬영 겸용 카메라 모듈
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
CN106022281A (zh) * 2016-05-27 2016-10-12 广州帕克西软件开发有限公司 一种面部数据测量方法及系统
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
CN114693289A (zh) 2016-06-11 2022-07-01 苹果公司 用于交易的用户界面
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
KR102532365B1 (ko) 2016-08-23 2023-05-15 삼성전자주식회사 홍채 센서를 포함하는 전자 장치 및 이의 운용 방법
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
KR102458241B1 (ko) * 2016-12-13 2022-10-24 삼성전자주식회사 사용자 인식 장치 및 방법
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
WO2018123413A1 (ja) * 2016-12-27 2018-07-05 シャープ株式会社 画像処理装置、画像印刷装置、撮像装置、および画像処理プログラム
KR20180080758A (ko) * 2017-01-05 2018-07-13 주식회사 아이리시스 하나 이상의 생체 정보를 처리하는 회로 모듈 및 이를 포함하는 생체 정보 처리 장치
CN108197617A (zh) * 2017-02-24 2018-06-22 张家口浩扬科技有限公司 一种图像输出反馈的装置
CN106778713B (zh) * 2017-03-01 2023-09-22 武汉虹识技术有限公司 一种动态人眼跟踪的虹膜识别装置及方法
KR102329765B1 (ko) * 2017-03-27 2021-11-23 삼성전자주식회사 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
WO2018187337A1 (en) * 2017-04-04 2018-10-11 Princeton Identity, Inc. Z-dimension user feedback biometric system
CN108694354A (zh) * 2017-04-10 2018-10-23 上海聚虹光电科技有限公司 一种虹膜采集装置采集人脸图像的应用方法
US10430644B2 (en) 2017-06-06 2019-10-01 Global Bionic Optics Ltd. Blended iris and facial biometric system
US20180374099A1 (en) * 2017-06-22 2018-12-27 Google Inc. Biometric analysis of users to determine user locations
CN109117692B (zh) * 2017-06-23 2024-03-29 深圳荆虹科技有限公司 一种虹膜识别装置、系统及方法
CN107390853B (zh) * 2017-06-26 2020-11-06 Oppo广东移动通信有限公司 电子装置
DE102017114497A1 (de) * 2017-06-29 2019-01-03 Bundesdruckerei Gmbh Vorrichtung zum Korrigieren eines Gesichtsbildes einer Person
CN107609471A (zh) * 2017-08-02 2018-01-19 深圳元见智能科技有限公司 一种人脸活体检测方法
KR102434703B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 생체 이미지 처리 방법 및 이를 포함한 장치
EP4156129A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric enrollment
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102013920B1 (ko) * 2017-09-28 2019-08-23 주식회사 다날 시력 검사가 가능한 단말 장치 및 그 동작 방법
WO2019084133A1 (en) * 2017-10-25 2019-05-02 Sensormatic Electronics, LLC FRICTION-FREE ACCESS CONTROL SYSTEM USING SATELLITE CAMERAS FOR FACIAL RECOGNITION
JP2019132019A (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
CN108376252B (zh) * 2018-02-27 2020-01-10 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
WO2019165956A1 (zh) 2018-02-27 2019-09-06 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
WO2019174436A1 (zh) 2018-03-12 2019-09-19 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108509867B (zh) * 2018-03-12 2020-06-05 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108394378B (zh) * 2018-03-29 2020-08-14 荣成名骏户外休闲用品股份有限公司 汽车开关门感应装置的自动控制方法
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN109002796B (zh) 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
KR102520199B1 (ko) 2018-07-23 2023-04-11 삼성전자주식회사 전자 장치 및 그 제어 방법.
US11074675B2 (en) * 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
CN110113528B (zh) 2019-04-26 2021-05-07 维沃移动通信有限公司 一种参数获取方法及终端设备
CN113283271A (zh) * 2020-02-20 2021-08-20 深圳爱酷智能科技有限公司 虹膜自动捕捉方法、装置、计算机可读存储介质及设备
CN113358231B (zh) * 2020-03-06 2023-09-01 杭州海康威视数字技术股份有限公司 红外测温方法、装置及设备
KR102194511B1 (ko) * 2020-03-30 2020-12-24 에스큐아이소프트 주식회사 대표 영상프레임 결정시스템 및 이를 이용한 방법
CN111634255A (zh) * 2020-06-05 2020-09-08 北京汽车集团越野车有限公司 一种解锁系统、汽车及解锁方法
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
CN114765661B (zh) * 2020-12-30 2022-12-27 杭州海康威视数字技术股份有限公司 一种虹膜识别方法、装置及设备
CN112926464B (zh) * 2021-03-01 2023-08-29 创新奇智(重庆)科技有限公司 一种人脸活体检测方法以及装置
CN113132632B (zh) * 2021-04-06 2022-08-19 蚂蚁胜信(上海)信息技术有限公司 一种针对宠物的辅助拍摄方法和装置
CN113762077B (zh) * 2021-07-19 2024-02-02 沈阳工业大学 基于双分级映射的多生物特征虹膜模板保护方法
CN115100731B (zh) * 2022-08-10 2023-03-31 北京万里红科技有限公司 一种质量评价模型训练方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696251B1 (ko) * 2005-03-04 2007-03-20 채영도 홍채인식을 위한 비교영역 설정 및 사용자 인증정보 생성방법 및 그 장치
CN101543409A (zh) * 2008-10-24 2009-09-30 南京大学 远距离虹膜识别装置
KR101030652B1 (ko) * 2008-12-16 2011-04-20 아이리텍 잉크 홍채인식을 위한 고품질 아이이미지의 획득장치 및 방법
CN201522734U (zh) * 2009-05-21 2010-07-07 上海安威士智能科技有限公司 虹膜识别门禁
CN102855476A (zh) * 2011-06-27 2013-01-02 王晓鹏 单图像传感器自适应双眼虹膜同步采集系统
KR101202448B1 (ko) * 2011-08-12 2012-11-16 한국기초과학지원연구원 홍채 인식 장치 및 홍채 인식 방법

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491302A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 终端控制方法及装置
KR20190071280A (ko) * 2017-12-14 2019-06-24 현대자동차주식회사 차량의 사용자 영상 처리 장치 및 그 방법
KR102540918B1 (ko) 2017-12-14 2023-06-07 현대자동차주식회사 차량의 사용자 영상 처리 장치 및 그 방법
KR102241483B1 (ko) * 2018-07-17 2021-04-19 성균관대학교산학협력단 사용자 인식방법 및 병적징후 예측방법
KR20200008820A (ko) * 2018-07-17 2020-01-29 성균관대학교산학협력단 사용자 인식방법 및 병적징후 예측방법
JP7151867B2 (ja) 2019-03-07 2022-10-12 日本電気株式会社 撮影装置、撮影方法、プログラム
JPWO2020179898A1 (ja) * 2019-03-07 2021-12-02 日本電気株式会社 撮影装置、撮影方法、プログラム
JP2022186729A (ja) * 2019-03-07 2022-12-15 日本電気株式会社 撮影装置、撮影方法、プログラム
JP7134364B2 (ja) 2019-09-05 2022-09-09 三菱電機株式会社 体格判定装置および体格判定方法
JPWO2021044566A1 (ja) * 2019-09-05 2021-03-11
WO2021044566A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 体格判定装置および体格判定方法
WO2021166221A1 (ja) * 2020-02-21 2021-08-26 日本電気株式会社 生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体
JPWO2021166221A1 (ja) * 2020-02-21 2021-08-26
JP7318793B2 (ja) 2020-02-21 2023-08-01 日本電気株式会社 生体認証装置、生体認証方法、及び、そのプログラム
US11967138B2 (en) 2021-03-03 2024-04-23 Nec Corporation Processing apparatus, information processing method and recording medium
US11663719B2 (en) 2021-06-30 2023-05-30 Thyroscope Inc. Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
US11717160B2 (en) 2021-06-30 2023-08-08 Thyroscope Inc. Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
US11741610B2 (en) 2021-06-30 2023-08-29 Thyroscope Inc. Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
US11748884B2 (en) 2021-06-30 2023-09-05 Thyroscope Inc. Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
KR102477694B1 (ko) * 2022-06-29 2022-12-14 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템

Also Published As

Publication number Publication date
KR101569268B1 (ko) 2015-11-13
KR20150080728A (ko) 2015-07-10
CN105874473A (zh) 2016-08-17
WO2015102361A1 (ko) 2015-07-09
US20160335495A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
KR101569268B1 (ko) 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2019218621A1 (zh) 活体检测方法及装置、电子设备和存储介质
US10922529B2 (en) Human face authentication method and apparatus, and storage medium
US10205883B2 (en) Display control method, terminal device, and storage medium
KR100729280B1 (ko) 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
WO2020083111A1 (zh) 活体检测方法、装置、电子设备、存储介质及应用活体检测方法的相关系统
WO2015172514A1 (zh) 图像采集装置和方法
WO2018192448A1 (zh) 一种人证比对的认证方法、系统及相机
JP2017134830A (ja) 顔認識システム及び顔認識方法
US20090174805A1 (en) Digital camera focusing using stored object recognition
CN106529436B (zh) 一种身份一致性认证方法、装置和移动终端
CN104143086A (zh) 人像比对在移动终端操作系统上的应用技术
US9501691B2 (en) Method and apparatus for detecting blink
CN104408402A (zh) 人脸识别方法及装置
CN109389018B (zh) 一种人脸角度识别方法、装置及设备
CN108197585A (zh) 脸部识别方法和装置
US10970953B2 (en) Face authentication based smart access control system
JP5971712B2 (ja) 監視装置及び方法
WO2018040147A1 (zh) 手掌图像采集装置及手掌图像采集方法
JP2021519983A (ja) 画像処理方法及び装置、電子機器並びにコンピュータ可読記憶媒体
CN111144219A (zh) 一种基于3d结构光的虹膜识别装置及方法
KR100862526B1 (ko) 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템.
CN108875472A (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
WO2021025954A1 (en) Techniques for detecting a three-dimensional face during facial recognition
WO2020215229A1 (zh) 一种人脸注册方法、人脸注册装置、服务器和可存储介质