CN108073889B - 虹膜区域提取的方法和设备 - Google Patents

虹膜区域提取的方法和设备 Download PDF

Info

Publication number
CN108073889B
CN108073889B CN201710984236.7A CN201710984236A CN108073889B CN 108073889 B CN108073889 B CN 108073889B CN 201710984236 A CN201710984236 A CN 201710984236A CN 108073889 B CN108073889 B CN 108073889B
Authority
CN
China
Prior art keywords
iris
eye image
iris region
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710984236.7A
Other languages
English (en)
Other versions
CN108073889A (zh
Inventor
金智慧
徐成住
李贤廷
崔昌圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108073889A publication Critical patent/CN108073889A/zh
Application granted granted Critical
Publication of CN108073889B publication Critical patent/CN108073889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

公开一种虹膜区域提取的方法和设备。所述设备可使用训练的神经网络模型从眼睛图像产生与虹膜区域相关联的分类图，使用产生的分类图估计与虹膜区域相关联的几何参数，并基于估计的几何参数从眼睛图像提取虹膜区域。

Description

虹膜区域提取的方法和设备
本申请要求于2016年11月11日提交到韩国知识产权局的第10-2016-0150488号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
下面的描述涉及包括虹膜区域提取技术的方法和设备。
背景技术
近来，对用于使用生物特征来验证用户的身份的技术的兴趣正在增加。生物认证技术(诸如，面部识别、指纹识别、静脉图案识别和虹膜识别)用于使用因人而异的唯一的生物特征来验证用户的身份。虽然面部识别和指纹识别被广泛使用，但虹膜识别已获得关注。
虹膜识别是非接触型识别方法，用于通过分析用户的虹膜图案来识别用户。虹膜图案在同一用户的左眼睛与右眼睛之间可以不同，并且在具有相同遗传结构的同卵双胞胎之间可以不同，但虹膜图案可能不会随时间极大地改变。在虹膜识别中，可从包括用户的眼睛的图像提取与瞳孔和巩膜相区别的虹膜区域，并且可从提取的虹膜区域提取特征。这样的特征可以与注册的特征进行比较，例如，如果比较的结果在阈值内，则用户可被认证。
发明内容
提供本发明内容从而以简化的形式介绍在下面的具体实施方式中进一步描述的对构思的选择。本发明内容不意在标识所要求保护的主题的关键特征或必要特征，也不意在用于帮助确定所要求保护的主题的范围。
在一个总体方面，一种处理器实现的虹膜区域提取方法包括：获得眼睛图像；使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域。
所述虹膜区域提取方法还可包括：获得包括眼睛的图像，并执行所述图像的裁剪以获得眼睛图像；从提取的虹膜区域提取特征；将提取的特征与注册的虹膜信息进行匹配。
训练的神经网络可以是具有一个或多个卷积隐藏层的神经网络，并且可基于反向传播方法被训练，其中，反向传播方法使用训练眼睛图像信息，训练眼睛图像信息针对至少对应的瞳孔区域和虹膜区域的不同的类被标记，或者针对对应的瞳孔几何参数和虹膜几何参数被标记。
提取虹膜区域的步骤可包括：通过向第一训练的神经网络提供眼睛图像的低分辨率图像，执行眼睛图像的第一分割；使用第二训练的神经网络，执行眼睛图像的第二分割，其中，眼睛图像的第二分割依赖于眼睛图像的第一分割的结果；基于第二分割的结果，从眼睛图像提取虹膜区域。
提取虹膜区域的步骤可包括：从眼睛图像提取与虹膜区域对应的像素作为训练的神经网络模型的输出。
提取虹膜区域的步骤可包括：使用训练的神经网络模型，从眼睛图像产生与虹膜区域相关联的第一分类图；使用产生的第一分类图，估计与虹膜区域相关联的一个或多个几何参数；基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
估计所述一个或多个几何参数的步骤可包括：执行将一个或多个几何方程拟合到第一分类图的拟合操作，其中，拟合的步骤可包括：估计拟合到第一分类图的特征的圆形、椭圆形和曲线中的至少一个的几何参数。
所述一个或多个几何参数可包括：多个几何参数，所述多个几何参数包括第一参数和第二参数，其中，第一参数用于定义与呈现在第一分类图中的虹膜区域的外边界对应的第一圆形或第一椭圆形的形状，第二参数用于定义与呈现在第一分类图中的虹膜区域和瞳孔区域之间的边界对应的第二圆形或第二椭圆形的形状。
所述多个几何参数还可包括：第三参数和第四参数中的至少一个，其中，第三参数用于定义与上眼睑对应的第一曲线的形状，第四参数用于定义与下眼睑对应的第二曲线的形状。
提取虹膜区域的步骤可包括：基于估计的一个或多个几何参数，产生第二分类图；使用产生的第二分类图，从眼睛图像提取虹膜区域。
提取虹膜区域的步骤可包括：产生眼睛图像的低分辨率图像；使用训练的神经网络模型，从低分辨率图像产生与虹膜区域相关联的分类图；使用产生的分类图，估计与虹膜区域相关联的一个或多个几何参数；基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
产生眼睛图像的低分辨率图像的步骤可通过改变眼睛图像的分辨率来执行，以产生低分辨率图像。
估计所述一个或多个几何参数的步骤可包括：调整分类图的大小，以匹配眼睛图像的大小；使用调整大小的分类图，估计所述一个或多个几何参数。
提取虹膜区域的步骤可包括：产生眼睛图像的低分辨率图像；使用第一训练的神经网络模型，从产生的低分辨率图像产生与虹膜区域相关联的分类图；使用产生的分类图，在眼睛图像中确定多个细化区域；使用第二训练的神经网络，从所述多个细化区域提取像素；基于提取像素的结果，从眼睛图像提取虹膜区域。
确定多个细化区域的步骤可包括：基于分类图和针对虹膜区域预定义的结构信息，在眼睛图像中确定所述多个细化区域。
提取虹膜区域的步骤可包括：基于提取像素的结果，估计与虹膜区域相关联的一个或多个几何参数；基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
提取虹膜区域的步骤可包括：产生眼睛图像的低分辨率图像；使用第一训练的神经网络模型，从产生的低分辨率图像获得与虹膜区域相关联的几何参数；使用获得的几何参数，在眼睛图像中确定多个细化区域；使用第二训练的神经网络模型，从所述多个细化区域提取像素；基于提取像素的结果，从眼睛图像提取虹膜区域。
提取虹膜区域的步骤可包括：基于提取像素的结果，估计与虹膜区域相关联的一个或多个几何参数；基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
提取虹膜区域的步骤可包括：使用训练的神经网络模型，从眼睛图像获得与虹膜区域相关联的几何参数；基于获得的几何参数，从眼睛图像提取虹膜区域。
所述虹膜区域提取方法还可包括：分别分析第一眼睛图像和第二眼睛图像，以将第一眼睛图像和第二眼睛图像之一选择为获得的眼睛图像，其中，第一图像是捕获的用户的眼睛的彩色图像，第二图像是捕获的用户的所述眼睛的红外图像。
获得眼睛图像的步骤可包括：从输入图像提取包括虹膜区域的感兴趣区域(ROI)作为获得的眼睛图像。
在一个总体方面，一个或多个实施例包括一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，使处理器执行在此描述的一个或多个或所有的操作。
在一个总体方面，一种设备包括：一个或多个处理器，被配置为使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域。
所述设备还可包括：至少一个相机，由所述一个或多个处理器控制，以获得眼睛图像。
训练的神经网络可以是具有一个或多个卷积隐藏层的神经网络，并且可基于反向传播方法被训练，其中，反向传播方法使用训练眼睛图像信息，训练眼睛图像信息针对至少对应的瞳孔区域和虹膜区域的不同的类被标记，或者针对对应的瞳孔几何参数和虹膜几何参数被标记。
所述处理器可被配置为执行神经网络模型的训练。
所述设备还可包括：存储器，可存储训练的神经网络模型。
处理器可被配置为：使用训练的神经网络模型，从眼睛图像产生与虹膜区域相关联的分类图；使用产生的分类图，估计与虹膜区域相关联的一个或多个几何参数；基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
为了估计所述一个或多个几何参数，所述一个或多个处理器可被配置为：执行将一个或多个几何方程拟合到分类图的拟合操作，其中，拟合的处理可包括：估计拟合到分类图的特征的圆形、椭圆形和曲线中的至少一个的几何参数。
所述一个或多个几何参数可包括：多个几何参数，所述多个几何参数包括第一参数和第二参数，其中，第一参数用于定义与呈现在分类图中的虹膜区域的外边界对应的第一圆形或第一椭圆形的形状，第二参数用于定义与呈现在分类图中的虹膜区域和瞳孔区域之间的边界对应的第二圆形或第二椭圆形的形状。
处理器可被配置为：产生眼睛图像的低分辨率图像；使用第一训练的神经网络模型，从产生的低分辨率图像产生与虹膜区域相关联的分类图，其中，分类图具有比眼睛图像低的分辨率；使用产生的分类图，在眼睛图像中确定多个细化区域；使用第二训练的神经网络模型，从所述多个细化区域提取像素；基于提取像素的结果，从眼睛图像提取虹膜区域。
处理器可被配置为：产生眼睛图像的低分辨率图像；使用第一训练的神经网络模型，从产生的低分辨率图像获得与虹膜区域相关联的几何参数；使用获得的几何参数，在眼睛图像中确定多个细化区域；使用第二训练的神经网络模型，从确定的多个细化区域提取像素；基于提取像素的结果，估计与虹膜区域相关联的一个或多个几何参数；基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
在一个总体方面，一种处理器实现的虹膜区域提取方法包括：向第一训练的神经网络提供眼睛的第一图像，以产生第一训练的神经网络的输出；通过使用第一训练的神经网络的输出执行一个或多个几何方程的拟合操作，来估计一个或多个几何参数，其中，拟合的步骤包括：估计所述眼睛的虹膜区域的圆形、椭圆形和曲线中的至少一个的几何参数；基于估计的一个或多个几何参数，从所述眼睛的第二图像提取虹膜区域。
提取虹膜区域的步骤可包括：基于估计的一个或多个几何参数，在第二图像中确定多个细化区域；使用第二神经网络模型，从所述多个细化区域提取像素；基于提取像素的结果，从第二图像提取虹膜区域。
提取虹膜区域的步骤可包括：基于提取像素的结果，估计与虹膜区域相关联的至少一个几何参数；基于估计的至少一个几何参数，从第二图像提取虹膜区域。
所述一个或多个几何参数包括：多个几何参数，所述多个几何参数包括第一参数和第二参数，其中，第一参数用于定义与呈现在第一训练的神经网络的输出中的虹膜区域的外边界对应的第一圆形或第一椭圆形的形状，第二参数用于定义与呈现在第一训练的神经网络的输出中的虹膜区域和瞳孔区域之间的边界对应的第二圆形或第二椭圆形的形状。
第一图像可以是红外图像，第二图像可以是彩色图像。
其他特征和方面从下面的具体实施方式、附图和权利要求将是清楚的。
附图说明
图1是示出虹膜识别设备的示例的示图。
图2是示出示例虹膜区域提取方法的流程图。
图3是示出示例虹膜区域提取方法的示图。
图4是示出示例虹膜区域提取方法的流程图。
图5是示出示例虹膜区域提取方法的示图。
图6是示出示例虹膜区域提取方法的流程图。
图7是示出示例虹膜区域提取方法的示图。
图8是示出示例虹膜区域提取方法的流程图。
图9是示出示例虹膜区域提取方法的示图。
图10是示出示例虹膜区域提取方法的流程图。
图11是示出根据一个或多个实施例的被配置为执行虹膜区域提取的示例设备的示图。
图12是示出根据一个或多个实施例的被配置为执行虹膜区域提取的示例计算设备的示图。
贯穿附图和具体实施方式，除非另外被描述或提供，否则相同的附图参考标号将被理解为表示相同或相似的元件、特征和结构。为了清楚、说明和便利，附图可不按比例，并且附图中的元件的相对大小、比例和描写可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，操作的顺序不局限于在此阐述的顺序，而是除了必须按特定次序发生的操作之外，可如理解本申请的公开之后将清楚的那样改变。此外，为了更加清楚和简洁，本领域中已知的特征的描述可被省略。
在此描述的特征可以以不同的形式实现，并且不被解释为受限于在此描述的示例。相反，仅提供在此描述的示例以示出实施在此描述的方法、设备和/或系统的许多可行方式中的一些方式，所述许多可行方式在理解本申请的公开之后将是清楚的。
在此使用的术语仅为了描述特定示例，而不用于限制本公开。如在此使用的，除非上下文另外明确指示，否则单数形式也意在包括复数形式。如在此使用的，术语“和/或”包括任意两个或更多个相关所列项的任意一个或任意组合。如在此使用的，术语“包括”、“包含”和“具有”指定在至少一个实施例中存在叙述的特征、数量、操作、元件、组件和/或它们的组合(诸如，当在示例中表明可包括这样的叙述的特征、数量、操作、元件、组件和/或它们的组合时)。然而，除非另外明确地或上下文/隐含地清楚说明，否则在说明书中的术语“包括”、“包含”和“具有”的使用不排除在其他实施例中存在或添加一个或多个其他特征、数量、操作、元件、组件和/或它们的组合，并且在说明书中不排除在其他实施例中缺少这样的叙述的特征、数量、操作、元件、组件和/或它们的组合中的任意一个的存在。
此外，诸如第一、第二、A、B、(a)、(b)等术语可在此使用以描述组件。这些术语中的每个术语不用于限定对应的组件的本质、次序或顺序，而仅用于将对应的组件与其他组件区分。
贯穿说明书，当元件(诸如，层、区域或基底)被描述为在另一元件“之上”、“连接到”或“结合到”另一元件时，该元件可直接在所述另一元件“之上”、“连接到”或“结合到”所述另一元件，或者在它们之间可能存在一个或多个其他中间元件。相反，当元件被描述为“直接”在另一元件“之上”、“直接连接”或“直接结合到”另一元件时，在它们之间可不存在中间元件。同样地，例如，“在……之间”与“直接在……之间”以及“与……相邻”与“与……直接相邻”的表述也可如前述来解释。
除非另外定义，否则在此使用的包括技术术语和科学术语的所有术语具有与本公开所属领域的普通技术人员在理解本公开之后通常理解的含义相同的含义。除非在此明确定义，否则诸如在通用字典中定义的术语将被解释为具有与它们在本公开和现有技术的背景中的含义一致的含义，并且不将被解释为理想化或过于正式的意义。
在框中示出的功能或操作可不按根据示例的顺序次序来执行。例如，在连续的框中示出的功能或操作可实际上同时发生，或者框的顺序可基于相关功能或操作而改变。
图1是示出虹膜识别设备的示例的示图。
在此，虹膜识别表示这样的生物技术：根据实施例，可包括使用存在于用户的眼睛的中部的瞳孔与用户的巩膜之间的虹膜的图案执行用户的认证。在不同的实施例中，例如，虹膜识别可包括用户登录的认证、移动支付和访问控制。虹膜识别可包括：获得眼睛图像以及在获得的眼睛图像中识别虹膜，并且虹膜识别还可包括：获得眼睛图像、识别虹膜以及执行一个或多个这样的认证操作。例如，识别虹膜可包括：提取虹膜区域、提取虹膜的特征以及执行提取的特征与一个或多个注册的虹膜的特征的匹配。
参照图1，计算设备110通过虹膜识别来执行针对试图访问计算设备110的用户120的认证操作。例如，用户120可对计算设备110中的基于虹膜识别的用户认证做出尝试以解锁计算设备110、由计算设备110执行的应用的密码输入、或者通过认证用户为针对支付或交易的被授权人的授权支付或其他金融交易。例如，虹膜识别还可针对一个或多个用户(诸如，在可由计算设备110的相机捕获的社交拍摄中捕获的多个人)被实现(诸如，用于计算设备110的运行的相册或社交网络应用中的用户的自动分类或识别)。计算设备110可使用图像获取器(例如，红外相机和电荷耦合器件(CCD)相机)获得包括用户120的眼睛区域的眼睛图像，并分析获得的眼睛图像中的虹膜的虹膜图案，以允许或拒绝用户认证(即，作为认证操作的结果)。相机还可以是彩色相机或灰度相机，或者捕获的图像可选择性地为彩色图像、单色图像、灰度图像等，并且计算设备110可包括多个这样的不同的相机。计算设备110可将眼睛图像中的虹膜图案的特征与存储在计算设备110的非暂时性存储器中的注册的虹膜图案特征(或者，计算设备110可获得的虹膜图案特征或通过计算设备110访问的虹膜图案特征)进行比较，并且计算设备110可基于比较的结果来确定是否认证用户120。在描述的示例中的任意示例中，提取的虹膜还可被存储在计算设备110的存储器中，并且还可被提供给可执行认证操作的外部装置。计算设备110还可被配置为对在此描述的示例中的任意示例中提取的虹膜进行注册(例如，用于与其他提取的虹膜的认证比较的后续使用)。例如，计算设备110可以是智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式机、个人数字助理(PDA)、机顶盒、家用电器、自动取款机(ATM)、门锁或门/区域进入/访问系统、安全装置和车辆启动装置，并且计算设备110可被配置为例如在图1、图11和图12中的任意附图中所示。仅作为示例，在图1中示出计算设备110是智能电话的实施例。
在一个示例中，在计算设备110在锁定模式下操作(例如，防止对计算设备110的其他功能操作的访问)的情况下，计算设备110可被控制为(或者，自动地)通过虹膜识别执行用户120的认证操作。例如，如果计算设备110被配置为许可虹膜认证，则当用户120被允许时，用户120可通过由计算设备110执行的虹膜识别来解锁计算设备110。虹膜识别可根据计算设备的用户交互或操纵而被执行，或者该识别可被自动执行。用户120可预先将与用户120的虹膜相关联的生物信息注册或存储在计算设备110中，并且计算设备110可将与用户120的虹膜相关联的生物信息存储在存储器或云存储器中。实施例包括对与用户120的虹膜之一或两者相关联的生物信息进行这样的注册或存储。当用户120将用户120的眼睛展示给计算设备110的图像获取器以解锁计算设备110时，计算设备110可从包括用户120的眼睛区域的图像提取在虹膜图案中指示的虹膜的特征，并验证提取的特征是否匹配注册的特征。当提取的特征匹配注册的特征时，计算设备110可取消锁定模式并允许用户120访问计算设备110的进一步功能。相反，当提取的特征不匹配注册的特征时，计算设备110可保持锁定模式并限制用户120访问计算设备110的额外的功能或限制用户120访问存储在计算设备110中的数据。
为了通过计算设备110提取用户120的虹膜的特征，计算设备110可被配置为从图像提取虹膜区域，值得注意的是，实施例不限于计算设备110，并且根据实施例，其他计算设备可被配置为提取虹膜区域。因此，在下文中，这样的计算设备可被简称为虹膜区域提取设备。此外，在一个示例中，这样的虹膜区域提取设备可以是计算设备110的组件，或者可由计算设备110本身来表示，这样的虹膜区域提取设备可从通过计算设备110的示例图像获取器获得的或外部图像获取器提供的眼睛图像或面部图像提取虹膜区域。例如，与之前的方法(诸如，执行边缘检测操作以及基于检测的边缘识别虹膜区域边界)相比，在一个或多个实施例中，虹膜区域提取设备可使用基于训练数据训练的神经网络从图像更准确、更快速地提取虹膜区域。在此，可针对虹膜和/或虹膜特征的注册以及针对将提取的虹膜区域的特征与预先注册的虹膜特征进行比较的认证操作来执行包括由相同或不同的设备执行的这样的可替换的方法的虹膜提取方法。值得注意的是，实施例不限于可由这样的示例虹膜区域提取设备执行的提取虹膜区域的方法(在下文中简称为虹膜区域提取方法)。
图2是示出示例虹膜区域提取方法的流程图。
参照图2，在操作210中，虹膜区域提取设备获得眼睛图像。例如，虹膜区域提取设备可使用相机捕获眼睛图像或从外部源接收眼睛图像。眼睛图像表示包括用户的至少一个眼睛区域的图像，例如，眼睛图像可以是彩色图像、灰度图像和红外图像。在一个示例中，虹膜区域提取设备可接收包括面部区域的至少一个面部图像或包括面部区域的部分的至少一个面部图像作为输入图像，并通过从输入图像提取包括虹膜区域的感兴趣区域(ROI)来获得眼睛图像。
在一个示例中，虹膜区域提取设备可获得第一眼睛图像和第二眼睛图像，并从获得的第一眼睛图像和获得的第二眼睛图像选择将提取虹膜区域的目标图像，其中，第一眼睛图像是捕获的用户的眼睛的彩色图像，第二眼睛图像是捕获的用户的眼睛的红外图像。例如，在第一眼睛图像中的眼睛区域被确定为包括伪影(例如，轻微模糊)的情况下，虹膜区域提取设备可选择第二眼睛图像作为提取虹膜区域的目标图像。再例如，在第一眼睛图像被确定为具有比第二眼睛图像更高的质量的情况下，虹膜区域提取设备可选择第一眼睛图像作为提取虹膜区域的目标图像。在另一示例中，虹膜区域提取设备可针对两个示例眼睛图像执行在此讨论的虹膜提取。这里，尽管第一眼睛图像和第二眼睛图像被称为不同类型的捕获的图像(例如，彩色与红外)，但可选地，示例第一眼睛图像和第二眼睛图像可以是两个彩色图像或两个红外图像，并且第一眼睛图像和第二眼睛图像可在同一时间或不同时间被获得或捕获。
在操作220中，虹膜区域提取设备使用神经网络模型(或者，深度神经网络模型)从获得的眼睛图像提取虹膜区域。例如，与神经网络模型相比，深度神经网络模型可以是具有多于一个隐藏层的神经网络。神经网络模型可被配置为用于基于输入到神经网络模型的眼睛图像的图像信息提供将用于确定虹膜区域的信息的分类器。眼睛图像的图像信息可以是与包括在眼睛图像中的每个像素的像素值(例如，颜色值和亮度值、以及在眼睛图像是红外图像的情况下的红外检测值)相关联的信息。
神经网络模型的输出可以是可用于从眼睛图像提取与虹膜区域对应的像素或将与虹膜区域对应的像素分类或者可用于定义虹膜区域的一个或多个几何参数。在这样的示例中，神经网络模型可提供或产生虹膜区域与眼睛图像区分开来的分类图，或者可输出可被认为或用作虹膜区域的表示或定义虹膜区域的边界的圆方程或曲线方程的参数。例如，为了产生或识别瞳孔和虹膜的几何参数，神经网络可以是基于回归的神经网络，所述基于回归的神经网络包括被一个或多个全连接神经网络隐藏层跟随的一个或多个卷积神经网络隐藏层。在这样的示例中，实施例包括使用标记的训练输入图像(例如，瞳孔和虹膜参数已知的训练输入图像)训练神经网络。分类图可以是指示眼睛图像的像素属于哪一类或哪一区域的地图或图像。例如，分类图可指示眼睛图像的像素属于哪一类或哪一区域(例如，瞳孔区域、虹膜区域和除了瞳孔区域和虹膜区域之外的背景)。例如，在一个示例中，对应的基于分类的神经网络可包括被一个或多个全连接神经网络隐藏层跟随的一个或多个卷积神经网络隐藏层，使得这样的分类图或地图可被输出。例如，输入图像块(patch)可被提供给分类神经网络模型，该神经网络模型可识别或输出所述块的第k像素的分类。在这样的示例中，基于分类的神经网络模型可基于标记的训练输入块图像(例如，对应的第k像素的分类已知的训练输入块图像)被训练。
因此，作为神经网络模型的一个示例，可使用被配置为按像素单元对区域进行分类、计算与所述区域相关联的参数的或者被配置为输出与眼睛图像对应的图像的神经网络模型。例如，前面描述的神经网络模型可包括SegNet和全卷积网络(FCN)，其中，FCN被配置为通过多个卷积神经网络隐藏层、或通过一个或多个卷积和一个或多个反卷积神经网络隐藏层从输入图像输出所获得的图像作为分类的结果。输出图像还可包括瞳孔、虹膜和眼睛的除了瞳孔和虹膜之外的其他部分之间的分类。诸如，实施例包括基于这样的不同的分类已知或输出的分类的图像已知的标记的输入眼睛图像的对全卷积神经网络或卷积-反卷积神经网络的训练。可选地，如上所述，可使用被配置为将输入图像的部分块图像的第k像素或中心像素分类为每个类或每个区域(例如，瞳孔区域、虹膜区域或背景区域)的神经网络模型。在使用部分块图像的情况下，可基于与周围或相邻区域有关的信息来执行像素分类，因此，可提高像素分类的准确度，并且不管眼睛图像中的大量噪声和/或眼睛图像中的低对比度，也可获得像素分类的准确结果。此外，仅作为有关示例，如上所述，当神经网络模型被配置为提供与输入图像中将被分类的目标(例如，虹膜区域)相关联的几何参数时，神经网络模型可以是基于回归的神经网络模型。
神经网络模型可基于多条训练数据通过训练处理或学习处理预先被训练，或者通过在装置(例如，图1的计算设备110)中执行的装置上的深度学习处理(on-device deeplearning process)被训练。例如，每个不同描述的神经网络模型可分别基于标记的输入图像信息或期望的对应的输出图像、分类、或几何参数例如通过反向传播算法被训练，其中，在反向传播算法中，不同隐藏层的节点之间的连接权重被递归地调节，直到对应的神经网络模型被训练为止。各个训练的神经网络可被存储在虹膜区域提取设备的存储器中。例如，训练的神经网络可以以训练的矩阵形式被存储，其中，在训练的矩阵形式中，矩阵的元素表示对应的神经网络结构的对应的训练的加权连接。存储的训练的神经网络还可包括超参数(hyper-parameter)信息，其中，超参数信息可定义示例存储的训练的矩阵所对应的对应的神经网络的结构。超参数信息可定义神经网络结构的隐藏层有多少、卷积、反卷积和/或全连接隐藏层有多少以及细节结构，定义神经网络内任意偏差和/或环境节点的使用、以及它们在神经网络内的结构，并定义可根据实施例而变化的神经网络的任意循环结构。
因此，在一个示例中，虹膜区域提取设备可基于使用一个或多个神经网络模型获得的分类图或几何参数从眼睛图像提取虹膜区域。在操作220之后，可通过对提取的虹膜区域执行归一化和滤波来确定虹膜特征(例如，虹膜码)，并且可基于确定的虹膜特征与注册的虹膜特征(例如，授权的或在先认证的用户的注册的虹膜特征)之间的确定的相似度来确定用户认证的结果。因此，虹膜区域提取设备可使用这样的神经网络模型从眼睛图像更快速、更准确地提取虹膜区域。此外，在一个或多个实施例中，任意一个或多个这样的神经网络可分别被用于虹膜区域提取的不同阶段(诸如，针对第一分割操作实现的一个神经网络配置和针对依赖于第一分割操作的结果的第二分割操作实现的第二神经网络配置)。
在下文中，将更详细地描述在操作220中实现的通过虹膜区域提取设备使用一个或多个这样的示例神经网络模型来提取虹膜区域的处理的各种示例，操作220的示例实施方式在以下更详细地描述的图3至图10中的每个中被示出。
图3是示出示例虹膜区域提取方法的示图。
参照图3。虹膜区域提取设备从输入图像310提取ROI 320。ROI 320是包括瞳孔314和虹膜区域312的输入图像310的部分区域。虹膜区域提取设备使用神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从ROI 320的图像330提取虹膜区域354。这里，图像330被称为眼睛图像330。在一个示例中，眼睛图像330的图像信息可被输入到神经网络模型，用于定义虹膜区域的形状的几何参数可基于神经网络模型的输出结果来确定。例如，如在图3中所示，几何参数包括用于定义与虹膜区域的外边界对应的第一圆形342、与虹膜区域和瞳孔区域352之间的边界对应的第二圆形344、与上眼睑对应的第一曲线346和与下眼睑对应的第二曲线347。虹膜区域提取设备可从眼睛图像330提取由第一圆形342、第二圆形344、第一曲线346和第二曲线347包围的区域作为虹膜区域354。因此，虹膜区域提取设备可使用神经网络模型更准确地、更快速地从眼睛图像330提取虹膜区域354。
可存在虹膜区域可能未被上眼睑或下眼睑遮挡的情况。在这种情况下，第一曲线346和第二曲线347中的至少一个的参数可能无法被确定。这里，虹膜区域提取设备可仅使用第一圆形342和第二圆形344的参数、或者额外地使用除了第一圆形342和第二圆形344的参数之外的第一曲线346和第二曲线347之一的参数，从眼睛图像330提取虹膜区域354。
图4是示出示例虹膜区域提取方法的流程图。
参照图4，在操作410中，虹膜区域提取设备使用神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从眼睛图像产生与虹膜区域相关联的分类图。响应于眼睛图像的图像信息被输入到神经网络模型，神经网络模型可针对像素的由神经网络模型确定的或推断的类或区域从眼睛图像提取像素，并且可基于提取像素的结果产生分类图。例如，响应于眼睛图像的每个块区域的图像信息被输入到神经网络模型，神经网络模型可确定或推断(即，基于神经网络的在先的训练确定或推断)每个块区域的中心像素属于虹膜区域、瞳孔区域和背景区域中的哪个。背景区域表示不是虹膜区域且不是瞳孔区域的区域，并且背景区域可包括巩膜区域和由眼睑遮挡的区域。例如，响应于完成对眼睛图像的所有像素的提取，可产生指示眼睛图像的哪些像素属于瞳孔区域、虹膜区域和背景区域中的每个的分类图。像素被分类的类的数量可根据实施例而变化。如上所述，在分类图中，像素可被分类为三个示例类(例如，虹膜区域、瞳孔区域和背景区域)，或者可被分类为两个类(例如，虹膜区域和非虹膜区域)。再例如，像素可被分类为四个或更多的类。因此，尽管在此描述了像素分类为三个类的示例，但应该理解，实施例不限于此。
在操作420中，虹膜区域提取设备使用产生的分类图来估计与虹膜区域相关联的一个或多个几何参数。例如，虹膜区域提取设备可通过将一个或多个几何模型(例如，圆形、椭圆形和/或曲线)拟合到分类图，来确定用于定义虹膜区域的圆方程、椭圆方程和/或曲线方程或形状。例如，几何参数可包括与虹膜区域的外边界对应的第一圆形或第一椭圆形的第一参数、与虹膜区域和瞳孔区域之间的边界对应的第二圆形或第二椭圆形的第二参数、与上眼睑对应的第一曲线的第三参数以及与下眼睑对应的第二曲线的第四参数中的一些参数或所有参数。第一参数和第二参数可分别包括用于定义圆形或椭圆形的系数(诸如，圆形的中心坐标和半径、或椭圆形的焦点坐标以及长轴和短轴的长度)。例如，第三参数和第四参数可包括用于定义曲线的系数。
这里，描述的示例圆形、椭圆形和/或曲线拟合示例可通过任意典型的拟合操作来实现，所述拟合操作诸如，构造具有对一系列数据点的最佳拟合并可受约束(诸如，前述的人眼睛的预定的几何属性/边界、和/或眼睛图像或分类图的不同分类的区域之间的边界)限制的曲线或数学函数的拟合操作。例如，各个拟合操作可包括插值、外推和/或平滑。拟合操作还可基于分别设置的阈值，例如，执行拟合操作直到在拟合的圆形、椭圆形或曲线中存在最小的不确定性为止。此外，尽管针对圆形、椭圆形或曲线几何对象/方程讨论了几何参数，但实施例不限于此，几何模型可基于其他几何对象/方程。例如，在另一示例中，拟合的曲线可以是一次或多次多项式曲线的部分。
在操作430中，虹膜区域提取设备基于估计的几何参数从眼睛图像提取虹膜区域。例如，虹膜区域提取设备可使用几何参数来定义虹膜区域的外边界包围的区域、虹膜区域与瞳孔区域之间的边界、以及眼睑，并从眼睛图像提取或确定定义的区域作为虹膜区域。
在另一示例中，虹膜区域提取设备可基于几何参数来产生最终分类图，并使用产生的最终分类图从眼睛图像提取虹膜区域。虹膜区域提取设备可基于几何参数产生虹膜区域、瞳孔区域和背景区域被定义的最终分类图，并将产生的最终分类图应用于眼睛图像，以提取与最终分类图中的虹膜区域对应的虹膜区域。
图5是示出示例虹膜区域提取方法(诸如，参照图4描述的虹膜提取方法)的示图。
参照图5，虹膜区域提取设备使用神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从眼睛图像510获得分类图520。神经网络模型基于神经网络的确定的或推断的眼睛图像的像素的各个区域(即，基于神经网络的在先训练)从眼睛图像510提取像素，并基于提取像素的结果产生或输出与虹膜区域相关联的分类图520。分类图520指示已由神经网络分类的眼睛图像510的每个像素属于哪个区域(例如，瞳孔区域522、虹膜区域524和背景区域526)。
虹膜区域提取设备使用分类图520来估计将用于定义眼睛图像510中的虹膜区域的几何参数。例如，虹膜区域提取设备将圆形的几何模型拟合到分类图520，并估计与虹膜区域524的外边界对应的第一圆形534和与瞳孔区域522的边界(或者，瞳孔区域522与虹膜区域524之间的边界)对应的第二圆形532。根据一个示例，代替圆形的几何模型的椭圆形的几何模型可用于拟合，椭圆形的几何参数可被估计。虹膜区域提取设备将曲线的几何模型拟合到眼睑中的虹膜与该眼睑之间的边界，并估计与上眼睑对应的第一曲线536和与下眼睑对应的第二曲线538。眼睛图像510中的将由第一圆形534、第二圆形532、第一曲线536和第二曲线538定义的区域540被提取作为眼睛图像510的虹膜区域。随后，虹膜特征可基于提取的区域540被提取，虹膜识别可基于提取的虹膜特征被执行。
图6是示出示例虹膜区域提取方法的流程图。
参照图6，在操作610中，虹膜区域提取设备通过改变眼睛图像的分辨率来产生具有比眼睛图像的分辨率低的分辨率的低分辨率图像，或者使用用于表示低分辨率眼睛图像的来自眼睛图像的选择像素信息。在一个示例中，虹膜区域提取设备可通过眼睛图像的图像压缩或图像降采样来产生眼睛图像的低分辨率图像。作为图像压缩或图像降采样的结果，低分辨率图像的大小可小于眼睛图像的大小。
在操作620中，虹膜区域提取设备使用神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从产生的低分辨率图像产生与虹膜区域相关联的分类图。与参照图4描述的操作410相似，低分辨率图像的图像信息可被输入到神经网络模型，神经网络模型可基于确定的或推断的类或区域从低分辨率图像提取像素，或者将包括在低分辨率图像中的像素分类为各个类。作为提取的结果，低分辨率图像的分类图指示已由神经网络分类的低分辨率图像中的每个像素属于哪个区域(例如，瞳孔区域、虹膜区域和背景区域)。
在操作630中，虹膜区域提取设备使用产生的分类图估计与虹膜区域相关联的几何参数。在一个示例中，虹膜区域提取设备可将分类图的大小调节为与眼睛图像的大小对应，并使用调节了大小的分类图来估计几何参数。例如，可以以与眼睛图像已被压缩或降采样以产生低分辨率图像相反的方式和程度来对分类图调整大小，使得调整大小的分类图具有与眼睛图像相同的尺寸。虹膜区域提取设备可通过将几何模型(诸如，圆形或椭圆、以及曲线)拟合到调整大小的分类图来估计几何参数。在操作640中，虹膜区域提取设备基于估计的几何参数从眼睛图像提取虹膜区域。对于操作630和操作640的详细描述，可参考图4的操作420和操作430的描述，因此这里省略操作630和操作640的更详细的和重复的描述。在可选示例中，可从分类图执行几何模型拟合，并且调整结果的拟合的几何模型以考虑低分辨率眼睛图像与眼睛图像之间的分辨率或尺寸的差异。
图7是示出示例虹膜区域提取方法(诸如，参照图6描述的虹膜区域提取方法)的示图。
参照图7，虹膜区域提取设备通过改变眼睛图像710的分辨率来产生低分辨率图像720。虹膜区域提取设备使用神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从产生的低分辨率图像720产生低分辨率分类图730。这里，低分辨率或更低分辨率指示分类图730的分辨率相对低于在图5中所示的分类图520的分辨率(例如，在图5中所示的分类图520可具有眼睛图像的相同或相似的分辨率或尺寸)。随后，虹膜区域提取设备通过图像缩放或图像插值将分类图730的大小调整为眼睛图像710的大小。因此，诸如另外在此所描述的，随着分类图730的大小的增加，分类图730的分辨率可变为与眼睛图像710的分辨率相同。虹膜区域提取设备通过将几何模型拟合到增大大小的分类图740来确定用于定义虹膜区域的几何参数752、几何参数754、几何参数756和几何参数758。因此虹膜区域设备从眼睛图像710提取由几何参数752、几何参数754、几何参数756和几何参数758定义的区域760作为虹膜区域。以上描述了确定几何参数和提取由几何参数定义的区域作为虹膜区域的处理，因此，这里省略上述处理的更详细的和重复的描述。
图8是示出示例虹膜区域提取方法的流程图。
根据一个示例，虹膜区域提取设备可基于细化区域(refinement region)从眼睛图像提取虹膜区域。虹膜区域提取设备可使用眼睛图像的低分辨率图像在眼睛图像中确定多个细化区域，并基于从细化区域提取像素的结果来确定用于定义虹膜区域的一个或多个几何参数。
参照图8，在操作810中，例如，虹膜区域提取设备通过改变眼睛图像的分辨率产生具有低于眼睛图像的分辨率的分辨率的低分辨率图像。例如，操作810可以与参照图6描述的操作610相同。在操作820中，虹膜区域提取设备使用第一神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从产生的低分辨率图像产生与虹膜区域相关联的分类图。例如，操作820可以与参照图6描述的操作620相同。因此，虹膜区域提取设备可使用第一神经网络模型从低分辨率图像提取或分类像素。作为提取的结果，可确定眼睛图像的虹膜区域的粗化特征(coarse feature)。操作820可基于低分辨率图像来执行，因此，操作或计算的量可相对小于直接对可具有相对高的分辨率的整个眼睛图像执行分类的情况。这里，操作820还可被认为是眼睛图像的第一分割。
在操作830中，虹膜区域提取设备使用产生的分类图在眼睛图像中确定多个细化区域。例如，使用分类图，可更容易确定用于执行眼睛图像的更细化的分类的这样的细化区域。例如，在此使用的细化区域表示用于提取眼睛图像的更细化特征而选择的部分区域，所述部分区域可能需要更高精度的像素分类。虹膜区域提取设备可基于分类图和针对虹膜区域预定义的几何结构信息来确定细化区域。例如，针对虹膜区域，几何结构信息可包括可作为预定义的结构信息的圆形、椭圆形和曲线。仅作为非限制性示例，这样的预定义的几何结构信息可以是指示虹膜区域的形状是否将仅由分别定义瞳孔的轮廓和虹膜的轮廓的两个圆形定义的信息，或者可以是还指示眼睛的形状还可由用于定义至少一个眼睑的遮挡的曲线(例如，除了这样的两个圆形之外)定义的信息，注意，可预定义额外的或可选的预定义的几何结构信息(例如，在确定细化区域之前或在确定细化区域期间)。在一个示例中，细化区域的位置可基于穿过分类图中的瞳孔区域的中心点的直线与瞳孔区域的边界相交的点、或者该直线与分类图中的虹膜区域的边界相交的点来确定。基于与虹膜区域的结构相关联的几何结构信息，可预先确定穿过瞳孔区域的中心点的每条直线的倾角。细化区域可以是以该直线与瞳孔区域的边界相交的点或者该直线与虹膜区域的边界相交的点为中心的部分区域。每个细化区域的大小和形状可基于实施例而变化，细化区域的大小和/或形状可彼此不同，细化区域可以是相同的大小和/或形状，或者一些细化区域可以是不同的大小和/或形状并且一些细化区域可以是相同的大小和/或形状。
在操作840中，虹膜区域提取设备使用第二神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)提取包括在细化区域中的像素。这里，例如，仅细化区域中的像素的图像信息可被输入到第二神经网络模型，第二神经网络模型可针对这些像素中的每个像素执行以像素为单位的分类。例如，第二神经网络模型可将针对眼睛图像的细化区域中的像素分类为与虹膜对应的类、与瞳孔对应的类和与背景对应的类之一。背景表示不是虹膜并且不是瞳孔的区域。被配置为输出针对每个像素执行的分类的结果的神经网络模型可用作第二神经网络模型。作为分类的结果，可产生与细化区域相关联的部分高分辨率分类图。这里，可仅对作为部分区域的细化区域执行分类，因此，可减少例如如果对整个眼睛图像执行分类则可能已对其他区域执行的不必要的操作或计算。在这个示例中，操作840可被认为是针对眼睛图像的第二分割。
在操作850中，虹膜区域提取设备基于从操作840获得的分类的结果从眼睛图像估计与虹膜区域相关联的几何参数。虹膜区域提取设备可通过将几何模型拟合到对细化区域执行的分类的结果来估计几何参数。例如，虹膜区域提取设备可通过对圆形和/或椭圆形以及曲线的拟合从对细化区域执行分类的结果来估计圆形的几何参数和/或椭圆形的几何参数以及曲线的几何参数。在操作860中，虹膜区域提取设备基于估计的几何参数从眼睛图像提取虹膜区域。以上描述了估计几何参数和基于估计的几何参数从眼睛图像提取虹膜区域的处理，因此，这里省略重复的或详细的描述。
在一个示例中，虹膜区域提取设备可使用与虹膜区域相关联的几何参数来产生最终分类图，并使用产生的最终分类图从眼睛图像提取虹膜区域。例如，当将最终分类图应用于眼睛图像时，虹膜区域提取设备可将包括在眼睛图像中的像素之中的与最终分类图的虹膜区域对应的像素确定为包括在虹膜区域中的像素。确定的像素的集合可被提取作为虹膜区域。
如参照图8所述，通过在第一分割操作中使用低分辨率图像确定多个作为部分区域的细化区域，并在第二分割操作中使用在细化区域中的提取或分类像素的结果来提取虹膜区域，可准确地提取虹膜区域，并且还可减少提取虹膜区域所需的操作或计算的量。
图9是示出示例虹膜区域提取方法(诸如，参照图8描述的虹膜区域提取方法)的示图。
参照图9，虹膜区域提取设备通过改变眼睛图像910的分辨率来产生低分辨率图像915。虹膜区域提取设备使用第一神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从低分辨率图像915产生低分辨率分类图920。分类图920可包括瞳孔区域924和虹膜区域922。随后，虹膜区域提取设备使用分类图920来确定将应用于眼睛图像910的多个细化区域。例如，细化区域可包括与瞳孔区域的边界、虹膜区域的外边界和由上眼睑或下眼睑遮挡的虹膜区域的边界对应的细化区域。虹膜区域提取设备使用分类图920和与虹膜区域相关联的几何模型来确定细化区域。例如，几何模型可包括用于定义瞳孔区域和虹膜区域的两个圆形或椭圆形，以及用于定义上眼睑和/或下眼睑的形状的曲线。
在一个示例中，与瞳孔区域的边界对应的细化区域950可如下被确定：(1)可从分类图920估计瞳孔区域924的中心点；(2)可确定以基于水平轴预设的角度(例如，0°和90°)延伸的直线在穿过瞳孔区域924的中心点时与瞳孔区域924的边界相交的点的周围的部分区域940；(3)可将眼睛图像910中的与分类图920的部分区域940的位置对应的区域确定为与瞳孔区域的边界对应的细化区域950。
在一个示例中，与虹膜区域的外边界对应的细化区域942和细化区域944可如下被确定：(1)可确定以基于水平轴预设的角度(例如，以逆时针方向的0°、15°和165°)延伸的直线在穿过瞳孔区域924的中心点时与虹膜区域922的边界相交的点的周围的部分区域932和部分区域934；(2)可将眼睛图像910中的与分类图920的部分区域932和部分区域934的位置对应的区域确定为与虹膜区域的外边界对应的细化区域942和细化区域944。
在一个示例中，与由上眼睑和下眼睑遮挡的虹膜区域的边界对应的细化区域946和细化区域948可如下被确定：(1)可确定以基于水平轴预设的角度(例如，75°、90°和115°)延伸的直线在穿过瞳孔区域924的中心点时与虹膜区域922的边界相交的点的周围的部分区域936和部分区域938；(2)可将眼睛图像910中的与分类图920的部分区域936和部分区域938的位置对应的区域确定为与由上眼睑和下眼睑遮挡的虹膜区域的外边界对应的细化区域946和细化区域948。
因此，在一个示例中，虹膜区域提取设备可使用第二神经网络模型(诸如，针对图2描述的和以上针对图8所讨论的任意的前述的神经网络或者神经网络的组合)来提取或分类包括在眼睛图像910的细化区域942、细化区域944、细化区域946、细化区域948和细化区域950中的像素。第二神经网络模型可比第一神经网络模型更具体地分类像素。例如，由于眼睛图像910的使用，可存在比先前可用于低分辨率图像915的像素的分类的像素信息更多的能够用于向分类操作提供见解的像素信息，并且第二神经网络模型可被配置为执行更精确的分类确定或推断。作为第二神经网络模型提取或分类的结果，可产生指示细化区域942、细化区域944、细化区域946、细化区域948和细化区域950中的每个像素属于哪个区域(例如，瞳孔、虹膜和背景)的高分辨率分类图960。在此使用的高分辨率术语指示分类图960的分辨率相对高于分类图920的分辨率。
虹膜区域提取设备从在分类图960中指示的像素分类结果962、像素分类结果964、像素分类结果966、像素分类结果968和像素分类结果970估计用于定义虹膜区域的几何参数。虹膜区域提取设备使用圆形或椭圆形拟合方法从像素分类结果970估计用于定义瞳孔区域的几何参数978，并从像素分类结果962和像素分类结果964估计用于定义虹膜的外边界的几何参数978。此外，虹膜区域提取设备使用曲线拟合方法从像素分类结果966估计用于定义由上眼睑遮挡的虹膜区域的边界的几何参数972。虹膜区域提取设备从像素分类结果968估计用于定义由下眼睑遮挡的虹膜区域的边界的几何参数974。
根据一个实施例，虹膜区域提取设备可基于估计的几何参数972、估计的几何参数974、估计的几何参数976和估计的几何参数978选择性地产生分类图980。分类图980可包括由几何参数978定义的瞳孔区域982以及由几何参数972、几何参数974、几何参数976和几何参数978定义的虹膜区域984。
虹膜区域提取设备使用几何参数972、几何参数974、几何参数976和几何参数978、或者分类图980从眼睛图像910提取虹膜区域992。虹膜区域提取设备从眼睛图像910提取眼睛图像910中的由几何参数972、几何参数974、几何参数976和几何参数978定义的区域、或者与分类图980的虹膜区域984对应的区域作为虹膜区域992。
如上所述，虹膜区域提取设备可对眼睛图像中的部分区域执行高度准确的分类以从眼睛图像提取虹膜区域。因此，虹膜区域提取设备可更准确地和更快速地提取虹膜区域。此外，虹膜区域提取设备可减少提取虹膜区域所需的资源。此外，虹膜区域提取设备可随后将提取的虹膜区域992的特征与注册的虹膜区域的特征进行比较，并基于比较的结果通过或拒绝眼睛图像的认证。
图10是示出示例虹膜区域提取方法的流程图。
参照图10，在操作1010中，虹膜区域提取设备通过改变眼睛图像的分辨率来产生具有比眼睛图像的分辨率低的分辨率的低分辨率图像。在操作1020中，虹膜区域提取设备使用第一神经网络模型(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)从产生的低分辨率图像获得与虹膜区域相关联的第一几何参数。例如，当低分辨率图像的图像信息被输入到第一神经网络模型时，第一神经网络模型可获得与低分辨率图像中的虹膜区域的几何结构相关联的第一几何参数。第一几何参数可包括与用于定义瞳孔和虹膜中的每个的形状的圆形或椭圆形以及曲线相关联的信息。第一神经网络模型可以是预训练的用于基于输入图像信息输出与虹膜区域相关联的几何参数的神经网络模型。
在操作1030中，虹膜区域提取设备使用第一几何参数在眼睛图像中确定多个细化区域。虹膜区域提取设备可使用第一几何参数从眼睛图像确定粗化虹膜区域和粗化瞳孔区域，并基于预定义的几何结构信息确定细化区域。在一个示例中，细化区域的位置可基于穿过在眼睛图像中确定的粗化瞳孔区域的中心点的直线与粗化瞳孔区域的边界相交的点、或者该直线与在眼睛图像中确定的粗化虹膜区域的边界相交的点来确定。例如，细化区域可以是以该直线与瞳孔区域的边界或虹膜区域的边界相交的点为中心的部分区域。每个细化区域的大小和形状可基于实施例而变化，细化区域的大小和/或形状可彼此不同，细化区域可以是相同的大小和/或形状，或者一些细化区域可以是不同的大小和/或形状并且一些细化区域可以是相同的大小和/或形状。例如，与在图6中所示的示例不同，虹膜区域提取设备可不使用分类图来确定细化区域。
在操作1040中，虹膜区域提取设备使用第二神经网络(诸如，针对图2描述的任意的前述的神经网络或神经网络的组合)提取包括在细化区域中的像素。在操作1050中，虹膜区域提取设备基于在操作1040中执行的提取的结果从眼睛图像估计与虹膜区域相关联的第二几何参数。在操作1060中，虹膜区域提取设备基于估计的第二几何参数从眼睛图像提取虹膜区域。参照图10描述的操作1040至操作1060可对应于参照图8描述的操作840和操作860，因此，这里省略操作1040至操作1060的更详细的和重复的描述。
图11是示出根据在此描述的一个或多个或所有的方法的被配置为执行虹膜区域提取的示例设备的示图。如在图11中所示，虹膜区域提取设备1100可从包括眼睛区域的输入图像提取虹膜区域。参照图11，例如，虹膜区域提取设备1100包括处理器1110和存储器1120。
处理器1110可执行参照图1至图10描述的一个或多个或所有的操作。例如，处理器1110可被配置为使用神经网络模型(诸如，可被储存在存储器中的针对图2描述的任意的前述的神经网络或神经网络的组合)从输入图像获得分类图和与虹膜区域相关联的一个或多个几何参数，并可使用获得的分类图和获得的几何参数从输入图像识别虹膜区域。处理器1110可提取识别的虹膜区域，之后通过将提取的虹膜区域的特征与存储在存储器中的参考或注册的虹膜区域的特征进行比较来执行提取的虹膜区域的认证。例如，处理器1110可确定提取的虹膜区域的虹膜特征，并基于确定的虹膜特征是否匹配注册的特征来确定是否认证用户。处理器1110可被实现为多个逻辑门的阵列，或者可选地，被实现为其他形式的计算硬件。处理器1110代表一个多个处理器。
存储器1120是可存储指令的一个或多个非暂时性计算机可读介质，使得当该指令由处理器1110执行时，使处理器1110执行参照图1至图10描述的一个或多个或所有的操作、存储由虹膜区域提取设备1100执行的计算的结果、以及存储一个或多个前述神经网络。例如，存储器1120可包括高速随机存取存储器(RAM)和非易失性计算机可读存储介质(例如，至少一个磁盘存储器装置、闪存装置、和其他非易失性固态存储器装置)。
图12是示出根据在此描述的一个或多个或所有方法的被配置为执行虹膜区域提取的示例计算设备的示图。
如在图12中所示，计算设备1200可获得包括用户的眼睛区域的图像，并从获得的图像提取虹膜区域。例如，考虑应用的神经网络模型的图像输入层的期望的分辨率或者设置的尺寸，计算设备1200可在执行虹膜区域提取之前首先执行获得的图像的感兴趣区域(ROI)的提取或裁剪，诸如，将虹膜区域提取聚焦于主要或仅是一个或多个眼睛的结果图像。计算设备1200可从提取的虹膜区域提取虹膜特征，并基于提取的虹膜特征执行用户认证。计算设备1200可被配置为执行虹膜提取操作(诸如，图11中所示的虹膜区域提取设备1100的虹膜提取操作)。参照图12，计算设备1200包括处理器1210、存储器1220、第一相机1230、第二相机1235、存储器装置1240、输入装置1250、输出装置1260、网络装置1270、光源1275和总线1280。计算设备1200的每个组件可通过总线1280与其他组件交换数据。
处理器1210可执行将在计算设备1200中实现的各种功能和指令。例如，处理器1210可处理存储在存储器1220或存储器装置1240中的指令。例如，处理器1210可执行以上参照图1至图11描述的一个或多个或所有的操作。
存储器1220是可将信息存储在计算设备1200中的一个或多个非暂时性计算机可读介质。例如，存储器1220可包括计算机可读存储介质或计算机可读存储装置。例如，存储器1220可包括RAM、动态RAM(DRAM)、静态RAM(SRAM)以及现有技术中公知的其他形式的非易失性存储器。存储器1220可存储将由处理器1210实现的指令，并在由计算设备1200执行软件或应用期间存储包括指令的有关的信息，当该指令由处理器1210执行时，使处理器实现以上参照图1至图11描述的一个或多个或所有的操作。此外，存储器1220和存储器装置1240之一或两者可存储在此描述的前述神经网络模型。
第一相机1230可捕获静态图像、视频图像或者静态图像和视频图像两者。在一个示例中，第一相机1230可捕获从尝试用户认证的用户输入的图像。第二相机1235可捕获红外图像。可从计算设备1200的向外辐射红外光的光源1275辐射红外线，可通过第二相机1235捕获由尝试虹膜验证的用户反射的红外线。
根据一个示例，计算设备1200可包括第一相机1230和第二相机1235中的至少一个(例如，至少一个第一相机1230、仅第一相机1230、至少一个第二相机1235、仅第二相机1235、或者一个或多个第一相机1230和一个或多个第二相机1235)。计算设备1200可包括更多的相机。在一个示例中，计算设备1200可从由第一相机1230获得的第一图像和由第二相机1235获得的第二图像选择包括用户的更清晰的眼睛区域的图像，并仅使用选择的图像执行虹膜提取。例如，计算设备1200可基于第一图像和第二图像中的每个的确定的质量以及第一图像和第二图像中的确定的伪影(例如，轻微模糊)的存在来选择虹膜区域将被提取的图像。
存储器装置1240是可包括计算机可读存储介质或计算机可读存储装置的一个或多个非暂时性计算机可读介质。在一个示例中，与存储器1220相比，存储器装置1240可存储大量的信息，并将信息存储长的时间段。例如，存储器装置1240可包括磁硬盘、光盘、闪存、可擦除可编程只读存储器(EPROM)、软盘和现有技术中公知的其他形式的非易失性存储器。存储器装置1240还可存储将由处理器1210实现的指令，并在由计算设备1200执行软件或应用期间存储包括指令的有关的信息，当该指令由处理器1210执行时，使处理器实现以上参照图1至图11描述的一个或多个或所有的操作。
输入装置1250可从用户接收输入(例如，触觉输入、视频输入、音频输入和触摸输入)。例如，输入装置1250可包括键盘、鼠标、触摸屏、麦克风和被配置为检测来自用户的输入并将检测到的输入传递到计算设备1200的其他装置。
输出装置1260可通过视觉、听觉或触觉方式向用户提供计算设备1200的输出。例如，输出装置1260可比较液晶显示器(LCD)、发光二极管(LED)显示器、触摸屏、扬声器、振荡器和被配置为向用户提供输出的其他装置。输出装置还可包括针对外部显示器、触摸屏、扬声器、振荡器、或者更大的或外部的处理装置(诸如，被提供提取的虹膜区域并对提取的虹膜区域执行认证的装置)的其他组件的各个输出接口。例如，输出装置还可指示提取的虹膜与注册的虹膜或提取的虹膜的特征与注册的虹膜的特征的认证的成功。
网络装置1270是被配置为通过有线和/或无线网络与外部装置通信的硬件模块。例如，网络装置1270可包括以太网卡、光学收发器和射频(RF)收发器、或者被配置为发送和接收信息的另一网络接口卡。网络装置1270可被配置为使用通信方法(例如，仅作为示例，蓝牙、WiFi、第三代(3G)方法、长期演进(LTE)方法、第五代(5G)方法)与外部装置通信。在一个示例中，协同处理器1210的控制并使用存储器1220和存储器装置1240之一或两者，网络装置1270还可接收并存储对在此描述的任意一个或多个或所有的神经网络的更新和改变，其中，所述神经网络包括用于通过其他机器学习模型实现所述神经网络的模型和指令，其他机器学习模型被实现为更多实施例。例如，网络装置1270还可被配置为根据在此描述的任意虹膜提取方法向可为远程的另一处理装置提供或发送提取的虹膜区域，用于所述另一处理装置基于发送的或提供的提取的虹膜区域的认证操作的执行。
通过被配置为执行在本申请中描述的由硬件组件所执行的操作的硬件组件来实现执行在本申请中描述的操作的仅作为示例的关于图1至图12描述的计算设备、虹膜提取设备、计算设备110、虹膜提取设备1100、处理器1110、存储器1120、计算设备1200、处理器1210、存储器1220、第一相机1230、第二相机1235、存储器装置1240、输入装置1250、输出装置1260、网络装置1270、光源1275。可用于执行在本申请中的适当位置描述的操作的硬件组件的示例包括：控制器、传感器、产生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器和被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行在本申请中描述的操作的一个或多个硬件组件通过计算硬件(例如，通过一个或多个处理器或计算机)来实现。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元)、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编辑门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合，来实现处理器或计算机。在一个示例中，处理器或计算机包括或被连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算器实现的硬件组件可执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行在本申请中描述的操作。硬件组件还可响应于指令或软件的执行，访问、操纵、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述中，但在其他示例中，可使用多个处理器或多个计算机，或者一个处理器或一个计算机可包括多个处理元件或多种类型的处理元件或者两者。例如，可通过单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器，来实现单个硬件组件、或者两个或更多个硬件组件。可通过一个或多个处理器、或者一个处理器和一个控制器，来实现一个或多个硬件组件，并且可通过一个或多个其他处理器、或者另一处理器和另一控制器，来实现一个或多个其他硬件组件。一个或多个处理器、或者一个处理器和一个控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有多个不同的处理配置中的任意一个或多个，不同的处理配置的示例包括：单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
通过计算硬件(例如，通过一个或多个处理器或计算机)来执行在图1至图12中所示的执行在本申请中描述的操作的方法，其中，计算硬件被实现为如上所述地执行指令或软件，以执行在本申请中描述的由所述方法所执行的操作。例如，单个操作、或者两个或更多个操作可通过单处理器、或者两个或更多个处理器、或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器、或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理或者另一处理器和另一控制器来执行。一个或多个处理器、或者一个处理器和一个控制器可执行单个操作、或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置一个或多个处理器或计算机作为用于执行由硬件组件执行的操作和如上所述的方法的机器或专用计算机进行操作。在一个示例中，指令或软件包括直接由一个或多个处理器或计算机执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及说明书中的相应描述使用任意编程语言编写指令或软件，其中，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件以及数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、和任何其他设备，该任何其他设备被配置为以非暂时方式存储指令或软件、以及任何相关联的数据、数据文件以及数据结构，并向一个或多个处理器或计算机提供指令或软件、以及任何相关联的数据、数据文件以及数据结构，以便一个或多个处理器或计算机能够执行指令。在一个示例中，指令或软件、以及任何相关联的数据、数据文件以及数据结构分布在联网的计算机系统上，以便指令和软件、以及任何相关联的数据、数据文件以及数据结构被一个或多个处理器或计算机以分布式方式存储、访问和执行。
尽管本公开包括特定示例，但是在理解本申请的公开后将清楚的是，在不脱离权利要求和它们的等同物的精神和范围的情况下，可对这些示例做出形式和细节上的各种改变。在此描述的示例将被认为仅是描述性的，而非为了限制的目的。在每个示例中的特征或方面的描述将被认为适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果在描述的系统、架构、装置、或电路中的组件以不同的方式组合，和/或被其他组件或它们的等同物代替或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为被包括在本公开中。

Claims (29)

1.一种处理器实现的虹膜区域提取方法，所述虹膜区域提取方法包括：
获得眼睛图像；
使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域，
其中，提取虹膜区域的步骤包括：
通过向第一训练的神经网络模型提供眼睛图像的低分辨率图像，执行眼睛图像的第一分割，以确定多个作为部分区域的细化区域；
使用第二训练的神经网络模型，执行眼睛图像的第二分割，以提取包括在细化区域中的像素，其中，眼睛图像的第二分割依赖于眼睛图像的第一分割的结果；
基于第二分割的结果，从眼睛图像提取虹膜区域。
2.如权利要求1所述的虹膜区域提取方法，还包括：
获得包括眼睛的图像，并执行所述图像的裁剪以获得眼睛图像；
从提取的虹膜区域提取特征；
将提取的特征与注册的虹膜信息进行匹配。
3.如权利要求1所述的虹膜区域提取方法，其中，提取虹膜区域的步骤包括：
从眼睛图像提取与虹膜区域对应的像素作为训练的神经网络模型的输出。
4.如权利要求1所述的虹膜区域提取方法，其中，提取虹膜区域的步骤包括：
使用训练的神经网络模型，从眼睛图像产生与虹膜区域相关联的第一分类图；
使用产生的第一分类图，估计与虹膜区域相关联的一个或多个几何参数；
基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
5.如权利要求4所述的虹膜区域提取方法，其中，估计所述一个或多个几何参数的步骤包括：执行将一个或多个几何方程拟合到第一分类图的拟合操作，其中，拟合的步骤包括：估计拟合到第一分类图的特征的圆形、椭圆形和曲线中的至少一个的几何参数。
6.如权利要求5所述的虹膜区域提取方法，其中，所述一个或多个几何参数包括：多个几何参数，所述多个几何参数包括第一参数和第二参数，其中，第一参数用于定义与呈现在第一分类图中的虹膜区域的外边界对应的第一圆形或第一椭圆形的形状，第二参数用于定义与呈现在第一分类图中的虹膜区域和瞳孔区域之间的边界对应的第二圆形或第二椭圆形的形状。
7.如权利要求6所述的虹膜区域提取方法，其中，所述多个几何参数还包括：第三参数和第四参数中的至少一个，其中，第三参数用于定义与上眼睑对应的第一曲线的形状，第四参数用于定义与下眼睑对应的第二曲线的形状。
8.如权利要求4所述的虹膜区域提取方法，其中，基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域的步骤包括：
基于估计的一个或多个几何参数，产生第二分类图；
使用产生的第二分类图，从眼睛图像提取虹膜区域。
9.如权利要求1所述的虹膜区域提取方法，其中，提取虹膜区域的步骤包括：
通过改变眼睛图像的分辨率，产生眼睛图像的低分辨率图像；
使用训练的神经网络模型，从低分辨率图像产生与虹膜区域相关联的分类图；
使用产生的分类图，估计与虹膜区域相关联的一个或多个几何参数；
基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
10.如权利要求9所述的虹膜区域提取方法，其中，估计所述一个或多个几何参数的步骤包括：
调整分类图的大小，以匹配眼睛图像的大小；
使用调整大小的分类图，估计所述一个或多个几何参数。
11.如权利要求1所述的虹膜区域提取方法，其中，提取虹膜区域的步骤包括：
使用训练的神经网络模型，从眼睛图像获得与虹膜区域相关联的几何参数；
基于获得的几何参数，从眼睛图像提取虹膜区域。
12.如权利要求1所述的虹膜区域提取方法，还包括：
分别分析第一眼睛图像和第二眼睛图像，以将第一眼睛图像和第二眼睛图像之一选择为获得的眼睛图像，其中，第一图像是捕获的用户的眼睛的彩色图像，第二图像是捕获的用户的所述眼睛的红外图像。
13.如权利要求1所述的虹膜区域提取方法，其中，获得眼睛图像的步骤包括：
从输入图像提取包括虹膜区域的感兴趣区域作为获得的眼睛图像。
14.一种处理器实现的虹膜区域提取方法，所述虹膜区域提取方法包括：
获得眼睛图像；
使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域，
其中，提取虹膜区域的步骤包括：
产生眼睛图像的低分辨率图像；
使用第一训练的神经网络模型，从产生的低分辨率图像产生与虹膜区域相关联的分类图；
使用产生的分类图，在眼睛图像中确定多个细化区域；
使用第二训练的神经网络模型，从所述多个细化区域提取像素；
基于提取像素的结果，从眼睛图像提取虹膜区域。
15.如权利要求14所述的虹膜区域提取方法，其中，确定所述多个细化区域的步骤包括：
基于分类图和针对虹膜区域预定义的结构信息，在眼睛图像中确定所述多个细化区域。
16.如权利要求14所述的虹膜区域提取方法，其中，基于提取像素的结果，从眼睛图像提取虹膜区域的步骤包括：
基于提取像素的结果，估计与虹膜区域相关联的一个或多个几何参数；
基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
17.一种处理器实现的虹膜区域提取方法，所述虹膜区域提取方法包括：
获得眼睛图像；
使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域，
其中，提取虹膜区域的步骤包括：
产生眼睛图像的低分辨率图像；
使用第一训练的神经网络模型，从产生的低分辨率图像获得与虹膜区域相关联的几何参数；
使用获得的几何参数，在眼睛图像中确定多个细化区域；
使用第二训练的神经网络模型，从所述多个细化区域提取像素；
基于提取像素的结果，从眼睛图像提取虹膜区域。
18.如权利要求17所述的虹膜区域提取方法，其中，基于提取像素的结果，从眼睛图像提取虹膜区域的步骤包括：
基于提取像素的结果，估计与虹膜区域相关联的一个或多个几何参数；
基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
19.一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，使处理器执行如权利要求1至18中的任意一项所述的虹膜区域提取方法。
20.一种虹膜区域提取设备，包括：
一个或多个处理器，被配置为使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域，
其中，所述一个或多个处理器被配置为：
通过向第一训练的神经网络模型提供眼睛图像的低分辨率图像，执行眼睛图像的第一分割，以确定多个作为部分区域的细化区域；
使用第二训练的神经网络模型，执行眼睛图像的第二分割，以提取包括在细化区域中的像素，其中，眼睛图像的第二分割依赖于眼睛图像的第一分割的结果；
基于第二分割的结果，从眼睛图像提取虹膜区域。
21.如权利要求20所述的虹膜区域提取设备，其中，所述一个或多个处理器被配置为：
使用训练的神经网络模型，从眼睛图像产生与虹膜区域相关联的分类图；
使用产生的分类图，估计与虹膜区域相关联的一个或多个几何参数；
基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
22.如权利要求21所述的虹膜区域提取设备，其中，为了估计所述一个或多个几何参数，所述一个或多个处理器被配置为：执行将一个或多个几何方程拟合到分类图的拟合操作，其中，拟合的处理包括：估计拟合到分类图的特征的圆形、椭圆形和曲线中的至少一个的几何参数。
23.如权利要求22所述的虹膜区域提取设备，其中，所述一个或多个几何参数包括：多个几何参数，所述多个几何参数包括第一参数和第二参数，其中，第一参数用于定义与呈现在分类图中的虹膜区域的外边界对应的第一圆形或第一椭圆形的形状，第二参数用于定义与呈现在分类图中的虹膜区域和瞳孔区域之间的边界对应的第二圆形或第二椭圆形的形状。
24.一种虹膜区域提取设备，包括：
一个或多个处理器，被配置为使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域，
其中，所述一个或多个处理器被配置为：
产生眼睛图像的低分辨率图像；
使用第一训练的神经网络模型，从产生的低分辨率图像产生与虹膜区域相关联的分类图，其中，产生的分类图具有比眼睛图像低的分辨率；
使用产生的分类图，在眼睛图像中确定多个细化区域；
使用第二训练的神经网络模型，从所述多个细化区域提取像素；
基于提取像素的结果，从眼睛图像提取虹膜区域。
25.一种虹膜区域提取设备，包括：
一个或多个处理器，被配置为使用训练的神经网络模型，从获得的眼睛图像提取虹膜区域，
其中，所述一个或多个处理器被配置为：
产生眼睛图像的低分辨率图像；
使用第一训练的神经网络模型，从产生的低分辨率图像获得与虹膜区域相关联的几何参数；
使用获得的几何参数，在眼睛图像中确定多个细化区域；
使用第二训练的神经网络模型，从确定的多个细化区域提取像素；
基于提取像素的结果，估计与虹膜区域相关联的一个或多个几何参数；
基于估计的一个或多个几何参数，从眼睛图像提取虹膜区域。
26.一种处理器实现的虹膜区域提取方法，所述虹膜区域提取方法包括：
向第一训练的神经网络模型提供眼睛的第一图像，以产生第一训练的神经网络模型的输出；
通过使用第一训练的神经网络模型的输出执行一个或多个几何方程的拟合操作，来估计一个或多个几何参数，其中，拟合的步骤包括：估计所述眼睛的虹膜区域的圆形、椭圆形和曲线中的至少一个的几何参数；
基于估计的一个或多个几何参数，从所述眼睛的第二图像提取虹膜区域，
其中，提取虹膜区域的步骤包括：
基于估计的一个或多个几何参数，在第二图像中确定多个细化区域；
使用第二训练的神经网络模型，从所述多个细化区域提取像素；
基于提取像素的结果，从第二图像提取虹膜区域。
27.如权利要求26所述的虹膜区域提取方法，其中，基于提取像素的结果，从第二图像提取虹膜区域的步骤包括：
基于提取像素的结果，估计与虹膜区域相关联的至少一个几何参数；
基于估计的至少一个几何参数，从第二图像提取虹膜区域。
28.如权利要求26所述的虹膜区域提取方法，其中，所述一个或多个几何参数包括：多个几何参数，所述多个几何参数包括第一参数和第二参数，其中，第一参数用于定义与呈现在第一训练的神经网络模型的输出中的虹膜区域的外边界对应的第一圆形或第一椭圆形的形状，第二参数用于定义与呈现在第一训练的神经网络模型的输出中的虹膜区域和瞳孔区域之间的边界对应的第二圆形或第二椭圆形的形状。
29.如权利要求26所述的虹膜区域提取方法，其中，第一图像是红外图像，第二图像是彩色图像。
CN201710984236.7A 2016-11-11 2017-10-20 虹膜区域提取的方法和设备 Active CN108073889B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0150488 2016-11-11
KR1020160150488A KR20180053108A (ko) 2016-11-11 2016-11-11 홍채 영역 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
CN108073889A CN108073889A (zh) 2018-05-25
CN108073889B true CN108073889B (zh) 2023-08-01

Family

ID=59699566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710984236.7A Active CN108073889B (zh) 2016-11-11 2017-10-20 虹膜区域提取的方法和设备

Country Status (4)

Country Link
US (1) US10579872B2 (zh)
EP (1) EP3321850B1 (zh)
KR (1) KR20180053108A (zh)
CN (1) CN108073889B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758406B (zh) 2015-05-11 2024-02-23 奇跃公司 用于使用神经网络的生物特征用户识别的设备、方法和系统
US11568627B2 (en) 2015-11-18 2023-01-31 Adobe Inc. Utilizing interactive deep learning to select objects in digital visual media
US10192129B2 (en) 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
CN105930762A (zh) * 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置
CA3015658A1 (en) 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
EP3424406A1 (en) * 2016-11-22 2019-01-09 Delphinium Clinic Ltd. Method and system for classifying optic nerve head
US10521661B2 (en) * 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
US10860919B2 (en) 2017-09-27 2020-12-08 Google Llc End to end network model for high resolution image segmentation
US11100205B2 (en) * 2017-11-13 2021-08-24 Jpmorgan Chase Bank, N.A. Secure automated teller machine (ATM) and method thereof
US11244195B2 (en) * 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
CN109002796B (zh) * 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
EP3859665A4 (en) 2018-09-26 2021-11-24 NEC Corporation INFORMATION PROVIDING DEVICE, INFORMATION PROVISION METHOD AND STORAGE MEDIUM
US11113553B2 (en) * 2018-11-15 2021-09-07 Brown University Iris recognition using fully convolutional networks
US11080849B2 (en) * 2018-12-21 2021-08-03 General Electric Company Systems and methods for deep learning based automated spine registration and label propagation
US11282208B2 (en) 2018-12-24 2022-03-22 Adobe Inc. Identifying target objects using scale-diverse segmentation neural networks
JP7211492B2 (ja) * 2019-03-29 2023-01-24 日本電気株式会社 撮像システムおよび撮像方法
TWI754806B (zh) * 2019-04-09 2022-02-11 栗永徽 利用深度學習定位虹膜之裝置與方法
EP3973468A4 (en) 2019-05-21 2022-09-14 Magic Leap, Inc. HANDPOSITION ESTIMATING
KR102212125B1 (ko) * 2019-07-30 2021-02-05 동국대학교 산학협력단 조건부 적대적 생성 신경망을 이용하는 홍채 인식 장치 및 방법
CN110929570B (zh) * 2019-10-17 2024-03-29 珠海虹迈智能科技有限公司 虹膜快速定位装置及其定位方法
CN112906431B (zh) * 2019-11-19 2024-05-24 北京眼神智能科技有限公司 一种虹膜图像分割方法、装置、电子设备及存储介质
CN111260610B (zh) * 2020-01-08 2023-08-01 上海美沃精密仪器股份有限公司 一种基于房角开放距离曲线的眼前节状态表征方法及系统
CN113139404A (zh) * 2020-01-18 2021-07-20 西安艾瑞生物识别科技有限公司 基于深度学习虹膜识别算法快速识别技术
CN111507201B (zh) * 2020-03-27 2023-04-18 北京万里红科技有限公司 人眼图像处理方法、人眼识别方法、装置及存储介质
CN111539256B (zh) * 2020-03-31 2023-12-01 北京万里红科技有限公司 一种虹膜特征提取方法、装置及存储介质
KR102498438B1 (ko) * 2020-05-25 2023-02-13 주식회사 에이제이투 홍채 이미지 생성 장치 및 방법
CN111832540B (zh) * 2020-07-28 2021-01-15 吉林大学 一种基于非稳态虹膜视频流仿生神经网络的身份验证方法
US11335004B2 (en) 2020-08-07 2022-05-17 Adobe Inc. Generating refined segmentation masks based on uncertain pixels
KR102319328B1 (ko) * 2020-11-12 2021-10-29 이종우 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버
US11676279B2 (en) 2020-12-18 2023-06-13 Adobe Inc. Utilizing a segmentation neural network to process initial object segmentations and object user indicators within a digital image to generate improved object segmentations
US11875510B2 (en) 2021-03-12 2024-01-16 Adobe Inc. Generating refined segmentations masks via meticulous object segmentation
CN113190117B (zh) * 2021-04-29 2023-02-03 南昌虚拟现实研究院股份有限公司 瞳孔、光斑定位方法、数据计算方法及相关装置
KR102613387B1 (ko) * 2021-06-21 2023-12-13 주식회사 에이제이투 홍채 인식용 이미지 생성 장치 및 방법
CN113537173B (zh) * 2021-09-16 2022-03-18 中国人民解放军国防科技大学 一种基于面部补丁映射的人脸图像真伪识别方法
TWI824511B (zh) * 2022-05-09 2023-12-01 南臺學校財團法人南臺科技大學 瞳孔影像檢測系統及其方法
CN114758424B (zh) * 2022-06-14 2022-09-02 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN117132777B (zh) * 2023-10-26 2024-03-22 腾讯科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1674034A (zh) * 2005-04-07 2005-09-28 上海邦震科技发展有限公司 基于特征边缘分布的虹膜几何特征提取方法
CN105389842A (zh) * 2015-10-29 2016-03-09 中国人民解放军空军航空大学 基于选择区域的纹理模型简化方法
CN105979847A (zh) * 2014-02-07 2016-09-28 国立大学法人广岛大学 内窥镜图像诊断辅助系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381345B1 (en) * 1997-06-03 2002-04-30 At&T Corp. Method and apparatus for detecting eye location in an image
JP3610234B2 (ja) * 1998-07-17 2005-01-12 株式会社メディア・テクノロジー アイリス情報取得装置およびアイリス識別装置
US20060059365A1 (en) * 1999-12-06 2006-03-16 Bsi2000, Inc. Facility security with optical cards
KR100453943B1 (ko) * 2001-12-03 2004-10-20 주식회사 세넥스테크놀로지 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템
JP2006287749A (ja) * 2005-04-01 2006-10-19 Canon Inc 撮像装置、及びその制御方法
US20090252382A1 (en) 2007-12-06 2009-10-08 University Of Notre Dame Du Lac Segmentation of iris images using active contour processing
US8411910B2 (en) 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
US20100070527A1 (en) * 2008-09-18 2010-03-18 Tianlong Chen System and method for managing video, image and activity data
JP4962470B2 (ja) 2008-10-23 2012-06-27 株式会社デンソー 眼領域検出装置、及びプログラム
US8317325B2 (en) * 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
US8768014B2 (en) 2009-01-14 2014-07-01 Indiana University Research And Technology Corp. System and method for identifying a person with reference to a sclera image
CN102411709A (zh) * 2011-12-02 2012-04-11 湖南大学 一种虹膜分割识别方法
KR101302601B1 (ko) 2012-04-12 2013-08-30 오용길 홍채인증용 영상처리장치 및 그 방법
CN102902967B (zh) * 2012-10-16 2015-03-11 第三眼（天津）生物识别科技有限公司 基于人眼结构分类的虹膜和瞳孔的定位方法
JP6452617B2 (ja) 2012-12-10 2019-01-16 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ バイオメトリク虹彩照合システム
CN103150561A (zh) 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备
US9836647B2 (en) * 2013-10-08 2017-12-05 Princeton Identity, Inc. Iris biometric recognition module and access control assembly
US9189686B2 (en) * 2013-12-23 2015-11-17 King Fahd University Of Petroleum And Minerals Apparatus and method for iris image analysis
CN105279492B (zh) 2015-10-22 2018-11-09 北京天诚盛业科技有限公司 虹膜识别的方法和装置
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1674034A (zh) * 2005-04-07 2005-09-28 上海邦震科技发展有限公司 基于特征边缘分布的虹膜几何特征提取方法
CN105979847A (zh) * 2014-02-07 2016-09-28 国立大学法人广岛大学 内窥镜图像诊断辅助系统
CN105389842A (zh) * 2015-10-29 2016-03-09 中国人民解放军空军航空大学 基于选择区域的纹理模型简化方法

Also Published As

Publication number Publication date
EP3321850B1 (en) 2021-08-18
US10579872B2 (en) 2020-03-03
US20180137335A1 (en) 2018-05-17
KR20180053108A (ko) 2018-05-21
CN108073889A (zh) 2018-05-25
EP3321850A1 (en) 2018-05-16

Similar Documents

Publication Publication Date Title
CN108073889B (zh) 虹膜区域提取的方法和设备
CN107766786B (zh) 活性测试方法和活性测试计算设备
CN108629168B (zh) 脸部验证方法、设备以及计算设备
CN109948408B (zh) 活性测试方法和设备
US10579865B2 (en) Facial verification method and apparatus
CN108664880B (zh) 活性测试方法和设备
CN108664782B (zh) 面部验证方法和设备
TWI687832B (zh) 生物識別系統及用於生物識別之電腦實施方法
US10108858B2 (en) Texture features for biometric authentication
EP2883189B1 (en) Spoof detection for biometric authentication
US11869272B2 (en) Liveness test method and apparatus and biometric authentication method and apparatus
US11625954B2 (en) Method and apparatus with liveness testing
CN106663157A (zh) 用户认证方法、执行该方法的装置及存储该方法的记录介质
US11804070B2 (en) Method and apparatus with liveness detection
US10395112B2 (en) Device and method of recognizing iris
CN116416685A (zh) 活性测试设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant