CN108604040B - 通过曝光管理的有效使用来捕获在面部识别中使用的图像 - Google Patents

通过曝光管理的有效使用来捕获在面部识别中使用的图像 Download PDF

Info

Publication number
CN108604040B
CN108604040B CN201680081019.0A CN201680081019A CN108604040B CN 108604040 B CN108604040 B CN 108604040B CN 201680081019 A CN201680081019 A CN 201680081019A CN 108604040 B CN108604040 B CN 108604040B
Authority
CN
China
Prior art keywords
image
sequential
images
detected
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680081019.0A
Other languages
English (en)
Other versions
CN108604040A (zh
Inventor
K.兰加纳思
A.亚普
S.苏布拉马尼安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp of America
Original Assignee
NEC Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp of America filed Critical NEC Corp of America
Publication of CN108604040A publication Critical patent/CN108604040A/zh
Application granted granted Critical
Publication of CN108604040B publication Critical patent/CN108604040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

提供了用于捕获在面部识别系统中使用的图像的系统和方法。该系统和方法被配置成生成顺序控制信号集合,其被配置成使得摄像机捕获个人的面部的对应的顺序探测图像集合。顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获顺序探测图像集合中的探测图像。与顺序控制信号集合相关联的不同曝光时间一起形成预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从顺序探测图像集合中捕获可用图像。

Description

通过曝光管理的有效使用来捕获在面部识别中使用的图像
相关申请的交叉引用
本申请要求于2015年12月3日提交的美国专利申请序列号14/958,295的权益,其内容通过引用以其整体并入本文。
技术领域
本公开涉及用于捕获在面部识别系统中使用的图像的系统和方法。特别地,本公开涉及一种系统和方法,其使用根据预定简档的不同曝光时间来捕获一系列图像,以不管肤色和/或可用光的变化如何都生成一个或多个可用图像。
背景技术
生物计量技术现在被广泛用于在诸如取证、移民控制、支付系统和访问控制的各种领域中标识和认证个人。在使用中增长的一种生物计量技术是面部识别。在面部识别系统中,捕获个人的面部的探测图像,然后将其与图库数据库中的一个或多个先前获得的图库图像进行比较,以用于标识或认证的目的。面部识别系统标识探测图像中的面部,标识关键面部特征,诸如眼睛(包括虹膜)、鼻子、耳朵、嘴巴、下巴和头部的位置,并创建面部模板。将该模板与用于每个图库图像的模板进行比较,以生成指示潜在匹配的相似性分数。
除其他事物之外,面部识别系统的有效性取决于捕获个人的面部的高质量图像。令人遗憾的是,探测和图库图像通常在具有许多变量的不受控制的环境中获得,包括光照、阴影、摄像机特性、个人的移动和/或定向、以及个人的年龄或种族。例如,个人的面部上的自然或人造光照的量可以取决于一天中的时间、天气条件和人造光源的功能而广泛地变化。照明的变化会影响图像质量。低水平的照明和高水平的照明(图像饱和度)两者都使被用于标识和认证的面部特征模糊。用于面部识别的理想照明水平在约600勒克斯至约1000勒克斯之间。在暗黑的夜晚,照明可能小到一个勒克斯的一小部分。在晴朗的白天,明亮的阳光可以导致约十万勒克斯的照明。即使当光量恒定时,肤色的变化也可能影响图像质量。油性皮肤或苍白肤色将产生相对于暗黑肤色不同的图像,并且因此即使在光量不变化时,也难以确保针对所有个人的高质量图像。质量差的探测或图库图像可能导致正误识(即在探测图像与图库图像之间存在匹配)或负误识(即在探测图像与任何图库图像之间不存在匹配),并因此可能致使面部识别系统不可靠。
一些面部识别系统尝试通过修改算法以计及特定的环境变量来解决图像质量。然而,这种方法通常不适用于采用不同的专有面部检测算法的系统。其他面部识别系统尝试通过例如通过处理短视频剪辑来取得更多数量的图像并标识具有最佳质量的图像来解决图像质量。虽然该过程可以解决一些环境变量(例如,个人的移动),但它不能解决可能在某一时间段内保持基本上恒定的许多其他变量,诸如个人的面部上的光量或个人的肤色。
在本文,发明人已经意识到需要一种用于捕获在面部识别系统中使用的图像的系统和方法,其将减少或消除上述缺陷中的一个或多个和/或提供改善的性能。
发明内容
本公开涉及用于捕获在面部识别系统中使用的图像的系统和方法。特别地,本公开涉及一种系统和方法,其使用根据预定简档的不同曝光时间来捕获一系列图像,以不管肤色和/或可用光的变化如何都生成一个或多个可用图像。本公开还涉及以其上编码有计算机程序的计算机存储介质的形式的制品,该计算机程序实现所公开的方法并且可以在所公开的系统中使用。
根据一个实施例的用于捕获用于在面部识别系统中使用的图像的系统包括:控制器,其被配置成:生成顺序控制信号集合,其被配置成使得摄像机捕获个人的面部的对应的顺序探测图像集合。顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获顺序探测图像集合中的探测图像。与顺序控制信号集合相关联的不同曝光时间一起形成预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从顺序探测图像集合中捕获可用图像。
根据一个实施例的用于捕获用于在面部识别系统中使用的图像的方法包括以下步骤:在控制器中执行多个程序指令,所述多个程序指令包括用于生成顺序控制信号集合的指令,控制信号被配置成使得摄像机捕获个人的面部的对应的顺序探测图像集合。顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获顺序探测图像集合中的探测图像。与顺序控制信号集合相关联的不同曝光时间一起形成预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从顺序探测图像集合中捕获可用图像。
根据一个实施例的制品包括:其上编码有计算机程序的非暂时性计算机存储介质,所述程序当由控制器执行时,用于捕获用于在面部识别系统中使用的图像。计算机程序包括用于以下操作的代码:生成顺序控制信号集合,其被配置成使得摄像机捕获个人的面部的对应的顺序探测图像集合。顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获顺序探测图像集合中的探测图像。与顺序控制信号集合相关联的不同曝光时间一起形成预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从顺序探测图像集合中捕获可用图像。
根据本发明的用于捕获在面部识别系统中使用的图像的系统和方法表现了与常规系统和方法相比的改善。本发明系统和方法使得不管光照和肤色的变化如何都能够捕获可用图像。因此,本发明系统和方法改善了面部识别系统的可靠性和有效性。
本发明的前述和其他方面、特征、细节、效用和优点将由于阅读以下描述和权利要求以及由于查看附图而是显而易见的。
附图说明
图1是包括根据本教导的一个实施例的用于捕获用于在面部识别系统中使用的图像的系统的面部识别系统的示意图。
图2是图示根据本教导的一个实施例的用于捕获用于在面部识别系统中使用的图像的方法的流程图。
图3是图示基于光量和肤色的变化以及不同图像曝光时间的图像的可接受性的表。
图4是图示包括在图1的系统中生成控制信号时使用的不同的图像曝光时间的一系列简档的图形。
具体实施方式
现在参考附图,其中相同的附图标记用于标识各个视图中的相同组件,图1图示了面部识别系统10。系统10被提供用于在基于与个人14的面部12相关联的特性来标识和/或认证个人中使用,并且可以找到在包括取证、移民控制、支付系统和访问控制系统的各种各样的应用中的使用。系统10可以包括用于捕获个人14的面部12的图像的诸如摄像机16的部件、以及用于控制对面部12进行照明的光量的诸如光源18的部件。系统10还可以包括用于提供在面部12上的自然和/或人造光的量的指示的诸如照明传感器20的部件。系统10还可以包括多个电子存储器或存储设备,包括用于存储由摄像机16捕获的图像和/或从这些图像中提取的信息以及先前获得的图像和/或从这些图像中提取的信息的设备22、以及用于存储用于配置摄像机16的信息的设备24。系统10还可以包括用于控制摄像机16并且将由摄像机16捕获的图像与先前获得的图像进行比较以在标识或认证个人14中使用的诸如控制器26的部件。
摄像机16提供用于捕获个人14的面部12的图像的部件。摄像机16可以例如包括数字摄像机,其可以捕获彩色的、近红外或红外图像,并且可以被配置成捕获面部12的静止图像或者可以从其提取一个或多个图像的视频。摄像机16可以包括广角镜头,以允许捕获不同高度的个人的面部图像。一个或多个过滤器28可以设置在摄像机16的镜头前方,并用于限制影响摄像机16的镜头的光的量或类型。摄像机16和任何过滤器28可以被支承在机壳或外壳中。根据本教导的一个方面,摄像机16被控制器26配置成使用不同曝光时间来生成个人14的面部12的多个探测图像,以便不管在图像捕获期间的个人14的面部12上的光量和个人14的肤色中的至少一个的潜在变化如何都生成面部12的可用图像。
光源18提供用于控制对面部12进行照明的光的量的部件。当自然光不可用或受限时,光源18可以提供人造光以在室内环境中或在室外环境中对个人的面部进行照明。光源18可以包括例如白炽灯或荧光灯或发光二极管(LED),其生成可以在本质上是可见或红外的光。光源18可以以最小化从个人14的面部12上的眼镜或其他反射表面对由光源18生成的光的反射的这样的方式定位。光源18可以在控制器26的控制之下操作,其中光的类型和量由光源18响应于由控制器26生成的控制信号而生成。
照明传感器20提供用于指示对个人14的面部12进行照明的光的量的部件。传感器20可以包括例如光电池或光敏电阻、光伏式传感器、光电二极管或电荷耦合器件(CCD)。传感器20生成指示个人14定位在其中的位置或环境中的光量并因此为对面部12进行照明的光量的信号。控制器26可以使用该信息来控制包括摄像机16和光源18的系统10的一个或多个组件。因为根据本教导的系统和方法可以计及对面部12进行照明的光量的变化,所以本发明系统的各种实施例可以不包括光源18和/或照明传感器20。然而,光源18和传感器20仍可以找到在如下所述的本发明系统和方法的各种实施例中的使用。
电子存储设备22、24分别提供用于存储个人的面部的图像和/或从那些图像中提取的信息的部件以及用于存储被用于配置摄像机16和系统10的其他元件的信息的部件。设备22、24可以包括半导体存储器、光学或磁性存储器、或前述的组合,并且可以包括易失性和非易失性存储器两者。设备22、24可以限定一个或多个数据库或为控制器26提供静态或动态接触结构的其他数据结构,并且可以用于在控制器26执行程序或指令以及数据的长期存储时提供两种中间信息。诸如开源系统MySQL的关系数据库管理系统(RDBMS)或诸如来自Oracle公司的Oracle或来自微软公司的SQL Server的商业系统可以被控制器26用来管理数据库。应理解,控制器26可以通过包括例如局域网、广域网、虚拟专用网、或公共互联网的有线或无线通信网络来访问设备22、24,并且设备22、24可以相对于控制器26位于本地或远程。
设备22可以限定图库数据库,该图库数据库包括包含个人14的面部12的各种个人的面部的多个图库图像。图库图像可以以各种方式在图库数据库内组织。例如,图库图像可以通过其面部在图像中被捕获的个人在一个级别处分组,然后基于指示图像的质量的值进一步在子级别处分组。图像的质量值可以考虑各种因素,包括个人的位置、个人的面部表情、妨碍物体(例如,头饰、眼镜等)的存在或不存在、图像的清晰度和分辨率等。根据本教导的一个方面,质量值还可以考虑图像中的照明的水平。照明水平可以通过图像捕获时的直接测量(例如,由传感器20)来确定,或者可以间接地根据图像内的像素中的照明值来确定。设备22还可以存储从每个图像中提取并对应于每个图像的面部模板,其中每个面部模板包括涉及诸如眼睛(包括虹膜)、鼻子、耳朵、嘴巴、下巴和头部的各种面部特征以及这样的特征的相对位置的信息。
设备24可以包括用于配置系统10的信息,包括例如在其内捕获个人14的面部12的图像的时段以及在该时段内的摄像机16的帧速率。根据下面更详细讨论的所公开系统和方法的一个方面,设备24还可以存储多个预定简档,每个预定简档限定在图像捕获期间的摄像机16的不同的曝光时间序列。设备24还可以存储用于控制器16的可执行指令(即软件),包括用于实现下文描述的方法的指令。
控制器26提供用于控制摄像机16的部件。控制器26还可以提供用于将由摄像机16捕获的图像与先前获得的图像进行比较以在标识或认证个人14中使用的部件。控制器26可以包括可编程微处理器或微控制器,或者可以包括专用集成电路(ASIC)。控制器26可以包括中央处理单元(CPU)和输入/输出(I/O)接口,通过其,控制器26可以接收包括由摄像机16、光传感器20和存储设备22、24所生成的信号的多个输入信号并生成包括用于控制摄像机16和光源18的那些的多个输出信号,并且将信息存储在设备22、24上。虽然控制器26在本文被描述和图示为单个单元,但应理解,可以使用单独的控制器来执行本文所述的各种过程,包括摄像机16的控制和图像的比较。
根据一个实施例,控制器26被配置有适当的编程指令或代码(即,软件)以执行用于捕获用于在诸如系统10的面部识别系统中使用的图像的方法中的若干步骤。计算机程序可以存储在存储器设备24中,并且可以从其上编码有计算机程序的常规非暂时性计算机存储介质上传到存储器设备24。现在参考图2,该方法可以开始于配置摄像机16的步骤30。控制器26可以被配置成从设备24检索涉及摄像机16的各种操作特性的配置数据,包括在其内摄像机16将捕获个人14的面部12的图像的时间段以及在该时段内的摄像机16的帧速率。
该方法可以继续将图像迭代计数器设置为指示将由摄像机16捕获的个人14的面部12的图像的初始数量的值N的步骤32。计数器可以体现为设备24中的存储器中的位置,并且控制器26可以将值N传送到设备24以用于存储在设备24中。值N可以是预编程的值,可以从步骤30中的配置数据导出,或者可以使用常规的输入/输出设备来输入。
该方法可以继续生成顺序控制信号集合的步骤34,控制信号被配置成使得摄像机16捕获个人14的面部12的对应的顺序探测图像集合。根据本教导的一个方面,每个控制信号被配置成使得摄像机16使用不同曝光时间来捕获对应的探测图像。与控制信号相关联的不同曝光时间一起形成预定简档,预定简档被配置成使得不管个人14的面部12的光量和肤色中的至少一个的变化如何都能够从顺序探测图像集合中捕获可用图像。参考图3,提供了示例性表,其中每行对应于响应于由控制器26顺序发出的控制信号在某一时间段内取得的二十个图像或帧的序列的一个图像。该表中的第二列示出了摄像机16的示例性曝光时间。用于每个图像的曝光时间不同,并且在所示实施例中,以非线性方式增加。第三和第四列反映了当存在相对大量的自然和/或人造光时的条件(例如,在室外环境中在阳光照射的白天的下午)。第五和第六列反映了当存在相对少量的自然和/或人造光时的条件(例如,在室外环境中在夜晚)。第三和第五列进一步反映了其中个人14的面部12具有苍白色调和/或油性皮肤的情况。第四和第六列进一步反映了其中个人14的面部12具有暗黑肤色或为阴暗的情况。如第三列至第六列所示,通过针对图像集合中的每个图像使用不同曝光时间,不管面部12的光量和肤色中的一个或两个的变化如何,都可以获得用于系统10的一个或多个可用图像。如通过将第三列和第四列与第五列和第六列进行比较所示,当面部12上的光量相对较高时,以较短的曝光时间捕获的图像——其中较少的光被摄像机16捕获——可以是可用图像,而当面部12上的光量相对较低时,以较长的曝光时间捕获的图像——其中更多的光被摄像机16捕获——可以是可用图像。类似地,如通过将第三列和第五列与第四列和第六列进行比较所示,当面部12的肤色相对苍白或油性时,以短曝光时间捕获的图像——其中较少的光被摄像机16捕获——可以是可用图像,而当面部12的肤色相对暗黑或阴暗时,以较长的曝光时间捕获的图像——其中更多的光被摄像机16捕获——可以是可用图像。如图3所示,当面部12上存在一定量的光时,无论面部12的肤色如何,一些图像都可以是可接受的,使得不管肤色的变化如何,一些图像都将是可接受的。类似地,可能的是,在某些肤色的情况下,一些图像在不同的光条件之下可以是可接受的。应理解,图3中的图像的值和可接受的范围意图仅仅是说明性的,并不一定反映构造的实施例或以其他方式限制本教导的范围。
参考图4,与控制信号相关联的不同曝光时间一起形成预定简档36。简档36具体地被配置成通过改变用于捕获图像的曝光时间来使得不管个人14的面部12的光量和肤色中的至少一个的变化如何都能够从顺序探测图像集合中捕获可用图像。在图4所示的实施例中(以及在图3所示的实施例中),简档36以曝光时间连续地增加的这样的方式配置,其中用于顺序探测图像集合中的每个连续图像的曝光时间大于用于顺序探测图像集合中的每个先前图像的曝光时间。此外,在图4所示的实施例中(以及在图3所示的实施例中),简档36被配置成使得曝光时间以非线性方式增加并且顺序探测图像集合中的第一图像与紧接在第一图像之后的顺序探测图像集合中的第二图像之间的曝光时间的差异不同于第二图像与紧接在第二图像之后的顺序探测图像集合中的第三图像之间的曝光时间的差异。
替代地,曝光时间简档可以被配置成使得曝光时间以线性方式增加并且顺序探测图像集合中的第一图像与紧接在第一图像之后的顺序探测图像集合中的第二图像之间的曝光时间的差异等于第二图像与紧接在第二图像之后的顺序探测图像集合中的第三图像之间的曝光时间的差异。应理解,图4中(和图3中)所示的简档仅是示例性的,并且例如简档可以从较长的曝光时间移动到较短的曝光时间或者假设另一种形式,只要简档使得控制信号能够以摄像机16针对图像集合中的每个图像采用不同曝光时间的这样的方式进行配置即可。包括其幅度和形状/形式的简档的确切配置可以响应于预测光量或肤色的多种因素而变化。例如,可以基于摄像机16的位置(例如,摄像机16是在室内还是室外环境中以及摄像机16位于曝光还是阴暗区域中)、摄像机16附近是否可能存在人造光照以及可能存在什么类型的人造光照、以及摄像机16在使用中的一天中的时间来发展不同的简档。还可以基于个人14的当地群体的特性(例如,如果摄像机16位于其中肤色通常更苍白或更暗黑的世界的区域中)来发展不同的简档。
再次参考图2,因为不同的条件可以使得不同的简档在使得能够捕获可用图像中最优,所以步骤34可以包括从具有不同的曝光时间序列的多个预定简档当中选择预定简档的子步骤38。各种简档可以存储在电子存储设备24内,并且可以由控制器26从设备24检索。控制器26可以被配置成基于预编程的指令和/或响应于指示各种条件的向控制器26的输入来选择简档之一。例如,控制器26可以部分地基于如由系统10中的定时器或时钟(未示出)所指示的一天中的时间、由照明传感器20指示的可用光的量、或其他检测到的条件来选择简档。
步骤32可以进一步包括基于所选择的简档形成用于摄像机16的控制信号的子步骤40。一旦选择了简档,则控制器26形成控制信号,控制信号被用于响应于简档而控制摄像机16并且特别是控制用于摄像机16和结果所得的图像的曝光时间。根据所公开的实施例的一个方面,控制信号还可以被配置成使得摄像机16在生成顺序图像集合时维持恒定的光圈和恒定的光敏度。
该方法可以继续确定顺序探测图像集合中的任何探测图像是否包括可用图像的步骤42。可用图像是可以用于由面部识别系统的标识和/或认证的目的并因此满足至少某些最低质量要求的图像。例如,可用图像必须使得面部识别系统能够检测图像中的面部。可用图像还必须使得面部识别系统能够标识图像中的关键面部特征。应理解,面部特征的标识和数量将取决于由面部识别系统使用的面部识别算法而变化。
在一个实施例中,仅在获得整个探测图像集合之后执行确定顺序探测图像集合中的任何探测图像是否包括可用图像的步骤。在该实施例中,在形成每个控制信号之后,图像迭代计数器减1。一旦图像被摄像机16捕获,则控制器26形成另一个控制信号,并且循环重复直到图像迭代计数器等于零并且已经获得整个顺序探测图像集合。此时,控制器26开始评估顺序探测图像集合中的捕获图像,以确定任何图像是否包括可用图像。在该实施例中,控制器26可以以预定次序评估顺序探测图像集合中的图像直到可用图像被标识,或者可以评估顺序探测图像集合中的所有图像以标识所有可用图像或多个可用图像当中的最高质量可用图像。
参考图2,在另一个实施例中,并且根据本教导的一个方面,确定顺序探测图像集合中的任何探测图像是否包括可用图像的步骤42可以与步骤34迭代地并且基本上同时执行。特别地,控制器26可以被配置成紧接在捕获之后并且在生成另一个控制信号并捕获顺序探测图像集合中的接下来后续探测图像之前评估顺序探测图像集合中的每一个探测图像,以便确定所捕获的探测图像是否为可用图像。控制器26还可以被配置成在所捕获的探测图像包括可用图像的情况下终止步骤34和顺序控制信号集合的继续生成。根据本教导的该方面,可以提高系统10的速度和效率。
步骤42可以包括若干个子步骤44、46、48、50、52。在子步骤44中,控制器26从摄像机16接收顺序探测图像集合中的探测图像。在视频摄像机的情况下,可以使用常规的帧捕获程序从视频中提取单独的图像。在子步骤46、48中,控制器26可以使用常规的面部识别算法来确定面部是否存在于探测图像中,并且如果是,是否满足所需的面部特征以及当前和其他面部质量度量。根据本教导的一个方面,质量度量可以包括探测图像是否具有适当的照明水平。
如果面部存在于探测图像中并且满足面部质量度量使得探测图像是可用图像,则可以终止过程,并且控制器26或单独的控制器可以以各种方式继续使用探测图像。例如,控制器26可以将可用探测图像与存储在设备22上的图库数据库中的一个或多个图库图像进行比较,并生成探测图像与图库图像之间的相似性的分数或其他指示以在标识和认证中使用。根据本教导的另一方面,控制器26可以被配置成通过将可用探测图像添加到图库数据库来管理图库数据库,以供将来在标识和认证中使用。控制器26还可以被配置成用使用图2中的方法所获得的可用探测图像来替换图库数据库中的现有图像,以便改善图库数据库中的图像的质量。在这种情况下,控制器26可以被配置成基于各种因素(包括例如图像中的照明水平)将捕获的和可用的探测图像与图库数据库中的图像进行比较,并且基于该比较来做出关于是维持还是丢弃图库图像和/或探测图像的决定。
如果在子步骤46中在探测图像中未检测到面部,或者在子步骤48中在探测图像中未找到所需的面部特征或未满足其他质量度量,则控制器26可以被配置成确定是否已经捕获和评估了顺序探测图像集合中的所有探测图像。因此,步骤42可以继续确定图像迭代计数器是否满足相对于预定值的预定条件的子步骤50。例如,控制器26可以确定图像迭代计数器是否大于零。如果图像迭代计数器大于零,则步骤42可以继续子步骤52,其中控制器26使图像迭代计数器减1。在计数器递减之后,该方法可以返回到步骤40以生成顺序控制信号集合中的接下来的控制信号。
如果图像迭代计数器不大于零——从而指示已经捕获并查看了顺序探测图像集合中的所有探测图像并且没有获得可用图像——则控制器26可以被配置成重复步骤34、42,从而生成第二顺序控制信号集合和个人12的面部14的对应的第二顺序探测图像集合(并且如果需要,另外的控制信号和探测图像的集合)。该第二顺序控制信号集合中的每个控制信号再次被配置成使得摄像机16使用不同曝光时间来捕获第二顺序探测图像集合中的探测图像。
再次参考图4,与第二顺序控制信号集合相关联的不同曝光时间一起形成第二预定简档54,其被配置成使得不管个人12的面部14的光量和肤色中的至少一个的变化如何都能够从第二顺序探测图像集合中捕获可用图像。根据所公开实施例的一个方面,第二预定简档54可以不同于在生成第一顺序探测图像集合中使用的第一预定简档36。因为使用第一预定简档未获得可用图像,所以第二预定简档可以被配置成使得控制器26生成改变摄像机16捕获探测图像的方式的第二顺序控制信号集合。特别地,第二简档54可以以这样的方式进行配置,即:由控制器26生成的结果所得的控制信号被配置成使得摄像机16使用相对于使用第一简档36捕获的探测图像的曝光时间的一个或多个不同曝光时间来生成探测图像。
在所示实施例中,第一和第二预定简档36、54被配置成使得由控制器26使用简档36生成的控制信号的数量等于由控制器26使用简档54生成的控制信号的数量,并因此第一顺序探测图像集合中的探测图像的数量等于第二顺序探测图像集合中的探测图像的数量。然而,简档36、54还被配置成使得用于第二顺序探测图像集合中的一个或多个图像的曝光时间不同于用于第一顺序探测图像集合中的一个或多个对应图像的曝光时间。简档54还可以被配置成使得用于第二顺序探测图像集合中的每个图像的曝光时间不同于用于第一顺序探测图像集合中的对应图像的曝光时间。简档54还可以被配置成使得用于第二顺序探测图像集合中的每个探测图像的曝光时间大于用于第一顺序探测图像集合中的对应探测图像的曝光时间或小于用于第一顺序探测图像集合中的对应探测图像的曝光时间。
在所示实施例中,简档54再次导致连续地增加用于第二顺序探测图像集合中的每个连续图像的曝光时间,其中增加是非线性的。简档54还被配置成使得用于第二顺序探测图像集合中的至少一个探测图像(例如,最终图像)的曝光时间大于用于第一顺序探测图像集合中的每个探测图像的曝光时间。简档54还被配置成使得用于第二顺序探测图像集合中的至少另一个探测图像的曝光时间大于用于第一顺序探测图像集合中的任何探测图像的最短曝光时间但小于用于第一顺序探测图像集合中的任何探测图像的最长曝光时间。
用于第二顺序探测图像集合的曝光时间不同于用于第一顺序探测图像集合的曝光时间的方式(例如,与减少的曝光时间或其某种组合相反的增加的曝光时间)可以取决于支配由控制器26从预定简档当中选择简档的一个或多个条件而变化。例如,根据一些实施例,第二预定简档可以是基于从初始顺序探测图像集合中缺少可用图像的预编程选择。在其他实施例中,可以基于影响第一顺序探测图像集合中的图像捕获的检测到的条件(诸如光量)来选择第二预定简档。这些检测到的条件可以由外部传感器(诸如照明传感器20)确定,或者由控制器26在分析第一顺序探测图像集合的像素中的照明值时从捕获的图像本身确定。
根据本发明的系统和方法表现了与系统和方法相比的改善。特别地,本发明系统和方法使得不管光照和肤色的变化如何都能够捕获可用图像。因此,本发明系统和方法改善了面部识别系统的可靠性和有效性。
虽然已经参考本发明的一个或多个特定实施例示出和描述了本发明,但本领域技术人员将理解的是,可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。

Claims (19)

1.一种用于捕获用于在面部识别系统中使用的图像的制品,包括:
其上编码有计算机程序的非暂时性计算机存储介质,所述计算机程序当由控制器执行时,用于捕获用于在面部识别系统中使用的图像,所述计算机程序包括用于以下操作的代码:
生成第一顺序控制信号集合,其被配置成使得摄像机捕获个人的面部的对应的第一顺序探测图像集合,
其中,第一顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获第一顺序探测图像集合中的探测图像,与第一顺序控制信号集合相关联的不同曝光时间一起形成第一预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从第一顺序探测图像集合中捕获可用图像,
其中,用于生成第一顺序控制信号集合的代码包括用于从多个预定简档当中选择第一预定简档的代码,多个预定简档中的每个具有不同的曝光时间序列。
2.根据权利要求1所述的制品,其中,用于选择第一预定简档的代码包括用于响应于时间选择第一预定简档的代码。
3.根据权利要求1所述的制品,其中,用于第一顺序探测图像集合中的每个连续图像的曝光时间大于用于第一顺序探测图像集合中的每个先前图像的曝光时间。
4.根据权利要求1所述的制品,其中,第一顺序探测图像集合中的第一图像与紧接在第一图像之后的第一顺序探测图像集合中的第二图像之间的曝光时间的差异等于第二图像与紧接在第二图像之后的第一顺序探测图像集合中的第三图像之间的曝光时间的差异。
5.根据权利要求1所述的制品,其中,第一顺序探测图像集合中的第一图像与紧接在第一图像之后的第一顺序探测图像集合中的第二图像之间的曝光时间的差异不同于第二图像与紧接在第二图像之后的第一顺序探测图像集合中的第三图像之间的曝光时间的差异。
6.根据权利要求1所述的制品,其中,所述计算机程序还包括用于确定第一顺序探测图像集合中的任何探测图像是否包括可用图像的代码。
7.根据权利要求6所述的制品,其中,用于确定第一顺序探测图像集合中的任何探测图像是否包括可用图像的代码包括用于以下操作的代码:
在捕获第一顺序探测图像集合中的每一个探测图像之后并且在捕获紧接在所述一个探测图像之后的第一顺序探测图像集合中的后续探测图像之前评估所述一个探测图像来确定所述一个探测图像是否为可用图像;以及,
在所述一个探测图像是可用图像的情况下,终止第一顺序控制信号集合的生成。
8.根据权利要求7所述的制品,其中,所述计算机程序还包括用于以下操作的代码:
在没有可用图像的情况下,生成第二顺序控制信号集合,其被配置成使得摄像机捕获个人的面部的对应的第二顺序探测图像集合,
其中,第二顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获第二顺序探测图像集合中的探测图像,与第二顺序控制信号集合相关联的不同曝光时间一起形成第二预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从第二顺序探测图像集合中捕获可用图像。
9.根据权利要求8所述的制品,其中,第一顺序探测图像集合中的探测图像的第一数量等于第二顺序探测图像集合中的探测图像的第二数量,并且用于第一顺序探测图像集合中的每个探测图像的曝光时间针对第二顺序探测图像集合中的每个对应探测图像不同。
10.根据权利要求9所述的制品,其中,用于第二顺序探测图像集合中的每个探测图像的曝光时间大于用于第一顺序探测图像集合中的对应探测图像的曝光时间。
11.根据权利要求9所述的制品,其中,用于第二顺序探测图像集合中的至少一个探测图像的曝光时间大于用于第一顺序探测图像集合中的每个探测图像的曝光时间。
12.根据权利要求1所述的制品,其中,第一顺序控制信号集合中的每个控制信号还被配置成使得摄像机维持恒定的光圈和恒定的光敏度。
13.一种用于捕获用于在面部识别系统中使用的图像的系统,包括:
控制器,其被配置成:
生成第一顺序控制信号集合,其被配置成使得摄像机捕获个人的面部的对应的第一顺序探测图像集合,
其中,第一顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获第一顺序探测图像集合中的探测图像,与第一顺序控制信号集合相关联的不同曝光时间一起形成第一预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从第一顺序探测图像集合中捕获可用图像,
其中,所述控制器还被配置成从多个预定简档当中选择第一预定简档,多个预定简档中的每个具有不同的曝光时间序列。
14.根据权利要求13所述的系统,其中,第一顺序探测图像集合中的第一图像与紧接在第一图像之后的第一顺序探测图像集合中的第二图像之间的曝光时间的差异不同于第二图像与紧接在第二图像之后的第一顺序探测图像集合中的第三图像之间的曝光时间的差异。
15.根据权利要求13所述的系统,其中,所述控制器还被配置成确定第一顺序探测图像集合中的任何探测图像是否包括可用图像。
16.根据权利要求15所述的系统,其中,所述控制器还被配置成在确定第一顺序探测图像集合中的任何探测图像是否包括可用图像时:
在捕获第一顺序探测图像集合中的每一个探测图像之后并且在捕获紧接在所述一个探测图像之后的第一顺序探测图像集合中的后续探测图像之前评估所述一个探测图像来确定所述一个探测图像是否为可用图像;以及,
在所述一个探测图像是可用图像的情况下,终止第一顺序控制信号集合的生成。
17.根据权利要求15所述的系统,其中,所述控制器还被配置成:
在没有可用图像的情况下,生成第二顺序控制信号集合,其被配置成使得摄像机捕获个人的面部的对应的第二顺序探测图像集合,
其中,第二顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获第二顺序探测图像集合中的探测图像,与第二顺序控制信号集合相关联的不同曝光时间一起形成第二预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从第二顺序探测图像集合中捕获可用图像。
18.根据权利要求17所述的系统,其中,第一顺序探测图像集合中的探测图像的第一数量等于第二顺序探测图像集合中的探测图像的第二数量,并且用于第一顺序探测图像集合中的每个探测图像的曝光时间针对第二顺序探测图像集合中的每个对应探测图像不同。
19.一种用于捕获用于在面部识别系统中使用的图像的方法,包括以下步骤:
在控制器中执行多个程序指令,所述多个程序指令包括用于生成第一顺序控制信号集合的指令,所述控制信号被配置成使得摄像机捕获个人的面部的对应的第一顺序探测图像集合,
其中,第一顺序控制信号集合中的每个控制信号被配置成使得摄像机使用不同曝光时间来捕获第一顺序探测图像集合中的探测图像,与第一顺序控制信号集合相关联的不同曝光时间一起形成第一预定简档,其被配置成使得不管个人的面部的光量和肤色中的至少一个的变化如何都能够从第一顺序探测图像集合中捕获可用图像,
其中,第一预定简档是从多个预定简档当中选择的,多个预定简档中的每个具有不同的曝光时间序列。
CN201680081019.0A 2015-12-03 2016-12-02 通过曝光管理的有效使用来捕获在面部识别中使用的图像 Active CN108604040B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/958295 2015-12-03
US14/958,295 US10467457B2 (en) 2015-12-03 2015-12-03 System and method for capturing images used in facial recognition through effective use of exposure management
PCT/US2016/064560 WO2017096128A1 (en) 2015-12-03 2016-12-02 Capturing images used in facial recognition through effective use of exposure management

Publications (2)

Publication Number Publication Date
CN108604040A CN108604040A (zh) 2018-09-28
CN108604040B true CN108604040B (zh) 2021-09-07

Family

ID=58797863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680081019.0A Active CN108604040B (zh) 2015-12-03 2016-12-02 通过曝光管理的有效使用来捕获在面部识别中使用的图像

Country Status (9)

Country Link
US (1) US10467457B2 (zh)
EP (1) EP3384348A4 (zh)
JP (1) JP6697555B2 (zh)
CN (1) CN108604040B (zh)
AU (1) AU2016362408B2 (zh)
IL (1) IL259769B (zh)
NZ (1) NZ743156A (zh)
SG (1) SG11201804719YA (zh)
WO (1) WO2017096128A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880742B2 (en) * 2016-12-15 2020-12-29 Fotonation Limited Iris recognition workflow
AU2018350362B9 (en) 2017-10-22 2024-01-25 Todd Martin System and method for image recognition registration of an athlete in a sporting event
US10671887B2 (en) * 2017-12-05 2020-06-02 Axis Ab Best image crop selection
CN108629329B (zh) * 2018-05-17 2021-04-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109241111B (zh) * 2018-08-27 2020-10-23 武汉虹信技术服务有限责任公司 一种基于内存数据库的分布式人脸识别系统及方法
CN110225240A (zh) * 2019-04-28 2019-09-10 努比亚技术有限公司 一种拍摄控制方法、终端及计算机可读存储介质
US11625665B1 (en) * 2022-03-29 2023-04-11 Todd Martin Contactless authorized event entry and item delivery system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3657987A (en) * 1970-10-27 1972-04-25 Eastman Kodak Co Self-balancing apparatus for photographic cameras
EP1704710A4 (en) * 2003-12-24 2007-09-19 Walker Digital Llc METHOD AND DEVICE FOR AUTOMATIC COLLECTION AND MANAGEMENT OF IMAGES
WO2012166044A1 (en) * 2011-05-31 2012-12-06 Scalado Ab Method and apparatus for capturing images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097145A1 (en) 1997-11-06 2002-07-25 David M. Tumey Integrated vehicle security system utilizing facial image verification
US7088865B2 (en) 1998-11-20 2006-08-08 Nikon Corporation Image processing apparatus having image selection function, and recording medium having image selection function program
US7027619B2 (en) 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7406184B2 (en) 2002-07-03 2008-07-29 Equinox Corporation Method and apparatus for using thermal infrared for face recognition
JP2005003385A (ja) * 2003-06-09 2005-01-06 Mitsutoyo Corp 画像測定方法、および画像測定装置
US7542592B2 (en) 2004-03-29 2009-06-02 Siemesn Corporate Research, Inc. Systems and methods for face detection and recognition using infrared imaging
KR20070081773A (ko) 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
WO2011065952A1 (en) 2009-11-30 2011-06-03 Hewlett-Packard Development Company, L.P. Face recognition apparatus and methods
CN102110225B (zh) 2009-12-28 2013-10-30 比亚迪股份有限公司 户外人脸识别方法及系统
CN104219448B (zh) * 2014-08-28 2015-12-02 小米科技有限责任公司 拍摄方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3657987A (en) * 1970-10-27 1972-04-25 Eastman Kodak Co Self-balancing apparatus for photographic cameras
EP1704710A4 (en) * 2003-12-24 2007-09-19 Walker Digital Llc METHOD AND DEVICE FOR AUTOMATIC COLLECTION AND MANAGEMENT OF IMAGES
WO2012166044A1 (en) * 2011-05-31 2012-12-06 Scalado Ab Method and apparatus for capturing images

Also Published As

Publication number Publication date
JP2018537917A (ja) 2018-12-20
AU2016362408B2 (en) 2020-01-23
IL259769B (en) 2021-04-29
SG11201804719YA (en) 2018-07-30
EP3384348A1 (en) 2018-10-10
US20170161550A1 (en) 2017-06-08
NZ743156A (en) 2022-07-01
CN108604040A (zh) 2018-09-28
AU2016362408A1 (en) 2018-06-21
WO2017096128A1 (en) 2017-06-08
EP3384348A4 (en) 2019-07-31
IL259769A (en) 2018-07-31
JP6697555B2 (ja) 2020-05-20
US10467457B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
CN108604040B (zh) 通过曝光管理的有效使用来捕获在面部识别中使用的图像
US10445574B2 (en) Method and apparatus for iris recognition
US11765321B2 (en) Intelligent video surveillance system and method
US20060110014A1 (en) Expression invariant face recognition
EP3440593B1 (en) Method and apparatus for iris recognition
US20130222564A1 (en) Apparatus for recognizing face based on environment adaptation
US20110169934A1 (en) Vein pattern recognition based biometric system and methods thereof
US20120320181A1 (en) Apparatus and method for security using authentication of face
US10474894B2 (en) Image processing method and system for iris recognition
US10769909B1 (en) Using sensor data to detect events
US20090309700A1 (en) Authentication apparatus, image sensing apparatus, authentication method and program therefor
US11302156B1 (en) User interfaces associated with device applications
US11375133B2 (en) Automatic exposure module for an image acquisition system
US10791607B1 (en) Configuring and controlling light emitters
KR20210131891A (ko) 개인의 인증 또는 식별을 위한 방법
CN111259757B (zh) 一种基于图像的活体识别方法、装置及设备
EP3217317B1 (en) Biometric authentication device, biometric authentication method, and biometric authentication program
CN107145741A (zh) 基于图像分析的耳诊数据采集方法及装置
CN113545028A (zh) 用于面部认证的增益控制
CN108760245B (zh) 光学元件检测方法和装置、电子设备、可读存储介质
US11423762B1 (en) Providing device power-level notifications
CN112906610A (zh) 用于活体检测的方法、电子电路、电子设备和介质
CN110073406A (zh) 面部检测装置及其控制方法、以及程序
US11163097B1 (en) Detection and correction of optical filter position in a camera device
CN108601139A (zh) 一种智能家居照明数据采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261682

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant