CN111107252B - 利用子帧照明捕获图像的方法和系统 - Google Patents

利用子帧照明捕获图像的方法和系统 Download PDF

Info

Publication number
CN111107252B
CN111107252B CN201910987992.4A CN201910987992A CN111107252B CN 111107252 B CN111107252 B CN 111107252B CN 201910987992 A CN201910987992 A CN 201910987992A CN 111107252 B CN111107252 B CN 111107252B
Authority
CN
China
Prior art keywords
image
time
point
illumination source
target feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910987992.4A
Other languages
English (en)
Other versions
CN111107252A (zh
Inventor
Z·菲尔茨
Y·乔西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Publication of CN111107252A publication Critical patent/CN111107252A/zh
Application granted granted Critical
Publication of CN111107252B publication Critical patent/CN111107252B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Input (AREA)

Abstract

利用子帧照明捕获图像的方法和系统。本文中所描述的技术可以被体现在用于捕获图像的方法中。所述方法包括生成第一控制信号，所述第一控制信号被配置为促使滚动快门相机持续第一时间段捕获对象的图像。所述方法还包括在所述第一时间段中的第一时间点生成第二控制信号，所述第二控制信号被配置为将多光谱照明源设置为第一强度水平。所述多光谱照明源被配置为照射所述对象。所述方法还包括在所述第一时间段中的第二时间点生成第三控制信号，所述第三控制信号被配置为将所述多光谱照明源设置为小于所述第一强度水平的第二强度水平。所述图像的由所述滚动快门相机在所述第一时间点和所述第二时间点之间捕获的一部分包括与所述对象相关联的目标特征。

Description

利用子帧照明捕获图像的方法和系统
技术领域
本公开涉及图像捕获设备。更具体地，涉及利用子帧照明捕获图像的方法和系统。
背景技术
结合诸如面部识别或虹膜识别的生物特征识别技术的系统通常包括捕获用户的图像的相机，并且可以包括发光二极管(LED)灯。LED灯可用于提供足够的照明以捕获用户的图像。然后将捕获的图像进行处理，以使用生物特征识别技术对用户进行认证。
发明内容
在一方面，本文示出了一种用于捕获图像的方法，所述方法包括生成第一控制信号，所述第一控制信号被配置为促使滚动快门相机持续第一时间段捕获对象的图像。所述方法还包括在所述第一时间段中的第一时间点生成第二控制信号，所述第二控制信号被配置为将多光谱照明源设置为第一强度水平。所述多光谱照明源被配置为照射所述对象。所述方法还包括在所述第一时间段中的第二时间点生成第三控制信号，所述第三控制信号被配置为将所述多光谱照明源设置为小于所述第一强度水平的第二强度水平。所述图像的由所述滚动快门相机在所述第一时间点和所述第二时间点之间捕获的部分包括与所述对象相关联的目标特征。
在另一方面，本文示出了一种系统，所述系统包括滚动快门相机、多光谱照明源以及与所述滚动快门相机和所述多光谱照明源通信的一个或多个处理设备。所述一个或多个处理设备被配置为生成第一控制信号，所述第一控制信号被配置为促使滚动快门相机持续第一时间段捕获对象的图像。所述一个或多个处理设备还被配置为在所述第一时间段中的第一时间点生成第二控制信号，所述第二控制信号被配置为将多光谱照明源设置为第一强度水平。所述多光谱照明源被配置为照射所述对象。所述一个或多个处理设备还被配置为在所述第一时间段中的第二时间点生成第三控制信号，所述第三控制信号被配置为将所述多光谱照明源设置为小于所述第一强度水平的第二强度水平。所述图像的由所述滚动快门相机在所述第一时间点和所述第二时间点之间捕获的部分包括与所述对象相关联的目标特征。
在另一方面，本文示出了包括机器可读指令的一个或多个机器可读存储设备，所述指令被配置为促使一个或多个处理设备执行各种操作。所述操作包括生成第一控制信号，所述第一控制信号被配置为促使滚动快门相机持续第一时间段捕获对象的图像。所述操作还包括在所述第一时间段中的第一时间点生成第二控制信号，所述第二控制信号被配置为将多光谱照明源设置为第一强度水平。所述多光谱照明源被配置为照射所述对象。所属操作还包括在所述第一时间段中的第二时间点生成第三控制信号，所述第三控制信号被配置为将所述多光谱照明源设置为小于所述第一强度水平的第二强度水平。所述图像的由所述滚动快门相机在所述第一时间点和所述第二时间点之间捕获的部分包括与所述对象相关联的目标特征。
以上各方面的实施方式可以包括以下一个或多个特征。
与所述对象相关联的所述目标特征可以包括所述对象的眼部区域。与所述对象相关联的所述目标特征可以包括所述对象的眼部。在生成所述第一控制信号之前，可以从第一图像传感器接收所述对象的第一图像，其中所述第一图像是在没有将所述多光谱照明源设置为所述第一强度水平的情况下捕获的。基于所述第一图像，可以确定与所述对象相关联的所述目标特征的位置。所述第一图像传感器可以被布置在第一相机中，并且其中捕获所述第一图像所使用的相机增益比所述滚动快门相机捕获所述图像所使用的相机增益更高。将所述多光谱照明源设置为第二强度水平可以包括关闭所述多光谱照明源。所述第一时间点与所述第二时间点之间的差可以小于约10毫秒。所述多光谱照明源可以包括发光二极管(LED)元件。
本文描述的各种实施方式可以提供以下优点中的一个或多个。通过使用与多光谱照明源同步的滚动快门相机，可以捕获用户的高质量图像，而不会使用户的眼部暴露于高强度光下持续可能令用户感到不适的时间。短时照明源还可以减少由于长时间暴露在高强度光下而导致眨眼的可能性。这进而降低了需要重新捕获图像的概率，特别是在基于识别眼部的一个或多个特征的生物特征认证技术中。
附图说明
图1示出了可以使用本文描述的技术的示例性环境的一体机。
图2A至图2C示出了使用滚动快门(rolling shutter)和子帧照明方法来捕获图像的图像传感器的序列。
图3是可用于实现本文描述的技术的示例性配置的框图。
图4A是示出用于确定眼部区域的位置的图像传感器的实施方式的示例。
图4B是使用本文描述的技术捕获的示例性图像。
图5是根据本文描述的技术捕获图像的示例性处理的流程图。
图6是表示计算设备的示例的框图。
在本文和附图中重复使用附图标记旨在表示相同或相似的特征或元件。
具体实施方式
本文描述了可以允许捕获高质量眼部图像而不会引起因相对长时间暴露于多光谱照明源所导致的不适的技术。各种生物特征识别/认证系统基于对一个或多个图像的捕获，然后将所述图像与在注册过程中捕获的模板图像进行比较或参考所述模板图像对所述图像进行分析。例如，使用面部识别或眼部识别的生物特征认证系统可以要求注册用户在注册过程中拍摄一张或多张面部图像。注册过程中捕获的图像可以存储在生物特征认证系统可访问的存储设备上。在运行期间，可以捕获用户的面部图像，并将其与一个或多个模板图像进行比较，以确定该用户是否可以被认证。另外，当使用滚动快门相机捕获图像时，进入镜头的大约15％的光会被相机的滤镜阻挡或吸收。在一些实施方式中，相机使用低相机增益来捕获图像以便减少图像噪声。因此，可能需要用多光谱、高强度光阵列来照射用户的面部，以使图像传感器能够捕获生物特征认证系统中所需的高质量图像。
本文描述的技术允许用高强度照明源来照射目标而不会引起用户的不适。例如，高强度照明源可以是诸如发光二极管(LED)的多光谱照明源，该照明源被控制为在非常短的持续时间(例如5至7毫秒)内照射到用户的眼部。本文描述的技术支持将多光谱照明源与滚动快门相机同步，使得仅当感兴趣的特征被滚动快门相机捕获时，将照明源打开子帧持续时间。这允许相机以高质量捕获感兴趣的特征，而不会使用户的眼部暴露于高强度光下持续可能令用户感到不适的时间。例如，当使用滚动快门相机捕获眼部图像时，如果仅在快门捕获脸部的眼部区域时才打开多光谱照明源(并且在捕获帧之前和之后关闭)，由于明亮照明引起的用户不适感可以比如果在捕获所有帧的整个时间内保持光源打开的情况要小得多。因此，本技术可以显著改善用户体验。另外，这种技术可以帮助降低由于光的长时间闪烁而引起的部分眨眼的概率。
图1示出了可以使用本文描述的技术的示例性环境的一体机100。这样的一体机用于需要通过一个或多个生物特征认证处理来认证用户的各种目的。例如，一体机100可以包括允许用户从银行账户取款的ATM。在另一示例中，一体机100可以被部署在饭店或快餐店，并且允许用户点单和支付食物。一体机100还可以被部署在入口(例如，在竞技场或体育场的大门处)以在进入场地之前对进入者进行认证。通常，一体机100可以部署在各种类型的位置以交互地认证用户，甚至不需要用户的任何主动参与。
在一些实施方式中，一体机100可以包括支持生物特征认证系统的一个或多个组件。例如，一体机100可以包括捕获与一体机100交互的用户的图像的滚动快门相机105。所捕获的图像可以被处理以识别/认证有效用户，和/或允许或拒绝访问通过一体机提供的服务/产品。例如，一体机100可以包括显示设备110(例如，电容性触摸屏)，其允许用户在零售店选择和订购食品。一旦用户通过呈现在显示设备110上的用户界面完成选择，就可以要求用户看向相机105以进行认证。使用相机105捕获的图像然后可以用于认证/识别预存储的用户的简档，然后可以从链接到该简档的账户自动扣除食品的付款。
在一些实施方式中，使用滚动快门相机105捕获的图像可以由底层生物特征认证系统处理以识别/认证用户。在一些实施方式中，生物特征认证系统可以从图像中提取各种特征，例如，从面部、虹膜、眼部巩膜下面的脉管系统或眼周区域抽取的特征，从而基于所提取的特征与用户在注册过程中存储的一个或多个模板图像的特征相匹配来识别/认证特定用户。生物特征认证系统可以使用机器学习处理(例如，使用例如深度神经网络架构实现的深度学习处理)来将用户与针对系统的各种用户存储的多个模板之一进行匹配。在一些实施方式中，可以至少部分地使用部署在一体机100上的一个或多个处理设备来实现机器学习处理。在一些实施方式中，一体机100可以与实现机器学习处理的一个或多个远程处理设备(例如，一个或多个远程服务器)通信。
在一些实施方式中，一体机100可以包括一个或多个多光谱照明源115a和115b(统称为115)，并且被配置为产生高强度的电磁辐射。例如，多光谱照明源115可各自包括一个或多个发光二极管(LED)元件120，可以控制所述元件120以产生高强度的电磁辐射图案或序列。在一些实施方式中，照明源115被配置为辐射红外(IR)波长范围内的电磁辐射，或者除了LED元件120之外，其他照明源(未示出)可以被配置为辐射红外(IR)波长范围内的电磁辐射。尽管图1中的示例示出了沿水平方向物理上分开的两个照明源115，但是各种其他配置也是可能的。
在一些实施方式中，照明源115可以被配置为在相机的电子滚动快门开始将图像传感器的像素曝光的时间点，开始照射用户的面部。这样的像素可以捕获与图像的例如眼部区域的部分相关联的光。图2A至图2C示出了图像传感器200(例如，互补金属氧化物半导体传感器)中的一系列阶段，其中电子滚动快门被用于利用子帧照明效应来捕获用户220的图像。具体地，相机的滚动快门持续一段时间捕获用户220的图像。该时间段是滚动快门从图像传感器200的顶部到底部曝光每一像素230行(205a-205n，统称为205)以捕获整个图像或帧所花费的时间。在这样的时间段内，当滚动快门曝光捕获用户220的眼部215的图像的像素时，多光谱照明源(图1所示)向用户220照射相对较短的子帧时间段。例如，如图2A所描绘的，在像素接收到光的时间段的开始，第一像素行205a首先被曝光。如图2B所示，在曝光前两像素行之后，滚动快门曝光第三像素行205b，以捕获代表图像的眼部区域210的光。眼部区域210可以包括用户220的面部的以下区域：该区域在横向上延伸通过用户220的整个面部，并且在纵向上在眉毛和颊骨之间延伸(大约50毫米的宽度)。当捕获眼部区域210的图像的像素230被曝光时，多光谱照明源以足够捕获眼部215的高质量图像的强度水平照射用户220。如图2C所示，在滚动快门曝光捕获眼部区域210的像素行之后，下一像素行205c被曝光。当行205c被曝光时，可以控制多光谱照明源以小于第一强度水平的、不会给用户带来不适的强度水平照射用户220(例如，在某些情况下，第二强度水平可以对应于照明源关闭)。因此，由滚动快门相机捕获的所得图像是用户220的面部，其中仅眼部区域210被多光谱照明源照射。滚动快门相机可使用低相机增益来捕获图像以减少图像噪声。
虽然图2A至图2C仅示出了一次曝光一个像素行，应当理解，示出这种配置是出于简化目的，因此代表了各种配置。例如，可以同时曝光多个像素行。在一些实施方式中，当滚动快门曝光按顺序捕获眼部区域210的一部分的像素行时，眼部区域210可以被多个像素行捕获并且在多个帧中捕获。在一些实施方式中，可以使用机械滚动快门代替电子滚动快门。例如，当机械滚动快门的间隙使图像传感器暴露于与眼部区域210相关联的光时，照明源被启用以照射用户。
仍然参考图2A至图2C，图1所示的滚动快门图像传感器200和照明源可以被同步在一起并且连接到控制器或处理设备(图3中所示)，该控制器或处理设备生成信号以执行以上所述的步骤。例如，处理设备可以生成第一控制信号，该第一控制信号使滚动快门相机105在诸如65毫秒的时间段内捕获用户220的图像。从滚动快门图像传感器开始捕获图片的时间起大约10毫秒之后，捕获眼部区域210(或眼部区域的第一部分)的像素可能会被曝光。当这样的像素被曝光时，处理设备生成第二控制信号(例如，触发信号)，该第二控制信号打开照明源以照射用户220。在一些实施方式中，触发信号可以被馈送到控制照明源打开和关闭的中断驱动的光控制系统。滚动快门可以在约5至7毫秒内曝光(或遍历)行205b中的像素230，该行205b捕获整个眼部区域210。因此，在从滚动快门传感器开始捕获图像的时间起的大约17至20毫秒，处理设备可以生成第三控制信号，该第三控制信号关闭多光谱照明源或降低多光谱照明源的强度。滚动快门可能还需要花费10毫秒才能依次曝光其余像素，从而完成对用户220的整个图像的捕获。在此示例中，整个图像大约在30至33毫秒(ms)内被捕获，其中在前10毫秒，在没有高强度照明的情况下捕获眼部区域上方的区域，在10至17毫秒时间段内，利用同步的高强度照明捕获眼部区域，而在剩余的17至33毫秒时间段内，在没有高强度照明的情况下捕获剩余图像。最终的图像或图片突出了眼部区域210，其比图像的其余部分更明亮(因此具有更高的质量)。滚动快门的速度可有所不同。例如，捕获用户220的完整图像所需的时间量可以在28至33毫秒之间变化(考虑大约30fps的帧速率)，而捕获眼部区域210的图像所需的时间量可以在5至7毫秒之间变化，或者可以是滚动快门扫描整个眼部区域所花费的时间(以较高者为准)。
在一些实施方式中，处理设备可以编程有基于离线确定的眼部区域210的预期位置。例如，处理设备可以包括预定参考点，在捕获图像时预期用户眼部位于该预定参考点。例如，如图1所示，显示设备110可以显示指示用户将他或她的脸定位在框内的指令和/或框，并且处理器可以使用该参考点来捕获图像。在其他实施方式中，并且如下面进一步详细描述的，图像传感器可以在使用子帧照明之前捕获用户的图像。这样的方法可以用于实时确定眼部的位置。
现在参照图3和图4A，一个或多个处理设备310可以与滚动快门相机305和多光谱照明源320进行数据通信。处理设备310还可以通信地耦接到图像传感器325，该图像传感器325以高相机增益捕获用户的图像，以便实时确定眼部区域410(图4A)的位置。图像传感器325可以是滚动快门相机305的图像传感器，或者可以是板载相机、摄像机或其他类型的相机(未示出)的传感器。图4A示出了可以仅由环境光照射的用户420的图像的表示。该图像可以由相机的图像传感器325使用高相机增益来捕获。高相机增益可用于在环境光下拍照以增加图片的亮度，从而允许处理设备310确定眼部的位置。在一些实施方式中，图像传感器325的相机可以每秒捕获约10至30帧。处理设备310可以从图像传感器325接收所捕获的用户420的具有眼部区域410的图像。然后，处理设备310可以基于该图像确定眼部区域的位置。例如，处理设备可以被配置为检测面部的节点并确定哪个节点代表用户420的眼部415。在检测到用户420的眼部415时，处理设备310可以生成表示图像内代表眼部区域410的二维区域的坐标。在确定眼部区域410的位置和大小之后，处理设备310可以基于眼部区域的位置和大小(例如，宽度)以及滚动快门的预定速度来生成表示滚动快门相对于时间段的位置的数学模型。再次参考图2A至图2C，这样的数学模型指示滚动快门相机开始曝光与眼部区域210相关联的像素230的第一时间点，以及相机的滚动快门完成曝光与眼部区域210相关联的像素230的第二时间点。这样的数学模型可以用于使照明源与相机同步以执行子帧照明，如上面关于图2A至图2C所描述的。
图4B描绘了使用以上参照图2A至图2C描述的技术和方法捕获的示例性图像。如图4B所示，所捕获的图像的眼部区域210比所捕获的图像的其余部分更明亮。例如，用户220的眼部215和眼部周围的区域比用户220的其余面部更明亮且更清晰。图像的质量是这样的：可以捕获用户220的眼部215的足够的细节，从而可以在生物特征认证系统中可靠地使用该图像。
再次参考图3，可以使用一个或多个处理设备310来处理来自图像传感器325的输出。在一些实施方式中，一个或多个处理设备310的输出可以用于驱动显示设备315。在一些实施方式中，显示设备315可以是参考图1描述的一体机的显示设备110。在一些实施方式中，显示设备315可以被布置在诸如智能电话、平板电脑或电子阅读器的移动设备上。
图5是用于生成使用子帧照明捕获的图像的表示的示例性处理的流程图。在一些实施方式中，处理500的至少一部分可以由设置在诸如参照图1描述的一体机100的一体机内的一个或多个处理设备执行。在一些实施方式中，处理500的至少一部分可以在一个或多个服务器(例如分布式计算系统中的服务器或计算设备)处执行，该一个或多个服务器与例如布置在一体机内的一个或多个处理设备的远程组件通信。
处理500的操作包括生成第一控制信号，该第一控制信号被配置为促使滚动快门相机捕获对象的图像，其中，所述图像是持续第一时间段捕获的(510)。处理500的操作还包括在第一时间段中的第一时间点生成第二控制信号，该第二控制信号被配置为将多光谱照明源设置为第一强度水平，其中该多光谱照明源被配置为照射该对象(520)。所述控制信号由具有预定参考点的一个或多个处理设备生成，可预期用户的眼部区域位于该预定参考点。在一些实施方式中，眼部区域的位置可以由捕获环境光照射的图像(例如，低质量图像)的滚动快门相机或附加相机检测。
处理500的操作还包括在第一时间段中的第二时间点生成第三控制信号，该第三控制信号被配置为将多光谱照明源设置为小于第一强度水平的第二强度水平，其中，所述图像的由滚动快门相机在第一时间点和第二时间点之间捕获的部分包括与所述对象相关联的目标特征(530)。第三控制信号被发送到照明源以降低照明的强度(或关闭照明源)，使得在没有高强度照明的情况下捕获面部的其余部分。
在一些实施方式中，处理500的操作还可以包括在生成第一控制信号之前，从第一图像传感器接收对象的由环境光照射的第一图像。在一些实施方式中，该方法还包括基于第一图像确定与对象相关联的目标特征的位置。在一些实施方式中，第一图像传感器是第一相机的一部分，并且捕获第一图像所使用的相机增益比滚动快门相机捕获图像所使用的相机增益更高。
图6示出了可以使用本文描述的技术的计算设备600和移动设备650的示例。例如，参考图1，一体机100可以部分地或全部地包括计算设备600或移动设备650中的一个或多个。计算设备600旨在表示各种形式的数字计算机，例如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀锋型服务器、主机和其他适当的计算机。移动设备650旨在代表各种形式的移动设备，例如个人数字助理、蜂窝电话、智能电话以及其他类似的计算设备。本文所示的组件，它们的连接和关系以及它们的功能仅是示例，并无意限制本文描述的和/或本申请权利要求保护的技术的实施方式。
计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速接口608以及连接到低速总线614和存储设备606的低速接口612。组件602、604、606、608、610和612中的每一个使用各种总线互连，并且可以被安装在通用主板上或以其他适当方式安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604中或存储在存储设备606上的指令，以在诸如耦接到高速接口608的显示器616的外部输入/输出设备上显示用于图形用户界面(GUI)的图形信息。在其他实施方式中，只要合适，可以使用多个处理器和/或多个总线，以及多个存储器和多个类型的存储器。另外，可以连接多个计算设备600，每个计算设备提供部分的必要操作(例如，作为服务器库、刀锋型服务器组或多处理器系统)。
存储器604将信息存储在计算设备600内。在一个实施方式中，存储器604是一个或多个易失性存储器单元。在另一实施方式中，存储器604是一个或多个非易失性存储器单元。存储器604也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
存储设备606能够为计算设备600提供大容量存储。在一个实施方式中，存储设备606可以是或包括计算机可读介质，例如软盘设备、硬盘设备、光盘设备，或者磁带设备、闪存或其他类似的固态存储器设备或设备的阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含指令，当所述指令被执行时执行例如以上所描述的一个或多个方法。信息载体是计算机可读介质或机器可读介质，例如存储器604、存储设备606、处理器602上的存储器、或者是传播的信号。
高速控制器608管理计算设备600的带宽密集型操作，而低速控制器612管理较低带宽密集型操作。这种对功能的分配仅是示例。在一个实施方式中，高速控制器608耦接到存储器604、显示器616(例如，通过图形处理器或加速器)以及可以接受各种扩展卡(未示出)的高速扩展端口610。在该实施方式中，低速控制器612耦接到存储设备606和低速扩展端口614。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦接至一个或多个输入/输出设备，例如键盘、指针设备、扫描仪或例如通过网络适配器耦接至诸如交换机或路由器之类的网络设备。
如附图中所示，计算设备600可以以多种不同的形式实现。例如，它可以被实现为标准服务器620，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统624的一部分。另外，它可以在诸如膝上型计算机622的个人计算机中实现。可选地，来自计算设备600的组件可以与诸如设备650的移动设备(未示出)中的其他组件组合。每个这样的设备可以包含计算设备600、650中的一个或多个，并且整个系统可以由彼此通信的多个计算设备600、650组成。
除了其他组件之外，移动设备650包括处理器652、存储器664、例如显示器654的输入/输出设备、通信接口666和收发器668。设备650还可以具有存储设备，例如微驱动器或其他设备，以提供附加的存储。组件652、664、654、666和668中的每一个使用各种总线互连，并且若干个组件可以被安装在通用主板上或以其他适当方式安装。
处理器652可以被实现为包括单独的或多个模拟和数字处理器的芯片的芯片组。处理器652可以提供例如用于协调设备650的其他组件，例如对用户界面、由设备650运行的应用和由设备650进行的无线通信的控制。
处理器652可以通过控制接口658和耦接到显示器654的显示接口656与用户通信。显示器654可以是例如薄膜晶体管液晶显示器(TFT LCD)或有机发光二极管(OLED)显示器或其他适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其他信息的适当电路。控制接口658可以从用户接收命令并将它们转换以提交给处理器652。另外，外部接口662可以提供与处理器652的通信，以便实现设备650与其他设备的近场通信。外部接口662可以被提供用于例如一些实施方式中的有线通信或者其他实施方式中的无线通信，并且也可以使用多个接口。
存储器664将信息存储在计算设备650内。存储器664可以被实现为以下中的一个或多个：一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元。还可以提供扩展存储器674，并通过扩展接口672将其连接到设备650，扩展接口572可以包括例如单列直插式存储器模块(SIMM)卡接口。这样的扩展存储器674可以为设备650提供额外的存储空间，或者还可以为设备650存储应用或其他信息。具体地，扩展存储器674可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器674可以被提供为用于设备650的安全模块，并且可以被编程有允许安全使用设备650的指令。此外，安全应用可以由SIMM卡提供，与附加信息一起，例如以不可破解的方式将标识信息放置在SIMM卡上。
存储器654可以包括例如闪存和/或非易失性随机存取存储器(NVRAM)，如下所述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含指令，当所述指令被执行时执行例如以上所描述的一个或多个方法。信息载体是计算机可读介质或机器可读介质，例如存储器664、扩展存储器674、处理器652上的存储器或可以通过例如收发器668或外部接口662接收的传播信号。
设备650可以通过通信接口666进行无线通信，该通信接口在需要时可以包括数字信号处理电路。通信接口666可以提供各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。例如，可以通过射频收发器668进行这种通信。另外，可以诸如使用蓝牙、WiFi或其他此类收发器(未示出)进行短程通信。此外，全球定位系统(GPS)接收器模块670可以向设备650提供附加的与导航和位置相关的无线数据，这些数据可以由运行在设备650上的应用适当使用。
设备650还可以使用音频编解码器660在进行音频通信，该音频编解码器可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器660可类似地例如通过扬声器在如设备650的手持设备中生成用户可听见的声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备650上运行的应用生成的声音。
如附图中所示，移动设备650可以以多种不同的形式实现。例如，它可以被实现为蜂窝电话680。它也可以被实现为智能电话682、个人数字助理、平板计算机或其他类似移动设备的一部分。
可以在数字电子电路、集成电路、特殊设计的专用集成电路(ASIC)、计算机硬件、固件、软件和/或它们的组合中实现本文描述的系统和技术的各种实施方式。这些各种实施方式可以包括在可编程系统上可执行和/或可编译的一个或多个计算机程序中的实现，所述可编程系统包括至少一个可编程处理器，其可为专用或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并将数据和指令发送到所述存储系统、至少一个输入设备和至少一个输出设备。
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级程序和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收机器指令的机器可读介质。
为了提供与用户的交互，本文所描述的系统和技术可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备(例如，阴极射线管(CRT)或液晶显示(LCD)监视器)以及用户可用以向该计算机提供输入的键盘和指针设备(例如，鼠标或轨迹球)。其他种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)。可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
本文描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有图形用户界面或网页浏览器的客户端计算机，用户可以通过所述GUI或网页浏览器与本文所述的系统和技术的实施方式交互)，或包括这样的后端、中间件、或前端组件的组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)连接。通信网络的示例包括局域网(LAN)、广域网(WAN)以及因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系源自于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序本身。
尽管上面已经详细描述了一些实施方式，但是在不脱离本文描述的发明构思的范围的情况下，可以进行其他修改，并且因此，其他实施方式在所附权利要求的范围内。

Claims (19)

1.一种用于捕获图像的方法，所述方法包括：
从第一图像传感器接收对象的第一图像；
基于所述第一图像，确定与所述对象相关联的目标特征的位置以及所述目标特征的大小；
基于所述目标特征的位置和所述目标特征的大小，确定第一时间点和第二时间点；
生成第一控制信号，所述第一控制信号被配置为促使滚动快门相机捕获所述对象的图像，其中，所述图像是持续第一时间段捕获的；
在所述第一时间段中的所述第一时间点生成第二控制信号，所述第二控制信号被配置为将多光谱照明源设置为第一强度水平，其中，所述多光谱照明源被配置为照射所述对象；以及
在所述第一时间段中的所述第二时间点生成第三控制信号，所述第三控制信号被配置为将所述多光谱照明源设置为小于所述第一强度水平的第二强度水平，其中，所述图像的由所述滚动快门相机在所述第一时间点和所述第二时间点之间捕获的部分包括所述目标特征。
2.如权利要求1所述的方法，其中，所述目标特征包括所述对象的眼部区域。
3.如权利要求2所述的方法，其中，与所述对象相关联的所述目标特征包括所述对象的眼部。
4.如权利要求1所述的方法，其中，所述对象的第一图像是在没有将所述多光谱照明源设置为所述第一强度水平的情况下捕获的。
5.如权利要求1所述的方法，还包括：
基于所述目标特征的位置和所述目标特征的大小，生成表示所述滚动快门相机的滚动快门相对于所述第一时间段的位置的数学模型。
6.如权利要求1所述的方法，其中，
所述第一图像传感器被布置在第一相机中，并且
捕获所述第一图像所使用的相机增益比所述滚动快门相机捕获所述图像所使用的相机增益更高。
7.如权利要求1所述的方法，其中，将所述多光谱照明源设置为第二强度水平包括：
关闭所述多光谱照明源。
8.如权利要求1所述的方法，其中，所述第一时间点与所述第二时间点之间的差小于10毫秒。
9.如权利要求1所述的方法，其中，所述多光谱照明源包括发光二极管LED元件。
10.一种用于捕获图像的系统，包括：
滚动快门相机；
第一图像传感器；
多光谱照明源；以及
与所述滚动快门相机和所述多光谱照明源通信的一个或多个处理设备，所述一个或多个处理设备被配置为：
从第一图像传感器接收对象的第一图像；
基于所述第一图像，确定与所述对象相关联的目标特征的位置以及所述目标特征的大小；
基于所述目标特征的位置和所述目标特征的大小，确定第一时间点和第二时间点；
生成第一控制信号，所述第一控制信号被配置为促使所述滚动快门相机捕获所述对象的图像，其中，所述图像是持续第一时间段捕获的；
在所述第一时间段中的所述第一时间点生成第二控制信号，所述第二控制信号被配置为将多光谱照明源设置为第一强度水平，其中，所述多光谱照明源被配置为照射所述对象；以及
在所述第一时间段中的所述第二时间点生成第三控制信号，所述第三控制信号被配置为将所述多光谱照明源设置为小于所述第一强度水平的第二强度水平，其中，所述图像的由所述滚动快门相机在所述第一时间点和所述第二时间点之间捕获的部分包括所述目标特征。
11.如权利要求10所述的系统，其中，所述目标特征包括所述对象的眼部区域。
12.如权利要求11所述的系统，其中，与所述对象相关联的所述目标特征包括所述对象的眼部。
13.如权利要求10所述的系统，其中，所述对象的第一图像是在没有将所述多光谱照明源设置为所述第一强度水平的情况下捕获的。
14.如权利要求10所述的系统，其中，所述第一图像传感器被布置在第一相机中，并且捕获所述第一图像所使用的相机增益比所述滚动快门相机捕获所述图像所使用的相机增益更高。
15.如权利要求10所述的系统，其中，将所述多光谱照明源设置为第二强度水平包括：
关闭所述多光谱照明源。
16.如权利要求10所述的系统，其中，所述第一时间点与所述第二时间点之间的差小于10毫秒。
17.如权利要求10所述的系统，其中，所述多光谱照明源包括发光二极管(LED)元件。
18.一种包括机器可读指令的一个或多个机器可读存储设备，所述指令被配置为促使一个或多个处理设备执行包括以下的操作：
从第一图像传感器接收对象的第一图像；
基于所述第一图像，确定与所述对象相关联的目标特征的位置以及所述目标特征的大小；
基于所述目标特征的位置和所述目标特征的大小，确定第一时间点和第二时间点；
生成第一控制信号，所述第一控制信号被配置为促使滚动快门相机捕获所述对象的图像，其中，所述图像是持续第一时间段捕获的；
在所述第一时间段中的所述第一时间点生成第二控制信号，所述第二控制信号被配置为将多光谱照明源设置为第一强度水平，其中，所述多光谱照明源被配置为照射所述对象；以及
在所述第一时间段中的所述第二时间点生成第三控制信号，所述第三控制信号被配置为将所述多光谱照明源设置为小于所述第一强度水平的第二强度水平，其中，所述图像的由所述滚动快门相机在所述第一时间点和所述第二时间点之间捕获的部分包括所述目标特征。
19.如权利要求18所述的一个或多个机器可读存储设备，其中，所述目标特征包括所述对象的眼部区域。
CN201910987992.4A 2018-10-26 2019-10-17 利用子帧照明捕获图像的方法和系统 Expired - Fee Related CN111107252B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/172,447 US10728447B2 (en) 2018-10-26 2018-10-26 Capturing images using sub-frame illumination
US16/172,447 2018-10-26

Publications (2)

Publication Number Publication Date
CN111107252A CN111107252A (zh) 2020-05-05
CN111107252B true CN111107252B (zh) 2021-09-10

Family

ID=70325681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910987992.4A Expired - Fee Related CN111107252B (zh) 2018-10-26 2019-10-17 利用子帧照明捕获图像的方法和系统

Country Status (2)

Country Link
US (1) US10728447B2 (zh)
CN (1) CN111107252B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200314411A1 (en) * 2019-03-29 2020-10-01 Alibaba Group Holding Limited Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
CN112993739B (zh) * 2019-12-13 2024-05-17 旺矽科技股份有限公司 镭射芯片检测方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723697A (zh) * 2013-09-16 2016-06-29 英特尔公司 用于对象跟踪的相机和光源同步

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2062197A4 (en) * 2006-09-15 2010-10-06 Retica Systems Inc MULTIMODAL BIOMETRIC SYSTEM AND METHOD FOR LARGE DISTANCES
WO2015104644A2 (en) * 2014-01-10 2015-07-16 The Eye Tribe Aps Light modulation in eye tracking devices
US9961258B2 (en) * 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US20170061210A1 (en) * 2015-08-26 2017-03-02 Intel Corporation Infrared lamp control for use with iris recognition authentication
US10373008B2 (en) * 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
US10713483B2 (en) * 2018-03-20 2020-07-14 Welch Allyn, Inc. Pupil edge detection in digital imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723697A (zh) * 2013-09-16 2016-06-29 英特尔公司 用于对象跟踪的相机和光源同步

Also Published As

Publication number Publication date
US10728447B2 (en) 2020-07-28
US20200137301A1 (en) 2020-04-30
CN111107252A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
US10796178B2 (en) Method and device for face liveness detection
US11527105B2 (en) System and method for scalable cloud-robotics based face recognition and face analysis
US10762613B2 (en) Capturing images under coded illumination patterns to reduce effects of ambient lighting conditions
US11335119B1 (en) Spoof detection based on red-eye effects
US20170085790A1 (en) High-resolution imaging of regions of interest
CN113574537B (zh) 使用复合手部图像的生物特征识别
US11132777B2 (en) Specular reflection reduction using polarized light sources
US20200311449A1 (en) Using an illumination sequence pattern for biometric authentication
CN111294508B (zh) 利用相机阵列的成像系统及其实现方法和设备
CN112868028A (zh) 利用虹膜图像的欺骗检测
CN111107252B (zh) 利用子帧照明捕获图像的方法和系统
US11146747B1 (en) Dynamic driver mechanism for rolling shutter sensor to acquire the structured light pattern
CN111756951B (zh) 生物特征认证系统、方法及计算机可读存储介质
US20210081644A1 (en) Creating an iris identifier to reduce search space of a biometric system
US11195009B1 (en) Infrared-based spoof detection
KR20180108361A (ko) 얼굴 인증 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210910