CN109074474B - 包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法 - Google Patents

包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法 Download PDF

Info

Publication number
CN109074474B
CN109074474B CN201680085184.3A CN201680085184A CN109074474B CN 109074474 B CN109074474 B CN 109074474B CN 201680085184 A CN201680085184 A CN 201680085184A CN 109074474 B CN109074474 B CN 109074474B
Authority
CN
China
Prior art keywords
optical image
spaced apart
image sensor
arrays
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680085184.3A
Other languages
English (en)
Other versions
CN109074474A (zh
Inventor
M·雅凯亚兹丹杜斯特
G·戈齐尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN109074474A publication Critical patent/CN109074474A/zh
Application granted granted Critical
Publication of CN109074474B publication Critical patent/CN109074474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14678—Contact-type imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/26—Layer connectors, e.g. plate connectors, solder or adhesive layers; Manufacturing methods related thereto
    • H01L2224/31—Structure, shape, material or disposition of the layer connectors after the connecting process
    • H01L2224/32—Structure, shape, material or disposition of the layer connectors after the connecting process of an individual layer connector
    • H01L2224/321—Disposition
    • H01L2224/32151—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/32221—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/32225—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42—Wire connectors; Manufacturing methods related thereto
    • H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
    • H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
    • H01L2224/4805—Shape
    • H01L2224/4809—Loop shape
    • H01L2224/48091—Arched
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/73—Means for bonding being of different types provided for in two or more of groups H01L2224/10, H01L2224/18, H01L2224/26, H01L2224/34, H01L2224/42, H01L2224/50, H01L2224/63, H01L2224/71
    • H01L2224/732—Location after the connecting process
    • H01L2224/73251—Location after the connecting process on different surfaces
    • H01L2224/73265—Layer and wire connectors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Image Input (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明公开了一种电子设备，该电子设备可包括光学图像传感器和针孔阵列掩膜层，该光学图像传感器包括光学图像感测像素阵列，该针孔阵列掩膜层位于该光学图像传感器上方并且该针孔阵列掩膜层中包括间隔开的针孔，该间隔开的针孔限定光学图像传感器上的间隔开的图像区域。该电子设备还包括位于针孔阵列掩膜层上方的显示层，该显示层包括间隔开的显示器像素。该电子设备还可包括处理电路，该处理电路耦接到光学图像传感器并能够感测来自光学图像感测像素阵列的间隔开的子阵列的图像，该光学图像感测像素阵列的间隔开的子阵列与间隔开的图像区域对准。

Description

包括用于感测来自间隔开的子阵列的图像的处理电路的电子 设备及相关方法
技术领域
本发明涉及电子器件领域，并且更具体地讲，涉及光学图像传感器的领域。
背景技术
指纹感测和匹配是用于个人识别或验证的可靠且广泛应用的技术。具体地讲，指纹识别的一种通用方法涉及扫描样本指纹或其图像并存储该图像和/或指纹图像的独特特征。例如出于验证的目的，可将样本指纹的特征与已在数据库中的参考指纹的信息进行比较，以确定对人的正确识别。
对于电子设备，更具体地讲例如便携式设备中的验证和/或认证而言，指纹传感器可能特别有利。此类指纹传感器可例如由便携式电子设备的外壳承载，并且其尺寸可设定为感测来自单个手指的指纹。
在指纹传感器被集成到电子设备或主机设备中的情况下，例如，如上文所述，可能希望更快速地执行认证，特别是在电子设备上执行另一任务或应用程序时。换句话讲，在一些实例中，可能不希望让用户在单独的认证步骤中执行认证，例如在执行认证的多个任务之间切换。
发明内容
一种电子设备可包括光学图像传感器和针孔阵列掩膜层，其中光学图像传感器包括光学图像感测像素阵列，并且针孔阵列掩膜层位于光学图像传感器上方并且该针孔阵列掩膜层中包括间隔开的针孔，这些间隔开的针孔限定光学图像传感器上的间隔开的图像区域。该电子设备还包括位于针孔阵列掩膜层上方的显示层，该显示层包括间隔开的显示器像素。该电子设备还可包括处理电路，该处理电路耦接到光学图像传感器并且能够感测来自光学图像感测像素阵列的间隔开的子阵列的图像，该光学图像感测像素阵列的间隔开的子阵列与间隔开的图像区域对准。
该电子设备还可包括位于显示层上方的透明覆盖层，该透明覆盖层限定手指放置表面，该手指放置表面能够接收与其相邻的用户的手指。该多个间隔开的子阵列可以是多个物理间隔开的子阵列。例如，该多个间隔开的子阵列可为光学图像传感器的多个寻址区域。
例如，该多个间隔开的子阵列可与该多个间隔开的图像区域垂直对准。该多个间隔开的子阵列可按棋盘图案来布置。
电子设备还可包括与显示层相邻的至少一个光源。例如，该至少一个光源可以是围绕显示层的周边间隔开的多个光源。
处理电路能够基于该至少一个光源的操作来确定光补偿信息。例如，处理电路能够基于补偿信息来改变该至少一个光源的亮度。例如，补偿信息可包括至少一个光源的光源位置、光源亮度和光源持续运行时间中的至少一者。
一个方法方面涉及使用电子设备感测图像的方法，该电子设备包括：光学图像传感器，该光学图像传感器包括光学图像感测像素阵列；针孔阵列掩膜层，该针孔阵列掩膜层在光学图像传感器上方并且该针孔阵列掩膜层中包括多个间隔开的针孔，该多个间隔开的针孔限定光学图像传感器上的多个间隔开的图像区域；以及显示层，该显示层位于针孔阵列掩膜层上方并包括多个间隔开的显示器像素。该方法可包括使用耦接到光学图像传感器的处理电路来感测来自光学图像感测像素阵列的间隔开的子阵列的图像，该光学图像感测像素阵列的间隔开的子阵列与多个间隔开的图像区域对准。
附图说明
图1是根据实施方案的电子设备的平面图。
图2是图1的电子设备的示意性框图。
图3是图1中的电子设备的一部分的示意性剖视图。
图4a和图4b是根据卷帘快门技术来比较光和整合线数相对于帧的图。
图5是根据全局快门模式来比较光和整合线数相对于帧的图。
图6a和图6b分别是图1的电子设备的光学图像传感器的估计图像平面分辨率和对象平面分辨率的图。
图7a和图7b是根据针对图1的电子设备的光学图像传感器的点扩展函数形状的估计成像分辨率的图。
图8a至图8g是示出图2的电子设备的针孔阵列掩膜层中给定直径的开口的光学图像传感器的分辨率的模拟图像。
图9是根据图1的电子设备的光学图像感测原理用于产生图像的原型电子设备的示意性剖视图。
图10a至图10h是使用图9的原型电子设备捕获的图像，其示出了图像分辨率。
图11a至图11h是使用图9的原型电子设备的模拟图像，其示出了图像分辨率。
图12a至图12c是来自图9的原型电子设备的重叠对象区域的单独子图像的示例。
图13a至13b是示出从来自图9的原型电子设备的重叠子图像中复原单个图像的捕获图像。
图14是使用前照式原型设备的以相对低角度的捕获图像。
图15a至图15d是利用前照式原型设备并使用不同颜色的光的捕获图像。
图16a至图16c使用前照式原型设备的以相对高角度的捕获图像。
图17a至图17c使用前照式原型设备的以相对高角度的捕获图像。
图18a至图18c使用前照式原型设备的以相对高角度的捕获图像。
图19是根据本发明的另一个实施方案的电子设备的一部分的示意性剖视图。
图20是根据本发明的另一个实施方案的电子设备的一部分的示意性剖视图。
图21是根据本发明的另一个实施方案的电子设备的一部分的放大示意性剖视图。
图22是根据本发明的另一个实施方案的电子设备的一部分的放大示意性剖视图。
图23是根据实施方案的手指生物特征传感器的示意性框图。
图24a是示出施加于图23的手指生物特征传感器的直接反射的示意图。
图24b是示出施加于图23的手指生物特征传感器的漫反射和局域再发射(remittance)的示意图。
图24c是示出施加于图23的手指生物特征传感器的散射-透射的示意图。
图24d是示出施加于图23的手指生物特征传感器的全内反射的示意图。
图25a和图25b是示出示意图的指纹脊线三维(3D)数据生成概念的示意图。
图26是根据实施方案的手指生物特征传感器的一部分的示意图，其示出了重叠目标区域。
图27是根据实施方案用于确定用户的手指的指纹图案的3D结构的手指生物特征传感器的一部分的示意图。
图28a和28b是根据实施方案示出在两个不同的照明方向和角度下的光源的镜面反射的示意图。
图29是根据实施方案示出相对于多个图像传感器与重叠目标区域的漫反射和再发射的示意图。
图30是根据实施方案的手指生物特征传感器的一部分的示意图。
图31a是根据实施方案使用蓝光在60°角下采集的手指图像。
图31b是根据实施方案的60°下的图像轮廓图。
图32a是根据实施方案使用蓝光在20°角下采集的手指图像。
图32b是根据实施方案的20°下的图像轮廓图。
图33a和图33b是根据实施方案示出所有入射角下的水平轮廓的漫反射和镜面反射手指图像区域的3D图。
图34是根据另一个实施方案的电子设备内的手指生物特征传感器的更详细的示意图。
图35是根据实施方案的电子设备的示意性框图。
图36是图35的电子设备的更详细的示意性剖视图。
图37是图36的电子设备的一部分的顶视图。
图38是根据另一个实施方案的电子设备的一部分的顶视图。
图39是根据实施方案的电子设备的示意性顶视图。
具体实施方式
现在将参考示出了本发明的优选实施方案的附图在下文更全面地描述本发明。然而，本发明可以多种不同的形式体现，并且不应将本发明理解为受限于本文所述的实施方案。相反，提供这些实施方案，使得本公开为周密且完整的，并且将向本领域的技术人员充分地表达本发明的范围。在全文中，类似的编号指代类似的元件，并且在不同实施方案中，使用加撇符号以100为增量的编号指代类似的元件。
首先参考图1和图2，电子设备1020例示性地包括外壳，例如便携式外壳1021，以及由便携式外壳承载的处理器1022。电子设备1020例示性地为移动无线通信设备，例如蜂窝电话。电子设备1020可以是另一种类型的电子设备，例如平板电脑、膝上型计算机、可穿戴计算机等。
显示器1023也由便携式外壳1021承载并耦接到处理器1022。如本领域的技术人员将理解的，显示器1023可以是例如发光二极管(LED)显示器，并且可具有提供触摸显示特征的附加电路。显示器1023的更多细节在下文有所描述。
无线收发器1025也承载在外壳1021内并耦接到处理器1022。无线收发器1025与处理器1022配合以执行至少一个无线通信功能，例如语音和/或数据。在一些实施方案中，电子设备1020可不包括无线收发器1025或其他无线通信电路。
存储器1026还耦接到处理器1022。存储器1026用于存储例如手指匹配生物特征模板数据。存储器1026可存储其他或附加类型的数据。
如本领域的技术人员将理解的，如果显示器1023为触摸显示器的形式，则触摸显示器充当输入设备和显示器两者。因此，显示器1023将响应于输入而与处理器1022配合以执行一个或多个设备功能。例如，设备功能可包括对电子设备1020通电或断电、经由无线收发器1025发起通信和/或基于到触摸显示器的输入执行菜单功能。
处理器1022可基于到触摸显示器的按压或输入来改变显示器1023以显示可用应用程序的菜单。当然，可基于到触摸显示器1023的输入来执行其他设备功能。其他或附加的手指操作的用户输入设备可由便携式外壳1021承载，例如，如本领域的技术人员将理解的，可另选地或除此之外用于设备功能的按钮开关1024。
另外，现在参考图3，用于感测用户的生物特征诸如用户的手指1040的指纹图案的图像的光学图像传感器1031由显示器1023下方的外壳1021承载。更具体地，光学图像传感器1031包括集成电路(IC)基板以及由IC基板承载的图像感测电路。光学图像传感器1031可通过具有球栅阵列(BGA)接触件1035的栅格阵列或其他耦接技术耦接到电路基板，例如柔性基板1034。光学图像传感器1031可以是本领域的技术人员将理解的背照式传感器或背面照明(BSI)图像传感器。
电子设备1020可选地包括光源1041。光源1041可以是一个或多个发光二极管(LED)并且/或者可以是显示层1036的一部分。换句话讲，显示器像素1038可以是光源，或者可存在单独或附加的光源。光源1041将光引导到用户的手指1040中，并且可将光引导到光学图像传感器1031。例如，显示器的不同LED可允许相对于光的波长和照明角度的动态变化和/或更多灵活性。可使用可见光源或不可见光源(例如，红外(IR)或紫外线(UV))和/或另一种类型的光源，或者可使用光源的组合。然而，与其他颜色的光例如蓝色光相比，IR光可在用户的手指1040内穿透更深。
可能希望的是光源1041与光学图像传感器1031同步，并且更具体地，与光学图像传感器的信号采集同步。例如，如本领域的技术人员将理解的，光源1041可与光学图像传感器1031配合，使得光学图像传感器以卷帘快门模式和全局快门模式中的一者或两者工作。如本领域的技术人员将理解的，全局快门模式可改善对背景光或干扰的容忍度并降低功耗。另外，光学图像传感器1031可与滤光器例如可对应于光源1041的光谱的窄带光谱滤光器配合。滤光器可减小背景对手指识别的影响或增加对背景的容忍度。滤光器可以是例如光学滤光器。
现在将描述卷帘快门模式和全局快门模式的更多细节。典型的光学图像传感器通常以卷帘快门模式工作。在该模式下，每个传感器线的整合时间在不同时间开始和结束。当此类操作与主动照明组合时可能是低效的，因为这通常需要在两种方案之一中转变照明。
现在参考图4a中的图，在第一方案中，照明即光源1041从第一线整合开始到最后线整合结束。该方案有两个缺点：1)整合时间短于照明时间，致使照明功率低效；以及2)如果照明切换在连续的帧之间，诸如以改变角度或波长，则下一帧开始被延迟直到第一帧结束，从而增加不短于读出时间的等待时间，致使时间低效。
现在参考图4b中的图，在第二方案中，照明从最后线整合开始到第一线整合结束。该方案有两个缺点：1)整合时间长于照明时间，致使背景光干扰低效；以及2)照明占空比相对较短，致使高峰值功率运行。
现在参考图5中的图，因此可能希望以全局快门模式操作光学图像传感器1031。在该模式下，所有传感器线的整合时间同时开始和结束。此类操作有三个优点：1)照明时间等于整合时间，致使有效利用照明功率；2)在照明开关诸如改变角度或波长的情况下，通常不需要在帧之间存在死时间；以及3)照明占空比最大，从而减少了对高峰值功率运行的需要。
光学透明粘合剂(OCA)层1042在光学图像传感器1031上方，更具体地，由光学图像传感器的上表面承载。光学透明主体或支撑构件1043将OCA层1042与针孔阵列掩膜层1050间隔开。换句话讲，支撑构件1043位于OCA层1042和针孔阵列掩膜层1050之间。
针孔阵列掩膜层1050位于光学图像传感器1031上方，例如与光学图像传感器间隔开100微米至300微米范围内的距离。更具体地，针孔阵列掩膜层1050例示性地承载在支撑构件1043的顶表面上。针孔阵列掩膜层1050是不透明掩膜，并且其中具有多个开口1051或针孔，以允许光从其中通过。例如，开口1051可均匀间隔开或以蜂窝图案间隔开。开口1051间隔或间距可例如在1mm至3mm的范围内，更具体地为约1.5mm。开口1051之间的间隔或间距影响图像分辨率。另外，每个开口1051的尺寸可例如在5微米至40微米的范围内。当然，每个开口1051或针孔的尺寸影响来自光学图像传感器1031的感测图像，如下文所详述。针孔阵列掩膜层1050是不透明的，并且因此不允许光穿过。针孔阵列掩膜层1050可包括铬例如铬层，以提供不透明度。当然，可使用其他材料(无论是不是层)来提供不透明度。
作为显示器1023的一部分的显示层1036在针孔阵列掩膜层1050上方。如本领域的技术人员将理解的，显示层1036例示性地包括显示器像素阵列1038和/或用于显示图像的微透镜。具体地，显示层1036可以是发光二极管(LED)显示器的一部分。LED或显示器像素1038可间隔开以允许光穿过，并且可与开口1051或针孔对准。
显示器封装层1044位于显示层1036上方。另一个光学透明粘合剂层1045位于显示器封装层1044上方。透明覆盖层1046例如包括缟玛瑙位于显示层1036上方并且限定能够接收与其相邻的用户的手指的手指放置表面。更具体地，透明覆盖层1046由光学透明粘合剂层1045承载，并且透明覆盖层1046的上表面限定用于接收用户的手指1040的手指放置表面1047。手指放置表面1047可与针孔阵列掩膜层1050间隔开例如1.5mm至2mm(即1500微米至2000微米)范围内的距离。当然，手指放置表面1047可例如基于期望的图像特性与针孔阵列掩膜层1050间隔开另一距离。
在包括光学图像传感器1031的示例性电子设备1020中，各层的高度可以如下：柔性基板1039可为约0.15mm厚，光学图像传感器1031可为约0.1mm，光学透明粘合剂层1042可为约0.05mm，支撑构件1043可为约0.2mm，显示器封装层1044可为约0.1mm，第二光学透明粘合剂层1045可为约0.15mm，并且透明覆盖层1046为约1.5mm。当然，每层之间的间距和尺寸可以不同，但是如下文所述，可能希望光学图像传感器1031和针孔阵列掩膜层1050之间的间距相对较小。
光学图像传感器1031、针孔阵列掩膜层1050和手指放置表面1047的相对间距和几何形状限定手指放置表面处的重叠区域以及光学图像传感器处的间隔开的区域。因此，针孔阵列掩膜层1050和光学图像传感器1031之间的间距确定即在手指放置表面1047处感测到的图像重叠量。更大的间距对应于更大的图像重叠量，这对于处理过程可能是不期望的。换句话讲，重叠越多，图像构造的计算强度越大。相比之下，光学图像传感器1031和针孔阵列层1050之间的距离较小可导致没有显著的重叠，并且因此可更容易地重构图像。
光学图像传感器1031，并且更具体地，图像感测电路，感测邻近手指放置表面1047放置的用户的手指1040或对象，并且基于此，可执行一个或多个生物特征功能，例如用户认证(匹配操作)、生物特征注册功能和/或欺骗检测功能。此外，当显示器1023为触摸显示器的形式时，当用户例如在导航功能或其他触摸显示输入期间接触触摸显示器时，来自用户的手指1040的数据由光学图像传感器1031感测或采集，例如用于手指匹配和/或欺骗检测，如本领域的技术人员将理解的。
现在将描述使用光学图像传感器1031的与手指生物特征感测有关的电子设备1020的操作。来自光源1041和/或显示器像素1038的光基于与手指放置表面1047相邻或在透明覆盖层1046上的对象例如用户的手指1040被散射。被散射的光由光学图像传感器1031通过显示层1036中的针孔和/或微透镜以及针孔阵列掩膜层1050中的开口1051或针孔捕获。
有利地，显示层1036是多光谱和多阴影照明器，并且通常不受环境光线的影响。此外，在一些实施方案中，显示层1036可用于欺骗检测，例如基于阻抗的欺骗检测和/或其他基于光或基于电场的检测技术，如本领域的技术人员将理解的。
甚至更进一步，光学图像传感器1031的芯片具有相对大量的未使用区域，这些区域可被分配用于其他处理，例如手指生物特征或指纹处理和/或欺骗检测，例如光谱仪。
使用作为成像技术的一部分的针孔阵列掩膜层1050产生重叠对象区域的单独图像。可通过相对于从对象到针孔阵列层1050以及到光学图像传感器1031的尺寸和距离调整不同参数来调整图像的阴影和放大倍率。例如，可基于高度和平均折射率比来实现0.114的放大倍率。开口或针孔图像阴影由cos4函数给出。阴影允许感测图像的分离，即使存在重叠区域。阴影通过单个开口1051或针孔确定对象区域图像的有效尺寸。
关于分辨率，使用针孔阵列层1050能够实现约15微米的图像分辨率。因此，可使用相对宽范围的像素尺寸。例如，可实现约120微米的对象平面分辨率。
更具体地，可基于针孔成像点扩散函数(PSF)来确定针孔光学系统分辨率，该针孔成像点扩散函数为几何和衍射PSF的卷积。两者都是轴对称的2D函数。几何PSF对由于每个开口或针孔的尺寸有限引起的模糊进行量化。几何PSF由光学图像传感器1031(用于图像空间分辨率)或对象(用于空间分辨率)上的针孔圆形投影给定。衍射PSF对由于小开口处的光衍射引起的附加模糊(例如，对于圆形孔径)进行量化，它由第一贝塞尔函数给出。
关于图像重叠，使用64％至100％范围内的信号水平，可获得±26.5°的视场。当与200微米的开口1051或针孔尺寸、1750微米的对象区域尺寸以及1500微米的开口的间隔或间距—起使用时，对象可被成像区域完全覆盖。通过使用20％至100％范围内的信号水平，可获得±48°的视场。当与200微米的开口1051或针孔尺寸、1750微米的对象区域尺寸以及1500微米的针孔间隔或开口间距—起使用时，每个对象区域在同一次捕获中从不同角度被多次感测或成像。例如，可使用重叠信息来提高分辨率和信噪比(SNR)和/或提取3D信息。
参考图6a和图6b，曲线图1060a和1060b是基于1750微米的对象与开口距离以及200微米的光学图像传感器与开口距离的开口1051或针孔尺寸的曲线图。曲线图1060a和1060b描绘了每个开口1051的直径(以微米为单位)分别与图像平面分辨率(图6a)和对象平面分辨率(图6b)(以微米为单位)之间的关系。线1061a、1061b对应于波长为380nm的光，线1062a、1062b对应于波长为460nm的光，1063a、1063b对应于波长为525nm的光，线1064a、1064b对应于波长为630nm的光，线1065a、1065b对应于波长为850nm的光，并且线1066a、1066b对应于波长为940nm的光。可能特别适合可见光的开口1051的尺寸为9微米。
另外，相对较大的针孔或开口1051处的线的PSF宽度增加是几何分辨率主导的方案。相对较小的开口1051处的PSF宽度快速增加是衍射主导的方案。这两种效应组合产生了可能被认为是最佳分辨率的最佳针孔尺寸。可能希望将开口1051尺寸选择为略大于最佳确定的分辨率，例如以针对信噪比(SNR)折衷分辨率。
现在参考图7a和图7b中的曲线图1070a、1070b，示出了针孔成像分辨率。图7a中的曲线图1070a对应于9微米的开口1051或针孔尺寸、1750微米的对象与开口距离以及200微米的图像传感器与开口距离，而图7b中的曲线图1070b对应于15微米的开口或针孔尺寸、1750微米的对象与开口距离以及200微米的图像传感器与开口距离。线1071a、1071b对应于波长为460nm的光，线1072a、1072b对应于波长为525nm的光，线1073a、1073b对应于波长为630nm的光，线1074a、1074b对应于波长为850nm的光。例示性地，对于9微米的开口1051或针孔直径，对象平面分辨率(1/e)为105微米，而对于15微米的开口1051或针孔直径，对象平面分辨率(1/e)为155微米。曲线图1070a对应于相对小的针孔尺寸、衍射方案，具有钟形形状，并因此具有相对显著的波长相关性。曲线图1070b对应于相对大的针孔尺寸、主要几何方案，具有正方形形状，并因此具有可忽略不计的波长相关性。
还需要考虑像素模糊。像素PSF是像素化和串扰PSF的卷积。像素化PSF是由于像素的尺寸有限引起的，并且其可通过2D平方的正弦函数或通过对超采样图像进行整合来建模。串扰PSF是例如通过角度和波长测量的像素特性。串扰PSF取决于入射角，并且更具体地，取决于相对于图像中心的像素位置。
串扰PSF的尺寸通常在一个像素的数量级，但是可具有远程尾部，特别是对于例如近红外(NIR)光。然而，与光学模糊相比，通常不期望像素模糊相对显著，因为像素尺寸显著小于开口1051或针孔的尺寸。
现在参考图8a至图8g，示出了例示性分辨率的模拟图像。图像是针对直径为15微米的开口1051和分辨率为155微米的绿色光。图8A示出了4线每毫米，其中线宽为125微米。图8B示出了5线每毫米，其中线宽为100微米。图8C示出了6线每毫米，其中线宽为83微米。图8D示出了7线每毫米，其中线宽为71微米。图8E示出了8线每毫米，其中线宽为63微米。图8F示出了9线每毫米，其中线宽为56微米，并且图8G示出了10线每毫米，其中线宽为50微米。1/e分辨率为155微米有利地允许高达约7线每毫米的分辨率，这可取决于例如对比度降低限制。
关于阴影，阴影包括光学阴影和像素阴影两者。光学阴影可近似取决于“余弦4次方”几何因子。在光学图像传感器1031处以取决于针孔平面的折射率比的角度接收光。测量像素阴影，并且除了几何效应之外，预计其不超过额外的余弦因子。
相对于信噪比(SNR)和整合时间，每个开口1051或针孔的尺寸驱动了分辨率与SNR的折衷。信号水平基于针孔平面辐照度、开口1051或针孔尺寸、像素灵敏度、整合时间和阴影。
给定光学图像传感器的噪声水平可以是具有常量参数的信号函数，所述常量参数包括诸如读出噪声、光子响应非均匀性(PRNU)和固定模式噪声(FPN)的像素特性。例如，对于9微米的分辨率-最佳开口直径，F数为22.2。对于15微米的开口直径，200微米的传感器距离，F数为13.3(分辨率损失约为1.5倍，相同SNR的整合时间减少约为2.8倍)。如本领域的技术人员将理解的，图像中心信号由下式给出：
信号＝亮度[cd/m2]*π*反射率*透射率/
(4F2)*灵敏度[e/lx-s]*tau[s]
对于约520cd/m2的典型显示亮度、约70％的反射率、F/13.3、6微米的像素间距、100ms的整合时间，所得到的信号可为约140e，其SNR为约11。该SNR可被认为相对较低，并因此对于可工作的对比度，可能希望图像调制为约10％。可例如经由合并考虑更大的有效像素间距，即像素之间的间隔，以用于提高SNR或缩短整合时间。
关于图像失真，可基于鱼眼或反鱼眼效应导致图像失真。图像失真可能是由于例如对象界面介质和光学图像传感器1031之间的折射率的差异引起的，并且通过正弦比折射函数进行建模。针孔成像本身不会引起显著的失真，从而保持角度切线相对恒定。可通过使用具有更紧密匹配(例如，折射率几乎相同)的材料来减小失真。如本领域的技术人员将理解的，可通过在将各个图像拼接在一起之前进行图像处理来纠正失真。
现在参考图9，使用原型电子设备1200根据上述原理生成图像。更具体地，使用铬掩膜1201来模拟要待感测的对象，该铬掩膜具有约12微米的厚度，由折射率为1.5、厚度为1500微米的后部玻璃1202承载。模拟对象的铬掩膜1201是Thorlabs R2L2S1P正分辨率靶，它具有2英寸×2英寸的尺寸、钠钙玻璃基板(后部玻璃)和铬图案。
漫射光源1203被定位在铬掩膜1201上方。漫射光源1203包括多个蓝色发光二极管(LED)，它们均匀地照射超过2英寸的漫射体。中心波长为约450nm。光源1203限于蓝光LED，因为铬掩膜在较高波长的残余透射致使对比度降低。
铬掩膜1201与针孔阵列掩膜层1204间隔开约1500微米，因为该针孔阵列掩膜层也由后部玻璃1205承载，该后部玻璃具有约1.5的折射率和约1500微米的厚度。针孔阵列掩膜层1204具有约12微米的厚度，并且针孔阵列掩膜层中的单个开口1206的直径为12微米。
光学图像传感器1207在针孔阵列掩膜层1204下方，并与之间隔开约750微米，相关联的折射率为约1.3。750微米的间隔包括150微米的气隙1208、厚度为300微米并且折射率为1.5的覆盖玻璃层1209以及厚度为300微米的第二气隙1210。预测的对象平面分辨率为38微米(PSF-1/e直径；相当于最小可分辨线对宽度)。
另外参考图10A至图10H、图11A至图11H中的图像，原型用于生成图像，然后将图像与模拟图像分别进行比较。图10A至图10H分别对应于18、16、14、12.5、11、10、9和8线每毫米捕捉或生成的图像。图11A至图11H分别对应于18、16、14、12.5、11、10、9和8线每毫米的模拟图像。应当注意，18线每毫米仍可分辨，但如图所示，对比度相对较低(线宽为28微米)。具体参考图10E至图10H，可见的失真是由于针孔或开口1051上的折射率阶跃产生的“反鱼眼”效应。
现在参考图12A-12C，示出了重叠对象区域的单独子图像的示例性图像。这些图中的捕捉图像是采集自具有1000微米间隔的12微米直径5×5针孔阵列层。图13A和图13B示出了从重叠的子图像中复原单个图像，例如图12A至图12C所示的那些。
使用前照明原型设备进行进一步的测试，其示出了相对于指纹脊线成像，对比度通常密切依赖于角度和波长。更具体地，关于前照式原型设备，光源被定位成与图像传感器横向相邻，并且针对不同的光角度被横向调整。使用与上述原型相同的铬掩膜来模拟待感测的对象。
现在参考图14中的图像，例如当光源角度接近法向时，550nm处的脊线图像对比度相对较低。现在参考图15A至图15D，示出使用蓝光(450nm，图15A)或绿光(550nm，图15B)比使用红光(650nm，图15C)或红外光(940nm，图15D)的分辨率更好。图16A至图16C分别是在550nm、850nm和940nm以相对高的角度捕捉的图像。图17A至图17C以及图18A至图18分别是在550nm、850mn和940mn处以相对高的角度捕捉的附加图像。例示性地，对比度在高角度下显著改善，但在红外波长下仍然较低。脊线密度为约3线每毫米。
虽然本文已将电子设备1020描述为移动无线通信设备的形式，但是该电子设备可以是独立光学图像感测设备的形式(即，手指生物特征感测或指纹感测设备)。此外，虽然光学图像传感器1031已被主要描述为用于生物特征认证，但是应当理解，光学图像传感器，更具体地图像感测电路，能够执行生物特征认证功能、欺骗检测功能和生命体征测量功能中的任一种或全部。
具体地，例如使用针孔阵列掩膜层1050进行遮蔽的感测3D几何形状、成像的多光谱特性和/或活体手指的其他特征可用于生物特征认证。光学图像传感器1031也能够执行感测其他生物特征，诸如心率或脉搏率(可用于测定血压)和/或脉搏或血氧测定，并且可基于在不同波长下感测图像的能力。如本领域的技术人员将理解的，为检测心率，可以使用绿光和IR光的组合，并且为检测血氧水平，可以使用红光和IR光的组合。
此外，光学图像传感器1031可以与开口1051组合使用，以在环境光感测模式下操作，这在例如可穿戴电子设备中可能是相对期望的。更具体地，通过使用例如整个针孔阵列掩膜层1050和光学图像传感器1031的整个像素阵列，可获得相对较高的光接收角，这对于环境光感测操作通常是期望的。
现在将描述环境光感测模式的操作的其他细节。所有像素可组合成单个输出，并且利用极低功耗的读出电路读出。然后，光学图像传感器1031与针孔阵列掩膜层1050组合，可在非常宽例如高达180度的视场(FOV)中集成光。例如，典型的相机感测通常介于60和70度之间的相对较窄FOV中的光，该FOV对于在环境光感测模式中的操作可能太小。通过使针孔阵列掩膜层1050与光学图像传感器1031的组合具有非常大例如高达180度的FOV，可提供优于例如典型相机的一个较大的优势。
针孔阵列掩膜层1050或甚至针孔成像技术的使用，提供了广角光检测功能，因为针孔或开口1051被定位成相对靠近光学图像传感器1031。因此，有效焦距明显小于光学图像传感器1031的尺寸。当像素组合在单个输出中时，将对几乎所有进入开口1051的光都敏感。这允许相对低功率的环境光感测模式，由于例如取向依赖性降低，其相比于典型传感器具有稳定性优势。
现在参考图19，电子设备1020'的一部分示出了一种示例性集成设计。基板1034'与底座1039'间隔开。光学图像传感器1031'由基板1034'的上表面承载。无源器件1049'由基板1034'的下表面承载。键合引线1057'将光学图像感测电路耦接到由基板1034'承载的电路。透明玻璃层1059'由壳体承载，并且具有例如0.5mm的厚度。壳体1058'从围绕光学图像传感器1031'的基板1034'向上延伸。壳体1058'使针孔阵列掩膜层1050'和透明玻璃层1059'与光学图像传感器1031'间隔开例如150微米的距离，从而限定了它们之间的气隙。针孔阵列掩膜层1050'由透明层1059'例如玻璃层的下表面承载。吸光性粘合剂1092'例如环氧树脂可以将透明玻璃层1059'和针孔阵列掩膜层1050'固定到壳体1057'。
现在参考图20，图19中所示的部件或元件被集成到示例性电子设备1020'中。印刷电路板(PCB)1081'耦接基板1034'，并且更具体地，耦接基板的与无源器件1049'相邻的下表面。包括间隔开的显示器像素1038'的显示层1036'由基板1034'的与壳体1058'横向相邻或在其周围的上表面承载。显示层1036'可耦接到布置在基板1034'外部的显示器控制电路1082'。透明覆盖层1046'在透明层1059'上方。例如，可以用粘合剂将透明覆盖层1046'固定到透明层1059'。透明覆盖层1046'可以是例如玻璃或缟玛瑙，或者可以是其他材料。
一个方法方面涉及制造电子设备1020的方法。该方法包括将针孔阵列掩膜层1050定位在光学图像传感器1031上方，并将显示层1036定位在该针孔阵列掩膜层上方。显示层1036包括间隔开的显示器像素1038。该方法还包括将透明覆盖层1046定位在显示层1036上方，该覆盖层限定能够接收与其相邻的用户的手指1040的手指放置表面1047。
另一个方法方面涉及感测光学图像的方法。该方法包括使用光学图像传感器1031来感测从由透明覆盖层1046限定的与手指放置表面1047相邻的用户的手指1040反射穿过透明覆盖层、穿过光学图像传感器上方的针孔阵列掩膜层1050并穿过针孔阵列掩膜层上方的显示层1036的光，其中显示层包括间隔开的显示像素1038。
现在参考图21，在另一个实施方案中，包括开口1051”的针孔阵列掩膜层1050”可能不位于光学图像传感器1031”和显示层1036”之间，而是由显示层承载或与显示层集成。例示性地，显示层1036”包括间隔开的显示像素1038”阵列，和/或用于显示图像并且间隔开以允许光穿过的微透镜。显示器像素1038”之间的允许光通过的间距限定了开口1051”。这与在其中间隔开的显示器像素1036之间的间距可以与针孔阵列掩膜层1050中的开口1051或针孔对准的实施方案相反。方法方面涉及制造相关电子设备的方法以及使用该电子设备来使用或感测手指的方法。
现在参考图22，在另一个实施方案中，针孔阵列掩膜层1050”'在开口1051”'中包括透镜1091”'。透镜1091”'中的每个透镜可以具有例如约40微米至100微米的直径。透镜1091”'可以有利地改善图像质量和SNR，因此可以降低用于照明的光功率和总功耗，这在与移动设备或便携式设备一起使用时可能特别有利。另选地或除此之外，可以将透镜包括在显示层1036”'中。
现在参考图23，可由上述电子设备1020承载的手指生物特征传感器1130例如例示性地包括介电层1146。介电层1146可为例如透明覆盖层，同样如上文所述。其他材料和/或层可形成介电层1146。介电层1146具有接收其上的用户的手指1140的前表面1147以及相背对的后表面1148。
光源1141a-1141n将光注入用户的手指1140中。例如，光源1141a-1141n可选择性地在不同波长下操作。光源1141a-1141n中的至少一部分与介电层1146的后表面1148相邻。在一些实施方案中，可存在单个光源，该光源可沿介电层1146的后表面移动。
图像传感器1131a-1131n，例如呈针孔相机的形式，与介电层的后表面相邻并且限定涉及用户的手指1140的多个重叠目标区域。图像传感器1131a-1131m可各自呈光学图像传感器诸如上述光学图像传感器的形式，并且可用于感测用户的手指生物特征特征，例如用户的手指1140的指纹图案的图像。
本领域的技术人员应当理解，可将若干图像传感器1131a-1131n封装在单个集成电路中，并且这些图像传感器可统称为“图像传感器”。图像传感器1131a-1131n可相对于相应的光源1141进行定位，以限定它们之间相应的镜面反射角度，如本领域的技术人员将理解的。
控制器1122或处理器选择性地操作光源1141，并且基于用户的手指1140的漫散射和镜面反射采集来自图像传感器1131a-1131n的图像，如下文所详细解释的。控制器1122生成指纹脊线三维(3D)数据，并且更具体地例如基于镜面反射角度来生成。控制器1122还可在不同波长下选择性地操作光源1141a-1141n。如本领域的技术人员将理解的，控制器1122可基于不同波长来确定与介电层1146相邻并被图像传感器1131a-1131n感测的对象是否为欺骗。
另外，现在参考图24a-24d，示出了用户的手指1140如何与介电层1146或玻璃进行交互。用户的手指1140与光的交互基于光源1141a-1141n和图像传感器1131a-1131n的定位。图24a示出了直接反射，其中光源1141a、1141b产生光或照明，标记为I，图像传感器1131a、1131b接收光，标记为R，光源和图像传感器被定位成使得例如两者彼此相对接近，并且使得它们之间的角度接近垂直以捕获镜面反射。图24b示出了漫反射和局域再发射。光源1141a、1141b和图像传感器1131a、1131b间隔开不同角度，使得图像传感器不再捕获镜面反射，相反，捕获远离镜面反射的漫反射。
图24c示出了散射-透射。光源1141a相对远离捕获非局域再发射的图像传感器1131a、1131b。另一种交互效应是脊线阴影，其中光源相对于图像传感器成角度，但是该角度小于全内反射(TIR)的角度。图像传感器接近垂直，但仍减少或避免镜面反射。
图24d示出了介电层1146上的TIR。光源1141a、1141b的角度介于空气的TIR和手指1140的皮肤的TIR之间。图像传感器1131a、1131b可接收镜面反射或漫反射。另一种交互效应是荧光，由此光源为紫外光(UV)，并且图像传感器接收较长波长的光。
本文所述的感测概念是基于光照自由度。例如，光照入射角可对应于是否存在不希望的全内反射(FTIR)、阴影和/或非阴影。光照自由度也可包括照明目标与读出目标之间的距离。本文所述的感测概念也基于读出自由度。例如，读出自由度可包括镜面反射、漫反射和再发射的光。其他和/或附加的光行为可以被视为光照自由度或读出自由度的一部分。
现在参考图25a和图25b，示出了3D指纹成像概念的简化示意图。多个图像传感器1131a、1131b或接收器可在不同角度下使用。照明源1141a(图25a)、1141n(图25b)序列也从不同角度使用。
另外，现在参考图26，示出了手指生物特征传感器的一部分，其中示出了重叠目标区域。多个相机或图像传感器1131a-1131e被定位在介电层1146下方，该介电层限定手指压板或手指生物特征感测区域，使得用户的手指1140的每个区域在多个相机视图中可见。对于用户的手指1140表面上的每个点，存在可得自若干图像传感器1131a-1131e的强度数据。
另外，现在参考图27，为确定用户的手指1140的指纹图案的3D结构，将控制器1122与图像传感器1131a-1131n配合以测量横跨脊和谷图案的皮肤表面的斜率。如果例如照明角度已知，则控制器1122可通过确定给定位置处采集的来自该特定区域的镜面反射1189的图像传感器来确定目标的任何部分的斜率。
另外，现在参考图28a和图28b，用户的手指1140的表面通常是不平滑的并且具有纹理。因此，镜面反射一般不限于单个明确限定的角度。相反，它覆盖范围较宽的角度。这允许图像传感器在用户的手指1140下方周期性地间隔开，但仍捕获镜面反射。相对于镜面反射1187，示出了改变照明方向和角度的影响。例示性地，改变照明方向(参见例如1141a、1141n)和角度提供了有关3D结构的更多信息。
另外参考图29，相对于包含重叠目标区域的图像传感器1131a-1131e，示出了漫反射和再发射1188。图像传感器1131a-1131e被定位成使得它们能够采集漫反射和再发射。图像传感器1131a-1131e所捕获的强度差异是由以不同角度照射到用户的手指1140的皮肤上的光照引起。
照明角度接近法向角的区域将在漫射图像中看起来更亮，而照明角度远离法向角(例如，掠射角更大)的区域将在漫射图像中看起来更暗。改变照明的颜色将改变高角度区域和低角度区域之间的差值。波长较短的光(例如，蓝光)通常不大量穿透或再发射。较长波长的光(例如，红光)穿透、扩散并再发射到入射点周围较大的区域中。这样消除了不同照明角度的区域之间的差异。
另外，现在参考图30，现在将描述由手指生物特征传感器1130生成的原始数据。一般来讲，存在光强测量。例如，对用户的手指1140的表面上的每个点(点位置(x,y))、对每个光源1141a(光源源位置(x,y)，颜色(c))并对采集或捕获点的每个图像传感器1131a-1131d(相机位置(x,y))进行光强测量。可采集数据并形成由控制器1122处理的阵列，例如提取一种或多种所需类型的数据。
在可见光图像中，观察到漫散射区域和镜面反射区域。镜面反射致使对比度较高。图像内镜面反射区域的存在及其位置取决于相对于入射方位角的图案取向，并且镜面反射空间相位强烈依赖于入射角。这种依赖性可用于采集脊线3D结构信息，因为相取决于轮廓的二阶导数。
另外参考图31a和图31b，图像和曲线图分别示出60°下的手指图像轮廓。使用蓝光的归一化图像示例(图31a)示出了沿图像的顶部边缘的镜面反射区域以及其他位置的漫散射区域。图31b中的曲线图示出镜面反射区域1177中的信号轮廓相对于漫射区域1178表现出相对更高的对比度。
另外参考图32a和图32b，图像和曲线图分别示出20°下的图像轮廓。类似于60°轮廓，手指图像是基于蓝光光源。当入射角改变时，镜面反射区域的位置发生偏移(图32a)。镜面反射区域1176内的轮廓相位也发生偏移(图像中的亮信号脊线横向移动)(图32b)。漫射轮廓标记为1175。
现在参考图33a和图33b，示出了所有入射角(即0至90°)下的示例性图像水平轮廓。图33a示出了镜面反射轮廓，而图33b示出了漫射轮廓。镜面反射图像区域轮廓显示成像脊线明显逐渐偏移。漫射图像区域轮廓显示成像脊线几乎不偏移。
现在参考图34，示出了电子设备内的手指生物特征传感器的示意图。更具体地，手指生物特征传感器1130'包含在显示器内。由显示器基板1128'承载的显示器的显示器像素1138'是光源并提供照明。反射光穿过相邻显示器像素1138'之间的开口1151'或针孔，并被图像传感器1131a'捕获。
应当注意，为了便于解释，仅示出了单个开口1151'和图像传感器1131a'。进入像素或图像传感器1131a'的光可包括来自引起直接镜面反射1119'的光、来自引起漫反射和再发射反射1118'的光以及来自阴影反射1117'的光。
实际上，所采集的图像数据可用于生成指纹脊线3D数据，这些指纹脊线3D数据可用于生成手指图像。所生成的手指图像可以由控制器1122用于执行认证功能，例如通过将生成的数据与存储的注册数据进行匹配来实现。所生成的手指图像可以由控制器1122用于确定欺骗，即确定与手指生物特征传感器相邻的对象事实上是活体手指还是假手指、潜藏指纹或其他类型的欺骗手指。
一种生成指纹脊线三维(3D)数据的方法使用手指生物特征传感器1130，该手指生物特征传感器包括：介电层1146，该介电层具有能够接受其上的用户的手指1140的前表面1147；至少一个光源1141a-1141n，该光源能够将光注入用户的手指中；以及图像传感器1131a-1131n，这些图像传感器与介电层的后表面1148相邻并且限定涉及用户的手指的多个重叠目标区域。该方法包括使用控制器1122基于来自用户的手指1140的漫散射和镜面反射采集来自图像传感器1131a-1131n的图像数据，并生成指纹脊线3D数据。
现在参考图35至图37，在电子设备1320的另一个实施方案中，用于感测用户的生物特征特征诸如用户的手指1340的指纹图案的图像的光学图像传感器1331由显示器1323下方的外壳1321承载。类似于上述实施方案，光学图像传感器1331包括集成电路(IC)基板以及由IC基板承载的图像感测电路。光学图像传感器1331包括布置成阵列的光学图像感测像素1337，例如可布置成行和列。
光学图像传感器1331可通过具有球栅阵列(BGA)接触件的栅格阵列或其他耦接技术耦接到电路基板，例如柔性基板1334。光学图像传感器1331可以是本领域的技术人员将理解的背照式传感器或背面照明(BSI)图像传感器。当然，图像传感器1331可以是前侧照明(FSI)图像传感器或其他类型的传感器。
电子设备1320可选地包括与显示层1336横向相邻的光源1341，如下文所详述。光源1341在用户的手指与光学图像传感器相邻时将光引导到用户的手指1340中，并且可将光引导到光学图像传感器1331。光源1341可以是一个或多个发光二极管(LED)，这些发光二极管与显示层1336物理间隔开，或不是显示层1336的一部分。换句话讲，显示器像素1338不同于光源1341。光源1341可以是可见光源或不可见光源(例如，红外(IR)或紫外线(UV))和/或另一种类型的光源，或者可使用光源的组合。然而，与其他颜色的光例如蓝色光相比，IR光可在用户的手指1340内穿透更深。在一些实施方案中，光源1341可具有可调节的亮度，例如可基于应用、用户的手指和/或针孔尺寸进行调节。
例示性地，光学透明粘合剂(OCA)层1342在光学图像传感器1331上方，更具体地，由光学图像传感器的上表面承载。例如，OCA层1342可以是液体光学透明粘合剂层。当然，OCA层1342可以是另一种类型的OCA层。光学透明主体或支撑构件1343将OCA层1342与针孔阵列掩膜层1350间隔开。换句话讲，支撑构件1343在OCA层1342和针孔阵列掩膜层1350之间。
针孔阵列掩膜层1350在光学图像传感器1331上方，例如与光学图像传感器间隔开100微米至300微米范围内的距离。更具体地，针孔阵列掩膜层1350例示性地承载在支撑构件1343的顶表面上。针孔阵列掩膜层1350是不透明掩膜，并且其中具有多个开口1351或针孔，以允许光从其中通过。开口1351限定光学图像传感器1331上的间隔开的图像区域1327。例如，开口1351可均匀间隔开或以蜂窝图案间隔开。开口1351的间隔或间距可例如在1mm至3mm的范围内，更具体地为约1.5mm。该间距或间隔可以在另一范围内，例如小于1mm，并且可以由叠层的几何参数、目标图像分辨率和/或信噪比(SNR)决定。
开口1351之间的间隔或间距影响图像分辨率。另外，每个开口1351的尺寸可例如在5微米至40微米的范围内。当然，每个开口1351或针孔的尺寸影响来自光学图像传感器1331(即，间隔开的图像感测区域1327)的感测图像。针孔阵列掩膜层1350是不透明的，并且因此不允许光穿过。针孔阵列掩膜层1350可包括铬例如铬层，以提供不透明度。当然，可使用其他材料(无论是不是层)来提供不透明度。
作为显示器1323的一部分的显示层1336在针孔阵列掩膜层1350上方。在一些实施方案中，针孔阵列掩膜层1350可以是显示器1323的一部分，例如针孔可使用金属线和/或黑色材料形成显示层1336的一部分，如本领域的技术人员将理解的。如本领域的技术人员将理解的，显示层1336例示性地包括显示器像素阵列1338和/或用于显示图像的微透镜。具体地，显示层1336可以是发光二极管(LED)显示器的一部分。LED或显示器像素1338可间隔开以允许光穿过，并且可与开口1351或针孔对准。
显示器封装层1344在显示层1336上方。另一个光学透明粘合剂层1345在显示器封装层1344上方。透明覆盖层1346例如包括缟玛瑙在显示层1336上方并且限定能够接收与其相邻的用户的手指的手指放置表面1347。透明覆盖层1346可以是另一种类型的透明材料，例如玻璃。更具体地，透明覆盖层1346由光学透明粘合剂层1345承载，并且透明覆盖层1346的上表面限定用于接收用户的手指1340的手指放置表面1347。手指放置表面1347可与针孔阵列掩膜层1350间隔开例如1.5mm至2mm(即1500微米至2000微米)范围内的距离。当然，手指放置表面1347可例如基于期望的图像特性与针孔阵列掩膜层1350间隔开另一距离。上文已经描述了不同层的相对尺寸。
例示性地，光源1341与透明覆盖层1346横向相邻。与透明覆盖层1346横向相邻的光源1341的相对定位，允许在用户的手指与透明覆盖层或手指放置表面1347相邻时将来自光源的光直接引导到用户的手指1340中。当然，光源1341可以被定位在外壳1321内相对于光学图像传感器1331和透明覆盖层1346的其他位置。
光学图像传感器1331、针孔阵列掩膜层1350和手指放置表面1347的相对间距和几何形状限定手指放置表面处的重叠区域以及光学图像传感器处的间隔开的区域。因此，针孔阵列掩膜层1350和光学图像传感器1331之间的间距确定感测到的图像重叠量。更大的间距对应于更大的图像重叠量，这对于处理过程可能是不期望的。换句话讲，图像传感器1331上的重叠越多，图像构造的计算强度越大。相比之下，光学图像传感器1331和针孔阵列层1350之间的距离较小可导致在图像传感器上没有显著的图像重叠，并且因此可更容易地重构图像。
光学图像传感器1331与处理电路1322配合以感测邻近手指放置表面1347放置的用户的手指1340或对象，并且基于此，可执行一个或多个生物特征功能，例如用户认证(匹配操作)、生物特征注册功能、欺骗检测功能和/或健康相关的功能。此外，当显示器1323为触摸显示器的形式时，当用户例如在导航功能或其他触摸显示输入期间接触触摸显示器时，来自用户的手指1340的数据由光学图像传感器1331感测或采集，例如用于手指匹配和/或欺骗检测，如本领域的技术人员将理解的。
耦接到光学图像传感器1331的处理电路1322感测来自光学图像感测像素1337阵列的间隔开的子阵列1328的图像。子阵列1328与间隔开的图像区域1327垂直横向对准。在一些实施方案中，间隔开的子阵列可物理间隔开，例如其中仅间隔开的图像区域1327填充有光学图像感测像素1337。
另选地，在一些实施方案中，间隔开的子阵列1328可逻辑间隔开并且可由处理电路1322寻址。换句话讲，处理电路1322可选择性地读取来自限定间隔开的图像区域(或子阵列1328)的光学图像感测像素1337的数据。
子阵列1328可例如布置成棋盘图案。如本领域的技术人员将理解的，通过将子阵列1328布置成棋盘图案，可利用较少的针孔捕获图像。现在简单地参考图38，子阵列1328'可以被布置成对准的行和列。其他电路和/或甚至处理电路1322可以被定位在介于间隔开的子阵列1328之间的空间中。在一些实施方案中，处理电路1322可选择性地读取来自子阵列1328的数据。具体地，处理电路1322可选择性地激活或去激活光学图像感测像素1337阵列的行和/或列。
例如，处理电路1322选择性地操作光源1341并且与光学图像传感器1331配合以采集手指生物特征数据。处理电路1322也可以在不同波长下和/或以不同的亮度选择性地操作光源光源1341。处理电路1322可以确定与透明覆盖层1346相邻并被光学图像传感器1331感测的对象是否通过认证，例如通过比较感测生物特征数据与注册的生物特征数据、基于不同波长的光的欺骗、生命体征测量功能、不同的照明角度和/或不同的光偏振来实现，如本领域的技术人员将理解的。当然，可以使用其他欺骗检测技术。
处理电路1322可基于光源1341的操作来确定光补偿信息。例如，处理电路1322可确定光源1341的位置、光源的亮度和光源的持续运行时间中的任一种或多种。基于该补偿信息，处理电路1322可改变或调节光源1341的亮度。如本领域的技术人员将理解的，处理电路1322可基于光源1341补偿运行状态的变化，这些变化诸如作为老化或脱气的结果(即，在可能包含有机材料的情况下，光源随使用时间的延长而减弱或变暗)。在一些实施方案中，处理电路1322还可以确定模拟设备诸如放大器和数模转换器的整合时间、增益和/或偏移。
现在参考图39，在另一个实施方案中，电子设备1320”可包括多个光源1341”，例如呈围绕设备外壳1321”的周边间隔开的LED的形式。在一些实施方案中，光源1341”可整体形成于设备外壳1321”内。处理电路1322”可例如基于应用或功能和/或基于光学图像传感器1331”选择性地操作某些光源1341”。
虽然本文描述了处理电路1322，但是应当理解，处理电路的功能可以包含在光学图像传感器1331中。换句话讲，光学图像传感器1331可执行本文相对于控制器1322所述的全部或部分功能，并且可以不使用离散的控制器。当然，可使用单独的处理电路1322和光学图像传感器1331。
一个方法方面涉及使用电子设备1320感测图像的方法，该电子设备包括：光学图像传感器1331，该光学图像传感器包括光学图像感测像素阵列1337；针孔阵列掩膜层1350，该针孔阵列掩膜层在光学图像传感器上方并且其中包括多个间隔开的针孔1351，所述多个间隔开的针孔限定光学图像传感器上的多个间隔开的图像区域1327；以及显示层1336，该显示层在针孔阵列掩膜层上方并且包括多个间隔开的显示器像素1338。该方法包括使用耦接到光学图像传感器1331的处理电路1322感测来自光学图像感测像素阵列1337的间隔开的子阵列1328的图像，该光学图像感测像素阵列1337的间隔开的子阵列1328与所述多个间隔开的图像区域1327对准。
由本文所公开的设备收集的生物特征数据的益处包括方便地访问设备特征而不使用密码。在其他示例中，收集用户生物特征数据是为了向用户提供有关其健康或健身水平的反馈。本公开进一步设想了有益于此类设备的用户的个人信息数据包括生物特征数据的其他用途。
实施本发明要求收集、传输、存储或分析用户数据包括个人信息符合已建立的隐私政策和实践。具体地，此类实体应实施并坚持使用被公认为满足或超出针对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践，包括使用满足或超出行业或政府要求的数据加密和安全方法。不得在合法和合理的用途之外分享或销售来自用户的个人信息。另外，此类收集应仅在收到用户的知情同意后才能发生。此外，此类实体应采取任何所需的步骤，用于保障和保护对此类个人信息数据的访问，并且确保有权访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。
本公开还设想选择性地阻止访问或使用个人信息数据，包括生物特征数据。本文所公开的硬件和/或软件元件可被配置为防止或阻止访问此类个人信息数据。可选地允许用户通过提供诸如密码、个人识别号码(PIN)、触摸手势或其他认证方法的安全信息来单独或组合地绕过生物特征认证步骤，对本领域的技术人员来讲是熟知的。用户可进一步选择以移除、禁用或限制对收集用户个人健康或健身数据的某些与健康相关的应用程序的访问。
受益于前文描述及相关附图中所呈现的教导内容的本领域的技术人员将想到本发明的许多修改形式和其他实施方案。因此，应当理解，本发明不限于所公开的具体实施方案，并且修改形式和实施方案旨在涵盖于所附权利要求书的范围内。

Claims (12)

1.一种电子设备，包括：
光学图像传感器，所述光学图像传感器包括光学图像感测像素阵列，所述光学图像感测像素阵列具有多个间隔开的光学图像感测像素子阵列，其中所述多个间隔开的光学图像感测像素子阵列按棋盘图案来布置；
针孔阵列掩膜层，所述针孔阵列掩膜层中包括多个针孔，所述多个针孔限定所述光学图像传感器上的多个图像区域，所述多个图像区域与所述多个间隔开的光学图像感测像素子阵列对准；
显示层，所述显示层包括允许光穿过其间的多个间隔开的发光二极管LED，所述针孔阵列掩膜层被设置在所述光学图像传感器和所述显示层之间，穿过所述多个LED之间的光穿过所述多个针孔到所述多个间隔开的光学图像感测像素子阵列；和
处理电路，所述处理电路耦接到所述光学图像传感器并被配置为感测来自所述多个间隔开的光学图像感测像素子阵列的图像，所述多个光学图像感测像素子阵列与所述多个图像区域对准。
2.根据权利要求1所述的电子设备，还包括位于所述显示层上方的透明覆盖层，所述透明覆盖层限定对象放置表面，所述对象放置表面被配置为接收与其相邻的对象。
3.根据权利要求2所述的电子设备，其中所述对象放置表面包括手指放置表面，所述手指放置表面被配置为接收与其相邻的用户的手指。
4.根据权利要求1所述的电子设备，其中所述多个间隔开的光学图像感测像素子阵列包括所述光学图像传感器的多个寻址区域。
5.根据权利要求1所述的电子设备，其中所述多个间隔开的光学图像感测像素子阵列与所述多个图像区域垂直对准。
6.一种电子设备，包括：
光学图像传感器，所述光学图像传感器包括光学图像感测像素阵列，所述光学图像感测像素阵列包括多个物理间隔开的光学图像感测像素子阵列，其中所述多个物理间隔开的光学图像感测像素子阵列按棋盘图案来布置；
针孔阵列掩膜层，所述针孔阵列掩膜层位于所述光学图像传感器上方并且所述针孔阵列掩膜层中包括多个针孔，所述多个针孔限定所述光学图像传感器上的多个图像区域，所述多个图像区域与所述多个物理间隔开的光学图像感测像素子阵列对准；
显示层，所述显示层位于针孔阵列掩膜层上方并包括允许光穿过其间的多个间隔开的发光二极管LED，穿过所述多个LED之间的光穿过所述多个针孔到所述多个间隔开的光学图像感测像素子阵列；
透明覆盖层，透明覆盖层位于所述显示层上方并限定手指放置表面，所述手指放置表面被配置为接收与其相邻的用户的手指；和
处理电路，所述处理电路耦接到所述光学图像传感器并被配置为感测来自所述多个物理间隔开的光学图像感测像素子阵列的图像。
7.根据权利要求6所述的电子设备，其中所述多个物理间隔开的子阵列包括所述光学图像传感器的多个寻址区域。
8.根据权利要求6所述的电子设备，其中所述多个物理间隔开的光学图像感测像素子阵列与所述多个图像区域垂直对准。
9.一种使用电子设备感测图像的方法，所述电子设备包括：光学图像传感器，所述光学图像传感器包括光学图像感测像素阵列，所述光学图像感测像素阵列具有多个间隔开的光学图像感测像素子阵列，其中所述多个间隔开的光学图像感测像素子阵列按棋盘图案来布置；针孔阵列掩膜层，所述针孔阵列掩膜层中包括多个针孔，所述多个针孔限定所述光学图像传感器上的多个图像区域，所述多个图像区域与所述多个间隔开的光学图像感测像素子阵列对准；以及显示层，所述显示层包括允许光穿过其间的多个间隔开的发光二极管LED，所述针孔阵列掩膜层被设置在所述光学图像传感器和所述显示层之间，穿过所述多个LED之间的光穿过所述多个针孔到所述多个间隔开的光学图像感测像素子阵列；所述方法包括：
使用耦接到所述光学图像传感器的处理电路感测来自所述多个间隔开的光学图像感测像素子阵列的图像。
10.根据权利要求9所述的方法，其中所述多个间隔开的光学图像感测像素子阵列包括多个物理间隔开的子阵列。
11.根据权利要求9所述的方法，其中所述多个间隔开的光学图像感测像素子阵列包括所述光学图像传感器的多个寻址区域。
12.根据权利要求9所述的方法，其中所述多个间隔开的光学图像感测像素子阵列与所述多个间隔开的图像区域垂直对准。
CN201680085184.3A 2016-05-23 2016-05-23 包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法 Active CN109074474B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/033724 WO2017204776A1 (en) 2016-05-23 2016-05-23 Electronic device including processing circuitry for sensing images from spaced apart sub-arrays and related methods

Publications (2)

Publication Number Publication Date
CN109074474A CN109074474A (zh) 2018-12-21
CN109074474B true CN109074474B (zh) 2022-06-28

Family

ID=56108711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085184.3A Active CN109074474B (zh) 2016-05-23 2016-05-23 包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法

Country Status (3)

Country Link
US (1) US11239275B2 (zh)
CN (1) CN109074474B (zh)
WO (1) WO2017204776A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018004243A1 (ko) * 2016-06-28 2018-01-04 주식회사 비욘드아이즈 지문인식 기능을 구비한 디스플레이
TWI655786B (zh) * 2018-01-24 2019-04-01 友達光電股份有限公司 光學裝置
US11080505B2 (en) 2018-04-10 2021-08-03 Waleed Sami Haddad Under-screen fingerprint reader
KR102537758B1 (ko) * 2018-06-27 2023-05-31 엘지디스플레이 주식회사 광학식 이미지 센서 내장형 표시장치
US11170242B2 (en) * 2018-12-26 2021-11-09 Advanced New Technologies Co., Ltd. Spoof detection using dual-band fluorescence
CN111597865B (zh) * 2019-02-20 2024-07-02 华为技术有限公司 屏组件及电子设备
US11328043B2 (en) 2019-03-15 2022-05-10 Advanced New Technologies Co., Ltd. Spoof detection by comparing images captured using visible-range and infrared (IR) illuminations
KR102393910B1 (ko) * 2019-03-22 2022-05-03 아크소프트 코포레이션 리미티드 타일형 이미지 센서
WO2020191601A1 (zh) * 2019-03-25 2020-10-01 深圳市汇顶科技股份有限公司 指纹识别的装置和电子设备
WO2020205766A1 (en) * 2019-03-29 2020-10-08 Identification International, Inc. Systems and methods for generating three-dimensional images of an object based on frustrated total internal reflection
KR20200137079A (ko) * 2019-05-28 2020-12-09 삼성디스플레이 주식회사 지문 센서 및 이를 포함하는 표시 장치
CN112097675A (zh) * 2019-06-17 2020-12-18 香港科技大学 触觉传感器
US11380125B2 (en) * 2019-06-21 2022-07-05 Waleed Sami Haddad Under-screen fingerprint reader
SE1950837A1 (en) * 2019-07-03 2021-01-04 Fingerprint Cards Ab Sensor displacement compensation
CN111801679B (zh) * 2019-07-12 2024-04-30 深圳市汇顶科技股份有限公司 指纹检测装置和电子设备
KR102475288B1 (ko) * 2019-07-12 2022-12-06 선전 구딕스 테크놀로지 컴퍼니, 리미티드 지문 검출 장치 및 전자 장치
CN111108510B (zh) 2019-07-12 2021-04-16 深圳市汇顶科技股份有限公司 指纹检测装置和电子设备
EP3979123B1 (en) 2019-08-02 2023-11-29 Shenzhen Goodix Technology Co., Ltd. Fingerprint detection apparatus and electronic device
CN111095285B (zh) * 2019-08-23 2021-09-17 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
CN111095284B (zh) 2019-08-23 2023-09-22 深圳市汇顶科技股份有限公司 指纹检测装置、方法和电子设备
CN111095282B (zh) 2019-10-18 2023-09-05 深圳市汇顶科技股份有限公司 指纹检测装置和电子设备
US11558567B2 (en) * 2020-03-17 2023-01-17 Sharp Kabushiki Kaisha Optical active pixel sensor using TFT pixel circuit
KR102582986B1 (ko) 2020-03-18 2023-09-25 선전 구딕스 테크놀로지 컴퍼니, 리미티드 지문 인식 장치 및 전자 장치
KR102667988B1 (ko) 2020-04-08 2024-05-21 선전 구딕스 테크놀로지 컴퍼니, 리미티드 지문 인식 방법, 장치 및 전자 장치
US11893100B2 (en) * 2020-04-15 2024-02-06 Fingerprint Cards Anacatum Ip Ab Spoof detection based on specular and diffuse reflections
WO2021211031A1 (en) * 2020-04-15 2021-10-21 Fingerprint Cards Ab Spoof detection based on specular and diffuse reflections
US11241173B2 (en) * 2020-07-09 2022-02-08 Mediatek Inc. Physiological monitoring systems and methods of estimating vital-sign data
TWI831078B (zh) * 2020-12-11 2024-02-01 國立中央大學 應用影像還原的光學系統及光學影像處理方法
US20220309782A1 (en) * 2021-03-26 2022-09-29 Sam Houston State University Using smartphone camera and application to capture, analyze, and evaluate latent fingerprints in real-time

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164250A (zh) * 2010-02-18 2011-08-24 美商豪威科技股份有限公司 具有改良式黑电平校准的图像传感器
CN105247460A (zh) * 2013-06-03 2016-01-13 高通股份有限公司 多功能像素及显示器

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5340978A (en) 1992-09-30 1994-08-23 Lsi Logic Corporation Image-sensing display panels with LCD display panel and photosensitive element array
CA2183567A1 (en) 1994-02-18 1995-08-24 Michael H. Metz Method of producing and detecting high-contrast images of the surface topography of objects and a compact system for carrying out the same
US5812252A (en) 1995-01-31 1998-09-22 Arete Associates Fingerprint--Acquisition apparatus for access control; personal weapon and other systems controlled thereby
US5781651A (en) * 1996-04-15 1998-07-14 Aetex Biometric Corporation Compact fingerprint recognizing apparatus illuminated with electroluminescent device
GB9725571D0 (en) 1997-12-04 1998-02-04 Philips Electronics Nv Electronic apparatus comprising fingerprint sensing devices
US6160903A (en) 1998-04-24 2000-12-12 Dew Engineering And Development Limited Method of providing secure user access
US6288779B1 (en) 1999-03-24 2001-09-11 Intel Corporation Close-up imaging device using a CMOS photosensitive element
JP2000349959A (ja) 1999-06-04 2000-12-15 Minolta Co Ltd イメージセンサ
KR100333138B1 (ko) 2000-04-29 2002-04-19 안준영 광학식 지문입력장치의 잔류지문 판별방법
US7196728B2 (en) 2002-03-27 2007-03-27 Ericsson, Inc. Method and apparatus for displaying images in combination with taking images
KR100550413B1 (ko) 2002-07-31 2006-02-10 가시오게산키 가부시키가이샤 화상판독장치 및 그 구동방법
US6853444B2 (en) 2002-08-30 2005-02-08 Waleed S. Haddad Non-contact optical imaging system for biometric identification
US7728959B2 (en) 2003-06-21 2010-06-01 Aprilis, Inc. Acquisition of high resolution biometric images
JP4411059B2 (ja) 2003-12-12 2010-02-10 キヤノン株式会社 カメラ付きディスプレイ装置、通信装置および通信システム
US7489391B2 (en) 2004-04-27 2009-02-10 The Trustees Of The University Of Pennsylvania Polarization and reflection based non-contact latent fingerprint imaging and lifting
JP2005339112A (ja) 2004-05-26 2005-12-08 Casio Comput Co Ltd 撮像モジュール及び画像入力装置並びに固体撮像素子の実装方法
WO2006021165A1 (de) 2004-08-25 2006-03-02 Tbs Holding Ag Verfahren und anordnung zur optischen aufnahme biometrischer daten
JP4864632B2 (ja) 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
CN101641049A (zh) 2007-03-21 2010-02-03 光谱辨识公司 基于局部一致特征的生物测定
JP4844481B2 (ja) 2007-06-25 2011-12-28 株式会社日立製作所 撮像装置及びこれを搭載した装置
JP2009225064A (ja) 2008-03-14 2009-10-01 Ricoh Co Ltd 画像入力装置、認証装置、およびそれらを搭載した電子機器
JP2010094499A (ja) 2008-09-16 2010-04-30 Hitachi Maxell Ltd 画像取得装置及び生体情報取得装置
JP2010257089A (ja) 2009-04-22 2010-11-11 Xiroku:Kk 光学式位置検出装置
US20120133618A1 (en) 2009-07-10 2012-05-31 Naru Usukura Display device with touch sensor functionality, and light-collecting/blocking film
US8432322B2 (en) 2009-07-17 2013-04-30 Apple Inc. Electronic devices with capacitive proximity sensors for proximity-based radio-frequency power control
US8406487B2 (en) 2009-09-16 2013-03-26 General Electric Company Method and system for contactless fingerprint detection and verification
US8437517B2 (en) 2010-11-03 2013-05-07 Lockheed Martin Corporation Latent fingerprint detectors and fingerprint scanners therefrom
JP5712746B2 (ja) 2011-04-06 2015-05-07 セイコーエプソン株式会社 センシング装置および電子機器
JP5816682B2 (ja) * 2011-04-22 2015-11-18 株式会社日立製作所 血管画像撮影装置及び生体認証装置
US9400576B2 (en) 2011-07-19 2016-07-26 Apple Inc. Touch sensor arrangements for organic light-emitting diode displays
WO2014018115A1 (en) 2012-07-26 2014-01-30 Changello Enterprise Llc Ultrasound-based force sensing of inputs
JP6065508B2 (ja) 2012-10-05 2017-01-25 セイコーエプソン株式会社 撮像装置の製造方法
US9363425B2 (en) * 2012-12-06 2016-06-07 Semiconductor Components Industries, Llc Color filter arrangements for fused array imaging systems
US9223442B2 (en) 2013-01-10 2015-12-29 Samsung Display Co., Ltd. Proximity and touch sensing surface for integration with a display
DE102013106105A1 (de) 2013-06-12 2014-12-31 Dan Hossu Verfahren zur optischen Erfassung eines Fingerabdrucks oder eines Gegenstandes und Vorrichtung mit mindestens einem Bildschirm
US9323972B2 (en) 2013-07-16 2016-04-26 Apple Inc. Finger biometric sensor including stacked die each having a non-rectangular shape and related methods
JP6424456B2 (ja) * 2013-07-17 2018-11-21 セイコーエプソン株式会社 発光装置、発光装置の製造方法、受発光装置、電子機器
US9984270B2 (en) 2013-08-05 2018-05-29 Apple Inc. Fingerprint sensor in an electronic device
KR20150073539A (ko) 2013-12-23 2015-07-01 삼성전자주식회사 전자장치의 입력 감지장치 및 방법
WO2015140600A1 (en) 2014-03-21 2015-09-24 Sony Corporation Electronic device with display-based fingerprint reader
CN203838722U (zh) * 2014-04-04 2014-09-17 深圳印象认知技术有限公司 液晶终端设备及指纹采集器
CN204028936U (zh) 2014-05-16 2014-12-17 深圳印象认知技术有限公司 超薄型指纹采集装置、可采集指纹的显示设备
CN104182727B (zh) 2014-05-16 2021-07-30 深圳印象认知技术有限公司 超薄型指纹、掌纹采集装置及指纹、掌纹图像采集方法
US8917387B1 (en) 2014-06-05 2014-12-23 Secugen Corporation Fingerprint sensing apparatus
CN104035620B (zh) 2014-06-20 2018-09-07 深圳印象认知技术有限公司 光学感应键、触摸屏、指纹采集设备、电子设备
US9666730B2 (en) 2014-08-18 2017-05-30 Optiz, Inc. Wire bond sensor package
CN204142988U (zh) * 2014-10-28 2015-02-04 北京思比科微电子技术股份有限公司 光学指纹传感器芯片模组光栅
US10181070B2 (en) * 2015-02-02 2019-01-15 Synaptics Incorporated Low profile illumination in an optical fingerprint sensor
US9829614B2 (en) 2015-02-02 2017-11-28 Synaptics Incorporated Optical sensor using collimator
WO2016144108A1 (ko) 2015-03-10 2016-09-15 크루셜텍 (주) 이미지 스캔 가능한 디스플레이 장치
KR20170109651A (ko) * 2015-03-25 2017-09-29 애플 인크. 광학 이미지 센서 위의 핀 홀 어레이 마스크를 포함하는 전자 디바이스 및 관련 방법
CN107004130B (zh) * 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
KR101928319B1 (ko) 2015-06-18 2018-12-12 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광 감지 능력을 가지는 다기능 지문 센서
TWI547884B (zh) * 2015-07-09 2016-09-01 金佶科技股份有限公司 指紋辨識模組
US10146258B2 (en) * 2015-09-30 2018-12-04 Synaptics Incorporated Optical image sensor for display integration
WO2017091663A1 (en) 2015-11-23 2017-06-01 Jensen Eric Dean Fingerprint reader
US10229316B2 (en) 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
US20180012069A1 (en) * 2016-07-06 2018-01-11 Samsung Electronics Co., Ltd. Fingerprint sensor, fingerprint sensor package, and fingerprint sensing system using light sources of display panel

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164250A (zh) * 2010-02-18 2011-08-24 美商豪威科技股份有限公司 具有改良式黑电平校准的图像传感器
CN105247460A (zh) * 2013-06-03 2016-01-13 高通股份有限公司 多功能像素及显示器

Also Published As

Publication number Publication date
WO2017204776A8 (en) 2017-12-28
US20190362120A1 (en) 2019-11-28
WO2017204776A1 (en) 2017-11-30
US11239275B2 (en) 2022-02-01
CN109074474A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109074474B (zh) 包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法
CN109074475B (zh) 包括针孔阵列掩膜的电子设备和相关方法
CN107430681B (zh) 包括光学图像传感器上方的针孔阵列掩膜的电子设备及相关方法
US10282582B2 (en) Finger biometric sensor for generating three dimensional fingerprint ridge data and related methods
US11017068B2 (en) Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
US10331939B2 (en) Multi-layer optical designs of under-screen optical sensor module having spaced optical collimator array and optical sensor array for on-screen fingerprint sensing
US11048903B2 (en) Under-LCD screen optical sensor module for on-screen fingerprint sensing
US11030434B2 (en) Lens-pinhole array designs in ultra thin under screen optical sensors for on-screen fingerprint sensing
CN109791325B (zh) 具有外围任务栏显示区的设备和用于屏上指纹感测的lcd屏下光学传感器模块
US10963671B2 (en) Multifunction fingerprint sensor having optical sensing capability
US20190026527A1 (en) Anti-spoofing sensing for rejecting fake fingerprint patterns in under-screen optical sensor module for on-screen fingerprint sensing
CN211062054U (zh) 生物特征成像布置和电子装置
KR20170106425A (ko) 온-스크린 지문 감지를 위한 언더-스크린 광학 센서 모듈
WO2018044315A1 (en) Electronic device including optically transparent light source layer and related methods
AU2017101188B4 (en) Electronic device including pin hole array mask above optical image sensor and related methods
CN114008687A (zh) 基于镜面反射和漫反射的欺骗检测
CN114008691A (zh) 基于镜面反射和漫反射的欺骗检测
CN116935451A (zh) 活体指纹识别系统和指纹检测模组

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant