CN112602112A - 显示器下方的光学生物特征成像装置中的传感器位移补偿 - Google Patents

显示器下方的光学生物特征成像装置中的传感器位移补偿 Download PDF

Info

Publication number
CN112602112A
CN112602112A CN202080004743.XA CN202080004743A CN112602112A CN 112602112 A CN112602112 A CN 112602112A CN 202080004743 A CN202080004743 A CN 202080004743A CN 112602112 A CN112602112 A CN 112602112A
Authority
CN
China
Prior art keywords
image
sub
biometric
calibration
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004743.XA
Other languages
English (en)
Inventor
阿尔内·胡斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fingerprint kaana Kadun Intellectual Property Co.,Ltd.
Original Assignee
Fingerprint Cards AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fingerprint Cards AB filed Critical Fingerprint Cards AB
Publication of CN112602112A publication Critical patent/CN112602112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1324—Sensors therefor by using geometrical optics, e.g. using prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14678—Contact-type imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Inorganic Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Image Input (AREA)

Abstract

本发明涉及一种用于使用光学生物特征成像装置(100)来产生生物特征图像的方法，该光学生物特征成像装置(100)包括一组微透镜(118)，一组微透镜(118)适于将入射光重定向到光电探测器像素阵列(109)上，该方法包括：使用光学生物特征成像装置(100)来捕获包括一组子图像的生物特征图像；估计至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换；向取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像应用空间变换，以将照度校准子图像与生物特征图像对准；以及使用经对准的校准子图像对生物特征子图像进行归一化，以基于经归一化的生物特征子图像来提供经归一化的生物特征图像。

Description

显示器下方的光学生物特征成像装置中的传感器位移补偿
技术领域
本发明涉及用于使用光学生物特征成像装置产生生物特征图像的方法。本发明还涉及光学生物特征成像装置。
背景技术
生物识别系统被广泛用作用于提高诸如移动电话等的个人电子装置的便利性和安全性的手段。特别地，指纹感测系统现在被包括在所有新发布的消费者电子装置(例如，移动电话)的大部分中。
光学指纹传感器为人所知已有一段时间了，并且在某些应用中可以是例如电容式指纹传感器的可行替代品。光学指纹传感器可以例如基于小孔成像原理，并且/或者可以采用微通道(即，准直器或微透镜)来将入射光聚焦到图像传感器上。
最近，将光学指纹传感器布置在电子装置的显示器下方已经引起了人们的兴趣。在这样的布置中，显示器包括允许将光透射至传感器的孔。因此，显示器在传感器上的图像中产生遮蔽效应。
通常使用预先捕获的校准图像对捕获的指纹图像进行归一化，以获得最终的指纹图像。校准图像用于将像素值归一化为白色和黑色等级。
但是，对于完善的校准，在当获取校准图像时与当获取指纹图像时存在的显示遮蔽之间需要空间匹配。完善的空间匹配很难实现和维持。例如，如果电子装置掉落，则显示器相对于指纹传感器可能偏移其位置。
因此，需要一种用于补偿显示器与指纹传感器之间的位移的方式。
发明内容
鉴于现有技术的以上提及的缺陷和其他缺陷，本发明的目的是提供一种用于基于其中进行了位移校正的照度校准图像产生生物特征图像的方法。
根据本发明的第一方面，提供了一种用于使用光学生物特征成像装置来产生生物特征图像的方法，该光学生物特征成像装置包括一组微透镜，该一组微透镜适于将入射光重定向到光电探测器像素阵列上，该方法包括：使用光学生物特征成像装置来捕获包括一组子图像的生物特征图像；估计至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换；将空间变换应用于取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像，以将照度校准子图像与生物特征子图像对准；以及使用经对准的照度校准子图像对生物特征子图像进行归一化，以基于经归一化的生物特征子图像提供经归一化的生物特征图像。
借助于本发明，可以重新对准照度校准子图像，以校正显示器与光电传感器像素阵列之间的未对准。使用本发明的方法，估计显示器与光电探测器像素阵列之间的位移并通过移动照度校准子图像来校正该位移，使得它们可以用于显示器相对于光电探测器像素阵列的新位置。
发明人意识到，具有允许光透射到下方的光电探测器像素阵列上的通孔的显示器的布置使在像素阵列上引起遮蔽效应。因此，有利的是检测图像传感器上的显示器的遮蔽结构，以用于照度校准子图像的改善的对准。
本发明至少部分基于以下认识：通过评估两个随后的图像之间的关系(例如，空间变换)，可以估计具有允许光透射到光电探测器像素阵列上的通孔的显示器相对于光电探测器像素阵列的位移。由于通常在早期校准阶段捕获照度校准图像，因此当获取随后的生物特征图像时，可能已经发生了具有透射孔的显示器与光电探测器阵列之间的空间偏移。这意味着由显示面板引起的遮蔽效应也被移位。当使用校准图像对生物特征图像进行归一化时，由该位移引起了误差。针对该位移本发明提供了用于校正照度校准图像。
遮蔽校准子图像优选地适于增强显示遮蔽的效应，使得显示遮蔽位移的效应可以与像素阵列上的其他辐照度效应区分开。可以通过增强照度校准图像中的显示遮蔽位移的效应来有利地从照度校准图像产生遮蔽校准图像。
根据实施方式，可以相对于遮蔽校准图像的一组子图像中的各个子图像针对生物特征图像的一组子图像中的每个子图像执行估计变换，其中，将空间变换应用于相应的照度校准子图像。
根据实施方式，可以相对于遮蔽校准图像的各个子图像针对生物特征图像的每个子图像执行估计空间变换，其中，将空间变换应用于照度校准子图像中的每一个。针对子图像中的每一个估计和应用空间变换提供了用于对照度校准图像的更准确校正。例如，以此方式可以更准确地捕获和应用旋转校正。
然而，在一些实施方式中，所估计的空间变换可以是针对所有生物特征图像的子图像的共同估计。共同估计可以例如是一个平面中或三维中的平均空间变换。
遮蔽校准图像可以基于照度校准图像。
根据实施方式，该方法可以包括通过以下步骤计算遮蔽校准图像：取得包括一组子图像的照度校准图像；计算由微透镜引起的照度校准子图像中的成像滚降效应的数学模型，将数学模型应用于照度校准图像的子图像以至少部分地从照度校准子图像中去除滚降效应以产生遮蔽校准子图像；以及，将已经应用了数学模型的遮蔽校准子图像存储在存储器中。
像素的辐照度可以是两个效应的产物：显示遮蔽和与微透镜形状有关的滚降效应。由于微透镜相对于像素阵列是固定的，因此滚降效应与显示器与像素阵列之间的位移无关。因此，有利的是将滚降效应与显示遮蔽效应分开。
可以通过以下步骤来计算数学模型：对来自照度校准图像的子图像的像素值进行平均，将曲线拟合应用于经平均的子图像的截面，基于曲线拟合计算作为平均成像滚降的三维模型的数学模型。
根据实施方式，可以使用带通滤波器使取得的遮蔽校准子图像经受带通滤波，其中，该方法包括：在使用经滤波的生物特征子图像和经滤波的遮蔽校准子图像估计空间变换之前，将带通滤波器应用于生物特征子图像。
通过将带通滤波器应用于用于产生遮蔽校准图像的照度校准子图像和生物特征图像，可以提供相应的零均值图像，其强调了对于表征显示器的遮蔽结构有用的空间频率。
估计空间变换可以包括评估生物特征子图像与遮蔽校准子图像之间的关系。
在实施方式中，评估该关系包括：计算生物特征图像的子图像与遮蔽校准图像的子图像之间的相关性以获得互相关性矩阵，其中，基于互相关性矩阵来估计空间变换。
这是估计位移的一种有利方式。其他可能性包括：通过对一维中的多个行或列进行求和来计算截面矢量，并且然后针对每个方向计算互相关性矢量。另一种可能的实现方式是使用梯度方法或其他数学优化方法(例如Nelder-Mead单纯形法)来使计算的图像质量度量相对于合适的位移的范围最大化。
根据实施方式，取得由微透镜引起的成像滚降效应的数学模型；以及在估计空间变换之前，将数学模型应用于生物特征图像的子图像，以至少部分地去除生物特征子图像中的滚降效应。
根据实施方式，该方法可以包括：在将空间变换应用于照度校准子图像之前，将数学模型应用于照度校准图像的子图像以至少部分地去除照度校准图像中的滚降效应。
根据实施方式，该方法可以包括：在将空间变换应用于照度校准子图像之后，在对生物特征图像进行归一化之前，将数学模型的逆应用于照度校准图像的子图像，以将滚降效应至少部分地添加至经对准的照度校准图像。
在实施方式中，该方法可以包括：将所估计的空间变换与变换阈值进行比较，其中，仅当所估计的空间变换超过变换阈值时，才将所估计的空间变换应用于照度校准图像。因此，如果所估计的位移超过设定阈值，则将调整照度校准图像。否则，将未调整的照度校准图像用于生物特征图像的归一化。
针对白色目标取得包括多个子图像的第一照度校准图像，并且针对黑色目标取得包括多个子图像的第二照度校准图像。
空间变换可以是水平位移。但是，还可以将该方法应用于垂直位移。
在一些实施方式中，在确定水平位移之前确定垂直位移。在其他实施方式中，联合估计水平位移和垂直位移。
根据本发明的第二方面，提供了一种光学生物特征成像装置，该光学生物特征成像装置被配置成布置在至少部分透明的显示面板下方，并且被配置成捕获位于至少部分透明的显示面板的相反侧上的对象的图像，光学生物特征成像装置包括：图像传感器，该图像传感器包括光电探测器像素阵列；光重定向元件的阵列，其中，每个光重定向元件被配置成将光重定向到光电探测器像素阵列上，其中，光学生物特征成像装置被配置成：捕获包括一组子图像的生物特征图像；估计至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换；将空间变换应用于取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像，以将照度校准子图像与生物特征子图像对准；以及使用经对准的校准子图像对生物特征子图像进行归一化，以基于经归一化的生物特征子图像来提供经归一化的生物特征图像。
至少部分透明的显示面板包括开口以允许光通过至少部分透明的显示器并朝向图像传感器传输。
优选地，光重定向元件的阵列是微透镜的阵列。每个微透镜可以被布置成将光重定向到光电探测器像素阵列中的像素的子阵列上。
显示面板的在其下方布置有光学生物特征成像装置的外表面也可以称为感测表面。所描述的光学生物特征成像装置的操作原理是，由显示面板中的像素发射的光将被放置在感测表面上的手指反射，并且经反射的光被光重定向元件接收并随后重定向到相应的光电探测器像素阵列中的像素的子阵列或单个像素上。在子阵列的情况下，可以针对每个子阵列捕获手指的一部分的图像。通过组合来自所有光重定向元件的图像，可以形成代表指纹的图像，并且可以执行随后的生物特征验证。
透明显示面板可以包括颜色可控的光源。根据实施方式可以使用各种类型的显示器。例如，基于具有任何类型的三色刺激发射(例如，RGB、CMY或其他)的OLED、u-LED的显示面板。从而，实现显示器内生物特征成像。
可以以具有在50μm至2mm的范围内的间距的阵列布置微透镜。
微透镜可以是具有直径在20μm至1mm的范围内的圆形透镜。
微透镜可以是具有最短边的长度在20μm至1mm的范围内的矩形透镜。
此外，微透镜可以具有在2μm至600μm的范围内的高度。
利用多个微透镜的以上描述的可能的配置，可以提供在显示面板下方的使用的光学指纹传感器，并且可以基于显示面板的特性和手边的应用的要求调整具体配置。
本发明的第二方面的其他效果和特征在很大程度上类似于以上关于本发明的第一方面描述的那些效果和特征。
根据本发明的第三方面，提供了一种电子装置，包括：透明显示面板；根据本发明的第二方面的光学生物特征成像装置，以及处理电路，该处理电路被配置成：从光学生物特征成像装置接收指示触摸透明显示面板的手指的指纹的信号，基于检测到的指纹执行指纹身份认证过程。
该电子装置可以是例如诸如移动电话(例如智能电话)、平板电脑、平板手机等的移动装置。
本发明的第三方面的其他效果和特征在很大程度上类似于以上关于本发明的第一方面和第二方面描述的那些效果和特征。
还提供了一种计算机程序产品，该计算机程序产品包括计算机可读介质，该计算机可读介质上存储有计算机程序装置，该计算机程序装置用于使用光学生物特征成像装置来产生生物特征图像，该光学生物特征成像装置包括一组微透镜，该一组微透镜适于将入射光重定向到光电探测器像素阵列上，其中，计算机程序产品包括：用于估计至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换的代码；用于将空间变换应用于取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像以将照度校准子图像与生物特征子图像对准的代码；以及用于使用经对准的校准子图像对生物特征子图像进行归一化以基于经归一化的生物特征子图像来提供经归一化的生物特征图像的代码。
当研究所附权利要求和以下描述时，本发明的其他特征和本发明具有的优点将变得明显。技术人员认识到，在不脱离本发明的范围的情况下，可以对本发明的不同特征进行组合以创造除以下中描述的实施方式之外的实施方式。
附图说明
现在将参照附图更详细地描述本发明的这些及其他方面，附图示出了本发明的示例实施方式，在附图中：
图1示意性地示出了根据本发明的实施方式的电子装置的示例；
图2是根据本发明的实施方式的电子装置的示意性框图；
图3示意性地示出了根据本发明的实施方式的光学生物特征成像装置；
图4概念性地示出了具有开口的显示面板，所述开口允许光通过显示面板并传输到达光学生物特征成像装置上；
图5是根据本发明的实施方式的方法步骤的流程图；
图6是根据本发明的实施方式的方法步骤的流程图；
图7A示出了由微透镜引起的滚降形状的截面；
图7B示出了在经平均的子图像中的滚降效应的示例旋转对称估计模型；
图8是根据本发明的实施方式的方法步骤的流程图；以及
图9是根据本发明的实施方式的方法步骤的流程图。
具体实施方式
在本详细描述中，主要参照布置在显示面板下方的光学生物特征成像装置来描述根据本发明的光学生物特征成像装置的各种实施方式。然而，应当注意的是，所描述的成像装置也可以在其他光学生物特征成像应用中使用，例如在位于盖玻璃等下方的光学生物特征布置中使用。
现在转向附图，并且尤其是转向图1，示意性地示出了被配置成应用根据本公开内容的概念的、以移动装置101的形式的电子装置的示例，该移动装置101具有集成的显示器内光学生物特征成像装置100和显示面板104，该显示面板104具有触摸屏幕界面106。光学生物特征成像装置100例如可以用于解锁移动装置101和/或用于对使用移动装置101执行的交易进行授权等。
此处，光学生物特征成像装置100被示为比显示面板104小，但是仍然相对大(例如，大区域的实现方式)。在另一有利的实现方式中，光学生物特征成像装置100可以与显示面板104的尺寸相同，即完全显示器解决方案。因此，在这样的情况下，用户可以将他/她的手指放置在显示面板上的任何位置以进行生物特征身份认证。在其他可能的实现方式中，光学生物特征成像装置100可以比所描绘的光学生物特征成像装置小，例如提供热区实现方式。
优选地并且对技术人员明显的是，图1中所示的移动装置101还包括用于WLAN/Wi-Fi通信的第一天线、用于电信通信的第二天线、麦克风、扬声器和电话控制单元。当然，移动装置可能包括其他硬件元件。
此外还应注意的是，本发明可以应用于包括透明显示面板的任何其他类型的电子装置，例如膝上型电脑、平板计算机等。
图2是根据本发明的实施方式的电子装置的示意性框图。根据本发明的实施方式，电子装置200包括透明显示面板204和光学生物特征成像装置100，该光学生物特征成像装置100概念性地示出为布置在透明显示面板204下方。此外，电子装置200包括诸如控制单元202的处理电路。控制单元202可以是电子装置202的独立控制单元，例如装置控制器。替选地，控制单元202可以包括在光学生物特征成像装置100中。
控制单元202被配置成从光学生物特征成像装置100接收指示检测的对象的信号。接收到的信号可以包括图像数据。
基于接收到的信号，控制单元202被配置成检测指纹，并且基于检测到的指纹，控制单元202被配置成执行指纹认证过程。这样的指纹认证过程本身被认为对技术人员是已知的，并且本文将不再进一步描述。
图3示意性地示出了根据本发明的实施方式的光学生物特征成像装置100。此处，光学生物特征成像装置100布置在至少部分透明的显示面板102下方。然而，光学生物特征成像装置100可以被布置在足够透明的任何盖结构下方，只要图像传感器108接收足够量的光以捕获与盖结构的外表面接触的生物特征对象(例如，指纹或掌纹)的图像即可。在下文中，描述了被配置成捕获与显示面板102的外表面106接触的手指104的图像的光学生物特征成像装置100。
光学生物特征成像装置100包括图像传感器108，该图像传感器108包括光电探测器像素阵列109，其中，每个像素110是可单独控制的光电探测器，其被配置成检测入射光的量并且被配置成生成指示由该探测器接收到的光的电信号。图像传感器108可以是连接至相关控制电路的任何合适类型的图像传感器，例如基于CMOS或CCD或TFT的传感器。基于薄膜晶体管(TFT)的图像传感器提供了一种有成本效益的解决方案。这样的图像传感器的操作和控制可以认为是已知的，并且本文将不再讨论。
光学生物特征成像装置100还包括：透明基板112，其被布置成覆盖图像传感器108；以及不透明层114，其覆盖透明基板112的上表面。不透明层114还包括彼此以一定距离布置的多个单独的开口116。
光学生物特征成像装置包括微透镜118的阵列，微透镜118中每个布置在可选的不透明层114的相应开口116中并且与不透明层114在同一平面中。此外，微透镜118具有与开口116相同的尺寸和形状，以防止尚未穿过微透镜118的任何杂散光到达图像传感器108。
每个微透镜118被配置成将光重定向穿过透明基板112并且重定向到光电检测器像素阵列109中的像素的子阵列120上。此处，子阵列120被定义为仅从一个微透镜118接收光的像素的阵列。还应该注意的是，微透镜118和像素未按比例绘制。微透镜118被示出为接收在到达微透镜118之前已经传播穿过显示面板102的由手指104反射的光，并且由微透镜118接收到的光被聚焦到图像传感器108上。优选地，接收来自微透镜118的光的像素的子阵列120与接收来自临近的微透镜的光的相邻子阵列不交叠。
此外，透明显示面板102包括颜色可控光源130，该颜色可控光源130包括可单独控制的光发射像素132。为了获取例如指纹或掌纹的图像，颜色可控光源130可以发射光，该光由手指104反射并由图像传感器110的像素检测。
光学生物特征成像装置100还包括位于不透明层114与显示面板102之间的中间层122。中间层122可以例如包括用于将显示面板102附接至成像装置100的粘合剂层，并且中间层122的折射率可以与微透镜118的折射率不同。中间层包括在透明显示面板与微透镜118之间的气隙。
此外，中间层122还可以包括本文中未单独示出的抗反射涂层、滤光器(例如，红外滤光器)和/或偏振滤光器。通常优选的是，微透镜118的折射率尽可能高并且微透镜118的折射率与微透镜118上方或下部的任何相邻材料的折射率不同。
如图4中将更详细地描述的，存在经过颜色可控光源130的合适的开口或光路，使得从手指104透射的光束可以到达图像传感器108。
使用在使用生物特征传感器来获取生物特征图像之前通常已经获取的照度校准图像对使用光学生物特征成像装置100获取的生物特征图像进行归一化，即初始工厂校准。针对全白目标和关于全黑目标获取照度校准图像，并且该照度校准图像用于在两个经校准的白色等级和黑色等级之间对获取的生物特征图像中的经测量的像素值进行插值。
然而，将照度校准图像用于这种“辐照度归一化”要求在由显示器102中的孔或开口引起的照度校准子图像中存在的显示遮蔽与生物特征子图像中的相应的显示遮蔽之间存在几乎完美的水平匹配。如果在初始校准(例如，在工厂中)之后图像传感器稍微水平或垂直移动，则将不再存在所需的对准并且辐照度归一化将失败。
图4概念性地示出了具有开口402的显示面板102，开口402允许光通过显示面板102并传输到达如参照图3所描述而设置的光学生物特征成像装置100上。显示面板102遮蔽光学生物特征成像装置100的部分404以防止接收与周围部分406相同强度的光。如果光学生物特征成像装置100水平移位，则这种显示遮蔽效应(即遮蔽部分404)将水平移动。
如果在显示面板102相对于光学生物特征成像装置100移位之后获取生物特征图像，则照度校准图像将在与生物特征图像中相同的遮蔽部分不同的位置中具有其遮蔽部分404。因此，在这种情况下归一化将失败，因为生物特征图像中的图像部分将不再对应于照度校准图像中的图像部分。
显示遮蔽(即遮蔽部分404的图案)通常可以具有约50微米至100微米的周期性。仅该周期性的1/10的位移(即10微米)严重影响辐照度归一化子图像的质量，并且从而也降低用于生物特征验证的最终拼接图像的质量。本公开内容的方法缓解了该问题。
图5是根据本发明的实施方式的方法步骤的流程图。在步骤S104中，使用光学生物特征成像装置100捕获包括一组子图像的生物特征图像。可以如图6中所描述的已经准备了遮蔽校准子图像。接下来，在步骤S106中，估计至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换。在步骤S108中，将空间变换应用于取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像，以将照度校准子图像与生物特征子图像对准。在步骤S110中，使用经对准的校准子图像对生物特征子图像进行归一化，以基于经归一化的生物特征子图像来提供经归一化的生物特征图像。
照度校准图像可以包括：针对白色目标取得的包括多个子图像的第一照度校准图像；以及针对黑色目标取得的包括多个子图像的第二照度校准图像。
包括子图像的遮蔽校准图像可以在使用光学生物特征成像装置之前已经产生并存储在存储器中。遮蔽校准图像可以源自照度校准图像并且可以已经通过图6中的流程图的步骤产生。
在步骤S602中，取得包括一组子图像的照度校准图像。在步骤S604中，计算由微透镜引起的照度校准子图像中的成像滚降效应的数学模型。在步骤S608中，将数学模型应用于照度校准图像的子图像以至少部分地去除照度校准子图像中的滚降效应。在步骤S612中，将已经应用了数学模型的遮蔽校准子图像存储在存储器中。
可以通过对来自照度校准图像的子图像的像素值进行平均来计算数学模型。子图像是从由单个微透镜重定向的光产生的图像，换句话说，是在接收来自单个微透镜的光的像素的子阵列120中产生的图像。将曲线拟合应用于经平均的子图像的截面提供了定义明确的滚降形状的曲线，如图7A中所示的，图7A示出了经平均的子图像的对角线截面的两条曲线702、704。数学模型随后可以被计算为如图7B中所示出的平均成像滚降的三维模型706，图7B示出了经平均的子图像中的滚降效应的示例旋转对称估计模型。
可以通过由三维模型706(例如，以逐像素的方式)分割子像素来将数学模型应用于本公开内容的子图像。
可选地，在步骤S608中已经将数学模型706应用于照度校准图像的子图像之后，在步骤S611中将带通滤波器应用于遮蔽校准子图像。带通滤波器是二维带通滤波器。应用带通滤波器提供用于获得经滤波的遮蔽校准子图像，该经滤波的遮蔽校准子图像是强调了对于表征显示面板遮蔽结构至关重要的空间频率的零均值子图像。如果应用了带通滤波器，则其为在步骤S612中存储的并在图5的步骤中使用的经滤波的遮蔽校准子图像。
也可以将数学模型706应用于在图5的步骤S104中获取的生物特征图像以去除生物特征图像中的滚降效应。因为，这是取得的由微透镜引起的成像滚降效应的数学模型。在估计空间变换之前，将数学模型应用于生物特征图像的子图像以至少部分地去除生物特征图像中的滚降效应。
例如，将以微透镜子图像的形式获取的指纹图像用于计算经修改的指纹图像。为了获得其中已经去除滚降效应的指纹子图像，通过由3D滚降形状706分割来从指纹子图像去除估计的微透镜滚降。可选地，将与对于经滤波的遮蔽校准图像所使用的二维带通滤波器相同的二维带通滤波器应用于指纹子图像。
可以使用不同类型的相关性分析来估计生物特征图像与遮蔽校准图像之间的位移。一种可能的方式是计算生物特征图像与遮蔽校准图像之间的相关性以获得互相关性矩阵。基于互相关性矩阵估计水平位移。对于互相关性矩阵的非限制性示例尺寸是20×20像素。当一个像素为3×3μm，并且显示面板遮蔽层的缩小倍数约为2时，然后互相关性矩阵将在X方向和Y方向两者上覆盖+/-120μm的水平位移。
在评估相关性之前(即在计算互相关性矩阵之前)，优选地将数学模型应用于生物特征图像的子图像，以至少部分地去除生物特征图像中的滚降效应。
一旦互相关性矩阵确定，就可以将其用于估计生物特征图像与遮蔽校准图像之间的水平位移。可以通过在互相关性矩阵中找到局部最大值来执行这种估计。为了改善位移的估计，可以将椭圆抛物面拟合到局部最大指标附近的互相关性值并使用该函数的最大值作为互相关性峰的最终估计。可以选择最接近于矩阵的中心(即最接近于起点的局部最大值。
在一个优选的实施方式中并且如在图8的流程图中所包括的，在步骤S111中，将估计的位移与空间变换阈值进行比较，其中，仅当估计的位移超过位移阈值时，才将空间变换应用于照度校准子图像。如果位移低于位移阈值，则在步骤S116中使用在步骤S109中取得的未修改的照度校准图像进行归一化。如果位移超过位移阈值，则在步骤S112中将位移应用于照度校准图像的子图像，并且在步骤S114中使用经对准的照度校准子图像进行归一化。
优选地，并且如图9中的流程图中所示，在步骤S106中估计空间变换之前，在步骤S105A中将数学模型应用于生物特征图像的子图像以至少部分地去除生物特征图像中的滚降效应。这在步骤S106中提供了更准确的位移估计，由于显示遮蔽效应与由微透镜引起的滚降效应是分离的。
此外，在将位移应用于照度校准图像之前，在步骤S105B中优选地将数学模型应用于照度校准图像的子图像以至少部分地去除校准图像中的滚降效应。另外，为了确保准确的归一化，在步骤S114中对生物特征图像进行归一化之前，在步骤S113中将数学模型的逆应用于照度校准图像的子图像，以将滚降效应至少部分地添加至对准的照度校准图像。
以上描述的实施方式中的空间变换在显示面板和/或图像传感器的平面中至少是水平位移。在一些实施方式中，在如以上描述的对水平位移进行补偿之前，可以估计和补偿垂直位移。
空间变换可以是缩放和水平位移的联合估计。因此，在使用缩放补偿的生物特征子图像执行水平位移估计之前，空间变换可以包括缩放估计和Z-补偿。
控制单元可以包括微处理器、微控制器、可编程数字信号处理器或另一可编程装置。控制单元还可以或反而包括专用集成电路、可编程门阵列或可编程阵列逻辑、可编程逻辑器件或数字信号处理器。在控制单元包括可编程装置(例如，以上提及的微处理器、微控制器或可编程数字信号处理器)的情况下，处理器还可以包括控制可编程装置的操作的计算机可执行代码。应当理解的是，借助于控制单元(或通常被称为“处理电路”)提供的功能的全部或一些部分可以至少部分地与光学生物特征成像装置集成。
即使已经参照本发明的特定例示的实施方式描述了本发明，但是对于本领域技术人员而言，许多不同的改变、修改等将变得明显。另外，应当注意的是，可以省略、互换或以各种方式布置成像装置的部件和用于制造成像装置的方法，成像装置仍然能够执行本发明的功能。
在本文中微透镜被例示为具有朝向透明基板取向的平坦表面的平凸透镜。也可以使用其他透镜构造和形状。平凸透镜可以例如布置成平坦表面朝向显示面板，并且在一个实施方式中，可以将透镜附接至显示面板的底表面，即使与微透镜的相反取向相比成像性能可能下降。还可以使用其他类型的透镜，例如凸透镜。使用平凸透镜的优点在于由具有平坦表面的透镜提供的制造和组装的容易性。
此外，本领域技术人员在实践所要求保护的发明时从对附图、本公开内容及所附权利要求的研究可以理解和实现所公开的实施方式的各种变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一(a)”或“一个(an)”不排除多个。在相互不同的从属权利要求中记述某些手段，这一仅有的事实不表示这些手段的组合不能得到利用。

Claims (26)

1.一种用于使用光学生物特征成像装置来产生生物特征图像的方法，所述光学生物特征成像装置被配置成布置在至少部分透明的显示面板(102)下方，并且被配置成捕获位于所述至少部分透明的显示面板的相反侧上的对象的图像，所述光学生物特征成像装置包括一组微透镜(118)，所述一组微透镜(118)适于将入射光重定向到光电探测器像素阵列(109)上，所述方法包括：
使用所述光学生物特征成像装置来捕获(S104)包括一组子图像的生物特征图像；
估计(S106)至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换，所述遮蔽校准子图像指示由所述显示面板引起的遮蔽效应；
向取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像应用(S108)所述空间变换，以将所述照度校准子图像与所述生物特征子图像对准；以及
使用经对准的照度校准子图像对所述生物特征子图像进行归一化(S110)，以基于经归一化的生物特征子图像来提供经归一化的生物特征图像。
2.根据权利要求1所述的方法，其中，相对于遮蔽校准图像的一组子图像中的各个子图像，针对生物特征图像的一组子图像中的每个子图像执行估计所述变换的步骤，其中，向相应的照度校准子图像应用空间变换。
3.根据权利要求1所述的方法，其中，相对于遮蔽校准图像的各个子图像，针对生物特征图像的每个子图像执行估计所述空间变换的步骤，其中，向所述照度校准子图像中的每一个应用空间变换。
4.根据权利要求1所述的方法，其中，所估计的空间变换是针对所有生物特征子图像的共同估计。
5.根据前述权利要求中任一项所述的方法，其中，遮蔽校准图像是基于照度校准图像的。
6.根据前述权利要求中任一项所述的方法，包括：通过以下步骤来计算遮蔽校准图像：
取得(S602)包括一组子图像的照度校准图像；
计算(S604)由所述微透镜引起的照度校准子图像中的成像滚降效应的数学模型；
将所述数学模型应用(S608)于所述照度校准图像的子图像，以至少部分地从所述照度校准子图像中去除所述滚降效应从而产生遮蔽校准子图像；以及
将已经应用了所述数学模型的所述遮蔽校准子图像存储(S612)在存储器中。
7.根据权利要求6所述的方法，其中，通过以下步骤来计算所述数学模型：
对来自所述照度校准图像的子图像的像素值进行平均，
将曲线拟合应用于经平均的子图像的截面，
基于所述曲线拟合计算作为平均成像滚降的三维模型的所述数学模型。
8.根据前述权利要求中任一项所述的方法，其中，所取得的遮蔽校准子图像经历了使用带通滤波器进行的带通滤波，
其中，所述方法包括：在使用经滤波的生物特征子图像和经滤波的遮蔽校准子图像估计所述空间变换之前，将所述带通滤波器应用(S611)于所述生物特征子图像。
9.根据前述权利要求中任一项所述的方法，其中，估计所述空间变换包括：评估所述生物特征子图像与所述遮蔽校准子图像之间的关系。
10.根据权利要求9所述的方法，其中，评估所述关系包括：
计算生物特征图像的子图像与遮蔽校准图像的子图像之间的相关性以获得互相关性矩阵，其中，基于所述互相关性矩阵来估计所述空间变换。
11.根据前述权利要求中任一项所述的方法，包括：
取得由所述微透镜引起的成像滚降效应的数学模型；以及
在估计所述空间变换之前，将所述数学模型应用于生物特征图像的子图像，以至少部分地从生物特征子图像中去除滚降效应。
12.根据权利要求11所述的方法，包括：
在将所述空间变换应用于所述照度校准子图像之前，将所述数学模型应用于照度校准图像的子图像，以至少部分地从所述照度校准子图像中去除滚降效应。
13.根据权利要求12所述的方法，包括：
在将所述空间变换应用于所述照度校准子图像之后，在对所述生物特征图像进行归一化之前，将所述数学模型的逆应用于照度校准图像的子图像，以将滚降效应至少部分地添加至经对准的照度校准图像。
14.根据前述权利要求中任一项所述的方法，包括：
将所估计的空间变换与变换阈值进行比较，其中，仅当所估计的空间变换超过所述变换阈值时，才将所估计的空间变换应用于照度校准图像。
15.根据前述权利要求中任一项所述的方法，其中，针对白色目标取得包括多个子图像的第一照度校准图像，并且针对黑色目标取得包括多个子图像的第二照度校准图像。
16.根据前述权利要求中任一项所述的方法，其中，所述空间变换包括水平位移。
17.根据前述权利要求中任一项所述的方法，其中，所述空间变换包括垂直位移。
18.根据前述权利要求中任一项所述的方法，包括：在确定水平位移之前确定垂直位移。
19.一种控制单元(202)，所述控制单元(202)被配置成执行根据权利要求1至18中任一项所述的步骤。
20.一种光学生物特征成像装置(100)，所述光学生物特征成像装置(100)被配置成布置在至少部分透明的显示面板(102)下方，并且被配置成捕获位于所述至少部分透明的显示面板的相反侧上的对象的图像，所述光学生物特征成像装置包括：
图像传感器(108)，所述图像传感器(108)包括光电探测器像素阵列(109)；
光重定向元件的阵列(118；802，803；206)，其中，每个光重定向元件被配置成将光重定向到所述光电探测器像素阵列上，其中，所述光学生物特征成像装置被配置成：
捕获包括一组子图像的生物特征图像；
估计至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换，所述遮蔽校准子图像指示由所述显示面板(102)引起的遮蔽效应；
向取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像应用所述空间变换，以将所述照度校准子图像与所述生物特征图像对准；以及
使用经对准的照度校准子图像对所述生物特征子图像进行归一化，以基于经归一化的生物特征子图像来提供经归一化的生物特征图像。
21.根据权利要求20所述的光学生物特征成像装置，其中，所述至少部分透明的显示面板包括开口，以允许光通过至少部分透明的显示器并朝向所述图像传感器传输。
22.根据权利要求20和21中任一项所述的光学生物特征成像装置，其中，所述光重定向元件的阵列是微透镜的阵列。
23.根据权利要求20所述的光学生物特征成像装置，其中，每个微透镜被布置成将光重定向到所述光电探测器像素阵列中的像素的子阵列(120)上。
24.一种电子装置(200)，包括：
-透明显示面板；
-根据权利要求20至23中任一项所述的光学生物特征成像装置；以及
-处理电路(202)，其被配置成：
-从所述光学生物特征成像装置接收指示触摸所述透明显示面板的手指的指纹的信号，
-基于所检测到的指纹执行指纹认证过程。
25.根据权利要求24所述的电子装置，其中，所述电子装置是移动装置(100)。
26.一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质上存储有计算机程序装置，所述计算机程序装置用于使用光学生物特征成像装置(100)来产生生物特征图像，所述光学生物特征成像装置(100)包括一组微透镜(118)，所述一组微透镜(118)适于将入射光重定向到光电探测器像素阵列(109)上，其中，所述计算机程序产品包括：
用于估计至少一个生物特征子图像与相应的遮蔽校准子图像之间的空间变换的代码，所述遮蔽校准子图像指示由显示面板引起的遮蔽效应；
用于向取得的适于对捕获的生物特征子图像进行照度校准的照度校准子图像应用所述空间变换以将所述照度校准子图像与生物特征图像对准的代码；以及
用于使用经对准的照度校准子图像对生物特征子图像进行归一化以基于经归一化的生物特征子图像来提供经归一化的生物特征图像的代码。
CN202080004743.XA 2019-07-03 2020-06-24 显示器下方的光学生物特征成像装置中的传感器位移补偿 Pending CN112602112A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1950837-3 2019-07-03
SE1950837A SE1950837A1 (en) 2019-07-03 2019-07-03 Sensor displacement compensation
PCT/SE2020/050658 WO2021002791A1 (en) 2019-07-03 2020-06-24 Sensor displacement compensation in an optical biometric imaging arrangment under a display

Publications (1)

Publication Number Publication Date
CN112602112A true CN112602112A (zh) 2021-04-02

Family

ID=74101364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004743.XA Pending CN112602112A (zh) 2019-07-03 2020-06-24 显示器下方的光学生物特征成像装置中的传感器位移补偿

Country Status (5)

Country Link
US (1) US11657642B2 (zh)
EP (1) EP3994658A4 (zh)
CN (1) CN112602112A (zh)
SE (1) SE1950837A1 (zh)
WO (1) WO2021002791A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220034265A (ko) * 2020-08-19 2022-03-18 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 지문 검출 방법
WO2023031718A1 (ja) * 2021-08-31 2023-03-09 株式会社半導体エネルギー研究所 表示装置、および電子機器
WO2023063862A1 (en) * 2021-10-15 2023-04-20 Fingerprint Cards Anacatum Ip Ab Shading compensated readout

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220838A1 (en) * 2015-06-18 2017-08-03 Shenzhen Huiding Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
CN107111760A (zh) * 2015-11-13 2017-08-29 指纹卡有限公司 用于指纹感测装置的校准的方法和系统
US20180129798A1 (en) * 2015-06-18 2018-05-10 Shenzhen GOODIX Technology Co., Ltd. Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
CN109074474A (zh) * 2016-05-23 2018-12-21 苹果公司 包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法
CN109196524A (zh) * 2018-02-23 2019-01-11 深圳市汇顶科技股份有限公司 具有有机发光二极管（oled）屏幕或其他屏幕的设备中用于屏上指纹感测的屏下光学传感器模块中经由成像透镜和成像针孔的光学成像

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2552650C (en) * 2004-01-07 2014-09-30 Identification International, Inc. Low power fingerprint capture system, apparatus, and method
WO2007030442A2 (en) 2005-09-06 2007-03-15 Identification International, Inc. Algorithmic correction of image distortion for fingerprint imaging system
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
KR102068992B1 (ko) * 2013-06-20 2020-01-22 삼성전자 주식회사 렌즈 캘리브레이션 방법 및 영상 복원 방법
EP3182697A1 (en) * 2015-12-15 2017-06-21 Thomson Licensing A method and apparatus for correcting vignetting effect caused on an image captured by lightfield cameras
US10229316B2 (en) * 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
US10230911B1 (en) * 2017-08-29 2019-03-12 Ricoh Company, Ltd Preview generation for plenoptic imaging systems
CN107657240B (zh) * 2017-10-09 2020-11-24 上海天马微电子有限公司 一种显示装置及其指纹识别校准方法、以及电子设备
CN109697402B (zh) * 2017-10-20 2020-10-16 华为技术有限公司 一种指纹信息的获取方法及指纹识别装置
US10216975B1 (en) * 2018-02-23 2019-02-26 Shenzhen GOODIX Technology Co., Ltd. Optical imaging via imaging lens and imaging pinhole in under-screen optical sensor module for on-screen fingerprint sensing in devices having organic light emitting diode (OLED) screens or other screens
KR20200050515A (ko) * 2018-11-01 2020-05-12 삼성디스플레이 주식회사 표시 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220838A1 (en) * 2015-06-18 2017-08-03 Shenzhen Huiding Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
US20180129798A1 (en) * 2015-06-18 2018-05-10 Shenzhen GOODIX Technology Co., Ltd. Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
CN107111760A (zh) * 2015-11-13 2017-08-29 指纹卡有限公司 用于指纹感测装置的校准的方法和系统
CN109074474A (zh) * 2016-05-23 2018-12-21 苹果公司 包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法
CN109196524A (zh) * 2018-02-23 2019-01-11 深圳市汇顶科技股份有限公司 具有有机发光二极管（oled）屏幕或其他屏幕的设备中用于屏上指纹感测的屏下光学传感器模块中经由成像透镜和成像针孔的光学成像

Also Published As

Publication number Publication date
US20220343670A1 (en) 2022-10-27
WO2021002791A1 (en) 2021-01-07
SE1950837A1 (en) 2021-01-04
EP3994658A1 (en) 2022-05-11
EP3994658A4 (en) 2022-08-31
US11657642B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
US20230328374A1 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
US11657642B2 (en) Sensor displacement compensation in an optical biometric imaging arrangement under a display
US7196728B2 (en) Method and apparatus for displaying images in combination with taking images
CN112889064B (zh) 显示器下方生物特征成像装置
JP5627622B2 (ja) 固体撮像装置および携帯情報端末
CN211062054U (zh) 生物特征成像布置和电子装置
CN101662590A (zh) 图像拾取装置和图像处理装置
US10623697B2 (en) Display panel, display device and image pickup method therefor
CN111095284B (zh) 指纹检测装置、方法和电子设备
WO2021168666A1 (zh) 指纹识别装置和电子设备
US9077977B2 (en) Image sensor and imaging apparatus with sensitivity versus incident angle ranges for 2D and 3D imaging
CN109923555B (zh) 指纹检测方法、指纹检测装置和电子设备
US11741745B2 (en) Multicolor illumination in an optical fingerprint sensor for anti-spoofing
CN212160750U (zh) 指纹认证用传感器模块及指纹认证装置
US11847855B2 (en) Variable pixel binning in an optical biometric imaging device
US11308309B2 (en) Fingerprint sensor having an increased sensing area
KR20220072834A (ko) 전자기기
KR101929003B1 (ko) 광 감지 기능을 구비한 o l e d 디스플레이 장치
CN210924598U (zh) 生物识别成像装置和电子装置
CN112335049B (zh) 成像组件、触摸屏、摄像模组、智能终端、相机和距离测量方法
US11508181B2 (en) Optical biometric imaging device and method of operating an optical biometric imaging device
CN110650332B (zh) 阵列摄像模组测试方法及其标板装置
KR20220159378A (ko) 전자기기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211206

Address after: Gothenburg

Applicant after: Fingerprint kaana Kadun Intellectual Property Co.,Ltd.

Address before: Gothenburg

Applicant before: FINGERPRINT CARDS AB

TA01 Transfer of patent application right