CN113892254A - 显示器下方的图像传感器 - Google Patents

显示器下方的图像传感器 Download PDF

Info

Publication number
CN113892254A
CN113892254A CN202080040919.7A CN202080040919A CN113892254A CN 113892254 A CN113892254 A CN 113892254A CN 202080040919 A CN202080040919 A CN 202080040919A CN 113892254 A CN113892254 A CN 113892254A
Authority
CN
China
Prior art keywords
display
camera
image
light
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080040919.7A
Other languages
English (en)
Inventor
R·J·戈夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synaptics Inc
Original Assignee
Synaptics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synaptics Inc filed Critical Synaptics Inc
Publication of CN113892254A publication Critical patent/CN113892254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

一种设备包括显示器和被配置为发射光的第一光源，其中第一光源靠近显示器。该设备还包括设置在显示器后方的第一相机，其中第一相机被配置为检测由第一光源发射的光的反射。第一相机还被配置为至少部分地基于反射来捕获第一图像，其中反射被显示器部分遮断。该设备还包括靠近显示器的第二相机，其中第二相机被配置为捕获第二图像。此外，该设备包括深度图生成器，该深度图生成器被配置为至少部分地基于第一图像和第二图像生成关于第一相机和第二相机的视场（FOV）中的一个或多个对象的深度信息。

Description

显示器下方的图像传感器
技术领域
本实施例总体上涉及用于成像的系统和方法，并且具体地涉及显示器下方的图像传感器。
背景技术
许多电子设备（诸如智能手机、平板电脑、膝上型电脑和其他计算系统）包括相机和显示器。相机通常设置在设备的提供环境的无障碍视图的区域内。因此，当与显示器集成在同一表面上时，相机通常与显示器相邻设置，位于凹口或切口内。这通常导致显示器周围的大的、不美观的黑色边界，这可能减损设备的外观并限制设备的屏幕与机身之比。
发明内容
提供本发明内容是为了以简化的形式介绍以下在具体实施方式中进一步描述的概念的选择。本发明内容既不旨在标识要求保护的主题的关键特征或必要特征，也不旨在限制要求保护的主题的范围。
公开了一种设备。该设备可以包括显示器和被配置为发射光的第一光源，其中第一光源靠近显示器。该设备还可以包括设置在显示器后方的第一相机，其中第一相机被配置为检测由第一光源发射的光的反射。第一相机还可以被配置为至少部分地基于反射来捕获第一图像，其中反射被显示器部分地遮断。该设备还可以包括靠近显示器的第二相机，其中第二相机被配置为捕获第二图像。此外，该设备可以包括深度图生成器，该深度图生成器被配置为至少部分地基于第一图像和第二图像生成关于第一相机和第二相机的视场（FOV）中的一个或多个对象的深度信息。
附图说明
本实施例通过示例的方式图示并且不旨在受附图的图的限制。
图1示出了根据一些实施例的电子设备的框图。
图2示出了根据一些实施例的电子设备的框图。
图3A示出了根据一些实施例的示例电子系统。
图3B示出了根据一些实施例的示例电子系统。
图3C示出了根据一些实施例的示例电子系统。
图3D示出了根据一些实施例的示例电子系统。
图4示出了根据一些实施例的示例电子系统的横截面。
图5示出了根据一些实施例的电子系统的显示器。
图6示出了根据一些实施例的由设置在显示器下方的相机捕获的示例图像。
图7示出了根据一些实施例的显示像素和/或显示子像素和光学感测元件的示例布置。
图8示出了根据一些实施例的图像处理系统的框图。
图9示出了描绘根据一些实施例的用于生成关于对象或场景的深度信息的示例操作的说明性流程图。
图10A示出了由显示器下方的相机捕获的示例图像。
图10B示出了过滤后图10A的示例图像。
图11示出了根据一些实施例的示例3D图像。
图12示出了根据一些实施例的深度信息的示例应用。
具体实施方式
在以下描述中，阐述了许多具体细节，诸如具体部件、电路和过程的示例，以提供对本公开的透彻理解。如本文中所使用的术语“耦合”是指直接连接到或通过一个或多个中间部件或电路连接。另外，在以下描述中并且出于解释的目的，阐述了具体的术语以提供对本公开的方面的透彻理解。然而，对于本领域技术人员将显而易见的是，实践示例实施例可能不需要这些具体细节。在其他情况下，以框图形式示出了公知的电路和设备，以避免使本公开不清楚。以下详细描述的一些部分是根据对计算机存储器内的数据位的操作的过程、逻辑块、处理和其他符号表示来呈现的。电路元件或软件块之间的互连可以显示为总线或单个信号线。每条总线可以可替代地是单个信号线，并且每条单个信号线可以可替代地是总线，并且单个线或总线可以代表用于部件之间通信的无数物理或逻辑机制中的任何一个或多个。
除非另有明确说明（如从以下讨论中显而易见的那样），否则应当理解，贯穿本申请，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定、“标准化”、“相乘”、“平均”、“监视”、“比较”、“施加”、“更新”、“测量”、“导出”等术语的讨论指的是计算机系统、或类似的电子计算设备的动作和过程，其将表示为计算机系统的寄存器和存储器内的物理（电子）量的数据操纵和转换为类似表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。
除非明确描述为以特定方式实现，否则本文中描述的技术可以以硬件、软件、固件、或其任意组合来实现。被描述为模块或部件的任何特征也可以一起在集成逻辑设备中实现，或者分别作为离散但可互操作的逻辑设备实现。如果以软件实现，则技术可以至少部分地由包括指令的非暂时性计算机可读存储介质来实现，所述指令在被执行时执行上述方法中的一种或多种。非暂时性计算机可读存储介质可以形成计算机程序产品的部分，该计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器（RAM），诸如同步动态随机存取存储器（SDRAM）、只读存储器（ROM）、非易失性随机存取存储器（NVRAM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器、其他已知的存储介质等。附加地或可替代地，该技术可以至少部分地由处理器可读的通信介质来实现，该处理器可读的通信介质以指令或数据结构的形式携带或传送代码，并且可以由计算机或其他处理器访问、读取、和/或执行。
结合本文中公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器执行。如本文中所使用的术语“处理器”可以指代能够执行存储在存储器中的一个或多个软件程序的脚本或指令的任何通用处理器、常规处理器、控制器、微控制器、和/或状态机。
本公开的方面提供了一种可以在电子系统或设备的显示器后方实现的用于成像的系统和方法。在一些实施例中，电子系统可以包括显示器、至少一个照明器（在本文中也称为“第一光源”）和包括两个或更多个相机（在本文中也称为“相机传感器”）的成像系统。在一些实施例中，显示器可以包括多孔显示器，诸如例如有机发光二极管（OLED）显示器或微型发光二极管（微型LED）显示器。照明器可以包括NIR发光二极管（LED）或能够发射红外（IR）光谱中的光波长的其他光源。相机可以被配置为检测IR光谱中的光（并且这些相机在本文中也被称为“NIR相机”）。此外，相机可以分离开阈值距离。相机之间的分离距离使成像系统能够收集有关相机的FOV中（一个或多个）对象的深度信息。例如，每个相机可以捕获对象的图像，并且可以使用立体观测（stereopsis）从图像中提取关于对象的深度信息。
在一些实施例中，相机可以设置在显示器下方。在这种配置中，相机的FOV可能被显示器中的显示像素和/或显示子像素部分遮挡。然而，本公开的方面认识到，显示器可以在显示像素和/或显示子像素之间包含“孔”或空白空间，以供至少一些光透过。在一些实施例中，可以使用神经网络模型（例如，卷积神经网络（CNN））来滤除噪声或干扰，诸如可能由显示器中的显示像素和/或显示子像素引起的“屏幕门效应（screen door effect）”。结果图像因此适用于深度感测和/或其他图像处理。除其他优点外，这消除了对显示器边框中的不美观的黑色边界、切口、或凹口的需要。此外，可以提高电子系统的屏幕与机身之比，并且电子系统可以支持无限显示。
图1示出了根据一些实施例的电子设备100（也称为“设备100”）的框图。电子设备100包括照明器108、显示器102、第一相机104、第二相机106、和深度图生成器134。
照明器108被配置为照明正在被成像的对象或场景。在一些实施例中，照明器108可以被配置为发射IR光（例如，NIR光）。此外，照明器108可以包括LED（例如，NIR LED），或者照明器108可以包括显示器102中的显示像素和/或显示子像素。此外，在一些实施例中，设备100可以包括多于一个的照明器108。
显示器102被配置为向用户显示视觉信息、接收用户输入、和/或将来自正在被成像的对象或场景的光传输到第一相机104和第二相机106。显示器102可以包括多孔显示器，诸如OLED显示器或微型LED显示器，其在显示像素和/或显示子像素之间包含孔或间隙。在一些实施例中，显示器102可以包括透明层，该透明层被配置为将来自正在被成像的对象或场景的光透射到第一相机104和第二相机106。
第一相机104和第二相机106中的每个被配置为捕获显示器102前方的对象或场景的图像。第一相机104和第二相机106可以各自包括有源像素传感器阵列（例如，光电二极管、互补金属氧化物半导体（CMOS）图像传感器阵列、电荷耦合器件（CCD）阵列）、和/或能够检测可见光谱、IR光谱、或紫外光谱中的光波长的任何其他传感器。在一些实施例中，第一相机104和第二相机106中的每个可以被配置为检测IR或不可见光谱中的光。此外，第一相机104和第二相机106的每个可以被配置为过滤或拒绝由显示器102发射和/或透射的可见光。在其他实施例中，第一相机104和第二相机106两者可以被配置为检测可见光，或者第一相机104可以被配置为检测NIR光并且第二相机106可以被配置为检测可见光。
如图1中所示，第一相机104和第二相机106中的每个设置在显示器102后方（或靠近显示器102）。利用这种配置，来自正在被成像的对象或场景的光在穿过显示器102到达相机104和106时可能折射或弯曲。此外，显示器102中的显示像素和/或显示子像素可能部分遮挡相机的FOV。然而，第一相机104和第二相机106中的每个仍然可以通过显示器102对对象或场景成像，因为如以上所讨论的那样，显示器102是多孔的，这准许一些光穿过显示器102到达相机。此外，第一相机104和第二相机106中的每个可以被配置为执行大范围成像，其中对象或场景被近距离或远距离成像。需要注意的是，虽然在图1的示例中描绘了两个相机，但是电子设备100的其他实施方式可以仅包括一个相机，或者实施方式可以包括多于两个的相机。
深度图生成器134可以被配置为确定关于由第一相机104和第二相机106成像的对象或场景的深度信息。更具体地，深度图生成器134可以被配置为接收由第一相机104和第二相机106捕获的图像，并且深度图生成器134可以使用立体观测来组合图像并从图像中提取深度信息。
在操作期间，照明器108可以发射光116以照明第一相机104和第二相机106前方的场景。场景中的对象可以将光116的至少一部分朝向显示器102反射回去，例如，作为反射光116R（1）和116（R2）。反射光116R（1）和116R（2）中的一些可能被显示器102中的显示像素和/或显示子像素遮断，而反射光116R（1）和116R（2）的剩余部分穿过显示像素和/或显示子像素之间的孔或间隙。穿过孔的反射光116R（1）和116R（2）可以分别被第一相机104和第二相机106检测。第一相机104可以捕获被检测为第一图像144的反射光116R（1），并且第二相机106可以捕获被检测为第二图像166的反射光116R（2）。此外，深度图生成器134可以接收第一图像144和第二图像166并且组合所述图像以提取关于对象的深度信息135。
图2示出了根据一些实施例的电子设备200（也称为“设备200”）的框图。电子设备200可以是图1的电子设备100的实施例。如图2中所示，第一相机204设置在显示器202后方并且第二相机206靠近显示器202设置（或设置在与显示器202和照明器208相同的平面中）。在一些在实施例中，第一相机204可以是NIR相机，并且第二相机206可以被配置为检测可见光谱中的光（例如，包括光的红色、绿色和蓝色（RGB）颜色分量）（“RGB相机”）。在其他实施例中，第二相机206可以是NIR相机。
在操作期间，照明器208可以发射光216以照明第一相机204和第二相机206前方的场景。场景中的对象可以将光216的至少一部分朝向显示器202反射回去，例如，作为反射光216（R）（1）和216（R）（2）。如图2中所示，反射光216（R）（1）（和/或来自太阳或另一照明器的光）被第二相机206检测并捕获在第二图像266中。此外，反射光216（R）（2）可能被显示器202中的显示像素和/或显示子像素遮断，而反射光216（R）（2）的剩余部分穿过显示像素和/或显示子像素之间的孔或间隙。由第一相机204检测到的反射光216（R）（2）被捕获在第一图像244中。如以上参考图1所述，深度图生成器234可以接收并组合第一图像244和第二图像266以提取关于对象的深度信息235。
图3A示出了根据一些实施例的示例电子系统300A。电子系统300A可以是图1和图2的电子设备100和/或200的实施例。如图3A中所示，电子系统300A包括显示器302、以及相机304和306。
显示器302可以包括多孔显示器，诸如OLED显示器或微型LED显示器，其在显示像素和/或显示子像素之间包含孔或间隙。相机304和306中的每个可以包括有源像素传感器阵列（例如，光电二极管、CMOS图像传感器阵列、CCD阵列、和/或能够检测可见光谱、红外光谱或紫外光谱中的光波长的任何其他传感器）。此外，相机304和306可以被配置为执行大范围成像，其中对象或场景被近距离或远距离成像。要注意的是，虽然在图3A的示例中描绘了两个相机，但是电子系统300A的其他实施方式可以包括比图3A中描绘的那些少或多的相机。在一些实施例中，相机304和306中的每个可以被配置为通过捕获对象的图像来支持深度感测。然后可以使用立体观测来组合图像以便感知对象的深度和/或三维（3D）结构。还要注意的是，在操作期间，电子系统300A可以相对于正在被成像的场景或对象以垂直、水平、或对角线取向定位或安装。
在一些实施例中，相机304和306可以设置在显示器302下方。利用这种配置，显示器302中的显示像素和/或显示子像素可能部分遮挡相机的FOV。然而，因为显示器302是多孔的，所以相机304和306仍然可以通过显示器302对对象或场景成像。换言之，显示器302可以包括像素和/或子像素之间的孔或空白空间。当光从光源（诸如下面进一步描述的照明器308）发射时，光可以从电子系统300A前方的对象或特征反射，然后透过显示器302中的孔或空白空间到达相机304和306。在一些实施例中，相机304和/或306中的至少一个是被配置为检测IR或不可见光谱中的光的NIR相机。NIR相机可以过滤或拒绝可见光，诸如由显示器302发射的任何光。在一些其他实施例中，相机304或306中的一个可以是RGB相机。
要注意的是，因为显示器302中的像素将至少部分遮断穿到相机304和/或306的光，因此由相机捕获的图像将包含噪声或干扰（例如，“屏幕门效应”）。在一些实施例中，神经网络模型（例如，CNN）可用于滤除由相机304和306捕获的图像中的噪声或失真。例如，可以训练CNN以识别或生成关于由显示器302的显示像素和/或显示子像素引起的屏幕门效应的推断。通过去除屏幕门效应，结果图像可能适于深度感测和/或进一步的图像分析。
图3B示出了根据一些实施例的示例电子系统300B。电子系统300B可以是参考图1、2和3A描述的电子设备100和/或200、和/或电子系统300A的实施例。如图3B中所示，照明器308可以定位在电子系统300B的拐角附近。此外，照明器308可以设置在显示器302下方、与显示器302相同的平面中、显示器302的边框中、或其任何组合中。在一些实施例中，照明器308可以被配置为照明正在被成像的对象或场景。例如，照明器308可以包括被配置为使用IR光照明对象或场景的LED（例如，NIR LED）、显示像素、和/或显示子像素。
图3C示出了根据一些实施例的示例电子系统300C。电子系统300C可以是参考图1、2、3A和3B描述的电子设备100和/或200、和/或电子系统300A和/或300B的实施例。如图3C中所示，相机304和306可以沿着长轴设置在电子系统300C的中间区域中。与图3B形成对比，图3C的相机304和306分离开更小的距离。因此，图3C的相机304和306感测深度的最大距离可能比图3B中的相机感测深度的最大距离受限。还要注意的是，在图3C中，相机304和306中的每个的侧面是两个照明器308。照明器308可以设置在显示器302下方、与显示器302相同的平面中、显示器302的边框中、或其任何组合中。在一些实施例中，照明器308可以配置为照明正在被成像的对象或场景。例如，照明器308可以包括被配置为使用IR光照明对象或场景的NIR LED。
图3D示出了根据一些实施例的示例电子系统300D。电子系统300D可以是参考图1、2、3A-3C描述的电子设备100和/或200、和/或电子系统300A-300C的实施例。如图3D中所示，相机304和306可以沿着短轴设置在电子系统300D的中间区域中。与图3C形成对比，图3D的相机304和306分离开更短的距离。因此，图3D的相机304和306感测深度的最大距离可能比图3C中的相机感测深度的最大距离受限。还要注意的是，在图3D中，照明器308沿着长轴设置在电子系统300D的拐角附近并且朝向电子系统300D的中心。照明器308可以设置在显示器302下方、与显示器302相同的平面中、显示器302的边框中、或其任何组合中。在一些实施例中，照明器308可以被配置为照明正在被成像的对象或场景。例如，照明器308可以包括被配置为使用IR光照明对象或场景的NIR LED。
图4示出了根据一些实施例的电子系统400的横截面。如图4中所示，电子系统400包括显示层402、照明器408、和相机模块410。电子系统400可以是关于图1和3A-3D描述的电子设备100和/或电子系统300A-300D的示例实施例。
显示层402可以包括多层多孔显示器，诸如OLED显示器或微型LED显示器。如图4中所示，显示层402可以包括显示表面414和发射层418。在一些实施例中，发射层418可以包括多个显示像素和/或显示子像素，在每个显示像素和/或显示子像素之间具有孔、间隙、或空白空间。在一些实施例中，显示层402中的至少一个可以包括透明层，其被配置为将来自正在被成像的对象或场景的光透射到相机404和406。此外，如图4中所示，来自正在被成像的对象或场景的光沿着光学路径416行进，并且在其穿过显示层402和透镜412到达相机404和406时可以折射或弯曲。
在一些实施例中，照明器408可以定位成与显示层402相邻。照明器408可设置在显示层402下方、与显示层402相同的平面中、电子系统400的边框中、或其任何组合中。照明器408可以被配置为照明正在被成像的对象或场景。例如，照明器408可以包括被配置为使用IR光照明对象或场景的LED（例如，NIR LED）、显示像素、和/或显示子像素。
如图4中所示，相机模块410设置在显示层402下方，并且可以包括相机404和406、以及透镜412。相机404和406可以包括被配置用于大范围成像的NIR CMOS传感器，其中对象或场景被近距离或远距离成像。相机404和406还可以被配置为快速感测诸如手指、手、和头部之类的对象。此外，因为电子系统400包括两个相机，所以相机404和406可以被配置为支持深度感测。深度感测的分辨率可取决于相机404和406之间的分离距离D。换言之，距离D越大，可从相机404和406导出的深度信息量越大。在一些实施例中，相机404和406可以被配置为以多种模式（诸如低功率模式以支持环境光感测（ALS）功能）操作。
在操作期间，照明器408可以照明电子系统400前方的对象或场景。例如，照明器408可以发射IR光，其从对象或场景反射，然后朝向电子系统400行进回去。反射的IR光的行进路径在图4中描绘为光学路径416。如图4中所示，光学路径416穿过显示表面414到达发射层418。在发射层418中，一些反射的IR光可能被显示层402的显示像素和/或显示子像素遮断，但至少一些反射的IR光可以穿过显示像素和/或显示子像素之间的孔或空白空间。剩余的IR光然后行进穿过剩余的显示层402和透镜412，到达相机404和406。相机404和406中的每个可以捕获反射的IR光作为单独的图像。
本公开的方面认识到，通过将相机404和406设置在显示层402下方，由相机404和406捕获的图像可能包括“屏幕门效应”（图6中所图示）、失真、或由穿过显示层402的IR光引起的其他伪影。如下文更详细描述的，可以使用神经网络模型（例如，CNN）来过滤这种失真。一旦捕获的图像被过滤，就可以使用立体观测从捕获的图像中提取深度信息。在一些方面，深度信息可用于构建深度图。在一些其他实施例中，深度信息可用于生成3D图像。更进一步地，在一些方面，深度信息可用于生物测定识别、认证、或跟踪、或用于其他应用。
图5示出了根据一些实施例的电子系统500的显示器。电子系统500可以是如关于图1、2、3A-3D和4所描述的电子设备100和/或200、和/或电子系统300A-300D或400的示例实施例。
电子系统500可以包括显示器502。显示器502可以是多孔显示器，包括但不限于OLED显示器或微型LED显示器。换言之，显示器502可以包括由孔、间隙、或空白空间分离开的显示像素和/或显示子像素（在图5中描绘为灰色矩形）。如图5中所示，显示像素和/或显示子像素的图案可以在显示器502的有限区域522A上变化。然而，本公开的方面认识到该图案可以在显示器502的较大区域522B和522C上重复。本公开的方面进一步认识到，由于显示像素和/或显示子像素的图案的变化，捕获的图像中的失真可能显得随机和/或不一致。然而，通过将显示器下方的光学感测元件（例如，图7的光学感测元件704）与重复像素图案对齐，失真的变化将跨每个光学感测元件相同或基本相似。要注意的是，显示像素和/或显示子像素可以在形状和尺寸方面变化，并且其可以以行和列、以圆形配置、或以另一配置布置。
图6示出了根据一些实施例的由设置在显示器下方的相机捕获的示例图像600。图像600可以由设置在多孔显示器后方或下方的相机捕获，诸如例如图1、2、3A-3D和4的相机104、106、204、304、306、404或406。如图6中所示，图像600包括暗线和亮点的网格——或“屏幕门效应”。暗线对应于显示像素和/或显示子像素的图案，类似于图5中描绘的显示像素图案。暗线是由阻止一些IR光穿过显示器的显示像素和/或显示子像素产生的。相比之下，较亮的点对应于显示像素和/或显示子像素之间的间隙或孔。亮点是由穿过显示器中的孔或间隙到达下方的相机的IR光产生的。
在一些实施例中，由显示器下方的相机捕获的图像可以包括网格或屏幕门效应，其看起来好像显示器下方的相机同时通过多层屏幕门（或屏幕门的堆叠）成像，其中每个屏幕门层具有不同的间距（即孔尺寸或密度）。在这样的实施例中，IR光可以穿过屏幕门层的显示像素和/或显示子像素之间的孔（或间隙）。此外，IR光的每个点水平地和垂直地扩散到不同的位置中（即，作为点扩散函数），并且IR光的每个点以类似的方式跨图像扩散，这可能导致显著的失真。
如图6中所示，图像600的部分被显示器的显示像素和/或显示子像素模糊。换言之，显示像素和/或显示子像素可能减少可用于感测的IR光的量，并有效遮挡显示器下方的相机的FOV。因此，可能期望过滤或校准由显示器下方的相机捕获的图像，以便消除屏幕门效应、失真、或其他伪影。
图7示出了根据一些实施例的显示像素和/或显示子像素702（“显示像素702”）和光学感测元件704的示例布置700。显示像素702中的每个可以是图4、5和/或6中所示的显示像素的示例实施例。光学感测元件704可以分别或共同地是诸如例如关于图1、2、3A-3D和4描述的相机104、106、204、304、306、404或406的相机的实施例。
在一些实施例中，显示像素702可以是多孔显示器（诸如例如，OLED显示器或微型LED显示器）的部分。每个光学感测元件704可以包括NIR CMOS传感器，并且每个光学感测元件704可以具有对应的微型透镜712。虽然图7中仅示出了六个显示像素702，但是在实际实施例中，显示器下方的成像系统700可以包括几乎任何数量的显示像素702（例如，数百、数千、数百万、或更多），以及对应数量的光学感测元件704和微型透镜712。
在图7的示例中，显示像素702可以与光学感测元件704对齐。在一些实施例中，每个光学感测元件704可以与包含重复像素图案的显示器区域（诸如图5的示例区域522B或522C）对齐。由于对齐，屏幕门效应或其他失真可能在由光学感测元件704捕获的图像中表现为一致或重复图案。本公开的方面认识到，可以更容易从捕获的图像中滤除失真的重复图案。例如，神经网络模型可以更容易地训练以识别图像中的重复图案，并且可以在图案重复时提供对屏幕门效应的更鲁棒的过滤。
本公开的方面进一步认识到，当对象在明亮或阳光充足的环境中被成像时，显示像素702可能变得饱和或褪色（wash out）。因此，一些显示像素可能不适合在明亮环境和黑暗环境两者中成像。在一些实施例中，显示像素702可以包括非线性或对数像素。因为由这种对数像素存储的电荷相对于光的亮度或强度非线性地变化，所以显示像素702可以非常适合在明亮条件和黑暗条件两者下成像。
图8示出了根据一些实施例的图像处理系统800的框图。图像处理系统800包括设备接口810、处理器820、和存储器830。出于本文中讨论的目的，处理器820在图8中示出为被耦合到设备接口810和存储器830。对于实际实施例，设备接口810、处理器820、和/或存储器830可以使用一个或多个总线（为简单起见未示出）连接在一起。要注意的是，在一些实施例中，图像处理系统800可以是以上关于图1、2、3A-3D、4和5描述的任何电子设备100和/或200、和/或电子系统300A-300D、400、和/或500的专用集成电路（ASIC）或其他集成电路（IC）。
设备接口810可以向输入设备传输信号以及从输入设备接收信号，输入设备包括但不限于一个或多个相机（为了简单起见未示出）和/或显示器。在一些实施例中，设备接口810可以包括相机接口814和816。每个相机接口814和816可用于与不同的相机通信。例如，第一相机接口814可以向第一相机传输激活信号以及从第一相机接收传感器信息以捕获对象或场景的图像。此外，第二相机接口816可以向第二相机传输激活信号以及从第二相机接收传感器信息以捕获相同对象和/或场景的图像。在一些实施例中，设备接口810还可以包括显示接口812。显示接口812可用于与显示器通信和/或向图像处理系统800的用户提供视觉接口。
存储器830可以包括图像缓冲器831以存储经由相机接口814和/或816接收的图像。存储器830还可以包括非暂时性计算机可读介质（例如，一个或多个非易失性存储器元件，诸如EPROM、EEPROM、闪存、硬盘驱动器等），其可以至少存储以下SW模块：
•图像过滤SW模块832，其用于过滤经由相机接口814和/或816接收的图像，图像过滤SW模块832进一步包括：
◦神经网络模型833，其用于过滤、减少、或消除来自经由相机接口814和/或816接收的图像的噪声；以及
·深度图SW模块834，其用于确定经由相机接口814和/或816接收的图像中的对象或特征的深度信息，深度图SW模块834进一步包括：
◦立体观测子模块835，其用于从经由相应的相机接口814和816接收的一对图像中提取深度信息；
◦3D成像子模块836，其用于至少部分地基于深度信息生成3D图像；以及
◦生物测定识别、认证、和跟踪（BIAT）子模块837，其用于至少部分地基于深度信息识别、认证、和/或跟踪图像中的主题或对象。
每个SW模块包括指令，其在由处理器820执行时使图像处理系统800执行对应功能。
例如，处理器820可以执行图像过滤SW模块832（或“图像过滤器”）以过滤经由相机接口814和/或816接收的图像。在执行图像过滤SW模块832时，处理器820可以使用神经网络模型833从经由相机接口814和/或816接收的图像过滤、减少、或消除噪声（诸如屏幕门效应）。处理器820可以进一步执行深度图SW模块834以确定经由相机接口814和/或816接收的图像中的对象或特征的深度信息。在执行深度图SW模块834时，处理器820可以使用立体观测子模块835、3D成像子模块836、和/或BIAT子模块837。例如，处理器820可以执行立体观测子模块835以从经由相应的相机接口814和816接收的一对图像中提取深度信息。处理器820还可执行3D成像子模块836以至少部分地基于深度信息来生成3D图像。处理器820还可以执行BIAT子模块837以至少部分地基于深度信息来识别、认证、和/或跟踪图像中的主题或对象。
图9示出了描绘根据一些实施例的用于生成关于对象或场景的深度信息的示例操作900的说明性流程图。例如参照图1，操作900可以由电子设备100执行。
电子设备100可以接收由设置在电子显示器后方的第一相机捕获的对象的第一图像（910）。第一图像可以至少部分地基于由照明器（或第一光源）发射的光（例如，NIR光）的反射。
电子设备100还可以接收由靠近电子显示器的第二相机捕获的对象的第二图像（920）。在一些实施例中，第二相机可以设置在与电子显示器和照明器相同的平面中，如图2中所示。
在电子设备100接收到第一图像和第二图像之后，电子设备100可以处理图像以生成深度信息（930）。在一些实施例中，可以使用一个或多个神经网络模型来过滤第一图像和第二图像中的噪声或失真。如上所述，深度信息可以指示对象在第一相机和第二相机的FOV中的距离或深度，并且深度信息可以至少部分地基于第一图像和第二图像。在一些实施例中，电子设备100可以组合第一图像和第二图像并且从关于对象的图像中提取深度信息。
图10A示出了由显示器下方的相机捕获的示例图像1010。参考图8，图像1010可以从显示器下方的相机传输到例如相机接口814。相机接口814然后可以将图像1010传输到图像缓冲器831以供存储。如图10A中所示，图像1010被屏幕门效应模糊。因此，可能期望过滤图像1010以去除失真。
图10B示出了示例图像1020，其是过滤后图10A的图像1010。为了生成图像1020，参考图8，图像缓冲器831可以将图像1010传输到图像过滤SW模块832。图像过滤SW模块832可以使用神经网络模型833从图像1010中滤除屏幕门效应。结果图像是图像1020，如图10B中图示，其更清楚地示出了人。
在一些实施例中，神经网络模型833可以包括被训练以从捕获的图像中滤除屏幕门效应或其他噪声的CNN。换言之，可以训练CNN以从对象或场景的模糊图像中推断出对象或场景的原始或干净图像。在一些实施例中，可以通过接收和处理对象或场景的至少一个原始图像、和对象或场景的至少一个模糊图像来训练CNN。在一些实施例中，代替CNN、或者除了CNN之外，可以使用反向点扩散函数变换来过滤图像。因此，图像过滤SW模块832可以使用神经网络模型833和/或反向点扩散函数变换来过滤来自显示器下方的相机的图像。
图11示出了根据一些实施例的示例3D图像1110。为了生成示例3D图像1110，参考图8，两个显示器下方的相机中的每个可以同时捕获一组人的图像，并且可以将捕获的图像分别传输到相机接口814和816。相机接口814和816然后可以将图像传输到图像缓冲器831以供存储。随后，图像缓冲器831可以将图像传输到图像过滤SW模块832，其可以使用神经网络模型833从图像中去除屏幕门效应或任何其他失真。深度图SW模块834然后可以使用立体观测子模块835来组合过滤的图像并从图像中提取深度信息。
在一些实施例中，代替立体观测、或除了立体观测之外，深度图SW模块834可以使用其他方法来确定来自该对图像的深度信息。例如，参考图4和图8，相机模块410可以使用特殊光学器件，以及深度图SW模块834可以使用具有衍射光学器件、多个孔径或多个FOV（其中一个相机的孔径或FOV与另一个的孔径或FOV不同）、或编码或相位孔径的特殊算法，以提取深度信息。作为另一示例，深度图SW模块834可以使用一个相机来感测一个波长范围（例如，可见光）并且使用另一个相机来感测另一个波长范围（例如，IR光）。深度图SW模块834然后可以对由两个相机捕获的图像进行三角测量以提取深度信息。
一旦已经提取了深度信息，3D成像子模块836可以至少部分地基于深度信息生成图11的3D图像1110。在一些实施例中，由3D成像子模块836处理的两个图像之一可以包括来自标准光学RGB相机的颜色（或RGB）信息。3D成像子模块836可以将颜色信息叠加到3D图像上以生成彩色3D图像。
在一些实施例中，3D成像子模块836可以被配置为经由显示接口812将3D图像投影到显示器上。3D成像子模块836还可被配置为修改或旋转3D图像，由此准许用户与3D图像交互。例如，在一些方面，3D成像子模块836可以被配置为提供散景（bokeh）对焦功能。换言之，当3D图像经由显示接口812投影到显示器上时，用户可能能够确定3D图像的哪（一个或多个）部分出现在焦点中，以及3D图像的哪（一个或多个）部分出现模糊或失焦。对于任何（一个或多个）模糊部分，用户可能能够调整模糊的程度或类型。
图12示出了根据一些实施例的深度信息的示例应用。参考图8，深度图SW模块834可以使用BIAT子模块837来至少部分地基于深度信息来识别、认证、和/或跟踪图像中的主题或对象。例如，如图12中所示，相机A和B中的每个可以在成像1210期间捕获人的图像。如上所述，图像过滤SW模块832可以使用神经网络模型833从图像中去除失真，并且深度图SW模块834可以使用立体观测子模块835从图像中提取深度信息。3D成像子模块836然后可以至少部分地基于来自图像的深度信息生成3D图像，诸如3D图像1220。
在一些实施例中，BIAT子模块837可以识别3D图像中的任何主题、对象或特征，诸如例如3D图像1220中的人。例如，BIAT子模块837可以将3D图像1220与存储的数据（例如，人和/或用户的参考图像）进行比较。在BIAT子模块837确定3D图像1220和存储的数据之间的匹配的情况下，BIAT子模块837可以认证或验证3D图像1220中的人的身份或简单确定人存在于3D图像1220中。因此，BIAT子模块837可用于至少部分地基于深度信息来执行生物测定识别和/或认证。
在一些实施例中，BIAT子模块837还可以被配置为执行生物测定跟踪。例如，关于图12，3D图像1220可以对应于在第一时间实例由相机捕获的两个图像。BIAT子模块837可以确定人在3D图像1220中的位置，然后将该位置存储在例如图像缓冲器831中。BIAT子模块837然后可以基于由相机在第二时间实例捕获的两个图像接收3D图像，其中第二时间实例在第一时间实例之后。BIAT子模块837然后可以识别和/或认证3D图像中对应于第二时间实例的人。如果BIAT子模块837确定对应于第二时间实例的3D图像中的人与对应于第一时间实例的3D图像1220中的人相同，则BIAT子模块837可以确定与第二时间实例对应的3D图像中的人的位置，并将该位置存储在例如图像缓冲器831中。BIAT子模块837然后可以使用对应于第一和第二时间实例的3D图像的存储位置来跟踪人随时间的位置或移动。在其他实施例中，BIAT子模块837可以被配置为跟踪诸如眼睛、手指或手之类的对象，和/或BIAT子模块837可以被配置为执行手势识别和/或空中触摸。BIAT子模块837还可以被配置为识别和/或跟踪诸如心跳（即脉搏）或血压之类的生物测定指示。
在一些方面，BIAT子模块837可以通过在将3D图像与存储的数据进行比较之前旋转和/或改变3D图像中的主题或对象的距离来执行更鲁棒的识别、认证和/或跟踪。要注意的是，某些认证算法需要将用户的面部定位在相机的FOV的特定取向和/或位置（例如，直接面向相机）以进行适当的分析。因此，参考图12的3D图像1220，BIAT子模块837可以被配置为旋转3D图像1220，使得3D图像1220中的人脸符合期望的取向（例如，与参考图像中的人的取向类似的取向），诸如3D图像1230的取向。BIAT子模块837然后可以分析3D图像1230中的特定数据点（诸如人的眼睛、鼻子、嘴巴和/或其他容易识别的特征的一般对齐）以将3D图像1230与存储的参考图像进行比较。因此，BIAT子模块837可以更有效地执行识别、认证、和/或跟踪。
要注意的是，某些捕获的图像（例如，模糊或过滤的图像）和图像内容（例如，3D图像或识别的人、对象、或场景）可以存储在图1、2、3A-3D、400和500的电子设备100和/或200中的任何、和/或电子系统300A-300D、400和/或500中的任何上的安全储存库中（例如，受信任的环境中）。安全储存库可以与电子系统的其余部分虚拟地和/或物理地分开，使得只有驻留在受信任环境内的应用和/或硬件可以访问存储在安全储存库中的数据。在一些方面，安全储存库可以至少部分地形成在存储器830内。因此，某些捕获的图像和图像内容可以存储在存储器830的安全储存库内（例如，在图像缓冲器831内）。
在一些实施例中，神经网络模型833可以至少部分地驻留在图1、2、3A-3D、400和500的电子设备100和/或200中的任何、和/或电子系统300A-300D、400和/或500中的任何中的受信任环境内。将神经网络模型833置于受信任环境内使神经网络模型833能够对受保护的捕获图像和图像内容执行机器学习（例如，利用CNN）。
本领域技术人员将理解，可以使用多种不同工艺和技术中的任何来表示信息和信号。例如，在以上整个说明书中可能引用的数据、指令、命令、信息、信号、位、符号和码片可以由电压、电流、电磁波、磁场或粒子、光学场或粒子、或其任何组合表示。
此外，本领域技术人员将理解，结合本文中公开的方面描述的各种说明性的逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经大体上根据其功能性描述了各种说明性的部件、块、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以不同方式来实现所描述的功能性，但是这种实施方式决策不应被解释为导致脱离本公开的范围。
结合本文中公开的方面描述的方法、序列或算法可以直接体现在硬件中、在由处理器执行的软件模块中、或在两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其他形式的存储介质中。示例存储介质耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在替代方案中，存储介质可以集成到处理器。
在前述说明书中，已经参考其具体示例描述了实施例。然而，将显而易见的是，在不脱离如所附权利要求中所阐述的本公开的更广范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (22)

1.一种设备，包括：
显示器；
第一光源，其被配置为发射光，所述第一光源靠近所述显示器；
第一相机，其设置在所述显示器后方，所述第一相机被配置为检测由所述第一光源发射的所述光的反射并且至少部分地基于所述反射来捕获第一图像，其中所述反射被所述显示器部分地遮断；
第二相机，其靠近所述显示器，所述第二相机被配置为捕获第二图像；以及
深度图生成器，其被配置为至少部分地基于所述第一图像和第二图像生成关于所述第一相机和第二相机的视场（FOV）中的一个或多个对象的深度信息。
2.根据权利要求1所述的设备，其中所述第一光源被配置为发射近红外（NIR）光，并且所述第一相机和第二相机中的每个被配置为检测所述NIR光。
3.根据权利要求1所述的设备，其中所述第一光源被配置为发射近红外（NIR）光，所述第一相机被配置为检测所述NIR光，并且所述第二相机被配置为检测可见光。
4.根据权利要求1所述的设备，其中所述显示器包括多个显示像素，其中空白空间将所述多个显示像素中的每个显示像素与其他显示像素分开，并且其中每个空白空间被配置为透射所述反射。
5.根据权利要求1所述的设备，其中所述显示器包括有机发光二极管显示器。
6.根据权利要求1所述的设备，其中所述显示器包括微型发光二极管显示器。
7.根据权利要求1所述的设备，其中所述第一相机包括与所述显示器的显示像素对齐的多个第一光学传感器。
8.根据权利要求7所述的设备，其中所述多个第一光学传感器中的每个光学传感器与所述显示器的区域的显示像素对齐，其中所述区域包含包括重复像素图案的多个显示像素。
9.根据权利要求1所述的设备，还包括：
图像过滤器，其被配置为从由所述第一相机捕获的所述第一图像中滤除噪声或干扰。
10.根据权利要求9所述的设备，其中所述深度图生成器还被配置为至少部分地基于过滤的第一图像生成关于所述第一相机和第二相机的所述FOV中的所述一个或多个对象的所述深度信息。
11.根据权利要求9所述的设备，其中所述图像过滤器使用神经网络模型从由所述第一相机捕获的所述第一图像中滤除所述噪声或干扰。
12.根据权利要求9所述的设备，其中所述图像过滤器使用反向点扩散函数变换从由所述第一相机捕获的所述第一图像中滤除所述噪声或干扰。
13.根据权利要求1所述的设备，其中所述深度图生成器还被配置为至少部分地基于所述深度信息生成三维图像。
14.一种方法，包括：
接收由第一相机至少部分地基于由第一光源发射的光的反射而捕获的第一图像，其中所述反射被设置在所述第一相机前方的电子显示器部分遮断；
接收由靠近所述电子显示器的第二相机捕获的第二图像；以及
至少部分地基于所述第一图像和第二图像生成关于所述第一相机和第二相机的视场（FOV）中的一个或多个对象的深度信息。
15.根据权利要求14所述的方法，还包括：
从所述第一光源发射近红外（NIR）光，其中所述第一相机和第二相机中的每个被配置为检测所述NIR光。
16.根据权利要求14所述的方法，还包括：
从所述第一光源发射近红外（NIR）光，其中所述第一相机被配置为检测所述NIR光，以及所述第二相机被配置为检测可见光。
17.根据权利要求14所述的方法，还包括：
从所述第一图像中滤除噪声或干扰。
18.根据权利要求17所述的方法，其中生成关于所述第一相机和第二相机的所述FOV中的所述一个或多个对象的所述深度信息还至少部分地基于过滤的第一图像。
19.根据权利要求14所述的方法，还包括：
使用神经网络模型从所述第一图像中滤除噪声或干扰。
20.根据权利要求14所述的方法，还包括：
使用反向点扩散函数变换从所述第一图像中滤除噪声或干扰。
21.根据权利要求14所述的方法，还包括：
至少部分地基于所述深度信息生成三维图像。
22.一种处理系统，包括：
处理器；以及
存储指令的存储器，所述指令在被所述处理器执行时，使所述处理系统：
接收由第一相机至少部分地基于由第一光源发射的光的反射而捕获的第一图像，其中所述反射被设置在所述第一相机前方的电子显示器部分遮断；
接收由靠近所述电子显示器的第二相机捕获的第二图像；以及
至少部分地基于所述第一图像和第二图像生成关于所述第一相机和第二相机的视场（FOV）中的一个或多个对象的深度信息。
CN202080040919.7A 2019-06-05 2020-05-22 显示器下方的图像传感器 Pending CN113892254A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962857740P 2019-06-05 2019-06-05
US62/857740 2019-06-05
US16/654,290 US11516374B2 (en) 2019-06-05 2019-10-16 Under-display image sensor
US16/654290 2019-10-16
PCT/US2020/034301 WO2020247195A1 (en) 2019-06-05 2020-05-22 Under-display image sensor

Publications (1)

Publication Number Publication Date
CN113892254A true CN113892254A (zh) 2022-01-04

Family

ID=73650822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080040919.7A Pending CN113892254A (zh) 2019-06-05 2020-05-22 显示器下方的图像传感器

Country Status (5)

Country Link
US (1) US11516374B2 (zh)
JP (1) JP7564828B2 (zh)
KR (1) KR20220005600A (zh)
CN (1) CN113892254A (zh)
WO (1) WO2020247195A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575865B2 (en) 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
WO2021092887A1 (en) * 2019-11-15 2021-05-20 Qualcomm Incorporated Display shade compensation for cameras
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
CN115486056A (zh) * 2020-05-08 2022-12-16 索尼半导体解决方案公司 电子设备和成像装置
KR20220017649A (ko) * 2020-08-05 2022-02-14 삼성전자주식회사 이미지 센서를 포함하는 전자 장치
US11706520B2 (en) * 2020-10-12 2023-07-18 Qualcomm Incorporated Under-display camera and sensor control
US11721001B2 (en) 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11588978B2 (en) 2021-02-19 2023-02-21 Qualcomm Incorporated Under-display camera systems and methods
US11722796B2 (en) * 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring
KR20220126924A (ko) * 2021-03-10 2022-09-19 삼성전자주식회사 디스플레이를 포함하는 전자 장치
KR20220133518A (ko) * 2021-03-25 2022-10-05 삼성전자주식회사 전자 장치 및 카메라의 원거리 성능 향상 방법
KR20220137459A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 기계 학습 기반 이미지 처리를 지원하기 위한 전자 장치
US11954833B2 (en) 2021-04-02 2024-04-09 Samsung Electronics Co., Ltd Electronic device for supporting machine learning-based image processing
KR20230023324A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치
US11765451B2 (en) * 2021-09-03 2023-09-19 Micron Technology, Inc. Image sensor selection
KR20230052041A (ko) * 2021-10-12 2023-04-19 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080106628A1 (en) * 2006-11-02 2008-05-08 Cok Ronald S Integrated display and capture apparatus
US20100201808A1 (en) * 2009-02-09 2010-08-12 Microsoft Corporation Camera based motion sensing system
CN106062780A (zh) * 2014-01-14 2016-10-26 微软技术许可有限责任公司 3d剪影感测系统
WO2018049201A1 (en) * 2016-09-09 2018-03-15 Google Llc Three-dimensional telepresence system
US20180198980A1 (en) * 2017-01-06 2018-07-12 Intel Corporation Integrated Image Sensor and Display Pixel
CN108291838A (zh) * 2015-12-03 2018-07-17 辛纳普蒂克斯公司 用于显示底板上的集成的光学传感器
US20180205937A1 (en) * 2017-01-18 2018-07-19 Oculus Vr, Llc Tileable structured light projection for wide field-of-view depth sensing

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07246184A (ja) 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 面順次式撮像装置
GB2354389A (en) * 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US7239909B2 (en) 2000-01-19 2007-07-03 Luminetx Technologies Corp. Imaging system using diffuse infrared light
WO2004096014A2 (en) * 2003-04-28 2004-11-11 University Of Rochester Metrics to predict subjective impact of eye's wave aberration
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
WO2006127967A2 (en) 2005-05-25 2006-11-30 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
WO2007138543A2 (en) 2006-05-25 2007-12-06 Udayan Kanade Display with gaps for capturing images
JP2010250789A (ja) 2008-06-10 2010-11-04 Akira Tomono カメラ付き表示装置
JP5296218B2 (ja) * 2009-09-28 2013-09-25 株式会社東芝 立体映像表示方法及び立体映像表示装置
WO2011047214A2 (en) * 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
JP5186614B2 (ja) * 2010-03-24 2013-04-17 富士フイルム株式会社 画像処理装置および画像処理方法
US9091903B2 (en) 2010-07-29 2015-07-28 Logitech Europe S.A. Optimized movable IR filter in cameras
US20120032875A1 (en) 2010-08-05 2012-02-09 Microvision, Inc. Scanned Image Projection System Employing Beam Folding Apparatus
KR101680762B1 (ko) 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
KR101632311B1 (ko) 2010-12-30 2016-06-22 삼성전자주식회사 패널 형태의 면 카메라, 이를 적용한 광 터치스크린 및 디스플레이 장치
KR20120080845A (ko) 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
WO2012103554A2 (en) * 2011-01-28 2012-08-02 Windy Place, Inc. Lighting and power devices and modules
WO2012129674A1 (en) 2011-03-31 2012-10-04 Smart Technologies Ulc Video conferencing display device
JP5623982B2 (ja) * 2011-06-09 2014-11-12 株式会社ジャパンディスプレイ 半透過型表示装置及び電子機器
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US8878794B2 (en) * 2011-09-27 2014-11-04 Z124 State of screen info: easel
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
WO2014075943A1 (en) * 2012-11-14 2014-05-22 Thomson Licensing Method and arrangement for estimating at least one cross-channel colour mapping model from an set of tuples of corresponding colours relative to at least two images
US9552064B2 (en) 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US9921688B2 (en) 2014-03-04 2018-03-20 Qualcomm Incorporated Large area interactive display screen
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN105093541A (zh) * 2014-05-22 2015-11-25 华为技术有限公司 显示装置
CN105094307A (zh) 2014-05-23 2015-11-25 宇龙计算机通信科技(深圳)有限公司 一种具有前置摄像头的移动设备
US9638511B2 (en) 2014-08-08 2017-05-02 The Board Of Trustees Of The University Of Illinois Smart phone attachment for 3-D optical coherence tomography imaging
US9377623B2 (en) 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
CN104318205A (zh) * 2014-09-29 2015-01-28 上海箩箕技术有限公司 信息检测显示装置及其检测方法和显示方法
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
KR102309411B1 (ko) * 2014-10-27 2021-10-06 엘지전자 주식회사 휴대 전자기기
US9791924B2 (en) 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US10148918B1 (en) * 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US10043282B2 (en) * 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US10565734B2 (en) * 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
KR102483838B1 (ko) * 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
CN107004130B (zh) 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
JP6594101B2 (ja) 2015-08-19 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
EP3353630B1 (en) 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
US10523855B2 (en) 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
US10152121B2 (en) 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
JP6728714B2 (ja) 2016-01-28 2020-07-22 ブラザー工業株式会社 画像処理装置
US10229316B2 (en) 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
US10217439B2 (en) 2016-02-04 2019-02-26 Apple Inc. Electronic device with ambient light sensor system
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
WO2017161520A1 (zh) 2016-03-23 2017-09-28 徐鹤菲 支持近红外光与可见光成像的复合成像系统和移动终端
EP3465343A4 (en) * 2016-06-30 2020-07-29 Nokia Technologies Oy METHOD AND DEVICE FOR ILLUMINATING THE RECORDING OF PHOTOGRAPHIC IMAGES
US10311560B2 (en) 2016-09-07 2019-06-04 Huazhong University Of Science And Technology Method and system for estimating blur kernel size
US20180157908A1 (en) 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10120442B2 (en) 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
KR20180082698A (ko) 2017-01-10 2018-07-19 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
US10872272B2 (en) 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation
US10567630B2 (en) * 2017-05-12 2020-02-18 Microsoft Technology Licensing, Llc Image capture using a hinged device with multiple cameras
JP2018195985A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN110024366B (zh) 2017-07-07 2020-08-14 华为技术有限公司 一种具有摄像头的终端和拍摄方法
JP7178403B2 (ja) 2017-09-01 2022-11-25 マジック リープ， インコーポレイテッド ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
US10609355B2 (en) * 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map
US10911656B2 (en) 2017-11-21 2021-02-02 Microsoft Technology Licensing, Llc Optical isolation systems for displays
US11514325B2 (en) * 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
US10636340B2 (en) 2018-04-16 2020-04-28 Facebook Technologies, Llc Display with gaze-adaptive resolution enhancement
US11321592B2 (en) * 2018-04-25 2022-05-03 Avigilon Corporation Method and system for tracking an object-of-interest without any required tracking tag theron
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10606349B1 (en) 2018-06-22 2020-03-31 Facebook Technologies, Llc Infrared transparent backlight device for eye tracking applications
CN109188711B (zh) 2018-09-17 2020-11-03 深圳奥比中光科技有限公司 屏下光学系统、衍射光学元件的设计方法及电子设备
US11589031B2 (en) 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
US11301665B2 (en) 2019-02-20 2022-04-12 Novatek Microelectronics Corp. Fingerprint and proximity sensing apparatus and sensing process thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080106628A1 (en) * 2006-11-02 2008-05-08 Cok Ronald S Integrated display and capture apparatus
US20100201808A1 (en) * 2009-02-09 2010-08-12 Microsoft Corporation Camera based motion sensing system
CN106062780A (zh) * 2014-01-14 2016-10-26 微软技术许可有限责任公司 3d剪影感测系统
CN108291838A (zh) * 2015-12-03 2018-07-17 辛纳普蒂克斯公司 用于显示底板上的集成的光学传感器
WO2018049201A1 (en) * 2016-09-09 2018-03-15 Google Llc Three-dimensional telepresence system
US20180198980A1 (en) * 2017-01-06 2018-07-12 Intel Corporation Integrated Image Sensor and Display Pixel
US20180205937A1 (en) * 2017-01-18 2018-07-19 Oculus Vr, Llc Tileable structured light projection for wide field-of-view depth sensing

Also Published As

Publication number Publication date
JP2022536253A (ja) 2022-08-15
US20200389575A1 (en) 2020-12-10
US11516374B2 (en) 2022-11-29
JP7564828B2 (ja) 2024-10-09
KR20220005600A (ko) 2022-01-13
WO2020247195A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US11516374B2 (en) Under-display image sensor
AU2018247216B2 (en) Systems and methods for liveness analysis
US9058519B2 (en) System and method for passive live person verification using real-time eye reflection
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
CN103577801B (zh) 用于生物特征验证的质量度量的方法和系统
US6088470A (en) Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US11893789B2 (en) Deep neural network pose estimation system
US20140028861A1 (en) Object detection and tracking
US20160019420A1 (en) Multispectral eye analysis for identity authentication
CN112287867B (zh) 一种多摄像头的人体动作识别方法及装置
US11908227B2 (en) Method and device for reference imaging and optical object recognition
US11153513B2 (en) Light source for camera
US9147115B2 (en) Method and device for detecting an object in an image
KR20140026898A (ko) 가상 키보드를 위한 시스템 및 방법
CN115968487A (zh) 反欺骗系统
CN115380313A (zh) 电子装置
KR101155992B1 (ko) 모바일폰을 이용한 카드의 비가시성 마크 검출 방법
KR20230004533A (ko) 조명원을 포함하는 장치를 이용한 라이브니스 검출
CN114612542A (zh) 一种基于红外点阵的深度信息重放方法及系统
Samini Large scale audience interaction with a Kinect sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination