具体实施方式
以下详细描述在本质上仅仅是示范性的,且无意限制本发明或本申请以及本发明的用途。此外,无意受以下详细描述或附图中呈现的任何明示或暗示的理论约束。
转向附图,并且如本文中详细描述的,本公开的实施例提供了用于对例如指纹等输入物体进行成像(例如光学成像)的方法、装置和系统。
图1是包含显示器102和处理系统104的电子系统100的实例的框图。显示器(或“显示装置”)102也可用作用于成像的传感器。
作为实例,示出了在捕获、存储和验证生物计量匹配尝试期间使用的电子装置100的基本功能组件。处理系统104可包含一或多个处理器106、存储器108、模板存储装置110、操作系统(OS)112和电源114。所述一或多个处理器106、存储器108、模板存储装置110和操作系统112可直接或间接地以物理方式、以通信方式和/或以操作方式彼此连接。电源114可连接到处理系统104中的各种组件,以根据需要提供电力。
如所示出,处理系统104可包含处理电路,包含经配置以实施在电子装置100内执行的功能性和/或进程指令的一或多个处理器106。举例来说,一或多个处理器106可执行存储在存储器108中的指令或存储在模板存储装置110上的指令,以使图像标准化;重构合成图像;识别、检验或以其它方式匹配生物计量物体、或确定生物计量验证尝试是否成功。可为非暂时性计算机可读存储媒体的存储器108可经配置以在操作期间在电子装置100内存储信息。在一些实施例中,存储器108包含临时存储器,其为用于当电子装置100断开时不会保存的信息的区域,此类临时存储器的实例包含易失性存储器,例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。存储器108还可保存程序指令以供处理器106执行。
模板存储装置110可包括一或多个非暂时性计算机可读存储媒体。在指纹传感器装置或系统的上下文中,模板存储装置110可经配置以存储与用户的指纹相关联的指纹图像的注册视图或图像数据,或其它注册信息,例如模板标识符,包含不同图像或视图之间的变换信息的注册图等。更一般地,模板存储装置110可存储关于输入物体的信息。模板存储装置110可进一步经配置以用于信息的长期存储。在一些实例中,模板存储装置110包含非易失性存储元件。非易失性存储元件的非限制性实例包含磁性硬盘、固态驱动器(SSD)、光盘、软盘、快闪存储器,或多种形式的电可编程存储器(EPROM)或电可擦除且可编程(EEPROM)存储器等等。
处理系统104还可托管操作系统(OS)112。操作系统112可控制处理系统104的组件的操作。举例来说,操作系统112促进处理器106、存储器108和模板存储装置110的交互。
根据一些实施例,一或多个处理器106可实施硬件和/或软件以获得描述输入物体的图像的数据。在一些实施方案中,所述一或多个处理器106还可确定两个图像之间是否存在匹配,例如通过使两个图像对准以及将所述经对准图像彼此进行比较。所述一或多个处理器106还可操作以从一系列较小的局部图像或子图像重构较大的图像,例如当在生物计量过程期间收集多个局部指纹图像时的指纹图像,所述过程例如为用于检验或识别的注册或匹配过程。
处理系统104可包含一或多个电源114,以向电子装置100的组件提供电力。电源114的非限制性实例包含单次使用式电源、可充电电源和/或从镍-镉、锂离子或其它合适材料开发的电源,以及电源线和/或适配器,其又连接到电力。电源114可在处理系统104和/或电子装置100的外部。
显示器102可实施为电子系统100的物理部分,或者可与电子系统100物理上分离。视需要,显示器102可使用各种有线和/或无线互连和通信技术(例如总线和网络)与电子系统100的若干部分进行通信。实例技术可包含集成电路间(I
2C)、串行外围接口(SPI)、PS/2、通用串行总线(USB)、
红外数据协会(IrDA)和通过IEEE 802.11标准定义的各种射频(RF)通信协议。在一些实施例中,将显示器102图像传感器,例如实施为用以捕获用户的指纹的指纹传感器。更一般地说,可实施显示器102的组件,或集成在显示器中或与显示器集成的组件(例如一或多个光源、检测器等),以对物体进行成像。根据一些实施例,显示器102可将光学感测用于物体成像,包含例如指纹的成像生物计量。
电子系统100的一些非限制性实例包含个人计算装置(例如,台式计算机、膝上型计算机、上网本计算机、平板计算机、网络浏览器、电子书阅读器和个人数字助理(PDA))、复合输入装置(例如,物理键盘、操纵杆和按键开关)、数据输入装置(例如,遥控器和鼠标)、数据输出装置(例如,显示屏和打印机)、远程终端、查询一体机、视频游戏机(例如,视频游戏控制台、便携式游戏装置等)、通信装置(例如,蜂窝式电话,例如智能电话)和媒体装置(例如,记录器、编辑器和播放器,例如电视机、机顶盒、音乐播放器、数字相框和数码相机)。
在一些实施例中,根据本文献中其它地方描述的一些实施例,处理系统104包含显示驱动器电路、LED驱动器电路、接收器电路或读出电路,用于操作或激活光源,或者用于从检测器接收数据或从其读出数据。举例来说,处理系统104可包含一或多个显示驱动器集成电路(IC)、LED驱动器IC、OLED驱动器IC、读出IC等。
图2说明根据本公开的光学显示系统200的实例。光学显示系统200(也被称作“显示器200”)包含一或多个光源(例如光源202和203)、光电传感器(例如检测器像素204和205)、衬底206和盖层208。根据一些实施例,通过显示器200对输入物体210进行成像。如上所述,显示器200可以是单独的装置,或者可并入为包含移动电话、媒体装置和任何其它合适电子装置的电子装置100的一部分。
光源202和203是下文描述的合适类型的光源(例如OLED、微型LED等)。在一些实施例中,光源202和203可包含本机显示元件(例如,一或多个本机OLED像素/发射器)、或集成在显示器中或与显示器集成的专用发射器(例如,集成在OLED或LCD显示器中或与OLED或LCD显示器集成的微型LED)。尽管在图2中仅示出了两个光源202、203,但可使用任何数目和任何布置的光源。举例来说,可仅使用一个光源,可使用两个光源,或者可使用多个光源的阵列。光源202、203可发射相同波长的光或者可发射不同波长(例如,不同色彩)的光。此外,可发射除可见光以外的其它波长。
光电传感器或检测器像素204和205可检测从光源202、203发射的光。光电传感器的类型的实例是CMOS传感器、光电晶体管和光电二极管。根据一些实施例,还可使用基于薄膜晶体管的传感器。
尽管将光源202、203和光电传感器204、205描绘为不同的元件,但在一些实施例中,可使用相同类型的元件来发射光和检测所发射的光。举例来说,可使用LED、OLED或另一种合适的显示驱动器技术来使光源202、203本身反向偏置以用作检测器像素。可使光源202、203个别地偏置以充当检测器像素,或可共同反向偏偏置,例如充当检测器像素行或列。此外,所有光源202、203均可在反向偏置状态下可寻址,或者较小的子集可在反向偏置状态下可寻址,以最小化所包含的额外路由电路的量,在这种情况下,显示器200可包含指纹感测的特殊区域,所述区域与可设置为反向偏置检测器状态的那些光源202、203相对应。另外,尽管检测器像素204、205被示出为与光源202、203在同一衬底206上,但检测器像素204、205可以其它方式布置在装置内,例如,在与光源202、203不同的平面上。
盖层208可包含盖透镜、玻璃盖或盖板,其保护显示器200的内组件,例如光源202、203和检测器像素204、205。盖层208可由例如化学加强玻璃、结晶材料(例如合成蓝宝石)、透明聚合材料等任何合适材料制成。盖层208还可包含与例如电容性触摸屏功能性等显示和/或触摸屏功能性相关联的一或多个额外层。盖层208可为透明的,从而允许来自光源202、203和本机显示元件(例如本机OLED发射器)的光发射到显示器200之外并被观察到。盖层208的顶部表面形成感测表面或输入表面212,其为输入物体210提供接触面积。
输入物体210是要成像的物体,且可包含例如指纹等生物计量物体。输入物体210可具有各种特性,举例来说,脊214和谷216。归因于其突出性质,脊214接触盖层208的感测表面212。相比之下,谷216通常不接触感测表面212,而是形成输入物体210与感测表面212之间的间隙218。输入物体210可具有其它特性221,例如水分、污渍或油墨,这不会造成输入物体210的部分的重要结构差异,但可能影响其光学特性。
光源202、203在盖层208内发射光束,且所发射的光以各种角度入射在盖层208的感测表面212上。取决于角度,一些所发射的光被反射并且一些所发射的光被折射。然而,对于在感测表面212上不存在指纹脊的情况,以超过临界角θc的角度到达感测表面212的光束经历全内反射,即,来自所发射光束的超过临界角的所有光在感测表面212处被反射。
如将了解,由于感测表面212上方的媒介可变化,因此沿着感测表面212的各个点处的临界角也可变化。举例来说,输入物体210的脊214和在输入物体210的谷216内形成的间隙218可具有不同的折射率。因此,相比于由间隙218和感测表面212形成的边界,不同临界角可存在于感测表面212与脊214之间的边界处。图2中说明性地示出了这些差异。线220表示针对间隙218和感测表面212边界以临界角(θcv)从光源202发射的光束,且线222表示对应的反射束。线224表示针对脊214和感测表面212边界以临界角(θcr)发射的光束,且线226表示对应的反射束。相对于光源202,区228描绘了衬底206上的区域,所述区域由以临界角θcv和θcr发射的光束产生的反射光界定,或者换句话说,由反射束222和226界定。
根据一些实施例,当光源202被照亮时,落入区228内的检测器像素204用于检测反射到输入物体210的图像部分的光。相对于脊和谷的检测,区228是相对较高对比度的区域。由于从与谷216(例如,空气)接触的感测表面212反射的光经历全内反射,而从与输入物体210(例如,皮肤)接触的感测表面212反射的光未经历全内反射,所以出现相对较高的对比度。因此,从光源202发射的光束在感测表面处的入射角落在θcv与θcr之间,所述光束被反射并到达落入区228内的检测器像素204。
根据本公开的另一方面,落入区230(相对于光源202)内的检测器像素205也可用于对输入物体210进行成像。明确地说,从光源202发射的光束变为以小于脊的临界角(θcr)和谷的临界角(θcv)两者的角度入射在感测表面212上,这导致反射的光束落在区230内。归因于散射,来自脊214和谷216的落在区230内的反射束的对比度可小于落在高对比度区228内的反射束的对比度。然而,取决于例如检测器像素204、205的灵敏性等因素以及分辨率要求,区230可仍适合于感测输入物体210上的脊214和谷216。此外,区230可适合于检测输入物体210中的非-结构光学变化,例如水分或污渍或油墨221。
将了解,由于反射的角度,在区228中检测到的反射光束可提供输入物体210的局部图像的放大视图。放大的量至少部分地取决于光源202与感测表面212之间的距离,以及检测器204与感测表面212之间的距离。在一些实施方案中,这些距离可相对于这些表面或平面的法线(例如相对于感测表面的法线或相对于含有光源或检测器的平面)来定义。举例来说,如果光源202和检测器像素204是共面的,那么光源202与感测表面212之间的距离可等效于检测器204与感测表面212之间的距离。在此情况下,基于来自感测表面212的到达区228中的检测器像素204的单次内部反射,输入物体210的图像或局部图像可经历两倍放大(2X)。
因感测表面212处的脊214和间隙218而产生临界角θcr和θcv至少部分地取决于与形成于感测表面212处的边界接触的媒介的特性,其可受输入物体210的条件影响。举例来说,干手指与感测表面212接触可导致跨感测表面212的皮肤到空气变化,其分别对应于指纹脊和谷。然而,湿手指与感测表面212接触可能导致跨感测表面212的皮肤到水或其它液体的变化。因此,湿手指的临界角可能与同一根手指在干燥条件下形成的临界角不同。
因此,根据本公开,在检测器像素204、205处接收到的光的强度可用于确定相对临界角和/或物体是湿的还是干的,且执行例如以不同方式处理图像、向用户提供反馈等缓解动作,和/或调整用于捕获输入物体的图像的检测器像素或传感器操作。可生成通知以提示纠正不期望的输入物体条件。举例来说,如果检测到湿手指,那么可显示消息或可点亮指示灯,来提示用户在成像之前将手指擦干。
图3示出根据一些实施例的传感器的实例的平面图,其中各种显示元件或像素(圆形)和检测器像素(正方形)位于同一平面或平行平面上,并且其中感测表面位于平行于检测器像素平面和显示像素平面的平面内。在实例中,照亮对应于显示像素302的光源以对输入物体210(图2)的一部分进行成像。同心圆304和306示出了高对比度区308的边界,如上所述,所述边界至少部分取决于例如显示器的尺寸以及临界角θcr和θcv等因素。
在某些实施例中,当对应于显示像素302的光源被照亮时,落在高对比度区308内的检测器像素,例如检测器像素310和312,可用于检测来自显示像素302的反射光以对输入物体的一部分进行成像。在其它实施例中,或结合来自区308的数据的集合,可使用检测器像素,例如落在区318内的检测器像素314。
图3中还示出对应于第二显示像素320的第二光源。同心圆322和324说明第二高对比度区326的边界,所述第二高对比度区对应于显示像素320。区326内的检测器像素,例如检测器像素328和330,可用于收集对应于将成像的物体的数据。在其它实施例中,或者结合来自区326的数据的集合,可使用检测器像素,例如落在区336内的检测器像素332。在一些实施方案中,读出整个检测器阵列,并且滤除或丢弃落在所关注区之外的图像的部分。在其它实施方案中,根据当前在作用中的光源,选择性地读出或扫描检测器阵列,以仅从所关注区捕获图像数据。
在图3的实例中,高对比度区308和高对比度区326不重叠。然而,将理解,区308和326可重叠。在重叠高对比度区的情况下,如下文结合图4A-4B所论述,光源302和320可在不同的时间被照亮。替代地,可做出规定来区分从光源302发射的光与从光源320发射的光,在这种情况下,可同时照亮光源302和320,同时在它们各自的高对比度区内收集数据。当显示像素302和320作为物体成像的一部分同时被照亮时,图3提供使用空间图案的物体成像的实例。
应理解,图3仅示出了两个光源的点亮,且每一光源包含对应的检测区,在所述检测区内收集输入物体的局部图像的数据。在操作中,可点亮任何数目的光源,以捕获足够的局部图像来组成较大图像,或物体的完整图像。在一些实施方案中,一个光源可足够。还将理解,各种显示元件或像素可独立地用于同时显示视觉信息,同时被选光源(其可以是显示器的一部分或与显示器分离)被照明以用于物体成像。举例来说,可使用比来自显示图像的周围显示光的光明显更亮的光源,从而允许光学传感器信号足够强以能够与由显示器引起的嘈杂背景区分开。替代地,可在感测期间,在围绕当前作用中传感器光源的区中局部关闭显示像素或使显示像素变暗。
图4A-4B示出一系列平面图,其示出了根据一些实施例的使用时间模式的物体成像的实例。在图4A中,将显示像素用作光源。当光源402被照亮时,同心圆404和406识别高对比度区408的边界。在这种配置中,高对比度区408内的检测器像素,例如检测器像素410和412,可用于从要成像的输入物体210收集对应于脊和谷或其它表面特征的数据。替代地,或结合上文,可使用区411内的检测器像素,所述区在边界404的径向内侧。在一些实施方案中,可使用在区406外部的其它检测器像素。
图4B表示与图4A相同的但是在不同时间的一组显示像素和检测器像素。光源414被照亮。将注意,识别对应的高对比度区420的边界的同心圆416和418已经相对于图4A的高对比度区408移动。因此,落在高对比度区中的检测器像素的子集已经改变,尽管一些像素可能落在高对比度区域408和420两者中,例如检测器像素412。
在图4A和4B的实例中,高对比度区408和420重叠。然而,光源402和414的照亮在时间上间隔开。举例来说,照亮或激活光源402。在从区408内收集数据之后,关闭或去激活光源402。接着照明或激活光源414,且从区420内收集数据。在从区420内收集数据之后,断开光源414。此过程继续使用与所需一样多的显示像素且以任何序列使用,以捕获足够的局部图像,以按需要形成输入物体的较大或完整的图像或表示。如前所述,本公开还设想了具有不重叠的高对比度区域的多个显示像素的同时照明以及具有重叠高对比度区域的多个显示像素的同时照明,例如,假设可以解析或确定从不同照明像素接收的反射光。
图5示出叠加到高对比度区504上的物体的局部图像的平面图,所述图像在显示像素506的照明期间成像。同心圆508和510示出了高对比度区504的边界。部分512对应于输入物体的脊。高对比度区504内的其它区域对应于输入物体的谷518。如前所述,归因于显示像素506所发射的光经历的反射角度,与物体上的实际脊和谷相比,在高对比度区504中检测到的脊和谷可以被放大。放大量可取决于显示器的几何形状,包含显示像素、检测器像素和感测区之间的距离。此外,与距离显示像素506更近的检测器像素(例如,检测器像素516)相比,离所述显示像素5更远的检测器像素(例如,检测器像素514)可接收较低强度的反射光,因为光的强度相对于光在各个显示层中行进的距离而减小。
在一些应用中,将来自在个别显示像素的经图案化照明(例如,显示像素的循序或同时照明)期间获得的各种局部图像的图像数据组合成输入物体的合成图像数据。可基于图案中的照明源之间的已知空间关系来使局部图像数据对准。作为实例,通过将局部图像拼接在一起以形成较大图像,或者通过生成根据各个局部图像的相对对准来使来自各个局部图像的图像数据相关的地图,可组合局部图像数据。在这种拼接在一起或映射之前,图像的缩小可能是有用的。另外,将加权函数应用于图像数据以考虑在距显示像素不同距离的检测器像素处接收到的光的不同强度可能是有用的。在一些应用中,如果使用区508内的像素,那么可解卷积来自各个局部图像的所得数据以重构较大图像。替代地,此区内部的数据可传达用于某些应用的足够信息,从而不使用解卷积。2018年6月12日申请且标题为“使用基于点的照明来进行光学感测的系统和方法(Systems And Methods For OpticalSensing Using Point-Based Illumination)”的第16/006,639号美国专利申请案,其特此以引用的方式并入本文中,所述美国专利申请案论述图像拼接和图像构造,例如在图22A、22B、22C、26和27以及其相关描述处。
图6示出根据本公开的在使用显示器对物体进行成像期间提供反馈的方式。此类反馈可例如用于在注册和/或认证过程中的指纹图像的获取期间向用户提供反馈。
如所示出,装置600包含作用中显示区域604。作用中显示区域604可包含如所示出的装置600的表面的一部分,或其可包含整个装置表面或装置表面的多个部分。并且,感测表面或输入表面可包含作用中显示区域604的一部分,或感测表面可包含整个作用中显示区域604或作用中显示区域604的多个部分。将物体606,例如手指放置在作用中显示区域604之上(例如接近或接触)。根据图案来点亮物体606下面的一或多个光源(未图示),以根据本文的描述来对物体606的部分或全部进行成像。在物体606的成像期间或之后,可点亮物体606处或周围附近的显示像素或其它光源,以提供视觉上可感知的边框608。显示的边框608可在外观上改变以表示状态。举例来说,当物体606被成像时和/或在认证周期期间,边框可以是第一色彩(例如,黄色)。一旦成像和认证完成,如果认证成功,那么色彩可改变为第二色彩(例如,绿色),如果认证失败,那么色彩可改变为第三色彩(例如,红色)。将理解,色彩的变化提供了如何更改边框608来向用户发信号通知状态的一个实例。也可采用边框外观的其它变化,例如从虚线到实线的变化,或者边框形状的整体变化。
图7示出获得、处理输入物体(例如指纹)的图像和执行输入物体(例如指纹)的图像的匹配的示范性方法700。作为实例,匹配可用于生物计量认证或生物计量识别。将了解,步骤和步骤顺序仅作为实例。在不脱离本公开的情况下,可消除步骤或修改顺序。
在步骤702,检测接近或接触显示器的感测表面的输入物体的存在。此类检测可例如由于检测到在显示器中的检测器像素处接收到的光的强度变化而发生。替代地,例如可使用触摸屏经由电容性感测或其它常规技术来检测输入物体的存在。
在步骤704,确定要成像的输入物体的水分含量。可例如通过点亮显示像素以确定高对比度区域的内边界来确定水分含量。通过将确定的高对比度的内边界与干燥物体的预期边界进行比较,可估计相对水分含量。水分含量可用于各种目的。举例来说,检测到的水分含量可用作预期图像质量的度量。检测到的水分含量还可用于建立高对比度的边界,且因此,用来确定在作为成像过程的一部分点亮给定光源时,哪些检测器像素将用于收集数据。检测到的水分含量也可用于通知用户无法获得合适的图像。接着可指示用户擦干物体(例如,手指),并开始另一次成像尝试。
在步骤706,点亮一或多个光源(例如,显示像素、单独的LED等)以对输入物体进行成像。要点亮的光源和点亮顺序取决于所使用的点亮模式。如果使用空间模式,那么同时点亮多个空间上分离的光源。如果使用时间模式,那么在不同的时间点亮不同的光源或共同作为点源工作的不同光源簇。如先前所描述,用于成像的模式可包含时间和空间模式的组合。举例来说,在对应的高对比度区域不重叠的情况下,可首先点亮第一组显示像素。然后可接着点亮第二组不同的显示像素,它们同样提供不相交的高对比度区,依此类推。举例来说,可通过电容性传感器或触摸屏检测到的触摸位置来引导所点亮的显示像素和点亮顺序。
进一步预期即使多个显示像素提供重叠的高对比度区域,也可点亮所述多个显示像素。在此类布置中,显示像素发射不同波长(例如,色彩)的光,可单独检测所述不同波长以解析物体的不同局部图像。替代地,可使用例如码分多路复用(CDM)等技术来发射光。在此类布置中,可对所收集的数据进行解卷积以解析指纹的不同子部分。如果可检测和区分从不同显示像素发射的光,那么可使用其它方法来区分从不同显示像素发射的光。
在步骤708,从适当的检测器像素获得图像数据。举例来说,适当的检测器像素将是所点亮的显示像素在对应的高对比度区中的检测器像素。然而,如先前所描述,可使用高对比度区内部的区。此外,在一些实施方案中,读出或扫描整个检测器阵列,且接着可通过图像处理来滤除不需要的像素区。
在步骤710,作出点亮图案是否完整的确定。当收集到将组成物体的整个所需图像的所有局部图像的数据时,图案是完整的。如果图案不完整,那么过程返回到步骤706。在步骤706,点亮下一个光源或下一组光源。
在步骤712,各个局部图像的所收集数据经历处理。作为实例,所述处理可包含缩小图像数据和/或归一化图像数据或向图像数据施加加权因子以考虑在进一步远离光源的检测器像素处检测到的光的不同强度。所述处理可进一步包含:将各个局部图像的数据组合成完整图像,或者创建使局部图像彼此相关的模板,但所述局部图像是保持分离的。可根据图案中的像素之间的已知几何关系来组合来自各个局部图像的图像数据。还可基于其它参数(例如盖层的厚度)来组合图像数据,所述参数提供有关从点亮和检测器像素到感测表面的光束路径的额外信息,以解析局部图像之间的物理变换。盖层的厚度可以是预先定义的,或者可基于高对比度区的内边界的位置在图像捕获时计算。举例来说,对于较薄或较厚的盖层,内边界的位置可分别较靠近或较远离被点亮的显示像素。
在步骤714,可将图像数据与物体的先前存储的图像进行比较。举例来说,可将在认证尝试期间拍摄的指纹图像与先前存储的指纹注册视图进行比较。如果检测到匹配,那么对用户进行认证。如果未检测到匹配,那么可拒绝认证。作为另一实例,可将在控制输入期间拍摄的指纹图像与先前存储的指纹注册视图进行比较,以识别哪个手指提供了输入。如果检测到与特定手指的匹配,那么可接着基于所识别的手指来起始手指特定的显示响应或其它装置操作。
如结合图6所描述,在结合图7描述的过程期间,用户可具备反馈。举例来说,在成像期间和/或在认证过程正在进行中时,可提供用户的手指周围的彩色边框。一旦那些过程完成,边框的颜色就会改变,以表示成像完成和认证结果。举例来说,绿色边框表示认证成功,而红色边框表示认证失败。
在图像处理之后,可存储所收集到的物体的数据以供以后使用,例如,存储在存储器108或模板存储装置110中。
图8描绘根据一些光学系统实施例的光学系统800的示意图。光学系统800经配置以对一或多个物体810进行光学检测,且包含一或多个光源802、一或多个感测区812和一或多个光检测器(或“光学检测器”)805。当操作时,光源802朝感测区812发射所发射的光820,且当物体810安置于感测区812中时,所发射的光820与物体810交互。光检测器805检测从感测区812返回的返回光822,并将返回光822转换成光学数据830。
感测区812包含一或多个空间或区域,其中光学系统800能够检测物体810,并捕获光学系统800感兴趣的与物体810相关联的足够信息。感测区812光学耦合到光源802和光检测器805两者,从而为所发射的光820提供一或多个照明光学路径,以从光源802到达感测区812,且为返回光822提供一或多个返回光学路径,以从感测区812到达光检测器805。照明光学路径和检测光学路径可物理上分开,或可完全或部分地重叠。在光学系统800的一些实施方案中,感测区812包含光源802以及用于深度成像或接近性感测的光检测器805的合适深度或范围内的三维空间。在一些实施方案中,感测区812包含具有用于接收物体810的接触的二维区域的感测表面(例如传感器压板),以用于接触成像或触摸感测。在一些实施方案中,感测区812可包含在一或多个方向上延伸的空间或区域,直到光学系统800的信噪比(SNR)或物理约束阻止足够准确地检测物体810为止。
光源802包含一或多个发光体(例如一或多个发光装置或材料),其经配置以照明感测区812来进行物体检测。在光学系统800的一些实施方案中,光源802包含一或多个发光二极管(LED)、激光器或其它电致发光装置,其可包含有机或无机材料,且其可以电子方式控制或操作。在一些实施方案中,光源802包含多个光源,所述光源可以规则阵列或不规则图案布置,并且可物理地定位在一起或在空间上隔离在两个或更多个分开的位置。光源802可发出窄带、宽带或多个不同的带中的光,所述光可具有可见光谱或不可见光谱中的一或多个波长,并且光源802可发出偏振光或非偏振光。在一些实施方案中,光源802包含一或多个专用发光体,其仅用于照亮感测区812以用于物体检测。在一些实施方案中,光源802包含与电子系统的一或多个其它功能相关联的一或多个发光体,例如用于向用户显示视觉信息或图像的发射体或显示元件。
光检测器805包含一或多个光敏装置或材料,其经配置以检测来自感测区812的光来进行物体检测。在800的一些实施方案中,光检测器805包含一或多个光电二极管(PD)、电荷耦合装置(CCD)、光电晶体管、光敏电阻或其它光电传感器,其可包含有机或无机材料并且可以电子方式测量或操作。在一些实施方案中,光检测器805包含多个光敏组件,所述光敏组件可以规则阵列或不规则图案布置,并且可物理地定位在一起或在空间上隔离在两个或更多个分开的位置。在一些实施方案中,光检测器802包含一或多个图像传感器,其可使用互补型金属氧化物半导体(CMOS)、薄膜晶体管(TFT)或电荷耦合装置(CCD)工艺来形成。光检测器805可检测窄带、宽带或多个不同频带中的光,所述光可具有可见或不可见光谱中的一或多个波长。光检测器805可对由光源802发出的所有或一部分光带敏感。
物体810包含一或多个有生命或无生命的物体,这些物体提供光学系统800感兴趣的信息。在光学系统800的一些实施方案中,物体810包含一或多个人、手指、眼睛、脸部、手或触笔。当物体810位于感测区812中时,所有或一部分所发射的光820与物体810交互,并且所有或一部分所发射的光820作为返回光822返回到光检测器805。返回光822含有对应于所发射的光820与物体810的交互的效应。在光学系统800的一些实施方案中,当所发射的光820与物体810交互时,其被物体810反射、折射、吸收或散射。另外,在一些实施方案中,光检测器805检测含有被物体810或感测区812的一或多个表面反射、折射或散射的光的返回光822,且返回光822指示对应于810对光的反射、折射、吸收或散射的效应。在一些实施方案中,光检测器805还检测其它光,例如周围光、环境光或背景噪声。
光检测器805将检测到的光的全部或一部分转换成含有关于物体810的信息的光学数据830,且所述光学数据对应于所发出的光820与物体810的交互的效应。在一些实施方案中,光学数据830包含一或多个图像、图像数据、光谱响应数据、生物计量数据或位置数据。可将光学数据830提供给一或多个处理组件,用于进一步的下游处理或存储。
光学系统800的组件可包含在同一物理组合件中,或者可在物理上分离。举例来说,在光学系统800的一些实施方案中,光源802和光检测器805或其子组件包含于同一半导体封装或同一装置壳体中。在一些实施方案中,光源802和光检测器805或其子部件包含于两个或更多个分开的封装或装置壳体中。光学系统800的一些组件可或可不包含为光学系统800的任何物理或结构组合件的一部分。举例来说,在一些实施方案中,感测区812包含结合光学系统800的物理组合件包含的结构感测表面。在一些实施方案中,感测区812包含在其操作期间与光学系统800相关联的环境空间,其可由光学系统800的设计或配置决定,且针对光学系统800的操作的不同情形包含不同空间。在一些实施方案中,物体810在光学系统800的操作期间由一或多个用户或环境提供,所述用户或环境针对光学系统800的操作的不同情形可包含不同用户或环境。
光学系统800可包含为简单起见未示出的一或多个额外组件。举例来说,在光学系统800的一些实施方案中,光学系统800包含一或多个额外的光学器件或光学组件(未示出),其被包含以作用于光学系统800中的光。光学系统800可包含一或多个光导、透镜、反射镜、折射表面、衍射元件、滤光片,偏振器、光谱滤光片、准直仪、针孔或光吸收层,它们可包含在照明光路或返回光路中,并且可视需要用于修改或引导光来检测物体810。
图9描绘根据某些显示装置或感测系统实施例的显示器900的示意图。显示器900包含显示衬底906(其可包含一或多个材料层)、显示像素电路910和盖层或盖908。
显示器900是用于将图像、视频或文本呈现给一或多个观看者或用户的电子视觉显示装置。显示器900包含显示像素电路910(例如一或多个电极、导电线、晶体管等),其完全或部分地安置在显示衬底906之上,用于操作显示器900中的一或多个显示元件或显示像素。显示像素电路910可安置在显示衬底906之上,在显示衬底906的表面正上方,或在安置于显示衬底906上的一或多个介入层上。盖908包含安置在显示衬底906之上和安置在显示像素电路910之上的一或多个层(例如一或多个钝化层、平坦化层、保护盖板等)。在显示器900的一些实施例中,显示器900形成平坦、弯曲、透明、半透明或不透明的显示面板。在一些实施方案中,显示器900包含布置成显示器堆叠的多个层。显示器堆叠可包含构成显示面板的所有层或显示面板中堆叠的层的任何多个子集。
显示器900可利用合适的技术来显示二维或三维视觉信息,例如有机发光二极管(OLED)技术、微型LED技术、液晶显示器(LCD)技术、等离子技术、电致发光显示器(ELD)技术等。在显示器900的一些实施例中,显示像素电路910包含有源矩阵或无源矩阵底板。在一些实施例中,显示器900是发光或或非发光显示器。在显示器900的一些发光实施例中,显示像素电路910控制或操作多个发光显示像素(例如子像素R、G、B)的像素值,且所述显示像素是顶部发射或底部发射的。在显示器900的一些非发光实施例中,显示像素电路910控制或操作多个透射或反射显示像素的像素值。在一些实施例中,显示器900呈现或显示可从可在盖侧上方衬底下方的显示器的一或多个侧查看的可见图像。
参看图9、l0A和l0B,某些实施例使用点源照明(或近似点源照明)为光学传感器,例如光学指纹传感器提供照明源。在某些实施例中,显示装置可包含接合在显示衬底906、1006背部的光源,例如包含一或多个LED 902、1002,或接合到单独衬底(即,接合/粘附到衬底906、1006)的一或多个LED。在一些实施例中,这些技术可实施于OLED(具有透明衬底)或LCD显示器中。
基于点源照明(例如使用光源902、1002)的显示器中光学指纹传感器实施例提供了与基于准直仪的光学指纹传感器(FPS)相比更高的信噪比(SNR),因为不需要使用准直滤光片(准直仪),并且可使用强度明显高于显示器的明亮辅助光源(例如光源902、1002)来直接照亮手指(例如,通过显示器的透射率可以是5-10%,而纵横比为1/10的准直仪具有0.5%的透射率)。此外,基于准直仪的光学FPS难以在除OLED显示器之外的显示器中实施,而基于点源的显示器内光学FPS可在例如LCD显示器的其它显示器上实施。
在参考图9、10A和10B示出和描述的实施例中,包含光电检测器905、1005(“PD”)的阵列的检测器集成在显示器中,且使用一个或若干个点源来照明物体,例如手指。来自点源的光从手指/盖玻片界面或手指输入表面反射回去,并且所述界面的放大图像(在点源周围被放大的极性)捕获在光电检测器阵列上。
如所示出,一个或若干个LED 1002可接合到显示衬底1006的背部,如图10B所示。替代地,一或多个LED 1002可接合到单独的衬底,所述衬底可例如使用光学透明的粘合剂(OCA)接合到显示衬底1006的背部,如图10A所示。
举例来说,对于放置在背板之下的LED,照亮感测区(例如感测区中的手指)的光可被TFT、金属线、OLED像素元件、黑色掩模(在LCD的情况下)等阻断。因此,举例来说,如果使用小LED来照明手指,那么手指的若干部分可能未被照明,这可阻止从被遮蔽位置捕获有用的图像。另一方面,较大的LED可能会导致模糊效应,因为光会从不同角度到达传感器。这已在图10A和10B中示意性地示出。在一个实施例中,选择所允许的最大LED大小或最大LED群集大小。举例来说,可将分辨率乘以放大因子来对最大LED大小进行粗略估计。所述放大因子可取决于光源、传感器和盖层界面或感测/输入表面之间的距离。特此以引用的方式并入本文中的在2018年6月12日申请且标题为“使用基于点的照明来进行光学感测的系统和方法(Systems And Methods For Optical Sensing Using Point-Based Illumination)”的第16/006,639号美国专利申请案论述了与确定放大因子的参数以及关于本文(例如在图2、12A、12B以及其相关描述处)的各种实施例的其它有用特征。有关的各种问题,
个别LED或LED的每一群集之间的距离可取决于组成检测器的光电检测器(例如光电传感器,例如光电二极管)的灵敏性和动态范围,以及源的输出电力和显示器和源相对于盖层界面的位置。检测器上的有用区域通常由源的强度以及检测器中的动态范围和噪声确定,因为到达检测器的光的强度与半径的平方成反比关系。对于固定的光强度,传感器的噪声可确定最大成像半径。这可形成手指上的有用成像区域,所述区域由检测器上的有用图像区域除以放大因子得出。对于有用图像的固定半径,如果需要手指的连续图像,那么光源可具有近距离,因此使用每个源拍摄的手指图像会重叠或会合。
在某些指纹感测装置实施例中,可使用一或多个单独LED作为照明手指的光源,且可使用检测器(例如显示器中的光电二极管)来测量反射光。通常,将光电二极管放置在显示器的不含电路和/或显示元件的区域内。可测量所述反射光,并用来确定指纹。然而,因为用尽可能多的光来照明手指以提供指纹的较准确读取是重要的,因此需要允许较多的光穿过显示器结构(例如从显示器下方或显示器内)且到手指上,以反射回到显示器中或显示器下方的检测器元件。
在显示器集成的指纹传感装置中,例如,光电二极管通常均匀地放置在显示区域内。当光电二极管放置在光源(例如LED)上方的层上时,所述光电二极管中的一些可能阻挡光源发出的光,从而减少可照明手指的光的量。
在某些实施例中,改为用所述空间中的开口(或孔)来代替或取代这些光电二极管中的一或多者,使得提供给手指用于指纹传感器的光的量可增加。举例来说,提供给指纹感测区的光的量可加倍或进一步增加。并且,因为光的较大部分由少量的所界定孔或光圈区发出,所以可将光的较大部分提供给一或多个明确界定的位置。另外,在某些实施例中,其中光电二极管安置于均匀阵列中,开口还可以均匀方式设置,从而为了美学目的而维持均匀的显示。
图11示出根据一实施例的光学系统1100的平面视图,所述光学系统包含安置于显示器内的光圈区1111以促进光递送到光学系统的感测表面1112中的感测区。提供未图示的显示像素电路来响应于显示驱动器信号而驱动显示元件,且接收来自由光电检测器1105中的一或多者组成的检测器的信号。在一实施例中,光圈区包含不含显示像素电路(例如导电迹线或其它电子组件)以及不含显示元件(例如像素或子像素元件和光电检测器)的衬底层或其它层中的区。在图11中所示的实例中,光圈区1111位于原本将包含光电检测器1105的位置。至少一个光源元件1102位于显示衬底之下,且在光圈区1111的近侧,以使来自至少一个光源元件的光能够更高效地(即,来自光圈区中的材料或元件的干扰较少或无干扰)照亮上方的感测表面1112中的感测区。图11示出包含单个光圈区1111的实施例,然而,将理解,多个光圈区1111可安置于显示器中,以常规阵列或图案,或按需要以任何图案或布置。
图12示出根据实施例的包含安置于显示器内的光圈区1211的光学系统1200的俯视图。光学系统1200包含多个像素元件1201,各自由子像素元件组成,例如红(R)、绿(G)和蓝(B)发光元件。如所示出,像素元件1201包含取代光电检测器的光圈区(AR)1202,在所示出的常规像素阵列和光电检测器中,所述光电检测器原本将已位于所述位置。像素元件之间的区E指定显示器的可另外或替代地包含光圈区的区域,或所述区域可用以重新定位子像素元件,或重新布线导电线或迹线以确保光圈区1202不含干扰元件、线或组件。举例来说,在各种组件层的制造期间,可定义图案化或遮蔽,使得此类元件、线或组件避开表示为光圈区的指定区域。在其它实施例中,可以物理方式去除,例如蚀刻特征。
在某些实施例中,检测器包含安置于所述多个像素元件内的一或多个光电检测器(例如1105、1205)。在某些实施例中,检测器包含安置于安置子像素元件的同一层上、所述层内和/或所述层下方的一或多个光电检测器(例如1105、1205)。
在某些实施例中,在多于一个光圈区可并入于显示器中的情况下,光圈区的间距可介于约50μm与约10mm之间,取决于显示器分辨率和/或所要的应用。
对于并入有多个光圈区的阵列以及一或多个光源元件的底层阵列的装置实施例,使用整个显示器或整个显示器的单独区来对接近显示器的感测表面的物体进行成像。举例来说,可同时点亮所有光源,其中检测器可检测整个被照明区域的图像。替代地,可以某一顺序激活单独的光源元件,以捕获正成像的物体的各种子图像。特此以引用的方式并入本文中的在2018年6月12日申请且标题为“使用基于点的照明来进行光学感测的系统和方法(Systems And Methods For Optical Sensing Using Point-Based Illumination)”的第16/006,639的美国专利申请案论述关于本文的各种实施例的各种有用特征,包含(例如)当以某一顺序照明光源元件时捕获的各种图像的组合(拼接在一起)以产生较大图像,以及用于校正或调整手指的不同部分的个别图像的亮度的技术。
除非本文另外指示或明显与上下文相矛盾,否则在描述本发明的上下文中(尤其在以下权利要求书的上下文中)使用术语“一(a/an)”和“所述”以及类似指示物应理解为涵盖单数以及复数。除非本文另外指出或明显与上下文相矛盾,否则在一或多个条目的列表后使用的术语“至少一个”(例如“A和B中的至少一个”)应解释为表示一个选自所列条目的条目(A或B)或两个或更多个所列条目的任何组合(A和B)。除非另外指出,否则术语“包括(comprising)”、“具有(having)”、“包含(including)”和“含有(containing)”应被解释为开放式术语(即,意指“包含但不限于”)。除非在本文中另外指示,否则对本文中值范围的叙述仅意图充当个别提及属于该范围的每一单独值的速记方法,且每一单独值并入本示出书中,如同在本文中个别地叙述一般。
除非本文另外指出或与上下文另外明显矛盾,否则本文描述的所有方法都可以任何合适的顺序执行。除非另外主张,否则本文中所提供的任何和所有实例或例示性语言(例如,“如”)仅意图更好地阐明本发明并且不对本发明的范围造成限制。本示出书中的任何语言都不应理解为指示任何未要求保护的要素对于本发明的实践是必不可少的。
本文中描述本发明的某些实施例。在阅读前面的描述后,那些实施例的变化对于所属领域的技术人员而言可变得显而易见。本发明人期望熟练的技术人员在适当时采用这些变化形式,并且本发明人打算以与本文具体描述的方式不同的方式来实践本公开。因此,本发明包括适用法律所允许之随附申请专利范围中所引述的标的物的所有修改及等效物。此外,除非本文另有示出或另外明显与内容相矛盾,否则本发明涵盖上述要素以其所有可能的变化形式的任何组合。