CN111771157B - 与显示面板集成以进行tof 3d空间定位的设备 - Google Patents

与显示面板集成以进行tof 3d空间定位的设备 Download PDF

Info

Publication number
CN111771157B
CN111771157B CN201980000112.8A CN201980000112A CN111771157B CN 111771157 B CN111771157 B CN 111771157B CN 201980000112 A CN201980000112 A CN 201980000112A CN 111771157 B CN111771157 B CN 111771157B
Authority
CN
China
Prior art keywords
light
infrared light
display panel
pixels
substrate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980000112.8A
Other languages
English (en)
Other versions
CN111771157A (zh
Inventor
王鹏鹏
王海生
丁小梁
李扬冰
邓立凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN111771157A publication Critical patent/CN111771157A/zh
Application granted granted Critical
Publication of CN111771157B publication Critical patent/CN111771157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294—Variable focal length devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
    • H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/18—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different subgroups of the same main group of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/50—OLEDs integrated with light modulating elements, e.g. with electrochromic elements, photochromic elements or liquid crystal elements

Abstract

一种用于检测三维(3D)空间信息的显示设备。所述显示设备包括：显示面板，其具有位于显示区域的多个有源子像素，显示区域构造为具有分别位于至少一些有源子像素之间的多个间隙，显示面板包括前面的对置基板和后面的背板基板；光学层，其位于背板基板的背侧；多个光传感器，其离散地附接至光学层的背侧并且与显示区域中的多个间隙实质上对齐；以及，在所述背板基板上的光源，用于在朝向超出对置基板的视场的方向上提供红外光信号。多个光传感器构造为检测从位于视场中的对象的多个不同区域反射的各红外光信号，以共同地推断所述对象的3D空间信息。

Description

与显示面板集成以进行TOF 3D空间定位的设备
技术领域
本发明涉及显示技术，更具体地，涉及3D显示、场景深度检测、以及飞行时间(time-of-fly，TOF)空间定位和手势识别。
背景技术
诸如移动电话之类的移动装置的流行使得现代社会进入了普遍的屏幕阅读时代。许多传感器与显示屏幕装置集成。随着三维(3D)显示、机器视觉、以及遥感技术的发展，越来越多的技术应用需要与平板显示相关联地采集用于场景、对象识别以及3D空间定位的深度信息。
发明内容
在一方面，本发明提供了一种用于检测三维(3D)空间信息的显示设备，其包括：显示面板，其包括位于显示区域的多个有源子像素，所述显示区域构造为具有分别位于至少一些有源子像素之间的多个间隙，显示面板包括前面的对置基板和后面的背板基板；多个光传感器，其与显示区域中的所述多个间隙实质上对齐；在背板基板上的光源，用于在朝向超出对置基板的视场的方向上提供红外光信号；以及，光学层，其构造为将从所述视场中由红外光信号照亮的对象的多个不同区域反射的红外光信号集中至所述多个光传感器，所述多个光传感器离散地附接至光学层的背侧；其中，所述多个光传感器构造为检测从对象的所述多个不同区域反射的各红外光信号，以共同地推断对象的3D空间信息。
可选地，所述多个光传感器包括附接至光学层的背侧的对应的多个预制集成电路芯片。
可选地，对应一个光传感器包括一个或多个感光像素，其构造为将光信号转换为电信号，以基于从布置在视场的范围内的对象的对应的一个或多个区域反射的对应的一个或多个红外光信号来推断一条或多条飞行时间(TOF)信息。
可选地，具有单个感光像素的对应一个光传感器构造为检测从位于视场的第一范围内的对象的区别区域反射的对应一个红外光信号，所述区别区域和与具有单个感光像素的其他光传感器相对应的其他区域不重叠，所述对应一个光传感器构造为处理所述一条TOF信息以产生与对象的区别区域的深度信息相关联的单个像素的图像。
可选地，具有多个感光像素的对应一个光传感器构造为检测从位于视场的第二范围内的对象的对应一个区域反射的一个红外光信号，并且还部分地检测从与所述对应一个区域部分重叠的一些其他区域反射的更多的红外光信号，具有多个感光像素的所述对应一个光传感器构造为产生与对象的所述对应一个区域的深度信息相关联的一个或多个像素的图像。
可选地，所述多个预制集成电路芯片布置在所述显示面板的显示区域后方的多个实质上均匀分布的离散位置，并且与控制器电耦接，所述控制器用于将与各区域的深度信息相关联的全部图像块组合,从而计算对象的完整3D空间图像。
可选地，控制器包括预设算法，所述预设算法构造为在执行深度计算以推断对象的3D空间图像之前，在从由所述多个光传感器检测到的红外光信号直接转换而来的灰阶数据中移除阴影部分。
可选地，显示区域中的所述多个间隙提供从光源发射的红外光信号照亮视场中的对象的光学路径，和使得从对象部分反射的红外光信号到达光学层的光学路径。
可选地，光源包括红外发光二极管或垂直腔表面发射激光二极管，所述光源构造为发射被调制器以单频方波调制的波长为870nm或940nm的红外光。
可选地，所述设备包括一个或多个光源，所述一个或多个光源以表面安装或转移印刷方式布置在光学层的背侧，或者在显示区域的周边区域中布置在背板基板的前侧，其中，背板基板制作得略大于对置基板。
可选地，光学层包括位于背板基板的背侧的多个微透镜，至少一个或多个微透镜根据附接至光学层的背侧的对应一个光传感器而定位，从而将从对象反射通过显示区域中的所述多个间隙中的对应一个间隙的红外光信号耦合至对应一个光传感器。
可选地，光学层包括液晶透镜，液晶透镜包括液晶层和用于驱动液晶层的多个透镜电极；其中，独立地调节液晶层中的所述多个透镜电极，以允许经由红外光信号多角度照亮视场中的目标并且由所述多个光传感器检测多角度反射的红外光信号，从而实现目标的3D空间定位。
可选地，所述多个光传感器中的对应一个光传感器包括单个像素或多个像素，以感测多角度反射的红外光信号，所述红外光信号携带与目标的一部分相关联的一条或多条飞行时间(TOF)信息，产生单个像素或多个像素中的对应一个图像块。
可选地，所述多个光传感器还包括彼此耦接的对应的集成电路，所述对应的集成电路构造为组合全部图像块，以用于目标的3D空间定位。
可选地，液晶层中的所述多个透镜电极根据与显示区域中的所述多个间隙对齐的多个光传感器而独立地布置在不同位置，并且在不同时间被调整以将液晶层的邻近部分转变为具有不同角度和焦距的各等效透镜。
可选地，各等效透镜中的一些被控制以引导从所述光源发出的红外光信号从多个不同角度照亮布置在视场的深度范围中的目标。
可选地，各等效透镜中的一些被控制以将从布置在视场的深度范围中的目标部分地反射的红外光信号引导至多个角度方向，从而由所述多个光传感器中的对应一些光传感器检测到。
可选地，所述光源包括红外发光二极管或垂直腔表面发射激光二极管，所述至少一个光源构造为发射被调制器以单频方波调制的红外光束。
可选地，所述光源经由表面安装或转移印刷与显示区域中的所述多个间隙中的一些间隙至少部分对齐地布置在背板基板的背侧，其中背板基板制作得略大于对置基板。
可选地，所述光源经由表面安装或转移印刷方式在显示区域的周边区域中布置在背板基板的前侧，其中背板基板制作得略大于对置基板。
附图说明
以下附图仅为根据所公开的各种实施例的用于示意性目的的示例，而不旨在限制本发明的范围。
图1是基于具有像素内解调的大阵列光传感器的常规飞行时间(TOF)深度相机模块的示意图。
图2是根据本公开的一些实施例的与OLED显示面板集成以用于TOF手势识别的设备的示意性侧视图。
图3是示出根据本公开的实施例的空间定位的原理的示意图。
图4是示出根据本公开的另一实施例的空间定位的原理的示意图。
图5是根据本公开的一些实施例的将光传感器与OLED显示面板集成以用于TOF手势识别的设备的示意性俯视图。
图6是根据本公开的实施例的在AMOLED显示面板的显示区域中集成微透镜层和TOF光传感器以用于手势识别的设备的示意性侧视图。
图7是根据本公开的另一实施例的在AMOLED显示面板的显示区域中集成微透镜层和TOF光传感器以用于手势识别的设备的示意性侧视图。
图8是根据本公开的实施例的基于穿过OLED显示面板的红外光而由设备捕获的原始图像的示例性示意图。
图9是示出根据本公开的实施例的通过多角度空间定位目标-阻挡预防的原理的示意图。
图10是根据本公开的实施例的在AMOLED显示面板的显示区域中集成液晶透镜层和TOF光传感器以用于多角度空间定位的设备的示意性侧视图。
图11是根据本公开的替代实施例的在AMOLED显示面板的显示区域中集成液晶透镜层和TOF光传感器以用于多角度空间定位的设备的示意性侧视图。
具体实施方式
现在将参照以下实施例更具体地描述本公开。需注意，以下对一些实施例的描述仅针对示意和描述的目的而呈现于此。其不旨在是穷尽性的或者受限为所公开的确切形式。
传统上，可以通过利用基于硅的飞行时间(TOF)光传感器的3D深度相机来捕获场景深度信息，所述光传感器包含大阵列的感光集成电路。图1示出了操作用于捕获3D空间信息的常规TOF深度相机的示意图。在示例中，该相机作为包括光源、接收器阵列和电子设备的独立模块操作。光源发射红外光。该红外光由调制块调制为方波信号，并且经由发射器发出。光信号由照明光学件投射至视场内一定距离远处的目标，并且被目标的表面散射，并且被至少部分地从目标的特定区域反射回来。透镜被布置在接收器阵列前面，以收集反射的光信号。接收器阵列包括大阵列的基于硅的感光像素，其由构造为具有像素内解调的集成电路形成。由接收器阵列感测到的光信号被转换为电信号，所述电信号被传递至读出电子设备，并通过ADC电路转变为数字信号。随后，基于数字信号中携带的飞行时间信息，将数字信号用于计算目标的特定区域的对应深度信息。再一次地，该过程可以适时地持续完成，以使得可以推断动态场景的深度信息。
然而，3D深度相机的物理尺寸相当大，这是由于其使用了具有基于硅的大阵列像素电路的接收器阵列，该接收器阵列的大小为厘米数量级。当这种3D深度相机与显示设备集成时，它变得太大而不能设置在显示区域的中间。可替换地，如果试图通过将该3D深度相机设置在显示面板的背侧来解决上述问题，则接收器阵列的大尺寸，使得不可能设计具有允许接收器阵列正确地感测来自布置在显示面板前侧的对象的光的光路的显示面板。此外，大尺寸的基于硅的传感器阵列对于仅需要低分辨率成像的许多应用而言过于昂贵。
因此，本公开特别提供了一种与显示面板集成以检测三维(3D)空间信息、进行3D场景深度定位和手势识别的设备，其基本上消除了由于相关技术的限制和缺点所导致的问题中的一个或多个。在一方面，本公开提供了一种与OLED显示面板集成以进行TOF手势识别的设备。图2是根据本公开的一些实施例的与OLED显示面板集成以用于TOF手势识别的设备的示意性侧视图。参照图2，OLED显示面板布置为保护玻璃00面朝上，并且对象10(或示例中所示的手势)置于保护玻璃00上方一定距离。本公开提供一高度集成的用于实时地检测关于对象的相关3D空间信息的显示装备。
参照图2，所述设备包括有机发光二极管(OLED)显示面板，其在由有机有源层30形成的显示区域中包括多个有源子像素31，比如红色子像素、绿色子像素和蓝色子像素。可选地，每个有机的有源子像素包括有机发光二极管，其与有机有源层内构建的全部像素电路一起被驱动，从而发光。在有机有源层30上方，设置有彩膜玻璃基板20，其上形成多个红、绿、蓝的彩膜图案21，以在显示面板中实现彩色显示。在实施例中，主要由有机有源层30形成的显示区域构造为具有多个间隙35，其分别位于至少一些有源子像素之间。有机有源层30与一些其他组件(比如埋置在被标记为层40的层中的薄膜晶体管、电容器或者信号线)形成在背板玻璃基板50上。总之，OLED显示面板构造为在前面接合彩膜玻璃基板20并且在后面接合背板玻璃基板50。
此外，所述设备包括光学层60，其附接至背板玻璃基板50的背侧。光学层60包括嵌入的多个微透镜61。可选地，微透镜是嵌入该层中的微纳光学件(micro-nano optic)。特别地，微透镜设置在与多个间隙35对齐的区域处，在形成用于排列多个红、绿、蓝发光子像素和相关联的薄膜晶体管的有机有源层30期间，所述多个间隙35预先限定在显示区域中。此外，位于有源子像素之间的所述多个间隙35可以以这样的方式排列：使得它们彼此分开特定距离，该特定距离在整个显示面板上实质上均匀。例如，两个相邻间隙点位置可以相距几个或几十个像素。可选地，所述多个间隙35可以按照特定图案有规律地排列或者可以相当随机地分布但是不彼此紧邻。有源子像素之间的间隙35足够宽以允许光以最小偏斜或最小散射穿过而不被阻挡。
在实施例中，所述设备还包括附接至光学层60的背侧的多个感光芯片70。感光芯片70是集成电路(IC)芯片，其具有靠近光学层60中的一个或多个微透镜61布置的光传感器71。在特定实施例中，可以通过低成本的简单工艺预制感光芯片70，然后利用表面安装处理或转移印刷处理将其附接至光学层60的背侧。可以良好地控制该处理以使得对应一个光传感器71的附接位置位于与显示区域中的有源子像素之间的间隙35实质上对齐的预选位置。可以针对多个感光芯片70执行该处理以将其同时附接至光学层60的背侧的对应多个预先排列的离散位置。可选地，平均上(或均匀地)，两个相邻感光芯片70被设置为相距距离d。与所有的该多个感光芯片70相关联的各集成电路相互电耦接并且通过表面安装或转移印刷处理铺设。
图5示出了根据本公开的实施例的布置在显示面板的显示区域中的两个感光芯片的俯视图的示例。参照图5，显示区域的一部分示出为六列四行子像素。沿着每列子像素，顺序地以三个子像素(红色子像素R、绿色子像素G、蓝色子像素B)开始，并且间隙位于前三个子像素(或第一像素)中的最后的蓝色子像素B与后三个子像素(或下一像素)中的接着的红色子像素R之间。沿着间隙中的列方向，附接了两个感光芯片，其中之一位于行2的间隙中，另一个位于行4的间隙中，它们由至少一行子像素的距离分开。通常，感光芯片布置在显示面板的背侧，以使得仅部分区域在俯视图中可见。但是，每个感光芯片布置为使得以方形图案标记的光传感器实质上免于被任意相邻的子像素遮挡。因此，其中的光传感器是完全可进入的，以感测任意光信号，包括来自显示面板的前侧(或该图的上方)的、位于显示面板上方的目标的携带飞行时间(TOF)信息的那些反射光。可选地，一个或多个红外光源可以置于显示区域的边界部分处。这些红外光源构造为发射经调制(例如，被调制为方波信号)的红外光束。光传感器设置为检测来自布置在视场中(这里，布置在显示面板上方的范围中)的目标的任意反射红外光信号。在显示区域的角或边界处选择红外光源的位置，从而使得所发射的红外光照亮目标，而实质上不会被显示区域所设置的其他器件遮挡。替代性地，可以仍将红外光源置于显示面板的背侧，就像那些感光芯片一样，前提是正确地选择位置以仍与显示区域中的有源子像素之间的一些间隙对齐。
参照图5，可选地，光传感器是光电探测器，其由晶体管电路控制以将光信号转换为模拟电流信号，该模拟电流信号随后被发送至集成电路(IC)，在集成电路中，包括模数转换器、数字处理器和存储器装置的微控制器对从模拟电流信号转换而来的数字信号进行处理。
可选地，与感光芯片相关联的光传感器71构造为包括至多几十个感光像素的小阵列。这大大小于用于3D深度相机的传统的基于硅的图像传感器。减少每个传感器中的像素数量可以大大减小尺寸，以使得对应一个光传感器可以容易地安装在使进入的红外光信号免于任何遮挡的间隙中。在实施例中，光传感器71可以为单像素装置。当红外光束从目标反射回显示面板时，光束可以穿过显示区域的有源子像素之间的间隙到达光学层。在光学层中的微透镜与间隙至少部分地对齐的情况下，其可以将光束限制和集中至光传感器71。对于形成为单像素装置的光传感器而言，接收全强度的反射红外光信号应当不成问题。在至多几十个感光像素的小阵列(例如，8×8阵列)的情况下，光传感器71仍然可以制作得具有相对小的尺寸，以与间隙对齐，从而以相对小的功耗接收大部分的反射光信号。
图3是示出根据本公开的实施例的空间定位的原理的示意图。如所示的，每个传感器是单像素装置(1*1)，其布置在光学层的背侧处之“图像”平面上，与微透镜D相距距离h。每个传感器可选地耦接到物理尺寸为p的处理电路，该处理电路可以被布置成具有与相邻传感器的另一处理器相距平均间隔d。光源发射光束以照亮视场中的位于“对象”平面上的对象中的一区域y。“对象”平面距离“图像”平面的距离为L，并特别是位于显示面板正面外的一“范围“中。对于在视场的“范围”内布置的对象，从对象中的区域y反射的光束可以恰好穿过设定的间隙I并到达微透镜D，微透镜D将光束集中至传感器。虽然区域y的尺寸在对象靠近显示面板DP时将更小，但是该对象的所述区域y的至少一部分可以经由反射光而被传感器检测到。如果对象布置在范围以外，(由第一传感器检测到的)来自该区域的第一反射光可以与(由与第一传感器间隔开的第二传感器检测到的)来自靠近所述区域的另一区域的第二反射光部分地混合。同时，随着对象远离，所述区域被照亮的尺寸变得更大。反射第一反射光信号的区域可与靠近所述区域的反射第二反射光信号的另一区域部分地重叠。而对于单像素传感器而言，优选使用与对象的非重叠区域相关联的反射光信号、基于纯粹的飞行时间信息来生成与区别(distinct)区域相关联的对应的(1*1)像素图像。因此，图3所示的范围定义了用于第一(1*1)传感器的有限可感测范围。通常，利用单像素传感器的优点在于：与具有大阵列像素的传感器相比，可感测范围更靠近显示面板。可选地，具有单个像素的每个光传感器和相关联的集成电路构造为产生表征对象的一个区域的深度的(1*1)像素图像。与布置在显示面板的背板玻璃基板的光学层背侧的全部光传感器相关联的各集成电路耦接在一起，从而将这些(1*1)像素图像组合为表征实质上整个对象的深度的最终多像素图像。可选地，最终多像素图像中的像素越多，需要将更多的单像素光传感器布置至显示面板。
图4是示出根据本公开的另一实施例的空间定位的原理的示意图。参照图4，每个传感器包括小阵列的(n*n)感光像素，其也布置在光学层的背侧处之“图像”平面上，与微透镜D相距距离h。每个传感器可选地耦接到物理尺寸为p的处理电路，该处理电路可以被布置成具有与相邻传感器的另一处理器相距平均间隔d。对于布置在“对象”平面上的对象，距离“图像”平面的距离为L，并在显示面板之外一“距离”范围，从视场中的对象的区域y反射的光束可以恰好穿过设定的间隙I并到达微透镜D，微透镜D将光束集中至具有(n*n)感光像素的小阵列的第一传感器。该光束被小阵列的(n*n)感光像素完全地感测到。布置在视场中的对象的范围内，区域y的部分也将光束反射回另一微透镜，所述另一微透镜将光集中至与第一传感器分开的第二传感器(也具有(n*n)像素)。随着光传感器的尺寸变大，每个光传感器可以检测反射光束的对象的更大区域(例如，图4中的区域y)。在实施例中，图4所示的针对具有小阵列感光像素的光传感器的区域y大于图3所示的针对具有单感光像素的光传感器的区域y。在该实施例中，每个光传感器构造为基于由来自区域y的反射光束所携带的TOF信息来生成与区域y相关联的(n*n)像素图像，但是区域y的部分也会为由相邻光传感器生成的另一(n*n)像素图像贡献TOF信息。与布置在背板玻璃基板的光学层的背侧的全部光传感器相关联的各集成电路耦接在一起，从而将这些(n*n)图像块组合为表征视场中的对象的深度信息的完整图像。
图6是根据本公开的实施例的在AMOLED显示面板的显示区域中集成微透镜层和TOF光传感器以用于手势识别的设备的示意性侧视图。参照图6，有源矩阵有机发光二极管(AMOLED)显示面板构造为实质上与图2所描述的显示面板相同。透镜层62与附接至背板玻璃基板50的背侧的光学层60实质上相同。多个微透镜61布置在与一些间隙37实质上对齐的一些预选位置附近，所述一些间隙37构造在排列有多个子像素31的有机有源层30中。可选地，在整个显示面板上各间隙37彼此之间实质上均匀地以特定间隔分布，但是均匀分布不是必须的，并且无需高度精确。可选地，这些间隙37提供整个显示面板的显示区域中的各子像素之间的光学路径。
多个光传感器71分别布置在微透镜层62的背侧下方与至少一些间隙37实质上对齐的各位置处，从而允许光传感器通过光学路径接收进入的光信号，而不存在大量散射或阻挡。可选地，由所述多个光传感器71中的对应一个光传感器检测到的光信号是对象10的特定区域(特定多个区域)的携带TOF信息的反射红外光信号，对象10布置在AMOLED显示面板(的保护玻璃00)上方的视场的特定范围中。每个光传感器71包括一个或多个感光像素并且与感光集成电路相关联。可选地，每个感光集成电路是表面安装到微透镜层62的背侧上的预制感光芯片。全部这些感光芯片基于预定图案(均匀或非均匀图案)离散地分布，并且彼此电耦接，从而共同地形成用于检测视场中的对象的3D空间信息的虚拟3D深度相机。
首先，由光源80提供红外光信号以照亮对象10。可选地，光源80是以870nm至880nm、或940nm至950nm的红外波长工作的红外发光二极管。可选地，光源80是垂直腔表面发射激光二极管，其发射具有约940nmm的红外波长的激光。可选地，红外光被调制为单频方波。可选地，光源80也附接至微透镜层62的背侧。参照图6，光源80与有机有源子像素之间的间隙36实质上对齐地布置在显示区域内。该间隙36预先设置，以允许来自光源80的红外光信号可以一次性穿过AMOLED显示面板以到达保护玻璃00上方的视场中的对象10，并且大大减少功耗。
图7是根据本公开的另一实施例的在AMOLED显示面板的显示区域中集成微透镜层和TOF光传感器以用于手势识别的设备的示意性侧视图。参照图7，在AMOLED显示面板的显示区域中集成微透镜层和TOF光传感器以用于手势识别的该设备与图6所示设备实质上相同。在该实施例中，光源80布置在背板玻璃基板50的前侧靠近边缘区域，所述背板玻璃基板50制作得略大于彩膜玻璃基板20。于是，光源80构造为从实质上免于被其它装置元件遮挡的位置发射红外光信号，从而照亮AMOLED显示面板的保护玻璃00(其覆盖在彩膜玻璃基板20上)上方的视场中的目标对象。
图8是根据本公开的实施例的基于穿过OLED显示面板的红外光而由设备捕获的原始图像的示例性示意图。参照图8，灰阶的手(即，目标对象)的原始图像由布置在OLED显示面板的背侧处的前述图6或图7中的设备获取。虽然手90的轮廓相对清晰，但是手90周围仍存在一些模糊的阴影背景95。在实施例中，用于收集全部的原始数据(其从由与OLED显示面板集成的每个光传感器检测到的光信号转换而来)的控制器还构造为处理这些原始数据，以基于每个原始数据中携带的与目标对象的特定区域相关联的飞行时间(TOF)信息来推断深度信息。如果阴影背景强行包括在深度计算中，则对象的最终3D空间图像将会质量相对较差。在实施例中，控制器包括预设算法，其构造为将从由所述多个光传感器检测到的红外光信号直接转换而来的原始数据中的阴影部分移除。随后，控制器利用更新后的数据(其中移除了阴影背景)执行深度计算，从而获得对象的最终3D空间图像。当然，可以实施使用图像处理来处理从TOF光传感器获得的原始数据的许多变形、替代和修改。
在一些实施例中，提供了一种预设算法，其用于从由所述多个光传感器检测到的红外光信号直接转换而来的原始数据中移除阴影部分。在一些实施例中，所述算法包括：输入图像；通过利用滤波器对图像进行滤波来对图像进行去噪；使用随机森林分类模型来计算对应像素是手图像的像素的概率；执行形态学运算；执行概率图阈值分割运算；执行块分割；在执行块分割之后确定最大块部分；利用最大块部分作为掩膜来从图像提取原始深度图像；以及，基于提取步骤的结果输出手势。
在另一方面，本公开提供了一种用于多角度3D空间定位的设备，其具有多个小阵列光传感器，所述多个小阵列光传感器与独立可控微透镜对齐，所述微透镜离散地集成在整个显示面板的显示区域中。多角度3D空间定位提供了捕获被不期望物体部分地遮挡的目标的完整3D空间信息的解决方案。与使用布置在显示面板前侧的特殊分配位置处的大阵列单芯片光传感器的传统3D深度相机不同，无需牺牲本公开的显示面板的显示区域。将这些小阵列光传感器集成至显示面板可以通过使用表面安装或微转移印刷处理将多个预制的小阵列(或者甚至是单像素)光传感器附接至显示面板上来以低得多的成本来实施。此外，可控制微透镜可以通过形成液晶层来实现，所述液晶层包括与控制器电路电耦接的多个透镜电极，所述控制器提供对应的电压或电流信号来单独地控制所述多个微透镜电极中的每一个，从而有效地将附近部分的液晶层转变为具有各种角度和焦距的有效透镜。
图9是示出根据本公开的实施例的通过多角度空间定位的目标-阻挡预防的原理的示意图。参照图9，层400与显示面板500集成，所述层400包括多个微透镜410，其分别由多个透镜电极420控制。可选地，层400包括液晶层。可选地，层400包括形成在顶部的公共电极(未示出)和离散地分布在该层400的底部的所述多个透镜电极420。每个透镜电极由控制器所提供的电压信号或电流信号控制，并且单独地调整以提供局部液晶分子附近的电磁场的改变。电磁场驱动液晶分子，以根据透镜电极的设计以及液晶分子的电磁性质来整体地或局部地在移位、旋转或扭曲运动方面改变它们的物理特征取向或密度。液晶分子取向和密度的改变有效地改变层400的局部区域的光学特性，从而形成可以用于操纵穿过其的光束的有效透镜。
参照图9，与多个有效单独可控制微透镜集成的显示面板用于提供被不期望的物体200部分遮挡的目标对象100的多角度3D空间定位。可选地，该显示面板包括背板基板，所述背板基板具有在其显示区域下方离散地布置在其背侧的多个光传感器，如前述图2至图7中所示。可选地，该显示面板还包括一个或多个光源，其配置为提供红外光信号，所述红外光信号具有从背板基板朝向显示面板的顶盖的主要传播方向。在不期望物体200位于目标对象100前方的情况下，如果光源布置在正下方，则从光源发射的用于照亮对象100(目标)的红外光信号的标称路径会被阻挡。在实施例中，在所述一个或多个光源(未示出)中的至少一个布置为靠近背板基板的边缘区域的情况下，在该边缘区域附近的一个或多个有效的微透镜410(所示的左侧的微透镜)可以被独立地调整以对从对应一个光源发射的红外光信号301重定向，从而沿未被不期望物体200阻挡或者甚至被不期望物体200部分阻挡的不同角度的一个或多个路径照亮目标对象100。因此，在层400的一些其它相应区域处的一个或多个其它有效微透镜410可以被独立地控制以允许将一些反射的红外光信号偏向布置在其它相应区域附近的一些光传感器(未示出)。通过利用布置到显示面板的所述多个光传感器的仅一部分来收集这些反射光信号，即使在目标对象被标称检测方向上的不期望物体遮挡的情况下，也可以至少部分地推断目标对象的3D空间信息。
图10是根据本公开的实施例的在AMOLED显示面板的显示区域中集成液晶透镜层和TOF光传感器以用于多角度空间定位的设备的示意性侧视图。参照图10，所述设备包括作为AMOLED显示面板的一部分的背板玻璃基板1060。此外，所述设备包括薄膜晶体管层1050，其覆盖在背板玻璃基板1060的前侧上。此外，所述设备包括覆盖在薄膜晶体管层1050上的有机发光二极管层1040，从而形成AMOLED显示面板的阵列基板单元。有机发光二极管层包括在显示区域中排列的多个有源子像素，所述显示区域构造为具有分别位于至少一些有源子像素之间的多个间隙1206。在实施例中，有源子像素的详细特征并非是限制设备的功能的决定因素，但是有源子像素之间的间隙1206被排列为留出穿过与有机发光二极管层1040相关联的显示区域的一些光学路径。间隙1206的尺寸仅取决于子像素尺寸和像素单元面积以及用于像素电路和信号线的任何黑区域。在示例中，间隙1206的位置预先排列在AMOLED显示面板的整个背板玻璃基板1060的区域。可选地，间隙1206的位置在显示面板上实质上均匀地分布。可选地，间隙1206以特定图案排列在显示区域中。可选地，显示面板上的间隙1206的位置排列是不规律的。
在实施例中，所述设备还包括作为AMOLED显示面板的对置基板单元的一部分的彩膜玻璃基板1220，其背侧覆盖有彩膜层1200。彩膜层1200以红色(R)、绿色(G)和蓝色(B)的彩膜1201的阵列为特征，以提供全色彩显示。在彩膜玻璃基板1220的顶部，设置有保护玻璃1210。
在实施例中，所述设备包括液晶层1130，其包括多个透镜电极1135。当阵列基板单元与对置基板单元接合以形成AMOLED显示面板时，液晶层1130形成在有机发光二极管层1140和彩膜层1200之间。液晶层1130由多个液晶分子1131形成，所述多个液晶分子1131通常设置为针对来自有机发光二极管的初级发光实质上透明的状态，从而不会影响AMOLED显示面板的正常显示功能。但是，在用于3D空间感测的特定情况下，增加液晶层1130以形成多个独立可控微透镜，从而引导对应的多个红外光信号来多角度感测目标对象的3D空间信息。所述多个透镜电极1135以及相关驱动电路均埋置在液晶层1130中。可选地，各驱动电路通过控制器耦接，所述控制器构造为提供独立电压或电流信号以调整对应的多个透镜电极1135。因此，附近液晶层1130周围的电场被改变和修改以改变附近的液晶分子1131的取向或密度以及相应改变光学性质，从而在该处建立有效微透镜，以独立地以多角度变化重定向穿过显示面板的红外光信号，从而用于多角度3D空间定位。
在实施例中，所述设备还包括至少一个光源1300，其构造至背板玻璃基板1060，以沿着实质上从背板玻璃基板1060朝向超出(保护玻璃1210)彩膜玻璃基板1220的视场的方向提供红外光信号。可选地，光源1300靠近背板玻璃基板1060的背侧的边缘区域布置，在该边缘区域，红外光不太可能被上方的其它晶体管器件或像素元件遮挡。可选地，光源1300布置在背板玻璃基板1060的背侧的中间区域，条件是光源1300的位置同样与有机发光二极管层1040中的有源子像素之间留出的一个或多个间隙至少部分地对齐，以使得从光源1300发出的红外光可以一次性穿过AMOLED显示面板并到达保护玻璃1210上方的视场中的目标对象。可选地，光源1300布置在背板玻璃基板1060的前侧处的周边区域。背板玻璃基板1060可以制作得略大于对置基板，以使得从光源1300发射的红外光实质上免于被阻挡。可选地，多个光源1300布置在与背板玻璃基板1060相关联的各个位置处。
在实施例中，此外，所述设备包括离散地附接至背板玻璃基板1060的背侧处的多个光传感器1410，所述多个光传感器1410与显示区域中的所述多个间隙1206至少部分地对齐。在所述设备检测布置在视场中的目标的3D空间信息的过程中，独立地调节液晶层1130中的所述多个透镜电极1135，以允许经由来自所述至少一个红外光源1300的红外光信号多角度照亮视场中的目标并且由所述多个光传感器1410检测多角度反射的红外光信号，从而实现目标的3D空间定位。具体地，每个光传感器1410与图2的光传感器71实质上相同。每个光传感器1410与控制电路1400相关联，所述控制电路1400类似于图2的感光芯片70。可选地，所述多个光传感器1410彼此以平均间隔d布置在背板玻璃基板1060的背侧。显示区域中留出的间隙1206的位置与用于布置对应一个光传感器1410的位置之间对齐，这有助于降低光传感器检测到的反射红外光信号的功耗，并且在感测目标的3D空间信息时提高信噪比。可选地，每个光传感器1410以至多几十个感光像素的小阵列形成，其构造为检测位于视场的相对大深度范围中的目标。可选地，每个光传感器1410以单个像素装置形成，其构造为检测更近位置处的目标。可选地，AMOLED显示面板与离散地布置在显示面板上的大量光传感器集成，从而在每个光传感器均是单像素光传感器的情况下形成集成3D深度相机。可选地，AMOLED显示面板与离散地布置在显示面板上的少量光传感器集成，从而在每个光传感器具有小阵列(几十个)像素的情况下形成集成3D深度相机。
图11是根据本公开的替代实施例的在AMOLED显示面板的显示区域中集成液晶透镜层和TOF光传感器以用于多角度空间定位的设备的示意性侧视图。在一些实施例中，与图10中液晶层1130添加在AMOLED显示面板盒上的情况不同，液晶层1130可以添加至AMOLED显示面板的盒内结构。
参照图11，所述设备包括背板玻璃基板1060和覆盖在背板玻璃基板1060的前侧的薄膜晶体管层1050。所述设备还包括覆盖薄膜晶体管层1050的液晶层1130。液晶层包括嵌入多个液晶分子1131中的多个透镜电极1135。此外，所述设备包括覆盖液晶层1130的有机发光二极管层1040。有机发光二极管层1040包括在显示区域中排列的多个有源子像素，所述显示区域构造为具有位于至少一些有源子像素之间的多个间隙1206。每个有源子像素由有机发光二极管配置以发出用于显示的光。此外，所述设备包括彩膜玻璃基板1220，其具有覆盖在其背侧的彩膜层1200。当背板玻璃基板1060及相关结构与彩膜玻璃基板1220及相关结构接合以形成显示面板时，彩膜层1200附接至有机发光二极管层1040。所述设备还包括至少一个光源1300，所述至少一个光源1300与背板玻璃基板1060相关联并且被构造为以沿着实质上从背板玻璃基板1060朝向超出保护玻璃1210的视场的方向提供红外光信号，所述保护玻璃1210覆盖彩膜玻璃基板1220。此外，所述设备包括离散地附接至背板玻璃基板1060的背侧处的多个光传感器1410，所述多个光传感器1410与显示区域中的所述多个间隙1206至少部分地对齐。在实施例中，独立地调节液晶层1130中的所述多个透镜电极1135，以允许经由来自所述至少一个红外光源1300的红外光信号多角度照亮视场中的目标并且由所述多个光传感器1410检测多角度反射的红外光信号，从而实现目标的3D空间定位。在实施例中，每个光传感器1410与控制电路1400集成，所述控制电路1400构造为产生与目标的区域的部分3D空间信息有关的单个图像块。布置在AMOLED显示面板的所述多个光传感器1410的全部控制电路1400耦接在一起，从而允许组成完整图像，以用于目标的3D空间定位。在实施例中，液晶层提供多个微透镜，其用于引导发射的红外光信号以多角度选项照亮目标，并且引导反射红外光信号以多角度方向被检测，从而增强3D感测能力。具体地，提供了感测视场中被不期望物体部分遮挡的目标的3D空间信息的方案。
出于示意和描述目的已示出对本发明实施例的上述描述。其并非旨在穷举或将本发明限制为所公开的确切形式或示例性实施例。因此，上述描述应当被认为是示意性的而非限制性的。显然，许多修改和变形对于本领域技术人员而言将是显而易见的。选择和描述这些实施例是为了解释本发明的原理和其最佳方式的实际应用，从而使得本领域技术人员能够理解本发明适用于特定用途或所构思的实施方式的各种实施例及各种变型。本发明的范围旨在由所附权利要求及其等同形式限定，其中除非另有说明，否则所有术语以其最宽的合理意义解释。因此，术语“发明”、“本发明”等不一定将权利范围限制为具体实施例，并且对本发明示例性实施例的参考不隐含对本发明的限制，并且不应推断出这种限制。本发明仅由随附权利要求的精神和范围限定。此外，这些权利要求可涉及使用跟随有名词或元素的“第一”、“第二”等术语。这种术语应当理解为一种命名方式而非意在对由这种命名方式修饰的元素的数量进行限制，除非给出具体数量。所描述的任何优点和益处不一定适用于本发明的全部实施例。应当认识到的是，本领域技术人员在不脱离随附权利要求所限定的本发明的范围的情况下可以对所描述的实施例进行变化。此外，本公开中没有元件和组件是意在贡献给公众的，无论该元件或组件是否明确地记载在随附权利要求中。

Claims (16)

1.一种用于检测3D空间信息的显示设备，包括：
显示面板，其包括位于显示区域的多个有源子像素，所述显示区域构造为具有分别位于至少一些有源子像素之间的多个间隙，所述显示面板包括前面的对置基板和后面的背板基板；
多个光传感器，其与所述显示区域中的所述多个间隙实质上对齐；
在所述背板基板上的光源，用于在朝向超出所述对置基板的视场的方向上提供红外光信号；以及
光学层，其构造为将从所述视场中由红外光信号照亮的对象的多个不同区域反射的红外光信号集中至所述多个光传感器，所述多个光传感器离散地附接至光学层的背侧；所述光学层位于所述背板基板的背侧；
其中，所述多个光传感器构造为检测从对象的所述多个不同区域反射的各红外光信号，以共同地推断所述对象的3D空间信息；
所述多个光传感器包括附接至所述光学层的背侧的对应的多个预制集成电路芯片；
所述多个预制集成电路芯片布置在所述显示面板的显示区域后方的多个实质上均匀分布的离散位置，并且与控制器电耦接，所述控制器用于将与各区域的深度信息相关联的全部图像块组合来计算所述对象的完整3D空间图像；
所述光学层包括位于所述背板基板的背侧的多个微透镜，至少一个或多个微透镜根据附接至所述光学层的背侧的对应一个光传感器而定位，从而将从所述对象反射通过所述显示区域中的所述多个间隙中的对应一个间隙的红外光信号耦合至所述对应一个光传感器；
所述光学层包括液晶透镜，所述液晶透镜包括液晶层和用于驱动所述液晶层的多个透镜电极；
其中，所述液晶层中的所述多个透镜电极独立地调节，以允许经由红外光信号多角度照亮所述视场中的目标并且由所述多个光传感器检测多角度反射的红外光信号，从而实现所述目标的3D空间定位。
2.根据权利要求1所述的设备，其中，对应一个光传感器包括一个或多个感光像素，所述一个或多个感光像素构造为将光信号转换为电信号，以基于从布置在所述视场的范围内的所述对象的对应的一个或多个区域反射的对应的一个或多个红外光信号来推断一条或多条飞行时间信息。
3.根据权利要求2所述的设备，其中，具有单个感光像素的对应一个光传感器构造为检测从位于所述视场的第一范围内的所述对象的区别区域反射的对应一个红外光信号，所述区别区域和与具有单个感光像素的其他光传感器相对应的其他区域不重叠，具有单个感光像素的所述对应一个光传感器构造为处理一条飞行时间信息以产生与所述对象的所述区别区域的深度信息相关联的单个像素的图像。
4.根据权利要求2所述的设备，其中，具有多个感光像素的对应一个光传感器构造为检测从位于所述视场的第二范围内的所述对象的对应一个区域反射的一个红外光信号，并且还部分地检测从与所述对应一个区域部分重叠的其他一些区域反射的更多的红外光信号，具有多个感光像素的所述对应一个光传感器构造为产生与所述对象的所述对应一个区域的深度信息相关联的一个或多个像素的图像。
5.根据权利要求1至4中任一项所述的设备，其中，所述控制器包括预设算法，所述预设算法构造为在执行深度计算以推断所述对象的3D空间图像之前，在从由所述多个光传感器检测到的红外光信号直接转换而来的灰阶数据中移除阴影部分。
6.根据权利要求1所述的设备，其中，所述显示区域中的所述多个间隙提供从所述光源发射的红外光信号照亮所述视场中的对象的光学路径，以及使得从所述对象部分反射的红外光信号到达所述光学层的光学路径。
7.根据权利要求1所述的设备，其中，所述光源包括红外发光二极管或垂直腔表面发射激光二极管，所述光源构造为发射被调制器以单频方波调制的波长为870nm或940nm的红外光。
8.根据权利要求1所述的设备，包括一个或多个光源，所述一个或多个光源以表面安装或转移印刷方式布置在所述光学层的背侧，或者在所述显示区域的周边区域中布置在所述背板基板的前侧，其中，所述背板基板制作得略大于所述对置基板。
9.根据权利要求1所述的设备，其中，所述多个光传感器中的对应一个光传感器包括单个像素或多个像素，以感测多角度反射的红外光信号，所述红外光信号携带与所述目标的一部分相关联的一条或多条飞行时间信息，产生单个像素或多个像素中的对应一个图像块。
10.根据权利要求9所述的设备，其中，所述多个光传感器还包括彼此耦接的对应的集成电路，所述对应的集成电路构造为组合全部图像块，以用于所述目标的3D空间定位。
11.根据权利要求9所述的设备，其中，所述液晶层中的所述多个透镜电极根据在所述显示区域中的与所述多个间隙对齐的所述多个光传感器而独立地布置在不同位置，并且所述液晶透镜被配置为，能够在不同时间被调整以将所述液晶层的邻近部分转变为具有不同角度和焦距的各等效透镜。
12.根据权利要求11所述的设备，其中，所述各等效透镜中的一些能够引导从所述光源发出的红外光信号从多个不同角度照亮布置在所述视场的深度范围中的所述目标。
13.根据权利要求11所述的设备，其中，所述各等效透镜中的一些被控制以将从布置在所述视场的深度范围中的所述目标部分地反射的红外光信号引导至多个角度方向，从而由所述多个光传感器中的对应一些光传感器检测到。
14.根据权利要求1所述的设备，其中，所述光源包括红外发光二极管或垂直腔表面发射激光二极管，所述光源构造为发射被调制器以单频方波调制的红外光束。
15.根据权利要求1所述的设备，其中，所述光源经由表面安装或转移印刷与所述显示区域中的所述多个间隙中的一些间隙至少部分对齐地布置在所述背板基板的背侧，其中所述背板基板制作得略大于所述对置基板。
16.根据权利要求1所述的设备，其中，所述光源经由表面安装或转移印刷方式在所述显示区域的周边区域中布置在所述背板基板的前侧，其中所述背板基板制作得略大于所述对置基板。
CN201980000112.8A 2019-02-01 2019-02-01 与显示面板集成以进行tof 3d空间定位的设备 Active CN111771157B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/074383 WO2020155092A1 (en) 2019-02-01 2019-02-01 Apparatus integrated with display panel for tof 3d spatial positioning

Publications (2)

Publication Number Publication Date
CN111771157A CN111771157A (zh) 2020-10-13
CN111771157B true CN111771157B (zh) 2023-07-25

Family

ID=71841484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000112.8A Active CN111771157B (zh) 2019-02-01 2019-02-01 与显示面板集成以进行tof 3d空间定位的设备

Country Status (4)

Country Link
US (1) US11237672B2 (zh)
EP (1) EP3918415B1 (zh)
CN (1) CN111771157B (zh)
WO (1) WO2020155092A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603482B (zh) * 2019-08-05 2023-05-23 京东方科技集团股份有限公司 背光基板及其制造方法、和显示装置
CN114187870B (zh) * 2020-09-14 2023-05-09 京东方科技集团股份有限公司 光电检测电路及其驱动方法、显示装置及其制作方法
US11893959B2 (en) * 2021-05-17 2024-02-06 Samsung Electronics Co., Ltd. Electronic device including proximity sensor having a plurality of light receiving elements and method of controlling the same
WO2022252193A1 (zh) * 2021-06-03 2022-12-08 京东方科技集团股份有限公司 触控基板、显示装置及显示系统
EP4198554A1 (en) * 2021-12-15 2023-06-21 STMicroelectronics (Research & Development) Limited Assembly comprising a display screen and a proximity sensor
CN114706502A (zh) * 2022-03-17 2022-07-05 Tcl华星光电技术有限公司 显示模组及显示装置
GB202207253D0 (en) * 2022-05-18 2022-06-29 Ams Int Ag Optoelectronic module
US11900842B1 (en) * 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016157449A (ja) * 2016-03-22 2016-09-01 株式会社Ｊｏｌｅｄ 表示装置および電子機器
CN107422571A (zh) * 2017-09-20 2017-12-01 京东方科技集团股份有限公司 显示面板、装置及其操控方法
CN107507592A (zh) * 2017-09-06 2017-12-22 京东方科技集团股份有限公司 显示装置及其控制方法
CN107505753A (zh) * 2017-09-15 2017-12-22 京东方科技集团股份有限公司 阵列基板及显示装置
US10026789B1 (en) * 2016-06-17 2018-07-17 Boe Technology Group Co., Ltd. Touch display substrate, touch display apparatus having the same, pixel arrangement, and fabricating method thereof
CN109154959A (zh) * 2017-05-17 2019-01-04 深圳市汇顶科技股份有限公司 具有非接触成像能力的光学指纹传感器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726443A (en) * 1996-01-18 1998-03-10 Chapman Glenn H Vision system and proximity detector
GB2403842A (en) * 2003-07-10 2005-01-12 Ocuity Ltd Alignment of elements of a display apparatus
EP2131322A4 (en) * 2007-04-04 2011-08-03 Sony Corp DEVICE FOR BIOMETRIC AUTHENTICATION
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US20200057353A1 (en) * 2009-10-09 2020-02-20 Digilens Inc. Compact Edge Illuminated Diffractive Display
US8072442B2 (en) * 2010-02-09 2011-12-06 Sharp Kabushiki Kaisha Electrically switchable field of view for embedded light sensor
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US20160069999A1 (en) 2013-03-25 2016-03-10 Lg Electronics Inc. Depth image obtaining device and display device using same
WO2015104236A1 (en) * 2014-01-07 2015-07-16 Dacuda Ag Adaptive camera control for reducing motion blur during real-time image capture
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
CN107422511B (zh) 2017-07-04 2020-04-07 京东方科技集团股份有限公司 显示面板、显示装置和显示面板的制造方法
CN107180853B (zh) * 2017-07-10 2020-05-12 京东方科技集团股份有限公司 一种oled显示面板及其控制方法、显示装置
US10534084B2 (en) * 2017-07-27 2020-01-14 Blackmore Sensors & Analytics, Llc Method and system for using square wave digital chirp signal for optical chirped range detection
KR102400868B1 (ko) * 2017-09-28 2022-05-25 삼성디스플레이 주식회사 표시 장치
US10290257B1 (en) * 2018-02-21 2019-05-14 David Elliott Slobodin Display and image-capture device
US10984213B2 (en) * 2018-03-27 2021-04-20 Shenzhen GOODIX Technology Co., Ltd. 3-dimensional optical topographical sensing of fingerprints using under-screen optical sensor module
US10824838B2 (en) * 2018-07-25 2020-11-03 Shenzhen GOODIX Technology Co., Ltd. Under-screen optical fingerprint sensor based on lens-pinhole imaging with an off-axis pinhole
CN109146945B (zh) 2018-08-02 2021-01-26 京东方科技集团股份有限公司 一种显示面板及显示装置
CN109271057B (zh) * 2018-08-16 2021-04-13 Oppo广东移动通信有限公司 显示组件和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016157449A (ja) * 2016-03-22 2016-09-01 株式会社Ｊｏｌｅｄ 表示装置および電子機器
US10026789B1 (en) * 2016-06-17 2018-07-17 Boe Technology Group Co., Ltd. Touch display substrate, touch display apparatus having the same, pixel arrangement, and fabricating method thereof
CN109154959A (zh) * 2017-05-17 2019-01-04 深圳市汇顶科技股份有限公司 具有非接触成像能力的光学指纹传感器
CN107507592A (zh) * 2017-09-06 2017-12-22 京东方科技集团股份有限公司 显示装置及其控制方法
CN107505753A (zh) * 2017-09-15 2017-12-22 京东方科技集团股份有限公司 阵列基板及显示装置
CN107422571A (zh) * 2017-09-20 2017-12-01 京东方科技集团股份有限公司 显示面板、装置及其操控方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Henrik Lietz ; .Optical lens-shift design for increasing spatial resolution of 3D ToF cameras. Advanced Optical Technologies..2017,全文. *
微镜阵列激光成像技术及其性能分析;邓正芳;苏金善;杨兴雨;张冬冬;;激光与红外(第09期);全文 *

Also Published As

Publication number Publication date
US20210216163A1 (en) 2021-07-15
WO2020155092A1 (en) 2020-08-06
EP3918415A1 (en) 2021-12-08
US11237672B2 (en) 2022-02-01
EP3918415B1 (en) 2024-04-03
CN111771157A (zh) 2020-10-13
EP3918415A4 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
CN111771157B (zh) 与显示面板集成以进行tof 3d空间定位的设备
CN106233305B (zh) 指纹感测设备
JP6219017B2 (ja) 光検出機能を備えるｏｌｅｄディスプレイ装置
CN109858434B (zh) 显示面板及其指纹识别方法和显示装置
US10394406B2 (en) Touch display device
CN106022292A (zh) 显示装置及其指纹识别方法
EP2827185B1 (en) Display device with infrared photosensors
CN110347295B (zh) 感测板及具有感测板的显示器
US11825677B2 (en) Display substrate, method of manufacturing the same, display apparatus, and mask
US8681123B2 (en) Input/output device
CN110379311A (zh) 显示面板、电子设备、显示面板的制作方法和成像方法
CN110767739A (zh) 显示基板及显示装置
US10302484B2 (en) Optical sensor module
US20230329036A1 (en) Image display device and electronic device
WO2020140532A1 (zh) 光源模组和显示模组
CN110969146B (zh) 指纹识别组件、显示基板、显示面板和指纹识别方法
KR101929003B1 (ko) 광 감지 기능을 구비한 o l e d 디스플레이 장치
WO2021051276A1 (en) Photo-sensing detection apparatus, display apparatus, method of fingerprint detection, and method of operating display apparatus
CN114428413B (zh) 显示面板、显示组件及终端设备
US11232279B2 (en) Texture recognition device and operation method of texture recognition device
WO2021237521A1 (zh) 屏下指纹识别装置及系统、指纹识别方法和电子装置
CN116018032A (zh) 显示屏、指纹图像获取方法及显示装置
KR20170015960A (ko) 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant