CN111771374B - 显示装置、电子设备及显示装置的驱动方法 - Google Patents

显示装置、电子设备及显示装置的驱动方法 Download PDF

Info

Publication number
CN111771374B
CN111771374B CN201980000065.7A CN201980000065A CN111771374B CN 111771374 B CN111771374 B CN 111771374B CN 201980000065 A CN201980000065 A CN 201980000065A CN 111771374 B CN111771374 B CN 111771374B
Authority
CN
China
Prior art keywords
display
liquid crystal
display device
panel
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980000065.7A
Other languages
English (en)
Other versions
CN111771374A (zh
Inventor
王鹏鹏
王海生
丁小梁
赵文卿
李扬冰
李亚鹏
邓立凯
马媛媛
王雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN111771374A publication Critical patent/CN111771374A/zh
Application granted granted Critical
Publication of CN111771374B publication Critical patent/CN111771374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

一种显示装置、电子设备及显示装置的驱动方法，该显示装置包括显示面板和多个图像传感器。显示面板具有显示侧以及与该显示侧相对的背侧，多个图像传感器彼此独立地位于显示面板的背侧上的多个彼此独立的位置，且多个图像传感器配置为整体上获得显示面板的显示侧的待测对象的深度图像信息。

Description

显示装置、电子设备及显示装置的驱动方法
技术领域
本公开的实施例涉及一种显示装置、电子设备及显示装置的驱动方法。
背景技术
近年来，随着科学技术的发展，万物互联的物联网成为了研究热点。在物联网的组成体系中，实现万物互联所需要的数据无疑需通过各种传感器来进行采集，因此对低成本、高集成度、易于使用的传感器的需求日益扩大。移动电子设备的广泛应用，例如手机的普及，已经使得现代社会进入了全民读屏的时代。显示屏与各种传感器集成在一起并且同时作为信息的输出终端和输入终端逐渐成为下一代科技产品的主流形态，因此，各种传感器与显示屏的集成化成为了技术发展的重要方向。随着3D(Three Dimensions)技术的发展，立体显示、机器视觉、卫星遥感等方面的技术应用越来越多地需要获取场景的深度信息。例如，深度相机能够获取相机视野内目标的深度信息。
发明内容
本公开至少一个实施例提供一种显示装置，包括显示面板和多个图像传感器，其中，所述显示面板具有显示侧以及与所述显示侧相对的背侧，所述多个图像传感器彼此独立地位于所述显示面板的背侧上的多个彼此独立的位置，且所述多个图像传感器配置为整体上获得所述显示面板的显示侧的待测对象的深度图像信息。
例如，在本公开至少一个实施例提供的显示装置中，所述显示面板包括显示区域以及所述显示区域外侧的非显示区域，所述多个图像传感器分布在所述显示面板的显示区域和/或非显示区域。
例如，在本公开至少一个实施例提供的显示装置中，每个所述图像传感器包括多个像素单元或单个像素单元。
例如，本公开至少一个实施例提供的显示装置还包括多个液晶透镜，其中，所述多个液晶透镜与所述多个图像传感器在垂直于所述显示面板的显示侧的表面的方向上一一对应重叠设置，且配置为使来自所述显示面板的显示侧外的光通过所述多个液晶透镜后分别传输到所述多个图像传感器。
例如，本公开至少一个实施例提供的显示装置还包括所述多个液晶透镜构成且与所述显示面板层叠设置的液晶面板，所述液晶面板位于所述显示面板的背侧，所述多个图像传感器位于所述液晶面板远离所述显示面板的一侧，在垂直于所述显示装置的显示侧的表面的方向上，所述液晶面板开设有对应于所述多个图像传感器的多个第一开孔。
例如，在本公开至少一个实施例提供的显示装置中，所述液晶面板包括依序层叠设置的第一控制电极层、液晶层和第二控制电极层，所述第一控制电极层和所述第二控制电极层配置为调节所述液晶层中液晶分子的旋转角度以实现所述多个液晶透镜的透镜效果。
例如，本公开至少一个实施例提供的显示装置还包括至少一个探测光源，其中，所述探测光源配置为向所述显示面板的显示侧发射探测用光，以使得所述多个图像传感器能对所述待测对象反射的探测用光进行成像。
例如，在本公开至少一个实施例提供的显示装置中，所述液晶面板还包括第一基板，所述第一基板位于所述液晶面板远离所述显示面板的一侧；所述探测光源位于所述第一基板靠近所述显示面板的一侧；或者所述探测光源位于所述第一基板远离所述显示面板的一侧，所述第一基板包括对应于所述探测光源的第二开孔，以允许所述探测光源发射的光穿过所述第二开孔。
例如，本公开至少一个实施例提供的显示装置还包括所述多个液晶透镜构成且与所述显示面板层叠设置的液晶面板，所述液晶面板位于所述显示面板的显示侧，所述多个图像传感器位于所述显示面板远离所述液晶面板的一侧，在垂直于所述显示装置的显示侧的表面的方向上，所述显示面板开设有对应于所述多个图像传感器的多个第一开孔。
例如，在本公开至少一个实施例提供的显示装置中，所述液晶面板包括依序层叠设置的第一控制电极层、液晶层和第二控制电极层，所述第一控制电极层和所述第二控制电极层配置为调节所述液晶层中液晶分子的旋转角度以实现所述多个液晶透镜的透镜效果。
例如，在本公开至少一个实施例提供的显示装置中，所述显示面板为有机发光二极管显示面板。
例如，本公开至少一个实施例提供的显示装置还包括至少一个探测光源，其中，所述探测光源配置为向所述显示面板的显示侧发射探测用光，以使得所述多个图像传感器能对所述待测对象反射的探测用光进行成像。
例如，在本公开至少一个实施例提供的显示装置中，所述显示面板还包括第二基板，所述第二基板位于所述显示面板远离所述液晶面板的一侧；所述探测光源位于所述第二基板靠近所述液晶面板的一侧；或者所述探测光源位于所述第二基板远离所述液晶面板的一侧，所述第二基板包括对应于所述探测光源的第二开孔，以允许所述探测光源发射的光穿过所述第二开孔。
例如，在本公开至少一个实施例提供的显示装置中，所述显示面板为液晶面板，其中，所述液晶面板包括用于实现所述多个液晶透镜的第一部分和用于实现多个显示像素的第二部分，在垂直于所述显示装置的显示侧的表面的方向上，所述液晶面板开设有对应于所述多个图像传感器的多个第一开孔。
例如，在本公开至少一个实施例提供的显示装置中，所述液晶面板的至少部分所述显示像素复用为所述液晶透镜。
例如，在本公开至少一个实施例提供的显示装置中，所述液晶面板的第一部分包括依序层叠设置的第一控制电极层、液晶层和第二控制电极层，所述第一控制电极层和所述第二控制电极层配置为调节所述液晶层中液晶分子的旋转角度以实现所述多个液晶透镜的透镜效果。
例如，本公开至少一个实施例提供的显示装置还包括至少一个探测光源，其中，所述探测光源配置为向所述显示装置的显示侧发射探测用光，以使得所述多个图像传感器能对所述待测对象反射的探测用光进行成像。
例如，在本公开至少一个实施例提供的显示装置中，所述探测光源位于所述显示装置的显示侧；或者，所述探测光源位于所述液晶面板的背侧，在垂直于所述显示装置的显示侧的表面的方向上，所述液晶面板包括对应于所述探测光源的第二开孔，以允许所述探测光源发射的光穿过所述第二开孔。
例如，本公开至少一个实施例提供的显示装置还包括背光源，其中，所述背光源配置为给所述液晶面板提供显示用光，所述多个图像传感器位于所述背光源与所述显示面板的显示侧相对的背侧，且在垂直于所述显示装置的显示侧的表面的方向上，所述背光源包括对应于所述多个图像传感器的多个第三开孔。
例如，在本公开至少一个实施例提供的显示装置中，所述背光源为侧面照射式背光源，所述侧面照射式背光源包括第一光源和导光板，所述第一光源位于所述导光板的入射侧。
例如，在本公开至少一个实施例提供的显示装置中，所述背光源为直下式背光源，所述直下式背光源包括光源背板，所述光源背板包括多个第二光源。
例如，在本公开至少一个实施例提供的显示装置中，所述光源背板为包括自发光器件的背板。
例如，本公开至少一个实施例提供的显示装置还包括至少一个探测光源，其中，所述探测光源位于所述显示装置的显示区域周边，配置为向所述显示装置的显示侧发射探测用光，以使得所述多个图像传感器能对所述待测对象反射的探测用光进行成像。
例如，在本公开至少一个实施例提供的显示装置中，所述探测光源位于所述显示装置的显示侧表面。
例如，在本公开至少一个实施例提供的显示装置中，所述探测光源发射调制光，所述调制光包括红外光或激光。
例如，本公开至少一个实施例提供的显示装置还连接处理器，其中，所述处理器配置为将所述多个图像传感器获得的多个图像信息进行拼接，以整体上获得所述显示面板的显示侧的图像信息。
本公开至少一个实施例还提供一种电子设备，包括本公开任一实施例所述的显示装置。
本公开至少一个实施例还提供一种本公开任一实施例所述的显示装置的驱动方法，包括：驱动至少一个所述液晶透镜将来自所选场景的光传输到对应的至少一个图像传感器上，以确定所述待测对象所在的区域；以及驱动与所述待测对象所在的区域对应的多个液晶透镜将来自所述待测对象所在的区域的光传输到对应的多个图像传感器上，以获得所述待测对象的图像信息。
例如，本公开至少一个实施例提供的显示装置的驱动方法还包括：驱动所述显示面板进行显示操作。
例如，本公开至少一个实施例提供的显示装置的驱动方法还包括：将所述多个图像传感器获得的所述待测对象的多个图像信息进行拼接，并对拼接的图像信息进行图像深度检测以获得所述待测对象的深度信息。
例如，本公开至少一个实施例提供的显示装置的驱动方法还包括：根据所述多个液晶透镜的液晶分子的旋转角度，对获得的所述待测对象的深度信息进行校准。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为一种飞行时间(Time of Flight，TOF)深度相机模组检测系统；
图2为本公开一些实施例提供的一种显示装置的结构示意图；
图3为本公开一些实施例提供的一种显示装置防止遮挡的原理图；
图4为本公开一些实施例提供的一种图像传感器的空间定位等效原理图；
图5为本公开一些实施例提供的另一种图像传感器的空间定位等效原理图；
图6为本公开一些实施例提供的一种显示装置的具体示例的结构示意图；
图7为本公开一些实施例提供的另一种显示装置的具体示例的结构示意图；
图8为本公开一些实施例提供的再一种显示装置的具体示例的结构示意图；
图9为本公开一些实施例提供的一种显示装置的图像传感器和探测光源的平面分布示意图；
图10为图9中所示的显示装置的局部结构透视图；
图11为图9中所示的显示装置的图像传感器的图像采集原理图；
图12为本公开一些实施例提供的另一种显示装置的图像传感器和探测光源的平面分布示意图；
图13为图12中所示的显示装置的图像传感器的图像采集原理图；
图14为本公开一些实施例提供的另一种显示装置的结构示意图；
图15为本公开一些实施例提供的一种显示装置的具体示例的结构示意图；
图16为本公开一些实施例提供的另一种显示装置的具体示例的结构示意图；
图17为本公开一些实施例提供的再一种显示装置的具体示例的结构示意图；
图18为本公开一些实施例提供的再一种显示装置的结构示意图；
图19为本公开一些实施例提供的一种显示装置的具体示例的结构示意图；
图20为本公开一些实施例提供的另一种显示装置的具体示例的结构示意图；
图21为本公开一些实施例提供的再一种显示装置的具体示例的结构示意图；
图22A和图22B为图19中所示的显示装置的背光源的具体示例的示意图；
图23为本公开一些实施例提供的一种显示装置的驱动方法的流程图；
图24为图23中步骤S101的空间定位粗扫描阶段的原理示意图；
图25为图23中步骤S102的空间定位精扫描阶段的原理示意图；
图26为本公开一些实施例提供的另一种显示装置的驱动方法的流程图；以及
图27为本公开一些实施例提供的一种电子设备的示意框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
在深度信息检测技术中，通常采用深度相机来实现深度信息的检测。图1为一种TOF深度相机模组检测系统。如图1所示，该检测系统包括光源15、接收阵列18和控制电路，控制电路包括调制单元、模数转换器以及计算单元。首先，调制单元控制光源15发出一束调制的光(例如红外光)，该红外光经光学元件16(例如透镜)后照射到目标11(例如人体)，然后被目标11反射，反射后的红外光经过另一光学元件17(例如透镜)被接收阵列18接收并转换为电信号，然后调制单元对接收的红外光对应的电信号进行解调，再通过模数转换器将解调后的信号进行模数转换，并由计算单元根据模数转换后的信号计算出目标11到TOF深度相机模组的距离值d0。
该TOF深度相机模组检测系统采用独立的深度相机模组，通过计算光的往返时间从而测量出目标11的深度距离以实现对目标11的空间定位。但是，在该检测系统中，由于深度相机模组采用的光学图像传感器通常为硅基图像传感器(例如CMOS图像芯片)，而硅基图像传感器的尺寸很大，大概在厘米(cm)量级，因此难以将深度相机模组小型化，无法将深度相机模组直接设置到显示装置的显示区域，从而无法实现将深度相机模组与显示屏的集成。并且，针对如此大尺寸的光学图像传感器也难以制作相应的光学镜头，无法实现大规模实际应用。因此，如何将深度相机模组与显示屏集成成为了亟待解决的问题。
同时，在3D显示、虚拟现实(Virtual Reality，VR)、增强现实(AugmentedReality，AR)等交互应用中，需要采集和提取多角度、多维度的空间交互信息，而交互遮挡是一个难以避免的问题，即无论深度相机模组的摄像头采取什么角度，都会在某些场景下存在交互遮挡，因此难以获得准确的空间交互信息，例如无法准确获得图像的深度距离，从而难以进行准确的空间定位。
本公开至少一个实施例提供一种显示装置，该显示装置通过将单个大尺寸的图像传感器替换为多个小尺寸的图像传感器，并将多个小尺寸的图像传感器设置(例如转印)在显示装置的背面，从而克服了由于单个图像传感器尺寸过大而导致图像传感器无法与显示装置集成的问题。并且，在至少一个实施例中，该显示装置采用液晶形成的液晶透镜作为成像透镜，利用液晶具有光学各向异性和介电各向异性的特点，灵活地控制液晶透镜的液晶分子的旋转角度，以使各个图像传感器可以接收不同方向的深度图像信息，从而增加了图像传感器的图像采集范围，使图像传感器获得更准确的深度图像信息以实现对目标的精确空间定位，同时还可以解决在采集图像时存在交互遮挡的问题。
本公开至少一个实施例还提供一种上述显示装置的驱动方法以及包括上述显示装置的电子设备。
在一些实施例的驱动方法中，显示装置的深度图像采集过程包括粗扫描和精扫描两个阶段，从而在显示装置对目标实现精确空间定位的情况下，进一步减少显示装置中图像传感器的数量，可以利用尽可能少的图像传感器获取目标的精确图像信息，实现高精度空间定位。
下面，将参考附图详细地说明本公开的一些实施例。应当注意的是，不同的附图中相同的附图标记将用于指代已描述的相同的元件。
图2为本公开一些实施例提供的一种显示装置10的结构示意图，该显示装置10包括显示面板100、多个液晶透镜110、多个图像传感器120和至少一个探测光源130。
如图2所示，显示面板100具有显示侧以及与该显示侧相对的背侧。探测光源130向显示面板100的显示侧发射探测用光以照射待测对象，即目标11，所发出的探测用光经目标11反射后再射向显示面板100；多个液晶透镜110和多个图像传感器120在显示面板100与显示侧相对的背侧一一对应重叠设置，液晶透镜110将来自显示面板100显示侧的反射光汇聚后传输到对应的图像传感器120上进行成像，从而使每个对应的图像传感器120获得目标11的局部图像(例如局部深度图像)；显示装置10还可以连接处理器150，处理器150连接图像传感器120并配置成获取和拼接图像传感器120获得的关于目标11的所有局部深度图像以得到目标11的完整深度图像；处理器150进一步还可以配置成利用深度算法对得到的目标11的完整深度图像进行分析计算，从而确定目标11的深度距离，以实现对目标11的空间定位。
处理器150通过具有数据处理能力和/或指令执行能力的处理单元结合相应的计算机指令来实现相应的拼接和分析功能。处理器150可以是通用处理器，例如中央处理器(CPU)或图像处理器(GPU)，并通过执行计算机指令以实现对应的功能，这些计算机指令在逻辑和形式上表现为计算机软件；处理器150还可以是专用处理器，通过固件或固化的指令以实现对应的功能，例如现场可编程逻辑门阵列(FPGA)、专门应用集成电路(ASIC)、数字信号处理器(DSP)等。
例如，目标11可以为用户的手，也可以为用户的其他身体部位，或者为可穿戴设备，又或者为其它类型的待测对象，本公开的实施例对此不作限制。
例如，由于液晶具有介电各向异性的特点，显示装置10可以通过对液晶透镜110施加不同的电压来灵活地控制液晶透镜110的液晶分子的旋转角度，使得液晶透镜110的折射率改变，从而使图像传感器120可以接收不同方向的深度图像信息，从而大大增加了图像传感器120的图像采集范围，使图像传感器120获得更准确的深度图像信息。例如，如图3所示，在进行深度图像采集时，如果在目标11的周围存在遮挡物12，则目标11发出的处于适当角度范围内用于成像的光被遮挡物12遮挡，此时仅有处于该角度范围外(入射角度较大)而原本不是用于成像的光入射到液晶透镜110上。因此，显示装置10可以向相应的一个或多个液晶透镜110施加不同的电压来调节液晶透镜110中的液晶分子的旋转角度，改变液晶透镜110的折射率，以使液晶透镜110接收到的入射角度较大的目标11的反射光能汇聚并被照射到图像传感器120上，以用于成像。例如，当检测到第一液晶透镜L101汇聚的光为障碍物12的反射光时，向第一液晶透镜L101(或者第一液晶透镜L101及相邻的液晶透镜)施加电压调节其中液晶分子的旋转角度，改变第一液晶透镜L101的折射率，直到目标11的反射光被第一液晶透镜L101进一步偏折，从而使目标11反射的探测用光可以通过第一液晶透镜L101准确地传输到相应的图像传感器120上，被用于成像，由此避免了由于存在遮挡物而对目标的空间定位产生的干扰。
例如，在一些实施例中，多个图像传感器120可以为单像素阵列的感光图像传感器。每个图像传感器120获得的深度图像信息作为目标11的完整深度图像的一个像素点，再由处理器150将每个图像传感器120获得的对应像素点的深度图像信息直接进行拼接，从而获得目标11的完整深度图像。
图4为本公开一些实施例提供的一种单像素阵列的图像传感器120的空间定位等效原理图。
如图4所示，多个单像素阵列的图像传感器120以距离d1彼此间隔设置，多个液晶透镜110与多个图像传感器120一一对应(即在垂直于显示面板表面的方向上彼此重叠)，且每个液晶透镜110汇聚的来自物方的反射光均无混光，反射光在通过液晶透镜110后分别在对应的图像传感器120上成1*1的单像素图像p1，使每个对应的图像传感器120分别获得目标11的一个像素点的深度图像信息，处理器150将目标11所有像素点的深度图像信息进行拼接就可以得到一幅完整的深度图像。
在采用单像素阵列的图像传感器120的显示装置10中，由于每个液晶透镜110只汇聚目标11单个像素点的反射光，且每个图像传感器120只接收单像素大小的深度图像信息，因而如图4所示，每个图像传感器120之间的间隔距离d1可以设置得很小，而图像传感器120的数量可以很大，使显示装置10在进行深度图像采集时可以覆盖很大的距离范围L，即显示装置10也可以实现对近距离目标的空间定位。
例如，在如图1所示的采用单个大尺寸的图像传感器的检测系统中，由于单个光学透镜只能汇聚一定角度范围内的反射光，因此会导致在对近距离目标进行空间定位时存在图像采集盲区，进而无法检测到目标或无法准确获得目标的深度距离。而在如图2-4所示的采用多个单像素阵列的图像传感器120的显示装置10中，由于采用多个较小的液晶透镜110，从而使图像采集盲区的面积尽可能地缩小，因而在不需要改变液晶透镜110的液晶分子的旋转角度的情形下，显示装置10就可以实现对近距离范围内目标的精确空间定位。
例如，在一些实施例中，多个图像传感器120还可以为多像素阵列的感光图像传感器。每个图像传感器120获得目标11的多个像素点的深度图像且每个图像传感器120获得的目标11的多像素深度图像之间有互相重合的部分，处理器150根据每个多像素深度图像之间彼此重合的部分将目标11的所有多像素深度图像进行拼接处理从而获得目标11的完整深度图像。
图5为本公开一些实施例提供的一种多像素阵列的图像传感器120的空间定位等效原理图。如图5所示，多个多像素阵列的图像传感器120以距离d2彼此间隔设置，多个液晶透镜110与多个图像传感器120一一对应且每个液晶透镜110汇聚的来自物方的反射光可以有混光。反射光在通过液晶透镜110后分别在对应的图像传感器120上成多像素(例如8*8)图像p2，使每个对应的图像传感器120分别获得目标11的一部分深度图像且这些深度图像彼此之间有互相重叠的部分。处理器150根据重叠的部分将获得的目标11的所有多像素图像p2进行图像拼接处理就可以得到一幅完整的深度图像。
在采用多像素阵列的图像传感器120的显示装置10中，该显示装置10在实现多个小尺寸的图像传感器与显示屏集成以及保证在一定近距离范围对目标进行准确空间定位的情形下，相比于图4所示的采用单像素阵列的图像传感器120的显示装置10，减少了在深度图像采集过程中所需的图像传感器120的数量，从而降低了显示装置10的制备成本，并且简化了显示装置10在执行深度图像采集操作时的驱动过程，减小了显示装置10的驱动功耗。此外，相比于离散的多个单像素点的图像信息拼接，由多像素图像在拼接处理后得到的完整深度图像可以具有更清晰的画面效果，图像的分辨率可以更高，因而可以更准确地确定目标的深度距离，实现更精确的目标空间定位。并且，由于多像素阵列的每个图像传感器120的感光面积较大，相应的液晶透镜110的等效镜头口径也可以相对较大，因此使得每个液晶透镜110的通光量会更大，探测光源130所需发出的探测用光的光强可以相应降低。
例如，如图2所示，探测光源130发出的探测用光可以为调制光，例如该调制光可以为红外光，例如可以为各种类型的红外光，例如近红外光、中红外光或远红外光。由于红外光不能被人眼所看到，因此采用红外光不会影响显示面板的显示操作。探测光源130例如可以为红外发光二极管(Light-Emitting Diode，LED)、红外激光二极管或其他适用的光源，例如在非使用红外激光二极管的情形，可以配合光学器件使得所得到的红外光的光束具有较好的方向性，本公开的实施例对此不作限制。显示装置10可以设置有一个或多个探测光源130，本公开的实施例对此不作限制。并且，例如探测光源130在发光时，可以采用预定频率发射探测用光的光束，例如光束闪烁的频率为10Hz、30Hz等，从而得到调制光。图像传感器120的感光部件可以为红外光敏感部件等，本公开的实施例对此不作限制。
下面将结合图6-图8对图2所示的实施例的显示装置10的具体实现示例进行详细说明。
图6为本公开一些实施例提供的一种显示装置10的具体示例的结构示意图。该显示装置10包括显示面板100、液晶面板111、多个图像传感器120和至少一个探测光源130，液晶面板111用于实现图2中所示的多个液晶透镜110。
液晶面板111与显示面板100层叠设置，且液晶面板111位于显示面板100与显示侧相对的背侧，该液晶面板111包括依序层叠设置的包括多个第一电极1101的第一控制电极层、液晶层1103和包括多个第二电极1102的第二控制电极层。多个第一电极1101为条状电极且彼此平行，多个第二电极1102为条状电极且彼此平行，多个第一电极1101和多个第二电极1102一一对应，通过向第一电极1101和/或第二电极1102施加不同大小的电压从而控制液晶层1103中液晶分子的旋转角度，使得液晶层的折射率按照预定方式分布，由此可以实现多个液晶透镜110的透镜效果。例如，在另一些实施例中，第一电极1101或第二电极1102可以被替换为平面电极，该平面电极可以与多个条状电极配合以实现多个液晶透镜110的透镜效果，在以下的其他实施例中，也可以进行相同的替换、设置。例如，在至少一个示例中，在第一电极1101和第二电极1102的表面上还分别设置有配向膜1104，用于改善液晶分子的偏转速度，提高液晶透镜的响应速度。例如，该配向膜1104可以为聚酰亚胺(PI)薄膜，并且被摩擦以形成众多微小沟槽以起到对于液晶分子的配向作用，本公开的实施例对于配向膜的实现方式不作限定。
液晶面板111还包括第一基板101，第一基板101位于液晶面板111远离显示面板100的一侧。多个图像传感器120位于第一基板101背侧上的多个彼此独立的位置，并且在第一基板101上对应多个图像传感器120设置有多个第一开孔107，从而使目标11反射的光在经过液晶层1103后通过第一开孔107传输到图像传感器120并在图像传感器120上成像，使图像传感器120获得目标11的深度图像信息。
例如，探测光源130可以位于第一基板101上。
例如，在一个示例中，如图6所示，第一基板101的面积可以稍大于显示面板100的面积，将探测光源130位于第一基板101靠近显示面板100的一侧，使探测光源130发出的探测用光可以直接照射到目标11，从而确保探测用光的光学损失较小并且对探测光源130的功耗要求也会较低。
例如，在另一个示例中，如图7所示，探测光源130还可以位于第一基板101远离显示面板100的一侧。由于探测光源130发出的探测用光需要穿过第一基板101才能照射到目标11，因此为了提高探测用光的透射率并且减小光学损失，可以在第一基板101上对应探测光源130设置多个第二开孔108，使探测光源130发出的光可以通过第二开孔108射向显示面板100的显示侧以照射目标11。
例如，在一个示例中，如图8所示，探测光源130可以位于显示面板100上。例如，显示面板100的面积可以稍大于液晶面板111的面积，探测光源130位于显示面板100的显示侧，使探测光源130发出的光可以更直接地照射到目标11，从而进一步减小了探测用光的光学损失，大大降低了对探测光源130的功耗要求。需要说明的是，本公开的实施例中，探测光源130的设置位置不限于上述情形，探测光源130可以位于任意适用的位置，本公开的实施例对此不作限制。
本公开的一些实施例中的显示面板100为至少部分允许探测用光透过的透明显示面板，例如可以为有机发光二极管(Organic Light Emitting Diode，OLED)显示面板、量子点发光二极管(Quantum Dot Light Emitting Diode，QLED)显示面板、微型发光二极管(Micro Light Emitting Diode)显示面板、液晶显示(Liquid Crystal Display，LCD)面板或者其他类型的显示面板。显示面板100例如包括允许在显示侧照射到显示面板100的光透过的结构，例如透明部分，例如OLED显示面板的显示像素之间的间隙部分被制备为透明的，例如LCD显示面板为常白类型的，其显示像素在没有施加驱动电压时为透明的，本公开的实施例对实现透明显示的方式不作限制。图像传感器120可以为适当类型的图像传感器，例如CMOS或CCD类型的图像传感器，例如可以是硅基图像传感器，例如制备方式可以为由单晶硅晶片制备然后切割得到。例如，图像传感器120还可以是红外图像传感器或装配有红外波长滤光片的窄带红外图像传感器。
本公开的实施例中，显示面板100配置为进行显示并且可以允许从目标11反射的探测用光可以透射经过显示面板100，从而到达位于显示面板100背侧的由液晶面板111提供的液晶透镜以及进一步到达图像传感器120，而显示装置10的液晶层1103不需要起显示作用，所以可以采用有源液晶面板或者无源液晶面板。
本实施例中，由于显示装置10的多个液晶透镜110和多个图像传感器120均位于显示面板100的背侧，因此采集目标11的深度图像的过程不影响显示面板100的画面显示，显示装置10的深度图像采集操作和显示操作可以同时执行，两者互不干扰。而且，显示面板100进行显示时发出的光为可见光，显示装置10的深度图像采集操作采用的光为红外光，采用不同波长的光可以进一步避免显示操作和深度图像采集操作的互相干扰。
在本实施例中，液晶面板111还包括与第一基板101相对的对置基板(未示出)，液晶层夹置在第一基板101和对置基板之间，多个第二电极1102和多个第一电极1101分别形成在第一基板101和对置基板上；或者，液晶面板111采用显示面板100的衬底基板作为其对置基板(参见图6-图8)，此时多个第二电极1102和多个第一电极1101分别形成在第一基板101和对置基板上，由此使得显示装置10的厚度能够更薄。
本公开的一些实施例中，图像传感器120和探测光源130可以采用微转印(Micro-Transfer-Printing，μTP)或者表面安装技术(Surface Mount Technology，SMT)等方式与显示装置10中的第一基板101进行集成，也可以采用其他适用的工艺得到，本公开的实施例对此不作限制，以下各实施例与此相同，不再赘述。
图9为本公开一些实施例提供的一种显示装置10的图像传感器120和探测光源130的平面分布示意图，图10为图9中所示的显示装置10的局部结构透视图。
结合图9和图10所示，显示装置10包括显示区域和显示区域外围的非显示区域，显示区域包括阵列排布的多个像素单元140，非显示区域例如可以包括向多个像素单元140提供扫描信号的栅极驱动电路160和位于绑定(bonding)区域向多个像素单元140提供驱动电压的电源管理电路180等，该电源管理电路180例如为数据驱动电路，或单独提供的驱动电路。
例如，显示装置10包括多个探测光源130，这些探测光源130可以分布在显示装置10的非显示区域，并通过与电源管理电路180连接获得驱动电压以发出探测用光。当然，本公开的实施例不限于此，探测光源130也可以与另行提供的控制电路连接，并在该控制电路的控制下发出探测用光。例如，非显示区域可以为显示屏幕四周的边框区域。
如图9所示，显示装置10可以在显示屏幕四周的边框区域的四个角各设置一个探测光源130，从而使探测光源130发出的探测用光可以照射到很大的区域范围并节省显示装置10的制备成本。在其他未示出的实施例中，显示装置10还可以在显示屏幕四周的边框区域并排设置多个探测光源130以增大发出的探测用光的光强，本公开的实施例对此不作限制。
例如，多个图像传感器120可以分布在显示装置10的显示区域，并且位于像素单元140的背侧，从而不影响显示装置10的画面显示。如图10所示，显示装置10可以通过电源管理电路180向图像传感器120提供驱动电压，并通过栅极驱动电路160向图像传感器120发送控制信号，以使图像传感器120的图像采集单元1201开始工作。当然，本公开的实施例不限于此，图像传感器120也可以与另行提供的控制电路连接，并在该控制电路的控制下开始工作。图11为图9中所示的显示装置10的图像传感器120的图像采集原理图。如图11所示，当图像传感器120分布在显示装置10的显示区域时，图像传感器120可以有较好的图像采集角度，获得目标11的精准的深度图像信息。
图12为本公开一些实施例提供的另一种显示装置10的图像传感器120和探测光源130的平面分布示意图。如图12所示，多个图像传感器120中的部分或全部还可以与探测光源130一起分布在显示装置10的非显示区域。在此实施例中，液晶透镜110也对应地设置在与非显示区域对应重叠的区域中。
图13为图12中所示的显示装置10的图像传感器120的图像采集原理图。如图13所示，当图像传感器120分布在显示装置10的非显示区域时，每个图像传感器120只接收来自目标11反射的一定方向的光，同时可以通过改变与图像传感器120对应的液晶透镜110的液晶分子的旋转角度，进而使图像传感器120接收到不同方向的光，获得较大的空间范围内的深度图像信息，因此显示装置10的图像传感器120的数量可以大大减少，并且不影响对目标11进行空间定位的精度。此外，相比于图9中所示的图像传感器120的平面分布方式，当图像传感器120分布在非显示区域时，图像传感器120接收的目标11的反射光不需要穿过显示区域的像素单元104，因此传输到图像传感器120的反射光的光强更大。
图14为本公开一些实施例提供的另一种显示装置20的结构示意图，该显示装置20包括显示面板200、多个液晶透镜210、多个图像传感器220和至少一个探测光源230。
如图14所示，探测光源230向显示面板200的显示侧发射探测用光以照射需要检测的目标11，发出的探测用光经目标11反射后射向显示面板200。多个液晶透镜210和多个图像传感器220分别在显示面板200的显示侧和背侧一一对应重叠设置。液晶透镜210将目标11的反射光汇聚后再经显示面板200传输到对应的图像传感器220上进行成像，从而使每个对应的图像传感器220获得目标11的局部深度图像。显示装置20还可以连接处理器250，处理器250连接图像传感器220并配置成获取和拼接图像传感器220获得的关于目标11的所有局部深度图像以得到目标11的完整深度图像；处理器250进一步还配置成利用深度算法对得到的目标11的完整深度图像进行分析计算，从而确定目标11的深度距离，以实现对目标11的空间定位。
显示装置20的液晶透镜210、图像传感器220以及探测光源230分别与图2中所示的显示装置10的液晶透镜110、图像传感器120以及探测光源130大体相同，在此不再赘述。
下面将结合图15-图17对图14中所示的显示装置20的具体实现示例进行详细说明。图15为本公开一些实施例提供的一种显示装置20的具体示例的结构示意图。该显示装置20包括显示面板200、液晶面板211、多个图像传感器220和至少一个探测光源230，液晶面板211用于实现图14中所示的多个液晶透镜210。
液晶面板211与显示面板200层叠设置，液晶面板211位于显示面板200的显示侧，该液晶面板211包括依序层叠设置的包括多个第一电极2101的第一控制电极层、液晶层2103和包括多个第二电极2102的第二控制电极层。例如，多个第一电极2101和多个第二电极2102一一对应，通过向第一电极2101和第二电极2102施加不同大小的电压从而控制液晶层2103中液晶分子的旋转角度，以实现多个液晶透镜210的透镜效果。例如，在第一电极2101和第二电极2102上还分别设置有配向膜2104，用于改善液晶分子的偏转速度，提高液晶透镜的响应速度。
显示面板200还包括第二基板202，第二基板202位于显示面板200远离液晶面板211的一侧。多个图像传感器220位于第二基板202背侧上的多个彼此独立的位置，并且在第二基板202上对应多个图像传感器220设置有多个第一开孔207，从而使目标11反射的光在经过液晶面板211和显示面板200后，通过第一开孔207传输到图像传感器220并在图像传感器220上成像，使图像传感器220获得目标11的深度图像信息。
例如，液晶面板211还可以包括第三基板203，第三基板203位于液晶面板211远离显示面板200的一侧，对液晶面板211起保护作用。
例如，探测光源230可以位于第二基板202上。
例如，在一个示例中，如图15所示，第二基板202的面积可以稍大于液晶面板211的面积，将探测光源230位于第二基板202靠近液晶面板211的一侧，使探测光源230发出的探测用光可以直接照射到目标11，从而确保探测用光的光学损失较小并且对探测光源230的功耗要求也会较低。
例如，在另一个示例中，如图16所示，探测光源230还可以位于第二基板202远离液晶面板211的一侧，由于探测光源230发出的探测用光需要穿过第二基板202，因此为了提高探测用光的透射率并且减小光学损失，需要在第二基板202上对应探测光源230设置多个第二开孔208，使探测光源230发出的光可以通过第二开孔208射向显示装置20的显示侧以照射目标11。
例如，在再一个示例中，如图17所示，探测光源230可以设置在第三基板203上。例如，第三基板203的面积可以稍大于显示面板200的面积，将探测光源230设置在第三基板203远离显示面板200的一侧，使探测光源230发出的光可以更直接地照射到目标11，从而进一步减小了探测用光的光学损失，大大降低了对探测光源230的功耗要求。
在本实施例中，液晶面板211还包括与第三基板203相对的对置基板(未示出)，液晶层夹置在第三基板203和对置基板之间，多个第一电极2101和多个第二电极2102分别形成在第三基板203和对置基板上；或者，液晶面板211采用显示面板200的面板表面作为其对置基板(参见图15和图16)，此时多个第一电极2101和多个第二电极2102分别形成在第一基板101和对置基板上，由此使得显示装置20的厚度能够更薄。
例如，本实施例中的显示面板200可以为有机发光二极管(OLED)显示面板、量子点发光二极管(QLED)显示面板等自发光显示面板；例如，OLED显示面板可以包括衬底基板以及对置基板，二者之间形成有机发光显示阵列，对此具体结构不再赘述。
本实施例中，显示装置20的图像传感器220和探测光源230的平面分布位置与图9或图12所示的显示装置10的图像传感器120和探测光源130的平面分布位置大体相同，在此不再赘述。
需要说明的是，本实施例中，当显示装置20的图像传感器220分布在显示装置20的显示区域时，与图像传感器220对应的液晶透镜210也位于显示装置20的显示区域，而由于显示装置20的液晶透镜210位于显示面板200的显示侧，因此例如显示装置20的深度图像采集操作和显示操作需要分时执行，在显示装置20进行画面显示时，需要控制液晶透镜210的液晶分子的旋转角度以透过显示面板200发出的显示用光，以确保不影响显示面板200的画面显示效果。
在本公开的一些实施例提供的显示装置中，显示面板例如可以为液晶面板，液晶面板的至少部分显示像素复用为液晶透镜，例如至少部分像素可以用于在不同的时刻分别实现多个液晶透镜和多个显示像素的功能。
图18为本公开一些实施例提供的再一种显示装置30的结构示意图。该显示装置30包括液晶面板300、多个图像传感器320和至少一个探测光源330，液晶面板300包括第一部分和第二部分，该第一部分实现多个液晶透镜310，该第二部分可以用于实现多个显示像素340，例如该第一部分还可以用于在不同的时刻分别实现多个液晶透镜310和多个显示像素340。
如图18所示，在显示装置30执行深度图像采集操作时，探测光源330向显示装置30的显示侧发射探测用光以照射需要检测的目标11，发出的探测用光经目标11反射后射向液晶面板300；多个图像传感器320位于液晶面板300背侧的多个彼此独立的位置，此时，第一部分用于实现多个液晶透镜310的透镜效果，液晶面板300的多个液晶透镜310与多个图像传感器320一一对应重叠设置，液晶透镜310将目标11的反射光汇聚后传输到对应的图像传感器320上进行成像，从而使每个对应的图像传感器320获得目标11的局部深度图像信息；显示装置30还连接处理器350，处理器350连接图像传感器320并配置成获取和拼接图像传感器320获得的关于目标11的所有局部深度图像以得到目标11的完整深度图像；处理器350进一步还配置成利用深度算法对得到的目标11的完整深度图像进行分析计算，从而确定目标11的深度距离，以实现对目标11的空间定位。
显示装置30的液晶透镜310、图像传感器320以及探测光源330分别与图2中所示的显示装置10的液晶透镜110、图像传感器120以及探测光源130大体相同，在此不再赘述。
下面将结合图19-图21对图18中所示的显示装置30的具体实现示例进行详细说明。图19为本公开一些实施例提供的一种显示装置30的具体示例的结构示意图。该显示装置30包括液晶面板300、背光源303、多个图像传感器320和至少一个探测光源330。
液晶面板300包括依序层叠设置的第一控制电极层、液晶层3103和第二控制电极层，在第一控制电极层和第二控制电极层上分别设置有配向膜3104。
液晶面板300的第一部分中，第一控制电极层包括多个第一电极3101，第二控制电极层包括多个第二电极3102，多个第一电极3101个和多个第二电极3102一一对应。在显示装置30执行深度图像采集操作时，通过向第一电极3101和第二电极3102施加不同大小的电压从而控制液晶层3103中液晶分子的旋转角度，以实现多个液晶透镜310的透镜效果。在一些实施例中，在显示装置30执行显示操作时，通过向第一电极3101和第二电极3102施加不同大小的电压从而控制液晶层3103中液晶分子的旋转角度，以实现多个显示像素340的显示效果，从而实现画面显示，此时第一电极3101被复用为公共电极，第二电极3102被复用为像素电极。也即是，在本实施例中，通过复用显示装置30的第一控制电极层、液晶层和第二控制电极层，可以在不同的时刻分别执行显示装置30的显示操作和深度图像采集操作。
在液晶面板300的第二部分中，第一控制电极层包括一个或多个公共电极，第二控制电极层包括多个像素电极，多个像素电极与多个显示像素340一一对应，公共电极和多个像素电极对应。在显示装置30执行显示操作时，通过向公共电极和像素电极施加不同大小的电压(数据电压)从而控制液晶层3103中液晶分子的旋转角度，以实现多个显示像素340的显示效果，从而实现画面显示。
液晶面板300还包括第四基板301和第五基板302，在第四基板301和第五基板302之间依序层叠设置包括多个第一电极3101的第一控制电极层、液晶层3103和包括多个第二电极3102第二控制电极层。例如，第四基板301可以为薄膜晶体管(Thin Film Transistor，TFT)阵列基板，每个显示像素340具有包括薄膜晶体管的驱动电路，第五基板302可以为彩膜(Color Filter，CF)基板，该彩膜基板包括例如红绿蓝(RGB)彩膜单元；第一控制电极层位于第五基板302上，第二控制电极层位于第四基板301上。
背光源303位于第四基板301远离第五基板302的一侧，配置为给液晶面板300提供显示用光。多个图像传感器320位于背光源303背侧上的多个彼此独立的位置，并且在第四基板301和背光源303上分别对应多个图像传感器320设置有多个第一开孔307和多个第三开孔309，从而使目标11反射的光在经过液晶层3103后通过第一开孔307和第三开孔309传输到图像传感器320并在图像传感器320上成像，使图像传感器320获得目标11的深度图像信息。
图22A和图22B为图19中所示的显示装置30的背光源303的具体示例的示意图。例如，在一个示例中，如图22A所示，背光源303可以为侧面照射式背光源，包括导光板3031和第一光源3032，第一光源3032位于导光板3031的入射侧。例如，在另一个示例中，如图22B所示，背光源303还可以为包括光源背板的直下式背光源，该光源背板包括多个第二光源3033，例如该光源背板可以为包括有机发光二极管(OLED)或量子点发光二极管(QLED)等自发光器件的背板。需要说明的是，本公开的实施例中，背光源303的类型不受限制，可以为任意类型的光源。
例如，探测光源330可以设置在第四基板301和背光源303上。
例如，在一个示例中，如图19所示，第四基板301和背光源303的面积可以稍大于第五基板302的面积，将探测光源330设置在第四基板301靠近第五基板302的一侧，使探测光源330发出的探测用光可以直接照射到目标11，从而确保探测用光的光学损失较小并且对探测光源330的功耗要求也会较低。
例如，在另一个示例中，如图20所示，探测光源330还可以位于背光源303远离第五基板302的一侧，由于探测光源330发出的探测用光需要穿过第四基板301和背光源303，因此为了提高探测用光的透射率并且减小光学损失，需要在第四基板301和背光源303上对应探测光源330设置多个第二开孔308，使探测光源330发出的光可以通过第二开孔308射向显示装置30的显示侧以照射目标11。
例如，在再一个示例中，如图21所示，探测光源330还可以位于第五基板302上。例如，第五基板302的面积可以稍大于第四基板301和背光源303的面积，将探测光源330设置在第五基板302远离第四基板301的一侧，使探测光源330发出的光可以更直接地照射到目标11，从而进一步减小了探测用光的光学损失，大大降低了对探测光源330的功耗要求。
例如，本实施例中的液晶面板300可以为液晶显示(LCD)面板。
需要说明的是，本公开的一些实施例中，由于显示装置30的液晶面板300需要复用以在不同的时刻分别执行显示操作和深度图像采集操作，并且显示装置30的液晶透镜310需要与图像传感器320一一对应，因此显示装置30的图像传感器320只能分布在显示装置30的显示区域并且位于液晶面板300的背侧，从而不会影响显示装置30的画面显示。同时，显示装置30的深度图像采集操作和显示操作需要分时执行，在显示装置30执行显示操作时，显示装置30的液晶不再起液晶透镜310的作用，而是起到显示像素340的作用，以实现画面显示。显示装置30的探测光源330的平面分布位置与图9或图12所示的显示装置10的探测光源130的平面分布位置大体相同，在此不再赘述。
本公开至少一实施例还提供了一种显示装置的驱动方法，包括：驱动至少一个液晶透镜将来自预定场景的光传输到对应的至少一个图像传感器上，以确定待测对象所在的区域；驱动与待测对象所在的区域对应的多个液晶透镜将来自待测对象所在的区域的光传输到对应的多个图像传感器上，以获得待测对象的图像信息。利用该实施例的驱动方法，可以实现图像传感器与显示面板的集成，能够接收不同方向的深度图像信息，且图像采集范围大，可以实现对待测对象的精确空间定位。
下面以图2中所示的显示装置10为例对该驱动方法进行说明。
图23为本公开一些实施例提供的一种显示装置10的驱动方法的流程图，该驱动方法包括步骤S101和步骤S102，步骤S101例如为空间定位粗扫描阶段，步骤S102例如为空间定位精扫描阶段。
步骤S101：驱动至少一个液晶透镜110将来自预定场景的光传输到对应的至少一个图像传感器120上，以确定目标11(即待测对象)所在的区域。
图24为图23中步骤S101的空间定位粗扫描阶段的原理示意图。如图24所示，在执行步骤S101的空间定位粗扫描阶段，例如，可以将多个液晶透镜110划分为多个组，例如液晶透镜L101-L200为第一组R1，液晶透镜L201-L300为第二组R2，液晶透镜L301-L400为第三组R3等。在空间定位粗扫描阶段，显示装置10驱动每组的至少一个液晶透镜，比如仅驱动液晶透镜L101、L201、L301等对显示装置10的显示侧进行扫描，以确定目标11所在的区域。
步骤S102：驱动与目标11所在的区域对应的多个液晶透镜110将来自目标11所在的区域的光传输到对应的多个图像传感器120上，以获得目标11的图像信息。
图25为图23中步骤S102的空间定位精扫描阶段的原理示意图。如图25所示，在执行步骤S102的空间定位精扫描阶段，在确定目标11所在的区域后，驱动与目标11所在的区域对应的液晶透镜组(例如第一组R1、第二组R2和第三组R3)的全部液晶透镜(例如液晶透镜L101-L400)对目标11进行扫描，从而使对应的多个图像传感器120获得目标11的深度图像信息。
在本公开的至少一些实施例提供的驱动方法中，显示装置10的深度图像采集操作包括粗扫描和精扫描两个阶段，从而在确保对目标11进行精确空间定位的情形下，进一步减少了显示装置10中图像传感器120的数量，利用尽可能少的图像传感器120采集到目标11的精确深度图像信息，实现了高精度空间定位。
例如，本公开的一些实施例提供的显示装置10的驱动方法还可以包括步骤S103和步骤S104。
步骤S103：将多个图像传感器120获得的目标11的多个图像信息进行拼接，并对拼接的图像信息进行图像深度检测以获得目标11的深度信息。
步骤S104：根据多个液晶透镜110的液晶分子的旋转角度，对获得的目标11的深度信息进行校准。
此外，对于需要将深度图像采集操作和显示操作分时进行的显示装置，例如如图18所示的显示装置30，可以在执行显示操作之前执行深度图像采集操作，也可以在执行显示操作之后再执行深度图像采集操作。下面以图18中所示的显示装置30为例对该驱动方法进行说明。
图26为本公开一些实施例提供的另一种显示装置30的驱动方法的流程图。如图26所示，该驱动方法包括步骤S200、S201、S202、S203和S204，步骤S201-S204与图23中所示的步骤S101-S104基本相同，在此不再赘述。
步骤S200：驱动显示装置30进行显示操作。例如，在显示装置30中，在执行步骤S200时，显示装置30的液晶不再起液晶透镜310的作用，而是起到显示像素340的作用，从而执行显示操作。需要说明的是，步骤S200可以如图26所示在步骤S201之前执行，也可以在步骤S204之后执行，本公开的实施例对此不作限制。
本公开另一些实施例提供的驱动方法可以包括更多或更少的步骤，各个步骤之间的顺序不受限制，可以根据实际需求而定。关于该驱动方法的详细内容和技术效果可以参考上文中关于显示装置10/20/30的描述，此处不再赘述。
本公开至少一实施例还提供一种电子设备，包括本公开任一实施例所述的显示装置。该电子设备可以实现图像传感器与显示面板的集成，能够接收不同方向的深度图像信息，且图像采集范围大，可以实现对目标的精确空间定位。
图27为本公开一些实施例提供的一种电子设备50的示意框图。该电子设备50包括显示装置40，显示装置40可以为本公开任一实施例所述的显示装置，例如，显示装置40可以为如图2所示的显示装置10，可以为如图14所示的显示装置20，或者可以为如图18所示的显示装置30。电子设备50的技术效果以及实现原理与本公开实施例所述的显示装置基本相同，在此不再赘述。例如，电子设备50可以为液晶面板、电子纸、OLED面板、手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件，本公开的实施例对此不作限制。
有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)为了清晰起见，在用于描述本公开的实施例的附图中，层或区域的厚度被放大或缩小，即这些附图并非按照实际的比例绘制。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，则该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。
(3)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (29)

1.一种显示装置，包括显示面板、液晶面板、多个图像传感器和多个液晶透镜，
其中，所述显示面板具有显示侧以及与所述显示侧相对的背侧，
所述多个图像传感器彼此独立地位于所述显示面板的背侧上的多个彼此独立的位置，且所述多个图像传感器配置为整体上获得所述显示面板的显示侧的待测对象的深度图像信息；
所述多个液晶透镜与所述多个图像传感器在垂直于所述显示面板的显示侧的表面的方向上一一对应重叠设置，且配置为使来自所述显示面板的显示侧外的光通过所述多个液晶透镜后分别传输到所述多个图像传感器；
所述多个液晶透镜构成所述液晶面板，所述液晶面板与所述显示面板层叠设置且位于所述显示面板的背侧，
所述多个图像传感器位于所述液晶面板远离所述显示面板的一侧，
在垂直于所述显示装置的显示侧的表面的方向上，所述液晶面板开设有对应于所述多个图像传感器的多个第一开孔。
2.根据权利要求1所述的显示装置，其中，所述显示面板包括显示区域以及所述显示区域外侧的非显示区域，
所述多个图像传感器分布在所述显示面板的显示区域和/或非显示区域。
3.根据权利要求1或2所述的显示装置，其中，每个所述图像传感器包括多个像素单元或单个像素单元。
4.根据权利要求1或2所述的显示装置，其中，所述液晶面板包括依序层叠设置的第一控制电极层、液晶层和第二控制电极层，
所述第一控制电极层和所述第二控制电极层配置为调节所述液晶层中液晶分子的旋转角度以实现所述多个液晶透镜的透镜效果。
5.根据权利要求1或2所述的显示装置，还包括至少一个探测光源，其中，所述探测光源配置为向所述显示面板的显示侧发射探测用光，以使得所述多个图像传感器能对所述待测对象反射的探测用光进行成像。
6.根据权利要求5所述的显示装置，其中，所述液晶面板还包括第一基板，所述第一基板位于所述液晶面板远离所述显示面板的一侧；
所述探测光源位于所述第一基板靠近所述显示面板的一侧；或者
所述探测光源位于所述第一基板远离所述显示面板的一侧，所述第一基板包括对应于所述探测光源的第二开孔，以允许所述探测光源发射的光穿过所述第二开孔。
7.一种显示装置，包括显示面板、液晶面板、多个图像传感器和多个液晶透镜，
其中，所述显示面板具有显示侧以及与所述显示侧相对的背侧，
所述多个图像传感器彼此独立地位于所述显示面板的背侧上的多个彼此独立的位置，且所述多个图像传感器配置为整体上获得所述显示面板的显示侧的待测对象的深度图像信息；
所述多个液晶透镜与所述多个图像传感器在垂直于所述显示面板的显示侧的表面的方向上一一对应重叠设置，且配置为使来自所述显示面板的显示侧外的光通过所述多个液晶透镜后分别传输到所述多个图像传感器；
所述多个液晶透镜构成所述液晶面板，所述液晶面板与所述显示面板层叠设置且位于所述显示面板的显示侧，
所述多个图像传感器位于所述显示面板远离所述液晶面板的一侧，
在垂直于所述显示装置的显示侧的表面的方向上，所述显示面板开设有对应于所述多个图像传感器的多个第一开孔。
8.根据权利要求7所述的显示装置，其中，所述液晶面板包括依序层叠设置的第一控制电极层、液晶层和第二控制电极层，
所述第一控制电极层和所述第二控制电极层配置为调节所述液晶层中液晶分子的旋转角度以实现所述多个液晶透镜的透镜效果。
9.根据权利要求7或8所述的显示装置，其中，所述显示面板为有机发光二极管显示面板。
10.根据权利要求7或8所述的显示装置，还包括至少一个探测光源，其中，所述探测光源配置为向所述显示面板的显示侧发射探测用光，以使得所述多个图像传感器能对所述待测对象反射的探测用光进行成像。
11.根据权利要求10所述的显示装置，其中，所述显示面板还包括第二基板，所述第二基板位于所述显示面板远离所述液晶面板的一侧；
所述探测光源位于所述第二基板靠近所述液晶面板的一侧；或者
所述探测光源位于所述第二基板远离所述液晶面板的一侧，所述第二基板包括对应于所述探测光源的第二开孔，以允许所述探测光源发射的光穿过所述第二开孔。
12.一种显示装置，包括显示面板、多个图像传感器和多个液晶透镜，
其中，所述显示面板具有显示侧以及与所述显示侧相对的背侧，
所述多个图像传感器彼此独立地位于所述显示面板的背侧上的多个彼此独立的位置，且所述多个图像传感器配置为整体上获得所述显示面板的显示侧的待测对象的深度图像信息；
所述多个液晶透镜与所述多个图像传感器在垂直于所述显示面板的显示侧的表面的方向上一一对应重叠设置，且配置为使来自所述显示面板的显示侧外的光通过所述多个液晶透镜后分别传输到所述多个图像传感器；
所述显示面板为液晶面板，所述液晶面板包括用于实现所述多个液晶透镜的第一部分和用于实现多个显示像素的第二部分，
在垂直于所述显示装置的显示侧的表面的方向上，所述液晶面板开设有对应于所述多个图像传感器的多个第一开孔。
13.根据权利要求12所述的显示装置，其中，所述液晶面板的至少部分所述显示像素复用为所述液晶透镜。
14.根据权利要求12或13所述的显示装置，其中，所述液晶面板的第一部分包括依序层叠设置的第一控制电极层、液晶层和第二控制电极层，
所述第一控制电极层和所述第二控制电极层配置为调节所述液晶层中液晶分子的旋转角度以实现所述多个液晶透镜的透镜效果。
15.根据权利要求12或13所述的显示装置，还包括至少一个探测光源，其中，所述探测光源配置为向所述显示装置的显示侧发射探测用光，以使得所述多个图像传感器能对所述待测对象反射的探测用光进行成像。
16.根据权利要求15所述的显示装置，其中，所述探测光源位于所述显示装置的显示侧；
或者，所述探测光源位于所述液晶面板的背侧，在垂直于所述显示装置的显示侧的表面的方向上，所述液晶面板包括对应于所述探测光源的第二开孔，以允许所述探测光源发射的光穿过所述第二开孔。
17.根据权利要求12或13所述的显示装置，还包括背光源，其中，所述背光源配置为给所述液晶面板提供显示用光，
所述多个图像传感器位于所述背光源与所述显示面板的显示侧相对的背侧，且在垂直于所述显示装置的显示侧的表面的方向上，所述背光源包括对应于所述多个图像传感器的多个第三开孔。
18.根据权利要求17所述的显示装置，其中，所述背光源为侧面照射式背光源，
所述侧面照射式背光源包括第一光源和导光板，所述第一光源位于所述导光板的入射侧。
19.根据权利要求17所述的显示装置，其中，所述背光源为直下式背光源，
所述直下式背光源包括光源背板，所述光源背板包括多个第二光源。
20.根据权利要求19所述的显示装置，其中，所述光源背板为包括自发光器件的背板。
21.根据权利要求15所述的显示装置，其中，所述探测光源位于所述显示装置的显示区域周边。
22.根据权利要求21所述的显示装置，其中，所述探测光源位于所述显示装置的显示侧表面。
23.根据权利要求15所述的显示装置，其中，所述探测光源发射调制光，所述调制光包括红外光或激光。
24.根据权利要求12或13所述的显示装置，还连接处理器，其中，所述处理器配置为将所述多个图像传感器获得的多个图像信息进行拼接，以整体上获得所述显示面板的显示侧的图像信息。
25.一种电子设备，包括如权利要求1-24任一所述的显示装置。
26.一种如权利要求1-24任一所述的显示装置的驱动方法，包括：
驱动所述多个液晶透镜中的至少一个液晶透镜将来自所选场景的光传输到对应的至少一个图像传感器上，以确定所述待测对象所在的区域；以及
驱动与所述待测对象所在的区域对应的全部液晶透镜将来自所述待测对象所在的区域的光传输到对应的图像传感器上，以获得所述待测对象的图像信息。
27.根据权利要求26所述的显示装置的驱动方法，还包括：
驱动所述显示面板进行显示操作。
28.根据权利要求26所述的显示装置的驱动方法，还包括：
将所述多个图像传感器获得的所述待测对象的多个图像信息进行拼接，并对拼接的图像信息进行图像深度检测以获得所述待测对象的深度信息。
29.根据权利要求28所述的显示装置的驱动方法，还包括：
根据所述多个液晶透镜的液晶分子的旋转角度，对获得的所述待测对象的深度信息进行校准。
CN201980000065.7A 2019-01-14 2019-01-14 显示装置、电子设备及显示装置的驱动方法 Active CN111771374B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/071654 WO2020146981A1 (zh) 2019-01-14 2019-01-14 显示装置、电子设备及显示装置的驱动方法

Publications (2)

Publication Number Publication Date
CN111771374A CN111771374A (zh) 2020-10-13
CN111771374B true CN111771374B (zh) 2022-05-13

Family

ID=71613524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000065.7A Active CN111771374B (zh) 2019-01-14 2019-01-14 显示装置、电子设备及显示装置的驱动方法

Country Status (4)

Country Link
US (1) US11397475B2 (zh)
EP (1) EP3913912A4 (zh)
CN (1) CN111771374B (zh)
WO (1) WO2020146981A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220058285A (ko) * 2020-10-30 2022-05-09 삼성전자주식회사 빔 편향기 및 이를 포함하는 3차원 디스플레이 장치
JP2022085551A (ja) * 2020-11-27 2022-06-08 セイコーエプソン株式会社 画像処理装置
JP2022085541A (ja) * 2020-11-27 2022-06-08 セイコーエプソン株式会社 画像処理装置
KR20220096392A (ko) * 2020-12-31 2022-07-07 엘지디스플레이 주식회사 유기 발광 표시 장치
CN114567767B (zh) * 2022-02-23 2024-06-18 京东方科技集团股份有限公司 显示装置、光场采集方法、图像数据传输方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905808A (zh) * 2012-12-27 2014-07-02 北京三星通信技术研究有限公司 用于三维显示和交互的设备和方法
CN105025272A (zh) * 2015-07-28 2015-11-04 深圳乐行天下科技有限公司 一种机器人及其混合视频流生成方法
CN105049829A (zh) * 2015-07-10 2015-11-11 北京唯创视界科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8736584B2 (en) * 2009-12-16 2014-05-27 Sharp Kabushiki Kaisha Coordinate sensor and display device
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
BR112014025880A8 (pt) * 2012-04-18 2017-07-25 Toppan Printing Co Ltd Dispositivo de exibição de cristal líquido
CN102681183B (zh) * 2012-05-25 2015-01-07 合肥鼎臣光电科技有限责任公司 基于透镜阵列的双向三维成像和裸眼三维显示系统
US10257506B2 (en) * 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US20170032527A1 (en) * 2015-07-31 2017-02-02 Iwk Health Centre Method and system for head digitization and co-registration of medical imaging data
CN107688243A (zh) * 2017-10-20 2018-02-13 上海天马微电子有限公司 一种显示装置
CN107884940A (zh) 2017-11-28 2018-04-06 腾讯科技（深圳）有限公司 显示模组、头戴式显示设备及图像立体显示方法
CN108594249B (zh) * 2018-04-25 2020-07-28 京东方科技集团股份有限公司 显示面板及利用显示面板对外部对象进行测距的方法
US11081516B2 (en) 2018-08-10 2021-08-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen, electronic device and method for three-dimensional feature recognition
CN109040363B (zh) * 2018-08-10 2024-03-19 Oppo广东移动通信有限公司 显示屏、电子装置及三维特征识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905808A (zh) * 2012-12-27 2014-07-02 北京三星通信技术研究有限公司 用于三维显示和交互的设备和方法
CN105049829A (zh) * 2015-07-10 2015-11-11 北京唯创视界科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN105025272A (zh) * 2015-07-28 2015-11-04 深圳乐行天下科技有限公司 一种机器人及其混合视频流生成方法

Also Published As

Publication number Publication date
US11397475B2 (en) 2022-07-26
EP3913912A4 (en) 2022-08-24
WO2020146981A1 (zh) 2020-07-23
US20210216148A1 (en) 2021-07-15
EP3913912A1 (en) 2021-11-24
CN111771374A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111771374B (zh) 显示装置、电子设备及显示装置的驱动方法
US11288482B2 (en) Display apparatus and driving method of display apparatus
EP3918415B1 (en) Apparatus integrated with display panel for tof 3d spatial positioning
CN109860270B (zh) 一种显示面板及显示装置
CN109146945B (zh) 一种显示面板及显示装置
CN108919573B (zh) 显示面板、显示装置、成像方法和深度距离的检测方法
US20120229384A1 (en) Display device with location detection function and input location detection system
CN110347295B (zh) 感测板及具有感测板的显示器
US10725347B2 (en) Array substrate and display device
CN112313567B (zh) 显示装置、嵌入有显示装置的电子设备以及存储介质
WO2021098349A1 (zh) 一种摄像模组、摄像头、终端设备及图像信息的确定方法
US11258933B2 (en) Light source module and display module
US20100053119A1 (en) Input/output device
CN115552488A (zh) 纹路识别装置及其制造方法、彩膜基板及其制造方法
EP3958247B1 (en) Display apparatus, electronic device, and driving method of display apparatus
CN117940820A (zh) 紧凑型折反射投影仪
EP4060405A1 (en) Electronic device
US11796858B2 (en) Backlight substrate, manufacturing method thereof and display device
WO2023047719A1 (ja) 電子機器
CN114428413B (zh) 显示面板、显示组件及终端设备
WO2021217676A1 (zh) 显示面板、显示终端与显示装置
JP2002311433A (ja) 電気光学装置の製造方法および電気光学装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant