CN111464721A - 深度图像的获取方法及显示装置 - Google Patents

深度图像的获取方法及显示装置 Download PDF

Info

Publication number
CN111464721A
CN111464721A CN202010124155.1A CN202010124155A CN111464721A CN 111464721 A CN111464721 A CN 111464721A CN 202010124155 A CN202010124155 A CN 202010124155A CN 111464721 A CN111464721 A CN 111464721A
Authority
CN
China
Prior art keywords
image
depth
images
output
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010124155.1A
Other languages
English (en)
Other versions
CN111464721B (zh
Inventor
王鹏鹏
王海生
丁小梁
刘英明
刘静
王锐拓
陈蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Zhejiang Luyuan Electric Vehicle Co Ltd
Original Assignee
Zhejiang Luyuan Electric Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Luyuan Electric Vehicle Co Ltd filed Critical Zhejiang Luyuan Electric Vehicle Co Ltd
Priority to CN202010124155.1A priority Critical patent/CN111464721B/zh
Publication of CN111464721A publication Critical patent/CN111464721A/zh
Priority to PCT/CN2021/078271 priority patent/WO2021170114A1/zh
Application granted granted Critical
Publication of CN111464721B publication Critical patent/CN111464721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种深度图像的获取方法，用于显示装置中的图像深度传感组件中，显示装置还包括显示面板，显示面板包括滤波层，通过获取滤波层的对物体的图像的滤波参数；根据滤波参数以及至少四张输出图像，得到至少四张灰度图像；根据至少四张灰度图像得到深度图像，由于利用滤波层代替了传统深度相机中的光学镜头，无需设置复杂的光学镜头组，使得深度相机能够很好地集成在显示装置的屏幕中，从而利用深度相机获取深度图像。

Description

深度图像的获取方法及显示装置
技术领域
本公开涉及电气设备领域，特别涉及一种深度图像的获取方法及显示装置。
背景技术
和传统的普通相机相比，深度相机在拍摄图像的同时还能够获取到图像中景物的深度信息(即景物和相机镜头之间的距离)，因其具有的这一优势，使得深度相机在手势交互、立体显示、机器视觉以及卫星遥感等技术领域中被广泛使用。
在现有技术中，利用普通摄像头进行深度提取的方案主要有双目视觉以及结构光两种。
在实现本公开的过程中，发明人发现现有技术至少存在以下问题：
上述两种方案都需要较为复杂的光学镜头组作为硬件支持，镜头组结构体积庞大，导致无法将深度相机很好的集成在屏幕中。
发明内容
本公开提供一种深度图像的获取方法及显示装置。
第一方面，提供一种深度图像的获取方法，用于显示装置中的图像深度传感组件中，显示装置还包括显示面板，显示面板包括滤波层，方法包括：
向滤波层发射预设相位的参考光，参考光用于透过滤波层并射向显示面板外部的物体。
通过接收参考光经物体反射的反射光，获取至少四张输出图像，至少四张输出图像的接收相位和参考光的发射相位之间分别具有不同的相位差。
获取滤波层的对物体的图像的滤波参数。
根据滤波参数以及至少四张输出图像，得到对应的至少四张灰度图像。
根据至少四张灰度图像得到深度图像。
可选地，至少四张输出图像的接收相位和参考光的发射相位之间具有的不同的相位差将360°均分。
可选地，获取滤波层对物体的图像的滤波参数，包括：
获取待定滤波参数公式，待定滤波参数公式包括：
Figure RE-GDA0002544470670000021
其中，H为滤波层的传递函数矩阵，H*是传递函数矩阵H的伴随矩阵，Hw为待定滤波参数，ε为待定系数。
将至少四张输出图像分别与待定滤波参数卷积得到至少四张灰度图像，确定至少四张灰度图像的清晰度均为最高时所对应的至少四个准最佳系数。
将至少四个准最佳系数的平均值确定为目标系数。
将目标系数带入待定滤波参数公式，得到滤波参数。
可选地，根据滤波参数以及至少四张输出图像，得到至少四张灰度图像，包括：
将至少四张输出图像分别与滤波参数卷积得到至少四张灰度图像。
可选地，至少四张输出图像的数量为四，四张所述输出图像包括第一输出图像、第二输出图像、第三输出图像和第四输出图像，其中：
第一输出图像的接收相位和参考光的发射相位之间无相位差，
第二输出图像的接收相位和参考光的发射相位之间具有90°的相位差，
第三输出图像的接收相位和参考光的发射相位之间具有180°的相位差，
第四输出图像的接收相位和参考光的发射相位之间具有270°的相位差。
可选地，至少四张灰度图像为所述第一输出图像对应的第一灰度图像、所述第二输出图像对应的第二灰度图像、所述第三输出图像对应的第三灰度图像以及所述第四输出图像对应的第四灰度图像，根据至少四张灰度图像得到深度图像包括：
获取所述第一灰度图像、所述第二灰度图像、所述第三灰度图像以及所述第四灰度图像中每张灰度图像中每个像素点的灰度值。
根据每个像素点的灰度值以及深度图像公式得到深度图像，深度图像公式包括：
Figure RE-GDA0002544470670000022
Figure RE-GDA0002544470670000031
其中，A1、A2、A3和A4分别为第一灰度图像、第二灰度图像、第三灰度图像和第四灰度图像中相同位置的像素点的灰度值，L为深度图像中每个像素点对应的景深参数，φ为所述深度图像中每个像素点对应的相位差，C为光速，π为圆周率，f为参考光的频率。
第二方面，提供一种显示装置，显示装置包括显示面板以及图像深度传感组件，显示面板包括滤波层，图像深度传感组件用于执行第一方面所述的深度图像的获取方法。
可选地，图像深度传感组件位于显示面板的外部
可选地，所述显示面板包括层叠设置的透明基板、所述滤波层以及透明封装膜层，所述图像深度传感组件位于所述透明基板远离所述透明封装膜层一侧。
可选地，所述滤波层包括叠置的发光单元层和掩膜层，所述掩膜层位于所述滤波层中靠近所述图像深度传感组件的一侧。
可选地，掩膜层的材料包括钼金属材料。
可选地，掩膜层为显示屏中的阳极导电层。
本公开提供的技术方案所带来的有益效果至少包括：
本公开提供的深度图像的获取方法，用于显示装置中的图像深度传感组件中，显示装置还包括显示面板，显示面板包括滤波层，通过先发射预设相位的参考光，并接收参考光经物体反射的反射光，获取至少四张接收相位和参考光的发射相位不同的输出图像，并根据滤波层的滤波参数对至少四张输出图像进行还原，得到至少四张灰度图像，并根据至少四张灰度图像得到深度图像，由于利用滤波层代替了传统深度相机中的光学镜头，无需设置复杂的光学镜头组，使得深度相机能够很好地集成在显示装置中。
附图说明
图1为本公开实施例提供的深度图像的获取方法的一种流程图；
图2为本公开实施例提供的深度图像的获取方法的另一种流程图；
图3为本公开实施例提供的图像深度传感组件的主要电路组成图；
图4为本公开实施例提供的图像深度传感组件的接收像素波形图；
图5为本公开实施例提供的一种显示装置的示意图；
图6为本公开实施例提供的一种显示装置中的掩膜层的图样俯视图。
具体实施方式
为使本公开的和优点更加清楚，下面将结合附图对本公开实施方式进行详细描述。
本公开提供的深度图像的获取方法及显示装置，可以将深度相机很好地集成在显示装置中，具体内容如下：
如图1所示，其为本公开实施例提供的一种深度图像的获取方法的流程图，用于显示装置中的图像深度传感组件中，显示装置还包括显示面板，显示面板包括滤波层，该方法包括：
在步骤S101中，向滤波层发射预设相位的参考光。
其中，参考光用于透过滤波层并射向显示面板外部的物体。
在步骤S102中，通过接收参考光经物体反射的反射光，获取至少四张输出图像。
其中，至少四张输出图像的接收相位和参考光的发射相位之间分别具有不同的相位差。
在步骤S103中，获取滤波层的对物体的图像的滤波参数。
在步骤S104中，根据滤波参数以及至少四张输出图像，得到对应的至少四张灰度图像。
在步骤S105中，根据至少四张灰度图像得到深度图像。
本公开提供的技术方案所带来的有益效果至少包括：
本公开提供的深度图像的获取方法，用于显示装置中的图像深度传感组件中，显示装置还包括显示面板，显示面板包括滤波层，通过先发射预设相位的参考光，并接收参考光经物体反射的反射光，获取至少四张接收相位和参考光的发射相位不同的输出图像，并根据滤波层的滤波参数对至少四张输出图像进行还原，得到至少四张灰度图像，并根据至少四张灰度图像得到深度图像，由于利用滤波层代替了传统深度相机中的光学镜头，无需设置复杂的光学镜头组，使得深度相机能够很好地集成在显示装置中。
如图2所示，其为本公开实施例提供的一种深度图像的获取方法的流程图，用于显示装置中的图像深度传感组件中，显示装置还包括显示面板，显示面板包括滤波层，该方法包括：
在步骤S201中，向滤波层发射预设相位的参考光。
其中，参考光用于透过滤波层并射向显示面板外部的物体。
可以理解的是，参考光是图像深度传感组件发出的，这是图像深度传感组件的常用功能。
在一种可选的方式中，为方便进行后续的相位差计算，预设相位可以预先进行确定，并在确定好预设相位后，对参考光预先进行相位调制，以使其具有预设相位。
处于参考光能够照射到的范围内的物体就是期望获取深度信息的目标物体，物体某一点的深度是指该点与显示装置之间的距离，对多个点的不同深度加以分析，就能够得到物体的姿态，对多个点的深度随时间变化的趋势进行分析，就能够得到物体的运动趋势，从而分析出物体整体状态的变化。
在步骤S202中，通过接收参考光经物体反射的反射光，获取至少四张输出图像。
其中，至少四张输出图像的接收相位和参考光的发射相位之间分别具有不同的相位差。
可以理解的是，发射相位指的是图像深度传感组件发射参考光时对参考光进行调制后所得到的特定的相位，是参考光所具有的相位。
接收相位指的是图像深度传感组件所接收的光所具有的特定相位，图像深度传感组件被设置成只接收光相位是接收相位的光。
参考光经物体反射后返回显示装置中，经滤波层滤波后，由图像深度传感组件接收并形成了输出图像，理论上，由于接收相位的不同，接收到的输出图像可以有无数个，这些输出图像的接收相位和参考光的发射相位之间具有不同的相位差。获取的输出图像数量少于四个时，根据输出图像得到灰度图像并根据度图像得到深度图像时只能采用近似计算，最终获取的深度图像的精度不高。为了提高精度，本公开实施例提供的方法选择获取至少四张输出图像，至少四张输出图像的接收相位和参考光的发射相位之间分别具有不同的相位差。
为了实现根据输出图像得到灰度图像并根据度图像得到深度图像，至少四张输出图像的接收相位和参考光的发射相位之间具有的不同的相位差需要满足一定分布规律。
在一种可选的方式中，至少四张输出图像的接收相位和参考光的发射相位之间具有的不同的相位差将360°均分。
在一种可选的方式中，至少四张输出图像的数量为四，四张输出图像包括第一输出图像、第二输出图像、第三输出图像和第四输出图像，其中：
第一输出图像的接收相位和参考光的发射相位之间无相位差，即相位差为 0°。
第二输出图像的接收相位和参考光的发射相位之间具有90°的相位差。
第三输出图像的接收相位和参考光的发射相位之间具有180°的相位差。
第四输出图像的接收相位和参考光的发射相位之间具有270°的相位差。
可以理解的是，四张输出图像都是灰度图。
具体地，步骤S202获取输出图像这一步是利用图像深度传感组件中的感光电路完成的。图像深度传感组件的每个像素点上均设置感光电路，感光电路中设置有电容，电容值的变化就体现了每个像素点的光信号的幅度值变化，对于灰度图像来说即反映了每个像素点的灰度值。
下面对图像深度传感组件的原理进行具体介绍：
图像深度传感组件的主要感光电路组成图如图3所示，DM1和DM2分别为图像深度传感组件中一个像素上设置的两个光电开关，可以感知光照。与开关DM1和DM2相对应的是电容Ca和Cb。当DM1的栅极电压为高且DM2的栅极电压为低时，DM1开关打开且DM2关闭，即电流向Ca存储，反之则向 Cb存储。在电容Ca上产生的电压变化为a,在电容Cb上产生的电压变化为b。除上述以外，图3中的Vrst是重置电压，Mr1和Mr2是用于电压重置的三极管。除此之外，图3中还包括恒流源CCS和接地端GND。
图像深度传感组件的接收像素波形图如图4所示，发射和接收时序的测量分为四种，即：发射和接收完全同步(即相位差为0度)，发射和接收相差90 度，发射和接收相差180度以及发射和接收相差270度，分别采集在这四种情况下的输出图像，共有四张，分别是第一输出图像、第二输出图像、第三输出图像和第四输出图像；图4中clk为时钟信号，U1M为发射波形，高电平为发射超声波的阶段，DM1和DM2分别为两个开关的关断时序。由图4可以看出，图4中的左上方的图中，发射和接收相位同步，即为0度接收，然后左下方的图是相位差为90度的情况，右上方是相位差为180度的情况，右下方是相位差为270度的情况。由图3所示的电路以及图4所示的像素波形图可以得到以下公式：a0-b0＝(VAa+VOa+VR-Ga*2cos(Trt/T))-(VAb+VOb+VR+Gb*2cos (Trt/T))。
a180-b180＝(VAa+VOa+VR+Ga2cos(Trt/T))-(VAb+VOb+VR-Gb*2cos (Trt/T))。
a90-b90＝(VAa+VOa+VR-Ga*2cos(Trt/T))-(VAb+VOb+VR+Gb*2cos (Trt/T))。
a270-b270＝(VAa+VOa+VR+Ga2cos(Trt/T))-(VAb+VOb+VR-Gb*2cos (Trt/T))。
其中，a0是发射和接收相差0度时电容Ca上产生的电压变化，a90是发射和接收相差90度时电容Ca上产生的电压变化，a180是发射和接收相差180度时电容Ca上产生的电压变化，a270是发射和接收相差270度时电容Ca上产生的电压变化。
b0是发射和接收相差0度时电容Cb上产生的电压变化，b90是发射和接收相差90度时电容Cb上产生的电压变化，b180是发射和接收相差180度时电容 Cb上产生的电压变化，b270是发射和接收相差270度时电容Cb上产生的电压变化。
VAa和VAb是环境光偏差，V0a和V0b是初始偏差，VR是初始电位(在Vrst重置时等于Vrst的值)，Ga和Gb是信号增益，Trt是开关打开后光存储到电容上的时间，T是clk时钟周期。
对上述四个公式进行简化合并，则能得到以下公式：
a0-b0＝(VAa+VOa+VR)-(VAb+VOb+VR)-(Ga+Gb)*2cos(Trt/T)
a180-b180＝(VAa+VOa+VR)-(VAb+VOb+VR)+(Ga+Gb)*2cos(Trt/T)
a90-b90＝(VAa+VOa+VR)-(VAb+VOb+VR)-(Ga+Gb)*2sin(Trt/T)
a270-b270＝(VAa+VOa+VR)-(VAb+VOb+VR)+(Ga+Gb)*2sin(Trt/T)
其中，a0-b0是发射和接收相差0度时，第一输出图像上某一像素的灰度值，即A1。
a90-b90是发射和接收相差90度时，第二输出图像上某一像素的灰度值，即A2。
a180-b180是发射和接收相差180度时，第三输出图像上某一像素的灰度值，即A3。
a270-b270是发射和接收相差270度时，第四输出图像上某一像素的灰度值，即A4。
如此便可以通过每个像素中的感光电路获取每个输出图像中每个像素的灰度值。
在步骤S203中，获取滤波层的对物体的图像的滤波参数。
在一种可选的方式中，步骤S203中获取滤波层对物体的图像的滤波参数，包括：
在步骤S2031中，获取待定滤波参数公式。
其中，待定滤波参数公式包括：
Figure RE-GDA0002544470670000081
其中，H为滤波层的传递函数矩阵，H*是传递函数矩阵H的伴随矩阵，Hw为待定滤波参数，ε为待定系数。
可以理解的是，待定滤波参数公式中的传递函数矩阵H是在显示装置中的滤波层设置完成后，通过对滤波层进行实际测量得到的，当滤波层确定后，待定滤波参数公式中的传递函数矩阵H是一个已知量。相应的，传递函数矩阵H 的伴随矩阵H*也是对传递函数矩阵H进行相应的计算后可以得到的，因此待定滤波参数公式中传递函数矩阵H的伴随矩阵H*也是已知量。同理，待定滤波参数公式中的|H|2也是已知量。因此未知量仅有待定系数ε和待定滤波参数Hw，待定滤波参数由待定系数ε和多个已知量利用上述待定滤波参数公式表示。
在步骤S2032中，将至少四张输出图像分别与待定滤波参数卷积得到至少四张灰度图像，确定至少四张灰度图像的清晰度均为最高时所对应的至少四个准最佳系数。
在将至少四个输出图像分别与待定滤波参数卷积得到至少四张灰度图像的过程中，由于待定滤波参数是由待定系数ε和多个已知量利用上述待定滤波参数公式表示的，因此待定滤波参数中存在一个待定的未知量，即待定系数ε。在一种可选的方式中，可以先利用迭代法对待定系数ε进行赋值，利用赋值后的相应的系数ε值来表示待定滤波参数，并与至少四张输出图像进行卷积，得到至少四张灰度图像，并计算与每个赋值对应的灰度图像的清晰度，具体地，清晰度可以利用梯度算法计算得到。对系数ε的赋值不同，卷积后得到的相应的灰度图像的清晰度也不同，至少四张输出图像分别进行卷积后一定分别存在至少四张清晰度最高的灰度图像，能使至少四张灰度图像的清晰度均为最高时所对应的至少四个系数则为准最佳系数，可以理解的是，准最佳系数的数量和输出图像的数量相同。
在步骤S2033中，将至少四个准最佳系数的平均值确定为目标系数。
在一种可选的方式中，平均值可以是对至少四个准最佳系数进行计算平均或者几何平均后得到的。
在步骤S2034中，将目标系数带入待定滤波参数公式，得到滤波参数。
可以理解的是，在利用准最佳系数得到最清晰的灰度图像时，相当于对输出图像进行了适当的清晰化处理，例如对输出图像的景物边缘进行适当的锐化处理，因此，最清晰的灰度图像与真实图像相比可能会存在一定的失真，最清晰的灰度图像并不一定是最适宜进行分析并得到深度图像的，因此需要对至少四个准最佳系数进行取平均值处理以得到最终的目标系数，将目标系数作为待定滤波参数公式中的系数，可以在保证灰度图像清晰度的同时保证深度图像的准确性。
在步骤S204中，根据滤波参数以及至少四张输出图像，得到至少四张灰度图像。
在一种可选的方式中，根据滤波参数以及至少四张输出图像，得到至少四张灰度图像，包括：
将至少四张输出图像分别与滤波参数卷积得到至少四张灰度图像。
具体卷积公式如下：
S＝D*Hw
其中D表示输出图像，Hw表示滤波参数，S表示灰度图像。
由于传统的深度相机是利用光学镜头组进行光学变换的，实际的景物反射回的光线透过光学镜头组后得到所成的像。而本公开实施例利用滤波层代替传统的光学镜头组，因此实际的景物反射回的光线是透过滤波层后得到所成的像的，上述公式则表示了利用滤波层的滤波参数Hw将所成的输出图像D进行还原并得到灰度图像S的过程，可以理解的是，滤波层的滤波参数HW实际就相当于滤波层的逆传递函数。
具体地，步骤S204中的图像还原过程可以利用集成在图像深度传感组件中的处理器来完成，无需利用任何光学元件进行光学变换。经过步骤S204得到了还原后的灰度图像后，每张灰度图像中每个像素点的灰度值也就同时得到了，从而可以利用这些灰度值来计算深度值，以得到深度图像：
在步骤S205中，根据至少四张灰度图像得到深度图像。
在一种可选的方式中，至少四张灰度图像为所述第一输出图像对应的第一灰度图像、所述第二输出图像对应的第二灰度图像、所述第三输出图像对应的第三灰度图像以及所述第四输出图像对应的第四灰度图像，根据至少四张灰度图像得到深度图像包括：
获取所述第一灰度图像、所述第二灰度图像、所述第三灰度图像以及所述第四灰度图像中每张灰度图像中每个像素点的灰度值。
根据每个像素点的灰度值以及深度图像公式得到深度图像，深度图像公式包括：
Figure RE-GDA0002544470670000101
Figure RE-GDA0002544470670000102
其中，φ为中间量，A1、A2、A3和A4分别为第一灰度图像、第二灰度图像、第三灰度图像和第四灰度图像中相同位置的像素点的灰度值，L为深度图像中每个像素点对应的景深参数，φ为所述深度图像中每个像素点对应的相位差，C为光速，π为圆周率，f为参考光的频率。
可以理解的是，步骤S205也是利用图像深度传感组件中的处理器来实现的一个计算步骤，可以无需利用到图像深度传感组件中的感光电路，图像深度传感组件中的感光电路只在步骤S202中发挥作用。
在一种可选的方式中，深度传感组件和显示面板可以由两个单独的驱动电源供电。
在一种可选的方式中，深度传感组件还可以与显示面板共用同一驱动电源，只是分别对应于同一驱动电源中的两个不同的电源模块。
本公开提供的技术方案所带来的有益效果至少包括：
本公开提供的深度图像的获取方法，用于显示装置中的图像深度传感组件中，显示装置还包括显示面板，显示面板包括滤波层，通过先发射预设相位的参考光，并接收参考光经物体反射的反射光，获取至少四张接收相位和参考光的发射相位不同的输出图像，并根据滤波层的滤波参数对至少四张输出图像进行还原，得到至少四张灰度图像，并根据至少四张灰度图像得到深度图像，由于利用滤波层代替了传统深度相机中的光学镜头，无需设置复杂的光学镜头组，使得深度相机能够很好地集成在显示装置中。
如图5所示，其为本公开实施例提供的一种显示装置的结构图，显示装置包括显示面板31以及图像深度传感组件32，显示面板31包括滤波层311，图像深度传感组件32用于执行深度图像的获取方法。
在一种可选的方式中，图像深度传感组件32位于显示面板31的外部。
在一种可选的方式中，如果图像深度传感组件32是采用硅基工艺制成的，图像深度传感组件32则可以直接设置在显示面板31内部，与显示面板31设置成一体结构。
在一种可选的方式中，所述显示面板31包括层叠设置的透明基板312、所述滤波层311以及透明封装膜层313，所述图像深度传感组件32位于所述透明基板312远离所述透明封装膜层313一侧。
在一种可选的方式中，深度传感组件32和显示面板31可以由两个单独的驱动电源供电。
在一种可选的方式中，深度传感组件32还可以与显示面板31共用同一驱动电源，只是分别对应于同一驱动电源中的两个不同的电源模块。在一种可选的方式中，所述滤波层311包括叠置的发光单元层3111和掩膜层3112，所述掩膜层3112位于所述滤波层311中靠近所述图像深度传感组件32的一侧。将掩膜层3112设置在滤波层311中靠近图像深度传感组件32的一侧，可以提高显示装置的出光率，避免掩膜层3112阻挡发光单元层3111向显示面板31出光侧发出的光。
由于将显示面板31中的透明基板312以及透明封装膜层313都设置成透明的，提高了光透过率，使得从物体反射回的光线能够更有效地照射至图像深度传感组件32。
在一种可选的方式中，掩膜层3112的材料包括钼金属材料。
在一种可选的方式中，掩膜层3112的具体图样如图6所示，图6是掩膜层 3112的俯视图。图6中的黑色区域是遮挡区域，可遮挡光线，白色区域是镂空区域，可透过光线，由于掩膜层3112具有如图6所示的图案，使得掩膜层3112 具有滤光作用，可以对透过的光线进行编码。具体图案可以根据实际的滤波编码需求进行设置，使得掩膜层3112具有特定的编码功能。发光单元层3111可以包括至少一个有机发光二极管(Organic Light-EmittingDiode,OLED)31111，发光单元层3111用于发出红绿蓝光。
图像深度传感组件32中包括的图像深度传感器的数量和有机发光二极管 31111的数量相同。
可以理解的是，由于有机发光二极管31111并不是完全透明的，因此发光单元层3111也不是完全透明的，会起到一定的被动滤波作用。而发光单元层3111 与掩膜层3112叠置，又共同构成了滤波层311，因此滤波层311是显示面板中不完全透明的层级结构，具有滤波作用。从物体反射回的光线射入显示面板后，先透过发光单元层3111，光线被进行一次编码，然后再透过掩膜层3112，光线被进行第二次编码，从物体反射回的所有光线经过两次编码后，即可得到需要的输出图像。可以根据实际的成像需求，选取适宜的发光单元层3111和掩膜层 3112，使得发光单元层3111和掩膜层3112相组合后所具有的滤波编码特性是适合成像的，具有足够的编码能力。
由于有机发光二极管31111的形状是比较固定的，因此单独的发光单元层 3111的只具有一定的被动编码能力，基于此，本公开实施例中还设置了掩膜层 3112，与发光单元层3111共同作用，对光线进行有效且可控地编码。
物体反射回的光线一般是发散且混乱的，不能够直接利用感光设备进行有效的采集，因此在传统相机中会设置一套光学镜头，用于对物体反射回的发散且混乱的光线进行汇聚和编码，后续再对通过光学镜头后得到的图像进行还原，得到需要的图像。
而采用上述设置方式，通过滤波层311对物体反射回的混乱光线进行编码后，后续也以通过还原算法得到最终的灰度图像。也就是说，滤波层311也能够对混乱光线进行编码，很好地替代了传统相机中的光学镜头，使得相机能够具有更高的集成度和更小的体积。
滤波层311的编码特性在进行图像还原时是利用传递函数矩阵来表示的，不同的滤波层311可以具有不同的传递函数矩阵，在一种可选的方式中，可以根据实际的成像需求，选择具有相应传递函数矩阵的滤波层311。
在一种可选的方式中，掩膜层3112为显示屏中的阳极导电层。
直接利用阳极导电层作为掩膜层3112，可以减少显示装置的层数，简化结构，降低成本。
结合图5来看，本公开提供的显示装置的工作过程如下：
图像深度传感组件32发出参考光，透过显示面板31，照射到物体上返回，返回的光透过显示面板31，被图像深度传感组件32采集，图像深度传感组件 32从采集到的多张输出图像中获取四张特定相位的输出图像，并对这四张输出图像进行图像还原，得到四张灰度图，最后根据还原出的这四张灰度图像得到深度图像。
采用上述设置方式，通过滤波层311对物体反射回的混乱光线进行编码后，后续也以通过还原算法得到最终的灰度图像。滤波层311替代了传统相机中的光学镜头，使得相机能够具有更高的集成度和更小的体积。
可以理解的是，图像深度传感组件32的感光电路采集得到的只有未经还原的输出图像，但图像深度传感组件32还具有还原图像的功能，图像深度传感组件32还进一步地对输出图像进行还原，得到灰度图像，并根据灰度图像确定深度信息。即，图像深度传感组件32虽采集到了输出图像，最终的深度信息是依据还原后的灰度图像来确定的。图像还原以及得到灰度图像的这两步均利用图像深度传感组件32中集成的处理器来完成。
本公开提供的技术方案所带来的有益效果至少包括：
本公开提供的显示装置，显示装置包括显示面板31以及图像深度传感组件 32，显示面板31包括滤波层311，图像深度传感组件32用于执行深度图像的获取方法。由于利用滤波层311代替了传统深度相机中的光学镜头，无需设置复杂的光学镜头组，使得深度相机能够很好地集成在显示装置的屏幕中，从而利用显示装置直接获取深度图像。
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开说明书所附权利要求限定的保护范围之内。

Claims (12)

1.一种深度图像的获取方法，其特征在于，用于显示装置中的图像深度传感组件中，所述显示装置还包括显示面板，所述显示面板包括滤波层，所述方法包括：
向所述滤波层发射预设相位的参考光，所述参考光用于透过所述滤波层并射向所述显示面板外部的物体；
通过接收所述参考光经所述物体反射的反射光，获取至少四张输出图像，所述至少四张输出图像的接收相位和所述参考光的发射相位之间分别具有不同的相位差；
获取所述滤波层的对所述物体的图像的滤波参数；
根据所述滤波参数以及所述至少四张输出图像，得到对应的至少四张灰度图像；
根据所述至少四张灰度图像得到深度图像。
2.根据权利要求1所述的方法，其特征在于，
所述至少四张输出图像的接收相位和参考光的发射相位之间具有的不同的相位差将360°均分。
3.根据权利要求1所述的方法，其特征在于，所述获取所述滤波层对所述物体的图像的滤波参数，包括：
获取待定滤波参数公式，所述待定滤波参数公式包括：
Figure FDA0002393906580000011
其中，H为所述滤波层的传递函数矩阵，H*是所述传递函数矩阵H的伴随矩阵，Hw为所述待定滤波参数，ε为待定系数；
将所述至少四张输出图像分别与所述待定滤波参数卷积得到至少四张灰度图像，确定所述至少四张灰度图像的清晰度均为最高时所对应的至少四个准最佳系数；
将所述至少四个准最佳系数的平均值确定为目标系数；
将所述目标系数带入所述待定滤波参数公式，得到所述滤波参数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述滤波参数以及所述至少四张输出图像，得到至少四张灰度图像，包括：
将所述至少四张输出图像分别与所述滤波参数卷积得到所述至少四张灰度图像。
5.根据权利要求2所述的方法，其特征在于，所述至少四张输出图像的数量为四，四张所述输出图像包括第一输出图像、第二输出图像、第三输出图像和第四输出图像，其中：
所述第一输出图像的接收相位和参考光的发射相位之间无相位差，
所述第二输出图像的接收相位和参考光的发射相位之间具有90°的相位差，
所述第三输出图像的接收相位和参考光的发射相位之间具有180°的相位差，
所述第四输出图像的接收相位和参考光的发射相位之间具有270°的相位差。
6.根据权利要求5所述的方法，其特征在于，所述至少四张灰度图像为所述第一输出图像对应的第一灰度图像、所述第二输出图像对应的第二灰度图像、所述第三输出图像对应的第三灰度图像以及所述第四输出图像对应的第四灰度图像，所述根据所述至少四张灰度图像得到深度图像包括：
获取所述第一灰度图像、所述第二灰度图像、所述第三灰度图像以及所述第四灰度图像中每张灰度图像中每个像素点的灰度值；
根据所述每个像素点的灰度值以及深度图像公式得到所述深度图像，所述深度图像公式包括：
Figure FDA0002393906580000021
Figure FDA0002393906580000022
其中，Α1、Α2、Α3和Α4分别为所述第一灰度图像、第二灰度图像、第三灰度图像和第四灰度图像中相同位置的像素点的灰度，L为所述深度图像中每个像素点对应的景深参数，φ为所述深度图像中每个像素点对应的相位差，C为光速，π为圆周率，f为参考光的频率。
7.一种显示装置，其特征在于，所述显示装置包括显示面板以及图像深度传感组件，所述显示面板包括滤波层，所述图像深度传感组件用于执行权利要求1-6任一所述的深度图像的获取方法。
8.根据权利要求7所述的显示装置，其特征在于，所述图像深度传感组件位于所述显示面板的外部。
9.根据权利要求8所述的显示装置，其特征在于，所述显示面板包括层叠设置的透明基板、所述滤波层以及透明封装膜层，所述图像深度传感组件位于所述透明基板远离所述透明封装膜层一侧。
10.根据权利要求9所述的显示装置，其特征在于，所述滤波层包括叠置的发光单元层和掩膜层，所述掩膜层位于所述滤波层中靠近所述图像深度传感组件的一侧。
11.根据权利要求9所述的显示装置，其特征在于，所述掩膜层的材料包括钼金属材料。
12.根据权利要求10所述的显示装置，其特征在于，所述掩膜层为所述显示屏中的阳极导电层。
CN202010124155.1A 2020-02-27 2020-02-27 深度图像的获取方法及显示装置 Active CN111464721B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010124155.1A CN111464721B (zh) 2020-02-27 2020-02-27 深度图像的获取方法及显示装置
PCT/CN2021/078271 WO2021170114A1 (zh) 2020-02-27 2021-02-26 深度图像的获取方法、装置及显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010124155.1A CN111464721B (zh) 2020-02-27 2020-02-27 深度图像的获取方法及显示装置

Publications (2)

Publication Number Publication Date
CN111464721A true CN111464721A (zh) 2020-07-28
CN111464721B CN111464721B (zh) 2022-02-08

Family

ID=71679999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010124155.1A Active CN111464721B (zh) 2020-02-27 2020-02-27 深度图像的获取方法及显示装置

Country Status (2)

Country Link
CN (1) CN111464721B (zh)
WO (1) WO2021170114A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021170114A1 (zh) * 2020-02-27 2021-09-02 京东方科技集团股份有限公司 深度图像的获取方法、装置及显示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566290A (zh) * 2010-12-22 2012-07-11 上海微电子装备有限公司 投影式斜坡曝光光刻机装置与方法
CN102679950A (zh) * 2012-05-18 2012-09-19 中国航空工业集团公司北京长城计量测试技术研究所 一种基于三波长飞秒激光的测距装置及方法
CN102930507A (zh) * 2011-08-08 2013-02-13 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置
CN103370112A (zh) * 2012-12-24 2013-10-23 华为技术有限公司 一种激光光源输出装置及激光输出系统
US20140354775A1 (en) * 2013-06-03 2014-12-04 Microsoft Corporation Edge preserving depth filtering
CN107105130A (zh) * 2016-02-19 2017-08-29 三星电子株式会社 电子设备及其操作方法
CN108616735A (zh) * 2016-12-02 2018-10-02 北京三星通信技术研究有限公司 用于获得对象的三维深度图像的装置和方法
WO2018205993A1 (zh) * 2017-05-12 2018-11-15 京东方科技集团股份有限公司 有机电致发光器件及其制作方法、发光装置
CN109962091A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 一种电致发光显示面板及显示装置
CN110780282A (zh) * 2019-10-25 2020-02-11 深圳煜炜光学科技有限公司 一种具有同步并行扫描功能的多线激光雷达和控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9222767B2 (en) * 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
CN109215604B (zh) * 2018-11-07 2021-01-26 京东方科技集团股份有限公司 显示装置及其纹路识别方法、实现该方法的产品、纹路识别器件
CN109508683B (zh) * 2018-11-21 2021-01-12 京东方科技集团股份有限公司 用于显示装置的纹路识别方法、纹路检测芯片及显示装置
CN111464721B (zh) * 2020-02-27 2022-02-08 京东方科技集团股份有限公司 深度图像的获取方法及显示装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566290A (zh) * 2010-12-22 2012-07-11 上海微电子装备有限公司 投影式斜坡曝光光刻机装置与方法
CN102930507A (zh) * 2011-08-08 2013-02-13 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置
CN102679950A (zh) * 2012-05-18 2012-09-19 中国航空工业集团公司北京长城计量测试技术研究所 一种基于三波长飞秒激光的测距装置及方法
CN103370112A (zh) * 2012-12-24 2013-10-23 华为技术有限公司 一种激光光源输出装置及激光输出系统
US20140354775A1 (en) * 2013-06-03 2014-12-04 Microsoft Corporation Edge preserving depth filtering
CN107105130A (zh) * 2016-02-19 2017-08-29 三星电子株式会社 电子设备及其操作方法
CN108616735A (zh) * 2016-12-02 2018-10-02 北京三星通信技术研究有限公司 用于获得对象的三维深度图像的装置和方法
WO2018205993A1 (zh) * 2017-05-12 2018-11-15 京东方科技集团股份有限公司 有机电致发光器件及其制作方法、发光装置
CN109962091A (zh) * 2019-03-29 2019-07-02 京东方科技集团股份有限公司 一种电致发光显示面板及显示装置
CN110780282A (zh) * 2019-10-25 2020-02-11 深圳煜炜光学科技有限公司 一种具有同步并行扫描功能的多线激光雷达和控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021170114A1 (zh) * 2020-02-27 2021-09-02 京东方科技集团股份有限公司 深度图像的获取方法、装置及显示装置

Also Published As

Publication number Publication date
CN111464721B (zh) 2022-02-08
WO2021170114A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
JP6480441B2 (ja) 飛行時間型カメラシステム
KR102456875B1 (ko) 심도 촬상 장치, 방법 및 응용
CN107370913B (zh) 摄像装置、摄像系统以及光检测方法
JP7208156B2 (ja) ピクセルワイズイメージングの方法及びシステム
CN108291969B (zh) 具有共享像素读出电路系统的成像传感器
Zhang et al. Hyperspectral image reconstruction using deep external and internal learning
JP4900723B2 (ja) 画像処理装置、画像処理プログラムおよび表示装置
CN111758047B (zh) 单芯片rgb-d相机
Kelcey et al. Sensor correction and radiometric calibration of a 6-band multispectral imaging sensor for UAV remote sensing
CN107801425A (zh) 固态摄像器件及其驱动方法和电子设备
Cho et al. A 3-D camera with adaptable background light suppression using pixel-binning and super-resolution
CN110089106B (zh) 用以产生高动态范围图像的动态范围扩展
EP2521926A1 (en) Demodulation sensor with separate pixel and storage arrays
US20150199792A1 (en) System and method for obtaining super image resolution through optical image translation
Shen et al. Underwater optical imaging: Key technologies and applications review
CN111464721B (zh) 深度图像的获取方法及显示装置
Yadav et al. A review on image fusion methodologies and applications
WO2020172123A1 (en) Microscopy with near-ideal scmos camera
Holloway et al. Generalized assorted camera arrays: Robust cross-channel registration and applications
CN111678457A (zh) 一种OLED透明屏下ToF装置及测距方法
CN113325439B (zh) 一种深度相机及深度计算方法
Shim et al. Hybrid exposure for depth imaging of a time-of-flight depth sensor
Conde et al. Low-light image enhancement for multiaperture and multitap systems
CN108551541A (zh) 一种低成本高灵敏度的成像系统及其成像方法
Malviya et al. Multi-focus image fusion of digital images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant