CN113052887A - 一种深度计算方法及系统 - Google Patents

Abstract

本申请适用于图像处理领域，涉及一种深度计算方法，方法包括：获取相机模块内已被划分为多个区域的成像区域形成的斑点图像；处理斑点图像，得到每个区域的斑点在斑点图像中的第一位置信息；基于第一位置信息和预设参考斑点的第二位置信息，针对每个所述区域计算该区域的斑点与参考斑点的视差；根据视差，计算目标区域的深度。本申请采用基于多个区域对斑点的位置信息进行计算，利用参考斑点的位置信息及斑点的位置信息计算视差的视差计算方法，运算简单且速度更快。

Description

一种深度计算方法及系统

技术领域

本申请属于图像处理领域，尤其涉及一种深度计算方法及系统。

背景技术

目前各大手机厂商都在寻求将摄像头放置于显示屏下的方法，以提升屏幕占比。由于光透过显示屏时会发生能量衰减、衍射等问题，导致屏下结构光的斑点图斑点对比度较低，在进行斑点块匹配时容易发生错误，导致深度图中出现大面积空洞，影响三维成像质量。

现有技术中，基于斑点块匹配的结构光，为保证深度精度，投射的斑点点数量较多，导致总功率固定的情况下，每个斑点点的能量较弱。放置于屏下后，受到屏衰减衍射等影响，投射到目标上的斑点质量较差，难以得到完整的目标深度图。

发明内容

本申请实施例提供一种深度计算方法及系统，可以解决现有技术的深度计算方法，运算复杂且速度较慢，并且对斑点块进行匹配时容易发生错误，进而导致深度图中出现大面积空洞，影响三维成像质量的技术问题。

第一方面，本申请实施例提供一种深度计算方法，应用于屏下设备，包括：

获取相机模块内已被划分为多个区域的成像区域形成的斑点图像；

处理所述斑点图像，得到每个所述区域的斑点在所述斑点图像中的第一位置信息；

基于所述第一位置信息和第二位置信息，针对每个所述区域计算该区域的所述斑点与参考斑点的视差；

根据所述视差，计算目标区域的深度；

其中，所述斑点图像为经投影模块投射的规则斑点经目标区域反射后透过显示屏至相机模块形成的图像；所述第二位置信息是预先存储的参考斑点图像的每个所述区域的所述参考斑点的位置信息。

在第一方面一种可能实现的方式中，处理所述斑点图像，得到每个所述区域的斑点在所述斑点图像中的第一位置信息包括：

计算出每个所述区域的斑点在所述斑点图像的斑点轮廓边缘点的坐标信息；

基于所述斑点轮廓边缘点的坐标信息，计算每个所述区域的斑点的中心坐标。

其中，所述计算出每个所述区域的斑点在所述斑点图像的斑点轮廓边缘点的坐标信息；基于所述斑点轮廓边缘点的坐标信息，计算每个所述区域的斑点的中心坐标包括：

利用方差的高斯核对所述斑点图像进行高斯滤波，得到经滤波的斑点图像；

对所述经滤波的斑点图像进行拉普拉斯变换，得到所述经滤波的斑点图像的拉普拉斯图像；

结合所述经滤波的斑点图像和所述经滤波的斑点图像的拉普拉斯图像，得到斑点图像的轮廓边缘点求解方程；

对所述斑点图像的轮廓边缘点求解方程求解即可得到所述斑点图像的轮廓边缘点的坐标信息；

基于所述斑点轮廓边缘点的坐标信息，计算所述斑点图像的每个所述区域的斑点的中心坐标。

进一步的，所述基于所述第一位置信息和第二位置信息，针对每个所述区域计算该区域的所述斑点与参考斑点的视差包括：

基于所述参考斑点图像的每个所述区域的参考斑点的中心坐标和对应的所述斑点图像的每个所述区域的斑点的中心坐标，针对每个所述区域计算该区域的斑点与参考斑点的视差。

第二方面，本申请实施例提供一种深度计算系统，包括投影模块、相机模块、控制与处理模块、存储模块及显示屏，所述投影模块和所述相机模块设置于所述显示屏下方，其中：

所述投影模块，用于透过所述显示屏向目标区域投射规则斑点图案；

所述相机模块，包括预先被划分为多个区域的成像区域，用于采集经目标区域反射后透过所述显示屏的斑点图案，并在所述成像区形成斑点图像；

所述控制与处理模块，用于处理所述斑点图像，得到每个所述区域的斑点在所述斑点图像中的第一位置信息；并基于所述第一位置信息和预设的参考散斑图像第二位置信息，针对每个所述区域计算该区域的所述斑点与参考斑点的视差；

存储模块，用于存储的参考斑点图像的每个所述区域的所述参考斑点的所述第二位置信息；

其中，所述成像区域中的每个所述区域仅包括一个斑点。

本申请实施例与现有技术相比存在的有益效果是：

本申请采用基于多个区域对斑点的位置信息进行计算，利用参考斑点的位置信息及斑点的位置信息计算视差的视差计算方法，运算简单且速度更快。且基于多个区域对斑点的位置进行计算时，每个区域中的参考斑点与该区域中的斑点不需要进行匹配三维成像质量高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请一实施例提供的深度计算系统的结构示意图；

图1b是本申请一实施例提供的将成像区域划分为多个区域的示意图；

图2a是本申请一实施例提供的深度计算方法步骤流程图；

图2b是本申请一实施例提供的斑点图像的示意图；

图3是本申请一实施例提供的对第一位置信息的计算方法流程图；

图4是本申请一实施例提供的一种计算斑点轮廓边缘点的坐标信息的方法流程图

图5是本申请一实施例提供的单目结构光三角法原理示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本申请说明书中描述的参考“本申请实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在另一些实施例中”、“本申请一实施例”、“本申请其他实施例”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了说明本申请的技术方案，下面通过具体实施例来进行说明。

图1a是本申请一实施例提供的深度计算系统的结构示意图，包括显示屏100、投影模块110、相机模块120、控制与处理模块130及存储模块140，其中，投影模块110和相机模块120设置于显示屏100的下方，投影模块110透过显示屏100向目标区域投射规则斑点图案；相机模块120包括已被划分为多个区域的成像区域，用于接收经目标区域反射后透过显示屏100的斑点图案，并生成斑点图像；存储模块140用于存储预设参考斑点图像；控制与处理模块130，用于控制投影模块110和相机模块120，并根据斑点图像和参考斑点图像对应区域中的斑点进行视差计算以获取目标区域的深度。其中，投影模组110投射的斑点图案根据相机模块120的成像区域划分的区域进行设计，使每个区域仅包括一个斑点。

在一个实施例中，显示屏100可以是使用阴极射线管(cathode ray tube，CRT)的显示屏，即CRT显示屏，也可以是使用发光二极管(light emitting diode，LED)的显示屏，即LED显示屏，也可以是液晶显示屏(liquid crystal display，LCD)，也可以是三维显示屏，本申请实施例不对显示屏的类型作出限制。

在一些实施例中，投影模块110包括光源111和光学组件112。其中，光源111可以是边发射激光器、垂直腔面发射激光器等，也可以是多个光源组成的光源阵列，光源所发射的光束可以是激光、可见光、红外光、紫外光等，本申请实施例不对光源111的构成进行限定。本申请实施例以光源为垂直腔面发射激光器进行举例说明，垂直腔面发射激光器发射的激光具有普通光所不具有的特点，例如单色性好，相干性好、方向性好、以及亮度高等。正是由于激光具有这些特性，当激光照射粗糙表面或透过折射不均匀的投射体时，会产生斑点图案。

在一个实施例中，光学组件112包括光学衍射元件和透镜元件，其中透镜元件接收光源发射的光束并将其汇聚至光学衍射元件，光学衍射光学元件接收经透镜元件汇聚后的光束并透过显示屏100向目标区域投射规则斑点图案。需要说明的是，本申请实施例形成的斑点图案为具有稀疏点阵的斑点图案；透镜元件数量可根据具体情况进行设计；光学衍射元件和透镜元件可为独立元件，亦可为一体化元件，此处不作限制。

在一个实施例中，投影模块110透过显示屏100向目标区域主动投射具有稀疏点阵的斑点图案，相对于现有的主动投射密集点阵的斑点图案，降低了投影模块在总功耗或在相同功耗下，具有更高的单点光功率，获得信噪比更高的斑点图像，具有更远的探测距离和更高的抗噪声能力。

在又一个实施例中，光学组件112包括微透镜阵列，微透镜阵列包括多个微透镜单元，当微透镜单元尺寸远小于光源发射的单个斑点的尺寸时，光源可为单点激光；当微透镜单元尺寸与光源发射的单个斑点的尺寸相似或相等时，光源为规则或不规则的阵列激光。微透镜阵列接收光源发射的多束光束，将其整形为均匀斑点并透过显示屏100投射至目标区域。需要理解的是，该光学组件112还可以包括透镜元件，透镜元件接收经微透镜阵列整形后的均匀斑点并准直投射至目标区域，此处不作限制。

在另一个实施例中，当光学组件112仅包括透镜元件时，光源111为规则排列的阵列激光。透镜元件接收经阵列激光发射的多束光束，并将其准直为平行光束透过显示屏100投射至目标区域，以在目标区域形成规则斑点。需要说明的是，透镜元件数量可根据具体情况进行设计。

在一个实施例中，相机模块120可包括图像传感器，图像传感器中的成像区域被预先划分为多个区域，用于接收由物体经目标区域反射后透过显示屏100的斑点图案，进一步地成像在图像传感器上，形成斑点图像。其中，图像传感器可以是电荷耦合元件(chargecoupled device，CCD)互补金属氧化物半导体(complementary metal-oxide-semiconductor transistor，CMOS)、雪崩二极管(avalanche diode，AD)、单光子雪崩二极管(single photon avalanche diode，SPAD)等组成的图像传感器，本申请实施例不对图像传感器的组成作出限定。

在一个实施例中，基于单目结构光三角法原理，对相机模块120中图像传感器的成像区域进行划分，具体区域的划分如下所述：

确定相机模块120的最大工作距离和最小工作距离，工作距离是指相机模块120能够取得清晰图像的成像所测定的目标区域的物体前后距离范围。

假设确定相机模块120的最大工作距离为z_max和最小工作距离为z_min，基于单目结构光三角法原理，相机模块120在工作距离内形成的视差分别为：

其中，d₁为相机模块在最大工作距离时形成的视差，d₂为相机模块在最小工作距离时形成视差，z_max为相机模块的最大工作距离，z_min为相机模块的最小工作距离，Z_ref是相机模块到参考平面的距离，f是相机模块的焦距，b是相机模块的基准线。

进一步地，视差宽度为d＝|d₁|+|d₂|，根据视差宽度，划分相机模块120的成像区域为多个区域，如图1b所示。在一个实施例中，区域宽度优选为d，区域的高度大于斑点的直径D，以确保相机在最大工作距离及最小工作距离工作时，每个区域内仅包含一个斑点。

需要说明的是，d和D为阈值，区域的宽度和高度设置大于阈值，保证每个区域内仅包括一个斑点即可，此处不作限制。

在一个实施例中，控制与处理模块130可以是中央处理单元(central processingunit，CPU)，控制与处理模块130还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一个实施例中，所述存储模块140可以是所述控制与处理模块130的内部存储单元，例如控制与处理模块130的硬盘或内存。所述存储模块130还可以是所述控制与处理模块130的外部存储设备，例如所述控制与处理模块130上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card，FD)等。进一步地，所述存储模块140还可以既包括所述控制与处理模块130的内部存储单元也包括外部存储设备。所述存储模块140用于存储操作系统、应用程序、引导装载程序(bootloader，BL)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储模块140还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例提供的深度计算系统，投影模块主动投射具有稀疏点阵的斑点图案，相对于现有的主动投射密集点阵的斑点图案，降低了投影模块在总功耗或在相同功耗下，具有更高的单点光功率，获得信噪比更高的斑点图像，具有更远的探测距离和更高的抗噪声能力，相对于现有的被动式三角测量技术，保证了被测物体上有充足的特征点。相机采集由物体在目标区域反射回来的至少部分光束并成像在图像传感器上形成的斑点图像。通过将成像区域划分为多个区域，基于多个区域对斑点的位置信息进行计算的视差计算方法，运算简单且速度更快。

需要说明的是，本申请其他实施例中，相机模块120本身可以具备计算深度能力，此时，控制与处理模块130的功能可以集成于相机模块120。相机模块120还可包括，但不仅限于，处理单元、存储单元以及存储在所述存储单元中并可在所述处理单元上运行的计算机程序。所述处理单元执行所述计算机程序时，实现下述实施例中深度计算方法实施例中的步骤。本领域技术人员可以理解，相机模块120包括图像传感器、透镜单元、处理器、存储器及计算机程序仅仅是对相机模块120的举例，并不构成对相机模块120的限定，可以包括比更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等，此处不作限制。

本申请文件不限定深度计算系统的具体构成，深度计算系统可以包括比图1a所示示例更多或更少的部件，或者组合某些部件，或者不同的部件。图1a仅为示例性描述，不能解释为对本申请的具体限制。

图2a是本申请一实施例提供的深度计算方法步骤流程图。本申请实施例是通过将成像区域划分为多个区域，进一步根据区域中的斑点与参考斑点计算视差并获取深度。作为一实现方式，图2a中的方法可以被图1a中的控制与处理模块130执行。作为其他实现方式，图2a中的方法可以被图1a中的相机模块120执行。方法更具体地包括S201至S204：

S201：获取斑点图像。

在一个实施例中，通过投影模块110透过显示屏100向目标区域投射已编码的激光即具有稀疏点阵的斑点图案。优选地，斑点图案中的斑点的半径为D/2，此激光经过目标区域中物体的反射后透过显示屏100至相机模块120的成像区域的各区域形成斑点图像，斑点图像的示意图请参考图2b，图2b是本申请一实施例提供的斑点图像的示意图。

S202，处理斑点图像，得到每个区域的斑点在斑点图像中的第一位置信息；每个所述区域的斑点与该区域的参考斑点相对应。

在一个实施例中，终端设备获取到斑点图像之后，对斑点图像进行处理，得到每个区域的斑点在斑点图像中的第一位置信息，如图3所示，更具体地包括步骤S301至S302：

S301，计算每个区域的斑点在斑点图像的斑点轮廓边缘点的坐标信息。

图4是图3中S301的一种实施方式。在一个实施例中，利用高斯拉普拉斯算法检测在各个区域中斑点的位置信息，更具体包括S401至S404：

S401，利用方差的高斯核对斑点图像进行高斯滤波，得到经滤波的斑点图像。

具体的，利用方差σ的高斯核G(x,y,σ)对斑点图像I(x,y)进行高斯滤波，本申请对斑点图像进行高斯滤波，可以消除高斯噪音。因此，经滤波的斑点图像为：

L_σ(x,y)＝I(x,y)*G_σ(x,y)

其中，I表示斑点图像的灰度值，*表示卷积。需要说明的是，方差σ可根据斑点的半径D/2进行具体设计，此处不作限制。

S402，对经滤波的斑点图像进行拉普拉斯变换，得到经滤波的斑点图像的拉普拉斯图像。

具体的，经高斯滤波后的斑点图像的拉普拉斯图像为：

S403，结合经滤波的斑点图像和经滤波的斑点图像的拉普拉斯图像，得到斑点图像的轮廓边缘点求解方程。

具体的，将经滤波的斑点图像代入经高斯滤波后的斑点图像的拉普拉斯图像，可以得到：

S404，对斑点图像的轮廓边缘点求解方程求解即可得到斑点图像的轮廓边缘点的坐标信息。

具体的，对S403中的公式取极值点则为斑点图像中各区域的斑点轮廓边缘点，将斑点轮廓边缘点代入S403中的公式即可求得斑点图像的灰度值。

需要说明的是，本申请实施例还可以利用Surf算法或Sift算法等斑点检测算法检测出在各个区域中斑点的位置信息，此处不作限制。

S302，基于斑点轮廓边缘点的坐标信息，计算每个区域的斑点的中心坐标。

在一个实施例中，利用最小二乘的椭圆中心二次拟合方法获取各个区域斑点的中心坐标进行举例。

具体的，基于S404获取斑点图像的斑点轮廓边缘点的坐标信息及斑点图像的灰度值，在本申请实施例中假设斑点图像的斑点的中心坐标为(x₀,y₀)，斑点在斑点图像中的像素大小为m×n，则对公式：

进行求解，即可计算出斑点图像的每个区域的斑点的中心坐标。

S203，基于第一位置信息和预先存储参考斑点图像的第二位置信息，针对每个区域计算该区域的斑点和参考斑点的视差。

在一个实施例中，参考斑点图像的每个区域的参考斑点的中心坐标即第二位置信息，其预先存储于存储器132中，基于参考斑点图像的每个区域的参考斑点的中心坐标和S302计算出的斑点图像的每个区域的斑点的中心坐标，针对每个区域计算该区域的斑点与参考斑点的视差。

需要说明的是，还可以利用最小二乘的高斯分布拟合等方法获取各个区域斑点的中心坐标，此处不作限制。

S204，根据视差，计算斑点图像的深度。

在一个实施例中，基于单目结构光三角法原理计算出深度图像，如图5所示。参考图1和图5，投影模块110发射激光至参考平面上，在参考平面上形成点阵，本申请实施例以参考平面上的O点进行举例，投影模块110发射激光PO至参考平面上，相机模块120接收由O点反射回来的斑点，在相机模块120的成像区域形成成像点K1，当空间有一物体R遮挡时，光线PO被物体R反射，在相机模块120的成像区域形成成像点R1。因此对于R1和K1来说，该成像点实际上是同一射线在不同距离下的投影点，这组投影点位置的差异即为视差d，而物体R到相机模块120平面的距离称之为深度Z，参考平面是在已知深度Z_ref上放置一块平面，深度Z的推导公式如下：

做辅助线RE和RK，根据ΔOEC与ΔK1R1C相似可知：

其中，R1K1是视差d，Z₀是参考平面上O点和E点之间的距离，f是相机120焦距，Z_ref是相机120到参考平面的距离；

根据ΔOER与ΔPCR相似可知：

其中，OE是参考平面上O点和E点之间的距离，b是基准线CP长度，Z是深度，Z_ref是相机模块120到参考平面的距离；

因此，深度公式如下所述：

其中，Z是物体R到相机模块120平面的距离，Z_ref是相机模块120到参考平面的距离，f是相机模块120的焦距，b是基准线长度即相机模块120到投影模块110之间的距离，d是视差。

由上述公式可知，若控制与处理模块130需计算出斑点图像的深度值，则需要确定相机模块120到参考平面的距离Z_ref、相机模块120的焦距f、基准线长度b、以及视差d。本申请实施例在进行深度计算时，预设已知深度Z_ref的参考平面，相机120的焦距f及基准线长度b是相机本身的参数，是可以明确获取的，因此，只需要计算出斑点图像与参考斑点图像的视差，即可计算斑点图像的深度。但是上述深度计算公式是在理想情况下推导的理想模型，在利用上述公式计算深度时，会受到相机模块120透镜畸变以及其它因素的影响，因此，本申请实施例在利用上述公式进行计算公式时，需要预先对相机120进行标定，对相机进行标定是为了解决相机透镜畸变的问题以及对其它影响因素进行预处理。本申请实施例对利用上述公式进行深度计算之前对相机进行预处理步骤不进行限定。

在一个实施例中，基于上述单目结构光原理，假设一个区域中的斑点与对应的参考斑点的视差记为d，将视差d代入到上述推导出的公式：

其中，z是深度值，Z_ref是相机模块120到参考平面的距离，f是相机模块120焦距，b是基准线长度，d是视差。

即可求得斑点图像中一个区域中的斑点深度，遍历所有区域的斑点，便可得到斑点图像的深度信息，也即目标区域的深度信息。

综上，本申请对斑点深度进行计算时，根据划分区域的成像区域，计算每个区域内确定参考斑点与斑点的中心坐标的差异，进而可以计算目标区域的深度，本申请采用基于多个区域对斑点的位置信息进行计算的视差计算方法，运算简单且速度更快，且基于多个区域对斑点的位置进行计算时，每个区域中的参考斑点与该区域中的斑点匹配时不需要进行匹配，使三维成像质量高。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个深度计算方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现上述各个深度计算方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种深度计算方法，应用于屏下设备，其特征在于，包括：

获取相机模块内已被划分为多个区域的成像区域形成的斑点图像；

处理所述斑点图像，得到每个所述区域的斑点在所述斑点图像中的第一位置信息；

基于所述第一位置信息和第二位置信息，针对每个所述区域计算该区域的所述斑点与参考斑点的视差；

根据所述视差，计算目标区域的深度；

其中，所述斑点图像为经投影模块投射的规则斑点经目标区域反射后透过显示屏至相机模块形成的图像；所述第二位置信息是预先存储的参考斑点图像的每个所述区域的所述参考斑点的位置信息。

2.根据权利要求1所述的深度计算方法，其特征在于，所述处理所述斑点图像，得到每个所述区域的斑点在所述斑点图像中的第一位置信息包括：

计算出每个所述区域的斑点在所述斑点图像的斑点轮廓边缘点的坐标信息；

基于所述斑点轮廓边缘点的坐标信息，计算每个所述区域的斑点的中心坐标。

3.根据权利要求2所述的深度计算方法，其特征在于，所述计算出每个所述区域的斑点在所述斑点图像的斑点轮廓边缘点的坐标信息；基于所述斑点轮廓边缘点的坐标信息，计算每个所述区域的斑点的中心坐标包括：

利用方差的高斯核对所述斑点图像进行高斯滤波，得到经滤波的斑点图像；

对所述经滤波的斑点图像进行拉普拉斯变换，得到所述经滤波的斑点图像的拉普拉斯图像；

结合所述经滤波的斑点图像和所述经滤波的斑点图像的拉普拉斯图像，得到斑点图像的轮廓边缘点求解方程；

对所述斑点图像的轮廓边缘点求解方程求解即可得到所述斑点图像的轮廓边缘点的坐标信息；

基于所述斑点轮廓边缘点的坐标信息，计算所述斑点图像的每个所述区域的斑点的中心坐标。

4.根据权利要求1所述的深度计算方法，所述基于所述第一位置信息和所述第二位置信息，针对每个所述区域计算该区域的所述斑点与参考斑点的视差包括：

基于所述参考斑点图像的每个所述区域的参考斑点的中心坐标和对应的所述斑点图像的每个所述区域的斑点的中心坐标，针对每个所述区域计算该区域的斑点与参考斑点的视差。

5.一种深度计算系统，其特征在于，包括投影模块、相机模块、控制与处理模块、存储模块及显示屏，所述投影模块和所述相机模块设置于所述显示屏下方，其中：

所述投影模块，用于透过所述显示屏向目标区域投射规则斑点图案；

所述相机模块，包括预先被划分为多个区域的成像区域，用于采集经目标区域反射后透过所述显示屏的斑点图案，并在所述成像区形成斑点图像；

所述控制与处理模块，用于处理所述斑点图像，得到每个所述区域的斑点在所述斑点图像中的第一位置信息；并基于所述第一位置信息和预设的参考散斑图像第二位置信息，针对每个所述区域计算该区域的所述斑点与参考斑点的视差；

存储模块，用于存储的参考斑点图像的每个所述区域的所述参考斑点的所述第二位置信息；

其中，所述成像区域中的每个所述区域仅包括一个斑点。

6.根据权利要求5所述的深度计算系统，其特征在于，所述投影模组包括光源和光学组件，所述光学组件至少包括透镜元件、光学衍射元件或微透镜阵列中一种。

7.根据权利要求5所述的深度计算系统，其特征在于，所述成像区域划分为所述区域的宽度大于或等于所述相机计算的视差宽度，所述成像区域划分为所述区域的高度大于或等于所述投影模组投影的斑点的直径尺寸。

8.根据权利要求5所述的深度计算系统，其特征在于，所述针对每个所述区域计算该区域的所述散斑斑点与参考散斑斑点的视差包括：基于所述参考斑点图像的每个所述区域的参考斑点的中心坐标和对应的所述斑点图像的每个所述区域的斑点的中心坐标，针对每个所述区域计算该区域的斑点与参考斑点的视差。

9.根据权利要求8所述的深度计算系统，其特征在于，所述基于所述参考斑点图像的每个所述区域的参考斑点的中心坐标和对应的所述斑点图像的每个所述区域的斑点的中心坐标包括：

计算出每个所述区域的斑点在所述斑点图像的斑点轮廓边缘点的坐标信息；

基于所述斑点轮廓边缘点的坐标信息，计算每个所述区域的斑点的中心坐标。

Images