CN113936049A - 单目结构光散斑图像深度恢复方法、电子设备及存储介质 - Google Patents

单目结构光散斑图像深度恢复方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113936049A
CN113936049A CN202111227738.8A CN202111227738A CN113936049A CN 113936049 A CN113936049 A CN 113936049A CN 202111227738 A CN202111227738 A CN 202111227738A CN 113936049 A CN113936049 A CN 113936049A
Authority
CN
China
Prior art keywords
speckle pattern
speckle
pattern
pixel point
object speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111227738.8A
Other languages
English (en)
Inventor
王海彬
户磊
化雪诚
刘祺昌
李东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202111227738.8A priority Critical patent/CN113936049A/zh
Publication of CN113936049A publication Critical patent/CN113936049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明实施例涉及图像处理领域，公开了一种单目结构光散斑图像深度恢复方法、电子设备及存储介质，其中方法包括：获取单目结构光相机的参考散斑图和物体散斑图；采用局部阈值法分别对所述参考散斑图和所述物体散斑图进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图；基于参考散斑特征图和物体散斑特征图之间的视差值，恢复深度信息。通过对散斑图进行高质量的散斑特征提取，以增强散斑图之间匹配的准确性和提升匹配算法的鲁棒性，从而生成高质量的深度图像。

Description

单目结构光散斑图像深度恢复方法、电子设备及存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种单目结构光散斑图像深度恢复方法、电子设备及存储介质。
背景技术
随着深度相机的发展，3D视觉逐渐在各种消费级应用中兴起。单目结构光相机能获取现实三维场景完整的几何信息，利用带有深度信息的图像来实现对于场景的精准数字化，从而实现高精度的人脸识别、建模，定位等关键功能。
单目结构光相机是一种主动双目视觉技术。每个结构光相机包括两个基本组件：一个红外激光投射器和一个红外摄像头。其基本思路是将已知的结构化图案投射到被观测物体上，这些结构化图案将根据物体的几何形状和拍摄距离而发生相应的形变。红外摄像头从另一个角度进行观测，通过分析观测图案(物体散斑图)与原始图案(参考散斑图)之间发生的形变，可以得到图案上各像素的视差，再根据相机的内外参数恢复出深度。其中，主要涉及的步骤就是物体散斑图与参考散斑图进行图像匹配计算，即两张图像散斑相关性计算。但是复杂的测试环境往往导致物体散斑图的信噪比低、散斑模糊。比如在户外场景中，由于不同光照强度的影响，散斑对比度下降，一些反光较强的区域甚至无法有效的提取散斑特征，这将对图像匹配造成巨大的影响。
发明内容
本发明实施方式的目的在于提供一种单目结构光散斑图像深度恢复方法、电子设备及存储介质，通过对散斑图进行高质量的散斑特征提取，以增强散斑图之间匹配的准确性和提升匹配算法的鲁棒性，从而生成高质量的深度图像。
为解决上述技术问题，本发明的实施方式提供了一种单目结构光散斑图像深度恢复方法，包括：
获取单目结构光相机的参考散斑图和物体散斑图；
采用局部阈值法分别对所述参考散斑图和所述物体散斑图进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图；其中，采用如下公式计算所述局部阈值T(x,y)：
Figure BDA0003314890870000011
其中，(x,y)为散斑图中的像素点，μ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度平均值，σ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度标准差，k为常数，R为散斑图中灰度图信息的最大值；
基于所述参考散斑特征图和所述物体散斑特征图之间的视差值，恢复深度信息。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的单目结构光散斑图像深度恢复方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的单目结构光散斑图像深度恢复方法。
本发明实施方式相对于现有技术而言，通过在获取单目结构光相机的参考散斑图和物体散斑图后；采用局部阈值法分别对参考散斑图和物体散斑图进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图；其中，采用如下公式计算局部阈值T(x,y)：
Figure BDA0003314890870000021
其中，(x,y)为散斑图中的像素点，μ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度平均值，σ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度标准差，k为常数，R为散斑图中灰度图信息的最大值；基于参考散斑特征图和物体散斑特征图之间的视差值，恢复深度信息。本方案中通过对散斑图采用局部阈值法的二值化处理，实现高质量的散斑特征提取，以增强散斑图之间匹配的准确性和提升匹配算法的鲁棒性，从而生成高质量的深度图像。
附图说明
图1是根据本发明实施方式的单目结构光散斑图像深度恢复方法的具体流程图一；
图2是根据本发明实施方式的单目结构光散斑图像深度恢复方法的具体流程图二；
图3是根据本发明实施方式的单目结构光散斑图像深度恢复方法的具体流程图三；
图4是根据本发明实施方式的单目结构光散斑图像深度恢复方法的具体流程图四；
图5是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种单目结构光散斑图像深度恢复方法，如图1所示，本实施例提供的单目结构光散斑图像深度恢复方法，包括如下步骤。
步骤101：获取单目结构光相机的参考散斑图和物体散斑图。
具体地，通过单目结构光相机拍摄目标物体的散斑图，作为物体散斑图；参考散斑图为已知距离的平面散斑图。
步骤102：采用局部阈值法分别对参考散斑图和物体散斑图进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图；其中，采用如下公式计算局部阈值T(x,y)：
Figure BDA0003314890870000022
其中，(x,y)为散斑图中的像素点，μ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度平均值，σ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度标准差，k为常数，R为散斑图中灰度图信息的最大值。
具体地，局部阈值法是根据每个像素的局部信息单独计算阈值。以每个像素点(x,y)为中心，分别计算w*w窗口(w为大于0的整数)内像素点的的灰度平均值μ(x,y)和灰度标准差σ(x,y)。由于散斑图的特性，散斑区域会比非散斑区域亮。因此对Sauvola算法进行了改进处理，得到公式(1)，从而得到每个像素点(x,y)的局部阈值T(x,y)。然后采用公式(2)，将局部阈值T(x,y)分别与对应的散斑图中相应像素点的灰度值进行比较，获得二值化处理后的散斑特征b(x,y)：
Figure BDA0003314890870000031
步骤103：基于参考散斑特征图和物体散斑特征图之间的视差值，恢复深度信息。
具体地，通过分析物体散斑图与参考散斑图之间发生的形变，可以得到图案上各像素的视差，再根据相机的内外参数恢复出深度信息。
与相关技术相比，本实施例通过在获取单目结构光相机的参考散斑图和物体散斑图后；采用局部阈值法分别对参考散斑图和物体散斑图进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图；其中，采用如下公式计算局部阈值T(x,y)：
Figure BDA0003314890870000032
其中，(x,y)为散斑图中的像素点，μ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度平均值，σ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度标准差，k为常数，R为散斑图中灰度图信息的最大值；基于参考散斑特征图和物体散斑特征图之间的视差值，恢复深度信息。本方案中通过对散斑图采用局部阈值法的二值化处理，实现高质量的散斑特征提取，以增强散斑图之间匹配的准确性和提升匹配算法的鲁棒性，从而生成高质量的深度图像。
本发明的另一实施方式涉及一种单目结构光散斑图像深度恢复方法，如图2所示，该单目结构光散斑图像深度恢复方法是对图1所示方法步骤的改进，改进之处在于，增加对物体散斑图进行前后景分割的处理过程。如图2所示，在步骤101之后，包括如下步骤。
步骤104：对物体散斑图进行前后景分割，得到前景区域和后景区域。
具体地，由于单目结构光是激光发射且是点光源，所以获得的物体散斑图中物体的灰度值是物体到光源距离的二次方衰减。在单目结构光的工作距离之外，灰度值会骤减。根据此特性，可以将物体散斑图进行前后景分割，得到前景区域和后景区域。
在一个例子中，可通过如下步骤对物体散斑图进行前后景分割，得到前景区域和后景区域。
步骤1：判断物体散斑图中，以各像素点(x,y)为中心的窗口内像素点的灰度平均值μ(x,y)是否大于预设的第一灰度阈值。如果是，则进入步骤2；如果否，则进入步骤3。
具体地，采用公式(3)，以物体散斑图像的任一像素点(x,y)的像素位置为中心，计算w*w窗口(w为大于0的整数)的中心像素点的灰度平均值μ(x,y)。
Figure BDA0003314890870000033
其中，N为窗口内像素点的个数，Ii为窗口内第i个像素点的灰度值。
然后，将物体散斑图像上每个像素点(x,y)对应的灰度平均值μ(x,y)与预设的第一灰度阈值进行比较，该第一灰度阈值为评价像素点(x,y)是否属于前景区域的临界值。
步骤2：将像素点(x,y)归属于前景区域。
具体地，当像素点(x,y)对应的灰度平均值μ(x,y)大于第一灰度阈值时，确定该像素点(x,y)归属于前景区域。
步骤3：将像素点(x,y)归属于后景区域。
具体地，当像素点(x,y)对应的灰度平均值μ(x,y)不大于第一灰度阈值时，确定该像素点(x,y)归属于后景区域。
在此基础上，步骤102可包括如下子步骤。
子步骤1021：采用局部阈值法分别对参考散斑图，和物体散斑图中的前景区域进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图。
与相关技术相比，本实施例通过对物体散斑图进行前后景分割，得到前景区域和后景区域；采用局部阈值法分别对参考散斑图，和物体散斑图中的前景区域进行二值化处理，可以提取出散斑图像中具有较高质量的前景区域的散斑特征图，以增强散斑图之间匹配的准确性和提升匹配算法的鲁棒性，从而生成高质量的深度图像。
本发明的另一实施方式涉及一种单目结构光散斑图像深度恢复方法，如图3所示，该单目结构光散斑图像深度恢复方法是对图1所示方法步骤的改进，改进之处在于，增加对物体散斑图进行阴影检测的处理过程。如图3所示，在步骤101之后，包括如下步骤。
步骤105：对物体散斑图进行阴影检测，得到阴影区域和非阴影区域。
具体地，由于相机成像的原理，物体散斑图上会有阴影区域，即这些阴影区域内没有散斑信息。因此，可以对物体散斑图进行阴影检测，得到阴影区域和非阴影区域。
在一个例子中，可通过如下步骤对物体散斑图进行阴影检测，得到阴影区域和非阴影区域。
步骤1：判断物体散斑图中，以各像素点(x,y)为中心的窗口内像素点的灰度标准差σ(x,y)是否大于预设的第二灰度阈值。如果是，则进入步骤2；如果否，则进入步骤3。
具体地，采用公式(4)，以物体散斑图像的任一像素点(x,y)的像素位置为中心，计算w*w窗口(w为大于0的整数)的中心像素点的灰度标准差σ(x,y)。
Figure BDA0003314890870000041
其中，N为窗口内像素点的个数，Ii为窗口内第i个像素点的灰度值，μ(x,y)为像素点(x,y)对应的灰度平均值，可通过公式(3)获得。
然后，将物体散斑图像上每个像素点(x,y)对应的灰度标准差σ(x,y)与预设的第二灰度阈值进行比较，该第二灰度阈值为评价像素点(x,y)是否属于阴影区域的临界值。
步骤2：将像素点(x,y)归属于非阴影区域。
具体地，当像素点(x,y)对应的灰度标准差σ(x,y)大于第二灰度阈值时，确定该像素点(x,y)归属于非阴影区域。
步骤3：将像素点(x,y)归属于阴影区域。
具体地，当像素点(x,y)对应的灰度标准差σ(x,y)不大于第二灰度阈值时，确定该像素点(x,y)归属于阴影区域。
在此基础上，步骤102可包括如下子步骤。
子步骤1022：采用局部阈值法分别对参考散斑图，和物体散斑图中的非阴影区域进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图。
与相关技术相比，本实施例通过对物体散斑图进行阴影检测，得到阴影区域和非阴影区域；采用局部阈值法分别对参考散斑图，和物体散斑图中的非阴影区域进行二值化处理，可以提取出散斑图像中具有较高质量的非阴影区域的散斑特征图，以增强散斑图之间匹配的准确性和提升匹配算法的鲁棒性，从而生成高质量的深度图像。
本发明的另一实施方式涉及一种单目结构光散斑图像深度恢复方法，如图4所示，该单目结构光散斑图像深度恢复方法是对图1所示方法步骤的改进，改进之处在于，增加对物体散斑图进行高斯滤波的处理过程。如图4所示，在步骤101之后，包括如下步骤。
步骤106：对物体散斑图进行高斯滤波，得到高斯滤波后的物体散斑图。
具体地，受相机的自身原因以及环境因素的干扰，相机拍摄的物体散斑图中通常会存在大量的噪声点或者空洞的缺陷，通过采用高斯滤波对物体散斑图进行处理，可以得到较高质量的散斑图。
在一个例子中，可通过如下步骤对物体散斑图进行高斯滤波，得到高斯滤波后的物体散斑图。
步骤1：采用如下公式(5)计算物体散斑图中，以各像素点为中心的窗口内中心像素点的高斯平滑算子G(x,y)；
Figure BDA0003314890870000051
其中，σ为常数，(x0,y0)为窗口内的中心像素点，(x,y)为窗口内的像素点。
具体地，根据滤波窗口大小k(k为大于0的整数)，针对物体散斑图中任一像素点创建一个k*k大小的矩阵G，以G的中心点P(x0,y0)为核心，计算高斯平滑算子。
步骤2：采用如下计算公式(6)将物体散斑图中，各像素点与该像素点的高斯平滑算子G(x,y)进行离散化窗口卷积，得到滤波后的物体散斑图。
Figure BDA0003314890870000052
其中，I(x,y)为离散化窗口卷积前的像素点的灰度值，IG(x,y)为离散化窗口卷积后的像素点的灰度值，k为窗口大小。
具体地，针对物体散斑图，进行逐像素点遍历散斑图像，将每个像素点的灰度值与相应的矩阵G进行离散化窗口卷积，得到滤波后的散斑图像。
在此基础上，步骤102可包括如下子步骤。
子步骤1023：采用局部阈值法分别对参考散斑图，和滤波后的物体散斑图进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图。
与相关技术相比，本实施例通过对物体散斑图进行滤波处理，得到滤波后的物体散斑图；采用局部阈值法分别对参考散斑图，和滤波后的物体散斑图进行二值化处理，可以提取出散斑图像中具有较高质量的散斑特征图，以增强散斑图之间匹配的准确性和提升匹配算法的鲁棒性，从而生成高质量的深度图像。
此外，为了提高提取的散斑特征质量，进而提高深度信息的恢复效果，在执行上述方法的过程中，还包括：
对物体散斑特征图进行腐蚀操作，得到去除离散噪声后的物体散斑特征图。相应地，步骤103可包括：基于参考散斑特征图和去除离散噪声后的物体散斑特征图之间的视差值，恢复深度信息，从而提高深度信息的恢复效果。
另外，为了提高提取的散斑特征质量，上述各实施例中的方法步骤在不冲突的前提下可以任意组合。例如，可以对原始的物体散斑图同时进行前后景分割和阴影检测，并针对非阴影区域的前景区域，采用步骤102进行处理，得到高质量的物体散斑特征图。又例如，在此基础上，还可以在进行前后景分割和阴影检测之前，对原始的物体散斑图进行高斯滤波处理，得到较为平滑的物体散斑图。又例如，在此基础上，还可以在进行前后景分割和阴影检测之后，对得到的物体散斑特征图再次进行腐蚀操作，得到去除离散噪声后的所述物体散斑特征图。
本发明的另一实施方式涉及一种电子设备，如图5所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。
其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。
处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种单目结构光散斑图像深度恢复方法，其特征在于，包括：
获取单目结构光相机的参考散斑图和物体散斑图；
采用局部阈值法分别对所述参考散斑图和所述物体散斑图进行二值化处理，得到对应的参考散斑特征图和物体散斑特征图；其中，采用如下公式计算所述局部阈值T(x,y)：
Figure FDA0003314890860000011
其中，(x,y)为散斑图中的像素点，μ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度平均值，σ(x,y)为以像素点(x,y)为中心的窗口内像素点的灰度标准差，k为常数，R为散斑图中灰度图信息的最大值；
基于所述参考散斑特征图和所述物体散斑特征图之间的视差值，恢复深度信息。
2.根据权利要求1所述的方法，其特征在于，所述获取单目结构光相机的参考散斑图和物体散斑图之后，包括：
对所述物体散斑图进行前后景分割，得到前景区域和后景区域；
所述采用局部阈值法分别对所述参考散斑图和所述物体散斑图进行二值化处理，包括：
采用所述局部阈值法分别对所述参考散斑图，和所述物体散斑图中的前景区域进行所述二值化处理。
3.根据权利要求2所述的方法，其特征在于，所述对所述物体散斑图进行前后景分割，得到前景区域和后景区域，包括：
判断所述物体散斑图中，以各像素点(x,y)为中心的窗口内像素点的灰度平均值μ(x,y)是否大于预设的第一灰度阈值；
如果是，则将所述像素点(x,y)归属于所述前景区域；
如果否，则将所述像素点(x,y)归属于所述后景区域。
4.根据权利要求1所述的方法，其特征在于，所述获取单目结构光相机的参考散斑图和物体散斑图之后，包括：
对所述物体散斑图进行阴影检测，得到阴影区域和非阴影区域；
所述采用局部阈值法分别对所述参考散斑图和所述物体散斑图进行二值化处理，包括：
采用所述局部阈值法分别对所述参考散斑图，和所述物体散斑图中的非阴影区域进行所述二值化处理。
5.根据权利要求4所述的方法，其特征在于，所述对所述物体散斑图进行阴影检测，得到阴影区域和非阴影区域，包括：
判断所述物体散斑图中，以各像素点(x,y)为中心的窗口内像素点的灰度标准差σ(x,y)是否大于预设的第二灰度阈值；
如果是，则将所述像素点(x,y)归属于所述非阴影区域；
如果否，则将所述像素点(x,y)归属于所述阴影区域。
6.根据权利要求1所述的方法，其特征在于，所述获取单目结构光相机的参考散斑图和物体散斑图之后，还包括：
对所述物体散斑图进行高斯滤波，得到滤波后的所述物体散斑图；
所述采用局部阈值法分别对所述参考散斑图和所述物体散斑图进行二值化处理，包括：采用所述局部阈值法分别对所述参考散斑图，和所述滤波后的所述物体散斑图进行所述二值化处理。
7.根据权利要求6所述的方法，其特征在于，所述对所述物体散斑图进行高斯滤波，得到滤波后的所述物体散斑图，包括：
采用如下公式计算所述物体散斑图中，以各像素点为中心的窗口内中心像素点的高斯平滑算子G(x,y)；
Figure FDA0003314890860000021
其中，σ为常数，(x0,y0)为所述窗口内的中心像素点，(x,y)为所述窗口内的像素点；
采用如下计算公式将所述物体散斑图中，各像素点与该像素点的高斯平滑算子G(x,y)进行离散化窗口卷积，得到滤波后的所述物体散斑图；
Figure FDA0003314890860000022
其中，I(x,y)为离散化窗口卷积前的像素点的灰度值，IG(x,y)为所述离散化窗口卷积后的像素点的灰度值，k为窗口大小。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述物体散斑特征图进行腐蚀操作，得到去除离散噪声后的所述物体散斑特征图；
所述基于所述参考散斑特征图和所述物体散斑特征图之间的视差值，恢复深度信息，包括：
基于所述参考散斑特征图和所述去除离散噪声后的所述物体散斑特征图之间的视差值，恢复深度信息。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的深度图修复方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的深度图修复方法。
CN202111227738.8A 2021-10-21 2021-10-21 单目结构光散斑图像深度恢复方法、电子设备及存储介质 Pending CN113936049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111227738.8A CN113936049A (zh) 2021-10-21 2021-10-21 单目结构光散斑图像深度恢复方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111227738.8A CN113936049A (zh) 2021-10-21 2021-10-21 单目结构光散斑图像深度恢复方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113936049A true CN113936049A (zh) 2022-01-14

Family

ID=79280916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111227738.8A Pending CN113936049A (zh) 2021-10-21 2021-10-21 单目结构光散斑图像深度恢复方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113936049A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592268A (zh) * 2012-01-06 2012-07-18 清华大学深圳研究生院 一种分割前景图像的方法
CN102970548A (zh) * 2012-11-27 2013-03-13 西安交通大学 一种图像深度感知装置
CN103020988A (zh) * 2012-11-27 2013-04-03 西安交通大学 一种激光散斑图像的运动向量生成方法
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
US20150378444A1 (en) * 2011-08-12 2015-12-31 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US20170054962A1 (en) * 2015-08-18 2017-02-23 Yanhui Zhou Three-dimensional depth perception method and apparatus with an adjustable working range
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
CN111402313A (zh) * 2020-03-13 2020-07-10 合肥的卢深视科技有限公司 图像深度恢复方法和装置
CN112749610A (zh) * 2020-07-27 2021-05-04 腾讯科技（深圳）有限公司 深度图像、参考结构光图像生成方法、装置及电子设备
CN112771573A (zh) * 2019-04-12 2021-05-07 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN113077459A (zh) * 2021-04-28 2021-07-06 北京的卢深视科技有限公司 图像清晰度检测方法、装置、电子设备及存储介质
CN113362457A (zh) * 2021-08-10 2021-09-07 成都信息工程大学 一种基于散斑结构光的立体视觉测量方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150378444A1 (en) * 2011-08-12 2015-12-31 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
CN102592268A (zh) * 2012-01-06 2012-07-18 清华大学深圳研究生院 一种分割前景图像的方法
CN102970548A (zh) * 2012-11-27 2013-03-13 西安交通大学 一种图像深度感知装置
CN103020988A (zh) * 2012-11-27 2013-04-03 西安交通大学 一种激光散斑图像的运动向量生成方法
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
US20170054962A1 (en) * 2015-08-18 2017-02-23 Yanhui Zhou Three-dimensional depth perception method and apparatus with an adjustable working range
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
CN112771573A (zh) * 2019-04-12 2021-05-07 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN111402313A (zh) * 2020-03-13 2020-07-10 合肥的卢深视科技有限公司 图像深度恢复方法和装置
CN112749610A (zh) * 2020-07-27 2021-05-04 腾讯科技（深圳）有限公司 深度图像、参考结构光图像生成方法、装置及电子设备
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN113077459A (zh) * 2021-04-28 2021-07-06 北京的卢深视科技有限公司 图像清晰度检测方法、装置、电子设备及存储介质
CN113362457A (zh) * 2021-08-10 2021-09-07 成都信息工程大学 一种基于散斑结构光的立体视觉测量方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GUIJIN WANG 等: "depth estimation for speckle projection system using progressive reliable points growing matching", 《APPLIED OPTICS》 *
HELLOWOOORLD: "一种局部二值化算法：Sauvola算法", 《HTTPS://WWW.CNBLOGS.COM/HELLOWOOORLD/P/11040880.HTML》 *
化雪城: "基于倾斜影像的"真"正射影像生成", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
周颉鑫: "在轨航天员人体三维重建与测量技术研究及相关应用", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
王梦伟 等: "基于投影散斑的实时场景深度恢复", 《计算机辅助设计与图形学学报》 *
董小龙 等: "一种基于激光散斑去相关技术的三维重建方法", 《计算机与现代化》 *

Similar Documents

Publication Publication Date Title
US8385630B2 (en) System and method of processing stereo images
US8873835B2 (en) Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN113012210B (zh) 深度图的生成方法、装置、电子设备和存储介质
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN113762253B (zh) 散斑的提取方法、装置、电子设备及存储介质
US9406140B2 (en) Method and apparatus for generating depth information
US20220172331A1 (en) Image inpainting with geometric and photometric transformations
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN113837952A (zh) 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
CN114066950A (zh) 单目散斑结构光图像匹配方法、电子设备及存储介质
CN114283089B (zh) 基于跳跃加速的深度恢复方法、电子设备及存储介质
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
CN113191189A (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN114331919B (zh) 深度恢复方法、电子设备及存储介质
Gutev et al. Exploiting depth information to increase object tracking robustness
CN113936049A (zh) 单目结构光散斑图像深度恢复方法、电子设备及存储介质
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法
CN114283081A (zh) 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN113542534A (zh) 一种tof相机控制方法、装置以及存储介质
CN110796050A (zh) 一种无人机巡检过程中目标物体的识别方法及相关装置
CN114783041B (zh) 目标对象识别方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220516

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20220114

RJ01 Rejection of invention patent application after publication