CN115294375B - 一种散斑深度估算方法、系统、电子设备及存储介质 - Google Patents

一种散斑深度估算方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115294375B
CN115294375B CN202211231349.7A CN202211231349A CN115294375B CN 115294375 B CN115294375 B CN 115294375B CN 202211231349 A CN202211231349 A CN 202211231349A CN 115294375 B CN115294375 B CN 115294375B
Authority
CN
China
Prior art keywords
depth
depth data
speckle
template
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211231349.7A
Other languages
English (en)
Other versions
CN115294375A (zh
Inventor
毛凤辉
郭振民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202211231349.7A priority Critical patent/CN115294375B/zh
Publication of CN115294375A publication Critical patent/CN115294375A/zh
Application granted granted Critical
Publication of CN115294375B publication Critical patent/CN115294375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明提供了一种散斑深度估算方法、系统、电子设备及存储介质，所述方法包括采集带散斑的若干模板图及训练样本图；根据模板图、训练样本图以及散斑模板匹配算法，获得训练样本图的第一深度数据并将其归一化获得归一化深度数据；向训练模型中输入模板图和训练样本图以输出预估深度数据；基于归一化深度数据以及训练模型输出的预估深度数据计算训练模型的损失值，并根据损失值不断优化训练模型得到完全收敛处理的目标模型；通过目标模型针对待测散斑图进行推理得到归一化预测深度数据并基于其计算实际估算深度。本申请可保证深度精度的情况下，有效提高通过散斑重建深度信息效率，使得散斑深度相机能在要求高帧率的场合有效应用。

Description

一种散斑深度估算方法、系统、电子设备及存储介质
技术领域
本发明属于图像处理的技术领域，具体地涉及一种散斑深度估算方法、系统、电子设备及存储介质。
背景技术
目前主流的3D相机可以分为两种：一种是以激光传感器为代表的价格高、深度数据质量好的3D视觉传感器，比如SICK、Enshape、Ensenso，其共同特点是精度高，但是速度慢，并且价格昂贵，并不适合于工业领域中的大规模推广；另一种是一系列消费级的RGB-D相机，其原理主要有结构光、ToF和双目立体视觉等，代表产品有微软的Kinect和Intel的Realsense，其共同特点是精度相对较低，但是速度快，价格也相对低廉，消费级的RGB-D相机因其效率和价格上的优势更适合于工业上和实际生活中的应用和推广。
市面上出售的消费级RGB-D相机，在深度精度上大致可达到毫米级，能满足大部分的生产和生活的需要，但深度数据的质量往往差强人意，对后续的应用有很大的影响。目前，RGB-D相机的散斑图像深度数据主要采用双目深度估计、散斑深度估计和TOF深度估计的方式获得。其中，散斑深度估计主要是基于三角测距原理，通过实时散斑与模板散斑的局部小块区域匹配得到最终的深度值；然而，这种方式计算量大，导致帧率一直较难提高，难以符合VR/AR产品的高帧率要求，并且易受环境因素影响。也有部分使用基于深度学习的单目深度估计方法来估计场景深度，但是单目深度受光线、天气、物体颜色等因素影响严重，很难在实际复杂的环境中使用。
因此，如何优化散斑图像深度学习算法，以保证深度精度的情况下，有效提高通过散斑重建深度信息效率，使得散斑深度相机能在要求高帧率的场合有效应用。
发明内容
为了解决上述技术问题，本发明提供了一种散斑深度估算方法、系统、电子设备及存储介质，可以在保证精度的情况下有效提高通过散斑重建深度信息效率，使得散斑深度相机能在要求高帧率的场合有效应用。
第一方面，该发明提供一种散斑深度估算方法，包括：
采集带散斑的若干模板图及训练样本图；其中，所述模板图是指在深度重建范围内每隔预设距离采集的带散斑白底平面图，所述训练样本图是指基于相同所述深度重建范围内的不同环境中采集的带散斑图；
根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将所述第一深度数据归一化，获得归一化深度数据；
向训练模型中输入所述模板图和所述训练样本图，以输出预估深度数据；
基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型；
通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
较佳地，所述根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将所述第一深度数据归一化，获得归一化深度数据的具体步骤包括：
以所述模板图为匹配模板，通过散斑模板匹配算法获取所述训练样本图的第一深度数据；
将所述第一深度数据中小于散斑相机最小测量范围的深度数据置为最小值，以及大于散斑相机最大测量范围的深度数据置为最大值，以得到第二深度数据；
将所述第二深度数据进行归一化处理得到归一化深度数据；其中，所述归一化处理的公式为dep(x,y)=(depth(x,y)-dmin)/(dmax-dmin)，式中，(x,y)表示像素位置，depth(x,y)表示(x,y)位置处的第二深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据，dep(x,y)表示(x,y)位置处的归一化深度数据。
较佳地，所述基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型的步骤具体包括：
将所述模板图以及所述训练样本图进行预处理，以滤除所述模板图和所述训练样本图中的环境数据；
将预处理的所述模板图及所述训练样本图的结果合并训练，得到S个输入样本；
将所述S个输入样本逐一以预定数量的输入样本定义为所述训练模型中的一个超参数batch，获取多个超参数数据，并将所述多个超参数数据输入所述训练模型；
以batch*h*w*(M+1)作为所述训练模型训练的输入数据维度，且以batch*h*w*1作为所述训练模型训练的输出数据维度，通过所述训练模型输出预估深度数据；其中，h*w表示所述模板图及所述训练样本图的分辨率，M表示所述模板图的采集数量；
基于所述预估深度数据通过损失函数计算所述训练模型的损失值；
根据所述损失值进行反向传播，不断优化所述训练模型的参数直至完全收敛得到目标模型。
较佳地，所述将所述模板图以及所述训练样本图进行预处理，以滤除所述模板图和所述训练样本图中的环境数据的步骤具体包括：
将所述训练样本图进行滤波去噪，以使过滤所述训练样本图中的椒盐噪声和高斯噪声；其中，所述滤波去噪包括中值滤波和高斯滤波；
将所述模板图以及经滤波去噪处理的所述训练样本图进行局部预处理；其中，所述局部预处理具体包括：
将分辨率为h*w的所述模板图及所述训练样本图的图像I四周以像素值为0填充（n-1）/2个像素，得到分辨率为（h+n-1）*（w+n-1）的F1，并基于F1做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵favg，通过均值公式获取均值特征矩阵avg；其中，n表示像素个数，所述均值公式为：
Figure 557888DEST_PATH_IMAGE001
；
基于F2=F12的关系获取F2，并基于F2做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵fstd，通过标准偏差公式获取标准偏差矩阵std；其中，所述标准偏差公式为：
Figure 798377DEST_PATH_IMAGE002
；
基于所述均值特征矩阵avg以及所述标准偏差矩阵std，通过滤除公式去除环境散斑矩阵以滤除环境数据，得到所述模板图及所述训练样本图滤除环境干扰后的图像；其中，所述滤除公式为：
Figure 217857DEST_PATH_IMAGE003
；
式中，(x,y)表示像素位置，I，(x,y)表示滤除环境干扰后(x,y)位置处的像素值，I(x,y)表示(x,y)位置处的像素值，avg(x,y)表示(x,y)位置处的像素均值，std(x,y)表示(x,y)位置处的协方差值。
较佳地，所述损失函数为：
Figure 365942DEST_PATH_IMAGE004
；
式中，(x,y)表示像素位置，h*w表示所述模板图及所述训练样本图的分辨率，d，(x,y)表示(x,y)像素位置的预估深度数据，dep(x,y)表示(x,y)像素位置的归一化深度数据。
较佳地，所述通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息的步骤具体包括：
将不断从散斑相机中采集的待测散斑图的图像fr通过所述预处理的处理获取得到所述图像fr滤除环境干扰后的图像f， r，并拼接所述模板图滤除环境干扰后的图像得到目标输入样本，并将所述目标输入样本输入所述目标模型进行推理，得到归一化预测深度数据；
基于所述归一化预测深度数据，采用预设公式计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
较佳地，所述预设公式为：
d=d， r*(dmax _dmin)+dmin；
式中，d为实际估算深度，d， r为归一化预测深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据。
第二方面，该发明提供一种散斑深度估算系统，包括：
采集模块，用于采集带散斑的若干模板图及训练样本图；其中，所述模板图是指在深度重建范围内每隔预设距离采集的带散斑白底平面图，所述训练样本图是指基于相同所述深度重建范围内的不同环境中采集的带散斑图；
数据处理模块，用于根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将所述第一深度数据归一化，获得归一化深度数据；
训练模块，用于向训练模型中输入所述模板图和所述训练样本图，以输出预估深度数据；
迭代优化模块，用于基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型；
运算模块，用于通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
较佳地，所述数据处理模块包括：
匹配算法单元，用于以所述模板图为匹配模板，通过散斑模板匹配算法获取所述训练样本图的第一深度数据；
定置单元，用于将所述第一深度数据中小于散斑相机最小测量范围的深度数据置为最小值，以及大于散斑相机最大测量范围的深度数据置为最大值，以得到第二深度数据；
数据处理单元，用于将所述第二深度数据进行归一化处理得到归一化深度数据；其中，所述归一化处理的公式为dep(x,y)=(depth(x,y)-dmin)/(dmax-dmin)，式中，(x,y)表示像素位置，depth(x,y)表示(x,y)位置处的第二深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据，dep(x,y)表示(x,y)位置处的归一化深度数据。
较佳地，所述迭代优化模块包括：
预处理单元，用于将所述模板图以及所述训练样本图进行预处理，以滤除所述模板图和所述训练样本图中的环境数据；
合并训练单元，用于将预处理的所述模板图及所述训练样本图的结果合并训练，得到S个输入样本；
定义单元，用于将所述S个输入样本逐一以预定数量的输入样本定义为所述训练模型中的一个超参数batch，获取多个超参数数据，并将所述多个超参数数据输入所述训练模型；
规制单元，用于以batch*h*w*(M+1)作为所述训练模型训练的输入数据维度，且以batch*h*w*1作为所述训练模型训练的输出数据维度，通过所述训练模型输出预估深度数据；其中，h*w表示所述模板图及所述训练样本图的分辨率，M表示所述模板图的采集数量；
计算单元，用于基于所述预估深度数据通过损失函数计算所述训练模型的损失值；
迭代优化单元，用于根据所述损失值进行反向传播，不断优化所述训练模型的参数直至完全收敛得到目标模型。
较佳地，所述预处理单元具体用于：
将所述训练样本图进行滤波去噪，以使过滤所述训练样本图中的椒盐噪声和高斯噪声；其中，所述滤波去噪包括中值滤波和高斯滤波；
将所述模板图以及经滤波去噪处理的所述训练样本图进行局部预处理；其中，所述局部预处理具体包括：
将分辨率为h*w的所述模板图及所述训练样本图的图像I四周以像素值为0填充（n-1）/2个像素，得到分辨率为（h+n-1）*（w+n-1）的F1，并基于F1做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵favg，通过均值公式获取均值特征矩阵avg；其中，n表示像素个数，所述均值公式为：
Figure 170955DEST_PATH_IMAGE001
；
基于F2=F12的关系获取F2，并基于F2做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵fstd，通过标准偏差公式获取标准偏差矩阵std；其中，所述标准偏差公式为：
Figure 379083DEST_PATH_IMAGE002
；
基于所述均值特征矩阵avg以及所述标准偏差矩阵std，通过滤除公式去除环境散斑矩阵以滤除环境数据，得到所述模板图及所述训练样本图滤除环境干扰后的图像；其中，所述滤除公式为：
Figure 20280DEST_PATH_IMAGE005
；
式中，(x,y)表示像素位置，I，(x,y)表示滤除环境干扰后(x,y)位置处的像素值，I(x,y)表示(x,y)位置处的像素值，avg(x,y)表示(x,y)位置处的像素均值，std(x,y)表示(x,y)位置处的协方差值。
较佳地，所述运算模块包括：
推理单元，用于将不断从散斑相机中采集的待测散斑图的图像fr通过所述预处理处理获取得到所述图像fr滤除环境干扰后的图像f， r，并拼接所述模板图滤除环境干扰后的图像得到目标输入样本，并将所述目标输入样本输入所述目标模型进行推理，得到归一化预测深度数据；
实时运算单元，用于基于所述归一化预测深度数据，采用预设公式计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的散斑深度估算方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的散斑深度估算方法。
相比于现有技术，本申请提供的一种散斑深度估算方法、系统、电子设备及存储介质，通过将采集带散斑的若干模板图及训练样本图进行归一化处理得到归一化深度数据，以及将采集带散斑的若干模板图及训练样本图输入训练模型得到预估深度数据；基于归一化深度数据及预估深度数据计算训练模型的损失值，通过损失值不断优化训练模型得到完全收敛处理的目标模型；再通过目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，达到实时输出待测散斑图的预测深度信息目的。本申请通过散斑RGB-D相机采集散斑图像作为训练数据，因深度仅与散斑偏移有关，与具体的环境无关，所以训练所需相对数据样本较少；并且，在散斑RGB-D相机中使用深度学习算法代替模板匹配，在不降低精度的前提下提高RGB-D相机帧率，减少VR/AR中使用相机眩晕感，能在要求高帧率的场合中有效应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的散斑深度估算方法的流程图；
图2为本发明实施例1提供的散斑深度估算方法步骤S102的具体流程图；
图3为本发明实施例1提供的散斑深度估算方法步骤S104的具体流程图；
图4为本发明实施例1提供的散斑深度估算方法步骤S105的具体流程图；
图5是本发明实施例2提供的与实施例1方法对应的散斑深度估算结构框图；
图6是本发明实施例3提供的电子设备的硬件结构示意图。
附图标记说明：
10-采集模块；
20-数据处理模块、21-匹配算法单元、22-定置单元、23-数据处理单元；
30-训练模块；
40-迭代优化模块、41-预处理单元、42-合并训练单元、43-定义单元、44-规制单元、45-计算单元、46-迭代优化单元；
50-运算模块、51-推理单元、52-实时运算单元；
60-总线、61-处理器、62-存储器、63-通信接口。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明的实施例，而不能理解为对本发明的限制。
实施例1
具体而言，图1所示为本实施例所提供的一种散斑深度估算方法的流程示意图。
如图1所示，本实施例的散斑深度估算方法包括以下步骤：
S101，采集带散斑的若干模板图及训练样本图。
其中，所述模板图是指在深度重建范围内每隔预设距离采集的带散斑白底平面图，所述训练样本图是指基于相同所述深度重建范围内的不同环境中采集的带散斑图，并且所述模板图与所述训练样本图的分辨率是相同的。
假设采集模板图数量m帧，即patternM，其中M=1，2，3，…，m（注：一般情况下模板图数量较少，3-10帧），具体地，本实施例中，所设计的深度重建范围为0.3m～1.2m，通过散斑RGB-D相机对准白墙，且相机镜头与白墙墙面垂直，在建深度范围内分别是在0.6m、0.8m、1.0m的距离采集一帧模板图，共采集3帧模板图。训练样本图通过在0.3m～1.2m的重建范围内的不同环境中进行采集，在深度重建范围内采集带散斑的样本图ims，其中S=1，2，3，…，s，共采集1万张训练样本图；需要说明的是，训练样本图的数量通常是越多越好，增加训练样本的多样性，但是样本多训练时间比较长，收集数据比较难，所以需根据具体情况选定训练样本图的数量。
S102，根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将所述第一深度数据归一化，获得归一化深度数据。
其中，数据归一化问题是数据挖掘中特征向量表达时的重要问题，当不同的特征成列在一起的时候，由于特征本身表达方式的原因而导致在绝对数值上的小数据被大数据“吃掉”的情况，此时需要做的就是对抽取出来的特征向量进行归一化处理，以保证每个特征被分类器平等对待。
进一步地，如图2所示，步骤S102的具体步骤包括：
S1021，以所述模板图为匹配模板，通过散斑模板匹配算法获取所述训练样本图的第一深度数据。
具体地，本实施例中的模板图是一幅已知的小图像。模板匹配是从待识别图像中提取若干特征向量与模板对应的特征向量进行比较，计算图像与模板特征向量之间的距离，用最小距离法判定所属类别；简而言之，模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。
S1022，将所述第一深度数据中小于散斑相机最小测量范围的深度数据置为最小值，以及大于散斑相机最大测量范围的深度数据置为最大值，以得到第二深度数据。
S1023，将所述第二深度数据进行归一化处理得到归一化深度数据。
具体地，所述归一化处理的公式为dep(x,y)=(depth(x,y)-dmin)/(dmax-dmin)，式中，(x,y)表示像素位置，depth(x,y)表示(x,y)位置处的第二深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据，dep(x,y)表示(x,y)位置处的归一化深度数据。
S103，向训练模型中输入所述模板图和所述训练样本图，以输出预估深度数据。
其中，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。本实施例的训练模型为深度学习神经网络模型，通过从观测数据中学习，计算出自身所需的解决方案。
S104，基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型。
进一步地，如图3所示，步骤S104的具体步骤包括：
S1041，将所述模板图以及所述训练样本图进行预处理，以滤除所述模板图和所述训练样本图中的环境数据；
具体地，步骤S1041具体包括：
S10411，将所述训练样本图进行滤波去噪，以使过滤所述训练样本图中的椒盐噪声和高斯噪声；椒盐噪声往往由图像切割引起，去除脉冲干扰及椒盐噪声最常用的算法是中值滤波；高斯噪声是一种随机噪声，完全由其时变平均值和两瞬时的协方差函数来确定，若噪声为平稳则平均值与时间无关，而协方差函数则变成仅和所考虑的两瞬时之差有关的相关函数；
其中，所述滤波去噪包括中值滤波和高斯滤波；中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。高斯滤波是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。
S10412，将所述模板图以及经滤波去噪处理的所述训练样本图进行局部预处理；
其中，所述局部预处理具体包括：
1、将分辨率为h*w的所述模板图及所述训练样本图的图像I四周以像素值为0填充（n-1）/2个像素，得到分辨率为（h+n-1）*（w+n-1）的F1，并基于F1做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵favg，通过均值公式获取均值特征矩阵avg；其中，n表示像素个数，所述均值公式为：
Figure 706476DEST_PATH_IMAGE001
；
具体地，本实施例中，模板图与训练样本图的分辨率为7*7，即上述h=7，w=7；使用n=3的窗口做卷积，填充之后分辨率变成9*9；填充之后做核为3*3的卷积操作，卷积之后得到还是7*7的分辨率。
2、基于F2=F12的关系获取F2，并基于F2做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵fstd，通过标准偏差公式获取标准偏差矩阵std；其中，所述标准偏差公式为：
Figure 382308DEST_PATH_IMAGE002
；
具体地，卷积层网络是基于二维卷积神经网络运算的局部特征提取，其输入为一对散斑图像(左散斑图像和右散斑图像)，输出为对应每个散斑图像的若干第一特征图像，卷积层用于对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量。
3、基于所述均值特征矩阵avg以及所述标准偏差矩阵std，通过滤除公式去除环境散斑矩阵以滤除环境数据，得到所述模板图及所述训练样本图滤除环境干扰后的图像；其中，所述滤除公式为：
Figure 761337DEST_PATH_IMAGE006
；
式中，(x,y)表示像素位置，I，(x,y)表示滤除环境干扰后(x,y)位置处的像素值，I(x,y)表示(x,y)位置处的像素值，avg(x,y)表示(x,y)位置处的像素均值，std(x,y)表示(x,y)位置处的协方差值。
S1042，将预处理的所述模板图及所述训练样本图的结果合并训练，得到S个输入样本。
其中，通过步骤S1042将模板图patternM预处理之后得到P1,P2,…,Pm,以及将训练样本图ims预处理之后得到im， 1，im， 2，…，im， s,合并训练图像即（im， 1，P1,P2,…,Pm）为第1个训练样本，（im， s，P1,P2,…,Pm）为第S个训练样本等，如此可以得到S个训练样本（S为训练一训练样本的总数，跟前面步骤S102采样数S是相同值）。
S1043，将所述S个输入样本逐一以预定数量的输入样本定义为所述训练模型中的一个超参数batch，获取多个超参数数据，并将所述多个超参数数据输入所述训练模型。
具体地，本实施例中，将上述得到的S个输入样本以数量16做成模型训练里的一个超参数，总共可以获取S/16个超参数，将获取的超参数全部喂入训练模型。当然，其它实施例训练时也可选用8或32帧做出一个超参数。
S1044，以batch*h*w*(M+1)作为所述训练模型训练的输入数据维度，且以batch*h*w*1作为所述训练模型训练的输出数据维度，通过所述训练模型输出预估深度数据。
其中，h*w表示所述模板图及所述训练样本图的分辨率，M表示所述模板图的采集数量。具体地，本实施例中，模板图与训练样本图的分辨率为7*7，即上述h=7、w=7、M=3。
S1045，基于所述预估深度数据通过损失函数计算所述训练模型的损失值。
其中，损失函数指一种将一个事件映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数，在于协助通过过程的改善而持续减少目标值的变异。本实施例中，所述损失函数为：
Figure 889830DEST_PATH_IMAGE007
；
式中，(x,y)表示像素位置，h*w表示所述模板图及所述训练样本图的分辨率，d，(x,y)表示(x,y)像素位置的预估深度数据，dep(x,y)表示(x,y)像素位置的归一化深度数据。
S1046，根据所述损失值进行反向传播，不断优化所述训练模型的参数直至完全收敛得到目标模型。
其中，利用损失值反向传播，目的在于利用神经网络训练时实际输出的值与目标值可能存在较大的差距，利用损失函数可以直观看出目标值与实际输出之间的差距，以便指导的输出去接近目标值。
S105，通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
进一步地，如图4所示，步骤S105的具体步骤包括：
S1051，将不断从散斑相机中采集的待测散斑图的图像fr通过所述预处理的处理获取得到所述图像fr滤除环境干扰后的图像f， r，并拼接所述模板图滤除环境干扰后的图像得到目标输入样本，并将所述目标输入样本输入所述目标模型进行推理，得到归一化预测深度数据；
S1052，基于所述归一化预测深度数据，采用预设公式计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
具体地，所述预设公式为：
d=d， r*(dmax _dmin)+dmin；
式中，d为实际估算深度，d， r为归一化预测深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据。
综上所述，本实施例通过采集散斑数据，以及深度学习神经网络输入，神经网络损失函数的设计，最终神经网络模型输出归一化的深度数据，再通过后期处理得到实际的深度信息。本申请通过散斑RGB-D相机采集散斑图像作为训练数据，因深度仅与散斑偏移有关，与具体的环境无关，所以训练所需相对数据样本较少；并且，在散斑RGB-D相机中使用深度学习算法代替模板匹配，在不降低精度的前提下提高RGB-D相机帧率，减少VR/AR中使用相机眩晕感，能在要求高帧率的场合中有效应用。
实施例2
本实施例提供了与实施例1所述方法相对应的系统的结构框图。图5是根据本申请实施例的散斑深度估算系统的结构框图，如图5所示，该系统包括：
采集模块10，用于采集带散斑的若干模板图及训练样本图；其中，所述模板图是指在深度重建范围内每隔预设距离采集的带散斑白底平面图，所述训练样本图是指基于相同所述深度重建范围内的不同环境中采集的带散斑图；
数据处理模块20，用于根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将所述第一深度数据归一化，获得归一化深度数据；
训练模块30，用于向训练模型中输入所述模板图和所述训练样本图，以输出预估深度数据；
迭代优化模块40，用于基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型；
运算模块50，用于通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
进一步地，所述数据处理模块20包括：
匹配算法单元21，用于以所述模板图为匹配模板，通过散斑模板匹配算法获取所述训练样本图的第一深度数据；
定置单元22，用于将所述第一深度数据中小于散斑相机最小测量范围的深度数据置为最小值，以及大于散斑相机最大测量范围的深度数据置为最大值,以得到第二深度数据；
数据处理单元23，用于通过归一化公式将所述第二深度数据进行归一化处理得到归一化深度数据；其中，所述归一化处理公式为dep(x,y)=(depth(x,y)-dmin)/(dmax-dmin)，式中，(x,y)表示像素位置，depth(x,y)表示(x,y)位置处的第二深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据，dep(x,y)表示(x,y)位置处的归一化深度数据。
进一步地，所述迭代优化模块40包括：
预处理单元41，用于将所述模板图以及所述训练样本图进行预处理，以滤除所述模板图和所述训练样本图中的环境数据；
合并训练单元42，用于将预处理的所述模板图及所述训练样本图的结果合并训练，得到S个输入样本；
定义单元43，用于将所述S个输入样本逐一以预定数量的输入样本定义为所述训练模型中的一个超参数batch，获取多个超参数数据，并将所述多个超参数数据输入所述训练模型；
规制单元44，用于以batch*h*w*(M+1)作为所述训练模型训练的输入数据维度，且以batch*h*w*1作为所述训练模型训练的输出数据维度，通过所述训练模型输出预估深度数据；其中，h*w表示所述模板图及所述训练样本图的分辨率，M表示所述模板图的采集数量；
计算单元45，用于基于所述预估深度数据通过损失函数计算所述训练模型的损失值；
迭代优化单元46，用于根据所述损失值进行反向传播，不断优化所述训练模型的参数直至完全收敛得到目标模型。
进一步地，所述预处理单元41具体用于：
将所述训练样本图进行滤波去噪，以使过滤所述训练样本图中的椒盐噪声和高斯噪声；其中，所述滤波去噪包括中值滤波和高斯滤波；
将所述模板图以及经滤波去噪处理的所述训练样本图进行局部预处理；其中，所述局部预处理具体包括：
将分辨率为h*w的所述模板图及所述训练样本图的图像I四周以像素值为0填充（n-1）/2个像素，得到分辨率为（h+n-1）*（w+n-1）的F1，并基于F1做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵favg，通过均值公式获取均值特征矩阵avg；其中，n表示像素个数，所述均值公式为：
Figure 379717DEST_PATH_IMAGE001
；
基于F2=F12的关系获取F2，并基于F2做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵fstd，通过标准偏差公式获取标准偏差矩阵std；其中，所述标准偏差公式为：
Figure 893744DEST_PATH_IMAGE002
；
基于所述均值特征矩阵avg以及所述标准偏差矩阵std，通过滤除公式去除环境散斑矩阵以滤除环境数据，得到所述模板图及所述训练样本图滤除环境干扰后的图像；其中，所述滤除公式为：
Figure 646936DEST_PATH_IMAGE005
；
式中，(x,y)表示像素位置，I，(x,y)表示滤除环境干扰后(x,y)位置处的像素值，I(x,y)表示(x,y)位置处的像素值，avg(x,y)表示(x,y)位置处的像素均值，std(x,y)表示(x,y)位置处的协方差值。
进一步地，所述运算模块50包括：
推理单元51，用于将不断从散斑相机中采集的待测散斑图的图像fr通过所述预处理的处理获取得到所述图像fr滤除环境干扰后的图像f， r，并拼接所述模板图滤除环境干扰后的图像得到目标输入样本，并将所述目标输入样本输入所述目标模型进行推理，得到归一化预测深度数据；
实时运算单元52，用于基于所述归一化预测深度数据，采用预设公式计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例3
结合图1所描述的散斑深度估算方法可以由电子设备来实现。图6为根据本实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性（Non-Volatile）存储器。在特定实施例中，存储器62包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例1的散斑深度估算方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图6所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信接口63用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口63还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（ControlBus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线60可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（FrontSide Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到散斑深度估算系统，执行本申请实施例1的散斑深度估算方法。
另外，结合上述实施例1中的散斑深度估算方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例1的散斑深度估算方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体与详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形与改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种散斑深度估算方法，其特征在于，包括：
采集带散斑的若干模板图及训练样本图；其中，所述模板图是指在深度重建范围内每隔预设距离采集的带散斑白底平面图，所述训练样本图是指基于相同所述深度重建范围内的不同环境中采集的带散斑图；
根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将所述第一深度数据归一化，获得归一化深度数据；
向训练模型中输入所述模板图和所述训练样本图，以输出预估深度数据；
基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型；
通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
2.根据权利要求1所述的散斑深度估算方法，其特征在于，所述根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将所述第一深度数据归一化，获得归一化深度数据的步骤具体包括：
以所述模板图为匹配模板，通过散斑模板匹配算法获取所述训练样本图的第一深度数据；
将所述第一深度数据中小于散斑相机最小测量范围的深度数据置为最小值，以及大于散斑相机最大测量范围的深度数据置为最大值，以得到第二深度数据；
将所述第二深度数据进行归一化处理得到归一化深度数据；其中，所述归一化处理的公式为dep(x,y)=(depth(x,y)-dmin)/(dmax-dmin)，式中，(x,y)表示像素位置，depth(x,y)表示(x,y)位置处的第二深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据，dep(x,y)表示(x,y)位置处的归一化深度数据。
3.根据权利要求1所述的散斑深度估算方法，其特征在于，所述基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型的步骤具体包括：
将所述模板图以及所述训练样本图进行预处理，以滤除所述模板图和所述训练样本图中的环境数据；
将预处理的所述模板图及所述训练样本图的结果合并训练，得到S个输入样本；
将所述S个输入样本逐一以预定数量的输入样本定义为所述训练模型中的一个超参数batch，获取多个超参数数据，并将所述多个超参数数据输入所述训练模型；
以batch*h*w*(M+1)作为所述训练模型训练的输入数据维度，且以batch*h*w*1作为所述训练模型训练的输出数据维度，通过所述训练模型输出预估深度数据；其中，h*w表示所述模板图及所述训练样本图的分辨率，M表示所述模板图的采集数量；
基于所述预估深度数据通过损失函数计算所述训练模型的损失值；
根据所述损失值进行反向传播，不断优化所述训练模型的参数直至完全收敛得到目标模型。
4.根据权利要求3所述的散斑深度估算方法，其特征在于，所述将所述模板图以及所述训练样本图进行预处理，以滤除所述模板图和所述训练样本图中的环境数据的步骤具体包括：
将所述训练样本图进行滤波去噪，以使过滤所述训练样本图中的椒盐噪声和高斯噪声；其中，所述滤波去噪包括中值滤波和高斯滤波；
将所述模板图以及经滤波去噪处理的所述训练样本图进行局部预处理；其中，所述局部预处理具体包括：
将分辨率为h*w的所述模板图及所述训练样本图的图像I四周以像素值为0填充（n-1）/2个像素，得到分辨率为（h+n-1）*（w+n-1）的F1，并基于F1做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵favg，通过均值公式获取均值特征矩阵avg；其中，n表示像素个数，所述均值公式为：
Figure 354646DEST_PATH_IMAGE001
；
基于F2=F12的关系获取F2，并基于F2做窗口大小为n*n、步长为1以及卷积核权重均为1的二维卷积得到特征矩阵fstd，通过标准偏差公式获取标准偏差矩阵std；其中，所述标准偏差公式为：
Figure 407921DEST_PATH_IMAGE002
；
基于所述均值特征矩阵avg以及所述标准偏差矩阵std，通过滤除公式去除环境散斑矩阵以滤除环境数据，得到所述模板图及所述训练样本图滤除环境干扰后的图像；其中，所述滤除公式为：
Figure 340105DEST_PATH_IMAGE003
；
式中，(x,y)表示像素位置，I，(x,y)表示滤除环境干扰后(x,y)位置处的像素值，I(x,y)表示(x,y)位置处的像素值，avg(x,y)表示(x,y)位置处的像素均值，std(x,y)表示(x,y)位置处的协方差值。
5.根据权利要求3所述的散斑深度估算方法，其特征在于，所述损失函数为：
Figure 684499DEST_PATH_IMAGE004
；
式中，(x,y)表示像素位置，h*w表示所述模板图及所述训练样本图的分辨率，d，(x,y)表示(x,y)像素位置的预估深度数据，dep(x,y)表示(x,y)像素位置的归一化深度数据。
6.根据权利要求3所述的散斑深度估算方法，其特征在于，所述通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息的步骤具体包括：
将不断从散斑相机中采集的待测散斑图的图像fr通过所述预处理的处理获取得到所述图像fr滤除环境干扰后的图像f， r，并拼接所述模板图滤除环境干扰后的图像得到目标输入样本，并将所述目标输入样本输入所述目标模型进行推理，得到归一化预测深度数据；
基于所述归一化预测深度数据，采用预设公式计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
7.根据权利要求6所述的散斑深度估算方法，其特征在于，所述预设公式为：
d=d， r*(dmax _dmin)+dmin；
式中，d为实际估算深度，d， r为归一化预测深度数据，dmax为散斑相机最大测量范围的深度数据，dmin为散斑相机最小测量范围的深度数据。
8.一种散斑深度估算系统，其特征在于，包括：
采集模块，用于采集带散斑的若干模板图及训练样本图；其中，所述模板图是指在深度重建范围内每隔预设距离采集的带散斑白底平面图，所述训练样本图是指基于相同所述深度重建范围内的不同环境中采集的带散斑图；
数据处理模块，用于根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，并将此第一深度数据归一化，获得归一化深度数据；
训练模块，用于向训练模型中输入所述模板图和所述训练样本图，以输出预估深度数据；
迭代优化模块，用于基于所述归一化深度数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型；
运算模块，用于通过所述目标模型针对待测散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图的预测深度信息。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的散斑深度估算方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的散斑深度估算方法。
CN202211231349.7A 2022-10-10 2022-10-10 一种散斑深度估算方法、系统、电子设备及存储介质 Active CN115294375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211231349.7A CN115294375B (zh) 2022-10-10 2022-10-10 一种散斑深度估算方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211231349.7A CN115294375B (zh) 2022-10-10 2022-10-10 一种散斑深度估算方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115294375A CN115294375A (zh) 2022-11-04
CN115294375B true CN115294375B (zh) 2022-12-13

Family

ID=83819463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211231349.7A Active CN115294375B (zh) 2022-10-10 2022-10-10 一种散斑深度估算方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115294375B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989326A (zh) * 2009-07-31 2011-03-23 三星电子株式会社 人体姿态识别方法和装置
CN108961327A (zh) * 2018-05-22 2018-12-07 深圳市商汤科技有限公司 一种单目深度估计方法及其装置、设备和存储介质
WO2019174378A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于深度预测和增强子网络的高质量深度估计方法
CN112233179A (zh) * 2020-10-20 2021-01-15 湘潭大学 一种视觉里程计测量方法
CN112801074A (zh) * 2021-04-15 2021-05-14 速度时空信息科技股份有限公司 一种基于交通摄像头的深度图估计方法
CN113129232A (zh) * 2021-04-15 2021-07-16 中山大学 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法
CN113674335A (zh) * 2021-08-19 2021-11-19 北京的卢深视科技有限公司 深度成像方法、电子设备及存储介质
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN114022729A (zh) * 2021-10-27 2022-02-08 华中科技大学 基于孪生网络和监督训练的异源图像匹配定位方法和系统
CN114511608A (zh) * 2022-01-26 2022-05-17 奥比中光科技集团股份有限公司 一种深度图像的获取方法、装置、终端、成像系统和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989326A (zh) * 2009-07-31 2011-03-23 三星电子株式会社 人体姿态识别方法和装置
WO2019174378A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于深度预测和增强子网络的高质量深度估计方法
CN108961327A (zh) * 2018-05-22 2018-12-07 深圳市商汤科技有限公司 一种单目深度估计方法及其装置、设备和存储介质
CN112233179A (zh) * 2020-10-20 2021-01-15 湘潭大学 一种视觉里程计测量方法
CN112801074A (zh) * 2021-04-15 2021-05-14 速度时空信息科技股份有限公司 一种基于交通摄像头的深度图估计方法
CN113129232A (zh) * 2021-04-15 2021-07-16 中山大学 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法
CN113674335A (zh) * 2021-08-19 2021-11-19 北京的卢深视科技有限公司 深度成像方法、电子设备及存储介质
CN114022729A (zh) * 2021-10-27 2022-02-08 华中科技大学 基于孪生网络和监督训练的异源图像匹配定位方法和系统
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN114511608A (zh) * 2022-01-26 2022-05-17 奥比中光科技集团股份有限公司 一种深度图像的获取方法、装置、终端、成像系统和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
The VLSI implementation of a high-resolution depth-sensing SoC based on active structured light;Huimin Yao etal.;《Machine Vision and Applications》;20150410;全文 *
利用红外线实现图像深度信息获取;亓子龙;《现代工业经济和信息化》;20181231(第7期);全文 *
基于深度哈希特征在水下图像深度估计研究;楚希鹏;《科技展望》;20160720(第20期);全文 *

Also Published As

Publication number Publication date
CN115294375A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US11900628B2 (en) Stereo matching method and apparatus, image processing apparatus, and training method therefor
CN105938559B (zh) 使用卷积神经网络的数字图像处理
CN111696196B (zh) 一种三维人脸模型重建方法及装置
Karuppusamy Building detection using two-layered novel convolutional neural networks
US11049275B2 (en) Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof
CN109887021B (zh) 基于跨尺度的随机游走立体匹配方法
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN112446379B (zh) 一种动态大场景自适应智能处理方法
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN114310887A (zh) 3d人腿识别方法、装置、计算机设备及存储介质
CN113591854A (zh) 一种浮游生物全息图的低冗余快速重建方法
CN115294375B (zh) 一种散斑深度估算方法、系统、电子设备及存储介质
Xu et al. A two-stage noise level estimation using automatic feature extraction and mapping model
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
Zhai et al. Geometry understanding from autonomous driving scenarios based on feature refinement
RU2718429C1 (ru) Устройство обнаружения локально-стационарных областей на изображении
CN114820755A (zh) 一种深度图估计方法及系统
RU2383925C2 (ru) Способ выделения контуров объектов изображения и устройство для его реализации
CN115601410A (zh) 一种散斑深度估计方法、系统、电子设备及存储介质
Lyu Research on subway pedestrian detection algorithm based on big data cleaning technology
Bakht et al. MuLA-GAN: Multi-Level Attention GAN for Enhanced Underwater Visibility
Lyasheva et al. Application of Image Weight Models to Increase Canny Contour Detector Resilience to Interference
CN112183359B (zh) 视频中的暴力内容检测方法、装置及设备
Kardan et al. Machine Learning Based Specularity Detection Techniques To Enhance Indoor Navigation
Thakur et al. A Two Phase Ultrasound Image De-speckling Framework by Nonlocal Means on Anisotropic Diffused Image Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant