CN112465723A - 深度图像的修复方法、装置、电子设备和计算机存储介质 - Google Patents

深度图像的修复方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN112465723A
CN112465723A CN202011416331.5A CN202011416331A CN112465723A CN 112465723 A CN112465723 A CN 112465723A CN 202011416331 A CN202011416331 A CN 202011416331A CN 112465723 A CN112465723 A CN 112465723A
Authority
CN
China
Prior art keywords
repaired
depth
region
pixel points
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011416331.5A
Other languages
English (en)
Inventor
李江
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN202011416331.5A priority Critical patent/CN112465723A/zh
Publication of CN112465723A publication Critical patent/CN112465723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种深度图像的修复方法、装置、电子设备和计算机存储介质，方法包括，获取拍摄目标物体得到的深度图像和红外图像；确定深度图像和红外图像中目标物体所在的目标深度区域和目标红外区域；在深度图像中将目标深度区域和目标红外区域作差得到待修复区域；选取待修复区域内与修复后的像素点或目标深度区域的边缘相邻的像素点作为待修复像素点，将待修复像素点的深度值更新为相邻的修复后的像素点和位于参考区域内的像素点的深度值的加权平均值，得到修复后的像素点，然后选取新的待修复像素点，直至修复完待修复区域的所有像素点。本方案利用红外图像确定待修复区域并修复其中的像素点，从而消除深度图像的缺失。

Description

深度图像的修复方法、装置、电子设备和计算机存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种深度图像的修复方法、装置、电子设备和计算机存储介质。
背景技术
深度图是利用具有深度测量功能的深度相机拍摄得到的一种特殊图像，和普通的平面图像类似，深度图也由多个像素点组成，但是深度图的每一个像素点对应的数值为深度值，像素点的深度值用于表示该像素点在真实的物体上对应的空间点到深度相机的成像平面的距离，利用深度图可以获得更具立体感的图像。
目前的深度相机拍摄得到的深度图往往在物体边缘存在缺失，导致物体边缘不够平滑，深度图的精度较差。
发明内容
基于上述现有技术的问题，本申请提供一种深度图像的修复方法、装置、电子设备和计算机存储介质，以对深度图进行修复，消除其中的缺失。
本申请第一方面提供一种深度图像的修复方法，包括：
获取深度图像和红外图像；其中，所述深度图像和所述红外图像均是对目标物体拍摄得到的图像；
识别得到所述深度图像中的目标深度区域和所述红外图像中的目标红外区域；其中，所述目标深度区域指代所述深度图像中所述目标物体的所在区域，所述目标红外区域指代所述红外图像中所述目标物体的所在区域；
在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域；
选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点；
针对每一个所述待修复像素点，将所述待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点；其中，所述参考像素点包括根据与所述待修复像素点的距离由近到远选取的预设数量的候选像素点，所述候选像素点包括修复后的像素点和所述目标深度区域内的像素点；所述参考像素点对应的权重与所述参考像素点到所述待修复像素点的距离负相关；
返回所述选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点步骤，直至所述待修复区域内的每一个像素点均被修复为止，以完成对所述深度图像的修复。
可选的，所述在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域之前，还包括：
检测得到所述目标深度区域的边缘的每一个噪声像素点；其中，所述噪声像素点指代，垂直方向的梯度和/或水平方向的梯度大于预设的梯度阈值的像素点；
删除每一个所述噪声像素点的深度值；
其中，所述选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点，包括：
选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点以及未被修复的所述噪声像素点作为待修复像素点。
可选的，所述在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域之前，还包括：
在所述深度图像和所述红外图像中分别确定多组相互匹配的特征点；其中，所述一组相互匹配的特征点，包括分别位于所述深度图像和所述红外图像中、且对应于同一空间点的两个像素点；
基于所述多组相互匹配的特征点，对所述红外图像中的目标红外区域进行仿射变换，得到变换后的目标红外区域；
其中，所述在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，包括：
在所述深度图像中确定出与所述仿射变换后的红外区域位于相同位置且具有相同形状的参考区域。
可选的，所述将所述待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点，包括：
将每一个所述参考像素点和所述待修复像素点的距离累加得到累计距离；
针对每一个所述参考像素点，计算所述参考像素点和所述待修复像素点的距离与所述累计距离的比值，得到所述参考像素点的距离比；
计算每一个所述参考像素点的距离比和1的差值，得到每一个所述参考像素点的权重；
基于每一个所述参考像素点的权重和每一个所述参考像素点的深度值计算得到所述多个参考像素点的深度值的加权平均值；
将所述待修复像素点的深度值更新为所述加权平均值，得到修复后的像素点。
本申请第二方面提供一种深度图像的修复装置，包括：
获取单元，用于获取深度图像和红外图像；其中，所述深度图像和所述红外图像均是对目标物体拍摄得到的图像；
识别单元，用于识别得到所述深度图像中的目标深度区域和所述红外图像中的目标红外区域；其中，所述目标深度区域指代所述深度图像中所述目标物体的所在区域，所述目标红外区域指代所述红外图像中所述目标物体的所在区域；
确定单元，用于在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域；
选取单元，用于选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点；
修复单元，用于针对每一个所述待修复像素点，将所述待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点；其中，所述参考像素点包括根据与所述待修复像素点的距离由近到远选取的预设数量的候选像素点，所述候选像素点包括修复后的像素点和所述目标深度区域内的像素点；所述参考像素点对应的权重与所述参考像素点到所述待修复像素点的距离负相关；
所述选取单元，用于返回所述选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点步骤，直至所述待修复区域内的每一个像素点均被修复为止，以完成对所述深度图像的修复。
可选的，所述修复装置还包括清洗单元，用于：
检测得到所述目标深度区域的边缘的每一个噪声像素点；其中，所述噪声像素点指代，垂直方向的梯度和/或水平方向的梯度大于预设的梯度阈值的像素点；
删除每一个所述噪声像素点的深度值；
其中，所述选取单元选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点时，具体用于：
选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点以及未被修复的所述噪声像素点作为待修复像素点。
可选的，所述修复装置还包括变换单元，用于：
在所述深度图像和所述红外图像中分别确定多组相互匹配的特征点；其中，所述一组相互匹配的特征点，包括分别位于所述深度图像和所述红外图像中、且对应于同一空间点的两个像素点；
基于所述多组相互匹配的特征点，对所述红外图像中的目标红外区域进行仿射变换，得到变换后的目标红外区域；
其中，所述确定单元在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域时，具体用于：
在所述深度图像中确定出与所述仿射变换后的红外区域位于相同位置且具有相同形状的参考区域。
可选的，所述修复单元包括：
累加单元，用于将每一个所述参考像素点和所述待修复像素点的距离累加得到累计距离；
第一计算单元，用于针对每一个所述参考像素点，计算所述参考像素点和所述待修复像素点的距离与所述累计距离的比值，得到所述参考像素点的距离比；
第二计算单元，用于计算每一个所述参考像素点的距离比和1的差值，得到每一个所述参考像素点的权重；
第三计算单元，用于基于每一个所述参考像素点的权重和每一个所述参考像素点的深度值计算得到所述多个参考像素点的深度值的加权平均值；
更新单元，用于将所述待修复像素点的深度值更新为所述加权平均值，得到修复后的像素点。
本申请第三方面提供一种电子设备，包括存储器和处理器；
其中，所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序，具体用于实现本申请第一方面任意一项所提供的深度图像的修复方法。
本申请第四方面提供一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，具体用于实现本申请第一方面任意一项所述的深度图像的修复方法。
本申请提供一种深度图像的修复方法、装置、电子设备和计算机存储介质，方法包括，获取拍摄目标物体得到的深度图像和红外图像；确定深度图像和红外图像中目标物体所在的目标深度区域和目标红外区域；在深度图像中将目标深度区域和目标红外区域作差得到待修复区域；选取待修复区域内与修复后的像素点或目标深度区域的边缘相邻的像素点作为待修复像素点，将待修复像素点的深度值更新为相邻的修复后的像素点和位于参考区域内的像素点的深度值的加权平均值，得到修复后的像素点，然后选取新的待修复像素点，直至修复完待修复区域的所有像素点。本方案利用红外图像确定待修复区域并修复其中的像素点，从而消除深度图像的缺失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的深度图像中物体边缘的缺失问题的示意图；
图2为本申请实施例提供的一种深度图像的修复方法的流程图；
图3为本申请实施例提供的深度图像中的待修复区域的示意图；
图4为本申请实施例提供的另一种深度图像的修复方法的流程图；
图5为本申请实施例提供的又一种深度图像的修复方法的流程图；
图6为本申请实施例提供的一种深度图像的修复装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于理解本申请提供的方案，首先简要说明目前深度相机拍摄得到的深度图像存在的缺失问题。
深度相机在拍摄深度图像时难以完整地采集目标物体的每一个点反馈的光线，导致深度图像中目标物体的所在区域和目标物体实际上应该在图像中呈现的形状不一致，这种现象就称为缺失。深度图像的缺失一般发生在被拍摄的目标物体的边缘，如图1所示，被拍摄的目标物体为圆柱状的物体，在用深度相机拍摄时，由于深度相机未能采集到目标物体上虚线位置所示的缺失部分反馈的光线，导致最终拍摄得到的深度图像上目标物体的区域和目标物体的真实形状不一致，深度图像中位于缺失部分的像素点未记录到目标物体中对应位置的空间点的距离。
为了解决上述深度图像中的问题，本申请实施例提供一种深度图像的修复方法，如图2所示，该方法可以包括以下步骤：
S201、获取深度图像和红外图像。
其中，深度图像和红外图像均是对目标物体拍摄得到的图像。并且，拍摄深度图像时深度相机和目标物体之间的相对位置，与拍摄红外图像时红外摄像设备和目标物体之间的相对位置一致，换言之，步骤S201中的深度图像和红外图像是在同一拍摄位置，对放置在同一物体位置的目标物体拍摄得到的两个图像。
目标物体可以是某人的手部或脸部，当然也可以是其他的物体。
步骤S201中，深度图像可以用深度相机对目标物体进行拍摄而得到，红外图像可以有两种拍摄方式。第一种，可以利用独立于深度相机的红外摄像设备拍摄目标物体，将拍摄得到的目标物体的泛红外图像作为步骤S201中的红外图像；第二种，深度相机自身一般也具有拍摄红外图像的能力，深度相机的感光元件同时也具有红外光接收能力，因此，也可以直接用深度相机拍摄得到目标物体的红外图像。
在上述两种红外图像的拍摄方式中，将第一种拍摄方式拍摄得到的目标物体的泛红外图像用于修复深度图像，可以获得更好的修复效果。
S202、识别得到深度图像中的目标深度区域和红外图像中的目标红外区域。
其中，目标深度区域指代深度图像中目标物体的所在区域，目标红外区域指代红外图像中目标物体的所在区域。
步骤S202相当于分别在深度图像和红外图像中识别出目标物体，进而确定出目标物体的所在区域，目标物体所在区域的边界，就相当于对应图像中目标物体的轮廓。
上述过程可以采用现有的物体检测技术，物体轮廓识别技术，以及基于广度优先搜索、深度优先搜索和区域生成等算法的图像识别技术实现，具体的检测方法可以参考相关的现有技术，此处不做限定。
S203、在深度图像中将目标红外区域和目标深度区域作差，得到待修复区域。
一般的，由于深度相机存在缺失问题，对特定的目标物体拍摄得到的红外图像和深度图像中，目标物体在红外图像中所占的区域(即目标红外区域)会大于目标物体在深度图像中所占的区域(即目标深度区域)，或者说对特定的目标物体，其目标深度区域不会超过对应红外图像中的目标红外区域，因此可以用目标红外区域和目标深度区域作差得到待修复区域。
步骤S203具体包括：
在深度图像中确定出与目标红外区域位于相同位置且具有相同形状的参考区域，并将参考区域的边界和目标深度区域的边界所包围的区域确定为待修复区域。
步骤S203的执行过程可以参考图3进行理解：
图3上方表示红外图像，下方表示深度图像，步骤S202中分别在这两个图像中确定出了目标物体的所在区域，在此基础上，将红外图像中的目标红外区域向深度图像中的对应位置映射，就可以得到图3的深度图像中表示的，与目标红外区域具有相同形状的参考区域。
如图3所示，获得参考区域后，在深度图像中参考区域的边界和原本的目标深度区域的边界就围成了一个新的区域，这个区域就是步骤S203中目标红外区域和目标深度区域作差得到的待修复区域。
S204、选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点作为待修复像素点。
首次执行步骤S204时，由于尚未执行过步骤S205中的修复操作，深度图像中不存在修复后的像素点，因此首次执行步骤S204时实际上是选取待修复区域中和目标深度区域的像素点相邻的像素点，换言之，也就是选取待修复区域中，紧贴目标深度区域的边缘的像素点作为待修复像素点。
S205、将待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点。
其中，参考像素点包括根据与待修复像素点的距离由近到远选取的预设数量的候选像素点，候选像素点包括修复后的像素点和目标深度区域内的像素点。
参考像素点对应的权重与参考像素点到待修复像素点的距离负相关。
步骤S205相当于对待修复像素点执行修复操作。
步骤S205的一种可选的执行过程是：
确定出参考像素点之后，将每一个参考像素点和待修复像素点的距离累加得到累计距离；
针对每一个参考像素点，计算参考像素点和待修复像素点的距离与累计距离的比值，得到参考像素点的距离比；
计算每一个参考像素点的距离比和1的差值，得到每一个参考像素点的权重；
基于每一个参考像素点的权重和每一个参考像素点的深度值计算得到多个参考像素点的深度值的加权平均值；
将待修复像素点的深度值更新为加权平均值，得到修复后的像素点。
上述过程可以参照如下公式进行理解：
Figure BDA0002816672880000091
上述公式中，Depth0表示计算得到的加权平均值，4为参考像素点的数量，根据具体的需求，参考像素点的数量可以设定为4个或8个，或者设定为其他正整数。x0和y0表示待修复像素点在深度图像中的坐标，Di表示第i个参考像素点的深度值，x0和y0表示第i个参考像素点的坐标，公式中的分母表示针对当前这个待修复像素点所确定的每一个参考像素点(在上述公式中就是确定的4个像素点)和这个待修复像素点的距离之和，分子则表示第i个参考像素点到待修复像素点的距离。
可以看出，Di左侧小括号内的差值就相当于每个参考像素点的权重，参考像素点和待修复像素点的距离越大，则对应的权重越小。
在执行步骤S205时，可以将所有的修复后的像素点和位于目标深度区域内的像素点记为候选像素点，针对某一个待修复像素点，可以依据与待修复像素点的距离，由近到远的选择预设数量个候选像素点作为这个待修复像素点的参考像素点，例如在上述公式中，就是由近到远地选取4个候选像素点作为参考像素点，然后将这些参考像素点的深度值和坐标代入上述公式，计算得到加权平均值Depth0，然后将待修复像素点的深度值更新为Depth0，这样就完成了对待修复像素点的修复，更新了深度值之后的像素点就成为一个修复后的像素点。
需要说明的是，步骤S205是对步骤S204中选取的每一个待修复像素点进行修复。
换言之，步骤S204和步骤S205被首次执行的过程，相当于，沿着目标深度区域的边界，逐一修复位于待修复区域内且紧贴目标深度区域的边界的像素点，得到沿着目标深度区域的边界分布的若干个修复后的像素点。
可选的，除了上述公式中所示的确定参考像素点的权重的算式以外，还可以采用其他算式确定参考像素点的权重，例如可以设定固定的权重系数，将权重系数除以参考像素点和待修复像素点的距离得到的比值作为参考像素点的权重。
S206、判断是否修复完成。
若未修复完成，则返回执行步骤S204，若修复完成，则执行步骤S207。
修复完成，是指，待修复区域内的每一个像素点均按步骤S205所述的方法进行了修复，也就是说待修复区域内的每一个像素点都是修复后的像素点时，修复完成。
相对的，在执行步骤S206时，可以检测待修复区域内是否还有未修复的像素点，若有，则判断出未修复完成，若待修复区域内的所有像素点都是修复后的像素点，则判断出修复完成。
S207、输出修复后的深度图像。
也就是说，在每次执行完步骤S205后，若为修复完成，则返回步骤S204，重新选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点作为待修复像素点步骤，直至待修复区域内的每一个像素点均被修复为止，以完成对深度图像的修复。
如前文所述，首次执行步骤S204和步骤S205时，相当于是逐一修复位于待修复区域内且紧贴目标深度区域的边缘的像素点，首次执行结束后，经过步骤S206的判断，修复尚未完成，于是第二次执行步骤S204和步骤S205，此时，就沿着前一次执行步骤S204和步骤S205之后的多个修复后的像素点，逐一选取与前一次修复得到的这些修复后的像素点相邻的像素点作为待修复像素点，然后利用前述公式进行修复，得到新的一批修复后的像素点，然后再次执行步骤S206的判断，以此类推，直至待修复区域内的所有像素点均被修复为止。在待修复区域内的所有像素点均被修复后，就完成了对深度图像的修复。
本申请实施例提供的深度图像的修复方法，其原理可以认为是：
将红外图像中显示的目标物体看做完整的目标物体，也就是认为红外图像完整的记录了目标物体的形状信息，在此基础上，将红外图像中目标物体的所在区域(即目标红外区域)和深度图像的目标深度区域作差，通过这种方式确定出深度图像所显示的目标物体相对于完整的目标物体缺失的部分(即确定出待修复区域)，随后利用深度图像已经采集得到的深度值(即位于目标深度区域内的像素点的深度值)从待修复区域的内测开始，由内向外的逐一补充缺失部分的像素点的深度值，直至将缺失的部分的深度值补充完毕，从而完成对深度图像的修复。通过这种方式，本方案能够修复深度图像中缺失的部分，解决深度图像的缺失问题。
另外，本方案的处理速度较高，能够利用Intel-i3处理器实现针对尺寸为640*480的深度图像实时修复，并且具有良好的通用性。
除了缺失问题以外，深度图像还可能存在噪声(也可以称为毛刺)问题。具体来说，在深度图像中，若目标物体所在区域的某个像素点的深度值，和对应的空间点与成像平面的距离不匹配(即该像素点的深度值异常)，则该像素点就是这个深度图像上的一处噪声(或毛刺)，换言之，作为噪声的像素点的深度值，并不能真实的反映对应的空间点到深度相机的成像平面之间的距离。如果将缺失问题认为是，深度相机拍摄得到的目标物体不完整，那么噪声问题就可以认为是，深度相机拍摄得到的目标物体的某局部区域存在错误(即与真实情况不符)。噪声问题一般出现在深度图像中目标物体的边缘，换言之，深度图像中深度值异常的像素点通常是位于前文所述的目标深度区域的边缘的像素点。
针对上述问题，本申请实施例提供了另一种深度图像的修复方法，请参考图4，该方法可以包括以下步骤：
S401、获取深度图像和红外图像。
S402、识别得到深度图像中的目标深度区域和红外图像中的目标红外区域。
步骤S401和步骤S402的执行过程和步骤S201和步骤S202一致，此处不再详述。
S403、检测得到目标深度区域的边缘的每一个噪声像素点。
其中，噪声像素点指代，垂直方向的梯度和/或水平方向的梯度大于预设的梯度阈值的像素点。
也就是说，步骤S403的具体执行过程可以是，逐一计算目标深度区域边缘的每一个像素点在垂直方向(即y方向)的梯度和在水平方向(即x方向的梯度)，并将计算得到的两个方向的梯度分别和预设的梯度阈值进行比较。
若任意一个位于目标深度区域的边缘的像素点符合，垂直方向的梯度大于梯度阈值，和，水平方向的梯度大于梯度阈值两个条件中的任意一个或两个，则确定该像素点为一个噪声像素点。
S404、删除每一个噪声像素点的深度值。
步骤S404，可以认为是，将检测得到的噪声像素点的深度值置为0。
S405、在深度图像中将目标红外区域和目标深度区域作差，得到待修复区域。
步骤S405的具体执行过程和步骤S203一致，不再详述。
S406、选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点以及噪声像素点作为待修复像素点。
步骤S406表示，在执行了前述步骤S403和步骤S404所述的检测噪声像素点并删除噪声像素点的深度值的过程之后，在修复时既需要修复原本位于待修复区域内的像素点，即补充这些深度图像中缺失的部分的深度值，也需要修复之前位于目标深度区域的边缘且被删除深度值之后的噪声像素点，从而为这些被删除深度值的像素点分配新的深度值，从而完成对删除了深度值之后的噪声像素点的修复。
结合前述更新待修复像素点的深度值的公式可以看出，对待修复像素点的修复，实质是为待修复像素点分配一个由临近的其他像素点的深度值进行均值计算得到的新的深度值，而深度图像中临近的像素点对应的是目标物体中连续的一块区域，因此临近的像素点对应的空间点到成像平面的距离也相互接近。
综上所述，通过删除噪声像素点原本的深度值，并为其配置根据临近的候选像素点生成的深度值，可以使噪声像素点的深度值更接近于对应的空间点和深度相机的成像平面间的距离，从而达到修复噪声像素点的效果。
S407、将待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点。
步骤S407至步骤S409的执行过程，与步骤S205至步骤S207的执行过程一致，不再赘述。
S408、判断是否修复完成。
若未修复完成，则返回执行步骤S406，若修复完成，则执行步骤S409。
S409、输出修复后的深度图像。
可选的，本申请实施例还提供一种深度图像的修复方法，请参考图5，该方法可以包括如下步骤：
S501、获取深度图像和红外图像。
S502、识别得到深度图像中的目标深度区域和红外图像中的目标红外区域。
S503、在深度图像和红外图像中分别确定多组相互匹配的特征点。
其中，一组相互匹配的特征点，包括分别位于深度图像和红外图像中、且对应于同一空间点的两个像素点。
举例来说，对目标物体上的任意一个空间点A，在深度图像中对应的像素点为像素点B，在红外图像中对应的像素点为像素点C，则深度图像的像素点B和红外图像的像素点C构成步骤S503中的一组相互匹配的特征点。
步骤S503可以采用任意一种现有的特征点检测技术来实现，例如，可以利用角点检测技术分别在红外图像和深度图像中检测出多组对应于目标物体的角点(一种特殊的空间点)相互匹配的特征点。因此，步骤S503的具体执行过程可以参考相关的现有技术，此处不再详述。
S504、基于多组相互匹配的特征点，对红外图像中的目标红外区域进行仿射变换，得到变换后的目标红外区域。
可选的，在步骤S504中，除了进行仿射变换以外，还可以对目标红外区域执行包括平移和旋转在内的多种变换方法。这些变换方法均为图像处理领域现有的技术，此处不再详述。
在实际情况有可能无法获得如步骤S201所述的在相同的相对位置下对目标物体拍摄得到的深度图像和红外图像。通常来说，拍摄深度图像时(摄像设备和目标物体的)相对位置和拍摄红外图像时(摄像设备和目标物体的)相对位置一般会存在一定的偏差，这就导致目标物体在深度图像中呈现的形状和所在位置，一般会与目标物体在红外图像中呈现的形状和所在位置不匹配，也就是红外图像中显示的目标物体会相对于深度图像中显示的物体存在偏移或形变，例如目标物体在深度图像中位于图像右下角，而在拍摄红外图像时目标物体又移动到红外图像的左上角。
执行步骤S503和步骤S504的目的就在于，利用包括仿射变换在内的多种变换方法对原本的红外图像中的目标红外区域的形状和位置进行调整，从而得到所在位置和形状均与深度图像中的目标深度区域相匹配的变换后的目标红外区域，通过这种方式消除红外图像中的目标物体相对于深度图像中的目标物体的偏移和形变。
S505、在深度图像中将仿射变换后的红外区域和目标深度区域作差，得到待修复区域。
参考前述步骤S202，在执行步骤505时，可以首先在深度图像中确定出与仿射变换后的红外区域位于相同位置且具有相同形状的参考区域，然后，将深度图像中目标深度区域的边界，和参考区域边界所包围的区域确定为待修复区域。
S506、选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点作为待修复像素点。
S507、将待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点。
S508、判断是否修复完成。
若未修复完成，则返回执行步骤S506，若修复完成，则执行步骤S509。
S509、输出修复后的深度图像。
本实施例提供的深度图像的修复方法中，除步骤S503和步骤S504以外的其他步骤的具体执行过程，均与图2所示的实施例中的对应步骤一致，此处不再详述。
结合本申请任一实施例提供的深度图像的修复方法，本申请实施例还提供一种深度图像的修复装置，如图6所示，该装置可以包括以下单元：
获取单元601，用于获取深度图像和红外图像。
其中，深度图像和红外图像均是对目标物体拍摄得到的图像。
识别单元602，用于识别得到深度图像中的目标深度区域和红外图像中的目标红外区域。
其中，目标深度区域指代深度图像中目标物体的所在区域，目标红外区域指代红外图像中目标物体的所在区域。
确定单元603，用于在深度图像中确定出与目标红外区域位于相同位置且具有相同形状的参考区域，并将参考区域的边界和目标深度区域的边界所包围的区域确定为待修复区域。
选取单元604，用于选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点作为待修复像素点；
修复单元605，用于针对每一个待修复像素点，将待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点；其中，参考像素点包括根据与待修复像素点的距离由近到远选取的预设数量的候选像素点，候选像素点包括修复后的像素点和目标深度区域内的像素点；参考像素点对应的权重与参考像素点到待修复像素点的距离负相关；
选取单元604，用于返回选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点作为待修复像素点步骤，直至待修复区域内的每一个像素点均被修复为止，以完成对深度图像的修复。
可选的，该装置还包括清洗单元606，用于：
检测得到目标深度区域的边缘的每一个噪声像素点；其中，噪声像素点指代，垂直方向的梯度和/或水平方向的梯度大于预设的梯度阈值的像素点；
删除每一个噪声像素点的深度值；
其中，选取单元604选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点作为待修复像素点时，具体用于：
选取位于待修复区域内，且与修复后的像素点或目标深度区域内的像素点相邻的像素点以及未被修复的噪声像素点作为待修复像素点。
可选的，该装置还包括变换单元607，用于：
在深度图像和红外图像中分别确定多组相互匹配的特征点；其中，一组相互匹配的特征点，包括分别位于深度图像和红外图像中、且对应于同一空间点的两个像素点；
基于多组相互匹配的特征点，对红外图像中的目标红外区域进行仿射变换，得到变换后的目标红外区域；
其中，确定单元603在深度图像中确定出与目标红外区域位于相同位置且具有相同形状的参考区域时，具体用于：
在深度图像中确定出与仿射变换后的红外区域位于相同位置且具有相同形状的参考区域。
可选的，修复单元605包括：
累加单元，用于将每一个参考像素点和待修复像素点的距离累加得到累计距离；
第一计算单元，用于针对每一个参考像素点，计算参考像素点和待修复像素点的距离与累计距离的比值，得到参考像素点的距离比；
第二计算单元，用于计算每一个参考像素点的距离比和1的差值，得到每一个参考像素点的权重；
第三计算单元，用于基于每一个参考像素点的权重和每一个参考像素点的深度值计算得到多个参考像素点的深度值的加权平均值；
更新单元，用于将待修复像素点的深度值更新为加权平均值，得到修复后的像素点。
本实施例提供的深度图像的修复装置的具体工作原理可以参考本申请任一实施例所提供的深度图像的修复方法中的具体步骤，此处不再赘述。
本申请提供一种深度图像的修复装置，获取单元601获取拍摄目标物体得到的深度图像和红外图像；识别单元602确定深度图像和红外图像中目标物体所在的目标深度区域和目标红外区域；确定单元603在深度图像中将目标深度区域和目标红外区域作差得到待修复区域；选取单元604选取待修复区域内与修复后的像素点或目标深度区域的边缘相邻的像素点作为待修复像素点，修复单元605将待修复像素点的深度值更新为相邻的修复后的像素点和位于参考区域内的像素点的深度值的加权平均值，得到修复后的像素点，然后选取新的待修复像素点，直至修复完待修复区域的所有像素点。本方案利用红外图像确定待修复区域并修复其中的像素点，从而消除深度图像的缺失。
本申请实施例还提供一种计算机存储介质，用于存储计算机程序，存储的计算机程序被执行时，具体用于实现本申请任一实施例所提供的深度图像的修复方法。
本申请实施例还提供一种电子设备，如图7所示，该电子设备包括存储器701和处理器702。
其中，存储器701用于存储计算机程序；
处理器702用于执行上述计算机程序，具体用于实现本申请任一实施例提供的深度图像的修复方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种深度图像的修复方法，其特征在于，包括：
获取深度图像和红外图像；其中，所述深度图像和所述红外图像均是对目标物体拍摄得到的图像；
识别得到所述深度图像中的目标深度区域和所述红外图像中的目标红外区域；其中，所述目标深度区域指代所述深度图像中所述目标物体的所在区域，所述目标红外区域指代所述红外图像中所述目标物体的所在区域；
在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域；
选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点；
针对每一个所述待修复像素点，将所述待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点；其中，所述参考像素点包括根据与所述待修复像素点的距离由近到远选取的预设数量的候选像素点，所述候选像素点包括修复后的像素点和所述目标深度区域内的像素点；所述参考像素点对应的权重与所述参考像素点到所述待修复像素点的距离负相关；
返回所述选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点步骤，直至所述待修复区域内的每一个像素点均被修复为止，以完成对所述深度图像的修复。
2.根据权利要求1所述的修复方法，其特征在于，所述在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域之前，还包括：
检测得到所述目标深度区域的边缘的每一个噪声像素点；其中，所述噪声像素点指代，垂直方向的梯度和/或水平方向的梯度大于预设的梯度阈值的像素点；
删除每一个所述噪声像素点的深度值；
其中，所述选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点，包括：
选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点以及未被修复的所述噪声像素点作为待修复像素点。
3.根据权利要求1所述的修复方法，其特征在于，所述在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域之前，还包括：
在所述深度图像和所述红外图像中分别确定多组相互匹配的特征点；其中，所述一组相互匹配的特征点，包括分别位于所述深度图像和所述红外图像中、且对应于同一空间点的两个像素点；
基于所述多组相互匹配的特征点，对所述红外图像中的目标红外区域进行仿射变换，得到变换后的目标红外区域；
其中，所述在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，包括：
在所述深度图像中确定出与所述仿射变换后的红外区域位于相同位置且具有相同形状的参考区域。
4.根据权利要求1所述的修复方法，其特征在于，所述将所述待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点，包括：
将每一个所述参考像素点和所述待修复像素点的距离累加得到累计距离；
针对每一个所述参考像素点，计算所述参考像素点和所述待修复像素点的距离与所述累计距离的比值，得到所述参考像素点的距离比；
计算每一个所述参考像素点的距离比和1的差值，得到每一个所述参考像素点的权重；
基于每一个所述参考像素点的权重和每一个所述参考像素点的深度值计算得到所述多个参考像素点的深度值的加权平均值；
将所述待修复像素点的深度值更新为所述加权平均值，得到修复后的像素点。
5.一种深度图像的修复装置，其特征在于，包括：
获取单元，用于获取深度图像和红外图像；其中，所述深度图像和所述红外图像均是对目标物体拍摄得到的图像；
识别单元，用于识别得到所述深度图像中的目标深度区域和所述红外图像中的目标红外区域；其中，所述目标深度区域指代所述深度图像中所述目标物体的所在区域，所述目标红外区域指代所述红外图像中所述目标物体的所在区域；
确定单元，用于在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域，并将所述参考区域的边界和所述目标深度区域的边界所包围的区域确定为待修复区域；
选取单元，用于选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点；
修复单元，用于针对每一个所述待修复像素点，将所述待修复像素点的深度值，更新为对应的多个参考像素点的深度值的加权平均值，得到修复后的像素点；其中，所述参考像素点包括根据与所述待修复像素点的距离由近到远选取的预设数量的候选像素点，所述候选像素点包括修复后的像素点和所述目标深度区域内的像素点；所述参考像素点对应的权重与所述参考像素点到所述待修复像素点的距离负相关；
所述选取单元，用于返回所述选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点步骤，直至所述待修复区域内的每一个像素点均被修复为止，以完成对所述深度图像的修复。
6.根据权利要求5所述的修复装置，其特征在于，所述修复装置还包括清洗单元，用于：
检测得到所述目标深度区域的边缘的每一个噪声像素点；其中，所述噪声像素点指代，垂直方向的梯度和/或水平方向的梯度大于预设的梯度阈值的像素点；
删除每一个所述噪声像素点的深度值；
其中，所述选取单元选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点作为待修复像素点时，具体用于：
选取位于所述待修复区域内，且与修复后的像素点或所述目标深度区域内的像素点相邻的像素点以及未被修复的所述噪声像素点作为待修复像素点。
7.根据权利要求5所述的修复装置，其特征在于，所述修复装置还包括变换单元，用于：
在所述深度图像和所述红外图像中分别确定多组相互匹配的特征点；其中，所述一组相互匹配的特征点，包括分别位于所述深度图像和所述红外图像中、且对应于同一空间点的两个像素点；
基于所述多组相互匹配的特征点，对所述红外图像中的目标红外区域进行仿射变换，得到变换后的目标红外区域；
其中，所述确定单元在所述深度图像中确定出与所述目标红外区域位于相同位置且具有相同形状的参考区域时，具体用于：
在所述深度图像中确定出与所述仿射变换后的红外区域位于相同位置且具有相同形状的参考区域。
8.根据权利要求5所述的修复装置，其特征在于，所述修复单元包括：
累加单元，用于将每一个所述参考像素点和所述待修复像素点的距离累加得到累计距离；
第一计算单元，用于针对每一个所述参考像素点，计算所述参考像素点和所述待修复像素点的距离与所述累计距离的比值，得到所述参考像素点的距离比；
第二计算单元，用于计算每一个所述参考像素点的距离比和1的差值，得到每一个所述参考像素点的权重；
第三计算单元，用于基于每一个所述参考像素点的权重和每一个所述参考像素点的深度值计算得到所述多个参考像素点的深度值的加权平均值；
更新单元，用于将所述待修复像素点的深度值更新为所述加权平均值，得到修复后的像素点。
9.一种电子设备，其特征在于，包括存储器和处理器；
其中，所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序，具体用于实现如权利要求1至4任意一项所述的深度图像的修复方法。
10.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，具体用于实现如权利要求1至4任意一项所述的深度图像的修复方法。
CN202011416331.5A 2020-12-04 2020-12-04 深度图像的修复方法、装置、电子设备和计算机存储介质 Pending CN112465723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011416331.5A CN112465723A (zh) 2020-12-04 2020-12-04 深度图像的修复方法、装置、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011416331.5A CN112465723A (zh) 2020-12-04 2020-12-04 深度图像的修复方法、装置、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN112465723A true CN112465723A (zh) 2021-03-09

Family

ID=74801199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011416331.5A Pending CN112465723A (zh) 2020-12-04 2020-12-04 深度图像的修复方法、装置、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN112465723A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209334A (zh) * 2013-03-18 2013-07-17 中山大学 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法
CN103996174A (zh) * 2014-05-12 2014-08-20 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN104680496A (zh) * 2015-03-17 2015-06-03 山东大学 一种基于彩色图像分割的Kinect深度图修复方法
CN105205786A (zh) * 2014-06-19 2015-12-30 联想(北京)有限公司 一种图像深度恢复方法及电子设备
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN108406731A (zh) * 2018-06-06 2018-08-17 珠海市微半导体有限公司 一种基于深度视觉的定位装置、方法及机器人
CN108629756A (zh) * 2018-04-28 2018-10-09 东北大学 一种Kinect v2深度图像无效点修复方法
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN109903321A (zh) * 2018-10-16 2019-06-18 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
CN111179195A (zh) * 2019-12-27 2020-05-19 西北大学 深度图像空洞填充方法、装置、电子设备及其存储介质
CN111598817A (zh) * 2020-04-26 2020-08-28 北京凌云光技术集团有限责任公司 一种深度图像的缺失像素的填充方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209334A (zh) * 2013-03-18 2013-07-17 中山大学 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法
CN103996174A (zh) * 2014-05-12 2014-08-20 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN105205786A (zh) * 2014-06-19 2015-12-30 联想(北京)有限公司 一种图像深度恢复方法及电子设备
CN104680496A (zh) * 2015-03-17 2015-06-03 山东大学 一种基于彩色图像分割的Kinect深度图修复方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN108629756A (zh) * 2018-04-28 2018-10-09 东北大学 一种Kinect v2深度图像无效点修复方法
CN108406731A (zh) * 2018-06-06 2018-08-17 珠海市微半导体有限公司 一种基于深度视觉的定位装置、方法及机器人
CN109903321A (zh) * 2018-10-16 2019-06-18 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法
CN111179195A (zh) * 2019-12-27 2020-05-19 西北大学 深度图像空洞填充方法、装置、电子设备及其存储介质
CN111598817A (zh) * 2020-04-26 2020-08-28 北京凌云光技术集团有限责任公司 一种深度图像的缺失像素的填充方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI LIU等: "Robust Color Guided Depth Map Restoration", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 26, no. 1, pages 315 - 327 *
李宇翔: "联合彩色/深度边缘的深度图像重建方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 09, pages 12 - 19 *
毛雁明: "彩色图像引导的深度图像修复算法", 《宁德师范学院学报(自然科学版)》, vol. 31, no. 4, pages 364 - 368 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113888614B (zh) * 2021-09-23 2022-05-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106909911B (zh) 图像处理方法、图像处理装置和电子装置
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN106960449B (zh) 基于多特征约束的异源配准方法
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN107016348B (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN110926330B (zh) 图像处理装置和图像处理方法
CN110598689B (zh) 用于估计图像中极值点的子像素位置的方法、设备和系统
EP3593322B1 (en) Method of detecting moving objects from a temporal sequence of images
CN111724446B (zh) 一种用于建筑物三维重建的变焦距相机外参数标定方法
JP6411188B2 (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
JP3008875B2 (ja) 被写体抽出装置
CN113362441A (zh) 三维重建方法、装置、计算机设备和存储介质
CN112465723A (zh) 深度图像的修复方法、装置、电子设备和计算机存储介质
CN110706257B (zh) 有效特征点对的识别方法、相机状态的确定方法及装置
KR100942271B1 (ko) 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
US20040267682A1 (en) Model-based object classification and target recognition
CN109961422A (zh) 数字图像的对比度值的确定
JP4584405B2 (ja) ３次元物体検出装置と３次元物体検出方法及び記録媒体
Jorissen et al. Multi-view wide baseline depth estimation robust to sparse input sampling
CN111586299B (zh) 一种图像处理方法和相关设备
CN113870354B (zh) 一种基于深度学习的变压器油箱的测量方法及系统
CN116188497B (zh) 立体遥感影像对生成dsm优化方法、装置、设备及存储介质
CN117078666B (zh) 二维和三维结合的缺陷检测方法、装置、介质和设备
CN114119700B (zh) 一种基于u-v视差图的障碍物测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination