CN115205361A - 深度图像补全方法、装置、设备及存储介质 - Google Patents

深度图像补全方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115205361A
CN115205361A CN202210688758.3A CN202210688758A CN115205361A CN 115205361 A CN115205361 A CN 115205361A CN 202210688758 A CN202210688758 A CN 202210688758A CN 115205361 A CN115205361 A CN 115205361A
Authority
CN
China
Prior art keywords
image
depth
compensated
semantic
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210688758.3A
Other languages
English (en)
Inventor
孙铁成
温焕宇
焦继超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202210688758.3A priority Critical patent/CN115205361A/zh
Publication of CN115205361A publication Critical patent/CN115205361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理领域，提出了一种深度图像补全方法、装置、设备及存储介质。该方法包括：获取待补全图像的深度图像和彩色图像；将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。通过语义类别进行分组卷积，有利于分离类别干扰，提高深度补全计算的可信度，提高感知精度。

Description

深度图像补全方法、装置、设备及存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种深度图像补全方法、装置、设备及存储介质。
背景技术
由于深度相机具有测量精度较高、价格较为低廉的优点，深度相机在室内机器人等领域得到了广泛的应用。目前所使用的深度相机中，包括如基于红外结构光、基于激光ToF(英文全称为Time of flight，中文全称为飞行时间)或基于双目立体视觉的深度相机，可能会存在无法获得深度值的情况，导致获得的深度图像并不完全稠密，在智能感知系统中，比如机器人导航定位系统、自动驾驶系统等，容易造成漏检、误报等安全隐患。
为了填补缺失的深度信息，所提出的解决方案中包括基于纹理的一致性，利用无效点的领域深度值和对应区域的纹理相似性进行填充。但是，如果无效点区域对应的纹理与其它有深度值的区域的纹理不同时，这种方法所重建的深度信息的可信度不高，不利于提高智能感知系统的感知精度。
发明内容
有鉴于此，本申请实施例提供了一种深度图像补全方法、装置、设备及存储介质，以解决现有技术中进行深度图像补全时，如果无效点区域对应的纹理与其它有深度值的区域的纹理不同时，这种方法所重建的深度信息的可信度不高，不利于提高智能感知系统的感知精度的问题。
本申请实施例的第一方面提供了一种深度图像补全方法，所述方法包括：
获取待补全图像的深度图像和彩色图像；
将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；
根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；
通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
结合第一方面，在第一方面的第一种可能实现方式中，将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果之后，所述方法还包括：
通过卷积条件随机场方法，基于输入的所述彩色图像，对所述语义分割结果的边缘进行优化处理。
结合第一方面，在第一方面的第二种可能实现方式中，根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像，包括：
通过语义分割结果中的标签确定各语义类别的像素所构成的掩膜，根据所述掩膜确定语义图像；
通过所述掩膜对所述待补全图像的深度图像和所述彩色图像进行分割，得到基于语义类别分割深度图像和彩色图像；
基于所述语义类别分割的深度图像、彩色图像和所述语义图像，生成同一语义类别所对应的分组图像。
结合第一方面，在第一方面的第三种可能实现方式中，通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像之前，所述方法还包括：
确定其中一个语义类别的分组图像中的深度信息的可靠性；
将所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为小于第一损失值，将可靠性高于预定的可靠性阈值的像素的损失设置为大于第二损失值，其中，第一损失值小于第二损失值；
基于所设定的损失值对所述分组图像对应的第二神经网络模型进行训练。
结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为0。
结合第一方面，在第一方面的第五种可能实现方式中，将所述待补全图像输入至预设的第一神经网络模型之前，所述方法还包括：：
获取待补全图像中的深度图像，采集所述深度图像的相机参数；
根据所述相机参数和所述深度图像，确定所述待补全图像的点云图像；
所述将所述待补全图像输入至预设的第一神经网络模型为：将所述彩色图像和所述点云图像输入至预设的第一神经网络模型。
结合第一方面的第五种可能实现方式，在第一方面的第六种可能实现方式中，所述相机参数包括焦距和光心，根据所述相机参数和所述深度图像，确定所述待补全图像的点云图像，包括：
根据公式
Figure BDA0003700754100000031
确定所述待补全图像的点云图像，其中，fx为x方向的焦距，fy为y方向的焦距，(cx,cy)分别表示x方向和y方向的光心，深度图像的像素的坐标为(u,v)，z为像素的深度，单个像素的点云坐标为(x,y,z)。
本申请实施例的第二方面提供了一种深度图像补全装置，所述装置包括：
图像获取单元，用于获取待补全图像的深度图像和彩色图像；
语义分割单元，用于将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；
分组单元，用于根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；
补全单元，用于通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
本申请实施例的第三方面提供了深度图像补全设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请通过第一神经网络模型对待补全图像的深度图像和彩色图像进行语义分割计算，确定待补全图像中的语义分割结果，基于所述语义分割结果对待补全图像中的彩色图像和深度图像进行割，得到不同语义类别对应的分组图像，通过第二神经网络模型对分组图像分别进行补全计算，得到各个分组对应的深度图像，通过加和得到待补全图像的深度图像，从而使得类别之间相互隔离，不会造成类别之间的干扰，从而能够有效的深度突变对深度补全计算的影响，有利于提高深度补全计算的可信度，有利于提高深度信息的感知精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种深度图像补全方法的实现流程示意图；
图2是本申请实施例提供的一种语义分割网络的结构示意图；
图3是本申请实施例提供的一种基于语义类别对图像进行分割示意图；
图4是本申请实施例提供的一种用于深度补全的第二神经网络模型的结构示意图；
图5是本申请实施例提供的一种深度图像补全装置的示意图；
图6是本申请实施例提供的深度图像补全设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
在智能感知系统中，比如在机器人系统或智能驾驶系统中，通过深度相机所获取的深度图像可能并不完全稠密。如果使用不完全稠密的深度图像进行导航定位、自动驾驶时，容易造成导航或自动驾驶时的安全事故。
为了提高机器人的深度图像的精度，研究者们已经提出了多种解决方案，例如基于纹理的一致性，可利用无效点的邻域深度值和对应区域的纹理相似性进行填充。但在很多情况下，无效点区域对应的纹理与其它有深度值的区域纹理可能截然不同，因此该方法对一些特殊材料或物体的表面的深度重建不可信。另外，还有一种基于深度值内插的方法，该方法根据邻域深度值进行内插求得对应深度。但该方法不适用于深度突变区域和大范围无深度值的区域。
另外，为提高深度图像精度，提出了基于RGB颜色信息的深度估计与语义分割联合学习的方法，但该方法的语义分割结果容易受到颜色信息干扰，容易导致语义类别错误。并且，这种方法严重依赖于深度图像的真值，而在实际应用中，缺失的深度真值可能很难获得，因而很就难使用该方法实现深度补全。
为解决上述问题，本申请实施例提出了一种深度图像补全方法，如图1所示为本申请实施例提供的一种深度图像补全方法的实现流程示意图，详述如下：
在S101中，获取待补全图像的深度图像和彩色图像。
本申请实施例中，所述待补全图像为包括深度信息丢失的图像，也即稀疏深度图像。在采集到图像时，可以对图像中的深度信息进行检测，基于检测结果，确定所采集的图像是否为待补全图像。
在对所采集的图像进行检测时，可以基于深度相机的采集原理、采集原理所对应的深度丢失特征，对所采集的图像中的深度信息是否丢失进行检测。比如，当深度相机通过红外结构光或激光飞行时间采集深度图像时，将采集的图像与黑色吸光区域的特征、镜面反射区域的特征进行比较，确定所采集的图像是否存在深度信息的丢失。当采用红外结构光的深度相机时，对于远距离测量的情况，由于红外结构光测量的远距离的深度的准确度不高，所采集的图像中的像素可能为空洞或无效值。可以根据距离的远近，确定所采集的图像是否为待补全图像。
所述待补全图像包括深度图像和彩色图像。所述彩色图像可以为RGB制式的平面彩色图像。不局限于此，还可以为其它制式，比如可以为YUV制式的彩色图像。
在所述深度图像中，可以为通过uv坐标系确定深度图像中的像素的位置，结合z值确定像素的深度的图像。
在可能的实现方式中，可以将所述深度图像进行转换，得到所述待转换图像对应的点云图像。
其中，将所述深度图像转换为点云图像时，可以根据相机参数和所述深度图像进行转换计算，确定深度图像所对应的点云图像。
其中，所述转换计算公式可以表示为：
z＝z
Figure BDA0003700754100000061
Figure BDA0003700754100000062
上式中，fx为x方向的焦距，fy为y方向的焦距，(cx,cy)分别表示x方向和y方向的光心，深度图像的像素的坐标为(u,v)，z为像素的深度，单个像素的点云坐标为(x,y,z)。
在S102中，将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果。
在本申请实施例中，可以将所述待补全图像的深度图像和彩色图像输入至预设的第一神经网络模型，通过计算得到所述待补全图像的语义分割结果，即得到所述待补全图像中所包括的语义类别。
比如，待补全图像中包括地面、封面、桌、椅和电脑等语义类别，通过第一神经网络模型进行识别处理，可以得到各个像素所对应的语义类别。将待补全图像通过语义类别分割为不同的区域，通过语义类别对应的多个区域即可形成语义图像。
或者，也可以如图2所示的语义分割网络，将深度图像进行转换处理后得到的点云图像(xyz图像)，结合所述彩色图像(RGB图像)，输入至预设的第一神经网络模型中的编码器进行编码处理，以及解码器进行解码处理，得到各个语义类别的识别结果，通过将各个语义类别的识别结果加和，即可得到待补全图像的语义分割结果。
将所述点云图像和所述彩色图像输入至第一神经网络模型时，即将三通道的点云图像，级联三通道的彩色图像，组合成六通道图像输入至第一神经网络模型。
由于实际场景中各个语义类别常常与其所在的空间位置存在一定的对应关系，例如假设地面所在平面为空间坐标系x轴和y轴确定的平面，则实际场景中，地面、墙面、桌、椅、电脑等各语义类别在空间坐标系中的位置，存在一定的规律和特性。比如，墙面通常垂直于地面；桌椅通常连接地面，且高于地面一定距离；电脑通常位于桌子上等。基于上述的语义类别的布局关系，对第一神经网络模型进行训练，得到训练完成的第一神经网络模型。
所述第一神经网络为包括编码结构和解码结构的卷积神经网络模型，包括如ESANet等语义分割网络模型。
当输入所述第一神经网络模型的数据包括点云图像时，可以将ESANet中的深度图像的编码器结构转化为点云图像的编码器结构。比如，将输入图像的RGB编码器结构变化为RGBXYZ的联合编码器结构。
当基于点云图像和彩色图像进行语义分割计算得到语义分割结果时，可能会存在边缘模型的问题。为了解决边缘模糊的问题，本申请可通过卷积条件随机场方法，对输入的彩色图像进行计算，根据计算结果对语义分割结果的边缘进行优化处理。
通过第一神经网络模型的计算处理，可以得到不同尺度的语义分割结果。例如，原始图像分辨率为H×W，输出的语义结果分辨率包括H×W、H/8×W/8、H/16×W/16、H/32×W/32。所述第一神经网络模型的损失函数可以设置为交叉熵损失函数。
在S103中，根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像。
由于二维图像的卷积运算中，卷积核的大小通常大于等于3，这会造成实际深度突变区域的深度变化连续，即会造成深度图像边缘的模糊。为了避免边缘模糊，本申请利用卷积条件随机场保证语义分割的边缘与图像的边缘对齐，从而能够进一步可利用这种优化后的语义边缘优化深度图像。
本申请实施例在得到语义分割结果时，即可确定待补全图像中的像素所属的语义类别。基于同一语义类别可以生成该语义类别对应的掩膜。基于该掩膜的位置信息，可以对所述待补全图像中的彩色图像、深度图像进行分割，得到由语义类别所分割的深度图像、彩色图像和语义图像。其中，语义图像中包括各个语义类别所对应的区域。
具体地，如图3所示的基于语义类别对图像进行分割示意图，本申请首先利用语义分割后的标签信息，将现有的彩色图像和深度图像进行分割。例如，语义标签中的所有地面像素位置设为true，其他位置为false，则可建立地面对应区域的掩膜，利用该掩膜，可提取深度图像中的地面和RGB图像中的地面信息。依此类推，可得到所有类别对应的深度信息和RGB信息，这些掩膜的加和则可组成完整的深度图像和彩色图像。分离后，将对应类别的语义图像、深度图像和彩色信息作为一组。假设语义标签数量为L，则这些分离的组级联后的张量维度为3L，即通道数为3L。
将同一语义类别在深度图像中的区域、在彩色图像中的区域以及语义图像中的区域合并为一组图像，即生成分组图像。在一个分组图像中，仅包括同一语义类别的像素。通过卷积条件随机场方法对语义分割的边缘优化后，同一分组图像中的边缘划分也就更加准确。
在S104中，通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
其中，所述第二神经网络模型也可以采用编码解码结构。如图4所示为本申请实施例提供的一种深度补全的第二神经网络模型的结构示意图。为了避免各语义类别之间的干扰，同时保证深度变化与语义边缘的一致性，本申请将各个分组图像分开进行卷积和反卷积运算，即分别实现编码和解码的过程。
通过分组卷积运算，可以保证各语义类别之间相互分离，不会造成类别之间的干扰。通过第二神经网络模型所优化后的深度信息，可有效的适应深度的突变性的补全要求。解码结构之后，可得到L个相互独立分离的深度图像，然后将L个深度图基于先前的掩膜进行相加，即可融合成一个整体的深度图像。
另外，为了实现自监督，在对第二神经网络模型进行训练时，可以对输入的深度图像进行随机采样。采样后的稀疏深度图像作为输入深度图像，对所述第二神经网络模型训练，直到可输出完全稠密的深度图像。
在本申请中，第二神经网络模型的训练过程中的损失函数可以设为L1损失。由于输入的图像为待补全图像，缺少完全稠密的深度图像真值，因此，本申请在训练时只对输入深度图像中有深度的像素进行监督学习，即先根据输入的深度图像，求解对应深度值对应的掩膜，求解损失值时，根据掩膜自动将不存在真值的像素损失设为小于第一损失值，比如设置为零，将存在真会的像素损失设为大于第二损失值，第二损失值大于第一损失值。
对于深度补全模块输入的稀疏深度图像，实际补全的是有真值的深度值，通过真值的深度值可以约束模型推理能力和泛化能力。因此，在推理过程中，可得到完全稠密的深度图像。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图5为本申请实施例提供的一种深度图像补全装置的结构示意图，如图5所示，该装置包括：
图像获取单元501，用于获取待补全图像的深度图像和彩色图像；
语义分割单元502，用于将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；
分组单元503，用于根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；
补全单元504，用于通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
图5所示的深度图像补全装置，与图1所示的深度图像补全方法对应。
图6是本申请一实施例提供的深度图像补全设备的示意图。如图6所示，该实施例的深度图像补全设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如深度图像补全程序。所述处理器60执行所述计算机程序62时实现上述各个深度图像补全方法实施例中的步骤。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述深度图像补全设备6中的执行过程。
所述深度图像补全设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是深度图像补全设备6的示例，并不构成对深度图像补全设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述深度图像补全设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述深度图像补全设备6的内部存储单元，例如深度图像补全设备6的硬盘或内存。所述存储器61也可以是所述深度图像补全设备6的外部存储设备，例如所述深度图像补全设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述深度图像补全设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述深度图像补全设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种深度图像补全方法，其特征在于，所述方法包括：
获取待补全图像的深度图像和彩色图像；
将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；
根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；
通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
2.根据权利要求1所述的方法，其特征在于，将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果之后，所述方法还包括：
通过卷积条件随机场方法，基于输入的所述彩色图像，对所述语义分割结果的边缘进行优化处理。
3.根据权利要求1所述的方法，其特征在于，根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像，包括：
通过语义分割结果中的标签确定各语义类别的像素所构成的掩膜，根据所述掩膜确定语义图像；
通过所述掩膜对所述待补全图像的深度图像和所述彩色图像进行分割，得到基于语义类别分割深度图像和彩色图像；
基于所述语义类别分割的深度图像、彩色图像和所述语义图像，生成同一语义类别所对应的分组图像。
4.根据权利要求1所述的方法，其特征在于，通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像之前，所述方法还包括：
确定其中一个语义类别的分组图像中的深度信息的可靠性；
将所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为小于第一损失值，将可靠性高于预定的可靠性阈值的像素的损失设置为大于第二损失值，其中，第一损失值小于第二损失值；
基于所设定的损失值对所述分组图像对应的第二神经网络模型进行训练。
5.根据权利要求4所述的方法，其特征在于，所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为0。
6.根据权利要求1所述的方法，其特征在于，将所述待补全图像输入至预设的第一神经网络模型之前，所述方法还包括：
获取待补全图像中的深度图像，采集所述深度图像的相机参数；
根据所述相机参数和所述深度图像，确定所述待补全图像的点云图像；
所述将所述待补全图像输入至预设的第一神经网络模型为：将所述彩色图像和所述点云图像输入至预设的第一神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述相机参数包括焦距和光心，根据所述相机参数和所述深度图像，确定所述待补全图像的点云图像，包括：
根据公式
Figure FDA0003700754090000031
确定所述待补全图像的点云图像，其中，fx为x方向的焦距，fy为y方向的焦距，(cx,cy)分别表示x方向和y方向的光心，深度图像的像素的坐标为(u,v)，z为像素的深度，单个像素的点云坐标为(x,y,z)。
8.一种深度图像补全装置，其特征在于，所述装置包括：
图像获取单元，用于获取待补全图像的深度图像和彩色图像；
语义分割单元，用于将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；
分组单元，用于根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；
补全单元，用于通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
9.一种深度图像补全设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202210688758.3A 2022-06-17 2022-06-17 深度图像补全方法、装置、设备及存储介质 Pending CN115205361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688758.3A CN115205361A (zh) 2022-06-17 2022-06-17 深度图像补全方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688758.3A CN115205361A (zh) 2022-06-17 2022-06-17 深度图像补全方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115205361A true CN115205361A (zh) 2022-10-18

Family

ID=83575518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688758.3A Pending CN115205361A (zh) 2022-06-17 2022-06-17 深度图像补全方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115205361A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351310A (zh) * 2023-09-28 2024-01-05 山东大学 基于深度补全的多模态3d目标检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351310A (zh) * 2023-09-28 2024-01-05 山东大学 基于深度补全的多模态3d目标检测方法及系统
CN117351310B (zh) * 2023-09-28 2024-03-12 山东大学 基于深度补全的多模态3d目标检测方法及系统

Similar Documents

Publication Publication Date Title
CN111563923B (zh) 获得稠密深度图的方法及相关装置
Ramesh et al. The smart construction for image pre? processing of mobile robotic systems using neuro fuzzy logical system approach
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN113012210B (zh) 深度图的生成方法、装置、电子设备和存储介质
CN113673425B (zh) 一种基于Transformer的多视角目标检测方法及系统
KR20170106931A (ko) 광 필드 데이터 처리 방법 및 디바이스
JP2016502704A (ja) 奥行きアーチファクトを除去するための画像処理方法および装置
CN110264573B (zh) 基于结构光的三维重建方法、装置、终端设备及存储介质
CN113421305B (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
CN112580561B (zh) 目标检测方法、装置、电子设备及存储介质
CN112435193B (zh) 一种点云数据去噪的方法、装置、存储介质和电子设备
CN113269689B (zh) 一种基于法向量和高斯权重约束的深度图像补全方法及系统
WO2021115061A1 (zh) 图像分割方法、装置及服务器
CN113744256A (zh) 一种深度图空洞填充方法、装置、服务器及可读存储介质
CN114862929A (zh) 三维目标检测方法、装置、计算机可读存储介质及机器人
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN110807807A (zh) 一种单目视觉的目标定位的图案、方法、装置及设备
CN114494276A (zh) 一种两阶段多模态三维实例分割方法
CN115205361A (zh) 深度图像补全方法、装置、设备及存储介质
CN116468793A (zh) 图像处理方法、装置、电子设备及存储介质
CN115512258A (zh) 一种视频图像的脱敏方法、装置、终端设备和存储介质
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination