CN114638869A - 深度图像的获取方法、装置、深度系统、终端和存储介质 - Google Patents

深度图像的获取方法、装置、深度系统、终端和存储介质 Download PDF

Info

Publication number
CN114638869A
CN114638869A CN202210142004.8A CN202210142004A CN114638869A CN 114638869 A CN114638869 A CN 114638869A CN 202210142004 A CN202210142004 A CN 202210142004A CN 114638869 A CN114638869 A CN 114638869A
Authority
CN
China
Prior art keywords
depth image
initial
image
target
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210142004.8A
Other languages
English (en)
Inventor
杨晓立
余宇山
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202210142004.8A priority Critical patent/CN114638869A/zh
Publication of CN114638869A publication Critical patent/CN114638869A/zh
Priority to PCT/CN2022/100593 priority patent/WO2023155353A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种深度图像的获取方法、装置、深度系统、终端和存储介质。其中，上述深度图像的获取方法具体包括：通过获取目标场景的彩色图像和稀疏深度图像，提取彩色图像的彩色特征和初始特征，根据彩色特征、初始特征及稀疏深度图像获取初始稠密深度图像及初始隐藏特征，并进行至少一次的迭代优化操作，以根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征，并利用目标隐藏特征进行深度估计，得到目标场景的目标稠密深度图像。本申请的实施例可以提高所获取到的稠密深度图像的可靠性。

Description

深度图像的获取方法、装置、深度系统、终端和存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种深度图像的获取方法、装置、深度系统、终端和存储介质。
背景技术
近年来，随着计算机视觉技术在自动驾驶，机器人，AR应用等领域的发展，深度估计已经成为了一个热门的研究应用领域。常用的深度感知方法，比如结构光、TOF、双目、激光雷达等，经过多年的发展，在技术上已经日趋成熟，在多个领域上得到了广泛的应用。然而这些方法受限制于成本与技术本身，只能获取到可靠的稀疏深度点云，或低分辨率的深度图。因此近年来，基于神经网络的深度补全技术得到了广泛的关注。
目前如何有效的融合RGB图和稀疏深度图仍然是一个开放的问题。而现有的深度补全技术，往往没有很好地利用稀疏深度图像，得到的稠密深度图像可靠性不足。
发明内容
本申请实施例提供一种深度图像的获取方法、装置、深度系统、终端和存储介质，可以提高所获取到的稠密深度图像的可靠性。
本申请实施例第一方面提供一种深度图像的获取方法，包括：
获取目标场景的彩色图像和稀疏深度图像；
提取所述彩色图像的彩色特征和初始特征，并根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；
利用所述彩色特征、所述稀疏深度图像和所述初始隐藏特征，对所述初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征；
利用所述目标隐藏特征进行深度估计，得到所述目标场景的目标稠密深度图像。
本申请实施例第二方面提供的一种深度图像的获取装置，包括：
图像获取单元，用于获取目标场景的彩色图像和稀疏深度图像；
初始稠密化单元，用于提取所述彩色图像的彩色特征和初始特征，并根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；
迭代优化单元，用于利用所述彩色特征、所述稀疏深度图像和所述初始隐藏特征，对所述初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征；
目标稠密化单元，用于利用所述目标隐藏特征进行深度估计，得到所述目标场景的目标稠密深度图像。
本申请实施例第三方面提供一种深度系统，包括彩色模块、深度模块及本申请第二方面所述的获取装置，其中：
所述彩色模块，用于采集目标场景的彩色图像；
所述深度模块，用于对所述目标场景进行扫描得到点云数据，并根据所述点云数据得到稀疏深度图像；
所述获取装置，利用所述彩色图像及所述稀疏深度图像得到目标稠密深度图像。
本申请实施例第四方面提供一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请实施例第五方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例第六方面提供了一种计算机程序产品，当计算机程序产品在终端上运行时，使得终端执行时实现方法的步骤。
在本申请的实施方式中，通过获取目标场景的彩色图像和稀疏深度图像，提取彩色图像的彩色特征和初始特征，根据彩色特征、初始特征及稀疏深度图像获取初始稠密深度图像及初始隐藏特征，并进行至少一次的迭代优化操作，以根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征，并利用目标隐藏特征进行深度估计，得到目标场景的目标稠密深度图像，由于每次迭代优化操作需参考稀疏深度图像和彩色特征确定待确认隐藏特征，也即每次迭代优化操作的过程均会通过RGB图像的信息和稀疏深度图像的信息进行引导，能够提高所获取到的稠密深度图像的可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种深度图像的获取方法的实现流程示意图；
图2是本申请实施例提供的确定初始隐藏特征的具体实现流程示意图；
图3是本申请实施例提供的深度图像模型的结构示意图；
图4是本申请实施例提供的反馈模块的结构示意图；
图5是本申请实施例提供的训练深度图像模型的具体实现流程示意图；
图6是本申请实施例提供的一种深度图像的获取装置的结构示意图；
图7是本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护。
现有的深度补全技术，一般是通过RGB彩色图像对场景的场景信息进行引导，实现稀疏深度图像的稠密化。一些方法是直接将RGB和稀疏深度图进行拼接操作，再将拼接好的图片输入到神经网络中进行深度补全；另外一些方法则是将稀疏深度图输入至神经网络获取初始稠密深度图，再将稠密深度图与RGB图像进行融合得到精确更高的深度补全结果。
但是，这些方法往往没有很好地利用稀疏深度图像，得到的稠密深度图像稠密化程度不足，可靠性较低。
为了说明本申请的技术方案，下面通过具体实施例来进行说明。
图1示出了本申请实施例提供的一种深度图像的获取方法的实现流程示意图，该方法可以应用于终端上，可适用于需提高所获取到的稠密深度图像的可靠性的情形。
其中，上述终端可以是计算机、智能手机、平板设备等能够进行图像处理的设备。
具体的，上述深度图像的获取方法可以包括以下步骤S101至步骤S104。
步骤S101，获取目标场景的彩色图像和稀疏深度图像。
在本申请的一些实施方式中，终端可以获取目标场景的彩色图像和点云数据，然后将点云数据投影至彩色图像的成像平面上，得到稀疏深度图像。
更具体地，终端可以获取通过彩色相机对目标场景进行拍摄得到的彩色图像，并获取深度传感器对目标场景进行扫描得到的点云数据，将深度传感器扫描得到的点云数据投影至彩色相机的成像平面上，从而得到稀疏深度图像。其中，深度传感器可以包括但不限于激光雷达，直接测量飞行时间(Direct Time of flight，dTof)，散斑间接测量飞行时间(Indirect Time of flight，iTof)等。
需要说明的是，上述目标场景可以根据实际情况进行选择，本申请对此不作限制。
步骤S102，提取彩色图像的彩色特征和初始特征，并根据彩色特征、初始特征及稀疏深度图像获取初始稠密深度图像及初始隐藏特征。
在本申请的实施方式中，终端可以通过特征提取算法提取其彩色特征和初始特征；其中，彩色特征和初始特征所使用的特征提取算法可以相同，也可以不同。例如，终端可以通过不同的卷积核对彩色图像进行卷积操作，以提取彩色图像的彩色特征和初始特征。
进一步地，终端可以利用从彩色图像获取到的彩色特征和初始特征，以及稀疏深度图像确定用于优化反馈的初始隐藏特征。其中，初始隐藏特征可用于对初始稠密深度图像进行特征优化反馈，从而初步实现深度图像的补全。
在一个实施例中，如图2所示，步骤S102中初始隐藏特征可由步骤S201至S203得到。
步骤S201，对初始特征进行深度估计，得到初始稠密深度图像。
在一些实施方式中，终端可以在初始特征上进行卷积回归，得到初始稠密深度图像。需要说明的是，上述深度估计方式可以根据实际情况进行选择，此处不作限制。
步骤S202，将初始稠密深度图像与稀疏深度图像进行融合，得到初始融合特征图像。
具体的，终端可以通过拼接(Concat)操作实现图像的融合，初始融合特征图像Fconcat(dsparse,ddense)＝Concat{dsparse,ddense}。
其中，dsparse为稀疏深度图像，ddense为初始稠密深度图像。
步骤S203，利用初始融合特征图像、初始特征和彩色特征，确定初始隐藏特征。
具体的，终端可以对初始融合特征图像、初始特征和彩色特征进行卷积操作确定初始隐藏特征。
步骤S103，利用彩色特征、稀疏深度图像和初始隐藏特征，对初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作分别获取到的待确认隐藏特征确认目标隐藏特征。
在本申请的实施方式中，在得到初始隐藏特征之后，将彩色特征、初始隐藏特征及稀疏深度图像作为第一次迭代优化操作的输入，第一次迭代优化操作得到的待确认隐藏特征将与彩色特征及稀疏深度图像作为第二次迭代优化操作的输入，以此类推。每次迭代优化操作均可得到一待确认隐藏特征，经过至少一次的迭代优化操作之后，可以从每次迭代优化操作得到的待确认隐藏特征中，确定出用于确定目标稠密深度图像的目标隐藏特征。其中，目标稠密深度图像也即稠密化效果能够满足需求的深度图像。
在一些实施例中，步骤S103中第一次迭代优化操作输出的待确认隐藏特征可由以下步骤得到：
步骤S204，对初始隐藏特征进行深度估计，得到第一稠密深度图像；
步骤S205，将第一稠密深度图像与稀疏深度图像进行融合，得到第一融合特征图像；
步骤S206，利用第一融合特征图像、彩色特征及初始隐藏特征，确定第一次迭代优化操作输出的待确认隐藏特征。
在进行第二次迭代优化操作时，终端可以对第一次迭代优化操作输出的待确认隐藏特征进行深度估计，得到第二稠密深度图像，然后，将第二稠密深度图像与稀疏深度图像进行融合，得到第二融合特征图像，并利用第二融合特征图像、彩色特征及第一次迭代优化操作输出的待确认隐藏特征，确定第二次迭代优化操作输出的待确认隐藏特征。依次类推，迭代N次，即可获取N个待确认隐藏特征，其中N为大于或等于1的正整数。
需要说明的是，步骤S204至步骤S206的具体方法分别与步骤S201至步骤S203相似，此处不再赘述。
此外，N的取值越大，迭代优化操作最后输出的目标隐藏特征稠密化效果越好，相应的，所需消耗的时间和计算量会增加，一般地，最初的几次迭代稠密化效果最为明显，因此，N的具体取值可以根据硬件条件、稠密化需求等实际情况进行设置。
在本申请的一些实施方式中，在每次通过迭代优化操作获取到待确认隐藏特征后，终端可以计算当前迭代优化操作输出的待确认隐藏特征与前一次迭代优化操作输出的待确认隐藏特征之间的误差指标，并判断误差指标是否在预设的误差阈值范围之内。若误差指标在预设的误差阈值范围之内，则停止进行迭代优化操作，将当前迭代优化操作得到的待确认隐藏特征作为目标隐藏特征。若误差指标在预设的误差阈值范围之外，则将当前迭代优化操作输出的待确认隐藏特征作为下一次迭代优化操作的输入，继续进行下一次迭代优化操作。
其中，误差阈值范围可以根据实际情况进行调整，本申请对此不进行限制。
也就是说，在进行第一次迭代优化操作后，终端可以判断第一次迭代优化操作输出的待确认隐藏特征与初始隐藏特征之间的的误差指标是否在误差阈值范围之内，从而决定是否需要进行下一迭代优化操作。若误差指标在误差阈值范围之内，则停止进行迭代优化操作，将第一次迭代优化操作输出的待确认隐藏特征作为目标隐藏特征。
否则，进行第二次迭代优化操作，并在完成第二次迭代优化操作后，判断第二次迭代优化操作输出的待确认隐藏特征与第一次迭代优化操作输出的待确认隐藏特征之间的的误差指标是否在误差阈值范围之内，从而决定是否需要进行下一迭代优化操作。
以此类推，直至第N次迭代优化操作输出的待确认隐藏特征与第N-1次迭代优化操作输出的待确认隐藏特征的误差指标在误差阈值范围之内，停止进行迭代优化操作，将第N次迭代优化操作输出的待确认隐藏特征作为目标隐藏特征。
在本申请的一些实施方式中，误差指标也可以基于当前迭代优化操作对应的稠密深度图像以及当前迭代优化操作的前一次迭代优化操作对应的稠密深度图像进行确定。其中，当前迭代优化操作对应的稠密深度图像即指对当前迭代优化操作输出的隐藏特征进行深度估计得到稠密深度图像。优选地，终端可以将当前迭代优化操作得到的稠密深度图像减去前一次迭代优化操作对应的稠密深度图像，然后计算平均绝对误差(Mean AbsoluteError，MAE)值作为误差指标。此时，进行迭代优化操作的次数可以兼容稠密化效果与效率。
步骤S104，利用目标隐藏特征进行深度估计，得到目标场景的目标稠密深度图像。
在本申请的实施方式中，终端对步骤S103确认的目标隐藏特征进行深度估计，即可得到目标场景的目标稠密深度图像。该稠密深度图像即为对稀疏深度图像进行深度补全后得到的图像，也即稠密化效果能够满足需求的深度图像。
在本申请的实施方式中，通过获取目标场景的彩色图像和稀疏深度图像，提取彩色图像的彩色特征和初始特征，根据彩色特征、初始特征及稀疏深度图像获取初始稠密深度图像及初始隐藏特征，并进行至少一次的迭代优化操作，以根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征，并利用目标隐藏特征进行深度估计，得到目标场景的目标稠密深度图像，由于每次迭代优化操作需参考稀疏深度图像和彩色特征确定待确认隐藏特征，也即每次迭代优化操作的过程均会通过RGB图像的信息和稀疏深度图像的信息进行引导，能够提高所获取到的稠密深度图像的可靠性。
而且，每一次迭代优化操作均会使用前一次迭代优化操作输出的待确认隐藏特征作为引导，因此，每一次迭代优化操作之后稠密深度图像的稠密化程度将进一步得到提高。
需要说明的是，上述深度图像的获取方法可以通过网络模型实现。图3示出了深度图像模型的结构示意图。终端可以将彩色图像和稀疏深度图像输入至深度图像模型中，获取由深度图像模型输出的目标稠密深度图像。
其中，深度图像模型可以包括特征提取模块、N个反馈模块以及目标深度估计模块。
终端可以通过特征提取模块提取彩色图像的彩色特征和初始特征，并通过第一个反馈模块获取初始稠密深度图像及初始隐藏特征。
接着，终端可以依次通过剩余的反馈模块分别进行一次迭代优化操作，最后通过目标深度估计模块，对最后一个反馈模块输出的目标隐藏特征进行深度估计，得到目标场景的目标稠密深度图像。
如图4所示，每个反馈模块可以包括中间深度估计模块、融合模块和序列模型模块。
终端在单个反馈模块内进行迭代优化操作的步骤可以具体包括：通过当前反馈模块的中间深度估计模块，对前一隐藏特征(也即前一反馈模块输出的待确认隐藏特征)进行深度估计，得到当前反馈模块输出的稠密深度图像；通过当前反馈模块的融合模块，将当前反馈模块输出的稠密深度图像与稀疏深度图像进行融合，得到当前反馈模块的融合特征图；通过当前反馈模块的序列模型模块，利用彩色特征、当前反馈模块的融合特征图、前一隐藏特征，确定当前待确认隐藏特征(也即当前反馈模块输出的待确认隐藏特征)。
上述反馈模块数量可以根据实际情况进行设置。并且，上述深度图像模型还可以输出一个用于表征稠密化效果的参数，若该参数大于预先设定好的阈值，则继续将当前反馈模块的输出输入下一个反馈模块中，若参数小于阈值，则将当前反馈模块输出的待确认隐藏特征作为目标隐藏特征，并通过目标深度估计模块，对目标隐藏特征进行深度估计，输出目标场景的目标稠密深度图像。
需要说明的是，上述深度图像模型的具体工作过程可以参考前述图1和图2所示方法的描述，本申请对此不进行赘述。
在利用深度图像模型进行之前，终端需要对深度图像模型进行训练。进一步地，在训练深度图像模型的过程中，通过反馈模块进行迭代优化操作的迭代次数是固定的，若迭代次数不固定，反馈模块迭代优化得到的稠密深度图像将随着待训练网络参数的调整而改变，以致训练过程中存在两个变量，得不到准确的训练误差；而在深度图像模型的使用过程中，则反馈模块的迭代次数可不固定，迭代次数可以取决于当前迭代优化操作得到的待优化稠密深度图像与前一迭代优化操作得到的待优化稠密深度图像的误差。
具体的，如图5所示，上述深度图像模型的训练过程可以包括步骤S501至步骤S503。
步骤S501，获取样本彩色图像、样本稀疏深度图像和对应的参考稠密深度图像。
其中，样本彩色图像和样本稀疏深度图像的获取方式可以参考步骤S101的描述。
参考稠密深度图像是理想的稠密深度图像。在一些实施方式中，可以获取由人工合成的深度图像，例如可以通过虚幻4(unreal engine 4，UE4)引擎实现，或者，也可以获取其它深度传感器(比如高精度的TOF深度相机)采集的深度图像。
步骤S502，将样本彩色图像、样本稀疏深度图像输入待训练网络中，获取待训练网络中每一反馈模块输出的样本稠密深度图像，以及待训练网络中目标深度估计模块输出的样本目标稠密深度图像。
其中，待训练网络的模型结构和工作过程可以参看图1至图4的描述，本申请对此不进行赘述。
步骤S503，根据样本目标稠密深度图像、每个样本稠密深度图像，以及参考稠密深度图像，计算目标误差值，若目标误差值大于误差阈值，则调整待训练网络的参数对待训练网络进行迭代优化，直至目标误差值小于或等于误差阈值，将待训练网络作为深度图像模型。
其中，误差阈值指认为模型收敛时所允许的目标误差值的最大值，可以根据实际情况进行调整。
具体的，在本申请的一些实施方式中，终端可以计算样本目标稠密深度图像和每个样本稠密深度图像分别与参考稠密深度图像之间的初始误差值，然后，对初始误差值进行加权平均，得到目标误差值，进而保证迭代优化的稠密化效果更好。
通过与预设的误差阈值进行比对，如果目标误差值大于误差阈值，说明待训练网络未收敛，因此需要重新调整待训练网络的参数，并重新计算目标误差值，迭代直至目标误差值小于或等于误差阈值，说明待训练网络已能够输出可靠的稠密深度图像，可以将该网络作为深度图像模型并投入使用。
需要说明的是，上述样本彩色图像、样本稀疏深度图像和对应的参考稠密深度图像的数量可以为多个，每次迭代训练的过程，可以抽取其中的任意一个或多个进行训练。训练的过程可以采用梯度下降法实现，对应的损失函数(lossfunction)可以为L1范数损失函数、L2范数损失函数或其他损失函数。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为根据本申请，某些步骤可以采用其它顺序进行。
如图6所示为本申请实施例提供的一种深度图像的获取装置600的结构示意图，所述深度图像的获取装置600配置于终端上。
具体的，所述深度图像的获取装置600可以包括：
图像获取单元601，用于获取目标场景的彩色图像和稀疏深度图像；
初始稠密化单元602，用于提取所述彩色图像的彩色特征和初始特征，并根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；
迭代优化单元603，用于利用所述彩色特征、所述稀疏深度图像和所述初始隐藏特征，对所述初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征；
目标稠密化单元604，用于利用所述目标隐藏特征进行深度估计，得到所述目标场景的目标稠密深度图像。
其中，上述深度图像的获取装置600可以包括前述深度图像模型，请参考图3，初始稠密化单元602可以对应深度图像模型的特征提取模块及第一个反馈模块，迭代优化单元603可以对应深度图像模型中第一个反馈模块以外的其他反馈模块，目标稠密化单元604可以对应深度图像模型的目标深度估计模块。
在本申请的一些实施方式中，上述初始稠密化单元602可以具体用于：对所述初始特征进行深度估计，得到初始稠密深度图像；将所述初始稠密深度图像与所述稀疏深度图像进行融合，得到初始融合特征图像；利用所述初始融合特征图像、所述初始特征和所述彩色特征，确定所述初始隐藏特征。
在本申请的一些实施方式中，上述图像获取单元601可以具体用于：获取所述目标场景的彩色图像和点云数据；将所述点云数据投影至所述彩色图像的成像平面上，得到所述稀疏深度图像。
在本申请的一些实施方式中，上述迭代优化单元603可以具体用于：利用所述初始隐藏特征对所述初始稠密深度图像进行至少一次迭代优化操作，在每次进行迭代优化操作后，计算当前迭代优化操作输出的待确认隐藏特征与前一次迭代优化操作输出的待确认隐藏特征之间的误差指标，若所述误差指标位于误差阈值范围之外，则继续进行下一次迭代优化操作，直至所述误差指标位于所述误差阈值范围之内，停止进行迭代优化操作，将当前迭代优化操作输出的待确认隐藏特征作为目标隐藏特征。
在本申请的一些实施方式中，上述深度图像的获取装置600还可以包括训练单元，可以用于：获取样本彩色图像、样本稀疏深度图像和对应的参考稠密深度图像；将所述样本彩色图像、所述样本稀疏深度图像输入待训练网络中，获取所述待训练网络中每一反馈模块输出的样本稠密深度图像，以及所述待训练网络中目标深度估计模块输出的样本目标稠密深度图像；根据所述样本目标稠密深度图像、每个所述样本稠密深度图像，以及所述参考稠密深度图像，计算目标误差值，若所述目标误差值大于误差阈值，则调整所述待训练网络的参数，以对所述待训练网络进行迭代优化，直至所述目标误差值小于或等于所述误差阈值，将所述待训练网络作为所述深度图像模型。
在本申请的一些实施方式中，上述训练单元可以具体用于：通过所述待训练网络中的特征提取模块，提取所述彩色图像的彩色特征和初始特征；通过所述待训练网络中的第一个反馈模块，根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；通过所述待训练网络中其他反馈模块分别进行一次迭代优化操作，输出每一次迭代优化操作得到的样本稠密深度图像。
在本申请的一些实施方式中，上述训练单元可以具体用于：计算所述样本目标稠密深度图像和每个所述样本稠密深度图像分别与所述参考稠密深度图像之间的初始误差值；对所述初始误差值进行加权平均，得到所述目标误差值。
需要说明的是，为描述的方便和简洁，上述深度图像的获取装置600的具体工作过程，可以参考图1至图5所述方法的对应过程，在此不再赘述。
本申请实施例还提供的一种深度系统，系统具体包括彩色模块、深度模块、及前述的深度图像的获取装置600，其中，彩色模块，用于采集目标场景的彩色图像；深度模块，用于对目标场景进行扫描得到点云数据，并根据点云数据得到稀疏深度图像；获取装置，利用所述彩色图像及所述稀疏深度图像得到目标稠密深度图像。需要说明的是，彩色模块包括彩色相机，深度模块包括但不限于激光雷达，直接测量飞行时间(Direct Time of flight，dTof)相机，散斑间接测量飞行时间(Indirect Time of flight，iTof)相机中的任一一种；彩色模块、深度模块及获取装置可为一体化装置或独立设置，各元件间的数据可通过有线或无线传输，此处不作限制。所述深度系统的具体工作过程可以参看图1至图6的描述，本申请对此不进行赘述。
如图7所示，为本申请实施例提供的一种终端的示意图。该终端7可以包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如深度图像的获取程序。所述处理器70执行所述计算机程序72时实现上述各个深度图像的获取方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示的图像获取单元601、初始稠密化单元602、迭代优化单元603和目标稠密化单元604。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端中的执行过程。
例如，所述计算机程序可以被分割成：图像获取单元、初始稠密化单元、迭代优化单元和目标稠密化单元。
各单元具体功能如下：
图像获取单元，用于获取目标场景的彩色图像和稀疏深度图像；初始稠密化单元，用于提取所述彩色图像的彩色特征和初始特征，并根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；迭代优化单元，用于利用所述彩色特征、所述稀疏深度图像和所述初始隐藏特征，对所述初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征；目标稠密化单元，用于利用所述目标隐藏特征进行深度估计，得到所述目标场景的目标稠密深度图像。
所述终端可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端的示例，并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器71也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，为描述的方便和简洁，上述终端的结构还可以参考方法实施例中对结构的具体描述，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对各个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种深度图像的获取方法，其特征在于，包括：
获取目标场景的彩色图像和稀疏深度图像；
提取所述彩色图像的彩色特征和初始特征，并根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；
利用所述彩色特征、所述稀疏深度图像和所述初始隐藏特征，对所述初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征；
利用所述目标隐藏特征进行深度估计，得到所述目标场景的目标稠密深度图像。
2.如权利要求1所述的深度图像的获取方法，其特征在于，所述根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征，包括：
对所述初始特征进行深度估计，得到初始稠密深度图像；
将所述初始稠密深度图像与所述稀疏深度图像进行融合，得到初始融合特征图像；
利用所述初始融合特征图像、所述初始特征和所述彩色特征，确定所述初始隐藏特征。
3.如权利要求1或2所述的深度图像的获取方法，其特征在于，所述获取目标场景的彩色图像和稀疏深度图像，包括：
获取所述目标场景的彩色图像和点云数据；
将所述点云数据投影至所述彩色图像的成像平面上，得到所述稀疏深度图像。
4.如权利要求1或2所述的深度图像的获取方法，其特征在于，所述利用所述彩色特征、所述稀疏深度图像和所述初始隐藏特征，对所述初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征，包括：
利用所述初始隐藏特征对所述初始稠密深度图像进行至少一次迭代优化操作，在每次进行迭代优化操作后，计算当前迭代优化操作输出的待确认隐藏特征与前一次迭代优化操作输出的待确认隐藏特征之间的误差指标，若所述误差指标位于误差阈值范围之外，则继续进行下一次迭代优化操作，直至所述误差指标位于所述误差阈值范围之内，停止进行迭代优化操作，将当前迭代优化操作输出的待确认隐藏特征作为目标隐藏特征。
5.如权利要求1或2所述的深度图像的获取方法，其特征在于，所述深度图像的获取方法由预先训练得到的深度图像模型执行；
其中，所述深度图像模型的训练过程包括：
获取样本彩色图像、样本稀疏深度图像和对应的参考稠密深度图像；
将所述样本彩色图像、所述样本稀疏深度图像输入待训练网络中，获取所述待训练网络中每一反馈模块输出的样本稠密深度图像，以及所述待训练网络中目标深度估计模块输出的样本目标稠密深度图像；
根据所述样本目标稠密深度图像、每个所述样本稠密深度图像，以及所述参考稠密深度图像，计算目标误差值，若所述目标误差值大于误差阈值，则调整所述待训练网络的参数，以对所述待训练网络进行迭代优化，直至所述目标误差值小于或等于所述误差阈值，将所述待训练网络作为所述深度图像模型。
6.如权利要求5所述的深度图像的获取方法，其特征在于，所述获取所述待训练网络中每一反馈模块输出的样本稠密深度图像，包括：
通过所述待训练网络中的特征提取模块，提取所述彩色图像的彩色特征和初始特征；
通过所述待训练网络中的第一个反馈模块，根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；
通过所述待训练网络中其他反馈模块分别进行一次迭代优化操作，输出每一次迭代优化操作得到的样本稠密深度图像。
7.如权利要求5所述的深度图像的获取方法，其特征在于，所述根据所述样本目标稠密深度图像、每个所述样本稠密深度图像，以及所述参考稠密深度图像，计算目标误差值，包括：
计算所述样本目标稠密深度图像和每个所述样本稠密深度图像分别与所述参考稠密深度图像之间的初始误差值；
对所述初始误差值进行加权平均，得到所述目标误差值。
8.一种深度图像的获取装置，其特征在于，包括：
图像获取单元，用于获取目标场景的彩色图像和稀疏深度图像；
初始稠密化单元，用于提取所述彩色图像的彩色特征和初始特征，并根据所述彩色特征、所述初始特征及所述稀疏深度图像获取初始稠密深度图像及初始隐藏特征；
迭代优化单元，用于利用所述彩色特征、所述稀疏深度图像和所述初始隐藏特征，对所述初始稠密深度图像进行至少一次迭代优化操作，并根据每次迭代优化操作获取到的待确认隐藏特征确认目标隐藏特征；
目标稠密化单元，用于利用所述目标隐藏特征进行深度估计，得到所述目标场景的目标稠密深度图像。
9.一种深度系统，其特征在于，包括彩色模块、深度模块及如权利要求8所述的获取装置，其中：
所述彩色模块，用于采集目标场景的彩色图像；
所述深度模块，用于对所述目标场景进行扫描得到点云数据，并根据所述点云数据得到稀疏深度图像；
所述获取装置，利用所述彩色图像及所述稀疏深度图像得到目标稠密深度图像。
10.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述获取方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述获取方法的步骤。
CN202210142004.8A 2022-02-16 2022-02-16 深度图像的获取方法、装置、深度系统、终端和存储介质 Pending CN114638869A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210142004.8A CN114638869A (zh) 2022-02-16 2022-02-16 深度图像的获取方法、装置、深度系统、终端和存储介质
PCT/CN2022/100593 WO2023155353A1 (zh) 2022-02-16 2022-06-23 深度图像的获取方法、装置、深度系统、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210142004.8A CN114638869A (zh) 2022-02-16 2022-02-16 深度图像的获取方法、装置、深度系统、终端和存储介质

Publications (1)

Publication Number Publication Date
CN114638869A true CN114638869A (zh) 2022-06-17

Family

ID=81945910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210142004.8A Pending CN114638869A (zh) 2022-02-16 2022-02-16 深度图像的获取方法、装置、深度系统、终端和存储介质

Country Status (2)

Country Link
CN (1) CN114638869A (zh)
WO (1) WO2023155353A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100360A (zh) * 2022-07-28 2022-09-23 中国电信股份有限公司 图像生成方法及装置、存储介质和电子设备
WO2023155353A1 (zh) * 2022-02-16 2023-08-24 奥比中光科技集团股份有限公司 深度图像的获取方法、装置、深度系统、终端和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422629B (zh) * 2023-12-19 2024-04-26 华南理工大学 一种实例感知的单目语义场景补全方法、介质及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11128854B2 (en) * 2018-03-13 2021-09-21 Magic Leap, Inc. Image-enhanced depth sensing via depth sensor control
US20220262023A1 (en) * 2019-07-22 2022-08-18 Toyota Motor Europe Depth maps prediction system and training method for such a system
CN112102472B (zh) * 2020-09-01 2022-04-29 北京航空航天大学 稀疏三维点云稠密化方法
CN112560875B (zh) * 2020-12-25 2023-07-28 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112541482B (zh) * 2020-12-25 2024-04-02 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN114638869A (zh) * 2022-02-16 2022-06-17 奥比中光科技集团股份有限公司 深度图像的获取方法、装置、深度系统、终端和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155353A1 (zh) * 2022-02-16 2023-08-24 奥比中光科技集团股份有限公司 深度图像的获取方法、装置、深度系统、终端和存储介质
CN115100360A (zh) * 2022-07-28 2022-09-23 中国电信股份有限公司 图像生成方法及装置、存储介质和电子设备
CN115100360B (zh) * 2022-07-28 2023-12-01 中国电信股份有限公司 图像生成方法及装置、存储介质和电子设备

Also Published As

Publication number Publication date
WO2023155353A1 (zh) 2023-08-24

Similar Documents

Publication Publication Date Title
CN114638869A (zh) 深度图像的获取方法、装置、深度系统、终端和存储介质
CN111563923A (zh) 获得稠密深度图的方法及相关装置
CN114494388B (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
CN104079818A (zh) 摄像装置、图像处理系统、摄像系统和图像处理方法
WO2022166258A1 (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN112862877A (zh) 用于训练图像处理网络和图像处理的方法和装置
CN113298728B (zh) 一种视频优化方法、装置、终端设备及存储介质
CN113869429A (zh) 模型训练方法及图像处理方法
CN110211181B (zh) 视觉定位的方法、装置、存储介质和电子设备
CN111373436A (zh) 图像处理方法、终端设备及存储介质
CN113902789A (zh) 图像特征处理、深度图像生成方法及装置、介质和设备
CN116778091A (zh) 基于路径聚合的深度学习多视角立体三维重建算法
CN112087556B (zh) 一种暗光成像方法、装置、可读存储介质及终端设备
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN113763447B (zh) 深度图的补全方法、电子设备及存储介质
CN115375909A (zh) 一种图像处理方法及装置
CN114373078A (zh) 目标检测方法、装置、终端设备及存储介质
CN110349211B (zh) 图像定位的方法和装置、存储介质
CN112802079A (zh) 一种视差图获取方法、装置、终端和存储介质
CN108693642B (zh) 光学成像系统成像质量的确定方法和装置
CN113066165B (zh) 多阶段无监督学习的三维重建方法、装置和电子设备
CN113496521B (zh) 利用多张彩色图片生成深度图像与相机外参的方法及装置
CN115861401B (zh) 一种双目与点云融合深度恢复方法、装置和介质
CN117078984B (zh) 双目图像处理方法、装置、电子设备及存储介质
KR20140104789A (ko) 정지영상의 식별자 생성 방법 및 이를 수행하는 영상 처리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination