CN117173232A - 深度图像的获取方法、装置及设备 - Google Patents

深度图像的获取方法、装置及设备 Download PDF

Info

Publication number
CN117173232A
CN117173232A CN202310937667.3A CN202310937667A CN117173232A CN 117173232 A CN117173232 A CN 117173232A CN 202310937667 A CN202310937667 A CN 202310937667A CN 117173232 A CN117173232 A CN 117173232A
Authority
CN
China
Prior art keywords
image
depth
depth image
sample
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310937667.3A
Other languages
English (en)
Inventor
邢树军
万华明
颜玢玢
齐帅
桑新柱
张亚坤
李宁驰
曾哲昊
李一帆
赵思铭
王葵如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310937667.3A priority Critical patent/CN117173232A/zh
Publication of CN117173232A publication Critical patent/CN117173232A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种深度图像的获取方法、装置及设备，该方法包括：获取目标三维场景的原始RGB图像和原始深度图像；将所述原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。本发明提供一种深度图像的获取方法、装置及设备用于提高深度图像的准确率。

Description

深度图像的获取方法、装置及设备
技术领域
本发明涉及三维重建、视频插帧、自动驾驶等技术领域，尤其涉及一种深度图像的获取方法、装置及设备。
背景技术
目前，基于三维场景的深度图像构建三维场景对应的三维模型的技术，成为三维重建(3D Reconstruction)。深度图像的质量越高，三维模型的精度就越高。
在相关技术中，可以采用深度传感器或者深度彩色相机(例如多目相机或者双目相机)采集三维场景的深度图像。其中，深度传感器容易受到环境干扰导致采集的深度图像的质量较差。深度彩色相机通常对其采集的RGB图像进行深度估计，来得到深度图像，由于深度彩色相机在进行深度估计的情况下，容易受到RGB图像的弱纹理、重复纹理以及非朗伯体(Non Lambertion)表面等区域的影响，因此深度估计的准确性差，导致得到的深度图像的质量较差。
发明内容
本发明提供一种深度图像的获取方法、装置及设备，用以解决现有技术中深度图像的质量较差的缺陷，实现提高深度图像的质量的目的。
第一方面，本发明提供一种深度图像的获取方法，包括：
获取目标三维场景的原始RGB图像和原始深度图像；
将所述原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；
将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。
根据本发明提供的一种深度图像的获取方法，所述将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像，包括：
将所述多个图像特征中的第一图像特征，输入至所述深度图像生成网络的第一级深度图像生成模块，得到第一深度图像；
将所述多个图像特征中的第二图像特征和所述第一深度图像，输入至所述深度图像生成网络的第二级深度图像生成模块，得到第二深度图像；
将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像；
将所述多个图像特征中的第三图像特征和所述融合深度图像，输入至所述第三级深度图像生成模块，得到目标三维场景的目标深度图像。
根据本发明提供的一种深度图像的获取方法，将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像，包括：
通过所述深度融合模块，对所述第二深度图像进行预设倍数的上采样，得到上采样深度图像；所述上采样深度图像的尺寸和所述原始深度图像的尺寸相同；
通过所述深度融合模块，对所述原始深度图像进行图像掩码，得到掩码图像；
通过所述深度融合模块，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像。
根据本发明提供的一种深度图像的获取方法，所述深度融合模块基于掩码图像生成公式，对所述原始深度图像进行图像掩码，得到掩码图像；
所述掩码图像生成公式为：
其中，Mask表示掩码图像，mask(x,y)表示掩码图像中像素(x,y)处的掩码值，d(x,y)表示原始深度图像中像素(x,y)处的深度值，Draw表示原始深度图像。
根据本发明提供的一种深度图像的获取方法，所述深度融合模块基于融合处理公式，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像；
所述融合处理公式为：
其中，DS表示上采样深度图像，-Mask表示Mask的反掩码图像，DF表示融合深度图像，-mask(x,y)表示mask(x,y)的反掩码值。
根据本发明提供的一种深度图像的获取方法，所述方法还包括：
针对各样本三维场景执行如下操作：
获取多个深度彩色相机对所述样本三维场景进行图像采集得到的多个样本RGB图像和各样本RGB图像对应的样本深度图像；
针对各样本RGB图像，基于所述样本RGB图像，确定采集所述样本RGB图像的深度彩色相机的内参数和外参数；
通过所述预设内置函数，将所述样本深度图像与所述样本RGB图像进行对齐，得到所述样本RGB图像对应的样本目标深度图像；
基于所述各样本RGB图像对应的样本目标深度图像、以及采集所述样本RGB图像的深度彩色相机的内参数和外参数，构建所述样本三维场景的三维网格模型；
针对各样本RGB图像，基于采集所述样本RGB图像的深度彩色相机的内参数和外参数，对所述网格模型进行深度渲染，得到所述样本RGB图像对应的标签深度图像；
基于所述多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，所述多个训练样本存在不同；
通过所述各样本三维场景对应的多个训练样本，对初始信息融合模型进行有监督训练，得到所述色彩深度信息融合模型。
根据本发明提供的一种深度图像的获取方法，所述基于所述多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，包括：
针对所述各样本三维场景执行如下操作：
基于预设数量，基于所述样本三维场景的多个样本RGB图像，确定多个RGB图像集合，每个RGB图像集合中包括所述预设数量个样本RGB图像，所述RGB图像集合存在不同；
针对RGB图像集合，基于所述RGB图像集合中的预设数量个样本RGB图像和所述预设数量个样本RGB图像各自对应的标签深度图像，确定所述多个训练样本，所述训练样本中包括预设数量个样本RGB图像和所述预设数量个样本RGB图像的一个样本RGB图像对应的标签深度图像。
第二方面，本发明还提供一种深度图像的获取装置，包括：
获取模块，用于获取目标三维场景的原始RGB图像和原始深度图像；
处理模块，用于将所述原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；
所述处理模块，还用于将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。
根据本发明提供的一种深度图像的获取装置，所述处理模块还具体用于：
将所述多个图像特征中的第一图像特征，输入至所述深度图像生成网络的第一级深度图像生成模块，得到第一深度图像；
将所述多个图像特征中的第二图像特征和所述第一深度图像，输入至所述深度图像生成网络的第二级深度图像生成模块，得到第二深度图像；
将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像；
将所述多个图像特征中的第三图像特征和所述融合深度图像，输入至所述第三级深度图像生成模块，得到目标三维场景的目标深度图像。
根据本发明提供的一种深度图像的获取装置，所述处理模块还具体用于：
通过所述深度融合模块，对所述第二深度图像进行预设倍数的上采样，得到上采样深度图像；所述上采样深度图像的尺寸和所述原始深度图像的尺寸相同；
通过所述深度融合模块，对所述原始深度图像进行图像掩码，得到掩码图像；
通过所述深度融合模块，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像。
根据本发明提供的一种深度图像的获取装置，所述深度融合模块基于掩码图像生成公式，对所述原始深度图像进行图像掩码，得到掩码图像；
所述掩码图像生成公式为：
其中，Mask表示所述掩码图像，Mask(x,y)表示所述掩码图像中像素(x,y)处的掩码值，d(x,y)表示所述原始深度图像中像素(x,y)处的深度值，Draw表示所述原始深度图像。
根据本发明提供的一种深度图像的获取装置，所述深度融合模块基于融合处理公式，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像；
所述融合处理公式为：
其中，DS表示所述上采样深度图像，-Mask表示Mask的反掩码图像，DF表示所述融合深度图像，-mask(x,y)表示mask(x,y)的反掩码值。
根据本发明提供的一种深度图像的获取装置，针对各样本三维场景执行如下操作：
获取模块，还用于获取多个深度彩色相机对所述样本三维场景进行图像采集得到的多个样本RGB图像和各样本RGB图像对应的样本深度图像；
处理模块，还用于针对各样本RGB图像，基于所述样本RGB图像，确定采集所述样本RGB图像的深度彩色相机的内参数和外参数；
处理模块，还用于通过所述预设内置函数，将所述样本深度图像与所述样本RGB图像进行对齐，得到所述样本RGB图像对应的样本目标深度图像；
处理模块，还用于基于所述各样本RGB图像对应的样本目标深度图像、采集所述样本RGB图像的深度彩色相机的内参数和外参数，构建所述样本三维场景的三维网格模型；
处理模块，还用于针对各样本RGB图像，基于采集所述样本RGB图像的深度彩色相机的内参数和外参数，对所述网格模型进行深度渲染，得到所述样本RGB图像对应的标签深度图像；
处理模块，还用于基于所述多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，所述多个训练样本存在不同；
处理模块，还用于通过所述各样本三维场景对应的多个训练样本，对初始信息融合模型进行有监督训练，得到所述色彩深度信息融合模型。
根据本发明提供的一种深度图像的获取装置，处理模块还具体用于：
针对所述各样本三维场景执行如下操作：
基于预设数量，基于所述样本三维场景的多个样本RGB图像，确定多个RGB图像集合，每个RGB图像集合中包括所述预设数量个样本RGB图像，所述RGB图像集合存在不同；
针对RGB图像集合，基于所述RGB图像集合中的预设数量个样本RGB图像和所述预设数量个样本RGB图像各自对应的标签深度图像，确定所述多个训练样本，所述训练样本中包括预设数量个样本RGB图像和所述预设数量个样本RGB图像的一个样本RGB图像对应的标签深度图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种深度图像的获取方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种深度图像的获取方法。
本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种深度图像的获取方法。
本发明提供一种深度图像的获取方法、装置及设备，将原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征，将多个图像特征和原始深度图像，输入至色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像，可以避免环境干扰，避免RGB图像的弱纹理、重复纹理和非朗伯体等区域的影响，提高了目标深度图像的质量较高。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的深度图像的获取方法的流程示意图；
图2是本发明提供的色彩深度信息融合模型的结构示意图；
图3是本发明提供的得到融合深度图像的流程示意图；
图4是本发明提供的得到色彩深度信息融合模型的流程示意图；
图5是本发明提供的构建样本三维场景的流程框图；
图6是本发明提供的深度图像的获取装置的结构示意图；
图7是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在相关技术中，深度传感器容易受到环境干扰导致采集的深度图像的质量较差。深度彩色相机通常对其采集的RGB图像进行深度估计，来得到深度图像，由于深度彩色相机在进行深度估计的情况下，容易受到弱纹理、重复纹理以及非朗伯体等区域的影响，导致得到的深度图像的质量较差。
在本发明中为了提高深度图像的质量，发明人提供一种深度图像的获取方法，在该方法中，发明人通过设计的一种色彩深度信息融合模型，通过色彩深度信息融合模型对原始RGB图像和原始深度图像进行处理，得到深度图像，可以避免环境干扰，避免RGB图像的弱纹理、重复纹理和非朗伯体等区域的影响。
下面结合具体实施例描述本发明的深度图像的获取方法。
图1是本发明提供的深度图像的获取方法的流程示意图。如图1所示，该方法包括：
S11、获取目标三维场景的原始RGB图像和原始深度图像。
可选地，本发明提供的深度图像的获取方法的执行主体可以为电子设备，也可以为设置在电子设备中的深度图像的获取装置，该获取装置可以通过软件和/或硬件的结合来实现。
电子设备例如为个人电脑或者台式电脑等。
目标三维场景可以为任意需要进行三维重建的真实场景。
可选地，通过RGB-D深度彩色相机对目标三维场景进行图像采集，得到目标三维场景的原始RGB图像和原始深度图像。
S12、将原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络(Feature Pyramid Network，FPN)，得到多个图像特征。
S13、将多个图像特征和原始深度图像，输入至色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像。
在本发明中，将原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征，将多个图像特征和原始深度图像，输入至色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像，不仅可以避免环境干扰，避免RGB图像的弱纹理、重复纹理和非朗伯体表面等区域的影响，还可以精确估计目标三维场景的深度，提高目标深度图像的质量。进一步地，在本发明中，色彩深度信息融合模型的输入信息包括原始RGB图像和原始深度图像，因此可以实现基于原始RGB图像和原始深度图像联合得到目标深度图像，从而提高了目标深度图像的质量。
在上述实施例的基础上，下面结合图2对色彩深度信息融合模型进行说明。
图2是本发明提供的色彩深度信息融合模型的结构示意图。如图2所示，色彩深度信息融合模型包括：特征金字塔网络和深度图像生成网络。其中，深度图像生成网络包括第一级深度图像生成模块21、第二级深度图像生成模块22、深度融合模块23和第三级深度图像生成模块24。
下面结合S21和S25，对通过色彩深度信息融合模型得到目标深度图像的过程进行说明。
S21、将原始RGB图像输入特征金字塔网络，得到多个图像特征。
例如，特征金字塔网络中包括N个层级，得到N个图像特征。
需要说明的是，图2是以N等于3为例进行说明。在N＝3的情况下，多个图像特征包括图2所示的第一图像特征f1、第二图像特征f2和第三图像特征f3。
S22、将第一图像特征f1，输入至第一级深度图像生成模块21，得到第一深度图像。
具体的，在第一级深度图像生成模块21中，对第一图像特征f1进行可微单应性翘曲操作，得到特征体，对特征体进行方差计算，得到代价体，对代价体进行3D卷积，得到深度概率图，对深度概率图进行回归处理，得到第一深度图像。
S23、将第二图像特征f2和第一深度图像，输入至第二级深度图像生成模块22，得到第二深度图像。
具体的，在第二级深度图像生成模块22中，对第二图像特征f2和第一深度图像进行可微单应性翘曲操作，得到特征体，对特征体进行方差计算，得到代价体，对代价体进行3D卷积，得到深度概率图，对深度概率图进行回归处理，得到第二深度图像。
S24、将原始深度图像和第二深度图像，输入至深度图像生成网络的深度融合模块，得到融合深度图像DF。
S25、将第三图像特征f3和融合深度图像DF，输入至第三级深度图像生成模块24，得到目标三维场景的目标深度图像。
具体的，在第三级深度图像生成模块24中，对第三图像特征f3和融合深度图像DF进行可微单应性翘曲操作，得到特征体，对特征体进行方差计算，得到代价体，对代价体进行3D卷积，得到深度概率图，对深度概率图进行回归处理，得到目标深度图像。
在上述实施例的基础上，下面结合图3对通过得到融合深度图像的犯法进行说明。
图3是本发明提供的得到融合深度图像的流程示意图。如图3所示，该方法包括：
S31、通过深度融合模块，对第二深度图像进行预设倍数的上采样，得到上采样深度图像，上采样深度图像的尺寸和原始深度图像的尺寸相同。
例如，在图2的基础上，预设倍数等于2。
需要说明的是，若将第二深度图像替换为第一深度图像，则预设倍数等于4。
S32、通过深度融合模块，对原始深度图像进行图像掩码，得到掩码图像。
在一些实施例中，深度融合模块基于掩码图像生成公式，对原始深度图像进行图像掩码，得到掩码图像。
掩码图像生成公式为：
其中，Mask表示掩码图像，mask(x,y)表示掩码图像中像素(x,y)处的掩码值，d(x,y)表示原始深度图像中像素(x,y)处的深度值，Draw表示原始深度图像。
S33、通过深度融合模块，对上采样深度图像、掩码图像和原始深度图像进行融合处理，得到融合深度图像。
在一些实施例中，深度融合模块基于融合处理公式，对上采样深度图像、掩码图像和原始深度图像进行融合处理，得到融合深度图像。
融合处理公式为：
其中，DS表示上采样深度图像，-Mask表示Mask的反掩码图像，DF表示融合深度图像，-mask(x,y)表示mask(x,y)的反掩码值，·表示像素(x,y)处的深度值和掩码值相乘。
例如，Draw·Mask表示Draw中像素(x,y)处的深度值和Mask中像素(x,y)处的掩码值相乘。
例如，DS·(-Mask)表示DS中像素(x,y)处的深度值和(-Mask)中像素(x,y)处的反掩码值相乘。
在本发明中，由于原始深度图像存在空洞等无效测量区域，这些无效测量区域不能通过非均匀采样的方法构建S25中的代价体，因此通过深度融合模块采用第二深度图像补全原始深度图像，得到不存在无效测量区域的融合深度图像DF，从而保障可以成功构建S25中的代价体。
在本发明中还提供一种对初始信息融合模型进行有监督训练，得到上述色彩深度信息融合模型的方法。下面结合图4对得到色彩深度信息融合模型的过程进行说明。
图4是本发明提供的得到色彩深度信息融合模型的流程示意图。如图4所示，该方法包括：
S41、获取多个深度彩色相机对样本三维场景进行图像采集得到的多个样本RGB图像和各样本RGB图像对应的样本深度图像。
可选地，多个深度彩色相机的总数量可以为X，X为大于或等于2的整数。例如X可以5。
深度彩色相机可以为RGB-D深度彩色相机，也可以为其他深度彩色相机。
可选地，多个深度彩色相机可以分别与高性能采集服务器通信连接，高性能采集服务器控制多个深度彩色相机在同一个采集时刻对样本三维场景进行图像采集。
可选地，为了多个深度彩色相机能获得较大的共视区域，采用汇聚式采集方式对样本三维场景进行图像采集。
多个深度彩色相机的总数量和多个样本RGB图像的总数量可以相同。
样本三维场景为多个样本三维场景中的一个样本三维场景。
多个样本三维场景的总数量可以为Y，Y为大于或等于2的整数。例如Y可以56。
针对多个样本三维场景中的各样本三维场景，执行S41至S46。
S42、针对各样本RGB图像，基于样本RGB图像，确定采集样本RGB图像的深度彩色相机的内参数和外参数。
具体的，通过张正友标定法，对样本RGB图像进行处理，得到深度彩色相机的内参数。
具体的，运动复原结构(Structure from Motion，SFM)对样本RGB图像进行处理，得到深度彩色相机的外参数。
S43、通过预设内置函数，将样本深度图像与样本RGB图像进行对齐，得到样本RGB图像对应的样本目标深度图像。
可选地，预设内置函数可以为深度彩色相机(例如realsense)提供的内置函数。
S44、基于各样本RGB图像对应的样本目标深度图像、以及采集样本RGB图像的深度彩色相机的内参数和外参数，构建样本三维场景的三维网格模型。
下面结合图5对构建样本三维场景的三维网格模型进行说明。
图5是本发明提供的构建样本三维场景的流程框图。如图5所示，包括：多个深度彩色相机。例如多个深度彩色相机包括深度彩色相机A、B、C、D和E。深度彩色相机A、B、C、D和E采用各自对应的视角，采集样本三维场景的一张样本RGB图像和样本RGB图像对应的样本深度图像。
具体的，基于采集各样本RGB图像对应的深度彩色相机的内参数和外参数，将各样本RGB图像对应的样本目标深度图像，融合在截断符号距离函数(truncated signeddistance function，TSDF)的体数据中；通过Marching Cube算法，对体数据进行“零等值面”提取，得到特殊表面；根据特殊表面，生成样本三维场景的三维网格模型。
S45、针对各样本RGB图像，基于采集样本RGB图像的深度彩色相机的内参数和外参数，对网格模型进行深度渲染，得到样本RGB图像对应的标签深度图像。
S46、基于多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建样本三维场景对应的多个训练样本，多个训练样本存在不同。
在一些实施例中，S46具体包括：
针对各样本三维场景执行如下操作：
基于预设数量，基于样本三维场景的多个样本RGB图像，确定多个RGB图像集合，每个RGB图像集合中包括预设数量个样本RGB图像，RGB图像集合存在不同；
针对RGB图像集合，基于RGB图像集合中的预设数量个样本RGB图像和预设数量个样本RGB图像各自对应的标签深度图像，确定多个训练样本，训练样本中包括预设数量个样本RGB图像和预设数量个样本RGB图像的一个样本RGB图像对应的标签深度图像。
可选地，预设数量可以为Z，Z可以为大于或等于1的整数。例如，Z可以为3。
例如，针对一个样本三维场景，在Z为3、样本三维场景的多个样本RGB图像的总数量为5(即X＝5，多个深度彩色相机的总数量和多个样本RGB图像的总数量可以相同)的情况下，可以得到10(即)个RGB图像集合。
例如，在多个样本RGB图像包括P1、P2、P3、P4和P5的情况下，一个RGB图像集合可以包括P1、P2和P3，一个RGB图像集合可以包括P2、P3和P4，一个RGB图像集合可以包括P1、P3和P4，等等。
具体的，可以将RGB图像集合中的预设数量个样本RGB图像和预设数量个样本RGB图像中的一个样本RGB图像对应的标签深度图像，确定为一个训练样本。
针对一个RGB图像集合，在RGB图像集合包括P1、P2和P3的情况下，可以得到3个训练样本，一个训练样本包括P1、P2、P3和P1对应的标签深度图像，一个训练样本包括P1、P2、P3和P2对应的标签深度图像，一个训练样本包括P1、P2、P3和P3对应的标签深度图像。
S47、通过各样本三维场景对应的多个训练样本，对初始信息融合模型进行有监督训练，得到色彩深度信息融合模型。
初始信息融合模型的结构和色彩深度信息融合模型的结构相同，模型参数不同。
针对第i+1个训练样本，将第i+1个训练样本中预设数量个样本RGB图像，输入第i次训练得到的信息融合模型，得到预测深度图像；
计算预测深度图像和第i+1个训练样本中的标签深度图像之间的损失值，基于该损失值调整第i次训练得到的信息融合模型的模型参数，得到第i+1次训练得到的信息融合模型。
在本发明中，针对各样本RGB图像，基于采集样本RGB图像的深度彩色相机的内参数和外参数，对网格模型进行深度渲染，得到样本RGB图像对应的标签深度图像，使得标签深度图像具有较高的质量。进一步地，基于多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建样本三维场景对应的多个训练样本，并通过多个训练样本对初始信息融合模型进行有监督训练，得到色彩深度信息融合模型，提高了得到色彩深度信息融合模型的质量。
下面对本发明提供的深度图像的获取装置进行描述，下文描述的深度图像的获取装置与上文描述的深度图像的获取方法可相互对应参照。
图6是本发明提供的深度图像的获取装置的结构示意图。如图6所示，深度图像的获取装置包括：
获取模块61，用于获取目标三维场景的原始RGB图像和原始深度图像；
处理模块62，用于将所述原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；
所述处理模块62，还用于将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。
根据本发明提供的一种深度图像的获取装置，所述处理模块62还具体用于：
将所述多个图像特征中的第一图像特征，输入至所述深度图像生成网络的第一级深度图像生成模块，得到第一深度图像；
将所述多个图像特征中的第二图像特征和所述第一深度图像，输入至所述深度图像生成网络的第二级深度图像生成模块，得到第二深度图像；
将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像；
将所述多个图像特征中的第三图像特征和所述融合深度图像，输入至所述第三级深度图像生成模块，得到目标三维场景的目标深度图像。
根据本发明提供的一种深度图像的获取装置，所述处理模块62还具体用于：
通过所述深度融合模块，对所述第二深度图像进行预设倍数的上采样，得到上采样深度图像；所述上采样深度图像的尺寸和所述原始深度图像的尺寸相同；
通过所述深度融合模块，对所述原始深度图像进行图像掩码，得到掩码图像；
通过所述深度融合模块，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像。
根据本发明提供的一种深度图像的获取装置，所述深度融合模块基于掩码图像生成公式，对所述原始深度图像进行图像掩码，得到掩码图像；
所述掩码图像生成公式为：
其中，Mask表示所述掩码图像，mask(x,y)表示所述掩码图像中像素(x,y)处的掩码值，d(x,y)表示所述原始深度图像中像素(x,y)处的深度值，Draw表示所述原始深度图像。
根据本发明提供的一种深度图像的获取装置，深度融合模块基于融合处理公式，对上采样深度图像、掩码图像和原始深度图像进行融合处理，得到融合图像；
所述融合处理公式为：
其中，DS表示上采样深度图像，-Mask表示Mask的反掩码图像，DF表示融合深度图像，-mask(x,y)表示mask(x,y)的反掩码值。
根据本发明提供的一种深度图像的获取装置，针对各样本三维场景执行如下操作：
获取模块61，还用于获取多个深度彩色相机对所述样本三维场景进行图像采集得到的多个样本RGB图像和各样本RGB图像对应的样本深度图像；
处理模块62，还用于针对各样本RGB图像，基于所述样本RGB图像，确定采集所述样本RGB图像的深度彩色相机的内参数和外参数；
处理模块62，还用于通过所述预设内置函数，将所述样本深度图像与所述样本RGB图像进行对齐，得到所述样本RGB图像对应的样本目标深度图像；
处理模块62，还用于基于所述各样本RGB图像对应的样本目标深度图像、以及采集样本RGB图像的深度彩色相机的内参数和外参数，构建所述样本三维场景的三维网格模型；
处理模块62，还用于针对各样本RGB图像，基于采集所述样本RGB图像的深度彩色相机的内参数和外参数，对所述网格模型进行深度渲染，得到所述样本RGB图像对应的标签深度图像；
处理模块62，还用于基于所述多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，所述多个训练样本存在不同；
处理模块62，还用于通过所述各样本三维场景对应的多个训练样本，对初始信息融合模型进行有监督训练，得到所述色彩深度信息融合模型。
根据本发明提供的一种深度图像的获取装置，处理模块62还具体用于：
针对所述各样本三维场景执行如下操作：
基于预设数量，基于所述样本三维场景的多个样本RGB图像，确定多个RGB图像集合，每个RGB图像集合中包括所述预设数量个样本RGB图像，所述RGB图像集合存在不同；
针对RGB图像集合，基于所述RGB图像集合中的预设数量个样本RGB图像和所述预设数量个样本RGB图像各自对应的标签深度图像，确定所述多个训练样本，所述训练样本中包括预设数量个样本RGB图像和所述预设数量个样本RGB图像的一个样本RGB图像对应的标签深度图像。
图7是本发明提供的电子设备的实体结构示意图。如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740。其中，处理器710、通信接口720、存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行深度图像的获取方法，该方法包括：获取目标三维场景的原始RGB图像和原始深度图像；将原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；将多个图像特征和原始深度图像，输入至色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的深度图像的获取方法，该方法包括：获取目标三维场景的原始RGB图像和原始深度图像；将原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；将多个图像特征和原始深度图像，输入至色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的深度图像的获取方法，该方法包括：获取目标三维场景的原始RGB图像和原始深度图像；将原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；将多个图像特征和原始深度图像，输入至色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种深度图像的获取方法，其特征在于，包括：
获取目标三维场景的原始RGB图像和原始深度图像；
将所述原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；
将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。
2.根据权利要求1所述的深度图像的获取方法，其特征在于，所述将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像，包括：
将所述多个图像特征中的第一图像特征，输入至所述深度图像生成网络的第一级深度图像生成模块，得到第一深度图像；
将所述多个图像特征中的第二图像特征和所述第一深度图像，输入至所述深度图像生成网络的第二级深度图像生成模块，得到第二深度图像；
将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像；
将所述多个图像特征中的第三图像特征和所述融合深度图像，输入至所述第三级深度图像生成模块，得到目标三维场景的目标深度图像。
3.根据权利要求2所述的深度图像的获取方法，其特征在于，将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像，包括：
通过所述深度融合模块，对所述第二深度图像进行预设倍数的上采样，得到上采样深度图像，所述上采样深度图像的尺寸和所述原始深度图像的尺寸相同；
通过所述深度融合模块，对所述原始深度图像进行图像掩码，得到掩码图像；
通过所述深度融合模块，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像。
4.根据权利要求3所述的深度图像的获取方法，其特征在于，所述深度融合模块基于掩码图像生成公式，对所述原始深度图像进行图像掩码，得到掩码图像；
所述掩码图像生成公式为：
其中，Mask表示所述掩码图像，Mask(x,y)表示所述掩码图像中像素(x,y)处的掩码值，d(x,y)表示所述原始深度图像中像素(x,y)处的深度值，Draw表示所述原始深度图像。
5.根据权利要求4所述的深度图像的获取方法，其特征在于，所述深度融合模块基于融合处理公式，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像；
所述融合处理公式为：
其中，DS表示所述上采样深度图像，-Mask表示Mask的反掩码图像，DF表示所述融合深度图像，-mask(x,y)表示mask(x,y)的反掩码值。
6.根据权利要求1至5任一项所述的深度图像的获取方法，其特征在于，所述方法还包括：
针对各样本三维场景执行如下操作：
获取多个深度彩色相机对所述样本三维场景进行图像采集得到的多个样本RGB图像和各样本RGB图像对应的样本深度图像；
针对各样本RGB图像，基于所述样本RGB图像，确定采集所述样本RGB图像的深度彩色相机的内参数和外参数；
通过所述预设内置函数，将所述样本深度图像与所述样本RGB图像进行对齐，得到所述样本RGB图像对应的样本目标深度图像；
基于所述各样本RGB图像对应的样本目标深度图像、以及采集所述样本RGB图像的深度彩色相机的内参数和外参数，构建所述样本三维场景的三维网格模型；
针对各样本RGB图像，基于采集所述样本RGB图像的深度彩色相机的内参数和外参数，对所述网格模型进行深度渲染，得到所述样本RGB图像对应的标签深度图像；
基于所述多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，所述多个训练样本存在不同；
通过所述各样本三维场景对应的多个训练样本，对初始信息融合模型进行有监督训练，得到所述色彩深度信息融合模型。
7.根据权利要求6所述的深度图像的获取方法，其特征在于，所述基于所述多个样本RGB图像、各样本RGB图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，包括：
针对所述各样本三维场景执行如下操作：
基于预设数量，基于所述样本三维场景的多个样本RGB图像，确定多个RGB图像集合，每个RGB图像集合中包括所述预设数量个样本RGB图像，所述RGB图像集合存在不同；
针对RGB图像集合，基于所述RGB图像集合中的预设数量个样本RGB图像和所述预设数量个样本RGB图像各自对应的标签深度图像，确定所述多个训练样本，所述训练样本中包括预设数量个样本RGB图像和所述预设数量个样本RGB图像的一个样本RGB图像对应的标签深度图像。
8.一种深度图像的获取装置，其特征在于，包括：
获取模块，用于获取目标三维场景的原始RGB图像和原始深度图像；
处理模块，用于将所述原始RGB图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；
所述处理模块，还用于将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。
9.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现如权利要求1至7任一项所述深度图像的获取方法。
10.一种非暂态计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述深度图像的获取方法。
CN202310937667.3A 2023-07-27 2023-07-27 深度图像的获取方法、装置及设备 Pending CN117173232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310937667.3A CN117173232A (zh) 2023-07-27 2023-07-27 深度图像的获取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310937667.3A CN117173232A (zh) 2023-07-27 2023-07-27 深度图像的获取方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117173232A true CN117173232A (zh) 2023-12-05

Family

ID=88928813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310937667.3A Pending CN117173232A (zh) 2023-07-27 2023-07-27 深度图像的获取方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117173232A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496276A (zh) * 2023-12-29 2024-02-02 广州锟元方青医疗科技有限公司 肺癌细胞形态学分析、识别方法及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496276A (zh) * 2023-12-29 2024-02-02 广州锟元方青医疗科技有限公司 肺癌细胞形态学分析、识别方法及计算机可读存储介质
CN117496276B (zh) * 2023-12-29 2024-04-19 广州锟元方青医疗科技有限公司 肺癌细胞形态学分析、识别方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
Claus et al. Videnn: Deep blind video denoising
CN108898567B (zh) 图像降噪方法、装置及系统
Gallo et al. Artifact-free high dynamic range imaging
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN112785507A (zh) 图像处理方法及装置、存储介质、终端
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
JP5901447B2 (ja) 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN117173232A (zh) 深度图像的获取方法、装置及设备
CN115937794A (zh) 小目标对象检测方法、装置、电子设备及存储介质
CN104184936B (zh) 基于光场相机的影像对焦处理方法及其系统
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
JP2010506482A (ja) ビデオストリームの視差回復方法及びフィルタ
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质
Chilukuri et al. Analysing Of Image Quality Computation Models Through Convolutional Neural Network
Balure et al. A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images
Xu et al. Application of Discrete Mathematical Model in Edge Distortion Correction of Moving Image
CN112991416A (zh) 深度估计方法、模型训练方法、装置、设备及存储介质
CN116823863A (zh) 一种红外图像轮廓提取方法及装置
CN116228829A (zh) 三维重建方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination