CN118036336A - 范围自适应高保真深度数据模拟方法 - Google Patents
范围自适应高保真深度数据模拟方法 Download PDFInfo
- Publication number
- CN118036336A CN118036336A CN202410384180.1A CN202410384180A CN118036336A CN 118036336 A CN118036336 A CN 118036336A CN 202410384180 A CN202410384180 A CN 202410384180A CN 118036336 A CN118036336 A CN 118036336A
- Authority
- CN
- China
- Prior art keywords
- depth
- simulation
- data
- image
- target scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000009877 rendering Methods 0.000 claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 230000005855 radiation Effects 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请涉及深度数据模拟技术领域,特别涉及一种范围自适应高保真深度数据模拟方法,其中,方法包括:获取目标场景的双目图像;根据目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,并根据目标场景的双目图像进行动态范围感知渲染得到模拟深度图;对深度仿真数据进行深度数据补全得到深度图真值,根据模拟深度图和深度图真值生成目标场景的深度模拟数据。由此,解决了相关技术中的模拟生成的深度数据与真实情况匹配度较低,且生成渲染图质量较差,无法满足实际场景对于数据及图像的需要等问题。
Description
技术领域
本申请涉及深度数据模拟技术领域,特别涉及一种范围自适应高保真深度数据模拟方法。
背景技术
随着深度学习技术的兴起,神经网络在许多三维视觉任务中占据了主导地位,其中,卷积神经网络和注意力机制网络对数据的依赖性较强,需要确保数据的数量和多样性。
相关技术中,可以使用一种模拟生成大型深度数据集的方式,还可以使用域随机化的方式;然而,使用相关技术方法生成的模拟数据与真实数据的域差距依然明显,且生成的渲染图像质量较低,不太符合物理规律。
发明内容
本申请提供一种范围自适应高保真深度数据模拟方法、装置、电子设备、存储介质即计算机程序产品,以解决相关技术中的模拟生成的深度数据与真实情况匹配度较低,且生成渲染图质量较差,无法满足实际场景对于数据及图像的需要等问题。
本申请第一方面实施例提供一种范围自适应高保真深度数据模拟方法,包括以下步骤:获取目标场景的双目图像;根据目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,并根据目标场景的双目图像进行动态范围感知渲染得到模拟深度图;对深度仿真数据进行深度数据补全得到深度图真值,根据模拟深度图和深度图真值生成目标场景的深度模拟数据。
可选地,根据目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,包括:根据目标场景的双目图像计算视差,基于视差计算深度值;利用弱光值模拟目标场景的环境辐射,并根据深度值、模拟的环境辐射和立体摄像机的成像原理仿真得到深度仿真数据。
可选地,双目图像包括双目红外图像和双目RGB(Red-Green-Blue,红绿蓝三维色彩模式)图像,根据目标场景的双目图像进行动态范围感知渲染得到模拟深度图,包括:识别双目相机与目标场景的实际距离;若实际距离小于预设距离,则通过双目红外图像生成模拟深度图;若实际距离大于或等于预设距离,则通过双目RGB图像生成模拟深度图。
可选地,对深度仿真数据进行深度数据补全得到深度图真值,包括:根据深度仿真数据生成大规模仿真三维数据集;识别大规模仿真三维数据集中的RGB图像和深度图像;从RGB图像和深度图像中提取层次化信息,基于层次化信息得到多个粗深度估计图;根据多个粗深度估计图进行加权融合得到精细估计深度图像,利用精细估计深度图像确定深度图真值。
可选地,在根据模拟深度图和深度图真值生成目标场景的深度模拟数据之后,还包括:基于深度模拟数据执行至少一个下游任务。
可选地,下游任务包括仿真深度预训练任务和物体位姿估计任务的至少一种。
本申请第二方面实施例提供一种范围自适应高保真深度数据模拟装置,包括:获取模块,用于获取目标场景的双目图像;处理模块,用于根据目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,并根据目标场景的双目图像进行动态范围感知渲染得到模拟深度图;生成模块,用于对深度仿真数据进行深度数据补全得到深度图真值,根据模拟深度图和深度图真值生成目标场景的深度模拟数据。
可选地,处理模块进一步用于:根据目标场景的双目图像计算视差,基于视差计算深度值;利用弱光值模拟目标场景的环境辐射,并根据深度值、模拟的环境辐射和立体摄像机的成像原理仿真得到深度仿真数据。
可选地,处理模块进一步用于:识别双目相机与目标场景的实际距离;若实际距离小于预设距离,则通过双目红外图像生成模拟深度图;若实际距离大于或等于预设距离,则通过双目RGB图像生成模拟深度图。
可选地,生成模块进一步用于:根据深度仿真数据生成大规模仿真三维数据集;识别大规模仿真三维数据集中的RGB图像和深度图像;从RGB图像和深度图像中提取层次化信息,基于层次化信息得到多个粗深度估计图;根据多个粗深度估计图进行加权融合得到精细估计深度图像,利用精细估计深度图像确定深度图真值。
可选地,范围自适应高保真深度数据模拟装置进一步用于:基于深度模拟数据执行至少一个下游任务。
可选地,下游任务包括仿真深度预训练任务和物体位姿估计任务的至少一种。
本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序,以实现如上述实施例的范围自适应高保真深度数据模拟方法。
本申请第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以用于实现如上述实施例的范围自适应高保真深度数据模拟方法。
本申请第五方面实施例提供一种计算机程序产品,包括计算机程序,该程序被执行以实现如上述实施例的范围自适应高保真深度数据模拟方法。
由此,本申请至少具有如下有益效果:
本申请实施例可以基于目标场景的双目图像实现对深度模拟数据的获取;由于对双目图像进行动态范围感知渲染,因此得到的模拟深度图可以规避相机距离目标场景过远时出现的数据质量下降的问题,从而保证数据质量的稳定可靠,同时丰富数据多样性,进而提升本申请实施例范围自适应高保真深度数据模拟方法的适用性;同时,由于本申请实施例的深度图真值是由深度仿真数据进行深度数据补全得到,因此得到的深度图真值有效弥补了模拟到真实的差异;进而通过上述高质量模拟深度图和深度图真值得到的深度模拟数据,具有高仿真、宽范围的特点,满足实际使用需要。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例的范围自适应高保真深度数据模拟方法的流程图;
图2为本申请实施例的高仿真深度数据合成方式的示意图;
图3为本申请实施例的动态范围感知渲染策略的示意图;
图4为本申请实施例的基于仿真深度的深度补全模型的示意图;
图5为本申请实施例的基于仿真深度预训练的位姿估计模型的示意图;
图6为本申请实施例的范围自适应高保真深度数据模拟装置的示例图;
图7为本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
随着深度学习的兴起,神经网络在许多三维视觉任务中占据了主导地位,包括三维语义分割,物体位姿估计,深度补全任务等;其中,卷积神经网络和注意力机制网络对数据有很强的依赖性,高质量合成深度数据的生成在三维视觉任务中起着至关重要的作用。
相关技术中,因为收集、校准和注释真实的RGB-D(同时具备颜色和深度的图像)数据既容易出错,又耗费大量人力物力,三维深度数据的收集时间成本高、代价大,因此可以使用一种模拟生成大型深度数据集的方法;另外,为了确保数据的多样性,相关技术中也会采用域随机化的方法。
相关技术中,可以使用的合成3D(3-Dimension,三维)数据集生成方法有BlenderProc、Omnidata、OpenRooms和Kubric等,然而通过上述方式直接生成的深度图过于理想化,无法适应真实世界的场景,因为从真实世界中收集到的深度图可能会有噪声且不完整;相关技术中还可以使用通过模仿RealSense D415摄像头生成模拟深度的方式,然而仍然面临物理模拟仿真度不够、深度数据范围受到限制等挑战,此外,上述方式是为类别级物体姿态估计所设置的,所以数据类别的多样性也受到了限制。
综上,利用上述相关技术生成的渲染图像仍然存在质量低、不符合物理规律等缺点;同时,虽然相关技术中已将重点转向采用PBR技术(Physically-Based Rendering,基于物理的渲染技术)来提高图像质量,并在提高合成二维图像数据的保真度方面投入了大量精力,但在三维方面,因为合成深度数据通常是完美无瑕的,而真实世界的深度数据则是不完整的,还伴随着模糊和伪影,因此模拟与真实数据的域差距依然明显。
针对上述背景技术中提到的问题,本申请提供了一种范围自适应高保真深度数据模拟方法、装置、电子设备、存储介质及计算机程序产品,下面参考附图进行描述。
具体而言,图1为本申请实施例所提供的一种范围自适应高保真深度数据模拟方法的流程示意图。
如图1所示,该范围自适应高保真深度数据模拟方法包括以下步骤:
在步骤S101中,获取目标场景的双目图像。
其中,双目图像包括双目红外图像和双目RGB图像。
可以理解的是,如图2所示,为了弥补模拟仿真数据到实际使用领域的差距,本申请实施例可以首先对目标场景的双目红外图像和双目RGB图像进行获取,其中,本申请实施例的双目图像可以使用至少一种双目相机进行获取,比如,本申请实施例可以采用模拟主动式立体深度传感器RealSense D400系列相机等,对此不做具体限定;以下实施例中,将以RealSense D400成像系统为例进行阐述(简称双目相机),包括一个红外投影仪、一对立体红外摄像机以及一个RGB摄像镜头,投影仪发射红外光后,立体红外摄像机分别获取左右两侧的红外图像;其成本低、应用范围广,满足实际使用需要。
在步骤S102中,根据目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,并根据目标场景的双目图像进行动态范围感知渲染得到模拟深度图。
可以理解的是,本申请实施例可以通过双目图像高仿真深度数据合成,得到深度仿真数据,此时得到的深度仿真数据质量较高;同时,本申请实施例还可以对双目图像进行动态范围感知,得到模拟深度图像,克服深度相机离目标场景较远时上述深度仿真数据质量较低的问题。
由此,本申请实施例可以在相机与目标场景距离的不同情况下都可以得到质量较高的数据或图像,提升本申请实施例范围自适应高保真深度数据模拟方法的适用性和通用性;其中,本申请实施例根据目标场景的双目图像进行高仿真深度数据合成和动态范围感知渲染的过程可以具体如下:
(一)高仿真深度数据合成
在本申请实施例中,根据目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,包括:根据目标场景的双目图像计算视差,基于视差计算深度值;利用弱光值模拟目标场景的环境辐射,并根据深度值、模拟的环境辐射和立体摄像机的成像原理仿真得到深度仿真数据。
可以理解的是,本申请实施例对于立体红外图像的渲染方式是让所有环境光线以较低的强度发出红外光谱光线,因此在对仿真数据进行生成时,本申请实施例还添加弱光值进行环境辐射的模拟,在计算出视差得出深度值后,本申请实施例根据上述得到的深度值、模拟的环境辐射和立体摄像机的成像原理进行仿真,得到深度仿真数据;其中,本申请实施例可以使用至少一种方式进行视差的计算,比如可以使用一种半全局匹配算法进行视差计算等,对此不做具体限定。
(二)动态范围感知渲染
在本申请实施例中,根据目标场景的双目图像进行动态范围感知渲染得到模拟深度图,包括:识别双目相机与目标场景的实际距离;若实际距离小于预设距离,则通过双目红外图像生成模拟深度图;若实际距离大于或等于预设距离,则通过双目RGB图像生成模拟深度图。
其中,预设距离可以参照双目相机性能等根据实际情况进行设置,比如可以设置为2m等,对此不做具体限定;以下实施例中将以2m为例进行阐述。
可以理解的是,如图2所示,为避免深度数据质量急剧下降使得数据可信度较低,本申请实施例可以使用一种动态范围感知策略,以预设距离为基准,对比双目相机与目标场景的实际距离和预设距离的大小,根据比较结果选择合适的双目图像,在提升数据质量稳定性和可靠性的同时,满足实际使用需要。
具体而言,如图3所示,在双目相机与目标场景的实际距离小于预设距离时,本申请实施例可以认为此时双目相机与目标场景距离较近,得到的深度仿真数据质量较高,使用双目红外图像即可满足需求;在实际距离大于或等于预设距离时,本申请实施例可以认为此时双目相机与目标场景距离较远,得到的深度数据质量会下降,因此可以通过双目RGB图像来生产模拟深度图;其中,双目RGB图像包含了更丰富的纹理信息及更高强度的照明,在双目相机与目标场景距离较远时更利于深度数据的提取。
由此,本申请实施例可以通过动态范围感知策略实现对深度仿真数据质量的保证,提升数据质量稳定性和可靠性;同时本申请实施例的动态范围感知策略丰富了数据多样性,从而可以提升利用上述数据生成数据集的多样性,进而提升本申请实施例的适用范围。
在步骤S103中,对深度仿真数据进行深度数据补全得到深度图真值,根据模拟深度图和深度图真值生成目标场景的深度模拟数据。
可以理解的是,本申请实施例可以通过深度数据补全的方式,对深度仿真数据进行补全,即从模拟深度图中补全缺失的深度值,由此得到的深度图真值可以弥补仿真数据到实际目标场景的差距,进而使得根据模拟深度图和深度图真值生成的深度模拟数据具有真实性强、应用范围广的特性。
在本申请实施例中,对深度仿真数据进行深度数据补全得到深度图真值,包括:根据深度仿真数据生成大规模仿真三维数据集;识别大规模仿真三维数据集中的RGB图像和深度图像;从RGB图像和深度图像中提取层次化信息,基于层次化信息得到多个粗深度估计图;根据多个粗深度估计图进行加权融合得到精细估计深度图像,利用精细估计深度图像确定深度图真值。
可以理解的是,如图4所示,在得到深度仿真数据后,本申请实施例可以基于深度仿真数据创建大规模仿真三维数据集,该仿真三维数据集包含丰富的目标场景的信息,由此本申请实施例可以将该数据集应用于实际深度补全任务;本申请实施例可以进一步从数据集中提取RGB图像和深度图像中的层次化信息,融合后解码可以得到粗深度估计图,将该粗深度估计图与初始的深度图像进行加权融合,得到精细估计深度图像,从而根据精细估计深度图像确认深度图真值。
需要说明的是,本申请实施例中,大规模仿真三维数据集可以使用至少一种方式进行创建,比如可以使用域随机化和基于物理的渲染技术进行创建等。以下实施例中,将以使用域随机化和基于物理的渲染技术进行创建为例进行阐述;在通过域随机化和基于物理的渲染技术创建大规模仿真三维数据集后,该数据集可以由分布在多个不同场景中的多张图像组成,每一幅图像都标注了像素级语义信息、对应目标场景的模拟深度图和真实深度图信息,并包含其他与目标场景生成相关的重要信息;此外,该数据集还包含多个带有CAD(Computer Aided Design,计算机辅助设计)模型、位姿、类别和三维坐标等的物体实例标注。由此,本申请实施例的数据集可以在多种三维视觉任务中应用(包括物体位姿估计和三维语义分割等)。
举例而言,本申请实施例的大规模三维数据集可以由分布在9835个不同场景中的206000多张图像组成,同时包括100万个带有CAD模型、位姿、类别和三维坐标的物体实例标注。
在本申请实施例中,在根据模拟深度图和深度图真值生成目标场景的深度模拟数据之后,还包括:基于深度模拟数据执行至少一个下游任务。
其中,下游任务包括仿真深度预训练任务和物体位姿估计任务的至少一种。
可以理解的是,本申请实施例在得到深度模拟数据之后,可以将深度模拟数据运用于基于深度模拟的至少一个下游任务,比如可以运用于物体位姿估计任务或深度补全预训练任务,基于任务结果验证生成的深度模拟数据的效果。
举例而言,如图5所示,本申请实施例可以将深度补全作为基于深度注意力机制网络预训练的前置任务,并基于预训练后的网络进行物体位姿估计,具体如下:
本申请实施例可以将模拟深度补全作为基于深度的注意力机制网络预训练的前置任务,在预训练完成之后,利用训练后的主干网络进行深度信息的提取,并和经由RGB预训练的网络共同提取图像的纹理和几何信息;在加个深度信息、图像的纹理和几何信息融合之后,输入解码器,由解码器预测物体的六维位姿。
由此,本申请实施例可以通过在大规模数据集上预先训练神经网络、在下游特定任务数据集上进行微调的方式缓解数据匮乏的压力,且本申请实施例将模拟深度补全作为预训练任务可以有效的提高六维位姿估计网络的表现,得到的位姿估计结果准确度、可信度高,满足实际应用需要。
综上,根据本申请实施例提出的范围自适应高保真深度数据模拟方法,可以基于目标场景的双目图像实现对深度模拟数据的获取;由于对双目图像进行动态范围感知渲染,因此得到的模拟深度图可以规避相机距离目标场景过远时出现的数据质量下降的问题,从而保证数据质量的稳定可靠,同时丰富数据多样性,进而提升本申请实施例范围自适应高保真深度数据模拟方法的适用性;同时,由于本申请实施例的深度图真值是由深度仿真数据进行深度数据补全得到,因此得到的深度图真值有效弥补了模拟到真实的差异;进而通过上述高质量模拟深度图和深度图真值得到的深度模拟数据,具有高仿真、宽范围的特点,满足实际使用需要。
其次参照附图描述根据本申请实施例提出的范围自适应高保真深度数据模拟装置。
图6是本申请实施例的范围自适应高保真深度数据模拟装置的方框示意图。
如图6所示,该范围自适应高保真深度数据模拟装置10包括:获取模块100、处理模块200及生成模块300。
其中,获取模块100,用于获取目标场景的双目图像;处理模块200,用于根据目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,并根据目标场景的双目图像进行动态范围感知渲染得到模拟深度图;生成模块300,用于对深度仿真数据进行深度数据补全得到深度图真值,根据模拟深度图和深度图真值生成目标场景的深度模拟数据。
在本申请实施例中,处理模块200进一步用于:根据目标场景的双目图像计算视差,基于视差计算深度值;利用弱光值模拟目标场景的环境辐射,并根据深度值、模拟的环境辐射和立体摄像机的成像原理仿真得到深度仿真数据。
在本申请实施例中,处理模块200进一步用于:识别双目相机与目标场景的实际距离;若实际距离小于预设距离,则通过双目红外图像生成模拟深度图;若实际距离大于或等于预设距离,则通过双目RGB图像生成模拟深度图。
在本申请实施例中,生成模块300进一步用于:根据深度仿真数据生成大规模仿真三维数据集;识别大规模仿真三维数据集中的RGB图像和深度图像;从RGB图像和深度图像中提取层次化信息,基于层次化信息得到多个粗深度估计图;根据多个粗深度估计图进行加权融合得到精细估计深度图像,利用精细估计深度图像确定深度图真值。
在本申请实施例中,范围自适应高保真深度数据模拟装置10进一步用于:基于深度模拟数据执行至少一个下游任务。
在本申请实施例中,下游任务包括仿真深度预训练任务和物体位姿估计任务的至少一种。
需要说明的是,前述对范围自适应高保真深度数据模拟方法实施例的解释说明也适用于该实施例的范围自适应高保真深度数据模拟装置,此处不再赘述。
根据本申请实施例提出的范围自适应高保真深度数据模拟装置,可以基于目标场景的双目图像实现对深度模拟数据的获取;由于对双目图像进行动态范围感知渲染,因此得到的模拟深度图可以规避相机距离目标场景过远时出现的数据质量下降的问题,从而保证数据质量的稳定可靠,同时丰富数据多样性,进而提升本申请实施例范围自适应高保真深度数据模拟方法的适用性;同时,由于本申请实施例的深度图真值是由深度仿真数据进行深度数据补全得到,因此得到的深度图真值有效弥补了模拟到真实的差异;进而通过上述高质量模拟深度图和深度图真值得到的深度模拟数据,具有高仿真、宽范围的特点,满足实际使用需要。
图7为本申请实施例的电子设备的结构示意图。该电子设备可以包括:
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的范围自适应高保真深度数据模拟方法。
进一步地,电子设备还包括:
通信接口703,用于存储器701和处理器702之间的通信。
存储器701,用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM(Random Access Memory,随机存取存储器)存储器,也可能还包括非易失性存储器,例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现,则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect,外部设备互连)总线或EISA(Extended Industry Standard Architecture,扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器701、处理器702及通信接口703,集成在一块芯片上实现,则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个CPU(Central Processing Unit,中央处理器),或者是ASIC(Application Specific Integrated Circuit,特定集成电路),或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的范围自适应高保真深度数据模拟方法。
本申请实施例还提供一种计算机程序产品,包括计算机程序,该程序被执行以实现如上的范围自适应高保真深度数据模拟方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列,现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种范围自适应高保真深度数据模拟方法,其特征在于,包括以下步骤:
获取目标场景的双目图像;
根据所述目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,并根据所述目标场景的双目图像进行动态范围感知渲染得到模拟深度图;
对所述深度仿真数据进行深度数据补全得到深度图真值,根据所述模拟深度图和所述深度图真值生成所述目标场景的深度模拟数据。
2.根据权利要求1所述的范围自适应高保真深度数据模拟方法,其特征在于,所述根据所述目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,包括:
根据所述目标场景的双目图像计算视差,基于所述视差计算深度值;
利用弱光值模拟所述目标场景的环境辐射,并根据所述深度值、模拟的环境辐射和立体摄像机的成像原理仿真得到所述深度仿真数据。
3.根据权利要求1所述的范围自适应高保真深度数据模拟方法,其特征在于,所述双目图像包括双目红外图像和双目RGB图像,所述根据所述目标场景的双目图像进行动态范围感知渲染得到模拟深度图,包括:
识别双目相机与所述目标场景的实际距离;
若所述实际距离小于预设距离,则通过所述双目红外图像生成模拟深度图;
若所述实际距离大于或等于所述预设距离,则通过所述双目RGB图像生成模拟深度图。
4.根据权利要求1所述的范围自适应高保真深度数据模拟方法,其特征在于,所述对所述深度仿真数据进行深度数据补全得到深度图真值,包括:
根据所述深度仿真数据生成大规模仿真三维数据集;
识别所述大规模仿真三维数据集中的RGB图像和深度图像;
从所述RGB图像和深度图像中提取层次化信息,基于所述层次化信息得到一个粗深度估计图;
根据所述粗深度估计图,与初始输入深度数据进行加权融合得到精细估计深度图像,利用所述精细估计深度图像确定所述深度图真值。
5.根据权利要求1所述的范围自适应高保真深度数据模拟方法,其特征在于,在根据所述模拟深度图和所述深度图真值生成所述目标场景的深度模拟数据之后,还包括:
基于所述深度模拟数据执行至少一个下游任务。
6.根据权利要求5所述的范围自适应高保真深度数据模拟方法,其特征在于,所述下游任务包括仿真深度预训练任务和物体位姿估计任务的至少一种。
7.一种范围自适应高保真深度数据模拟装置,其特征在于,包括:
获取模块,用于获取目标场景的双目图像;
处理模块,用于根据所述目标场景的双目图像进行高仿真深度数据合成得到深度仿真数据,并根据所述目标场景的双目图像进行动态范围感知渲染得到模拟深度图;
生成模块,用于对所述深度仿真数据进行深度数据补全得到深度图真值,根据所述模拟深度图和所述深度图真值生成所述目标场景的深度模拟数据。
8.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-6任一项所述的范围自适应高保真深度数据模拟方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-6任一项所述的范围自适应高保真深度数据模拟方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被执行时,以用于实现如权利要求1-6任一项所述的范围自适应高保真深度数据模拟方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410384180.1A CN118036336A (zh) | 2024-04-01 | 2024-04-01 | 范围自适应高保真深度数据模拟方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410384180.1A CN118036336A (zh) | 2024-04-01 | 2024-04-01 | 范围自适应高保真深度数据模拟方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118036336A true CN118036336A (zh) | 2024-05-14 |
Family
ID=91000494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410384180.1A Pending CN118036336A (zh) | 2024-04-01 | 2024-04-01 | 范围自适应高保真深度数据模拟方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118036336A (zh) |
-
2024
- 2024-04-01 CN CN202410384180.1A patent/CN118036336A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
JP2023548921A (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
JP2015215895A (ja) | 深度画像の深度値復元方法及びシステム | |
CN114049420B (zh) | 一种模型训练方法、图像渲染方法、装置和电子设备 | |
CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
US20220156987A1 (en) | Adaptive convolutions in neural networks | |
CN111738265A (zh) | Rgb-d图像的语义分割方法、系统、介质及电子设备 | |
CN115131492A (zh) | 目标对象的重光照方法、装置及存储介质和背景替换方法 | |
CN113850900A (zh) | 三维重建中基于图像和几何线索恢复深度图的方法及系统 | |
CN114638950A (zh) | 一种绘制虚拟物体阴影的方法及设备 | |
CN113763231A (zh) | 模型生成方法、图像透视图确定方法、装置、设备及介质 | |
CN115861515A (zh) | 一种三维人脸重建方法、计算机程序产品及电子设备 | |
CN117036571B (zh) | 图像数据生成、视觉算法模型训练、评测方法及装置 | |
CN117808691A (zh) | 一种基于差异显著性聚合和联合梯度约束的图像融合方法 | |
CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
CN116934948A (zh) | 基于多视角视频的可重光照三维数字人构建方法及装置 | |
CN118036336A (zh) | 范围自适应高保真深度数据模拟方法 | |
CN116188720A (zh) | 数字人的生成方法、装置、电子设备和存储介质 | |
CN115457206A (zh) | 三维模型生成方法、装置、设备及存储介质 | |
CN112634439B (zh) | 一种3d信息展示方法及装置 | |
CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
CN116228850A (zh) | 物体姿态估计方法、装置、电子设备及可读存储介质 | |
CN111435448B (zh) | 图像显著性物体检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |