CN116228829A - 三维重建方法、装置和设备 - Google Patents

三维重建方法、装置和设备 Download PDF

Info

Publication number
CN116228829A
CN116228829A CN202310143911.9A CN202310143911A CN116228829A CN 116228829 A CN116228829 A CN 116228829A CN 202310143911 A CN202310143911 A CN 202310143911A CN 116228829 A CN116228829 A CN 116228829A
Authority
CN
China
Prior art keywords
target object
dimensional
model
binocular stereoscopic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310143911.9A
Other languages
English (en)
Inventor
李卫军
田昊
张丽萍
董肖莉
覃鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN202310143911.9A priority Critical patent/CN116228829A/zh
Publication of CN116228829A publication Critical patent/CN116228829A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例提供一种三维重建方法、装置和设备，该方法包括：获取目标对象对应的双目立体视图；目标对象对应的双目立体视图是基于目标对象的单目RGB图像和深度图像确定的；根据目标对象对应的双目立体视图，构建目标对象的三维模型。本发明实施例的方法降低了三维重建的硬件设备的需求和成本，提高三维重建的适用场景，进而基于双目立体视图进行三维重建也就可以克服单视图的隐函数三维建模方法中存在的深度模糊问题，提高三维重建的准确性。

Description

三维重建方法、装置和设备
技术领域
本发明涉及三维视觉技术领域，尤其涉及一种三维重建方法、装置和设备。
背景技术
三维重建技术由于其广泛的应用场景逐渐发展为三维视觉领域的研究热点课题，其基本思想是利用输入计算机的二维图像数据得到与之对应的三维模型。
相关技术中，通常以单视图图像作为输入来预测三维模型，但是基于单视图的隐函数三维建模方法中存在的深度模糊问题，因此如何准确的重建三维模型是本领域技术人员亟需解决的技术问题。
发明内容
针对现有技术中的问题，本发明实施例提供一种三维重建方法、装置和设备。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种三维重建方法，包括：
获取目标对象对应的双目立体视图；所述目标对象对应的双目立体视图是基于所述目标对象的单目RGB图像和深度图像确定的；
基于所述目标对象对应的双目立体视图，构建所述目标对象的三维模型。
进一步地，所述获取目标对象对应的双目立体视图，包括：
获取目标对象的单目RGB图像和深度图像；
根据所述目标对象的单目RGB图像和深度图像，生成所述目标对象的单视角网格模型；
根据所述目标对象的单视角网格模型，生成所述目标对象对应的双目立体视图。
进一步地，所述根据所述目标对象的RGB图像和深度图像，生成所述目标对象的单视角网格模型，包括：
根据所述目标对象的RGB图像和深度图像，生成所述目标对象的三维单视角点云数据；
根据泊松表面重建方法和所述目标对象的三维单视角点云数据，生成所述目标对象的单视角网格模型。
进一步地，所述根据所述目标对象的单视角网格模型，生成所述目标对象对应的双目立体视图，包括：
根据所述目标对象的单视角网格模型和预设的视差参数，生成所述目标对象对应的双目立体视图。
进一步地，所述基于所述目标对象对应的双目立体视图，构建所述目标对象的三维模型，包括：
将所述目标对象对应的双目立体视图，输入目标模型，得到所述目标对象的三维模型；所述目标模型用于基于所述双目立体视图，输出三维模型。
进一步地，所述获取目标对象对应的双目立体视图之前，还包括：
获取所述目标对象的RGB图像；
将所述目标对象的RGB图像输入至深度图像生成模型，得到所述目标对象的深度图像；所述深度图像生成模型用于基于所述RGB图像，输出深度图像；所述深度图像生成模型是基于RGB图像样本和所述RGB图像样本对应的深度图像样本训练得到的。
第二方面，本发明实施例还提供了一种三维重建装置，包括：
获取模块，用于获取目标对象对应的双目立体视图；所述目标对象对应的双目立体视图是基于所述目标对象的单目RGB图像和深度图像确定的；
重建模块，用于基于所述目标对象对应的双目立体视图，构建所述目标对象的三维模型
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述三维重建方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述三维重建方法。
第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述三维重建方法。
本发明实施例提供的三维重建方法、装置和设备，利用单目RGB-D相机拍摄到目标对象的单目RGB图像和深度图像后，根据目标对象的单目RGB图像和深度图像得到目标对象对应的双目立体视图，从而在无法获取到双目相机的情况下，根据单目相机也可以确定目标对象对应的双目立体视图，降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景，进而基于双目立体视图进行三维重建也就可以克服单视图的隐函数三维建模方法中存在的深度模糊问题，提高三维重建的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的三维重建方法、装置和设备方法的流程示意图；
图2是本发明实施例提供的三维重建方法的另一流程示意图；
图3是本发明实施例提供的三维重建方法、装置和设备装置的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的方法可以应用于三维重建场景中，降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景，进而基于双目立体视图进行三维重建也就可以克服单视图的隐函数三维建模方法中存在的深度模糊问题，提高三维重建的准确性。
相关技术中，通常以单视图图像作为输入来预测三维模型，但是基于单视图的隐函数三维建模方法中存在的深度模糊问题，因此如何准确的重建三维模型是本领域技术人员亟需解决的技术问题。
本发明实施例的三维重建方法，利用单目RGB-D相机拍摄到目标对象的单目RGB图像和深度图像后，根据目标对象的单目RGB图像和深度图像得到目标对象对应的双目立体视图，从而在无法获取到双目相机的情况下，根据单目相机也可以确定目标对象对应的双目立体视图，降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景，进而基于双目立体视图进行三维重建也就可以克服单视图的隐函数三维建模方法中存在的深度模糊问题，提高三维重建的准确性。
下面结合图1-图4以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明实施例提供的三维重建方法一实施例的流程示意图。如图1所示，本实施例提供的方法，包括：
步骤101、获取目标对象对应的双目立体视图；目标对象对应的双目立体视图是基于目标对象的单目RGB图像和深度图像确定的；
具体地，现有技术中通常以单视图图像作为输入来预测三维模型，但是基于单视图的隐函数三维建模方法中存在的深度模糊问题。但由于双目相机较单目相机的成本昂贵，且由于拍摄者位置及视角的问题，基于双目相机直接拍摄出的两张图像中的像素点与被拍摄对象的各个点之间并不是平行的，也就是双目相机直接拍摄出的两张图像中的像素点与被拍摄对象的各个点之间是有角度的，从而导致基于双目相机直接拍摄的双目图像进行三维重建的准确性也较差。
为了解决上述问题，本发明实施例中首先获取目标对象对应的双目立体视图，其中目标对象对应的双目立体视图是基于单目RGB-D相机确定的。可选地，可以利用单目RGB-D相机拍摄到目标对象的单目RGB图像和深度图像，根据目标对象的单目RGB图像和深度图像获取目标对象对应的双目立体视图，从而在无法获取到双目相机的情况下，根据单目相机也可以确定目标对象对应的双目立体视图，降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景，进而基于双目立体视图进行三维重建也就可以克服单视图的隐函数三维建模方法中存在的深度模糊问题。
步骤102、根据目标对象对应的双目立体视图，构建目标对象的三维模型。
具体地，在根据单目相机确定目标对象对应的双目立体视图后，进而就可以根据目标对象对应的双目立体视图，构建目标对象的三维模型，从而克服单视图的隐函数三维建模方法中存在的深度模糊问题，提高三维重建的准确性。
上述实施例的方法，利用单目RGB-D相机拍摄到目标对象的单目RGB图像和深度图像后，根据目标对象的单目RGB图像和深度图像得到目标对象对应的双目立体视图，从而在无法获取到双目相机的情况下，根据单目相机也可以确定目标对象对应的双目立体视图，降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景，进而基于双目立体视图进行三维重建也就可以克服单视图的隐函数三维建模方法中存在的深度模糊问题，提高三维重建的准确性。
在一实施例中，获取目标对象对应的双目立体视图，包括：
获取目标对象的单目RGB图像和深度图像；
根据目标对象的单目RGB图像和深度图像，生成目标对象的单视角网格模型；
根据目标对象的单视角网格模型，生成目标对象对应的双目立体视图。
具体地，本发明实施例中为了解决基于单视图的隐函数三维建模方法中存在的深度模糊问题，根据目标对象对应的双目立体视图，构建目标对象的三维模型，从而解决单视图的隐函数三维建模方法中存在的深度模糊问题，提高三维重建的准确性。
可选地，本发明实施例中在获取目标对象对应的双目立体视图的过程中，首先获取目标对象的单目RGB图像和深度图像，由于通过目标对象的深度图像能够准确的确定图像中每个点与相机的距离，在结合目标对象的RGB图像中对应的(x,y)坐标就可以计算得到目标对象对应的每个点的空间坐标，进而将目标对象对应的每个点的空间坐标进行正交投影就可以得到目标对象的三维单视角点云数据；可选地，进行正交投影后得到的目标对象的三维单视角点云数据中的各个点与拍摄点是平行的，从而解决了双目相机直接拍摄出的两张图像中的像素点与被拍摄对象的各个点之间是有角度的，从而导致基于双目相机直接拍摄的双目图像进行三维重建的准确性也较差的问题，提高了三维重建的准确性。也就是根据单目相机获取的目标对象的二维图像中的RGB图像和深度图像进行正交投影后得到的目标对象的三维单视角点云数据中的各个点与拍摄点是平行的，从而使得本申请中的双目立体图像相较于双目相机直接拍摄出的两张图像在进行三维重建过程中更加的有效和准确。
进一步，根据泊松表面重建方法将目标对象的三维单视角点云数据连成面，就可以将目标对象的离散的三维单视角点云数据转换成目标对象的连续的三维数据信息，从而也就得到了目标对象的单视角网格模型。
可选地，在得到目标对象的单视角网格模型，也就是得到目标对象的连续的三维数据信息后，可以根据目标对象的单视角网格模型和预设的视差参数，生成目标对象对应的双目立体视图；可选地，视差参数指示了三维的各个像素在左眼图像与右眼图像之间的视差区间和距离，因而在已知目标对象的单视角网格模型的基础上，基于预设的视差参数也就可以准确的确定另一只眼所应对应的的网格模型，从而也就可以准确的得到目标对象对应的双目立体视图。
在一实施例中，根据目标对象的RGB图像和深度图像，生成目标对象的单视角网格模型，包括：
根据目标对象的RGB图像和深度图像，生成目标对象的三维单视角点云数据；
根据泊松表面重建方法和目标对象的三维单视角点云数据，生成目标对象的单视角网格模型。
具体地，通过二维图像中的深度图像能够准确的确定图像中每个点与相机的距离，在结合目标对象的RGB图像中对应的(x,y)坐标就可以计算得到目标对象对应的每个点的空间坐标，进而将目标对象对应的每个点的空间坐标进行正交投影就可以得到目标对象的三维单视角点云数据；可选地，进行正交投影后得到的目标对象的三维单视角点云数据中的各个点与拍摄点是平行的，从而解决了双目相机直接拍摄出的两张图像中的像素点与被拍摄对象的各个点之间是有角度的，从而导致基于双目相机直接拍摄的双目图像进行三维重建的准确性也较差的问题，提高了三维重建的准确性。也就是根据单目相机获取的目标对象的二维图像中的RGB图像和深度图像进行正交投影得到的目标对象的三维单视角点云数据中的各个点与拍摄点是平行的，使得本申请实施例中的双目立体图像相较于双目相机直接拍摄出的两张图像在进行三维重建过程中更加的有效和准确。
可选地，在生成目标对象的三维单视角点云数据后，由于点云数据是离散的，可以通过泊松表面重建方法对三维单视角点云数据进行转换从而得到目标对象连续的连续的三维数据信息，从而也就得到了目标对象的单视角网格模型。
在一实施例中，根据目标对象的单视角网格模型，生成目标对象对应的双目立体视图，包括：
根据目标对象的单视角网格模型和预设的视差参数，生成目标对象对应的双目立体视图。
具体地，视差参数指示了三维的各个像素在左眼图像与右眼图像之间的视差区间和距离，因而在已知目标对象的单视角网格模型的基础上，基于预设的视差参数也就可以准确的确定另一只眼所应对应的的网格模型，从而也就可以准确的得到目标对象对应的双目立体视图。
在一实施例中，基于目标对象对应的双目立体视图，构建目标对象的三维模型，包括：
将目标对象对应的双目立体视图，输入目标模型，得到目标对象的三维模型；目标模型用于基于双目立体视图，输出三维模型；目标模型是基于双目立体视图样本、双目立体图像样本对应的三维模型和预设的视差参数训练得到的。
具体地，在基于目标对象的单目RGB图像和深度图像确定目标对象对应的双目立体视图后，就可以将目标对象对应的双目立体视图输入目标模型，得到目标对象的三维重建模型。可选地，为了使得目标模型可以准确的输出目标对象的三维重建模型，本发明实施例中，通过双目立体视图样本对初始的目标模型进行训练，从而预测出双目立体视图样本对应的三维重建模型，进而根据预测出的双目立体视图样本对应的三维重建模型、双目立体图像样本对应的三维模型(即标签信息)进行有监督的训练，从而也就可以使得训练后的目标模型基于输入的目标对象的双目立体视图可以准确的输出目标对象的三维模型。
需要说明的是，现有技术中基于单视图的隐函数三维建模方法中存在的深度模糊问题，本申请实施例中目标模型训练的样本为双目立体图像样本，其为根据单目相机获取的目标对象的二维图像中的RGB图像和深度图像进行正交投影得到的，也就是相较于现有技术，模型的训练样本不仅克服了基于单视图的隐函数三维建模方法中存在的深度模糊问题，而且也克服了通过双目相机直接拍摄获取双目图像的过程中，双目相机直接拍摄出的两张图像中的像素点与被拍摄对象的各个点之间是有角度的，从而导致基于双目相机直接拍摄的双目图像进行三维重建的准确性也较差的问题，使得本申请中根据单目相机获取的目标对象的二维图像中的RGB图像和深度图像进行正交投影得到的双目立体图像样本进行训练后的目标模型可以更加准确的输出目标对象的三维模型。
另一方面，本申请中目标模型的训练过程中，还考虑到双目立体图像样本中各个立体图像之间的视差参数对于预测出的三维模型准确性的影响，本申请实施例中目标模型训练过程中的预设参数与根据目标对象的单视角网格模型和预设的视差参数，生成目标对象对应的双目立体视图过程中的视差参数保持一致，从而使得训练后的目标模型可以准确的输出预设的视差参数下的三维模型，提高了目标对象的三维模型预测的准确性。也就是在进行目标模型的训练过程中，不仅考虑到双目立体图像样本相较于单视图的深度模糊问题，还考虑到双目相机直接拍摄出的两张图像中的像素点与被拍摄对象的各个点之间是有角度的，从而导致基于双目相机直接拍摄的双目图像进行三维重建的准确性也较差的问题，进一步还考虑到双目立体图像对应的视差参数对于模型训练效果的影响，使得基于双目立体视图样本、双目立体图像样本对应的三维模型和预设的视差参数训练得到的目标模型可以更加准确的输出三维模型，提高三维重建的准确性。
上述实施例的方法，在进行目标模型的训练过程中，不仅考虑到双目立体图像样本相较于单视图的深度模糊问题，还考虑到双目相机直接拍摄出的两张图像中的像素点与被拍摄对象的各个点之间是有角度的，从而导致基于双目相机直接拍摄的双目图像进行三维重建的准确性也较差的问题，进一步还考虑到双目立体图像对应的视差参数对于模型训练效果的影响，使得基于双目立体视图样本、双目立体图像样本对应的三维模型和预设的视差参数训练得到的目标模型可以更加准确的输出三维模型，提高三维重建的准确性。
在一实施例中，获取目标对象对应的双目立体视图之前，还包括：
获取目标对象的RGB图像；
将目标对象的RGB图像输入至深度图像生成模型，得到目标对象的深度图像；深度图像生成模型用于基于RGB图像，输出深度图像；深度图像生成模型是基于RGB图像样本和RGB图像样本对应的深度图像样本训练得到的。
具体地，本发明实施例中根据目标对象对应的双目立体视图重建目标对象的三维模型，其中目标对象对应的双目立体视图是基于单目RGB-D相机确定的，从而可以利用单目RGB-D相机拍摄到目标对象的单目RGB图像和深度图像后，根据目标对象的单目RGB图像和深度图像得到目标对象对应的双目立体视图，从而在无法获取到双目相机的情况下，根据单目相机也可以确定目标对象对应的双目立体视图，降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景，进而基于双目立体视图进行三维重建也就可以克服单视图的隐函数三维建模方法中存在的深度模糊问题；并根据单目相机获取的目标对象的二维图像中的RGB图像和深度图像进行正交投影得到的双目立体图像，使得进行正交投影后得到的目标对象的三维单视角点云数据中的各个点与拍摄点是平行的，使得本申请中的双目立体图像相较于双目相机直接拍摄出的两张图像在进行三维重建过程中更加的有效和准确。
可选地，在单目RGB-D相机也无法获取到的情况下，也就是只能基于普通相机获取RGB图像，而无法得到深度图像的情况下，本发明实施例中还可以基于普通的RGB图像进行深度图像的获取，进而基于RGB图像和深度图像获取双目立体视图，进一步降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景。
可选地，在只能获取RGB图像的情况下，将目标对象的RGB图像输入至深度图像生成模型，得到目标对象的深度图像；其中，深度图像生成模型用于基于RGB图像，输出深度图像；可选地，深度图像生成模型是基于RGB图像样本和RGB图像样本对应的深度图像样本训练得到的，也就是通过RGB图像样本输入至深度图像生成模型，得到预测的深度图像，进而根据预测的深度图像和深度图像样本(标签信息)进行有监督的训练，从而使得训练后的深度图像生成模型就可以准确的输出RGB图像对应的深度图像，进而基于RGB图像和深度图像也就可以准确地获取双目立体图像。
上述实施例的方法，在单目RGB-D相机也无法获取到的情况下，也就是只能获取RGB图像，而无法得到深度图像的情况下，基于普通的RGB图像进行深度图像的获取，简化了深度图像获取的难度，泛用性更强，进而基于RGB图像和深度图像获取双目立体视图，进一步降低三维重建的硬件设备的需求和成本，提高三维重建的适用场景。
示例性的，本申请中的三维重建方法的流程如图2所示，具体如下：
首先根据RGB-D数据生成单视角点云：首先利用RGB-D相机采集目标正视图，每一组数据由RGB图像和Depth图像组成，借助RGB-D相机标定得到的参数构建相机投影模型，将每一组RGB-D数据转换成对应的单视角下的三维点云数据；
然后进行单视角网格重建：使用泊松表面重建的方法从单视角点云生成单视角网格模型；
接着，进行双目立体视图数据生成：根据目标对象的单视角网格模型和预设的视差参数，从单视角网格渲染双目视图；
最后，完整模型重建：将生成的双目视图作为输入数据并载入目标模型中重建完整的三维模型。
下面对本发明提供的三维重建装置进行描述，下文描述的三维重建装置与上文描述的三维重建方法可相互对应参照。
图3是本发明提供的三维重建装置的结构示意图。本实施例提供的三维重建装置，包括：
获取模块710，用于获取目标对象对应的双目立体视图；目标对象对应的双目立体视图是基于目标对象的单目RGB图像和深度图像确定的；
重建模块720，用于基于目标对象对应的双目立体视图，构建目标对象的三维模型。
可选地，所述获取模块710，具体用于：获取目标对象的单目RGB图像和深度图像；
根据目标对象的单目RGB图像和深度图像，生成目标对象的单视角网格模型；
根据目标对象的单视角网格模型，生成目标对象对应的双目立体视图
可选地，所述获取模块710，具体用于：根据目标对象的RGB图像和深度图像，生成目标对象的三维单视角点云数据；
根据泊松表面重建方法和目标对象的三维单视角点云数据，生成目标对象的单视角网格模型。
可选地，所述获取模块710，具体用于：根据目标对象的单视角网格模型和预设的视差参数，生成目标对象对应的双目立体视图。
可选地，所述重建模块720，具体用于：将目标对象对应的双目立体视图，输入目标模型，得到目标对象的三维模型；目标模型用于基于双目立体视图，输出三维模型；目标模型是基于双目立体视图样本、双目立体图像样本对应的三维模型和预设的视差参数训练得到的。
可选地，所述获取模块710，还用于：获取目标对象的RGB图像；
将目标对象的RGB图像输入至深度图像生成模型，得到目标对象的深度图像；深度图像生成模型用于基于RGB图像，输出深度图像；深度图像生成模型是基于RGB图像样本和RGB图像样本对应的深度图像样本训练得到的。
本发明实施例的装置，其用于执行前述任一方法实施例中的方法，其实现原理和技术效果类似，此次不再赘述。
图4示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行三维重建方法，该方法包括：获取目标对象对应的双目立体视图；目标对象对应的双目立体视图是基于目标对象的单目RGB图像和深度图像确定的；基于目标对象对应的双目立体视图，构建目标对象的三维模型。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的三维重建方法，该方法包括：获取目标对象对应的双目立体视图；目标对象对应的双目立体视图是基于目标对象的单目RGB图像和深度图像确定的；基于目标对象对应的双目立体视图，构建目标对象的三维模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的三维重建方法，该方法包括：获取目标对象对应的双目立体视图；目标对象对应的双目立体视图是基于目标对象的单目RGB图像和深度图像确定的；基于目标对象对应的双目立体视图，构建目标对象的三维模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维重建方法，其特征在于，包括：
获取目标对象对应的双目立体视图；所述目标对象对应的双目立体视图是基于所述目标对象的单目RGB图像和深度图像确定的；
基于所述目标对象对应的双目立体视图，构建所述目标对象的三维模型。
2.根据权利要求1所述的三维重建方法，其特征在于，所述获取目标对象对应的双目立体视图，包括：
获取目标对象的单目RGB图像和深度图像；
根据所述目标对象的单目RGB图像和深度图像，生成所述目标对象的单视角网格模型；
根据所述目标对象的单视角网格模型，生成所述目标对象对应的双目立体视图。
3.根据权利要求2所述的三维重建方法，其特征在于，所述根据所述目标对象的RGB图像和深度图像，生成所述目标对象的单视角网格模型，包括：
根据所述目标对象的RGB图像和深度图像，生成所述目标对象的三维单视角点云数据；
根据泊松表面重建方法和所述目标对象的三维单视角点云数据，生成所述目标对象的单视角网格模型。
4.根据权利要求3所述的三维重建方法，其特征在于，所述根据所述目标对象的单视角网格模型，生成所述目标对象对应的双目立体视图，包括：
根据所述目标对象的单视角网格模型和预设的视差参数，生成所述目标对象对应的双目立体视图。
5.根据权利要求4所述的三维重建方法，其特征在于，所述基于所述目标对象对应的双目立体视图，构建所述目标对象的三维模型，包括：
将所述目标对象对应的双目立体视图，输入目标模型，得到所述目标对象的三维模型；所述目标模型用于基于所述双目立体视图，输出三维模型；所述目标模型是基于双目立体视图样本、所述双目立体图像样本对应的三维模型和所述预设的视差参数训练得到的。
6.根据权利要求5所述的三维重建方法，其特征在于，所述获取目标对象对应的双目立体视图之前，还包括：
获取所述目标对象的RGB图像；
将所述目标对象的RGB图像输入至深度图像生成模型，得到所述目标对象的深度图像；所述深度图像生成模型用于基于所述RGB图像，输出深度图像；所述深度图像生成模型是基于RGB图像样本和所述RGB图像样本对应的深度图像样本训练得到的。
7.一种三维重建装置，其特征在于，包括：
获取模块，用于获取目标对象对应的双目立体视图；所述目标对象对应的双目立体视图是基于所述目标对象的单目RGB图像和深度图像确定的；
重建模块，用于基于所述目标对象对应的双目立体视图，构建所述目标对象的三维模型。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的三维重建方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的三维重建方法。
10.一种计算机程序产品，其上存储有可执行指令，其特征在于，该指令被处理器执行时使处理器实现如权利要求1至6任一项所述的三维重建方法。
CN202310143911.9A 2023-02-21 2023-02-21 三维重建方法、装置和设备 Pending CN116228829A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310143911.9A CN116228829A (zh) 2023-02-21 2023-02-21 三维重建方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310143911.9A CN116228829A (zh) 2023-02-21 2023-02-21 三维重建方法、装置和设备

Publications (1)

Publication Number Publication Date
CN116228829A true CN116228829A (zh) 2023-06-06

Family

ID=86570954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310143911.9A Pending CN116228829A (zh) 2023-02-21 2023-02-21 三维重建方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116228829A (zh)

Similar Documents

Publication Publication Date Title
CN108335322B (zh) 深度估计方法和装置、电子设备、程序和介质
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
CN109087346B (zh) 单目深度模型的训练方法、训练装置和电子设备
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CN112785507A (zh) 图像处理方法及装置、存储介质、终端
US9253415B2 (en) Simulating tracking shots from image sequences
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN109658497B (zh) 一种三维模型重建方法及装置
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
EP2887310A1 (en) Method and apparatus for processing light-field image
JP2010152535A (ja) ３次元形状復元装置及びそのプログラム
CN111563965B (zh) 一种通过优化深度图生成全景图的方法及装置
CN114401391B (zh) 虚拟视点生成方法及装置
CN117173232A (zh) 深度图像的获取方法、装置及设备
Lee et al. Automatic 2d-to-3d conversion using multi-scale deep neural network
CN116228829A (zh) 三维重建方法、装置和设备
CN116012449A (zh) 一种基于深度信息的图像渲染方法及装置
CN113132706A (zh) 基于逆向映射的可控位置虚拟视点生成方法及装置
CN115082537A (zh) 单目自监督水下图像深度估计方法、装置及存储介质
US11908070B2 (en) Dynamic three-dimensional imaging method
CN111369612A (zh) 一种三维点云图像生成方法及设备
CN117315152B (zh) 双目立体成像方法及其系统
JP7135517B2 (ja) 三次元形状モデル生成装置、三次元モデル生成方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination