CN112991515B - 一种三维重建方法、装置及相关设备 - Google Patents

一种三维重建方法、装置及相关设备 Download PDF

Info

Publication number
CN112991515B
CN112991515B CN202110222815.4A CN202110222815A CN112991515B CN 112991515 B CN112991515 B CN 112991515B CN 202110222815 A CN202110222815 A CN 202110222815A CN 112991515 B CN112991515 B CN 112991515B
Authority
CN
China
Prior art keywords
reconstruction
initial
error
global
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110222815.4A
Other languages
English (en)
Other versions
CN112991515A (zh
Inventor
魏辉
李茹杨
赵雅倩
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110222815.4A priority Critical patent/CN112991515B/zh
Publication of CN112991515A publication Critical patent/CN112991515A/zh
Priority to EP22758750.8A priority patent/EP4239583A1/en
Priority to PCT/CN2022/074605 priority patent/WO2022179385A1/zh
Priority to US18/255,815 priority patent/US20240005595A1/en
Application granted granted Critical
Publication of CN112991515B publication Critical patent/CN112991515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种三维重建方法，包括利用目标图像帧进行局部位姿优化，获得局部位姿误差；对所述目标图像帧进行神经网络预测，获得初始重建误差；根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；对所述全局优化结果进行神经网络补全，获得最终重建误差；根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型；该三维重建方法可以更为快速便捷的实现高质量、高精度的三维重建。本申请还公开了一种三维重建装置、系统以及计算机可读存储介质，均具有上述有益效果。

Description

一种三维重建方法、装置及相关设备
技术领域
本申请涉及虚拟现实技术领域，特别涉及一种三维重建方法，还涉及一种三维重建装置、系统以及计算机可读存储介质。
背景技术
虚拟现实技术是用计算机模拟现实世界的多学科交叉性技术，虚拟现实中所展示的场景按照生成方式主要可以分为两类：完全由计算机生成的虚拟对象和基于真实物理对象生成的虚拟对象。在追求虚拟环境与真实物理环境一致性的目标下，基于真实物理对象生成的虚拟对象凭借其与真实世界的高度一致性具有明显的优势，三维重建就是利用各种传感器设备对真实物理场景进行扫描和计算处理，生成对应的数字化虚拟模型的技术，可以为虚拟现实提供与现实物理世界高度一致的显示内容。
目前，基于复杂的传感器设备和计算设备已经能够实现比较高精度的三维重建，如以容积摄影为代表的高精度三维重建技术，这类技术需要众多相机组成的庞大传感器阵列，一般相机数量可达上百台，同时需要巨大的计算力提供重建过程的计算支持，这类技术虽然已经在专业领域实现了比较好的应用，但受到场地、成本、使用便利性等因素的限制，无法大规模推广到虚拟现实应用领域。而基于消费级传感器的三维重建由于受传感器本身测量的误差、图像数据质量、传感器运动状态、场景特征的丰富程度等因素的影响，普遍存在错误重建甚至失败重建的问题。
因此，如何更为快速便捷的实现高质量、高精度的三维重建是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种三维重建方法，该三维重建方法可以更为快速便捷的实现高质量、高精度的三维重建；本申请的另一目的是提供一种三维重建装置、系统以及计算机可读存储介质，也具有上述有益效果。
第一方面，本申请提供了一种三维重建方法，包括：
利用目标图像帧进行局部位姿优化，获得局部位姿误差；
对所述目标图像帧进行神经网络预测，获得初始重建误差；
根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；
利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；
对所述全局优化结果进行神经网络补全，获得最终重建误差；
根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型。
优选的，所述对所述目标图像帧进行神经网络预测，获得初始重建误差，包括：
利用通用样本数据对神经网络进行训练，获得初始神经网络模型；
利用所述历史图像帧和所述历史图像帧对应的最终重建模型对所述初始神经网络模型进行修正，获得神经网络预测模型；
利用所述神经网络预测模型对所述目标图像帧进行神经网络预测，获得所述初始重建误差。
优选的，所述根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型，包括：
利用所述局部位姿误差和所述初始重建误差构造初始优化目标函数；
对所述初始优化目标函数进行求解，获得所述初始优化目标函数取最小值时的初始位姿数据；
利用所述初始位姿数据进行三维重建，获得所述初始重建模型。
优选的，所述根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型，包括：
利用所述全局位姿误差和所述最终重建误差构造全局优化目标函数；
对所述全局优化目标函数进行求解，获得所述全局优化目标函数取最小值时的全局位姿数据；
利用所述全局位姿数据对所述初始重建模型进行优化，获得所述最终重建模型。
优选的，所述根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型，包括：
利用所述局部位姿误差、所述初始重建误差、所述全局位姿误差以及所述最终重建误差构造全局优化目标函数；
对所述全局优化目标函数进行求解，获得所述全局优化目标函数取最小值时的全局位姿数据；
利用所述全局位姿数据对所述初始重建模型进行优化，获得所述最终重建模型。
第二方面，本申请还公开了一种三维重建装置，包括：
局部位姿优化模块，用于利用目标图像帧进行局部位姿优化，获得局部位姿误差；
神经网络预测模块，用于对所述目标图像帧进行神经网络预测，获得初始重建误差；
初始三维重建模块，用于根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；
全局位姿优化模块，用于利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；
神经网络补全模块，用于对所述全局优化结果进行神经网络补全，获得最终重建误差；
初始模型优化模块，用于根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型。
优选的，所述神经网络预测模块具体用于利用通用样本数据对神经网络进行训练，获得初始神经网络模型；利用所述历史图像帧和所述历史图像帧对应的最终重建模型对所述初始神经网络模型进行修正，获得神经网络预测模型；利用所述神经网络预测模型对所述目标图像帧进行神经网络预测，获得所述初始重建误差。
优选的，所述初始三维重建模块具体用于利用所述局部位姿误差和所述初始重建误差构造初始优化目标函数；对所述初始优化目标函数进行求解，获得所述初始优化目标函数取最小值时的初始位姿数据；利用所述初始位姿数据进行三维重建，获得所述初始重建模型。
第三方面，本申请还公开了一种三维重建系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上所述的任一种三维重建方法的步骤。
第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种三维重建方法的步骤。
本申请所提供的一种三维重建方法，包括利用目标图像帧进行局部位姿优化，获得局部位姿误差；对所述目标图像帧进行神经网络预测，获得初始重建误差；根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；对所述全局优化结果进行神经网络补全，获得最终重建误差；根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型。
可见，本申请所提供的三维重建方法，首先采用联合局部位姿优化和神经网络预测的局部重建方法，通过局部位姿误差和神经网络预测误差，即上述初始重建误差计算得到相对精确的局部重建结果；进而采用联合全局位姿优化和神经网络补全的全局重建方法，通过全局位姿误差和神经网络补全误差，即上述最终重建误差计算得到高质量的全局重建结果，由此实现了局部联合优化和全局联合优化的层次化重建优化策略，通过逐渐求精的过程获得了高质量重建的目标，保证了重建结果的精确性。此外，该种实现方式无需部署庞大的传感器阵列，极大地降低了三维重建的实现成本。
本申请所提供的一种三维重建装置、系统以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种三维重建方法的流程示意图；
图2为本申请所提供的另一种三维重建方法的流程示意图；
图3为本申请所提供的一种三维重建装置的结构示意图；
图4为本申请所提供的一种三维重建系统的结构示意图。
具体实施方式
本申请的核心是提供一种三维重建方法，该三维重建方法可以更为快速便捷的实现高质量、高精度的三维重建；本申请的另一核心是提供一种三维重建装置、系统以及计算机可读存储介质，也具有上述有益效果。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种三维重建方法的流程示意图，该三维重建方法可包括：
S101：利用目标图像帧进行局部位姿优化，获得局部位姿误差；
本步骤旨在利用目标图像帧实现局部位姿优化，获得局部位姿优化结果对应的局部位姿误差。其中，目标图像帧即为通过传感器对目标进行扫描获得的当前图像帧，传感器类型包括但不限于单目相机、双目相机、RGBD相机、激光扫描仪和雷达等。在具体实现过程中，可以采用基于几何方法的局部位姿优化方法实现，如运动恢复结构、同时定位与建图中常用的类似方法等。此外，为实现局部位姿优化，也可以采用与上述目标图像帧相邻的多张图像帧实现，以进一步提高局部位姿优化结果的准确性。
S102：对目标图像帧进行神经网络预测，获得初始重建误差；
本步骤旨在通过神经网络预测，通过对目标图像帧进行神经网络预测获得下一图像帧的三维重建结果及其对应的神经网络预测误差，即上述初始重建误差。其中，该神经网络预测过程可基于神经网络预测模型实现，该神经网络预测模型可以为提前训练好的、可以直接使用的网络模型，也可以为采用提前训练好的初始网络模型，在线重建过程中逐渐调整优化获得的网络模型；当然，神经网络预测模型的神经网络类型并不唯一，本申请对此不做限定。
作为一种优选实施例，上述对目标图像帧进行神经网络预测，获得初始重建误差，可以包括：利用通用样本数据对神经网络进行训练，获得初始神经网络模型；利用历史图像帧和历史图像帧对应的最终重建模型对初始神经网络模型进行修正，获得神经网络预测模型；利用神经网络预测模型对目标图像帧进行神经网络预测，获得初始重建误差。
本优选实施例提供了一种神经网络预测方法，即通过在线优化的神经网络预测模型实现。具体而言，首先利用通用样本数据进行神经网络训练，获得初始神经网络模型，其中，通用样本数据为预先采集获得，包括图像帧及其对应的三维重建结果，可以理解的是，其数量越多，对应的模型精度越高；进一步，利用历史图像帧及其对应的三维重建模型，即最终重建模型对前述初始神经网络模型进行调整和优化，获得精度更高的神经网络预测模型，其中，历史图像帧是指图像序列中目标图像帧之前的各图像帧；最后，利用优化后的神经网络预测模型对目标图像帧进行神经网络预测，即可获得下一图像帧对应的三维重建模型及其对应的初始重建误差，当然，此处获得的三维重建模型仅为预测结果，并非为最终的三维重建结果。
此外，在利用历史图像帧及其对应的三维重建模型对初始神经网络模型进行修正优化之前，还可以将三维重建模型缺失区域等不理想数据剔除，以保证优化样本的准确性，进而提高神经网络预测模型的精度，保证神经网络预测结果的准确性。
S103：根据局部位姿误差和初始重建误差进行三维重建，获得初始重建模型；
本步骤旨在实现局部重建，获得初始重建模型。具体而言，将局部位姿误差和初始重建误差相结合进行三维重建，实现联合局部位姿优化和神经网络预测的局部重建，从而获得相对精确的局部重建结果，即上述初始重建模型。
作为一种优选实施例，上述根据局部位姿误差和初始重建误差进行三维重建，获得初始重建模型，可以包括：利用局部位姿误差和初始重建误差构造初始优化目标函数；对初始优化目标函数进行求解，获得初始优化目标函数取最小值时的初始位姿数据；利用初始位姿数据进行三维重建，获得初始重建模型。
本优选实施例提供了一种局部重建方法。具体而言，可以通过局部位姿优化和神经网络预测构造局部联合优化问题，即利用局部位姿误差和初始重建误差构造初始优化目标函数，并对其进行求解，当其取值最小时，获得该最小值对应的初始位姿数据，由此，利用该初始位姿数据进行三维重建，即可获得初始重建模型。
S104：利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；
本步骤旨在利用历史图像帧实现全局位姿优化，获得全局位姿优化结果及其对应的全局位姿误差，其中，历史图像帧是指图像序列中目标图像帧之前的各图像帧。在具体实现过程中，同样可以采用基于几何方法的全局位姿优化方法实现，另外，当图像序列图像帧数量较多时，为实现快速全局位姿优化，也可以选取图像序列中的部分关键图像帧实现，以进一步提高全局位姿优化效率。
S105：对全局优化结果进行神经网络补全，获得最终重建误差；
本步骤旨在通过神经网络补全，通过对上述全局优化结果进行神经网络补全，获得相应的神经网络补全误差，即上述最终重建误差。其中，该神经网络补全过程可基于相应的神经网络补全模型实现，同样的，该神经网络补全模型可以为提前训练好的、可以直接使用的网络模型，也可以为采用提前训练好的初始网络模型，在线重建过程中逐渐调整优化获得的网络模型；并且，神经网络补全模型的神经网络类型并不唯一，本申请对此不做限定。
S106：根据全局位姿误差和最终重建误差对初始重建模型进行优化，获得最终重建模型。
本步骤旨在实现全局重建，获得最终重建模型。具体而言，将全局位姿误差和最终重建误差相结合对上述初始重建模型进行优化，实现联合全局位姿优化和神经网络补全的全局重建，从而获得高质量、高精度的全局重建结果，即上述最终重建模型。
作为一种优选实施例，上述根据全局位姿误差和最终重建误差对初始重建模型进行优化，获得最终重建模型，可以包括：利用全局位姿误差和最终重建误差构造全局优化目标函数；对全局优化目标函数进行求解，获得全局优化目标函数取最小值时的全局位姿数据；利用全局位姿数据对初始重建模型进行优化，获得最终重建模型。
本优选实施例提供了一种全局重建方法。具体而言，可以通过全局位姿优化和神经网络补全构造全局联合优化问题，即利用全局位姿误差和最终重建误差构造全局优化目标函数，并对其进行求解，当其取值最小时，获得该最小值对应的全局位姿数据，由此，利用该全局位姿数据对初始重建模型进行优化，即可获得最终重建模型。
作为一种优选实施例，上述根据全局位姿误差和最终重建误差对所述初始重建模型进行优化，获得最终重建模型，可以包括：利用局部位姿误差、初始重建误差、全局位姿误差以及最终重建误差构造全局优化目标函数；对全局优化目标函数进行求解，获得全局优化目标函数取最小值时的全局位姿数据；利用全局位姿数据对初始重建模型进行优化，获得最终重建模型。
本优选实施例提供了另一种局部重建方法。具体而言，可以构造整体求解优化问题，也就是通过局部位姿优化、神经网络预测、全局位姿优化以及神经网络补全共同构造全局联合优化问题，即利用局部位姿误差、初始重建误差、全局位姿误差以及最终重建误差构造全局优化目标函数，并对其进行求解，当其取值最小时，获得该最小值对应的全局位姿数据，由此，利用该全局位姿数据对初始重建模型进行优化，即可获得最终重建模型。
可见，本申请所提供的三维重建方法，首先采用联合局部位姿优化和神经网络预测的局部重建方法，通过局部位姿误差和神经网络预测误差，即上述初始重建误差计算得到相对精确的局部重建结果；进而采用联合全局位姿优化和神经网络补全的全局重建方法，通过全局位姿误差和神经网络补全误差，即上述最终重建误差计算得到高质量的全局重建结果，由此实现了局部联合优化和全局联合优化的层次化重建优化策略，通过逐渐求精的过程获得了高质量重建的目标，保证了重建结果的精确性。此外，该种实现方式无需部署庞大的传感器阵列，极大地降低了三维重建的实现成本。
本申请实施例提供了另一种三维重建方法。
请参考图2，图2为本申请所提供的另一种三维重建方法的流程示意图，其具体实现流程如下：
步骤一、基于神经网络的重建结果预测：
在传感器已经扫描得到的数据基础上，利用神经网络预测下一帧扫描会得到的重建结果，将对应的预测误差估计(初始重建误差)作为优化的目标函数之一，预测所使用的神经网络类型不限，主要包括以下工作：
(1)利用一些通用数据集对神经网络进行预训练，得到初始神经网络模型；
(2)利用当前传感器已扫描得到的数据和已经重建出的结果(历史数据帧及其对应的最终重建模型)对初始神经网络模型进行调整修正；
(3)在(2)过程中，剔除掉重建出的三维模型缺失区域等不理想数据，以避免对神经网络模型造成负面影响；
(4)利用经过(2)修正优化的神经网络模型预测下一帧扫描数据会得到的三维模型，可以在该预测过程中获得误差度量Enext，并将该误差度量Enext作为后续优化问题的目标函数之一。
步骤二、基于几何方法的局部位姿优化：
基于几何方法的局部位姿优化可以借助目前已有的一些典型方法实现，如运动恢复结构、同时定位与建图中常用的类似方法等。该步骤利用当前扫描帧或相邻若干帧的数据，计算获得误差度量Echunk(局部位姿误差)，当然，该步骤计算结果Echunk只是用来构造后续优化问题的约束条件之一，并不直接用来求解重建结果。
步骤三、联合优化求解，获得初始重建结果：
通过步骤一和步骤二得到的误差度量函数Enext和Echunk构造联合优化问题，通过求解该优化问题得到初始重建结果，主要包括以下工作：
(1)初始优化目标函数构造，定义初始优化目标函数：EInitial＝Enext+Echunk；
(2)求解优化问题得到满足EInitial最小的位姿数据(初始位姿数据)；
(3)利用上述求解的位姿数据进行三维重建，通过模型聚合得到初始重建结果(初始重建模型)。
步骤四、基于神经网络的重建结果补全和优全局位姿优化：
该步骤主要执行全局优化工作，包括基于几何方法的全局位姿优化和基于神经网络的重建补全两部分，利用两部分的误差度量作为目标函数共同构造全局优化问题，通过全局优化问题求解得到最终重建结果，其中所用的神经网络类型不限，主要包括以下工作：
(1)基于几何方法的全局位姿优化：利用传统的几何位姿估计方法，基于截止到目前为止传感器得到的所有扫描帧数据或选取的部分关键帧数据，计算得到全局的位姿优化结果(全局优化结果)，以及该结果对应的误差度量EKF(全局位姿误差)；
(2)基于神经网络的重建结果补全：由于单纯通过几何方法的重建结果会存在空洞缺失等问题，因此，可以通过神经网络方法对(1)中得到的位姿优化结果进行补全，得到完整的重建结果的误差度量Ecomplt(最终重建误差)，其中，神经网络可以是提前训练好的网络模型，可以直接使用，也可采用类似步骤一的预训练初始模型结合在线调整优化的方法实现；
(3)定义全局优化目标函数：Efinal＝EKF+Ecomplt，通过求解该优化问题，选取满足优化目标的最小值作为最终重建结果(全局位姿数据)；当然，全局优化目标的构造也可以采用Efinal＝EKF+Ecomplt+Enext+Echunk的形式，通过整体求解优化问题得到；
(4)重聚和得到最终重建模型：根据(3)中得到的最优重建结果对步骤三聚合得到的初始重建结果进行调整优化，即可得到最终重建模型。
可见，本申请实施例所提供的三维重建方法，首先采用联合局部几何优化和神经网络预测的局部重建方法，通过局部几何优化误差度量和神经网络预测误差度量共同构造优化目标，求解获得相对精确的局部重建结果；进而采用联合全局几何优化和神经网络补全的全局重建方法，通过全局几何优化误差度量和神经网络补全误差度量共同构造优化目标，求解获得高质量、高精度的全局重建结果，由此实现了局部联合优化和全局联合优化的层次化重建优化策略，通过逐渐求精的过程获得了高质量的重建目标，保证了重建结果的精确性。此外，该种实现方式无需部署庞大的传感器阵列，极大地降低了三维重建的实现成本。
为解决上述技术问题，本申请还提供了一种三维重建装置，请参考图3，图3为本申请所提供的一种三维重建装置的结构示意图，该三维重建装置可包括：
局部位姿优化模块1，用于利用目标图像帧进行局部位姿优化，获得局部位姿误差；
神经网络预测模块2，用于对目标图像帧进行神经网络预测，获得初始重建误差；
初始三维重建模块3，用于根据局部位姿误差和初始重建误差进行三维重建，获得初始重建模型；
全局位姿优化模块4，用于利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；
神经网络补全模块5，用于对全局优化结果进行神经网络补全，获得最终重建误差；
初始模型优化模块6，用于根据全局位姿误差和最终重建误差对初始重建模型进行优化，获得最终重建模型。
可见，本申请实施例所提供的三维重建装置，首先采用联合局部位姿优化和神经网络预测的局部重建方法，通过局部位姿误差和神经网络预测误差，即上述初始重建误差计算得到相对精确的局部重建结果；进而采用联合全局位姿优化和神经网络补全的全局重建方法，通过全局位姿误差和神经网络补全误差，即上述最终重建误差计算得到高质量的全局重建结果，由此实现了局部联合优化和全局联合优化的层次化重建优化策略，通过逐渐求精的过程获得了高质量重建的目标，保证了重建结果的精确性。此外，该种实现方式无需部署庞大的传感器阵列，极大地降低了三维重建的实现成本。
作为一种优选实施例，上述神经网络预测模块2可具体用于利用通用样本数据对神经网络进行训练，获得初始神经网络模型；利用历史图像帧和历史图像帧对应的最终重建模型对初始神经网络模型进行修正，获得神经网络预测模型；利用神经网络预测模型对目标图像帧进行神经网络预测，获得初始重建误差。
作为一种优选实施例，上述初始三维重建模块3可具体用于利用局部位姿误差和初始重建误差构造初始优化目标函数；对初始优化目标函数进行求解，获得初始优化目标函数取最小值时的初始位姿数据；利用初始位姿数据进行三维重建，获得初始重建模型。
作为一种优选实施例，上述初始模型优化模块6可具体用于利用全局位姿误差和最终重建误差构造全局优化目标函数；对全局优化目标函数进行求解，获得全局优化目标函数取最小值时的全局位姿数据；利用全局位姿数据对初始重建模型进行优化，获得最终重建模型。
作为一种优选实施例，上述初始模型优化模块6可具体用于利用局部位姿误差、初始重建误差、全局位姿误差以及最终重建误差构造全局优化目标函数；对全局优化目标函数进行求解，获得全局优化目标函数取最小值时的全局位姿数据；利用全局位姿数据对初始重建模型进行优化，获得最终重建模型。
对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述技术问题，本申请还提供了一种三维重建系统，请参考图4，图4为本申请所提供的一种三维重建系统的结构示意图，该三维重建系统可包括：
存储器10，用于存储计算机程序；
处理器20，用于执行计算机程序时可实现如上述任意一种三维重建方法的步骤。
对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种三维重建方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims (6)

1.一种三维重建方法，其特征在于，包括：
利用目标图像帧进行局部位姿优化，获得局部位姿误差；
对所述目标图像帧进行神经网络预测，获得初始重建误差；
根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；
利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；
对所述全局优化结果进行神经网络补全，获得最终重建误差；
根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型；
其中，所述根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型，包括：
利用所述局部位姿误差和所述初始重建误差构造初始优化目标函数；
对所述初始优化目标函数进行求解，获得所述初始优化目标函数取最小值时的初始位姿数据；
利用所述初始位姿数据进行三维重建，获得所述初始重建模型；
所述根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型，包括：
利用所述全局位姿误差和所述最终重建误差构造全局优化目标函数；或者，利用所述局部位姿误差、所述初始重建误差、所述全局位姿误差以及所述最终重建误差构造全局优化目标函数；
对所述全局优化目标函数进行求解，获得所述全局优化目标函数取最小值时的全局位姿数据；
利用所述全局位姿数据对所述初始重建模型进行优化，获得所述最终重建模型。
2.根据权利要求1所述的三维重建方法，其特征在于，所述对所述目标图像帧进行神经网络预测，获得初始重建误差，包括：
利用通用样本数据对神经网络进行训练，获得初始神经网络模型；
利用所述历史图像帧和所述历史图像帧对应的最终重建模型对所述初始神经网络模型进行修正，获得神经网络预测模型；
利用所述神经网络预测模型对所述目标图像帧进行神经网络预测，获得所述初始重建误差。
3.一种三维重建装置，其特征在于，包括：
局部位姿优化模块，用于利用目标图像帧进行局部位姿优化，获得局部位姿误差；
神经网络预测模块，用于对所述目标图像帧进行神经网络预测，获得初始重建误差；
初始三维重建模块，用于根据所述局部位姿误差和所述初始重建误差进行三维重建，获得初始重建模型；
全局位姿优化模块，用于利用历史图像帧进行全局位姿优化，获得全局优化结果和全局位姿误差；
神经网络补全模块，用于对所述全局优化结果进行神经网络补全，获得最终重建误差；
初始模型优化模块，用于根据所述全局位姿误差和所述最终重建误差对所述初始重建模型进行优化，获得最终重建模型；
其中，所述初始三维重建模块具体用于利用所述局部位姿误差和所述初始重建误差构造初始优化目标函数；对所述初始优化目标函数进行求解，获得所述初始优化目标函数取最小值时的初始位姿数据；利用所述初始位姿数据进行三维重建，获得所述初始重建模型；
所述初始模型优化模块具体用于利用所述全局位姿误差和所述最终重建误差构造全局优化目标函数；或者，利用所述局部位姿误差、所述初始重建误差、所述全局位姿误差以及所述最终重建误差构造全局优化目标函数；对所述全局优化目标函数进行求解，获得所述全局优化目标函数取最小值时的全局位姿数据；利用所述全局位姿数据对所述初始重建模型进行优化，获得所述最终重建模型。
4.根据权利要求3所述的三维重建装置，其特征在于，所述神经网络预测模块具体用于利用通用样本数据对神经网络进行训练，获得初始神经网络模型；利用所述历史图像帧和所述历史图像帧对应的最终重建模型对所述初始神经网络模型进行修正，获得神经网络预测模型；利用所述神经网络预测模型对所述目标图像帧进行神经网络预测，获得所述初始重建误差。
5.一种三维重建系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1或2所述的三维重建方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1或2所述的三维重建方法的步骤。
CN202110222815.4A 2021-02-26 2021-02-26 一种三维重建方法、装置及相关设备 Active CN112991515B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110222815.4A CN112991515B (zh) 2021-02-26 2021-02-26 一种三维重建方法、装置及相关设备
EP22758750.8A EP4239583A1 (en) 2021-02-26 2022-01-28 Three-dimensional reconstruction method, apparatus and system, and storage medium
PCT/CN2022/074605 WO2022179385A1 (zh) 2021-02-26 2022-01-28 一种三维重建方法、装置、系统以及存储介质
US18/255,815 US20240005595A1 (en) 2021-02-26 2022-01-28 Three-dimensional reconstruction method, system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222815.4A CN112991515B (zh) 2021-02-26 2021-02-26 一种三维重建方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN112991515A CN112991515A (zh) 2021-06-18
CN112991515B true CN112991515B (zh) 2022-08-19

Family

ID=76351442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222815.4A Active CN112991515B (zh) 2021-02-26 2021-02-26 一种三维重建方法、装置及相关设备

Country Status (4)

Country Link
US (1) US20240005595A1 (zh)
EP (1) EP4239583A1 (zh)
CN (1) CN112991515B (zh)
WO (1) WO2022179385A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991515B (zh) * 2021-02-26 2022-08-19 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备
CN116580163B (zh) * 2023-07-14 2023-12-22 深圳元戎启行科技有限公司 三维场景重建方法、电子设备及存储介质
CN117788091A (zh) * 2023-10-18 2024-03-29 北京农夫铺子技术研究院 基于用户消费大数据的元宇宙电商平台构建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364344A (zh) * 2018-02-08 2018-08-03 重庆邮电大学 一种基于回环测试的单目实时三维重建方法
CN109840939A (zh) * 2019-01-08 2019-06-04 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN111178435A (zh) * 2019-12-30 2020-05-19 山东英信计算机技术有限公司 一种分类模型训练方法、系统、电子设备及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129435B2 (en) * 2012-12-04 2015-09-08 Fuji Xerox Co., Ltd. Method for creating 3-D models by stitching multiple partial 3-D models
CN106856012B (zh) * 2017-01-12 2018-06-22 上海云拟科技有限公司 一种实时大规模场景三维扫描建模方法及系统
CN107845114B (zh) * 2017-11-10 2024-03-22 北京三快在线科技有限公司 地图的构建方法、装置及电子设备
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN108537848B (zh) * 2018-04-19 2021-10-15 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN108846857A (zh) * 2018-06-28 2018-11-20 清华大学深圳研究生院 视觉里程计的测量方法及视觉里程计
CN109166171B (zh) * 2018-08-09 2022-05-13 西北工业大学 基于全局式和增量式估计的运动恢复结构三维重建方法
CN109215117B (zh) * 2018-09-12 2023-02-28 北京航空航天大学青岛研究院 基于ORB与U-net的花卉三维重建方法
CN109658449B (zh) * 2018-12-03 2020-07-10 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
US10733745B2 (en) * 2019-01-07 2020-08-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3D) textured surface from endoscopic video
CN109859296B (zh) * 2019-02-01 2022-11-29 腾讯科技（深圳）有限公司 Smpl参数预测模型的训练方法、服务器及存储介质
CN109848996B (zh) * 2019-03-19 2020-08-14 西安交通大学 基于图优化理论的大规模三维环境地图创建方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110415336B (zh) * 2019-07-12 2021-12-14 清华大学 高精度人体体态重建方法及系统
WO2021035669A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 位姿预测方法、地图构建方法、可移动平台及存储介质
CN111260661B (zh) * 2020-01-15 2021-04-20 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
CN111414923B (zh) * 2020-03-05 2022-07-12 南昌航空大学 基于单幅rgb图像的室内场景三维重建方法及系统
CN111311684B (zh) * 2020-04-01 2021-02-05 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111739071B (zh) * 2020-06-15 2023-09-05 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111795687B (zh) * 2020-06-29 2022-08-05 深圳市优必选科技股份有限公司 一种机器人地图更新方法、装置、可读存储介质及机器人
CN111862316B (zh) * 2020-07-28 2024-01-05 杭州深瞳科技有限公司 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法
CN111983639B (zh) * 2020-08-25 2023-06-02 浙江光珀智能科技有限公司 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法
CN112179338A (zh) * 2020-09-07 2021-01-05 西北工业大学 一种基于视觉和惯导融合的低空无人机自身定位方法
CN112070893B (zh) * 2020-09-15 2024-04-02 大连理工大学 一种基于深度学习的动态海面三维建模方法及存储介质
CN112307917A (zh) * 2020-10-21 2021-02-02 国网上海市电力公司 一种融合视觉里程计及imu的室内定位方法
CN112347550B (zh) * 2020-12-07 2022-07-15 厦门大学 耦合式室内三维语义建图及建模方法
CN112991515B (zh) * 2021-02-26 2022-08-19 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364344A (zh) * 2018-02-08 2018-08-03 重庆邮电大学 一种基于回环测试的单目实时三维重建方法
CN109840939A (zh) * 2019-01-08 2019-06-04 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN111178435A (zh) * 2019-12-30 2020-05-19 山东英信计算机技术有限公司 一种分类模型训练方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022179385A1 (zh) 2022-09-01
US20240005595A1 (en) 2024-01-04
CN112991515A (zh) 2021-06-18
EP4239583A1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
CN112991515B (zh) 一种三维重建方法、装置及相关设备
CN110363858B (zh) 一种三维人脸重建方法及系统
CN106780590B (zh) 一种深度图的获取方法及系统
US9628684B2 (en) Light-field aberration correction
CN102750697B (zh) 一种参数标定方法及装置
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN109658497B (zh) 一种三维模型重建方法及装置
WO2014002521A1 (ja) 画像処理装置及び画像処理方法
CN110599586A (zh) 一种半稠密场景重建方法、装置、电子设备及存储介质
CN114022639A (zh) 三维重建模型的生成方法、系统、电子设备及存储介质
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
CN114255285B (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN115496925A (zh) 图像处理方法、设备、存储介质及程序产品
CN103955928B (zh) 一种确定曲面镜头畸变参数的方法、装置以及电子设备
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
US20140125778A1 (en) System for producing stereoscopic images with a hole filling algorithm and method thereof
CN101686407A (zh) 一种采样点信息的获取方法和装置
CN102314686B (zh) 一种拼接类全景视频的基准视场确定方法、系统及设备
CN115314635A (zh) 用于离焦量确定的模型训练方法及装置
CN111524075B (zh) 深度图像滤波方法、图像合成方法、装置、设备及介质
CN111178501B (zh) 双循环对抗网络架构的优化方法、系统、电子设备及装置
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant