CN115294280A - 三维重建方法、装置、设备、存储介质和程序产品 - Google Patents

三维重建方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN115294280A
CN115294280A CN202210996247.8A CN202210996247A CN115294280A CN 115294280 A CN115294280 A CN 115294280A CN 202210996247 A CN202210996247 A CN 202210996247A CN 115294280 A CN115294280 A CN 115294280A
Authority
CN
China
Prior art keywords
data
acquisition
transformation matrix
image data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210996247.8A
Other languages
English (en)
Inventor
杨瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210996247.8A priority Critical patent/CN115294280A/zh
Publication of CN115294280A publication Critical patent/CN115294280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种三维重建方法、装置、设备、存储介质和程序产品，涉及人工智能技术领域，可应用于金融领域。所述方法包括：获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。采用本方法能够提高目标场景三维重建的准确率。

Description

三维重建方法、装置、设备、存储介质和程序产品
技术领域
本申请涉及人工智能技术领域，特别是涉及一种三维重建方法、装置、设备、存储介质和程序产品。
背景技术
随着三维计算机视觉的发展，出现了三维重建技术。三维重建技术是一种在计算机中建立表达客观世界的虚拟现实的关键技术，被广泛应用于影视、考古、科研、3D打印等领域。
目前常使用RGB-D相机采集场景的图像数据，并基于图像数据对RGB-D相机进行位姿估计，根据位姿估计结果对场景进行三维重建。
但是当目标场景存在墙面、地面等较大的平面时，相机的位姿估计结果误差较大，从而导致三维重建结果的准确率较低。
发明内容
本申请提供一种三维重建方法、装置、设备、存储介质和程序产品，能够基于两个设备的测量数据对相机的位姿进行估计，提高相机位姿估计的准确率，从而提高目标场景三维重建的准确率。
第一方面，本申请提供了一种三维重建方法。该方法包括：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
在其中一个实施例中，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，包括：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
在其中一个实施例中，将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵，包括：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
在其中一个实施例中，根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，包括：对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
在其中一个实施例中，根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，包括：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
在其中一个实施例中，根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型，包括：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
第二方面，本申请还提供了一种三维重建装置。该装置包括：
获取模块，用于获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
确定模块，用于对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
三维重建模块，用于根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
本申请提供一种三维重建方法、装置、设备、存储介质和程序产品，涉及人工智能技术领域，也可应用于金融领域和其他相关领域。本申请提供的方法可以基于第一数据采集设备和第二数据采集设备这两个数据采集设备在多个采集时刻分别采集的目标场景的图像数据和惯性数据，并基于两个数据对第一数据采集设备的位姿进行估计，进而基于位姿估计结果对目标场景进行三维重建，得到三维模型。本申请提供的方法可以基于图像数据和惯性数据两类数据对第一数据采集设备的位姿进行估计，提高了第一数据采集设备位姿估计结果的准确率，从而提高了目标场景三维重建的准确率。
附图说明
图1为一个实施例中三维重建方法的应用环境图；
图2为一个实施例中三维重建方法的流程示意图；
图3为一个实施例中三维重建方法的另一流程示意图；
图4为一个实施例中三维重建方法的另一流程示意图；
图5为一个实施例中三维重建方法的另一流程示意图；
图6为一个实施例中三维重建方法的另一流程示意图；
图7为一个实施例中三维重建方法的另一流程示意图；
图8为一个实施例中三维重建方法的另一应用环境图；
图9为一个实施例中三维重建装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着三维计算机视觉的发展，出现了三维重建技术。三维重建技术是一种在计算机中建立表达客观世界的虚拟现实的关键技术，被广泛应用于影视、考古、科研、3D打印等领域。
目前常使用RGB-D相机采集场景的图像数据，并基于图像数据对RGB-D相机进行位姿估计，根据位姿估计结果对场景进行三维重建。
但是当目标场景存在墙面、地面等较大的平面时，相机的位姿估计结果误差较大，从而导致三维重建结果的准确率较低。
基于此，本申请提供一种三维重建方法、装置、设备、存储介质和程序产品，能够基于两个设备的测量数据对相机的位姿进行估计，提高相机位姿估计的准确率，从而提高目标场景三维重建的准确率。
本申请实施例提供的三维重建方法，可以应用于如图1所示的应用环境中。其中，终端10与第一数据采集设备20、第二数据采集设备30通过网络进行通信。终端10可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。第一数据采集设备20可以为深度相机，也可以为RGD-B相机，只要可以采集场景的深度图像数据，本申请对此不作限制；第二数据采集设备30可以是惯性传感器，只要可以采集第二数据采集设备30的运动数据，本申请对此不作限制。第一数据采集设备20、第二数据采集设备30可以将采集到的数据发送至终端10，终端10可以对接收到的数据进行处理，并得到场景的三维模型。
在一个实施例中，如图2所示，提供了一种三维重建方法，以该方法应用于图1中的终端10为例进行说明，包括以下步骤：
步骤101、获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态。
其中，第一数据采集设备可以是深度摄像机，仅用于获取目标场景的深度图像，也可以是RGD-B摄像机，可以同时获取目标场景的深度图像和彩色图像；图像数据可以是目标场景的深度图像，也可以包括目标场景的深度图像和彩色图像，具体数据内容基于第一数据采集设备的具体类型所确定。第二数据采集设备可以是惯性传感器，例如惯性测量单元(Inertial Measurement Unit，IMU)，即IMU传感器；惯性数据用于表征第二数据采集设备在采集时刻的运动状态，惯性数据可以包括第二数据采集设备的角速度和加速度数据。
在本实施例中，第一数据采集设备可以是机器人的形式，该机器人兼备移动和图像数据采集的功能，第二数据采集设备可以设置在机器人上，随机器人的轨迹移动，同时采集惯性数据。也可以将第一数据采集设备和第二数据采集设备设置在一个可移动的机器人上，机器人带动两个数据采集设备按照预设轨迹移动，同时采集惯性数据和目标场景的图像数据。其中，第一数据采集设备和第二数据采集设备的相对位置关系固定不变。
在本实施例中，可以预先设置第一数据采集设备和第二数据采集设备的数据采集频率，并设置第一数据采集设备和第二数据采集设备在同一时刻开始采集数据，以及设置机器人在同一时刻开始移动，从而使得第一数据采集设备在多个采集时刻采集到目标场景的图像数据，使得第二数据采集设备在多个采集时刻采集到第二数据采集设备的惯性数据。数据采集完成之后，第一数据采集设备和第二数据采集设备可以将采集到的数据发送至终端，以使得终端获取到第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据。
步骤102、对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化。
在本实施例中，第一数据采集设备和第二数据采集设备的数据采集频率可以相同，对于在时序上每相邻的两个采集时刻，终端可以根据两个采集时刻所采集的图像数据对第一数据采集设备的位姿进行估计，确定第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所采集的惯性数据对第二数据采集设备的位姿进行估计，确定第二数据采集设备在两个采集时刻的位姿变化。然后基于第二数据采集设备在两个采集时刻的位姿变化对第一数据采集设备在两个采集时刻的位姿变化进行修正，得到目标位姿变换矩阵。例如，将两个数据采集设备在两个采集时刻的位姿变化的均值确定为目标位姿变换矩阵；或对两个数据采集设备在两个采集时刻的位姿变化进行加权求和，从而得到目标位姿变换矩阵。
其中，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化，位姿变化包括旋转角和位移。
需要说明的是，一般情况下，IMU传感器的数据采集频率高于深度摄像机的采集频率。因此，一种可能的实现方式中，第二数据采集设备的数据采集频率可为第一数据采集设备的数据采集频率的整数倍，例如，可以是N倍，当第一数据采集设备开始采集第二个图像数据时，第二数据采集设备开始采集第N+1个惯性数据。
在上述两个数据采集设备的数据采集频率不同的情况下，以第一数据采集设备的采集时刻作为标准，则对于在时序上每相邻的两个采集时刻，两个采集时刻所采集的图像数据共包括两个图像数据，对应一个位姿变化数据；两个采集时刻所采集的惯性数据共包括N+1个惯性数据，对应N个位姿变化数据。因此，需要对N个位姿变化数据进行直接相加求和处理或向量相加求和处理，从而得到在时序上每相邻的两个采集时刻所对应的第二数据采集设备的位姿变化。进而基于上述所得的在时序上每相邻的两个采集时刻所对应的第二数据采集设备的位姿变化，对在时序上每相邻的两个采集时刻对应的第一数据采集设备的位姿变化进行修正，得到目标位姿变换矩阵。
步骤103、根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
在本实施例中，第一数据采集设备在每一采集时刻所采集到的图像数据仅为目标场景的部分场景的图像数据，而目标位姿变换矩阵为数据采集设备在移动过程中的位姿变化，即为数据采集设备在相邻两个采集时刻的位姿变化。因此，目标位姿变换矩阵可以反映在相邻两个采集时刻所采集到的图像数据之间的关系。
因此，基于多个目标位姿变换矩阵对每一采集时刻所采集到的图像数据(或每一采集时刻所采集到的图像数据的其他数据形式，例如点云数据)进行融合处理，可以得到目标场景对应的完整图像数据(或完整点云数据)，进而基于目标场景对应的完整数据对目标场景进行三维重建处理，从而得到目标场景的三维模型。
本申请实施例提供的方法可以基于第一数据采集设备和第二数据采集设备这两个数据采集设备在多个采集时刻分别采集的目标场景的图像数据和惯性数据，并基于两个数据对第一数据采集设备的位姿进行估计，进而基于位姿估计结果对目标场景进行三维重建，得到三维模型。本申请提供的方法可以基于图像数据和惯性数据两类数据对第一数据采集设备的位姿进行估计，提高了第一数据采集设备位姿估计结果的准确率，从而提高了目标场景三维重建的准确率。
前文所述的实施例介绍了根据图像数据和惯性数据确定目标位姿变换矩阵的方案。在本申请的另一实施例中，可以根据图像数据对应的位姿变换矩阵以及惯性数据对应的位姿变换矩阵确定目标位姿变换矩阵，具体包括如图3所示的步骤：
步骤201、根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化。
深度图像数据包括多个像素点的深度值，而第一数据采集设备在采集目标场景的图像数据时频率较高，因此，两个采集时刻所分别采集到的深度图像数据必然存在相互对应的像素点。基于两个采集时刻所分别采集到的深度图像数据中，相互对应的像素点之间的关系，可以确定第一数据采集设备在两个采集时刻之间的位姿变化，即第一位姿变换矩阵。
其中，两个相互对应的像素点所对应的目标场景的位置相同，两个相互对应的像素点在不同深度图像数据中的深度值不同。第一位姿变换矩阵包括第一数据采集设备在两个采集时刻之间的旋转角和位移。
在一个实施例中，根据相互对应的像素点之间的关系确定第一位姿变换矩阵可以包括如图4所示的步骤：
步骤301、对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据。
步骤302、对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对。
步骤303、根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
深度图像数据还包括各像素点在深度图像中的二维坐标信息，基于各像素点的二维坐标信息，深度值以及第一数据采集设备的焦距，根据相似三角形原理，可以得到各像素点在相机坐标系中的三维坐标。从而，对于每一数据采集时刻所采集的深度图像数据，对该帧深度图像数据中的所有像素点进行上述坐标系转换处理，即可得到该帧深度图像数据中的所有像素点在对应的相机坐标系中的三维坐标数据，也称为点云数据。
因此，对于在时序上相邻的两个采集时刻所采集到的第一深度图像数据和第二深度图像数据，分别进行上述坐标系转换处理，即可得到第一点云数据和第二点云数据。需要说明的是，相机坐标系为以相机的光心为原点，相机光轴为z轴所建立的坐标系，相机坐标系的z轴与深度图像平面垂直。因此，第一数据采集设备在不同采集时刻所对应的相机坐标系不同。
在本实施例中，在确定了两个采集时刻所对应的第一点云数据和第二点云数据后，可以采用最近点搜索(Iterative Closest Point，ICP)算法对上述两个点云数据进行点云配准处理，先确定两个点云数据中相对应的点，即相互匹配的目标点对，然后根据相对应的点在各自相机坐标系中的三维坐标，基于两个三维坐标之间的关系，确定两个相机坐标系之间的转换关系，即第一位姿变换矩阵。
步骤202、根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化。
在一个实施例中，惯性数据可以表征第二数据采集设备在各采集时刻的运动状态，包括第二数据采集设备在各采集时刻的角速度和加速度信息。对角速度和加速度进行积分运算，即可得到第二数据采集设备在两个采集时刻之间的旋转角和位移信息，从而得到第二位姿变换矩阵。具体可以包括如图5所示的步骤：
步骤401、根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据。
步骤402、根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
在一个实施例中，对于第二数据采集设备在两个采集时刻中，时序上在前的第一采集时刻所采集的第一惯性数据，对第一惯性数据中的角速度进行一次积分，得到第二数据采集设备在第一采集时刻的位置和初始位置之间的第一旋转角，对于第一惯性数据中的加速度进行二次积分，得到第二数据采集设备在第一采集时刻的位置和初始位置之间的第一位移；对于第二数据采集设备在两个采集时刻中，时序上在后的第二采集时刻所采集的第二惯性数据，对第二惯性数据中的角速度进行一次积分，得到第二数据采集设备在第二采集时刻的位置和初始位置之间的第二旋转角，对于第二惯性数据中的加速度进行二次积分，得到第二数据采集设备在第二采集时刻的位置和初始位置之间的第二位移；将第一旋转角和第二旋转角之差确定为初始位姿变换矩阵中的旋转角，将第一位移和第二位移之差确定为初始位姿变换矩阵中的位移，从而得到初始位姿变换矩阵。
由于第一数据采集设备和第二数据采集设备之间存在相对位置关系，因此，可以根据上述相对位置关系，对初始位姿变换矩阵进行坐标系转换处理，使得坐标系转换处理后的初始位姿变换矩阵和第一位姿变换矩阵位于同一坐标系下，从而得到第二位姿变换矩阵。
步骤203、将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
由于目标场景存在墙面、地面等较大的平面时，第一位姿变换矩阵的误差较大，因此，可以基于第二位姿变换矩阵对第一位姿变换矩阵进行修正处理，例如均值处理，或者加权求和处理，将第一位姿变换矩阵和第二位姿变换矩阵融合，从而减小第一位姿变换矩阵的误差，得到目标位姿变换矩阵。
本申请实施例提供的方法可以分别根据第一数据采集设备在两个采集时刻所采集到的图像数据确定第一位姿变换矩阵，根据第二数据采集设备在两个采集时刻所采集的惯性数据确定第二位姿变换矩阵，然后对两个位姿变换矩阵进行融合，得到目标位姿变换矩阵。本申请实施例可以根据第一位姿变换矩阵和第二位姿变换矩阵两个位姿变换矩阵，确定第一数据采集设备对应的目标位姿变换矩阵，使得第一数据采集设备对应的目标位姿变换矩阵的准确度较高。即通过第二位姿变换矩阵对第一位姿变换矩阵进行修正，提高了第一位姿变换矩阵的准确度，进而提高了目标场景三维重建的准确度。
前文所述的实施例介绍了根据第一位姿变换矩阵和第二位姿变换矩阵确定目标位姿变换矩阵的方案。在本申请的另一实施例中，可以对第一位姿变换矩阵和第二位姿变换矩阵进行加权求和处理，从而得到目标位姿变换矩阵，具体包括如图6所示的步骤：
步骤501、根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重。
在一个实施例中，第一数据采集设备和第二数据采集设备的位姿变换矩阵受各采集设备所对应的白噪声的影响，因此，可以以目标位姿变换矩阵对应的噪声方差最小为目标建立目标函数，以第一权重和第二权重之和为1作为约束条件，确定噪声方差和权重之间的关系，基于上述关系确定第一权重和第二权重。
以数据采集设备的数量为N进行说明：
以目标位姿变换矩阵对应的噪声方差最小为目标建立如下式(1)所示的目标函数：
Figure BDA0003805579120000121
其中，wj表示第j个数据采集设备对应的位姿变换矩阵的权重；
Figure BDA0003805579120000122
表示第j个数据采集设备对应的噪声方差；f(w1,w2,…,wN,λ)表示目标位姿变换矩阵对应的噪声方差；λ为参考参数。
如下式(2)所示，N个数据采集设备对应的位姿变换矩阵的权重之和为1：
w1+w2+…+wN＝1 (2)
将上式(1)的最小值问题转换为如下式(3)所示的极值问题：
Figure BDA0003805579120000123
则可得到如下式(4)所示的权重的表达式：
Figure BDA0003805579120000124
将上式(4)代入上式(2)即可得到如下式(5)所示的λ和σj 2之间的关系：
Figure BDA0003805579120000125
将上式(5)代入上式(4)即可得到如下式(6)所示的wj和σj 2之间的关系，即数据采集设备的噪声方差和对应的位姿变换矩阵的权重之间的关系：
Figure BDA0003805579120000126
由上述分析可知，数据采集设备的位姿变换矩阵的权重由数据采集设备的噪声方差决定，因此，在确定数据采集设备的位姿变换矩阵的权重之前，需要先确定数据采集设备的噪声方差。
假设第i个数据采集设备和第j个数据采集设备的位姿变换矩阵的测量值分别为Yi和Yj，位姿变换矩阵的真实值为Y，由白噪声引起的测量误差分别为ni和nj，则可得下式(7)和下式(8)：
Yi＝Y+ni (7)
Yj＝Y+nj (8)
由于数据采集设备的白噪声和位姿变换矩阵之间相互独立，不同数据采集设备的白噪声之间相互独立，因此第i个数据采集设备和第j个数据采集设备的位姿变换矩阵之间的互相关系数Rij如下式(9)所示：
Rij＝E[YiYj]＝E[Y2] (9)
第j个数据采集设备的位姿变换矩阵的自相关系数Rjj如下式(10)所示：
Figure BDA0003805579120000131
根据上式(9)和上式(10)可以得到如下式(11)所示的数据采集设备对应的噪声方差的表达式：
Figure BDA0003805579120000132
其中，第j个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵的自相关系数的计算公式如下式(12)所示：
Figure BDA0003805579120000133
第i个数据采集设备和第j个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵之间的互相关系数的计算公式如下式(13)所示：
Figure BDA0003805579120000134
其中，k为数据采集设备采集数据的总次数；Yj(m)为第j个数据采集设备在第m-1个采集时刻和第m个采集时刻之间的位姿变换矩阵；Yj(k)为第j个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵；Yi(k)为第i个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵。
若数据采集设备包括至少三个，则第j个数据采集设备和其他数据采集设备的位姿变换矩阵之间的互相关系数的计算公式如下式(14)所示：
Figure BDA0003805579120000141
此时，第j个数据采集设备对应的噪声方差的表达式如下式(15)所示：
Figure BDA0003805579120000142
因此，数据采集设备的数量为2(即包括第一数据采集设备和第二数据采集设备)时，目标函数如下式(16)所示：
Figure BDA0003805579120000143
第一数据采集设备的第一权重和噪声方差之间的关系如下式(17)所示：
Figure BDA0003805579120000144
第二数据采集设备的第二权重和噪声方差之间的关系如下式(18)所示：
Figure BDA0003805579120000145
其中，w1为第一位姿变换矩阵对应的权重；w2为第一位姿变换矩阵对应的权重；
Figure BDA0003805579120000146
为第一数据采集设备的噪声方差；
Figure BDA0003805579120000147
为第二数据采集设备的噪声方差。
步骤502、根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
根据第一权重和第二权重，按照下式(19)对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行计算，得到目标位姿变换矩阵：
Figure BDA0003805579120000148
其中，
Figure BDA0003805579120000149
为第一位姿变换矩阵的偏置矩阵；H2为第二位姿变换矩阵；H为目标位姿变换矩阵。
本申请实施例提供的方法可以以目标位姿变换矩阵的噪声方差最小为目标，确定数据采集设备对应的位姿变换矩阵的权重和噪声方差之间的关系，进而根据上述关系确定第一权重和第二权重，最后基于第一权重和第二权重，根据预设关系式对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行计算，得到目标位姿变换矩阵。本申请实施例以目标位姿变换矩阵的噪声方差最小为目标所求得的各数据采集设备对应的位姿变换矩阵的权重更为准确，减小了数据采集设备的白噪声对目标位姿变换矩阵的影响，提高了目标位姿变换矩阵的准确度，进而提高了目标场景三维重建的准确率。
前文所述的实施例中介绍了基于多个目标位姿变换矩阵对目标场景进行三维重建的方案。在本申请的另一实施例中，可以根据多个目标位姿变换矩阵，对多个点云数据进行点云融合、曲面重建等处理，从而得到目标场景的三维模型。具体包括如图7所示的步骤：
步骤601、根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的。
步骤602、对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据。
步骤603、获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据。
步骤604、对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
上述步骤301至步骤303中介绍了对各采集时刻所采集的深度图像数据进行坐标系转换处理，将深度图像数据中各像素点对应的二维坐标转换至对应相机坐标系下的三维坐标，从而得到每帧深度图像数据对应的点云数据。而由于第一数据采集设备的移动，每帧深度图像数据对应的点云数据所在的相机坐标系不同，为得到目标场景对应的完整的点云数据，可以对多个点云数据进行坐标系转换处理，将多个点云数据转换至同一坐标系下。
在一个实施例中，可以将第一数据采集设备在第一个采集时刻对应的相机坐标系作为世界坐标系，根据在时序上相邻的两个采集时刻对应的目标位姿变换矩阵，依次将点云数据转换至世界坐标系下，从而得到目标场景对应的完整的点云数据。例如，数据采集设备对目标场景进行k次数据采集，得到k帧深度图像数据，则根据第k-1个采集时刻至第k个采集时刻之间的目标位姿变换矩阵，对第k帧深度图像数据对应的点云数据进行坐标系转换处理，即可将其转换至数据采集设备在第k-1个采集时刻对应的相机坐标系中。得到世界坐标系下完整的点云数据之后，对处于同一位置的点进行点云融合处理，去除冗余点，从而得到目标场景对应的全局点云数据。
在一个实施例中，可以直接采用TSDF算法对多个目标位姿变换矩阵进行处理，从而得到在算法所建立的三维空间中，目标场景对应的全局点云数据。
如图8所示，本申请实施例提供的三维重建方法的应用环境还可以包括第三数据采集设备40。终端10与第三数据采集设备40通过网络进行通信。第三数据采集设备40可以将采集到的数据发送至终端10，终端10可以对接收到的数据进行处理。其中，第三数据采集设备40可以为RGD-B相机，也可以为其他摄像机，只要可以采集场景的彩色图像数据，本申请对此不作限制；第三数据采集设备40可以集成在第一数据采集设备20上，以使得第一数据采集设备20可以同时采集场景的深度图像数据和彩色图像数据。
在一个实施例中，第三数据采集设备在采集到多个采集时刻对应的彩色图像数据后，将多个彩色图像数据发送至终端，终端可以根据多个彩色图像数据，采用Ray-casting算法对全局点云数据进行渲染处理，得到目标场景对应的彩色全局点云数据，最后采用Marching Cubes算法对彩色全局点云数据进行曲面重建处理，绘制全局点云数据的表面，从而得到目标场景的三维模型。
本申请实施例提供的方法可以基于多个目标位姿变换矩阵对多个点云数据进行点云融合处理，从而得到目标场景的全局点云数据，进而基于全局点云数据进行表面渲染、曲面重建等处理，从而得到目标场景的三维模型。本申请实施例基于准确的目标位姿变换矩阵得到的目标场景的全局点云数据也更为准确，进而基于准确的全局点云数据得到的目标场景的三维模型，提高了目标场景三维重建的准确度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的三维重建方法的三维重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个三维重建装置实施例中的具体限定可以参见上文中对于三维重建方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种三维重建装置，包括：获取模块701、确定模块702和三维重建模块703，其中：
获取模块701，用于获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
确定模块702，用于对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
三维重建模块703，用于根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
在一个实施例中，确定模块702具体用于根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
在一个实施例中，确定模块702还用于根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
在一个实施例中，确定模块702还用于对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
在一个实施例中，确定模块702还用于根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
在一个实施例中，三维重建模块703具体用于根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
上述三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种三维重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维重建方法，其特征在于，所述方法包括：
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；所述图像数据包括目标场景的深度图像数据，所述惯性数据表征所述第二数据采集设备在所述采集时刻的运动状态；
对于在时序上每相邻的两个所述采集时刻，根据所述两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，所述目标位姿变换矩阵用于表征所述第一数据采集设备在所述两个采集时刻的位姿变化；
根据多个所述目标位姿变换矩阵和多个所述图像数据进行三维重建处理，得到所述目标场景的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，包括：
根据所述两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，所述第一位姿变换矩阵用于表征所述第一数据采集设备在所述两个采集时刻的位姿变化；
根据所述两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，所述第二位姿变换矩阵用于表征所述第二数据采集设备在所述两个采集时刻的位姿变化；
将所述第一位姿变换矩阵和所述第二位姿变换矩阵进行融合处理，得到所述目标位姿变换矩阵。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一位姿变换矩阵和所述第二位姿变换矩阵进行融合处理，得到所述目标位姿变换矩阵，包括：
根据所述第一数据采集设备的噪声方差以及所述第二数据采集设备的噪声方差，确定所述第一位姿变换矩阵的第一权重和所述第二位姿变换矩阵的第二权重；
根据所述第一权重和所述第二权重，对所述第一位姿变换矩阵的偏置矩阵和所述第二位姿变换矩阵进行加权求和处理，得到所述目标位姿变换矩阵。
4.根据权利要求2所述的方法，其特征在于，所述根据所述两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，包括：
对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，所述第一深度图像数据和所述第二深度图像数据为所述两个采集时刻所分别采集到的深度图像数据；
对所述第一点云数据和所述第二点云数据进行点云配准处理，得到相互匹配的目标点对；
根据所述目标点对中的点的相对位置关系确定所述第一位姿变换矩阵。
5.根据权利要求2所述的方法，其特征在于，所述根据所述两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，包括：
根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，所述初始位姿变换矩阵用于表征所述第二数据采集设备在所述两个采集时刻的位姿变化，所述第一惯性数据和所述第二惯性数据为所述两个采集时刻所分别采集到的惯性数据；
根据所述第一数据采集设备和所述第二数据采集设备之间的相对位置关系，对所述初始位姿变换矩阵进行坐标系变换处理，得到所述第二位姿变换矩阵。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据多个所述目标位姿变换矩阵和多个所述图像数据进行三维重建处理，得到所述目标场景的三维模型，包括：
根据多个所述目标位姿变换矩阵，对各所述采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，所述点云数据为对各所述采集时刻所采集的深度图像数据进行坐标系转换处理得到的；
对所述完整点云数据进行点云融合处理，得到所述目标场景对应的全局点云数据；
获取第三数据采集设备在所述多个采集时刻所采集的彩色图像数据，并根据多个所述彩色图像数据对所述全局点云数据进行渲染处理，得到彩色全局点云数据；
对所述彩色全局点云数据进行曲面重建处理，得到所述目标场景的三维模型。
7.一种三维重建装置，其特征在于，所述装置包括：
获取模块，用于获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；所述图像数据包括目标场景的深度图像数据，所述惯性数据表征所述第二数据采集设备在所述采集时刻的运动状态；
确定模块，用于对于在时序上每相邻的两个所述采集时刻，根据所述两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，所述目标位姿变换矩阵用于表征所述第一数据采集设备在所述两个采集时刻的位姿变化；
三维重建模块，用于根据多个所述目标位姿变换矩阵和多个所述图像数据进行三维重建处理，得到所述目标场景的三维模型。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210996247.8A 2022-08-19 2022-08-19 三维重建方法、装置、设备、存储介质和程序产品 Pending CN115294280A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210996247.8A CN115294280A (zh) 2022-08-19 2022-08-19 三维重建方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210996247.8A CN115294280A (zh) 2022-08-19 2022-08-19 三维重建方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN115294280A true CN115294280A (zh) 2022-11-04

Family

ID=83829466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210996247.8A Pending CN115294280A (zh) 2022-08-19 2022-08-19 三维重建方法、装置、设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN115294280A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116448105A (zh) * 2023-04-12 2023-07-18 北京百度网讯科技有限公司 位姿更新方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116448105A (zh) * 2023-04-12 2023-07-18 北京百度网讯科技有限公司 位姿更新方法、装置、电子设备和存储介质
CN116448105B (zh) * 2023-04-12 2024-04-30 北京百度网讯科技有限公司 位姿更新方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
CN111311685B (zh) 一种基于imu与单目图像的运动场景重构无监督方法
CN108805898B (zh) 视频图像处理方法和装置
JP5987823B2 (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
WO2022121640A1 (zh) 机器人重定位方法、装置、机器人和可读存储介质
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
CN111983620B (zh) 一种面向水下机器人搜寻探摸的目标定位方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN112184768B (zh) 基于激光雷达的sfm重建方法、装置和计算机设备
TW202238449A (zh) 室內定位系統及室內定位方法
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113361365A (zh) 定位方法和装置、设备及存储介质
US11188787B1 (en) End-to-end room layout estimation
US8509522B2 (en) Camera translation using rotation from device
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统
CN113436267A (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN117352126A (zh) 肌肉受力可视化方法、装置、计算机设备以及存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN111862150A (zh) 图像跟踪的方法、装置、ar设备和计算机设备
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置
CN114022518B (zh) 图像的光流信息获取方法、装置、设备和介质
WO2023140990A1 (en) Visual inertial odometry with machine learning depth
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN112991445B (zh) 模型训练方法、姿态预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination