CN114519765A - 一种三维重建方法、装置、计算机设备和存储介质 - Google Patents
一种三维重建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114519765A CN114519765A CN202011309839.5A CN202011309839A CN114519765A CN 114519765 A CN114519765 A CN 114519765A CN 202011309839 A CN202011309839 A CN 202011309839A CN 114519765 A CN114519765 A CN 114519765A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- dimensional point
- camera
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims description 14
- 238000005259 measurement Methods 0.000 claims abstract description 85
- 239000011159 matrix material Substances 0.000 claims abstract description 64
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种三维重建方法、装置。所述方法包括：获取重建对象在第一对象位置的第一三维点云数据；获取所述重建对象在第二对象位置的第二三维点云数据；根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。采用本方法能够对移动的物体进行三维建模。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种三维重建方法、装置、计算机设备和存储介质。
背景技术
对物体进行三维重建，获得物体的表面模型数据，以便于对物体进行尺寸计算。现有的三维重建方法中，普遍采用的是对三维重建的对象进行主动式的获取数据，如对重建物拍摄照片或进行光扫描等等，再根据照片或者扫描数据通过计算机进行运算获得物体表面的三维点云，进而获得三维重建模型。
然而，现有的三维重建方法只适应于静止的物体，在物体位姿发生变化时，无法实现对物体进行准确的三维建模。
发明内容
基于此，有必要针对上述技术问题，提供一种能够适应多场景的三维重建方法、装置、计算机设备和存储介质。既可以对静止的物体进行三维重建，也可以对运动的物体进行三维重建，还可以对高速运动的物体进行三维重建。
一种三维重建方法，所述方法包括：
获取重建对象在第一对象位置的第一三维点云数据；
获取所述重建对象在第二对象位置的第二三维点云数据；
根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；
将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
在其中一个实施例中，所述获取重建对象在第一对象位置的第一三维点云数据，包括:相机在第一相机位置获取重建对象在第一对象位置的第一三维点云数据；
所述获取所述重建对象在第二对象位置的第二三维点云数据，包括：所述相机在第二相机位置获取所述重建对象在第二对象位置的第二三维点云数据；
所述将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点，包括：根据所述相机从第一相机位置到第二相机位置的惯性测量传感器数据，计算相机转换矩阵；将所述第二三维点云数据通过所述相机转换矩阵和物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
在其中一个实施例中，所述三维重建方法，还包括：对所述相机的内外参数进行标定；对所述相机和安装于所述相机的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述相机的惯性测量传感器，用于测量所述相机从第一相机位置到第二相机位置的惯性测量传感器数据。
在其中一个实施例中，所述三维重建方法，还包括：对所述重建对象和安装于所述重建对象的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述重建对象的惯性测量传感器，用于测量所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据。
在其中一个实施例中，所述获取重建对象在第一对象位置的第一三维点云数据，包括：相机获取重建对象在第一对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第一对象位置的第一三维点云数据。
在其中一个实施例中，所述获取所述重建对象在第二对象位置的第二三维点云数据，包括：相机获取重建对象在第二对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第二对象位置的第二三维点云数据。
在其中一个实施例中，所述根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵，包括：服务器接收重建对象发送的从第一对象位置到第二对象位置的惯性测量传感器数据；服务器根据所述惯性测量传感器数据，计算物体转换矩阵。
一种三维重建装置，所述装置包括：
第一点云数据获取模块，用于获取重建对象在第一对象位置的第一三维点云数据；
第二点云数据获取模块，用于获取所述重建对象在第二对象位置的第二三维点云数据；
物体惯性数据计算模块，用于根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；
构造模块，用于将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取重建对象在第一对象位置的第一三维点云数据；
获取所述重建对象在第二对象位置的第二三维点云数据；
根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；
将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取重建对象在第一对象位置的第一三维点云数据；
获取所述重建对象在第二对象位置的第二三维点云数据；
根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；
将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
上述三维重建方法、装置、计算机设备和存储介质，通过对重建对象获取多个位置的三维点云数据，并根据重建对象的惯性测量传感器数据来计算物体转换矩阵，从而将多个位置的三维点云数据进行叠加来构造重建对象表面的三维点，能够实现对运动的物体进行准确的三维建模。
附图说明
图1为一个实施例中三维重建方法的应用环境图；
图2为一个实施例中三维重建方法的流程示意图；
图3为一个实施例中三维重建装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种三维重建方法，可以应用于如图1所示的应用环境中。其中，相机102通过网络与服务器104进行通信。相机102用于拍摄重建对象101的图像，服务器104根据相机102拍摄的图像进行处理，获得三维点云数据；服务器104获取重建对象101在第一对象位置的第一三维点云数据；服务器104获取所述重建对象101在第二对象位置的第二三维点云数据；服务器104根据所述重建对象101从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；服务器104将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点；其中，重建对象101为车辆，第一对象位置为虚线车辆所处的位置，第二位置为实线车辆所处的位置，惯性测量传感器数据通过车辆上安装的惯性测量传感器1011获取。其中，相机102可以但不限于是各种工业相机、深度相机、双目相机等，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种三维重建方法，包括以下步骤：
S110，获取重建对象在第一对象位置的第一三维点云数据。
其中，重建对象可以为具有各种形状的物体，例如，汽车、加工零件、水杯等。可以通过相机拍摄重建对象在第一对象位置的图像，并通过图像处理获得第一三维点云数据，所述图像为包括深度信息的图像。第一三维点云数据为重建对象表面的像素的三维点云数据。
S120，获取所述重建对象在第二对象位置的第二三维点云数据。
其中，重建对象移动后，再次获取其在第二对象位置的第二三维点云数据。第二对象位置可为多个，第二三维点云数据也可为多帧。对于连续运动的重建对象，可以拍摄多帧重建对象的图像，并对其进行图像处理获得第二三维点云数据。
S130，根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵。
其中，惯性测量传感器设置于所述重建对象，并与所述重建对象一起运动。惯性测量传感器在重建对象运动过程中，采集重建对象的惯性测量传感器数据。
具体的，在相机不移动的情况下，重建对象从第一位置移动到第二位置，物体转换矩阵可以通过在两个位置的惯性测量传感器数据计算得到。
S140，将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
其中，第二三维点云数据通过所述物体转换矩阵，对数据进行旋转和平移，换算成与第一三维点云数据同一坐标系的点云数据，构成所述重建对象另一个角度的三维点云数据，通过多个角度的三维点云数据叠加，能够实现对重建对象的多个面的表面进行重建，最终实现重建对象整体表面的三维重建。其中，对第一点云数据和多个第二点云数据转换至同一坐标系，构造重建对象表面的三维点。
其中，将多个角度的三维点云数据构造重建对象表面，可以采用三维点云融合运算方法，例如，采用“截断有符号距离函数”(truncated signed distance function，简称TSDF)方法进行多个角度的三维点云数据融合，这种方法在世界坐标系中定义了一个立方体，并把该立方体按照一定的分辨率切割成小立方体，每一帧都会更新小立方体网格中的TSDF值，然后再通过TSDF值还原出重建模型，通过两幅图中的网格的TSDF数值分布，可以快速还原出模型表面的形状和位置，该方法的核心思想是，通过不断更新并“融合”TSDF这种类型的测量值，我们能够越来越接近所需要的真实值。将多个角度的三维点云数据构造重建对象表面，也可以采用三维模型建模方法，例如采用三角网格建模方法；或者，使用Geomagic软件进行三维点云数据处理与建模。
上述三维重建方法中，通过对重建对象获取多个位置的三维点云数据，并根据重建对象的惯性测量传感器数据来计算物体转换矩阵，从而将多个位置的三维点云数据进行叠加来构造重建对象表面的三维点，能够实现对运动的物体进行准确的三维建模。
在其中一个实施例中，所述述获取重建对象在第一对象位置的第一三维点云数据，包括:相机在第一相机位置获取重建对象在第一对象位置的第一三维点云数据。所述获取所述重建对象在第二对象位置的第二三维点云数据，包括：所述相机在第二相机位置获取所述重建对象在第二对象位置的第二三维点云数据。所述将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点，包括：根据所述相机从第一相机位置到第二相机位置的惯性测量传感器数据，计算相机转换矩阵；将所述第二三维点云数据通过所述相机转换矩阵和所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
其中，相机可为深度相机、双目相机或多目相机，能够采集重建对象的彩色图和深度图，并通过图像处理获得三维点云数据。相机在多个位置对重建对象进行拍摄，通过多个位置拍摄的图像来获取重建对象多个角度的三维点云数据，能够更加丰富重建对象的表面图像信息。在相机设置惯性测量传感器，以用于采集所述相机从第一相机位置到第二相机位置的惯性测量传感器数据，通过此惯性测量传感器数据能够计算相机转换矩阵。最后结合相机转换矩阵和物体转换矩阵，将第二三维点云数据转换至与所述第一三维点云数据同一坐标系，通过多个角度的三维点云数据叠加，能够实现对重建对象的多个面的表面进行重建，最终实现重建对象整体表面的三维重建。本实施例中，相机与重建对象可具有相对运动，相机可环绕运动的重建对象持续获得三维点云数据，对于存在相对运动的相机与重建对象也可实现重新对象的表面构建。
例如，从相机的起始图像帧和起始图像帧的下一帧开始，计算图像数据前后不同时刻两帧之间的坐标系转换矩阵T，其中两帧之间的相机转换矩阵Tc，两帧之间物体转换矩阵To，坐标系变换矩阵T是通过计算相机转换矩阵Tc和物体转换矩阵To获得的，公式为：
T＝Tc·To。
通常情况下，三维重建对象是刚体，刚体在三维空间中的运动摄影变换是欧氏变换。相机在三维空间中的运动摄影变换也是欧氏变换。基于此，上述两种运动前的坐标系与运动后的坐标系之间相差一个欧氏变换(旋转和平移)。通过设置在重建对象的6自由度惯性测量传感器和设置在相机的6自由度惯性测量传感器，可以分别测量并计算得到旋转和平移数据，通过欧氏变换得到运动前后图像之间的单应矩阵，从而进行三维重构，通过前置的惯性测量传感器阵列的数据一致性匹配校准，即可以使得噪声较小的相对运动数据，从而通过线性计算进行重建对象的重构。其中，刚体变换矩阵表示在k时刻全局坐标系g下一帧的实时6自由度相机姿态估计(转换矩阵)为：
Rg，k是一个3D旋转矩阵，它的值可由惯性测量传感器的角速度计测量值计算得到，tg，k是一个3D平移矢量，它的值可由惯性测量传感器的加速度计测量值计算得到，0T＝(0，0，0)为三维零矢量。Rg，k和tg，k中参数可通过连续时间下惯性测量传感器运动模型计算得到，也可通过离散惯性测量传感器运动模型计算得到。坐标系变换矩阵T、相机转换矩阵Tc或物体转换矩阵To都可以通过Tg，k的形式表示。
在其中一个实施例中，所述三维重建方法，还包括：对所述相机的内外参数进行标定；对所述相机和安装于所述相机的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述相机的惯性测量传感器，用于测量所述相机从第一相机位置到第二相机位置的惯性测量传感器数据。
其中，对所述相机的内外参数进行标定，可以采用张正友的棋盘格标定方法，如使用matlab中的摄像机标定工具箱进行标定。
对惯性测量传感器本身的误差标定可采用6面静置法，将加速度计的3个轴分别朝上或者朝下水平放置一段时间，采集6个面的数据完成标定。其中，惯性测量传感器的陀螺仪的真实值由高精度转台提供，这里的6面是指各个轴顺时针和逆时针旋转。除此之外，还可以采用其他的与六面静止法相似的加速标定方法。
惯性测量传感器坐标系到相机坐标系，通过如下公式进行转换：
第一步，绕着惯性测量传感器坐标系的z轴旋转角度φ，得到新坐标系b1，公式为：
第二步，绕着新坐标系b1的y轴旋转角度θ得到坐标系b2，公式为：
第三步，绕着新坐标系b2的x轴旋转ψ得到坐标系b3，即为相机坐标系：
综合起来，得到：
其中，x为惯性测量传感器坐标系下坐标，xb为相机坐标系下坐标。
在其中一个实施例中，惯性测量传感器与相机在线进行时间戳标定同步，其中一种方法是：
tIMU＝tcam+td；
其中，tIMU为惯性测量传感器时间，tcam为相机时间，td是时间偏移量，td是移动时间戳的时间量，以便相机和惯性测量传感器数据流在时间上保持一致，为此根据td对相机时间序列进行前移和后移。把很短时间内(几毫秒)相机的运动看成是恒速运动，基于此，特征在短时间内以近似恒定的速度在图像表面运动，则有：
其中，[ul k,v1 k]为k时刻图像帧Ik平面上关键点(兴趣点)l的二维观测值，[ul k+1,v1 k +1]为k+1时刻图像帧Ik+1平面上关键点l的二维观测值，图像帧Ik和图像帧Ik+1为两个连续图像帧，V1 k为关键点l在图像平面上的速度，假设相机在短时间内以恒定的速度从Ck移动到Ck +1，近似的认为关键点l在短时间内也以恒速V1 k在像平面上运动，考虑时间偏移量td后的视觉测量的重投影误差公式：
其中，V1 k为关键点l在图像平面上移动的速度，td是时间偏移量，td为未知变量，它在时域上偏移了特征观测值。通过对td的优化，可以在时域内找到符合惯性测量传感器约束条件的最优摄像机位姿和特征观测值，z1 k为关键点l在图像帧Ik中的特征观测值，(Rck w，Pck w)为相机姿态，Pl＝[xl，yl，zl]为关键点l在全局坐标系中坐标，根据相机姿态能够将关键点l在局部坐标系中坐标转换到全局坐标系中，π(·)表示相机投影模型，用于将三维特征投影到图像平面，角标c表示相机帧，角标w表示全局帧，通过(Rck w，Pck w)可以将三维特征从相机帧转换为全局帧，[ul k,v1 k]为k时刻图像帧Ik平面上关键点(兴趣点)l的二维观测值。
在其中一个实施例中，使用开源工具箱Kalibr对所述相机的内外参数进行标定、对所述相机和安装于所述相机的惯性测量传感器进行坐标系匹配校准和惯性测量传感器与相机在线进行时间戳标定同步。
在其中一个实施例中，所述三维重建方法，还包括：对所述重建对象和安装于所述重建对象的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述重建对象的惯性测量传感器，用于测量所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据。
其中，惯性测量传感器坐标系到重建对象坐标系的转换方法，可以参见上述实施例中，惯性测量传感器坐标系到相机坐标系的转换方法。
在其中一个实施例中，所述获取重建对象在第一对象位置的第一三维点云数据，包括：相机获取重建对象在第一对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第一对象位置的第一三维点云数据。
其中，相机可以采用RGBD摄像机来获取深度图像数据和彩色图像数据，或者采用2D摄像机阵列来获取深度图像数据，相对应地使用惯性传感器阵列来获得相机位姿，2D摄像机阵列通过立体视觉法计算物体表面深度数据。例如，利用双目立体视觉相似三角形计算深度。或者，通过带有摄像机和惯性测量传感器的手机获取深度图像数据。
在其中一个实施例中，所述获取所述重建对象在第二对象位置的第二三维点云数据，包括：相机获取重建对象在第二对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第二对象位置的第二三维点云数据。本实施例中，彩色图和深度图的数据获取方法可以参照上述实施例中深度图像数据和彩色图像数据的获取方法。
在其中一个实施例中，所述根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵，包括：服务器接收重建对象发送的从第一对象位置到第二对象位置的惯性测量传感器数据；服务器根据所述惯性测量传感器数据，计算物体转换矩阵。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种三维重建装置，包括：第一点云数据获取模块210、第二点云数据获取模块220、物体惯性数据计算模块230和构造模块240，其中：
第一点云数据获取模块210，用于获取重建对象在第一对象位置的第一三维点云数据。
第二点云数据获取模块220，用于获取所述重建对象在第二对象位置的第二三维点云数据。
物体惯性数据计算模块230，用于根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵。
构造模块240，用于将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
在其中一个实施例中，所述第一点云数据获取模块210，还用于相机在第一相机位置获取重建对象在第一对象位置的第一三维点云数据；所述第二点云数据获取模块220，还用于所述相机在第二相机位置获取所述重建对象在第二对象位置的第二三维点云数据；所述构造模块240包括：相机转换矩阵计算单元，用于根据所述相机从第一相机位置到第二相机位置的惯性测量传感器数据，计算相机转换矩阵；构造单元，用于将所述第二三维点云数据通过所述相机转换矩阵和物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
在其中一个实施例中，所述三维重建装置，还包括：标定模块，用于对所述相机的内外参数进行标定；相机校准模块，用于对所述相机和安装于所述相机的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述相机的惯性测量传感器，用于测量所述相机从第一相机位置到第二相机位置的惯性测量传感器数据。
在其中一个实施例中，所述三维重建装置，还包括：重建对象校正模块，用于对所述重建对象和安装于所述重建对象的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述重建对象的惯性测量传感器，用于测量所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据。
在其中一个实施例中，所述第一点云数据获取模块210，包括：第一图像发送单元，用于相机获取重建对象在第一对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；第一处理单元，用于所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第一对象位置的第一三维点云数据。
在其中一个实施例中，所述第二点云数据获取模块220，包括：第二图像发送单元，用于相机获取重建对象在第二对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；第二处理单元，用于所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第二对象位置的第二三维点云数据。
在其中一个实施例中，所述物体惯性数据计算模块230，包括：数据接收单元，用于服务器接收重建对象发送的从第一对象位置到第二对象位置的惯性测量传感器数据；物体转换矩阵计算单元，用于服务器根据所述惯性测量传感器数据，计算物体转换矩阵。
关于三维重建装置的具体限定可以参见上文中对于三维重建方法的限定，在此不再赘述。上述三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储三维点云数据数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维重建方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种三维重建方法，其特征在于，所述方法包括：
获取重建对象在第一对象位置的第一三维点云数据；
获取所述重建对象在第二对象位置的第二三维点云数据；
根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；
将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
2.根据权利要求1所述的方法，其特征在于，所述获取重建对象在第一对象位置的第一三维点云数据，包括:
相机在第一相机位置获取重建对象在第一对象位置的第一三维点云数据；
所述获取所述重建对象在第二对象位置的第二三维点云数据，包括：
所述相机在第二相机位置获取所述重建对象在第二对象位置的第二三维点云数据；
所述将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点，包括：
根据所述相机从第一相机位置到第二相机位置的惯性测量传感器数据，计算相机转换矩阵；
将所述第二三维点云数据通过所述相机转换矩阵和物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
3.根据权利要求2所述的方法，其特征在于，还包括：
对所述相机的内外参数进行标定；
对所述相机和安装于所述相机的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述相机的惯性测量传感器，用于测量所述相机从第一相机位置到第二相机位置的惯性测量传感器数据。
4.根据权利要求1所述的方法，其特征在于，还包括：
对所述重建对象和安装于所述重建对象的惯性测量传感器，进行坐标系匹配校准；其中，所述安装于所述重建对象的惯性测量传感器，用于测量所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据。
5.根据权利要求1所述的方法，其特征在于，所述获取重建对象在第一对象位置的第一三维点云数据，包括：
相机获取重建对象在第一对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；
所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第一对象位置的第一三维点云数据。
6.根据权利要求1所述的方法，其特征在于，所述获取所述重建对象在第二对象位置的第二三维点云数据，包括：
相机获取重建对象在第二对象位置的彩色图和深度图，并将所述彩色图和深度图发送至服务器；
所述服务器对所述彩色图和深度图进行处理，获得所述重建对象在第二对象位置的第二三维点云数据。
7.根据权利要求1所述的方法，其特征在于，所述根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵，包括：
服务器接收重建对象发送的从第一对象位置到第二对象位置的惯性测量传感器数据；
服务器根据所述惯性测量传感器数据，计算物体转换矩阵。
8.一种三维重建装置，其特征在于，所述装置包括：
第一点云数据获取模块，用于获取重建对象在第一对象位置的第一三维点云数据；
第二点云数据获取模块，用于获取所述重建对象在第二对象位置的第二三维点云数据；
物体惯性数据计算模块，用于根据所述重建对象从第一对象位置到第二对象位置的惯性测量传感器数据，计算物体转换矩阵；
构造模块，用于将所述第二三维点云数据通过所述物体转换矩阵，转换至与所述第一三维点云数据同一坐标系，并与所述第一三维点云数据构造重建对象表面的三维点。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011309839.5A CN114519765A (zh) | 2020-11-20 | 2020-11-20 | 一种三维重建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011309839.5A CN114519765A (zh) | 2020-11-20 | 2020-11-20 | 一种三维重建方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114519765A true CN114519765A (zh) | 2022-05-20 |
Family
ID=81595479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011309839.5A Pending CN114519765A (zh) | 2020-11-20 | 2020-11-20 | 一种三维重建方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114519765A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140320491A1 (en) * | 2013-04-26 | 2014-10-30 | Tsinghua University | Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map |
| CN106504275A (zh) * | 2016-10-12 | 2017-03-15 | 杭州深瞳科技有限公司 | 一种惯性定位与点云配准耦合互补的实时三维重建方法 |
| CN108337915A (zh) * | 2017-12-29 | 2018-07-27 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| US20190226852A1 (en) * | 2016-09-09 | 2019-07-25 | Nanyang Technological University | Simultaneous localization and mapping methods and apparatus |
| CN111080784A (zh) * | 2019-11-27 | 2020-04-28 | 贵州宽凳智云科技有限公司北京分公司 | 一种基于地面图像纹理的地面三维重建方法和装置 |
| CN111150175A (zh) * | 2019-12-05 | 2020-05-15 | 新拓三维技术(深圳)有限公司 | 一种双足三维扫描方法、装置及系统 |
-
2020
- 2020-11-20 CN CN202011309839.5A patent/CN114519765A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140320491A1 (en) * | 2013-04-26 | 2014-10-30 | Tsinghua University | Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map |
| US20190226852A1 (en) * | 2016-09-09 | 2019-07-25 | Nanyang Technological University | Simultaneous localization and mapping methods and apparatus |
| CN106504275A (zh) * | 2016-10-12 | 2017-03-15 | 杭州深瞳科技有限公司 | 一种惯性定位与点云配准耦合互补的实时三维重建方法 |
| CN108337915A (zh) * | 2017-12-29 | 2018-07-27 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| CN111080784A (zh) * | 2019-11-27 | 2020-04-28 | 贵州宽凳智云科技有限公司北京分公司 | 一种基于地面图像纹理的地面三维重建方法和装置 |
| CN111150175A (zh) * | 2019-12-05 | 2020-05-15 | 新拓三维技术(深圳)有限公司 | 一种双足三维扫描方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
| CN108665537B (zh) | 联合优化人体体态与外观模型的三维重建方法及系统 | |
| CN105844696B (zh) | 基于射线模型三维重构的图像定位方法以及装置 | |
| JP7143225B2 (ja) | 三次元再構成方法及び三次元再構成装置 | |
| JP6407878B2 (ja) | 場面の３ｄ再構築および３ｄパノラマモザイキングの方法 | |
| CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
| KR20180067908A (ko) | 3차원 모델 복원 장치 및 방법 | |
| WO2024045632A1 (zh) | 基于双目视觉和imu的水下场景三维重建方法及设备 | |
| CN110419208B (zh) | 成像系统、成像控制方法、图像处理设备和计算机可读介质 | |
| CN112598706B (zh) | 无需精确时空同步的多相机运动目标三维轨迹重建方法 | |
| JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
| CN114638897A (zh) | 基于无重叠视域的多相机系统的初始化方法、系统及装置 | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| CN113240597A (zh) | 基于视觉惯性信息融合的三维软件稳像方法 | |
| JP7170230B2 (ja) | 三次元再構成方法及び三次元再構成装置 | |
| KR101725166B1 (ko) | 2차원 이미지들을 이용하여 3차원 이미지를 재구성하는 방법 및 이를 위한 장치 | |
| GB2569609A (en) | Method and device for digital 3D reconstruction | |
| JP2006195790A (ja) | レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム | |
| CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及系统 | |
| CN114519765A (zh) | 一种三维重建方法、装置、计算机设备和存储介质 | |
| KR102107465B1 (ko) | 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 | |
| CN111696158B (zh) | 基于仿射匹配点对的多像机系统相对位姿估计方法及装置 | |
| JP2019032660A (ja) | 撮像システム、撮像方法 | |
| CN115147495A (zh) | 一种针对车载系统的标定方法、装置以及系统 | |
| JP2007034964A (ja) | カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |