CN116580074B - 一种基于多传感器融合的三维重建方法 - Google Patents

一种基于多传感器融合的三维重建方法 Download PDF

Info

Publication number
CN116580074B
CN116580074B CN202310859907.2A CN202310859907A CN116580074B CN 116580074 B CN116580074 B CN 116580074B CN 202310859907 A CN202310859907 A CN 202310859907A CN 116580074 B CN116580074 B CN 116580074B
Authority
CN
China
Prior art keywords
point cloud
sensor
model
data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310859907.2A
Other languages
English (en)
Other versions
CN116580074A (zh
Inventor
龚明
王亮
周镭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiwei Future Technology Wuxi Co ltd
Original Assignee
Aiwei Future Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiwei Future Technology Wuxi Co ltd filed Critical Aiwei Future Technology Wuxi Co ltd
Priority to CN202310859907.2A priority Critical patent/CN116580074B/zh
Publication of CN116580074A publication Critical patent/CN116580074A/zh
Application granted granted Critical
Publication of CN116580074B publication Critical patent/CN116580074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多传感器融合的三维重建方法，包括使用TOF传感器、图像传感器和IMU传感器采集数据，对IMU数据处理获得位姿数据，融合TOF传感器和位姿数据获得点云模型A，基于图像序列数和位姿数据进行稀疏点云重建和稠密点云重建，经过点云网格建模建立三维模型B，对模型A和模型B执行点云配准，三角网格化处理和纹理映射，获得最终的三维模型。通过融合多种传感器数据，提高了三维重建的建模精度，也提高了三维重建的适用范围。

Description

一种基于多传感器融合的三维重建方法
技术领域
本发明涉及三维建模技术领域，尤其涉及一种基于多传感器融合的三维重建方法。
背景技术
随着科技的不断发展，三维扫描技术在建筑、医疗、文创、影视、游戏和工业制造等领域的应用越来越广泛。目前，三维重建技术主要包括基于计算机图像处理和基于激光扫描重建两种技术路线。基于计算机图像处理实际上是通过多幅拍摄的图像，运用计算机图像处理方法进行三维建模，但是受到光照等因素的影响较大。三维激光扫描技术利用三维扫描设备对目标进行扫描，之后重建目标的三维模型，实际上是基于点云信息完成三维重建。然而采用三维扫描技术存在精度不高、扫描周期长、价格高、体积大等问题，为解决上述问题，本发明提出了一种利用TOF、摄像头和IMU传感器数据进行融合，生成高精度三维模型的方法。
发明内容
为解决至少部分上述问题，本发明提供了一种基于多传感器融合的三维重建方法。为实现以上目的，提供以下技术方案：
一种基于多传感器融合的三维重建方法，其特征在于，包括以下步骤：
数据采集步骤，使用采集设备采集模型信息，采集设备包括TOF传感器、图像传感器和IMU传感器，其中，IMU传感器用于捕获采集设备的角速度和加速度信息；
IMU数据处理步骤，对IMU传感器采集的角速度和加速度信息进行处理，获得采集设备的位姿数据；
点云数据处理步骤，融合TOF传感器和位姿数据，经过点云匹配计算，获得三维点云模型A；
基于图像三维重建步骤，获取图像传感器采集的图像序列，对图像序列预处理，结合位姿数据进行稀疏点云重建和稠密点云重建，经过点云网格建模建立三维模型B；
所述经过点云网格建模建立三维模型B，具体为：在稀疏点云的基础上，使用PMVS或CMVS算法生成稠密点云；
模型融合步骤，对模型A和模型B执行点云配准，三角网格化处理和纹理映射，获得最终的三维模型；
其中，所述滤波处理包括，滤除噪点数据的影响，具体为：
TOF传感器捕获的N个a行b列的深度数据，转换为N幅深度图像，利用式1）对深度值进行滤波，
1）
其中，为第k幅深度图像坐标点(x,y)处的原始值，/>为修正值，1<=k<=N。
作为优选，所述TOF传感器和所述图像传感器并排固定在所述采集设备上，IMU传感器与采集设备电性连接，所述TOF传感器用于采集深度信息，所述图像传感器主要用于采集图像序列。
作为优选，从TOF传感器中获取深度数据，对深度数据进行滤波处理，结合位姿数据和滤波后的深度数据采用ICP算法实现配准得到三维点云模型A。
作为优选，所述滤波处理包括，去除深度数据中的离群点，具体为：
判断深度数据中每个点p的半径为L的范围内中点云数目n与阈值T之间的关系，当n>=T时，点p为非离群点，当n<T时，点p为离群点，滤除离群点。
作为优选，所述滤波处理包括，滤除噪点数据的影响，具体为：
初始化先进先出队列Q，将N幅深度图像存入队列Q，队列的长度为N，当获得第N+1幅深度图时，队列Q执行队首出队操作，将第N+1幅深度图执行队尾入队操作，根据式1）对深度值进行滤波。
作为优选，对图像序列数据进行亮度、色调、去畸变处理，得到处理后的图像序列数据。
作为优选，进行稀疏点云重建和稠密点云重建，具体为：
输入图像序列，检测每张影像中的特征点，并对特征点进行匹配，然后运用 SFM重构算法，获得稀疏点云；从图像序列中选择参考影像，从稀疏点云中选取种子点，种子点投影到参考图像获得对应像素点的深度和法向量，将对应像素点作为种子优化参考图像其他像素点的深度和法向量信息，根据深度图每个像素的深度，利用图像传感器的逆投影矩阵可以将深度像素点投影到三维空间，获得稠密点云。
作为优选，所述对模型A和模型B执行点云配准，具体为：
对模型A和模型B执行ICP点云配准。
作为优选，对所述三角网格化处理，具体为：
步骤S1，对初步点云数据构造k-dimensional树，确定邻域搜索范围以及计算初步点云表面的法线；步骤S2，将初步点云数据沿法线方向投影，映射到邻域内法向矢量切平面中，确定三角形边缘，构建三角形边缘表，计算领域点和生长边在投影平面上形成的夹角，选择夹角的cosine值最小的点作为扩展点；步骤S3，将扩展点映射到三维空间构成新三角形加入三角网格，并在边缘表中移出当前最短边缘；判断边缘表是否为空，若否，迭代执行S3，若是，三角网格化处理结束。
本发明的有益效果为：
本发明提供了一种基于多传感器融合的三维重建方法，包括使用TOF传感器、图像传感器和IMU传感器采集数据，对IMU数据处理获得位姿数据，融合TOF传感器和位姿数据获得点云模型A，基于图像三维重建获得三维模型B，对模型A和模型B执行点云配准，三角网格化处理和纹理映射，获得最终的三维模型。通过融合多种传感器数据，提高了三维重建的建模精度。由于TOF传感器可以在各种光照条件下工作，因此本发明的三维模型生成算法可以在室内和室外的各种光照条件下工作，也提高了三维重建的适用范围。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明的一种基于多传感器融合的三维重建方法的流程图；
图2是本发明的三角网格化处理方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明的一种基于多传感器融合的三维重建方法的流程图包括以下步骤：
数据采集步骤，使用采集设备采集模型信息，采集设备包括TOF传感器、图像传感器和IMU传感器，其中，IMU传感器用于捕获采集设备的角速度和加速度信息。
使用时间飞行（TOF）传感器获取深度信息,TOF传感器可以发射光脉冲并测量返回的时间，从而计算出物体的距离。TOF传感器具有高实时性、高帧率、高鲁棒性、不依赖外界光照、体积小等优点。一般情况下，TOF传感器可以在一个角度下测量多个点的距离信息，可以扫描整个场景以获取其深度信息，无须逐点扫描，不依赖外界光照的特点。
使图像传感器获取场景的二维图像序列图像传感器可以用来捕捉场景的外观信息。图像传感器需要能够捕捉高质量的图像，以便在后续处理过程中产生更好的效果。图像传感器的分辨率越高，获取的图像越清晰，生成的三维模型就越精确。
使用惯性测量单元（IMU）传感器来跟踪图像传感器的运动。IMU可以提供有关图像传感器的加速度和角速度信息，以及图像传感器的方向和位置。通过IMU传感器的数据，可以了解图像传感器的运动状态，以便在后续处理过程中更好地结合TOF传感器和图像传感器的数据。
作为优选，所述TOF传感器和所述图像传感器并排固定在所述采集设备上，IMU传感器与采集设备电性连接。
IMU数据处理步骤，对IMU传感器采集的角速度和加速度信息进行处理，获得采集设备的位姿数据。
常用的IMU传感器分别在x轴、Y轴和z轴上包含一个加速度计和一个陀螺仪，三个单轴的加速度计用来解算x, y,z三个方向的瞬时加速度的值。IMU采集数据的过程中难免受到干扰，需要对采集的数据进行处理，包括滤波去噪处理，减少由误差等产生的噪声和干扰。在实际应用中，可以采用卡尔曼滤波等方法处理。处理之后，对加速度进行积分获得位移信息，对角速度积分获得旋转角度信息。在实际应用中，为了获得采集设备的位姿信息，还需要对IMU和TOF、图像传感器进行联合标定，把各个传感器的坐标系统统一起来，建立各坐标系之间的转换关系。建立IMU坐标系、图像传感器坐标系、世界坐标系等坐标系之间的转换关系属于本领域公知常识，在此不做详述。
点云数据处理步骤，融合TOF传感器和位姿数据，经过点云匹配计算，获得三维点云模型A。
点云匹配领域使用最多的就是ICP算法，对相同或不同位姿状态下的点云数据求取对应点，基于对应点构造旋转平移矩阵，并使用求得的旋转平移矩阵统一点云坐标系，估计变换后的误差，若误差大于阈值，则迭代执行直到满足误差要求。
基于图像三维重建步骤，获取图像传感器采集的图像序列，对图像序列预处理，结合位姿数据进行稀疏点云重建和稠密点云重建，经过点云网格建模建立三维模型B。
稀疏点云重建是通过图像传感器的位移来确定目标的空间和几何关系的。首先输入场景的多视角图像序列，检测每张图像中的特征点，并对特征点进行匹配，然后运用SFM（Structure From Motion）重构算法，恢复出图像传感器的参数、相对位置关系及场景的稀疏点云。SFM重构算法利用图像传感器运动轨迹来估算图像传感器参数。图像传感器在不同视点摄取多幅图像，利用这些图像计算出图像传感器的位置信息以及运动轨迹，从而在空间坐标系下生成三维点云。稀疏点云重建的流程一般为:特征点检测，特征点匹配，图像传感器位姿初始值的求解，捆绑调整优化图像传感器位姿、图像传感器参数、场景结构。在稀疏点云的基础上，使用PMVS或CMVS等算法生成稠密点云，构建稠密点云步骤预设为近景以及高细节点云网格建模，保证最精密的点云模型。
模型融合步骤，对模型A和模型B执行点云配准，三角网格化处理和纹理映射，获得最终的三维模型。
对于模型A和模型B，在执行ICP配准之后，采用三角网格化算法进行点云曲面重建和纹理映射，一般来说，基于TOF的点云模型A会存在边缘模糊、空洞以及局部弯曲变形问题。而基于图形的点云模型B一般弯曲形变较小，为了实现优势互补，对两种模型进行融合重建。
作为优选，从TOF传感器中获取深度数据，对深度数据进行滤波处理，结合位姿数据和滤波后的深度数据采用ICP算法实现配准得到三维点云模型A。滤波处理包括，去除深度数据中的离群点，具体为：判断深度数据中每个点p的半径为L的范围内中点云数目n与阈值T之间的关系，当n>=T时，点p为非离群点，当n<T时，点p为离群点，滤除离群点。半径L和阈值T可以根据点云的实际情况设置。优选地，先对点云数据建立k-dimensional树，加快离群点滤波速度。
作为优选，所述滤波处理包括，滤除噪点数据的影响，具体为：
TOF传感器捕获的N个a行b列的深度数据，转换为N幅深度图像，利用式1）对深度值进行滤波，
1）
其中，为第k幅深度图像坐标点(x,y)处的原始值，/>为修正值，1<=k<=N。
作为优选，所述滤波处理包括，滤除噪点数据的影响，具体为：
初始化先进先出队列Q，将N幅深度图像存入队列Q，队列的长度为N，当获得第N+1幅深度图时，队列Q执行队首出队操作，将第N+1幅深度图执行队尾入队操作，根据式1）对深度值进行滤波。图像序列中，相邻图像之间差异较小，采用滚动方式对噪点滤波，相较于原始的均值滤波取得了更好的效果。
作为优选，对图像序列数据进行亮度、色调、去畸变处理，得到处理后的图像序列数据。
作为优选，进行稀疏点云重建和稠密点云重建，具体为：
输入图像序列，检测每张影像中的特征点，并对特征点进行匹配，然后运用 SFM重构算法，获得稀疏点云；从图像序列中选择参考影像，从稀疏点云中选取种子点，种子点投影到参考图像获得对应像素点的深度和法向量，将对应像素点作为种子优化参考图像其他像素点的深度和法向量信息，根据深度图每个像素的深度，利用图像传感器的逆投影矩阵可以将深度像素点投影到三维空间，获得稠密点云。
作为优选，所述对模型A和模型B执行点云配准，具体为：对模型A和模型B执行ICP点云配准。
图2为本发明的三角网格化处理步骤，具体为：
步骤S1，对初步点云数据构造k-dimensional树，确定邻域搜索范围以及计算初步点云表面的法线。
步骤S2，将初步点云数据沿法线方向投影，映射到邻域内法向矢量切平面中，确定三角形边缘，构建三角形边缘表，计算领域点和生长边在投影平面上形成的夹角，选择夹角的cosine值最小的点作为扩展点。
步骤S3，将扩展点映射到三维空间构成新三角形加入三角网格，并在边缘表中移出当前最短边缘。
S4、判断边缘表是否为空，若否，迭代执行S3，若是，执行步骤S5。
S5、三角网格化处理结束。
在三角网格化处理之后，还需要对生成的模型进行纹理映射。根据坐标系映射关系，将纹理数据按照纹理坐标映射到模型上，增强了模型的真实感，使得模型更加细腻。
本发明基于多传感器融合的方式进行三维重建方法，包括使用TOF传感器、图像传感器和IMU传感器采集数据，对IMU数据处理获得位姿数据，融合TOF传感器和位姿数据获得点云模型A，基于图像三维重建获得三维模型B，对模型A和模型B执行点云配准，三角网格化处理和纹理映射，获得最终的三维模型。通过融合多种传感器数据获取的点云数据，提高了三维重建的建模精度，克服了仅基于TOF建模易产生空洞、局部变形的问题，也提高了三维重建的适用范围。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的装置可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的装置。此外，当通用计算机访问用于实现在此示出的装置的代码时，代码的执行将通用计算机转换为用于执行在此示出的装置的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及装置步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同装置来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (6)

1.一种基于多传感器融合的三维重建方法，其特征在于，包括以下步骤：
数据采集步骤，使用采集设备采集模型信息，采集设备包括TOF传感器、图像传感器和IMU传感器，其中，IMU传感器用于捕获采集设备的角速度和加速度信息；
IMU数据处理步骤，对IMU传感器采集的角速度和加速度信息进行处理，获得采集设备的位姿数据；
点云数据处理步骤，融合TOF传感器和位姿数据，经过点云匹配计算，获得三维点云模型A；
基于图像三维重建步骤，获取图像传感器采集的图像序列，对图像序列预处理，结合位姿数据进行稀疏点云重建和稠密点云重建，经过点云网格建模建立三维模型B；
所述经过点云网格建模建立三维模型B，具体为：在稀疏点云的基础上，使用PMVS或CMVS算法生成稠密点云；
模型融合步骤，模型A和模型B进行融合重建，对模型A和模型B执行点云配准，三角网格化处理和纹理映射，获得最终的三维模型；
其中，获得三维点云模型A，具体为：
从TOF传感器中获取深度数据，对深度数据进行滤波处理，结合位姿数据和滤波后的深度数据采用ICP算法实现配准得到三维点云模型A；
其中，所述滤波处理包括，滤除噪点数据的影响，具体为：
TOF传感器捕获的N个a行b列的深度数据，转换为N幅深度图像，初始化先进先出队列Q，将N幅深度图像存入队列Q，队列的长度为N，当获得第N+1幅深度图时，队列Q执行队首出队操作，将第N+1幅深度图执行队尾入队操作，利用式1)对深度值进行滤波，
其中，Dk(x，y)为第k幅深度图像坐标点(x,y)处的原始值，D′(x，y)为修正值，1<＝k<＝N；
对所述三角网格化处理，具体为：
步骤S1，对初步点云数据构造k-dimensional树，确定邻域搜索范围以及计算初步点云表面的法线；步骤S2，将初步点云数据沿法线方向投影，映射到邻域内法向矢量切平面中，确定三角形边缘，构建三角形边缘表，计算领域点和生长边在投影平面上形成的夹角，选择夹角的cosine值最小的点作为扩展点；步骤S3，将扩展点映射到三维空间构成新三角形加入三角网格，并在边缘表中移出当前最短边缘；步骤S4，判断边缘表是否为空，若否，迭代执行S3，若是，三角网格化处理结束。
2.根据权利要求1所述的一种基于多传感器融合的三维重建方法，其特征在于，
所述TOF传感器和所述图像传感器并排固定在所述采集设备上，IMU传感器与采集设备电性连接，所述TOF传感器用于采集深度信息，所述图像传感器主要用于采集图像序列。
3.根据权利要求1所述的一种基于多传感器融合的三维重建方法，其特征在于，所述滤波处理包括，去除深度数据中的离群点，具体为：
判断深度数据中每个点p的半径为L的范围内中点云数目n与阈值T之间的关系，当n>＝T时，点p为非离群点，当n<T时，点p为离群点，滤除离群点。
4.根据权利要求1所述的一种基于多传感器融合的三维重建方法，其特征在于，
对图像序列数据进行亮度、色调、去畸变处理，得到处理后的图像序列数据。
5.根据权利要求1所述的一种基于多传感器融合的三维重建方法，其特征在于，进行稀疏点云重建和稠密点云重建，具体为：
输入图像序列，检测每张影像中的特征点，并对特征点进行匹配，然后运用SFM重构算法，获得稀疏点云；从图像序列中选择参考影像，从稀疏点云中选取种子点，种子点投影到参考图像获得对应像素点的深度和法向量，将对应像素点作为种子优化参考图像其他像素点的深度和法向量信息，根据深度图每个像素的深度，利用图像传感器的逆投影矩阵将深度像素点投影到三维空间，获得稠密点云。
6.根据权利要求1所述的一种基于多传感器融合的三维重建方法，其特征在于，所述对模型A和模型B执行点云配准，具体为：
对模型A和模型B执行ICP点云配准。
CN202310859907.2A 2023-07-12 2023-07-12 一种基于多传感器融合的三维重建方法 Active CN116580074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310859907.2A CN116580074B (zh) 2023-07-12 2023-07-12 一种基于多传感器融合的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310859907.2A CN116580074B (zh) 2023-07-12 2023-07-12 一种基于多传感器融合的三维重建方法

Publications (2)

Publication Number Publication Date
CN116580074A CN116580074A (zh) 2023-08-11
CN116580074B true CN116580074B (zh) 2023-10-13

Family

ID=87536430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310859907.2A Active CN116580074B (zh) 2023-07-12 2023-07-12 一种基于多传感器融合的三维重建方法

Country Status (1)

Country Link
CN (1) CN116580074B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378349A (zh) * 2019-07-16 2019-10-25 北京航空航天大学青岛研究院 Android移动端室内场景三维重建及语义分割方法
CN112085844A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 面向野外未知环境的无人机影像快速三维重建方法
CN112465984A (zh) * 2020-11-12 2021-03-09 西北工业大学 一种基于双层过滤的单目相机序列图像三维重构方法
WO2023284715A1 (zh) * 2021-07-15 2023-01-19 华为技术有限公司 一种物体重建方法以及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378349A (zh) * 2019-07-16 2019-10-25 北京航空航天大学青岛研究院 Android移动端室内场景三维重建及语义分割方法
CN112085844A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 面向野外未知环境的无人机影像快速三维重建方法
CN112465984A (zh) * 2020-11-12 2021-03-09 西北工业大学 一种基于双层过滤的单目相机序列图像三维重构方法
WO2023284715A1 (zh) * 2021-07-15 2023-01-19 华为技术有限公司 一种物体重建方法以及相关设备

Also Published As

Publication number Publication date
CN116580074A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
Wolff et al. Point cloud noise and outlier removal for image-based 3D reconstruction
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN109272537B (zh) 一种基于结构光的全景点云配准方法
US11748907B2 (en) Object pose estimation in visual data
WO2019105044A1 (zh) 一种镜头畸变矫正和特征提取的方法及系统
CN111210477B (zh) 一种运动目标的定位方法及系统
CN111862316B (zh) 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法
CN107730519A (zh) 一种人脸二维图像到人脸三维重建的方法及系统
CN112927251B (zh) 基于形态学的场景稠密深度图获取方法、系统及装置
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN114869332A (zh) 一种基于九轴传感器的三维超声图像重组方法
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN116580074B (zh) 一种基于多传感器融合的三维重建方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
Verhoeven Getting computer vision airborne: using structure from motion for accurate orthophoto production
Hongsheng et al. Three-dimensional reconstruction of complex spatial surface based on line structured light
CN114897967A (zh) 一种面向挖掘装备自主作业的物料形态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant