CN116310224A - 一种快速目标三维重建方法及装置 - Google Patents

一种快速目标三维重建方法及装置 Download PDF

Info

Publication number
CN116310224A
CN116310224A CN202310513515.0A CN202310513515A CN116310224A CN 116310224 A CN116310224 A CN 116310224A CN 202310513515 A CN202310513515 A CN 202310513515A CN 116310224 A CN116310224 A CN 116310224A
Authority
CN
China
Prior art keywords
images
image
target
reconstruction
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310513515.0A
Other languages
English (en)
Other versions
CN116310224B (zh
Inventor
杨帆
郝强
潘鑫淼
孙宇飞
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Xiaoshi Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaoshi Technology Jiangsu Co ltd filed Critical Xiaoshi Technology Jiangsu Co ltd
Priority to CN202310513515.0A priority Critical patent/CN116310224B/zh
Publication of CN116310224A publication Critical patent/CN116310224A/zh
Application granted granted Critical
Publication of CN116310224B publication Critical patent/CN116310224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种快速目标三维重建方法，属于多视图三维重建技术领域。该方法包括网格重建的步骤，所述网格重建包括以下步骤：S1、将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；S2、对所述多视图图像序列中的每幅图像Ii进行显著性检测，得到图像Ii的目标掩模Mi，i=1,2,...,N,N为多视图图像序列的图像数量；S3、使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；S4、使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型。本发明还公开了一种快速目标三维重建装置。本发明可大幅提高目标三维重建的效率。

Description

一种快速目标三维重建方法及装置
技术领域
本发明涉及一种目标三维重建方法，属于多视图三维重建技术领域。
背景技术
针对某一目标的多视图三维重建流程通常包括稀疏重建和之后的网格重建，其中，稀疏重建是通过对目标的多视图图像序列进行特征检测和特征匹配，并根据特征匹配结果计算得到目标的稀疏点云和相机位姿；网格重建则是在稀疏重建基础上进一步得到目标更精细的网格结构特征及纹理特征。
现有多视图三维重建技术的网格重建通常包括稠密重建、网格几何结构重建和纹理重建。其中稠密重建采用深度估计、法线估计算法预测出图像中每个像素的深度和法线方向，从而得到每个像素在空间中的位置，即未经处理的稠密点云，再利用点云融合算法对这些点云进行过滤和融合，得到处理后的稠密点云。网格几何结构重建采用泊松曲面重建或Delaunay三角化算法将处理后的稠密点云转变为网格。最后纹理重建结合相机位姿将网格投影到图像空间提取纹理。显然，现有的网格重建方法存在步骤繁琐复杂的问题，总的耗时很长。
另一方面，稀疏重建首先需要进行特征检测和特征匹配；特征检测步骤从每张图像中检测出特征点和对应的描述符（descriptor），特征点一般为图像内容中的角点、交叉点、闭合区域中心点等显著可区分的点，描述符为对应点的特征。特征匹配步骤从图像序列中选取两张图像，根据描述符对两组特征点集进行匹配，再根据匹配到的特征点计算二者的相机相对位姿。多视图数据的拍摄方式通常为拍摄设备环绕目标拍摄多圈，空间上相近的图像能够较好地匹配。拍摄的图像虽在时间上具备连续性，但缺少准确的GPS信息，所以无法直接找出与某一张图像空间位置相近的所有图像。现有的特征匹配逻辑通常为顺序匹配或乱序匹配。顺序匹配方法是将当前图像与时间上相近的若干帧图像进行匹配，但由于图像序列是环绕拍摄的，很多空间上位置上相近的图像，可能时间上并不相邻，导致部分图像无法很好地匹配。而乱序匹配是将任意两张图像都进行匹配，这样虽然保证了所有空间上相近的帧都不会被忽略，但N幅图像需匹配N(N-1)次，耗时过长。
发明内容
本发明所要解决的技术问题在于克服现有技术所存在的网格重建过程繁琐耗时的不足，提供一种可快速完成网格重建过程的快速目标三维重建方法。
本发明具体采用以下技术方案解决上述技术问题：
一种快速目标三维重建方法，包括对目标的多视图图像序列进行稀疏重建，得到目标的稀疏点云和相机位姿的步骤，以及其后的网格重建以得到目标三维模型的步骤，所述网格重建包括以下步骤：
S1、将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；
S2、对所述多视图图像序列中的每幅图像Ii进行显著性检测，得到图像Ii的目标掩模Mi，i=1,2,...,N，N为所述多视图图像序列的图像数量；
S3、使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以
Figure SMS_1
作为损失函数，其中，Ri为图像Ii的渲染图像，/>
Figure SMS_2
函数表示计算图像的像素值之和；
S4、使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以
Figure SMS_3
作为损失函数，其中，/>
Figure SMS_4
为图像Ii的渲染图像，/>
Figure SMS_5
函数表示计算图像的像素值之和。
进一步优选地，在进行稀疏重建时，使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像Ii，首先将其与其后的第i+s、i+2s、i+3s、…i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像Ii的相机位姿相近图像；然后，将图像Ii与其后的w张图像以及图像Ii的相机位姿相近图像的前w张图像和后w张图像分别进行特征匹配；其中，s为大于2的整数，i=1,2,...,N，i+ns<N ，0<w<s ，N为所述多视图图像序列的图像数量。
优选地，在进行稀疏重建时，使用SuperPoint算法提取图像序列中每张图像中的特征点和特征描述子。优选地，使用SuperGlue算法进行所述特征匹配。
优选地，在进行稀疏重建时，使用增量SFM算法计算出目标的稀疏点云和相机位姿。
优选地，使用Open3d工具库的VoxelGrid. create_from_point_cloud方法将稀疏重建得到的稀疏点云体素化，使用Marching Cube算法将体素网格化。
基于同一发明构思还可以得到以下技术方案：
一种快速目标三维重建装置，包括用于对目标的多视图图像序列进行稀疏重建，以得到目标的稀疏点云和相机位姿的稀疏重建单元，以及用于进行网格重建以得到目标三维模型的网格重建单元，其特征在于，所述网格重建单元包括：
网格化模块，用于将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；
显著性检测模块，用于对所述多视图图像序列中的每幅图像Ii进行显著性检测，得到图像Ii的目标掩模Mi，i=1,2,...,N，N为所述多视图图像序列的图像数量；
第一可微渲染优化模块，用于使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以
Figure SMS_6
作为损失函数，其中，Ri为图像Ii的渲染图像，/>
Figure SMS_7
函数表示计算图像的像素值之和；
第二可微渲染优化模块，用于使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以
Figure SMS_8
作为损失函数，其中，/>
Figure SMS_9
为图像Ii的渲染图像，
Figure SMS_10
函数表示计算图像的像素值之和。
进一步优选地，稀疏重建单元包括特征匹配模块，用于使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像Ii，首先将其与其后的第i+s、i+2s、i+3s、…i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像Ii的相机位姿相近图像；然后，将图像Ii与其后的w张图像以及图像Ii的相机位姿相近图像的前w张图像和后w张图像分别进行特征匹配；其中，s为大于2的整数，i=1,2,...,N，i+ns<N ，0<w<s ，N为所述多视图图像序列的图像数量。
优选地，稀疏重建单元使用SuperPoint算法提取图像序列中每张图像中的特征点和特征描述子。
优选地，使用SuperGlue算法进行所述特征匹配。
优选地，稀疏重建单元使用增量SFM算法计算出目标的稀疏点云和相机位姿。
优选地，网格化模块使用Open3d工具库的VoxelGrid. create_from_point_cloud方法将稀疏重建得到的稀疏点云体素化，使用Marching Cube算法将体素网格化。
相比现有技术，本发明技术方案具有以下有益效果：本发明使用可微渲染加迭代优化的方式取代了传统网格重建过程中所使用的稠密重建、网格几何结构重建、纹理重建这些繁琐耗时的流程，可大幅提高目标三维重建的效率；
本发明进一步采用间隔匹配加相近图像密集匹配的特征匹配思路，并可通过调整间隔s和前后帧个数w来权衡匹配成功率和速度；相比传统的顺序匹配提升了匹配成功率；相比传统的乱序匹配，成倍提升了匹配速度。
实施方式
针对现有技术所存在的网格重建过程繁琐耗时的不足，本发明的解决思路是使用可微渲染加迭代优化的方式取代传统网格重建过程中所使用的稠密重建、网格几何结构重建、纹理重建这些繁琐耗时的流程，以大幅提高目标三维重建的效率。
具体地，本发明所提出的快速目标三维重建方法，包括对目标的多视图图像序列进行稀疏重建，得到目标的稀疏点云和相机位姿的步骤，以及其后的网格重建以得到目标三维模型的步骤，所述网格重建包括以下步骤：
S1、将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；
S2、对所述多视图图像序列中的每幅图像Ii进行显著性检测，得到图像Ii的目标掩模Mi，i=1,2,...,N，N为所述多视图图像序列的图像数量；
S3、使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以
Figure SMS_11
作为损失函数，其中，Ri为图像Ii的渲染图像，/>
Figure SMS_12
函数表示计算图像的像素值之和；
S4、使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以
Figure SMS_13
作为损失函数，其中，/>
Figure SMS_14
为图像Ii的渲染图像，/>
Figure SMS_15
函数表示计算图像的像素值之和。
本发明所提出的快速目标三维重建装置，包括用于对目标的多视图图像序列进行稀疏重建，以得到目标的稀疏点云和相机位姿的稀疏重建单元，以及用于进行网格重建以得到目标三维模型的网格重建单元，其特征在于，所述网格重建单元包括：
网格化模块，用于将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；
显著性检测模块，用于对所述多视图图像序列中的每幅图像Ii进行显著性检测，得到图像Ii的目标掩模Mi，i=1,2,...,N，N为所述多视图图像序列的图像数量；
第一可微渲染优化模块，用于使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以
Figure SMS_16
作为损失函数，其中，Ri为图像Ii的渲染图像，/>
Figure SMS_17
函数表示计算图像的像素值之和；
第二可微渲染优化模块，用于使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以
Figure SMS_18
作为损失函数，其中，/>
Figure SMS_19
为图像Ii的渲染图像，
Figure SMS_20
函数表示计算图像的像素值之和。
为了进一步平衡特征匹配的成功率和匹配速度，本发明进一步提出了一种间隔匹配加相近图像密集匹配的特征匹配方案，具体地：在进行稀疏重建时，使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像Ii，首先将其与其后的第i+s、i+2s、i+3s、…i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像Ii的相机位姿相近图像；然后，将图像Ii与其后的w张图像以及图像Ii的相机位姿相近图像的前w张图像和后w张图像分别进行特征匹配；其中，s为大于2的整数，i=1,2,...,N，i+ns<N ，0<w<s ，N为所述多视图图像序列的图像数量。
为了便于公众理解，下面通过一个优选实施例来对本发明的技术方案进行进一步详细说明：
本实施例的目标快速三维重建过程具体如下：
步骤1、使用拍摄设备（如无人机、摄像机、手机）环绕目标多圈拍摄。
步骤2、对拍摄好的视频截取视频帧，去除不包含目标或目标占比较小的图像，得到时间上有先后顺序的目标的多视图图像序列，图像数量为N（N为正整数）。
步骤3、使用SuperPoint算法提取图像序列中每张图像中的特征点和特征描述子。
步骤4、对于第i张图像Ii，将其与之后的图像进行每间隔s-1帧匹配一次（s为正整数，s>2），即第i张图像与第i+s、i+2s、i+3s、…i+ns张图像进行匹配（i+ns<N）, 匹配算法采用SuperGlue；当图像Ii和Ii+js匹配成功时（j为正整数，1≤j≤n），若匹配到的特征点数大于阈值P且匹配平均得分大于阈值SCORE时，则认为两幅图像的相机位姿相近。如采用其它无匹配得分的特征匹配算法，则可采用两幅图像的相似度作为匹配度。
步骤5、对于第i张图像（i为正整数，1≤i≤N），将其与之后的w张图像分别进行特征匹配；此外当步骤4中判断存在与图像Ii相机位姿相近的图像时，再将Ii与其位姿相近的图像之前的w张和之后的w张图像分别进行特征匹配，0<w<s。
步骤6、对匹配结果采用增量SFM（Structure From Motion）算法，计算出稀疏点云和相机位姿。
步骤7、将稀疏点云网格化，采用Open3d工具库的VoxelGrid. create_from_point_cloud方法将稀疏重建得到的稀疏点云体素化，采用Marching Cube算法将体素转为粗糙的网格meshinit；网格中包含顶点位置和拓扑结构，但顶点颜色未知。
步骤8、使用显著性检测算法检测出每幅图像中的目标掩模（mask），将图像Ii对应的目标掩模记为Mi，Mi是一个二值图像，包含目标区域的像素值为1，其他区域为0。
步骤9、使用可微渲染的方式获取网格顶点的初步颜色：首先计算所有图像中目标掩模内的平均像素颜色
Figure SMS_21
，以其初始化meshinit的所有顶点颜色，
Figure SMS_22
函数用于计算图像的像素值之和；接下来固定meshinit，将顶点颜色作为变量进行优化，将图像Ii对应的相机位姿、meshinit、meshinit顶点颜色变量输入到可微渲染器，得到渲染图像Ri；计算渲染图像与原图像的损失值/>
Figure SMS_23
，然后采用梯度下降法来优化顶点颜色使得损失值下降；对每张图像均采用此优化方法，进行多轮优化后，最终得到网格meshinit各顶点的初步颜色。
步骤10、使用可微渲染的方式同时优化网格顶点位置和网格顶点颜色：保持网格拓扑结构不变，将网格顶点位置和顶点颜色都作为变量，使用meshinit的顶点位置初始化网格顶点位置变量，步骤9中得到的顶点的初步颜色初始化顶点颜色变量；将图像Ii对应的相机位姿、网格拓扑结构、网格顶点位置变量、网格顶点颜色变量输入到可微渲染器，得到渲染图像
Figure SMS_24
；计算渲染图像与原图像的损失值/>
Figure SMS_25
，使用可微渲染和梯度下降法同时调整网格顶点位置和顶点颜色，使渲染图像与原图像的损失值不断下降，经过多轮优化，最后得到精细优化后的网格和顶点颜色，即目标的三维模型。
以上方案中所涉及的SuperPoint算法、SuperGlue算法、增量SFM算法、Open3d工具库的VoxelGrid. create_from_point_cloud方法、Marching Cube算法、显著性检测算法、可微渲染器等，均为优选的现有技术，也可采用现有或将有的同类算法进行替换；为节省篇幅起见，此处不对其进行进一步说明。
为了验证本发明技术方案的技术效果，分别对本发明所采用的特征匹配算法及网格重建算法进行了实验验证。
首先验证本发明匹配算法的优势。
围绕某物体拍摄一段视频，提取有效帧共170张，分别采用顺序匹配、乱序匹配和本发明匹配方法。间隔s=10，前后帧个数w=4，当两幅图像匹配到的关键点数大于50且匹配平均得分大于0.5时，则认为两幅图的相机位姿相近。
Figure SMS_26
从实验结果可以看出，本发明特征匹配方法相比顺序匹配大大提高了匹配的成功率，接近乱序匹配的效果，且速度是乱序匹配的7.2倍。
对匹配结果采用SFM算法，计算出稀疏点云和相机位姿，然后分别使用传统网格重建方法和本发明网格重建方法进行处理比对。传统方法使用colmap工具重建，重建步骤包括稠密重建（深度图估计、法线估计、稠密点云融合）、网格几何结构重建（泊松表面重建算法）、纹理重建（纹理映射方法），这些步骤的总耗时为135分钟。本发明方法采用Open3d工具库的VoxelGrid.create_from_point_cloud方法将点云进行体素化，使用Marching Cube算法将体素网格化，显著性检测算法使用U2Net，可微渲染器采用pytorch3d，总体耗时为24分钟，仅为传统网格重建方法的17.8%。

Claims (12)

1.一种快速目标三维重建方法，包括对目标的多视图图像序列进行稀疏重建，得到目标的稀疏点云和相机位姿的步骤，以及其后的网格重建以得到目标三维模型的步骤，其特征在于，所述网格重建包括以下步骤：
S1、将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；
S2、对所述多视图图像序列中的每幅图像Ii进行显著性检测，得到图像Ii的目标掩模Mi，i=1,2,...,N，N为所述多视图图像序列的图像数量；
S3、使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以
Figure QLYQS_1
作为损失函数，其中，Ri为图像Ii的渲染图像，/>
Figure QLYQS_2
函数表示计算图像的像素值之和；
S4、使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以
Figure QLYQS_3
作为损失函数，其中，/>
Figure QLYQS_4
为图像Ii的渲染图像，/>
Figure QLYQS_5
函数表示计算图像的像素值之和。
2.如权利要求1所述快速目标三维重建方法，其特征在于，在进行稀疏重建时，使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像Ii，首先将其与其后的第i+s、i+2s、i+3s、…i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像Ii的相机位姿相近图像；然后，将图像Ii与其后的w张图像以及图像Ii的相机位姿相近图像的前w张图像和后w张图像分别进行特征匹配；其中，s为大于2的整数，i=1,2,...,N，i+ns<N ，0<w<s ，N为所述多视图图像序列的图像数量。
3.如权利要求2所述快速目标三维重建方法，其特征在于，在进行稀疏重建时，使用SuperPoint算法提取图像序列中每张图像中的特征点和特征描述子。
4.如权利要求2所述快速目标三维重建方法，其特征在于，使用SuperGlue算法进行所述特征匹配。
5.如权利要求2所述快速目标三维重建方法，其特征在于，在进行稀疏重建时，使用增量SFM算法计算出目标的稀疏点云和相机位姿。
6.如权利要求2所述快速目标三维重建方法，其特征在于，使用Open3d工具库的VoxelGrid. create_from_point_cloud方法将稀疏重建得到的稀疏点云体素化，使用Marching Cube算法将体素网格化。
7.一种快速目标三维重建装置，包括用于对目标的多视图图像序列进行稀疏重建，以得到目标的稀疏点云和相机位姿的稀疏重建单元，以及用于进行网格重建以得到目标三维模型的网格重建单元，其特征在于，所述网格重建单元包括：
网格化模块，用于将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；
显著性检测模块，用于对所述多视图图像序列中的每幅图像Ii进行显著性检测，得到图像Ii的目标掩模Mi，i=1,2,...,N，N为所述多视图图像序列的图像数量；
第一可微渲染优化模块，用于使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以
Figure QLYQS_6
作为损失函数，其中，Ri为图像Ii的渲染图像，/>
Figure QLYQS_7
函数表示计算图像的像素值之和；
第二可微渲染优化模块，用于使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以
Figure QLYQS_8
作为损失函数，其中，/>
Figure QLYQS_9
为图像Ii的渲染图像，
Figure QLYQS_10
函数表示计算图像的像素值之和。
8.如权利要求7所述快速目标三维重建装置，其特征在于，稀疏重建单元包括特征匹配模块，用于使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像Ii，首先将其与其后的第i+s、i+2s、i+3s、…i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像Ii的相机位姿相近图像；然后，将图像Ii与其后的w张图像以及图像Ii的相机位姿相近图像的前w张图像和后w张图像分别进行特征匹配；其中，s为大于2的整数，i=1,2,...,N，i+ns<N ，0<w<s ，N为所述多视图图像序列的图像数量。
9.如权利要求8所述快速目标三维重建装置，其特征在于，稀疏重建单元使用SuperPoint算法提取图像序列中每张图像中的特征点和特征描述子。
10.如权利要求8所述快速目标三维重建装置，其特征在于，使用SuperGlue算法进行所述特征匹配。
11.如权利要求8所述快速目标三维重建装置，其特征在于，稀疏重建单元使用增量SFM算法计算出目标的稀疏点云和相机位姿。
12.如权利要求8所述快速目标三维重建装置，其特征在于，网格化模块使用Open3d工具库的VoxelGrid. create_from_point_cloud方法将稀疏重建得到的稀疏点云体素化，使用Marching Cube算法将体素网格化。
CN202310513515.0A 2023-05-09 2023-05-09 一种快速目标三维重建方法及装置 Active CN116310224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310513515.0A CN116310224B (zh) 2023-05-09 2023-05-09 一种快速目标三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310513515.0A CN116310224B (zh) 2023-05-09 2023-05-09 一种快速目标三维重建方法及装置

Publications (2)

Publication Number Publication Date
CN116310224A true CN116310224A (zh) 2023-06-23
CN116310224B CN116310224B (zh) 2023-08-01

Family

ID=86803405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310513515.0A Active CN116310224B (zh) 2023-05-09 2023-05-09 一种快速目标三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN116310224B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085845A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于无人机影像的室外场景快速三维重建装置
CN114332125A (zh) * 2021-12-30 2022-04-12 科大讯飞股份有限公司 点云重建方法、装置、电子设备和存储介质
CN115222889A (zh) * 2022-07-19 2022-10-21 深圳万兴软件有限公司 基于多视图图像的3d重建方法、装置及相关设备
CN115512073A (zh) * 2022-09-19 2022-12-23 南京信息工程大学 基于可微分渲染下多阶段训练的三维纹理网格重建方法
CN115546371A (zh) * 2022-10-14 2022-12-30 中国科学院苏州纳米技术与纳米仿生研究所 点云优化方法、系统、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085845A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于无人机影像的室外场景快速三维重建装置
CN114332125A (zh) * 2021-12-30 2022-04-12 科大讯飞股份有限公司 点云重建方法、装置、电子设备和存储介质
CN115222889A (zh) * 2022-07-19 2022-10-21 深圳万兴软件有限公司 基于多视图图像的3d重建方法、装置及相关设备
CN115512073A (zh) * 2022-09-19 2022-12-23 南京信息工程大学 基于可微分渲染下多阶段训练的三维纹理网格重建方法
CN115546371A (zh) * 2022-10-14 2022-12-30 中国科学院苏州纳米技术与纳米仿生研究所 点云优化方法、系统、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林思等: "基于无人机序列图像的三维场景重建", 河南科学, vol. 34, no. 9, pages 1532 - 1535 *

Also Published As

Publication number Publication date
CN116310224B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN107578436B (zh) 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN108961390B (zh) 基于深度图的实时三维重建方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN110443892B (zh) 一种基于单张图像的三维网格模型生成方法及装置
CN110569768B (zh) 人脸模型的构建方法、人脸识别方法、装置及设备
CN109509211B (zh) 同时定位与建图技术中的特征点提取与匹配方法及系统
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
CN110910431B (zh) 一种基于单目相机多视点三维点集恢复方法
CN110580720B (zh) 一种基于全景图的相机位姿估计方法
CN109410133B (zh) 一种基于3dmm的人脸纹理修复方法
CN115298708A (zh) 多视角神经人体渲染
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
WO2019164497A1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
Zhao et al. Mvpsnet: Fast generalizable multi-view photometric stereo
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
WO2022217470A1 (en) Hair rendering system based on deep neural network
CN110580715A (zh) 一种基于照度约束和格网变形的图像对齐方法
CN114332355A (zh) 一种基于深度学习的弱光多视图几何重建方法
GB2458305A (en) Providing a volumetric representation of an object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant