CN115222889A - 基于多视图图像的3d重建方法、装置及相关设备 - Google Patents

基于多视图图像的3d重建方法、装置及相关设备 Download PDF

Info

Publication number
CN115222889A
CN115222889A CN202210851175.8A CN202210851175A CN115222889A CN 115222889 A CN115222889 A CN 115222889A CN 202210851175 A CN202210851175 A CN 202210851175A CN 115222889 A CN115222889 A CN 115222889A
Authority
CN
China
Prior art keywords
image
depth
point cloud
reconstruction
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210851175.8A
Other languages
English (en)
Inventor
高立刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wondershare Software Co Ltd
Original Assignee
Shenzhen Wondershare Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wondershare Software Co Ltd filed Critical Shenzhen Wondershare Software Co Ltd
Priority to CN202210851175.8A priority Critical patent/CN115222889A/zh
Publication of CN115222889A publication Critical patent/CN115222889A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多视图图像的3D重建方法、装置及相关设备。该方法包括获取建模目标在不同视角的图像，得到图像序列；通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；通过增量式SfM算法对图像特征进行稀疏点云重建，得到建模目标的稀疏点云及每一图像对应的相机位姿；通过MVSNet网络对图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到建模目标的稠密点云；基于稠密点云进行网格化和纹理映射，得到建模目标的三维模型。该方法有效提升建模目标的整体建模效果。

Description

基于多视图图像的3D重建方法、装置及相关设备
技术领域
本发明涉及三维建模技术领域，尤其涉及一种基于多视图图像的3D重建方法、装置及相关设备。
背景技术
从物体的多视角图片来进行3D模型的构建，是计算机图形学和计算机视觉的一大研究方向，称为基于图像的几何建模(Image based modeling)，这种技术已逐渐成熟且走向实用阶段。有些软件能够让用户拿着普通相机或者手机，对着要建模的实物从不同视角拍摄若干照片，软件就能根据这些照片自动地生成相应的3D模型。这种基于图片的建模技术为非专业建模人士进行3D模型构建提供了可能。
然而，目前常用的基于多视图的3D重建算法重建实时性差、计算量大，还存在边缘细节不清晰、模型空洞等情况。随着AI技术的快速发展，越来越多的研究者着力于利用AI解决传统重建算法效果不佳、性能低下等问题，这样很大程度上决定了3D重建是否可以广泛的应用到产品端，因此对当前3D重建算法框架进行优化，提升重建效果显得尤为必要且关键。
发明内容
本发明实施例提供了一种基于多视图图像的3D重建方法、装置及相关设备，旨在解决现有技术中基于多视图构建3D模型效果不佳的问题。
第一方面，本发明实施例提供了一种基于多视图图像的3D重建方法，其包括：
获取建模目标在不同视角的图像，得到图像序列；
通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；
通过增量式SfM算法对所述图像特征进行稀疏点云重建，得到所述建模目标的稀疏点云及每一图像对应的相机位姿；
通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到所述建模目标的稠密点云；
基于所述稠密点云进行网格化和纹理映射，得到所述建模目标的三维模型。
第二方面，本发明实施例提供了一种基于多视图图像的3D重建装置，包括：
获取模块，用于获取建模目标在不同视角的图像，得到图像序列；
提取模块，用于通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；
稀疏点云重建模块，用于通过增量式SfM算法对所述图像特征进行稀疏点云重建，得到所述建模目标的稀疏点云及每一图像对应的相机位姿；
稠密点云重建模块，用于通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到所述建模目标的稠密点云；
模型建立模块，用于基于所述稠密点云进行网格化和纹理映射，得到所述建模目标的三维模型。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于多视图图像的3D重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于多视图图像的3D重建方法。
本发明实施例提供了基于多视图图像的3D重建方法、装置及相关设备。该方法包括获取建模目标在不同视角的图像，得到图像序列；通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；通过增量式SfM算法对图像特征进行稀疏点云重建，得到建模目标的稀疏点云及每一图像对应的相机位姿；通过MVSNet网络对图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到建模目标的稠密点云；基于稠密点云进行网格化和纹理映射，得到建模目标的三维模型。该方法以基于ResNet18的Encoder网络对图像序列进行特征提取，所得到的特征相比传统方法使用的SIFT算法提取的特征更全面，提升了特征匹配的精度，同时引入MVSNet网络进行深度估计，提升深度估计的精度和泛化性，减少深度图估计产生的点云空洞，有效的提升整体重建效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于多视图图像的3D重建方法一实施例的流程示意图；
图2为图1中步骤S120的子流程示意图；
图3为图1中步骤S130的子流程示意图；
图4为图1中步骤S140的子流程示意图；
图5为图4中步骤S420的子流程示意图；
图6为本发明提供的基于多视图图像的3D重建装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1所示，图1为本发明实施例提供的基于多视图图像的3D重建方法的流程示意图，该方法包括步骤S110～S150。
步骤S110、获取建模目标在不同视角的图像，得到图像序列；
本实施例中，获取建模目标在不同视角的图像。获取方式可以是通过相机或手机等终端拍摄；还可以通过线上下载及本地下载，得到图像序列。
步骤S120、通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；
本实施例中，为了提升特征匹配精度，需要提升图像特征的质量。通过基于ResNet18的Encoder网络对图像序列进行特征提取，得到图像特征。
如图2所示，在一实施例中，步骤S120包括：
步骤S210、通过所述Encoder网络的ResNet18模块对所述图像序列进行残差提取，得到浅层特征图；
步骤S220、通过所述Encoder网络的Transformer模块对所述浅层特征图的全局特征进行全局感知和特征增强，得到所述图像特征。
本实施例中，将图像序列输入Encoder网络的ResNet18模块，通过多个不同尺度的残差层对图像序列进行特征提取，得到多个不同尺度的残差特征；接着将不同尺度的残差特征输入全连接层进行拼接，得到浅层特征图；通过Encoder网络的Transformer模块对浅层特征图进行全局感知和特征增强，得到图像序列的深层特征图(即图像特征)。
步骤S130、通过增量式SfM算法对所述图像特征进行稀疏点云重建，得到所述建模目标的稀疏点云及每一图像对应的相机位姿；
本实施例中，为了确定图像序列中每一图像对应的相机位姿，需要通过增量式SfM算法对图像特征进行稀疏点云重建，从而得到建模目标的稀疏点云和每一图像对应的相机位姿。
如图3所示，在一实施例中，步骤S130包括：
步骤S310、根据所述图像特征的特征点对所述图像序列中的图像逐一进行匹配，并对匹配的两张图像进行初始化点云重建，对初始化生成的相机位姿和三维点云进行首次光束平差BA优化；
步骤S320、继续进行匹配，对每一新匹配的图像进行相机空间位置点求解和特征点的三角定位，同时每匹配一次新的图像并重建完成后均进行一次光束平差BA优化，直到所有图像匹配完毕，得到所述稀疏点云及每一图像对应的相机位姿。
本实施例中，由于通过BA(BundleAdjustment)求解相机空间位置和稀疏点云时，容易陷入局部最优解，导致重构相机空间位置和稀疏点云出现奇异性，因此本申请通过添加相机位置空间结构约束规则，从而保证BA求解的全局最优。采用largest_stellar_configuratio()函数，根据图像特征的特征点对图像序列中的图像逐一进行特征点提取和匹配，选取最大匹配点对的两张图像进行初始化点云重建，并对初始化生成的相机位姿和三维点云进行首次光束平差BA优化；接着继续选取新的图像进行匹配，利用triangulatePoints()函数对每一新匹配的图像进行相机空间位置点求解和特征点的三角定位(新的图像像素坐标匹配点之间的三角化)，得到相机空间坐标，即利用几何信息构建三角形来确定三维空间点的位置。同时，每匹配依次新的图像并重建完成后均进行一次光束平差BA优化，直到所有图像匹配完毕，得到稀疏点云及每一图像对应的相机位姿。
步骤S140、通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到所述建模目标的稠密点云；
步骤S150、基于所述稠密点云进行网格化和纹理映射，得到所述建模目标的三维模型。
本实施例中，由于传统稠密点云重建方法使用的SGM算法存在精度和泛化性问题，因此，本申请引入MVSNet网络对图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，以得到建模目标的稠密点云；最后通过对稠密点云进行网格化及纹理映射，得到建模目标的三维模型。
如图4所示，在一实施例中，步骤S140包括：
步骤S410、通过MVSNet网络对所述图像序列中每一图像进行深度特征提取，得到每一图像的深度特征；
步骤S420、对所述深度特征进行深度估计，得到每一图像的所述深度图像。
本实施例中，通过MVSNet网络对图像序列中每一图像进行深度特征提取，相比传统SIFT、SURF的特征有更好的匹配精度和效率。经过视角选择后，输入已经配对的N张图像，利用MVSNet网络中一个八层的二维卷积块提取立体像对的深度特征，输出32维通道的深度特征；接着对深度特征进行深度估计，得到每一图像的深度图像。其中，为防止输入的像片被降采样后语义信息的丢失，像素与临近像素之间的语义信息会编码到32维通道的深度特征中，并且各个图像提取过程的网络是权值共享的。
如图5所示，在一实施例中，步骤S420包括：
步骤S510、对所述深度特征进行代价构建和代价累积，得到特征体；
步骤S520、基于所述特征体和对应的深度真值，通过softmax函数计算每一像素在每一深度真值的概率，得到概率图；
步骤S530、对所述概率图进行平滑处理，得到所述深度图像。
本实施例中，进行深度估计时，构建每个深度特征的匹配代价并进行代价累积，得到深度特征的特征体；接着输入特征体和对应的深度真值，通过softmax函数计算每一像素在每一深度真值的概率，得到对应的概率图；对概率图进行平滑处理，得到深度图像。其中，按如下公式计算每个像素在每一深度真值的概率P：
Figure BDA0003753556140000061
式中，θmin表示最小深度真值，θmax表示最大深度真值，S(θ)表示特征在深度真值θ的置信度。
该方法针对多视图三维重建的算法框架中各个阶段存在的缺点进行逐阶段优化，提出算法优化框架以提升三维重建的效果和改善性能低下的缺陷，针对算法框架中的SIFT特征和匹配算法对多视图图像特征的表征不足的缺陷，以基于ResNet18的Encoder网络对图像序列进行特征提取，所得到的特征相比传统方法使用的SIFT算法提取的特征更全面，提升了特征匹配的精度；同时针对算法框架中的稠密点云重建依赖的深度图估计SGM算法精度不够的情况，引入MVSNet网络进行深度估计，优化深度图估计的精度和泛化性，减少深度图估计产生的点云空洞，有效的提升整体重建效果。
本发明实施例还提供一种基于多视图图像的3D重建装置，该基于多视图图像的3D重建装置用于执行前述基于多视图图像的3D重建方法的任一实施例。具体地，请参阅图6，图6是本发明实施例提供的基于多视图图像的3D重建装置的示意性框图。该基于多视图图像的3D重建装置100可以配置于服务端节点中。
如图6所示，基于多视图图像的3D重建装置100包括获取模块110、提取模块120、稀疏点云重建模块130、稠密点云重建模块140、模型建立模模块150。
获取模块110，用于获取建模目标在不同视角的图像，得到图像序列；
提取模块120，用于通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；
稀疏点云重建模块130，用于通过增量式SfM算法对所述图像特征进行稀疏点云重建，得到所述建模目标的稀疏点云及每一图像对应的相机位姿；
稠密点云重建模块140，用于通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到所述建模目标的稠密点云；
模型建立模块150，用于基于所述稠密点云进行网格化和纹理映射，得到所述建模目标的三维模型。
在一实施例中，所述提取模块120包括：
残差单元，用于通过所述Encoder网络的ResNet18模块对所述图像序列进行残差提取，得到浅层特征图；
增强单元，用于通过所述Encoder网络的Transformer模块对所述浅层特征图的全局特征进行全局感知和特征增强，得到所述图像特征。
在一实施例中，所述稀疏点云重建模块130包括：
初始化单元，用于根据所述图像特征的特征点对所述图像序列中的图像逐一进行匹配，并对匹配的两张图像进行初始化点云重建，对初始化生成的相机位姿和三维点云进行首次光束平差BA优化；
匹配单元，用于继续进行匹配，对每一新匹配的图像进行相机空间位置点求解和特征点的三角定位，同时每匹配一次新的图像并重建完成后均进行一次光束平差BA优化，直到所有图像匹配完毕，得到所述稀疏点云及每一图像对应的相机位姿。
在一实施例中，所述稠密点云重建模块140包括：
深度提取单元，用于通过MVSNet网络对所述图像序列中每一图像进行深度特征提取，得到每一图像的深度特征；
深度估计单元，用于对所述深度特征进行深度估计，得到每一图像的所述深度图像。
在一实施例中，所述深度估计单元包括：
代价构建单元，用于对所述深度特征进行代价构建和代价累积，得到特征体；
计算单元，用于基于所述特征体和对应的深度真值，通过softmax函数计算每一像素在每一深度真值的概率，得到概率图；
平滑单元，用于对所述概率图进行平滑处理，得到所述深度图像。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的基于多视图图像的3D重建方法。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于多视图图像的3D重建方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务端节点，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多视图图像的3D重建方法，其特征在于，包括：
获取建模目标在不同视角的图像，得到图像序列；
通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；
通过增量式SfM算法对所述图像特征进行稀疏点云重建，得到所述建模目标的稀疏点云及每一图像对应的相机位姿；
通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到所述建模目标的稠密点云；
基于所述稠密点云进行网格化和纹理映射，得到所述建模目标的三维模型。
2.根据权利要求1所述的基于多视图图像的3D重建方法，其特征在于，所述通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征，包括：
通过所述Encoder网络的ResNet18模块对所述图像序列进行残差提取，得到浅层特征图；
通过所述Encoder网络的Transformer模块对所述浅层特征图的全局特征进行全局感知和特征增强，得到所述图像特征。
3.根据权利要求1所述的基于多视图图像的3D重建方法，其特征在于，所述通过增量式SfM算法对所述图像特征进行稀疏点云重建，得到所述建模目标的稀疏点云及每一图像对应的相机位姿，包括：
根据所述图像特征的特征点对所述图像序列中的图像逐一进行匹配，并对匹配的两张图像进行初始化点云重建，对初始化生成的相机位姿和三维点云进行首次光束平差BA优化；
继续进行匹配，对每一新匹配的图像进行相机空间位置点求解和特征点的三角定位，同时每匹配一次新的图像并重建完成后均进行一次光束平差BA优化，直到所有图像匹配完毕，得到所述稀疏点云及每一图像对应的相机位姿。
4.根据权利要求1所述的基于多视图图像的3D重建方法，其特征在于，所述通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像，包括：
通过MVSNet网络对所述图像序列中每一图像进行深度特征提取，得到每一图像的深度特征；
对所述深度特征进行深度估计，得到每一图像的所述深度图像。
5.根据权利要求4所述的基于多视图图像的3D重建方法，其特征在于，所述对所述深度特征进行深度估计，得到每一图像的所述深度图像，包括：
对所述深度特征进行代价构建和代价累积，得到特征体；
基于所述特征体和对应的深度真值，通过softmax函数计算每一像素在每一深度真值的概率，得到概率图；
对所述概率图进行平滑处理，得到所述深度图像。
6.根据权利要求5所述的基于多视图图像的3D重建方法，其特征在于，所述基于所述特征体和对应的深度真值，通过softmax函数计算每个像素在每一深度真值的概率，得到概率图，包括：
按如下公式计算每个像素在每一深度真值的概率P：
Figure FDA0003753556130000021
式中，θmin表示最小深度真值，θmax表示最大深度真值，S(θ)表示特征在深度真值θ的置信度。
7.一种基于多视图图像的3D重建装置，其特征在于，包括：
获取模块，用于获取建模目标在不同视角的图像，得到图像序列；
提取模块，用于通过基于ResNet18的Encoder网络对所述图像序列进行特征提取，得到图像特征；
稀疏点云重建模块，用于通过增量式SfM算法对所述图像特征进行稀疏点云重建，得到所述建模目标的稀疏点云及每一图像对应的相机位姿；
稠密点云重建模块，用于通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像，并基于估计结果和对应的相机位姿进行稠密点云重建，得到所述建模目标的稠密点云；
模型建立模块，用于基于所述稠密点云进行网格化和纹理映射，得到所述建模目标的三维模型。
8.根据权利要求7所述的基于多视图图像的3D重建装置，其特征在于，所述提取模块包括：
残差单元，用于通过所述Encoder网络的ResNet18模块对所述图像序列进行残差提取，得到浅层特征图；
增强单元，用于通过所述Encoder网络的Transformer模块对所述浅层特征图的全局特征进行全局感知和特征增强，得到所述图像特征。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于多视图图像的3D重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于多视图图像的3D重建方法。
CN202210851175.8A 2022-07-19 2022-07-19 基于多视图图像的3d重建方法、装置及相关设备 Pending CN115222889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210851175.8A CN115222889A (zh) 2022-07-19 2022-07-19 基于多视图图像的3d重建方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210851175.8A CN115222889A (zh) 2022-07-19 2022-07-19 基于多视图图像的3d重建方法、装置及相关设备

Publications (1)

Publication Number Publication Date
CN115222889A true CN115222889A (zh) 2022-10-21

Family

ID=83611242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210851175.8A Pending CN115222889A (zh) 2022-07-19 2022-07-19 基于多视图图像的3d重建方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN115222889A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393533A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种三维点云构建方法、装置、电子设备及存储介质
CN115908517A (zh) * 2023-01-06 2023-04-04 广东工业大学 一种基于对应点匹配矩阵优化的低重叠点云配准方法
CN116310224A (zh) * 2023-05-09 2023-06-23 小视科技(江苏)股份有限公司 一种快速目标三维重建方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393533A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种三维点云构建方法、装置、电子设备及存储介质
CN115908517A (zh) * 2023-01-06 2023-04-04 广东工业大学 一种基于对应点匹配矩阵优化的低重叠点云配准方法
CN116310224A (zh) * 2023-05-09 2023-06-23 小视科技(江苏)股份有限公司 一种快速目标三维重建方法及装置

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN108596965B (zh) 一种光场图像深度估计方法
WO2018127007A1 (zh) 深度图获取方法及系统
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
CN115409933B (zh) 多风格纹理贴图生成方法及其装置
CN110443874B (zh) 基于卷积神经网络的视点数据生成方法和装置
CN110070610B (zh) 特征点匹配方法、三维重构过程的特征点匹配方法及装置
CN111462030A (zh) 多图像融合的立体布景视觉新角度构建绘制方法
CN114863037A (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
JP2018181047A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム
CN115239870A (zh) 基于注意力代价体金字塔的多视图立体网络三维重建方法
Ibrahim et al. Depth map artefacts reduction: A review
CN111739071B (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN112288788A (zh) 单目图像深度估计方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN113129352A (zh) 一种稀疏光场重建方法及装置
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
CN115546442A (zh) 基于感知一致损失的多视图立体匹配重建方法及系统
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN111161407A (zh) 一种水下三维重建系统和方法
CN113989434A (zh) 一种人体三维重建方法及设备
EP3906530B1 (en) Method for 3d reconstruction of an object
CN117372647A (zh) 一种建筑用三维模型的快速构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination