CN115063542A - 一种几何不变量的预测和模型构建方法与系统 - Google Patents

一种几何不变量的预测和模型构建方法与系统 Download PDF

Info

Publication number
CN115063542A
CN115063542A CN202210994369.3A CN202210994369A CN115063542A CN 115063542 A CN115063542 A CN 115063542A CN 202210994369 A CN202210994369 A CN 202210994369A CN 115063542 A CN115063542 A CN 115063542A
Authority
CN
China
Prior art keywords
feature
multiplied
image
size
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210994369.3A
Other languages
English (en)
Inventor
徐阳
刘小兰
黄晋
肖罡
杨钦文
万可谦
魏志宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Kejun Industrial Co ltd
Original Assignee
Jiangxi Kejun Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Kejun Industrial Co ltd filed Critical Jiangxi Kejun Industrial Co ltd
Priority to CN202210994369.3A priority Critical patent/CN115063542A/zh
Publication of CN115063542A publication Critical patent/CN115063542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种几何不变量的预测和模型构建方法与系统，本发明包括采集针对目标物体在多种位置及光照环境下的图像，将图像叠加得到叠加图像；对叠加图像通过预先训练好的特征提取网络提取几何不变量，所述几何不变量包括视角特征和光照特征；将叠加图像、视角特征和光照特征通过预先训练好的三维模型构建网络，得到目标物体对应的三维重建模型。本发明旨在克服现有基于多视图的三维稠密重建和基于图像序列的三维稀疏重建两类方案对输入图像的数量和光照条件要求较高的缺点，通过获得物体本身不随外界环境（光照、视角）变化的几何不变量特征，能在任意光照和任意数量条件下的图像输入进行三维重建。

Description

一种几何不变量的预测和模型构建方法与系统
技术领域
本发明涉及计算机视觉的三维模型重建技术，具体涉及一种几何不变量的预测和模型构建方法与系统。
背景技术
三维重建技术领域，是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。基于多视图的三维稠密重建方案是一种从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术，传统方法利用几何、光学一致性构造匹配代价，进行匹配代价累积，再估计深度值。基于图像序列的三维稀疏重建重构的思想是利用相机运动轨迹来估算相机参数。相机在不同视点摄取多幅图像，利用这些图像计算出相机的位置信息以及运动轨迹，从而在空间坐标系下生成三维点云，恢复出物体的空间结构。基于多视图的三维稠密重建方案对图像视角覆盖要求较高，在实际工况下难以采集到满足条件数据，给后续三维稠密重建带来极大困难；基于图像序列的三维稀疏重建方案对图像数据对图像数量要求较高，在实际工况下难以采集到足够数量的图像，无法进行三维重建；此外两类技术方案在实际应用时受到光照影响较大，当采集的图像之间光照条件差距较大时，难以获得不同图像之间的对应特征点，无法进行三维重建。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种几何不变量的预测和模型构建方法与系统，本发明旨在克服现有基于多视图的三维稠密重建和基于图像序列的三维稀疏重建两类方案对输入图像的数量和光照条件要求较高的缺点，实现一种对光照和视角要求不高的几何特征提取方案，获得物体本身不随外界环境（光照、视角）变化的几何不变量特征，在任意光照和任意数量条件下的图像输入进行三维重建。
为了解决上述技术问题，本发明采用的技术方案为：
一种几何不变量的预测和模型构建方法，包括：
S1，采集针对目标物体在多种位.置及光照环境下的图像，将图像叠加得到叠加图像；
S2，对叠加图像通过预先训练好的特征提取网络提取几何不变量，所述几何不变量包括视角特征和光照特征；
S3，将叠加图像、视角特征和光照特征通过预先训练好的三维模型构建网络，得到目标物体对应的三维重建模型。
可选地，步骤S1中多种光照环境下，目标物体与光源之间的距离、目标物体与光源之间的方向、光源构成三者之间至少其一不同，所述光源构成包括光源数量、光源组合布局方式以及单个光源强度。
可选地，步骤S1中将图像叠加得到叠加图像时，待叠加的图像为图像I1,I2,...,In共n幅图像，且每一张图像均包含红色、绿色、蓝色三个通道，且图像的尺寸为H×W×3，其中H为图像的高度，W为图像的宽度，且按照下式所示的颜色通道叠加方式叠加得到尺寸为H×W×3n的叠加图像：
(R1,G1,B1, R2,G2,B2,...,Rn,Gn,Bn);
上式中，R1, R2,…,Rn分别为图像I1,I2,...,In的红色通道，G1, G2,…,Gn分别为图像I1,I2,...,In的绿色通道，B1, B2,…,Bn分别为图像I1,I2,...,In的蓝色通道。
可选地，步骤S2中对叠加图像通过预先训练好的特征提取网络提取几何不变量时，提取视角特征所采用的特征提取网络由依次级联的两个第一编码器和两个第一解码器构成，每个第一编码器为5层卷积层，串联的两个第一编码器将输入的大小为H×W×3n的叠加图像卷积成为大小为H/2×W/2×16的特征图以实现对输入的非指定视角和光照的图像进行深度特征提取；每个第一解码器同样为5层卷积层，串联的两个第一解码器将输入的大小为H/2×W/2×16的特征图还原成为大小为N×C的特征向量以作为提取得到的视角特征以实现对输入图像视角特征的抽象描述，其中N为指定的视角数量，C为指定的特征通道数量。
可选地，步骤S2中对叠加图像通过预先训练好的特征提取网络提取几何不变量时，提取光照特征所采用的特征提取网络由依次级联的灰度归一化模块、两个第二编码器和两个第二解码器，所述灰度归一化模块用于将输入的大小为H×W×3n的叠加图像的像素点颜色值从0～255归一化到0～1之间；所述两个第二编码器和两个第二解码器均由三个卷积层构成，用于将归一化后的大小为H×W×3n的叠加图像依次卷积为大小为H×W×k、H/2×W/2×k、H/4×W/4×k、1×k的特征向量以实现对输入的非指定视角和光照的图像进行深度特征提取，并将最后得到的大小为1×k的特征向量作为提取得到的光照特征以实现对输入图像光照特征的抽象描述，其中k为指定的特征通道数量。
可选地，所述特征提取网络在训练过程中采用的损失函数为：
L = αL CD + βL EMD
上式中，L为特征提取网络在训练过程中采用的损失函数，α和β为权重参数，L CD 为倒角距离损失函数，L EMD 为推土机距离损失函数。
可选地，步骤S3中三维模型构建网络由第三编码器、特征重复模块、特征拼接模块、第三解码器构成，其中所述第三编码器为5层卷积层，用于将输入的大小为H×W×3n的叠加图像卷积成为大小为N×k的特征向量实现混合特征提取；所述特征重复模块用于将采用大小为1×k的特征向量表示的光照特征重复N次得到尺寸为N×k的特征向量；所述特征拼接模块用于将第三编码器输出的尺寸为N×k的特征向量、特征重复模块输出的尺寸为N×k的特征向量、采用大小为N×C的特征向量表示的视角特征拼接成为N×(2k+C)的特征向量；所述第三解码器由2个反卷积层组成，用于将输入的大小为N×(2k+C)的特征向量经过反卷积将2k+C的通道变为3通道，得到尺寸为H×W×3的特征图作为以点云形式重建出的目标物体对应的维度为n×3的三维重建模型，其中n=H×W为三维重建模型中点云的点数，×3表示每个点对应的(x,y,z)坐标值。
可选地，步骤S3中三维模型构建网络在训练时采用的损失函数的函数表达式为：
Figure 799757DEST_PATH_IMAGE001
，
上式中，G为用于从三维重建模型中提取特征的三维模型特征提取模块，minG为表示最小化三维模型特征提取误差，D为利普希茨连续条件函数，max D∈DD 为最大化利普希茨连续条件函数，DD表示全部利普希茨连续条件函数的集合，
Figure 41383DEST_PATH_IMAGE002
为对生成的第一组三维重建模型的期望值，D(x)为通过三维模型特征提取模块G对三维重建模型x的特征提取，y～
Figure 113244DEST_PATH_IMAGE003
表示从
Figure 163240DEST_PATH_IMAGE003
中提取三维重建模型样本y，
Figure 29564DEST_PATH_IMAGE003
为生成的第一组三维重建模型，
Figure 758486DEST_PATH_IMAGE004
为对生成的第二组三维重建模型的期望值，
Figure 243825DEST_PATH_IMAGE005
～
Figure 741803DEST_PATH_IMAGE006
为从
Figure 185553DEST_PATH_IMAGE006
中提取的三维重建模型样本
Figure 136192DEST_PATH_IMAGE005
，
Figure 956380DEST_PATH_IMAGE006
为生成的第二组三维重建模型，λ为判别损失函数的计算权重，D(
Figure 840023DEST_PATH_IMAGE005
)为通过三维模型特征提取模块G对三维重建模型样本
Figure 189096DEST_PATH_IMAGE005
的特征提取。
此外，本发明还提供一种几何不变量的预测和模型构建系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述几何不变量的预测和模型构建方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述几何不变量的预测和模型构建方法的步骤。
和现有技术相比，本发明主要具有下述优点：本发明包括采集针对目标物体在多种位置及光照环境下的图像，将图像叠加得到叠加图像；对叠加图像通过预先训练好的特征提取网络提取几何不变量，所述几何不变量包括视角特征和光照特征；将叠加图像、视角特征和光照特征通过预先训练好的三维模型构建网络，得到目标物体对应的三维重建模型，本发明能够克服现有基于多视图的三维稠密重建和基于图像序列的三维稀疏重建两类方案对输入图像的数量和光照条件要求较高的缺点，通过获得物体本身不随外界环境（光照、视角）变化的几何不变量特征，能在任意光照和任意数量条件下的图像输入进行三维重建。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中提取视角特征所采用的特征提取网络的结构示意图。
图3为本发明实施例中提取光照特征所采用的特征提取网络的结构示意图。
图4为本发明实施例中三维模型构建网络的结构示意图。
图5为本发明实施例中两个目标物体A和B的采集图像实例。
图6为本发明实施例中两个目标物体A和B对应的视角特征、光照特征和融合特征。
图7为本发明实施例中两个目标物体A和B对应的三维重建模型。
具体实施方式
如图1所示，本实施例的几何不变量的预测和模型构建方法包括：
S1，采集针对目标物体在多种位置及光照环境下的图像，将图像叠加得到叠加图像；
S2，对叠加图像通过预先训练好的特征提取网络提取几何不变量，几何不变量包括视角特征和光照特征；
S3，将叠加图像、视角特征和光照特征通过预先训练好的三维模型构建网络，得到目标物体对应的三维重建模型。
步骤S1中多种光照环境下，目标物体与光源之间的距离、目标物体与光源之间的方向、光源构成三者之间至少其一不同，光源构成包括光源数量、光源组合布局方式以及单个光源强度。可根据需要以任意位置（相机和目标物体之间的相对位置），在任意环境下对目标物体进行拍摄（任意光照环境具体为可以通过改变光源与物体之间任意相对位置实现任意方向和距离的光照，任意设置光源的数量、组合方式以及单个光源的光照强度）采集针对目标物体在多种位置及光照环境下的图像，然后再将图像叠加得到叠加图像。
本实施例中，步骤S1中将图像叠加得到叠加图像时，待叠加的图像为图像I1,I2,...,In共n幅图像，且每一张图像均包含红色、绿色、蓝色三个通道，且图像的尺寸为H×W×3，其中H为图像的高度，W为图像的宽度，且按照下式所示的颜色通道叠加方式叠加得到尺寸为H×W×3n的叠加图像：
(R1,G1,B1, R2,G2,B2,...,Rn,Gn,Bn);
上式中，R1, R2,…,Rn分别为图像I1,I2,...,In的红色通道，G1, G2,…,Gn分别为图像I1,I2,...,In的绿色通道，B1, B2,…,Bn分别为图像I1,I2,...,In的蓝色通道。
如图2所示，本实施例步骤S2中对叠加图像通过预先训练好的特征提取网络提取几何不变量时，提取视角特征所采用的特征提取网络由依次级联的两个第一编码器和两个第一解码器构成，每个第一编码器为5层卷积层，串联的两个第一编码器将输入的大小为H×W×3n的叠加图像卷积成为大小为H/2×W/2×16的特征图以实现对输入的非指定视角和光照的图像进行深度特征提取；每个第一解码器同样为5层卷积层，串联的两个第一解码器将输入的大小为H/2×W/2×16的特征图还原成为大小为N×C的特征向量以作为提取得到的视角特征以实现对输入图像视角特征的抽象描述，其中N为指定的视角数量，C为指定的特征通道数量。毫无疑问，输入的图像I1,I2,...,In最多包含n个视角，因此有N小于等于n；指定的视角数量N和指定的特征通道数量C可根据实际需求进行调整，毫无疑问，两者的取值数量越大描述越精准，但与此同时，特征提取网络的训练和使用消耗的计算资源越大。
如图3所示，本实施例步骤S2中对叠加图像通过预先训练好的特征提取网络提取几何不变量时，提取光照特征所采用的特征提取网络由依次级联的灰度归一化模块、两个第二编码器和两个第二解码器，灰度归一化模块用于将输入的大小为H×W×3n的叠加图像的像素点颜色值从0～255归一化到0～1之间；两个第二编码器和两个第二解码器均由三个卷积层构成，用于将归一化后的大小为H×W×3n的叠加图像依次卷积为大小为H×W×k、H/2×W/2×k、H/4×W/4×k、1×k的特征向量以实现对输入的非指定视角和光照的图像进行深度特征提取，并将最后得到的大小为1×k的特征向量作为提取得到的光照特征以实现对输入图像光照特征的抽象描述，其中k为指定的特征通道数量。其中，指定的特征通道数量k可根据实际需求进行调整，通道数量越大描述越精准但训练和使用消耗的计算资源越大。
本实施例中，灰度归一化模块用于将输入的大小为H×W×3n的叠加图像的像素点颜色值从0～255归一化到0～1之间的函数表达式为：
(Rnorm,Gnorm,Bnorm)=(R/255,G/255,B/255)
上式中，(Rnorm,Gnorm,Bnorm)为某一像素点灰度归一化后的像素点颜色值，(R,G,B)为该像素点灰度归一化前的像素点颜色值。
本实施例中，特征提取网络（包括提取视角特征所采用的特征提取网络和提取光照特征所采用的特征提取网络）在训练过程中采用的损失函数为：
L = αL CD + βL EMD
上式中，L为特征提取网络在训练过程中采用的损失函数，α和β为权重参数（分别代表两类损失函数对最终损失的贡献，本实施例中均取值为1），L CD 为倒角距离（ChamferDistance）损失函数，L EMD 为推土机距离（Earth Mover’s Distance）损失函数。
其中，倒角距离损失函数的函数表达式为：
Figure 892609DEST_PATH_IMAGE007
，
上式中，L CD 为倒角距离损失函数，以两个点集的最小距离作为损失的表示值，P和Q分别代表提取的视角/光照特征的点集和预测获得的点集两个点集，|P|和|Q|分别表示点集P的点数和点集Q的点数，p表示点集P中的一个点，q表示点集Q中的一个点，点的值即为该点的像素值。其中，推土机距离损失函数的函数表达式为：
Figure 578806DEST_PATH_IMAGE008
，
上式中，L EMD 为推土机距离损失函数，是以两组相等大小的点集之间的距离来度量损失的表示值，P和Q分别代表提取的视角/光照特征和标准视角/光照特征的点集，|P|和|Q|分别表示点集P的点数和点集Q的点数，p表示点集P中的一个点，q表示点集Q中的一个点。其中ϕ:P→Q是一个双线性映射，它找到P和Q两组对应点之间的最小平均距离，为了降低计算成本，我们在实际计算时使用了 (1 +ε) 近似，其中ϕ(p)表示对点p双线性映射，ε为接近0的常数。
需要说明的是，提取视角特征所采用的特征提取网络和提取光照特征所采用的特征提取网络的训练方法为现有公知方法，故其具体实现细节在此不再复述。
如图4所示，本实施例步骤S3中三维模型构建网络由第三编码器、特征重复模块、特征拼接模块、第三解码器构成，其中第三编码器为5层卷积层，用于将输入的大小为H×W×3n的叠加图像卷积成为大小为N×k的特征向量实现混合特征提取；特征重复模块用于将采用大小为1×k的特征向量表示的光照特征重复N次得到尺寸为N×k的特征向量；特征拼接模块用于将第三编码器输出的尺寸为N×k的特征向量、特征重复模块输出的尺寸为N×k的特征向量、采用大小为N×C的特征向量表示的视角特征拼接成为N×(2k+C)的特征向量；第三解码器由2个反卷积层组成，用于将输入的大小为N×(2k+C)的特征向量经过反卷积将2k+C的通道变为3通道，得到尺寸为H×W×3的特征图作为以点云形式重建出的目标物体对应的维度为n×3的三维重建模型，其中n=H×W为三维重建模型中点云的点数，×3表示每个点对应的(x,y,z)坐标值。
本实施例中，步骤S3中三维模型构建网络在训练时采用的损失函数的函数表达式为：
Figure 720550DEST_PATH_IMAGE001
，
上式中，G为用于从三维重建模型中提取特征的三维模型特征提取模块，minG为表示最小化三维模型特征提取误差，D为利普希茨连续条件函数（Lipschitz函数），max D∈DD 为最大化利普希茨连续条件函数，DD表示全部利普希茨连续条件函数的集合，
Figure 833999DEST_PATH_IMAGE009
为对生成的第一组三维重建模型的期望值，D(x)为通过三维模型特征提取模块G对三维重建模型x的特征提取，y～
Figure 290388DEST_PATH_IMAGE003
表示从
Figure 921221DEST_PATH_IMAGE003
中提取三维重建模型样本y，
Figure 248297DEST_PATH_IMAGE003
为生成的第一组三维重建模型，
Figure 939172DEST_PATH_IMAGE010
为对生成的第二组三维重建模型的期望值，
Figure 351699DEST_PATH_IMAGE005
～
Figure 176436DEST_PATH_IMAGE006
为从
Figure 498964DEST_PATH_IMAGE006
中提取的三维重建模型样本
Figure 688637DEST_PATH_IMAGE005
，
Figure 385197DEST_PATH_IMAGE006
为生成的第二组三维重建模型，λ为判别损失函数的计算权重，D(
Figure 951308DEST_PATH_IMAGE005
)为通过三维模型特征提取模块G对三维重建模型样本
Figure 925080DEST_PATH_IMAGE005
的特征提取。
根据上述损失函数，本实施例中在针对三维模型构建网络的训练时，通过对于全部利普希茨连续条件函数的集合中的利普希茨连续条件函数（Lipschitz函数）进行遍历，以确定最大化利普希茨连续条件函数计算结果，并以最小化三维模型特征提取误差为目标。需要说明的是，三维模型特征提取模块G可根据需要采用现有的常见三维模型特征提取网络，例如作为一种可选的实施方式，本实施例中采用PointNet网络，参见现有文献：Qi CR, Su H, Mo K, et al. Pointnet: Deep learning on point sets for 3dclassification and segmentation[C]. Proceedings of the IEEE conference oncomputer vision and pattern recognition. 2017: 652-660.）。针对上述损失函数，本实施例方法中采用了判别器来实现损失函数的计算，使用考虑完整性和分布均匀性的联合损失函数来训练网络以获得“粗”完整深度，然后以对抗性损失对网络进行微调，以实现“精细”完整深度。
图5中，（a）、（b）和（c）分别为针对某一目标物体A采集的在多种位置及光照环境下的图像，（d）、（e）和（f）分别为针对某一目标物体B采集的在多种位置及光照环境下的图像。图6中，（a）、（b）和（c）分别为针对目标物体A提取得到视角特征、光照特征和融合特征（特征拼接模块输出的特征），（d）、（e）和（f）分别为针对目标物体B提取得到视角特征、光照特征和融合特征（特征拼接模块输出的特征）。最终，针对目标物体A得到的三维重建模型如图7中的（a）所示，针对目标物体B得到的三维重建模型如图7中的（b）所示。
综上所述，针对现有基于多视图的三维稠密重建和基于图像序列的三维稀疏重建两类方案对输入图像的数量和光照条件要求较高的缺点，本实施例提供了一种对光照和视角要求不高的几何特征提取方案，获得物体本身不随外界环境（光照、视角）变化的几何不变量特征，在任意光照和任意数量条件下的图像输入进行三维重建，三维重建成功率可达90%以上。
此外，本实施例还提供一种几何不变量的预测和模型构建系统，包括相互连接的微处理器和存储器，微处理器被编程或配置以执行前述几何不变量的预测和模型构建方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序用于被微处理器编程或配置以执行前述几何不变量的预测和模型构建方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种几何不变量的预测和模型构建方法，其特征在于，包括：
S1，采集针对目标物体在多种位置及光照环境下的图像，将图像叠加得到叠加图像；
S2，对叠加图像通过预先训练好的特征提取网络提取几何不变量，所述几何不变量包括视角特征和光照特征；
S3，将叠加图像、视角特征和光照特征通过预先训练好的三维模型构建网络，得到目标物体对应的三维重建模型。
2.根据权利要求1所述的几何不变量的预测和模型构建方法，其特征在于，步骤S1中多种光照环境下，目标物体与光源之间的距离、目标物体与光源之间的方向、光源构成三者之间至少其一不同，所述光源构成包括光源数量、光源组合布局方式以及单个光源强度。
3.根据权利要求1所述的几何不变量的预测和模型构建方法，其特征在于，步骤S1中将图像叠加得到叠加图像时，待叠加的图像为图像I1,I2,...,In共n幅图像，且每一张图像均包含红色、绿色、蓝色三个通道，且图像的尺寸为H×W×3，其中H为图像的高度，W为图像的宽度，且按照下式所示的颜色通道叠加方式叠加得到尺寸为H×W×3n的叠加图像：
(R1,G1,B1, R2,G2,B2,...,Rn,Gn,Bn);
上式中，R1, R2,…,Rn分别为图像I1,I2,...,In的红色通道，G1, G2,…,Gn分别为图像I1,I2,...,In的绿色通道，B1, B2,…,Bn分别为图像I1,I2,...,In的蓝色通道。
4.根据权利要求1所述的几何不变量的预测和模型构建方法，其特征在于，步骤S2中对叠加图像通过预先训练好的特征提取网络提取几何不变量时，提取视角特征所采用的特征提取网络由依次级联的两个第一编码器和两个第一解码器构成，每个第一编码器为5层卷积层，串联的两个第一编码器将输入的大小为H×W×3n的叠加图像卷积成为大小为H/2×W/2×16的特征图以实现对输入的非指定视角和光照的图像进行深度特征提取；每个第一解码器同样为5层卷积层，串联的两个第一解码器将输入的大小为H/2×W/2×16的特征图还原成为大小为N×C的特征向量以作为提取得到的视角特征以实现对输入图像视角特征的抽象描述，其中N为指定的视角数量，C为指定的特征通道数量。
5.根据权利要求1所述的几何不变量的预测和模型构建方法，其特征在于，步骤S2中对叠加图像通过预先训练好的特征提取网络提取几何不变量时，提取光照特征所采用的特征提取网络由依次级联的灰度归一化模块、两个第二编码器和两个第二解码器，所述灰度归一化模块用于将输入的大小为H×W×3n的叠加图像的像素点颜色值从0～255归一化到0～1之间；所述两个第二编码器和两个第二解码器均由三个卷积层构成，用于将归一化后的大小为H×W×3n的叠加图像依次卷积为大小为H×W×k、H/2×W/2×k、H/4×W/4×k、1×k的特征向量以实现对输入的非指定视角和光照的图像进行深度特征提取，并将最后得到的大小为1×k的特征向量作为提取得到的光照特征以实现对输入图像光照特征的抽象描述，其中k为指定的特征通道数量。
6.根据权利要求5所述的几何不变量的预测和模型构建方法，其特征在于，所述特征提取网络在训练过程中采用的损失函数为：
L = αL CD + βL EMD
上式中，L为特征提取网络在训练过程中采用的损失函数，α和β为权重参数，L CD 为倒角距离损失函数，L EMD 为推土机距离损失函数。
7.根据权利要求1所述的几何不变量的预测和模型构建方法，其特征在于，步骤S3中三维模型构建网络由第三编码器、特征重复模块、特征拼接模块、第三解码器构成，其中所述第三编码器为5层卷积层，用于将输入的大小为H×W×3n的叠加图像卷积成为大小为N×k的特征向量实现混合特征提取；所述特征重复模块用于将采用大小为1×k的特征向量表示的光照特征重复N次得到尺寸为N×k的特征向量；所述特征拼接模块用于将第三编码器输出的尺寸为N×k的特征向量、特征重复模块输出的尺寸为N×k的特征向量、采用大小为N×C的特征向量表示的视角特征拼接成为N×(2k+C)的特征向量；所述第三解码器由2个反卷积层组成，用于将输入的大小为N×(2k+C)的特征向量经过反卷积将2k+C的通道变为3通道，得到尺寸为H×W×3的特征图作为以点云形式重建出的目标物体对应的维度为n×3的三维重建模型，其中n=H×W为三维重建模型中点云的点数，×3表示每个点对应的(x,y,z)坐标值。
8.根据权利要求7所述的几何不变量的预测和模型构建方法，其特征在于，步骤S3中三维模型构建网络在训练时采用的损失函数的函数表达式为：
Figure 225018DEST_PATH_IMAGE001
，
上式中，G为用于从三维重建模型中提取特征的三维模型特征提取模块，minG为表示最小化三维模型特征提取误差，D为利普希茨连续条件函数，max D∈DD 为最大化利普希茨连续条件函数，DD表示全部利普希茨连续条件函数的集合，
Figure 142158DEST_PATH_IMAGE002
为对生成的第一组三维重建模型的期望值，D(x)为通过三维模型特征提取模块G对三维重建模型x的特征提取，y～
Figure 718633DEST_PATH_IMAGE003
表示从
Figure 113842DEST_PATH_IMAGE003
中提取三维重建模型样本y，
Figure 600318DEST_PATH_IMAGE003
为生成的第一组三维重建模型，
Figure 688360DEST_PATH_IMAGE004
为对生成的第二组三维重建模型的期望值，
Figure 361918DEST_PATH_IMAGE005
～
Figure 826397DEST_PATH_IMAGE006
为从
Figure 760855DEST_PATH_IMAGE006
中提取的三维重建模型样本
Figure 160744DEST_PATH_IMAGE005
，
Figure 180652DEST_PATH_IMAGE006
为生成的第二组三维重建模型，λ为判别损失函数的计算权重，D(
Figure 321259DEST_PATH_IMAGE005
)为通过三维模型特征提取模块G对三维重建模型样本
Figure 110224DEST_PATH_IMAGE005
的特征提取。
9.一种几何不变量的预测和模型构建系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述几何不变量的预测和模型构建方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述几何不变量的预测和模型构建方法的步骤。
CN202210994369.3A 2022-08-18 2022-08-18 一种几何不变量的预测和模型构建方法与系统 Pending CN115063542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210994369.3A CN115063542A (zh) 2022-08-18 2022-08-18 一种几何不变量的预测和模型构建方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210994369.3A CN115063542A (zh) 2022-08-18 2022-08-18 一种几何不变量的预测和模型构建方法与系统

Publications (1)

Publication Number Publication Date
CN115063542A true CN115063542A (zh) 2022-09-16

Family

ID=83207346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210994369.3A Pending CN115063542A (zh) 2022-08-18 2022-08-18 一种几何不变量的预测和模型构建方法与系统

Country Status (1)

Country Link
CN (1) CN115063542A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580161A (zh) * 2023-07-13 2023-08-11 湖南省建筑设计院集团股份有限公司 基于图像及NeRF模型的建筑三维模型构建方法及系统
CN117788703A (zh) * 2023-12-26 2024-03-29 中数科技(青岛)有限公司 一种基于机器视觉的港口三维模型构建方法和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074015A (zh) * 2011-02-24 2011-05-25 哈尔滨工业大学 一种基于二维图像序列的目标对象的三维重建方法
CN106023307A (zh) * 2016-07-12 2016-10-12 深圳市海达唯赢科技有限公司 基于现场环境的快速重建三维模型方法及系统
CN108509920A (zh) * 2018-04-04 2018-09-07 南京信息工程大学 基于CNN的多patch多通道联合特征选择学习的人脸识别方法
US10339411B1 (en) * 2015-09-28 2019-07-02 Amazon Technologies, Inc. System to represent three-dimensional objects
CN110443842A (zh) * 2019-07-24 2019-11-12 大连理工大学 基于视角融合的深度图预测方法
US20200294309A1 (en) * 2019-03-11 2020-09-17 Beijing University Of Technology 3D Reconstruction Method Based on Deep Learning
CN112102477A (zh) * 2020-09-15 2020-12-18 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质
CN113077554A (zh) * 2021-04-08 2021-07-06 华南理工大学 一种基于任意视角图片的三维结构化模型重建的方法
CN114092653A (zh) * 2022-01-11 2022-02-25 深圳先进技术研究院 基于2d图像重建3d图像方法、装置、设备及存储介质
CN113313828B (zh) * 2021-05-19 2022-06-14 华南理工大学 基于单图片本征图像分解的三维重建方法与系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074015A (zh) * 2011-02-24 2011-05-25 哈尔滨工业大学 一种基于二维图像序列的目标对象的三维重建方法
US10339411B1 (en) * 2015-09-28 2019-07-02 Amazon Technologies, Inc. System to represent three-dimensional objects
CN106023307A (zh) * 2016-07-12 2016-10-12 深圳市海达唯赢科技有限公司 基于现场环境的快速重建三维模型方法及系统
CN108509920A (zh) * 2018-04-04 2018-09-07 南京信息工程大学 基于CNN的多patch多通道联合特征选择学习的人脸识别方法
US20200294309A1 (en) * 2019-03-11 2020-09-17 Beijing University Of Technology 3D Reconstruction Method Based on Deep Learning
CN110443842A (zh) * 2019-07-24 2019-11-12 大连理工大学 基于视角融合的深度图预测方法
CN112102477A (zh) * 2020-09-15 2020-12-18 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质
CN113077554A (zh) * 2021-04-08 2021-07-06 华南理工大学 一种基于任意视角图片的三维结构化模型重建的方法
CN113313828B (zh) * 2021-05-19 2022-06-14 华南理工大学 基于单图片本征图像分解的三维重建方法与系统
CN114092653A (zh) * 2022-01-11 2022-02-25 深圳先进技术研究院 基于2d图像重建3d图像方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李宝奇等: "光照不变量特征提取新方法及其在目标识别中的应用", 《电子学报》 *
王少波等: "室外场景CSIFT的关键点检测和特征匹配", 《计算机仿真》 *
隋连升等: "基于视差梯度的图像拼接算法研究", 《中国体视学与图像分析》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580161A (zh) * 2023-07-13 2023-08-11 湖南省建筑设计院集团股份有限公司 基于图像及NeRF模型的建筑三维模型构建方法及系统
CN116580161B (zh) * 2023-07-13 2023-09-22 湖南省建筑设计院集团股份有限公司 基于图像及NeRF模型的建筑三维模型构建方法及系统
CN117788703A (zh) * 2023-12-26 2024-03-29 中数科技(青岛)有限公司 一种基于机器视觉的港口三维模型构建方法和电子设备

Similar Documents

Publication Publication Date Title
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
Moreau et al. Lens: Localization enhanced by nerf synthesis
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
CN110443892B (zh) 一种基于单张图像的三维网格模型生成方法及装置
Li et al. Read: Large-scale neural scene rendering for autonomous driving
CN112085845A (zh) 基于无人机影像的室外场景快速三维重建装置
CN110443842A (zh) 基于视角融合的深度图预测方法
CN115063542A (zh) 一种几何不变量的预测和模型构建方法与系统
CN111145253B (zh) 一种高效的物体6d姿态估计算法
CN113256698B (zh) 一种具有深度预测的单目3d重建方法
CN114359509B (zh) 一种基于深度学习的多视图自然场景重建方法
CN110021065A (zh) 一种基于单目相机的室内环境重建方法
CN104616286A (zh) 快速的半自动多视图深度修复方法
CN116051747A (zh) 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质
CN117456136A (zh) 一种基于多模态视觉识别的数字孪生场景智能生成方法
CN115423938B (zh) 一种基于语义识别的三维模型重建方法及系统
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
Wang et al. TerrainFusion: Real-time digital surface model reconstruction based on monocular SLAM
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
Zhu et al. ANCIENTDEPTHNET: AN UNSUPERVISED FRAMEWORK FOR DEPTH ESTIMATION OF ANCIENT ARCHITECTURE
Chen et al. Bidirectional optical flow NeRF: high accuracy and high quality under fewer views
CN115841546A (zh) 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统
Treible et al. Learning dense stereo matching for digital surface models from satellite imagery
Li et al. Point-Based Neural Scene Rendering for Street Views

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220916

RJ01 Rejection of invention patent application after publication