CN114494574A - 一种多损失函数约束的深度学习单目三维重建方法及系统 - Google Patents
一种多损失函数约束的深度学习单目三维重建方法及系统 Download PDFInfo
- Publication number
- CN114494574A CN114494574A CN202111576581.XA CN202111576581A CN114494574A CN 114494574 A CN114494574 A CN 114494574A CN 202111576581 A CN202111576581 A CN 202111576581A CN 114494574 A CN114494574 A CN 114494574A
- Authority
- CN
- China
- Prior art keywords
- loss function
- dimensional reconstruction
- monocular
- loss
- beam adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种多损失函数约束的深度学习单目三维重建方法及系统,其方法包括:获取多个连续的目标图像帧;确定包括光束平差约束和几何一致性约束的多个损失函数,利用所述多个损失函数训练基于深度学习的三维重建网络;将所述多个连续的目标图像帧,输入到训练完成的三维重建网络,得到目标图像帧的空间三维信息。本发明基于光束调整法,分别从图像像素域、图像深度域进行帧间双向重投影,从而提高模型预测精度和泛化能力,有效降低图像中随机噪声干扰。
Description
技术领域
本发明属于深度学习与三维重建技术领域,具体涉及一种多损失函数约束的深度学习单目三维重建方法及系统。
背景技术
深度学习单目视觉三维重建是指利用单目视觉传感器,基于训练好的深度网络模型,恢复图像帧视域内空间三维信息的过程。深度学习三维重建网络包括深度子网络与位姿子网络。现有深度学习三维重建网络中(无监督训练),主要采用连续图像帧(3帧或者5帧)作为输入,选取其中一帧图像作为参考帧并计算其他帧投影到参考帧的光度误差,包括平滑损失、SSIM损失及像素重投影损失。由于场景变化,仅从像素域构建损失函数,一方面会导致深度子网络与位姿子网络尺度不一致;另一方面环境中随机噪声干扰会影响单向损失约束(从其他帧映射到参考帧)效果,降低位姿与深度估计的精度,从而导致模型在不同场景的泛化性随之退化。
发明内容
为解决单目视觉三维重建中的精度及模型泛化性受限的问题,在本发明的第一方面提供了一种多损失函数约束的深度学习单目三维重建方法,包括:获取多个连续的目标图像帧;确定包括光束平差约束和几何一致性约束的多个损失函数,利用所述多个损失函数训练基于深度学习的三维重建网络;将所述多个连续的目标图像帧,输入到训练完成的三维重建网络,得到目标图像帧的空间三维信息。
在本发明的一些实施例中,所述确定包括光束平差约束和几何一致性约束的多个损失函数包括:构建单目图像的基准光度损失函数;构建单目图像的像素域的光束平差约束的损失函数;基于所述基准光度损失函数和像素域的光束平差约束的损失函数,构建单目图像的深度域的光束平差约束的损失函数。
进一步的,所述基准光度损失函数通过如下方法计算:
其中LS表示基准光度损失,s为尺度因子,i和t分别为尺度和帧序号,N为窗口内总帧数,dt *表示每个像素点的逆深度经均值归一化后的值,αx、αy表示为沿着图像的x轴和y轴方向求梯度操作,It表示第t帧图像。
更进一步的,所述光束平差约束的损失函数通过如下方法计算:
优选的,所述光束平差约束的损失函数通过如下方法计算:
在上述的实施例中,所述利用所述多个损失函数训练基于深度学习的三维重建网络包括:获取多张不同尺度的RGB图像,及其深度图和位姿信息;根据每张RGB图像及其深度图和位姿信息,构建训练数据集;基于所述训练数据集和所述多个损失函数,训练基于深度学习的三维重建网络,直至每个损失函数值低于阈值且趋于稳定。
本发明的第二方面,提供了一种多损失函数约束的深度学习单目三维重建系统,包括:获取模块,用于获取多个连续的目标图像帧;确定模块,用于确定包括光束平差约束和几何一致性约束的多个损失函数,利用所述多个损失函数训练基于深度学习的三维重建网络;重建模块,用于将所述多个连续的目标图像帧,输入到训练完成的三维重建网络,得到目标图像帧的空间三维信息。
在本发明的一些实施例中,所述确定模块包括:第一构建单元,用于构建单目图像的基准光度损失函数;第二构建单元,用于构建单目图像的像素域的光束平差约束的损失函数;第三构建单元,用于基于所述基准光度损失函数和像素域的光束平差约束的损失函数,构建单目图像的深度域的光束平差约束的损失函数。
本发明的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明在第一方面提供的多损失函数约束的深度学习单目三维重建方法。
本发明的第四方面,提供了一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本发明在第一方面提供的多损失函数约束的深度学习单目三维重建方法。
本发明的有益效果是:
1.本发明主要解决深度学习单目三维重建中多损失函数构建问题,从而进一步指导提高目标三维重建的精度并提升模型泛化性。通过建立多尺度下像素与深度双向BA投影误差,增加网络收敛速度与预测精度,有效降低随机噪声干扰,增强模型的多场景适应性;
2.本发明基于光束调整法,分别从图像像素域、图像深度域进行帧间双向重投影。一方面通过增加约束类型,引导网络参数梯度下降方向,加快网络收敛速度,提升模型预测精度;
3.本发明深度重投影误差弥补了像素重投影中要求光照一致性的不足,并统一深度预测子网络与位姿预测子网络的几何尺度一致性,大大提高了模型在不同环境下的泛化能力;
4.本发明通过多帧之间双向投影误差,有效降低图像中随机噪声干扰。
附图说明
图1为本发明的一些实施例中的多损失函数约束的深度学习单目三维重建方法的基本流程示意图;
图2为本发明的一些实施例中的多损失函数约束的深度学习单目三维重建方法的具体流程示意图;
图3为本发明的一些实施例中的多损失函数约束的深度学习单目三维重建系统的结构示意图;
图4为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
参考图1与图2,在本发明的第一方面,提供了一种多损失函数约束的深度学习单目三维重建方法,包括:S100.获取多个连续的目标图像帧;S200.确定包括光束平差约束和几何一致性约束的多个损失函数,利用所述多个损失函数训练基于深度学习的三维重建网络;S300.将所述多个连续的目标图像帧,输入到训练完成的三维重建网络,得到目标图像帧的空间三维信息。
可以理解,本发明中的多个连续的目标图像帧,一般是指三维重建网络所用到的连续图像帧(3帧或者5帧);光束法平差(Bundle Adjustment),就是从多视角(多尺寸)信息中提取出3D点的坐标以及各个摄像机的相对位置和光学信息的过程。
在本发明的一些实施例的步骤S200中,所述确定包括光束平差约束和几何一致性约束的多个损失函数包括:S201.构建单目图像的基准光度损失函数;S202.构建单目图像的像素域的光束平差约束的损失函数;S203.基于所述基准光度损失函数和像素域的光束平差约束的损失函数,构建单目图像的深度域的光束平差约束的损失函数。
进一步的,所述基准光度损失函数通过如下方法计算:
其中LS表示基准光度损失,s为尺度因子,i和t分别为尺度和帧序号,N为窗口内总帧数,dt *表示每个像素点的逆深度经均值归一化后的值,即表示每个像素点逆深度对整个图像逆深度的均值进行归一化操作αx、αy表示为沿着图像的x轴和y轴方向求梯度操作,It表示第t帧图像。
更进一步的,所述像素域的光束平差约束的损失函数通过如下方法计算:
优选的,所述深度域的光束平差约束的损失函数通过如下方法计算:
在上述的实施例的步骤S200或S300中,所述利用所述多个损失函数训练基于深度学习的三维重建网络包括:获取多张不同尺度的RGB图像,及其深度图和位姿信息;根据每张RGB图像及其深度图和位姿信息,构建训练数据集;基于所述训练数据集和所述多个损失函数,训练基于深度学习的三维重建网络,直至每个损失函数值低于阈值且趋于稳定。
图2示出了本发明实施例的多损失函数计算流程框架,三维重建网络包括DepthNet和PoseNet,DepthNet分别用于重建深度信息和位姿信息。
实施例2
参考图3,本发明的第二方面,提供了一种多损失函数约束的深度学习单目三维重建系统1,包括:获取模块11,用于获取多个连续的目标图像帧;确定模块12,用于确定包括光束平差约束和几何一致性约束的多个损失函数,利用所述多个损失函数训练基于深度学习的三维重建网络;重建模块13,用于将所述多个连续的目标图像帧,输入到训练完成的三维重建网络,得到目标图像帧的空间三维信息。
在本发明的一些实施例中,所述确定模块12包括:第一构建单元,用于构建单目图像的基准光度损失函数;第二构建单元,用于构建单目图像的像素域的光束平差约束的损失函数;第三构建单元,用于基于所述基准光度损失函数和像素域的光束平差约束的损失函数,构建单目图像的深度域的光束平差约束的损失函数。
实施例3
参考图4,本发明的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明在第一方面的方法。
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Python,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种多损失函数约束的深度学习单目三维重建方法,其特征在于,包括:
获取多个连续的目标图像帧;
确定包括光束平差约束和几何一致性约束的多个损失函数,利用所述多个损失函数训练基于深度学习的三维重建网络;
将所述多个连续的目标图像帧,输入到训练完成的三维重建网络,得到目标图像帧的空间三维信息。
2.根据权利要求1所述的多损失函数约束的深度学习单目三维重建方法,其特征在于,所述确定包括光束平差约束和几何一致性约束的多个损失函数包括:
构建单目图像的基准光度损失函数;
构建单目图像的像素域的光束平差约束的损失函数;
基于所述基准光度损失函数和像素域的光束平差约束的损失函数,构建单目图像的深度域的光束平差约束的损失函数。
6.根据权利要求1所述的多损失函数约束的深度学习单目三维重建方法,其特征在于,所述利用所述多个损失函数训练基于深度学习的三维重建网络包括:
获取多张不同尺度的RGB图像,及其深度图和位姿信息;
根据每张RGB图像及其深度图和位姿信息,构建训练数据集;
基于所述训练数据集和所述多个损失函数,训练基于深度学习的三维重建网络,直至每个损失函数值低于阈值且趋于稳定。
7.一种多损失函数约束的深度学习单目三维重建系统,其特征在于,包括:
获取模块,用于获取多个连续的目标图像帧;
确定模块,用于确定包括光束平差约束和几何一致性约束的多个损失函数,利用所述多个损失函数训练基于深度学习的三维重建网络;
重建模块,用于将所述多个连续的目标图像帧,输入到训练完成的三维重建网络,得到目标图像帧的空间三维信息。
8.根据权利要求7所述的多损失函数约束的深度学习单目三维重建系统,其特征在于,所述确定模块包括:
第一构建单元,用于构建单目图像的基准光度损失函数;
第二构建单元,用于构建单目图像的像素域的光束平差约束的损失函数;
第三构建单元,用于基于所述基准光度损失函数和像素域的光束平差约束的损失函数,构建单目图像的深度域的光束平差约束的损失函数。
9.一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至6任一项所述的多损失函数约束的深度学习单目三维重建方法。
10.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的多损失函数约束的深度学习单目三维重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576581.XA CN114494574A (zh) | 2021-12-21 | 2021-12-21 | 一种多损失函数约束的深度学习单目三维重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576581.XA CN114494574A (zh) | 2021-12-21 | 2021-12-21 | 一种多损失函数约束的深度学习单目三维重建方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114494574A true CN114494574A (zh) | 2022-05-13 |
Family
ID=81494085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111576581.XA Pending CN114494574A (zh) | 2021-12-21 | 2021-12-21 | 一种多损失函数约束的深度学习单目三维重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114494574A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578515A (zh) * | 2022-09-30 | 2023-01-06 | 北京百度网讯科技有限公司 | 三维重建模型的训练方法、三维场景渲染方法及装置 |
-
2021
- 2021-12-21 CN CN202111576581.XA patent/CN114494574A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578515A (zh) * | 2022-09-30 | 2023-01-06 | 北京百度网讯科技有限公司 | 三维重建模型的训练方法、三维场景渲染方法及装置 |
CN115578515B (zh) * | 2022-09-30 | 2023-08-11 | 北京百度网讯科技有限公司 | 三维重建模型的训练方法、三维场景渲染方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107123142B (zh) | 位姿估计方法和装置 | |
US20210272313A1 (en) | Method and Apparatus for Constructing Map | |
CN113689372B (zh) | 图像处理方法、设备、存储介质及程序产品 | |
US11915439B2 (en) | Method and apparatus of training depth estimation network, and method and apparatus of estimating depth of image | |
CN110706262B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110222726A (zh) | 图像处理方法、装置及电子设备 | |
CN111368668B (zh) | 三维手部识别方法、装置、电子设备及存储介质 | |
CN114998406B (zh) | 一种自监督多视图深度估计方法、装置 | |
CN113327318B (zh) | 图像显示方法、装置、电子设备和计算机可读介质 | |
CN115272565A (zh) | 一种头部三维模型的重建方法及电子设备 | |
CN114022614A (zh) | 一种三维重建目标位置置信度的估计方法及系统 | |
CN112861940A (zh) | 双目视差估计方法、模型训练方法以及相关设备 | |
US11494961B2 (en) | Sticker generating method and apparatus, and medium and electronic device | |
CN110827341A (zh) | 一种图片深度估计方法、装置和存储介质 | |
CN114494574A (zh) | 一种多损失函数约束的深度学习单目三维重建方法及系统 | |
CN114049403A (zh) | 一种多角度三维人脸重建方法、装置及存储介质 | |
CN117253008A (zh) | 一种空间对象布局生成方法、装置、设备及存储介质 | |
CN109816791B (zh) | 用于生成信息的方法和装置 | |
CN117218187A (zh) | 行人位置信息生成方法、装置、设备和计算机可读介质 | |
US20240267484A1 (en) | Video processing method and apparatus, and device, medium and program product | |
CN116246026A (zh) | 三维重建模型的训练方法、三维场景渲染方法及装置 | |
CN116309137A (zh) | 一种多视点图像去模糊方法、装置、系统和电子介质 | |
CN115393423A (zh) | 目标检测方法和装置 | |
CN114612976A (zh) | 关键点检测方法及装置、计算机可读介质和电子设备 | |
CN114119973A (zh) | 一种基于图像语义分割网络的空间距离预测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |