CN115641333B - 一种基于球谐高斯的室内光照估计方法及系统 - Google Patents
一种基于球谐高斯的室内光照估计方法及系统 Download PDFInfo
- Publication number
- CN115641333B CN115641333B CN202211563430.5A CN202211563430A CN115641333B CN 115641333 B CN115641333 B CN 115641333B CN 202211563430 A CN202211563430 A CN 202211563430A CN 115641333 B CN115641333 B CN 115641333B
- Authority
- CN
- China
- Prior art keywords
- illumination information
- illumination
- image
- spherical harmonic
- hdr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于球谐高斯的室内光照估计方法及系统。首先利用中心方向固定的128球谐高斯算法对在互联网上获取的HDR室内全景图的光照信息进行拟合,从而获取有效的全景光照信息。然后,使用双边纹理滤波算法对从HDR室内全景图中裁切出的HDR背景图像进行滤波来获取相应的光照信息图像,并使用色调映射将HDR背景图像映射成相应的LDR背景图像。并提出一种基于深度学习的光照估计算法,对三维模型进行重光照渲染后可以达到与真实室内光照信息对模型重光照后近乎一致的视觉效果。
Description
技术领域
本发明属于图像增强领域,可用于3维模型的重光照以及场景的重新渲染。具体涉及到一种基于球谐高斯的室内光照估计方法及系统,利用单幅图像去估计整个室内全景的光照估计方法。
背景技术
光照估计是计算机图形学和计算机视觉中的经典的研究任务,在增强现实方向有着极为重要的应用。室内场景具有复杂性和多样性,从单幅图像来估计对应整个室内场景的光照信息更具有挑战性。传统的一些光照估计算法往往需要重建整个场景的几何信息或者依赖用户输入一些基本场景信息来帮助估计场景内的光照信息。近年提出了一些利用深度学习的方法来从单幅图像去估计对应真个室内场景的光照估计方法,但这些方法不能够表现出真实场景的光照信息。有的方法使用简单的光照模型简化计算,丢失了真实场景光照信息的一些重要的高频信息。有的方法希望从单幅图像去恢复出整个室内的高动态(High Dynamic Range, HDR)全景图,但却因为恢复难度太大难以达到理想的效果。对于室内环境,现有的光照估计算法无法很好的估计出真实的光照信息分布,再利用估计出的光照信息进行一些模型或场景的重光照工作时也难以产生令人满意的视觉效果。
发明内容
本发明提出一种基于球谐高斯的室内光照估计方法,解决了现有的光照估计准确性不够,缺乏真实感以及效率低等问题。
本发明提出一种基于球谐高斯的室内光照估计方法,其特征在于,包括:
步骤1、利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合。
步骤2、从HDR室内全景图中裁切出视角受限的HDR背景图像,采样出高动态范围HDR背景图像的光照信息图像,并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像。
步骤3、使用深度学习的方法,对LDR背景图像进行特征提取,首先学习出LDR背景图像的光照信息图像,再通过已学习出的背景图像的光照信息图像去推导出对应的整个室内的全景光照信息参数,并利用球谐高斯将光照信息参数导出为HDR室内环境图;
步骤4、使用图像重构损失作为网络预测值和对应真值之间的损失函数,通过最小化损失函数逐步优化预测的光照信息参数,使得估计的室内全景的光照信息逼近真实捕获的光照信息。
进一步地,所述的步骤1具体过程如下:
步骤1.1、利用球谐高斯对获取的HDR室内全景图的光照信息进行参数化表示,其中球谐高斯定义为:
其中是HDR室内全景图的点映射到球面上每个点的单位法向量组合,一般
定义为俯仰角和偏航角的二元组组合,是球谐高斯的中心方向,通常方向为球心指
向球面上的一点,一般也为俯仰角和偏航角,表示球谐高斯中心位置的光照幅度值,
一般为红绿蓝三原色RGB三元组,是球谐高斯的衰减率,表示当远离球谐高斯中心位
置时光照幅度值的衰减速度;
步骤1.2、利用128阶球谐高斯计算所需的参数矩阵,参数矩阵大小原为128×6,固定128阶球谐高斯的中心方向μ,即在HDR室内全景图像中预先随机生成128个位置坐标并映射到球面上的点,方向由球心指向对应的球面上的点,仅对光照幅度值α和衰减率λ进行估计,因此需计算的参数大小为128×4;
步骤1.3、利用球谐高斯将参数矩阵导出为HDR环境图E,导出公式为:
步骤1.4、利用最小二乘法获得球谐高斯参数α,λ,最小二乘法F可表示为:
F=argmin(P-E)
进一步地,所述的步骤2包括以下子步骤:
步骤2.1、从HDR室内全景图中裁切出HDR背景图像;
步骤2.2、使用双边纹理滤波的方法对HDR背景图像进行处理,得到光照信息图像H;
步骤2.3、利用色调映射的算法对HDR背景图像进行处理得到LDR背景图像。
进一步地,所述的步骤3具体过程如下:
步骤3.1、深度学习网络结构设计,整个网络框架分为光照信息提取网络和全景光照生成网络,其中光照信息提取网络输入单幅LDR背景图像,输出对应的光照信息图像;其输入端包含四个下采样层,输出端包含四个上采样层,中间部分包含两条分支,两条分支分别包含三个下采样层和三个上采样层,用于提取图像的高级特征,这里的高级特征主要指想要提取的光照信息特征,一般由图像经过神经网络多次采样后所保留的部分被称为高级特征;其中下采样层为“卷积-正则化-激活函数”结构,上采样层为“反卷积-正则化-激活函数”结构,在对称的上下采样层之间采取跳跃连接的方式来共享特征;全景光照生成网络输入光照信息图像,输出全景光照信息参数,首先由两个稠密模块提取压缩特征,然后使用四个下采样层进行特征提取,然后两个分支用于不同参数特征的解码,其中两个分支包含四个上采样层,同样使用跳跃连接的方式在对应的上下采样层之间进行特征共享。
步骤3.2、将步骤2.3中得到的室内LDR背景图像作为单幅图像输入深度神经网络,利用光照信息提取网络提取图像中的高级特征,并学习出对应的光照信息图像H′。
步骤3.3、利用步骤3.2中得到的光照信息图像作为线索,利用全景光照生成网络
预测出对应的整个室内的全景光照信息参数,总维度为128×4,其中预测的球谐高斯的光
照幅度值维度为128×1,预测的球谐高斯的衰减率维度为128×3;
步骤3.4、对于步骤3.3得到的光照信息参数,利用球谐高斯将这些参数导出为HDR环境图,导出公式为:
进一步地,所述的步骤4包括以下子步骤:
步骤4.1、使用重构损失L2损失来分别约束深度神经网络的预测值和对应真值之间的差异,其中L2损失定义为:
步骤4.2、使用L2损失对对数化后的预测光照信息图像和光照信息图像真值进行约束,定义为:
步骤4.3、使用L2损失对对数化后的预测球谐高斯光照参数和光照信息参数真值进行约束,定义为:
其中G为步骤1中使用的球谐高斯函数,P为步骤1中得到的HDR室内全景图;
步骤4.5、利用步骤4.1, 4.2, 4.3中提出的损失函数的和对整个深度学习网络进行优化,最小化损失函数优化神经网络最终输出的光照参数值,定义为:
基于同一发明构思,本发明还设计了一种实现所述基于球谐高斯的室内光照估计方法的系统,其特殊之处在于:
包括图像数据生成模块,神经网络学习模块,损失计算模块;
所述的图像数据生成模块利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合,从HDR室内全景图中裁切出视角受限的HDR背景图像,采样出高动态范围HDR背景图像的光照信息图像,并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像;
所述的神经网络学习模块,使用深度学习的方法利用图像数据生成模块的LDR背景图像作为输入,光照信息图像和光照信息参数作为真值进行光照信息的学习,主要分为背景图像光照信息提取网络和全景光照信息生成网络,背景图像光照信息提取网络提取LDR背景图像的高级特征,去学习出对应的光照信息图像,然后全景光照信息生成网络利用学习出的光照信息图像作为线索生成对应的全景光照信息参数,并且利用球谐高斯将生成的光照信息参数导出为HDR环境图;
所述的损失计算模块将神经网络学习模块预测的光照信息图像与图像数据生成模块生成的光照信息图像真值,神经网络学习模块预测的光照信息参数与图像数据生成模块生成的光照信息参数,神经网络学习模块预测的HDR环境图与对应的HDR室内全景图分别做损失约束,所有损失之和共同来逐步优化神经网络学习模块输出的光照信息参数,使得输出的光照信息逼近真实设备获取的光照信息。
基于同一发明构思,本方案还设计了一种电子设备,其特殊之处在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如所述基于球谐高斯的室内光照估计方法。
基于同一发明构思,本方案还设计了一种计算机可读介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现所述基于球谐高斯的室内光照估计方法。
本发明的优点在于:通过本发明的室内光照估计方法,可以实现由单幅图像到整个室内场景的光照估计。利用球谐高斯对HDR室内全景图进行光照信息拟合,提取出全景光照信息参数。使用滤波的方法处理从HDR室内全景图裁切出的HDR背景图像,得到HDR背景图像的光照信息图像。利用深度神经网络将HDR背景图像作为单幅图像输入并对单幅图像的光照信息和整个室内全景的光照信息的关系进行建模,首先学习出单幅图像的光照信息图像,再由此光照信息图像去预测整个室内的全景光照信息参数。从而让网络实现由光照到光照的推理学习。基于单幅图像,本发明可以迅速,有效,高质量估计出整个室内全景的光照信息。
附图说明
图1为本发明提出的基于室内球谐高斯的光照估计方法的过程示意图。
图2为全景相机拍摄合成的HDR全景图。
具体实施方式
为进一步了解本发明的内容,使本发明的目的、技术方案及优点更加清晰明了,以下结合附图和实施例对本发明进行详细说明。
本发明所设计的一种基于球谐高斯的室内光照估计方法,具体包括如下步骤过:
步骤1、利用中心方向固定的128球谐高斯算法对在互联网上获取的HDR室内全景图的光照信息进行拟合。
步骤1.1、利用球谐高斯对获取的HDR室内全景图的光照信息进行参数化表示,其中球谐高斯定义为:
其中是球面上每个点的法向量组合,一般定义为俯仰角和偏航角的二元组
组合。是球谐高斯的中心方向,通常方向为球心指向球面上的一点,一般也为俯仰角
和偏航角。表示球谐高斯中心位置的光照幅度值,一般为红绿蓝三原色三元组。是球谐高斯的衰减率,表示当远离球谐高斯中心位置时光照幅度值的衰减速度。
步骤1.2、利用阶球谐高斯计算所需的参数矩阵,参数矩阵大小原为128×6,本
方法固定128阶球谐高斯的中心方向μ,即在图像中预先随机生成128个位置坐标,仅对光照
幅度值α和衰减率λ进行估计,因此需计算的参数大小为128×4。
步骤1.3、利用球谐高斯将参数矩阵导出为HDR环境图E,导出公式为:
步骤1.4、利用最小二乘法获得球谐高斯参数α,λ:
F=argmin(P-E)
步骤2、从HDR室内全景图中裁切出视角受限的HDR背景图像,利用双边纹理滤波采样出HDR背景图像的光照信息图像,并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像。
步骤2.1、从HDR室内全景图中裁切出HDR背景图像
步骤2.2、使用双边纹理滤波的方法对HDR背景图像进行处理,得到光照信息图像H。
步骤2.3、利用色调映射的算法对HDR背景图像进行处理得到LDR背景图像。
步骤3、使用深度学习的方法,将LDR背景图像作为单幅图像输入并进行特征提取,首先学习出单幅图像的光照信息图像。再通过已学习出的单幅图像的光照信息图像去推导出对应的整个室内的全景光照信息参数,并利用球谐高斯将光照信息参数导出为HDR室内环境图。
步骤3.1、网络结构设计,整个网络框架分为光照信息提取网络和全景光照生成网络,其中光照信息提取网络输入单幅LDR背景图像,输出对应的光照信息图像。其输入端包含四个下采样层,输出端包含四个上采样层,中间部分包含两条分支,两天分支分别包含三个下采样层和三个上采样层,用于提取图像的高级特征。其中下采样层为“卷积-正则化-激活函数”结构,上采样层为“反卷积-正则化-激活函数”结构。在对称的上下采样层之间采取跳跃连接的方式来共享特征。全景光照生成网络输入光照信息图像,输出全景光照信息参数。首先由两个稠密模块提取压缩特征,然后使用四个下采样层进行特征提取,然后两个分支用于不同参数特征的解码,其中两个分支包含四个上采样层,同样使用跳跃连接的方式在对应的上下采样层之间进行特征共享。
步骤3.2、将步骤2.3中得到的室内LDR背景图像作为单幅图像输入深度神经网络,利用光照信息提取网络提取图像中的高级特征,并学习出对应的光照信息图像H′。
步骤3.3、利用步骤3.2中得到的光照信息图像作为线索,利用全景光照生成网络
预测出对应的整个室内的全景光照信息参数,总维度为128×4. 其中预测的球谐高斯的光
照幅度值α′维度为128×1,预测的球谐高斯的衰减率维度为128×3。
步骤3.4、对于步骤3.3得到的光照信息参数,利用球谐高斯将这些参数导出为HDR环境图,导出公式为:
步骤4、使用图像重构损失作为网络预测值和对应真值之间的损失函数,通过最小化损失函数逐步优化预测的光照信息参数,使得估计的室内全景的光照信息逼近真实捕获的光照信息。
步骤4.1、使用重构损失L2损失来分别约束深度神经网络的预测值和对应真值之间的差异,其中L2损失定义为:
步骤4.2、使用L2损失对对数化后的预测光照信息图像和光照信息图像真值进行约束,定义为:
其中H′为步骤3.3中深度神经网络预测的光照信息图像,H为步骤2.2中的光照信息图像真值log为取对数操作。
步骤4.3、使用L2损失对对数化后的预测球谐高斯光照参数和光照信息参数真值进行约束,定义为:
其中G为步骤1.4中定义的球谐高斯函数,P为步骤1.1中得到的HDR室内全景图。
步骤4.5、利用步骤4.1, 4.2, 4.3中提出的损失函数的和对整个深度学习网络进行优化,最小化损失函数优化神经网络最终输出的光照参数值,定义为:
本发明的技术方案首先利用中心方向固定的128球谐高斯算法对在互联网上获取的HDR室内全景图的光照信息进行拟合,得到全景光照信息,无需对真实场景中的光照分布做任何假设。然后对HDR室内全景图进行裁切得到HDR背景图像,通过双边纹理滤波的方法获取HDR背景图像的光照信息图像,使用色调映射将HDR背景图像转化为背景LDR(LowDynamic Range)图像。以LDR背景图像作为单幅图像喂入深度神经网络,利用深度神经网络对单幅图像的光照信息与对应的整个室内的光照信息的关系进行建模,由单幅图像首先学习出光照信息图像,再基于学习出的光照信息图像去预测整个全景的光照信息参数。在真实数据集上验证提出的方法,结果表明此方法可以估计出高质量的光照信息,对三维模型进行重光照后可以达到与真实室内光照信息对模型重光照后近乎一致的真实的视觉效果。
基于同一发明构思,本发明还设计了一种实现所述基于球谐高斯的室内光照估计方法的系统,其特殊之处在于:
包括图像数据生成模块,神经网络学习模块,损失计算模块;
所述的图像数据生成模块利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合,从HDR室内全景图中裁切出视角受限的HDR背景图像,采样出高动态范围HDR背景图像的光照信息图像,并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像;
所述的神经网络学习模块,使用深度学习的方法利用图像数据生成模块的LDR背景图像作为输入,光照信息图像和光照信息参数作为真值进行光照信息的学习,主要分为背景图像光照信息提取网络和全景光照信息生成网络,背景图像光照信息提取网络提取LDR背景图像的高级特征,去学习出对应的光照信息图像,然后全景光照信息生成网络利用学习出的光照信息图像作为线索生成对应的全景光照信息参数,并且利用球谐高斯将生成的光照信息参数导出为HDR环境图;
所述的损失计算模块将神经网络学习模块预测的光照信息图像与图像数据生成模块生成的光照信息图像真值,神经网络学习模块预测的光照信息参数与图像数据生成模块生成的光照信息参数,神经网络学习模块预测的HDR环境图与对应的HDR室内全景图分别做损失约束,所有损失之和共同来逐步优化神经网络学习模块输出的光照信息参数,使得输出的光照信息逼近真实设备获取的光照信息。
基于同一发明构思,本方案还设计了一种电子设备,其特殊之处在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如所述基于球谐高斯的室内光照估计方法。
基于同一发明构思,本方案还设计了一种计算机可读介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现所述基于球谐高斯的室内光照估计方法。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照实例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于球谐高斯的室内光照估计方法,其特征在于,包括:
步骤1、利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合,提取出全景光照信息参数;其中,高斯参数光照幅度值α和衰减率λ利用最小二乘法获得;
步骤2、从HDR室内全景图中裁切出视角受限的HDR背景图像,使用双边纹理滤波采样出高动态范围HDR背景图像的光照信息图像,并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像;
步骤3、使用深度学习的方法,对LDR背景图像进行特征提取,首先学习出LDR背景图像的光照信息图像,再通过已学习出的背景图像的光照信息图像去推导出对应的整个室内的全景光照信息参数,并利用球谐高斯将光照信息参数导出为HDR室内环境图;
步骤4、使用图像重构损失作为网络预测值和对应真值之间的损失函数,通过最小化损失函数逐步优化预测的光照信息参数,使得估计的室内全景的光照信息逼近真实捕获的光照信息。
2.根据权利要求1所述的基于球谐高斯的室内光照估计方法,其特征在于,所述的步骤1具体过程如下:
步骤1.1、利用球谐高斯对获取的HDR室内全景图的光照信息进行参数化表示,其中球谐高斯定义为:
其中是球面上每个点的法向量组合,一般定义为俯仰角和偏航角的二元组组合,是球谐高斯的中心方向,通常方向为球心指向球面上的一点,一般也为俯仰角和偏航角,表示球谐高斯中心位置的光照幅度值,一般为红绿蓝三原色RGB三元组,是球谐高斯的衰减率,表示当远离球谐高斯中心位置时光照幅度值的衰减速度;
步骤1.2、利用128阶球谐高斯计算所需的参数矩阵,参数矩阵大小原为128×6,固定128阶球谐高斯的中心方向μ,即在图像中预先随机生成128个位置坐标,仅对光照幅度值α和衰减率λ进行估计,因此需计算的参数大小为128×4;
步骤1.3、利用球谐高斯将参数矩阵导出为HDR环境图E,导出公式为:
步骤1.4、利用最小二乘法获得球谐高斯参数α,λ,最小二乘法F可表示为:
F=argmin(P-E)
3.根据权利要求1所述的基于球谐高斯的室内光照估计方法,其特征在于,所述的步骤3具体过程如下:
步骤3.1、深度学习网络结构设计,整个网络框架分为光照信息提取网络和全景光照生成网络,其中光照信息提取网络输入单幅LDR背景图像,输出对应的光照信息图像;全景光照生成网络输入光照信息图像,输出全景光照信息参数;
步骤3.3、利用步骤3.2中得到的光照信息图像作为线索,利用全景光照生成网络预测出对应的整个室内的全景光照信息参数,总维度为128×4,其中预测的球谐高斯的光照幅度值维度为128×1,预测的球谐高斯的衰减率维度为128×3;
步骤3.4、对于步骤3.3得到的光照信息参数,利用球谐高斯将这些参数导出为HDR环境图,导出公式为:
4.根据权利要求3所述的基于球谐高斯的室内光照估计方法,其特征在于:所述光照信息提取网络其输入端包含四个下采样层,输出端包含四个上采样层,中间部分包含两条分支,两条分支分别包含三个下采样层和三个上采样层,用于提取图像的高级特征;其中下采样层为“卷积-正则化-激活函数”结构,上采样层为“反卷积-正则化-激活函数”结构,在对称的上下采样层之间采取跳跃连接的方式来共享特征。
5.根据权利要求4所述的基于球谐高斯的室内光照估计方法,其特征在于:所述全景光照生成网络首先由两个稠密模块提取压缩特征,然后使用四个下采样层进行特征提取,然后两个分支用于不同参数特征的解码,其中两个分支包含四个上采样层,同样使用跳跃连接的方式在对应的上下采样层之间进行特征共享。
6.根据权利要求1所述的基于球谐高斯的室内光照估计方法,其特征在于,所述的步骤4包括以下子步骤:
步骤4.1、使用重构损失L2损失来分别约束深度神经网络的预测值和对应真值之间的差异,其中L2损失定义为:
步骤4.2、使用L2损失对对数化后的预测光照信息图像和光照信息图像真值进行约束,定义为:
步骤4.3、使用L2损失对对数化后的预测球谐高斯光照参数和光照信息参数真值进行约束,定义为:
其中G为步骤1中使用的球谐高斯函数,P为步骤1中得到的HDR室内全景图,μ为步骤1中固定的球谐高斯的中心方向;
步骤4.5、利用步骤4.1, 4.2, 4.3中提出的损失函数的和对整个深度学习网络进行优化,最小化损失函数优化神经网络最终输出的光照参数值,定义为:
7.一种实现权利要求1-6中任一项所述基于球谐高斯的室内光照估计方法的系统,其特征在于:
包括图像数据生成模块,神经网络学习模块,损失计算模块;
所述的图像数据生成模块利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合,从HDR室内全景图中裁切出视角受限的HDR背景图像,采样出高动态范围HDR背景图像的光照信息图像,并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像;
所述的神经网络学习模块,使用深度学习的方法利用图像数据生成模块的LDR背景图像作为输入,光照信息图像和光照信息参数作为真值进行光照信息的学习,主要分为背景图像光照信息提取网络和全景光照信息生成网络,背景图像光照信息提取网络提取LDR背景图像的高级特征,去学习出对应的光照信息图像,然后全景光照信息生成网络利用学习出的光照信息图像作为线索生成对应的全景光照信息参数,并且利用球谐高斯将生成的光照信息参数导出为HDR环境图;
所述的损失计算模块将神经网络学习模块预测的光照信息图像与图像数据生成模块生成的光照信息图像真值,神经网络学习模块预测的光照信息参数与图像数据生成模块生成的光照信息参数,神经网络学习模块预测的HDR环境图与对应的HDR室内全景图分别做损失约束,所有损失之和共同来逐步优化神经网络学习模块输出的光照信息参数,使得输出的光照信息逼近真实设备获取的光照信息。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的基于球谐高斯的室内光照估计方法。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现如权利要求1-6中任一项所述的基于球谐高斯的室内光照估计方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211563430.5A CN115641333B (zh) | 2022-12-07 | 2022-12-07 | 一种基于球谐高斯的室内光照估计方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211563430.5A CN115641333B (zh) | 2022-12-07 | 2022-12-07 | 一种基于球谐高斯的室内光照估计方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115641333A CN115641333A (zh) | 2023-01-24 |
CN115641333B true CN115641333B (zh) | 2023-03-21 |
Family
ID=84949709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211563430.5A Active CN115641333B (zh) | 2022-12-07 | 2022-12-07 | 一种基于球谐高斯的室内光照估计方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115641333B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292264A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570496B (zh) * | 2019-08-26 | 2021-03-16 | 武汉大学 | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 |
CN110910486B (zh) * | 2019-11-28 | 2021-11-19 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
CN113537194A (zh) * | 2021-07-15 | 2021-10-22 | Oppo广东移动通信有限公司 | 光照估计方法、光照估计装置、存储介质与电子设备 |
CN115375827B (zh) * | 2022-07-21 | 2023-09-15 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
-
2022
- 2022-12-07 CN CN202211563430.5A patent/CN115641333B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292264A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115641333A (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110910486B (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
CN110443892B (zh) | 一种基于单张图像的三维网格模型生成方法及装置 | |
CN111161364B (zh) | 一种针对单视角深度图的实时形状补全和姿态估计方法 | |
CN110599395A (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
Ma et al. | Learning to jointly generate and separate reflections | |
CN111553869B (zh) | 一种空基视角下的生成对抗网络图像补全方法 | |
CA3137297C (en) | Adaptive convolutions in neural networks | |
CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
CN112785526A (zh) | 一种用于图形处理的三维点云修复方法 | |
CN113724149B (zh) | 一种弱监督的可见光遥感图像薄云去除方法 | |
CN115239861A (zh) | 人脸数据增强方法、装置、计算机设备和存储介质 | |
Han et al. | PIINET: A 360-degree panoramic image inpainting network using a cube map | |
CN112819951A (zh) | 一种基于深度图修复的带遮挡三维人体重建方法 | |
CN112562056A (zh) | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 | |
Kang et al. | Competitive learning of facial fitting and synthesis using uv energy | |
Sun et al. | Ssl-net: Point-cloud generation network with self-supervised learning | |
CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
Wang et al. | Digital twin: Acquiring high-fidelity 3D avatar from a single image | |
Cong et al. | Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360$^{\circ} $ Omnidirectional Image | |
Liu et al. | X-gans: Image reconstruction made easy for extreme cases | |
CN117094895B (zh) | 图像全景拼接方法及其系统 | |
Reinhard et al. | On visual realism of synthesized imagery | |
CN115641333B (zh) | 一种基于球谐高斯的室内光照估计方法及系统 | |
CN115578497A (zh) | 一种基于gan网络的图像场景重光照的网络结构及方法 | |
CN115908712A (zh) | 基于图像的三维重建及模型训练方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |