CN115641333A - 一种基于球谐高斯的室内光照估计方法及系统 - Google Patents

Abstract

本发明提供了一种基于球谐高斯的室内光照估计方法及系统。首先利用中心方向固定的128球谐高斯算法对在互联网上获取的HDR室内全景图的光照信息进行拟合，从而获取有效的全景光照信息。然后，使用双边纹理滤波算法对从HDR室内全景图中裁切出的HDR背景图像进行滤波来获取相应的光照信息图像，并使用色调映射将HDR背景图像映射成相应的LDR背景图像。并提出一种基于深度学习的光照估计算法，对三维模型进行重光照渲染后可以达到与真实室内光照信息对模型重光照后近乎一致的视觉效果。

Description

一种基于球谐高斯的室内光照估计方法及系统

技术领域

本发明属于图像增强领域，可用于3维模型的重光照以及场景的重新渲染。具体涉及到一种基于球谐高斯的室内光照估计方法及系统，利用单幅图像去估计整个室内全景的光照估计方法。

背景技术

光照估计是计算机图形学和计算机视觉中的经典的研究任务，在增强现实方向有着极为重要的应用。室内场景具有复杂性和多样性，从单幅图像来估计对应整个室内场景的光照信息更具有挑战性。传统的一些光照估计算法往往需要重建整个场景的几何信息或者依赖用户输入一些基本场景信息来帮助估计场景内的光照信息。近年提出了一些利用深度学习的方法来从单幅图像去估计对应真个室内场景的光照估计方法，但这些方法不能够表现出真实场景的光照信息。有的方法使用简单的光照模型简化计算，丢失了真实场景光照信息的一些重要的高频信息。有的方法希望从单幅图像去恢复出整个室内的高动态(High Dynamic Range, HDR)全景图，但却因为恢复难度太大难以达到理想的效果。对于室内环境，现有的光照估计算法无法很好的估计出真实的光照信息分布，再利用估计出的光照信息进行一些模型或场景的重光照工作时也难以产生令人满意的视觉效果。

发明内容

本发明提出一种基于球谐高斯的室内光照估计方法，解决了现有的光照估计准确性不够，缺乏真实感以及效率低等问题。

本发明提出一种基于球谐高斯的室内光照估计方法，其特征在于，包括：

步骤1、利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合。

步骤2、从HDR室内全景图中裁切出视角受限的HDR背景图像，采样出高动态范围HDR背景图像的光照信息图像，并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像。

步骤3、使用深度学习的方法，对LDR背景图像进行特征提取，首先学习出LDR背景图像的光照信息图像，再通过已学习出的背景图像的光照信息图像去推导出对应的整个室内的全景光照信息参数,并利用球谐高斯将光照信息参数导出为HDR室内环境图；

步骤4、使用图像重构损失作为网络预测值和对应真值之间的损失函数，通过最小化损失函数逐步优化预测的光照信息参数，使得估计的室内全景的光照信息逼近真实捕获的光照信息。

进一步地，所述的步骤1具体过程如下：

步骤1.1、利用球谐高斯对获取的HDR室内全景图的光照信息进行参数化表示，其中球谐高斯定义为：

其中

是HDR室内全景图的点映射到球面上每个点的单位法向量组合,一般 定义为俯仰角和偏航角的二元组组合，

是球谐高斯的中心方向，通常方向为球心指 向球面上的一点，一般也为俯仰角和偏航角，

表示球谐高斯中心位置的光照幅度 值，一般为红绿蓝三原色RGB三元组，

是球谐高斯的衰减率，表示当远离球谐高斯中 心位置时光照幅度值的衰减速度；

步骤1.2、利用128阶球谐高斯计算所需的参数矩阵，参数矩阵大小原为128×6，固定128阶球谐高斯的中心方向μ，即在HDR室内全景图像中预先随机生成128个位置坐标并映射到球面上的点，方向由球心指向对应的球面上的点，仅对光照幅度值α和衰减率λ进行估计，因此需计算的参数大小为128×4；

步骤1.3、利用球谐高斯将参数矩阵导出为HDR环境图E，导出公式为：

步骤1.4、利用最小二乘法获得球谐高斯参数α，λ，最小二乘法F可表示为：

F=argmin（P-E）

其中

为步骤1.3中导出的HDR环境图，P为原始的HDR室内全景图。

进一步地，所述的步骤2包括以下子步骤：

步骤2.1、从HDR室内全景图中裁切出HDR背景图像；

步骤2.2、使用双边纹理滤波的方法对HDR背景图像进行处理，得到光照信息图像H；

步骤2.3、利用色调映射的算法对HDR背景图像进行处理得到LDR背景图像。

进一步地，所述的步骤3具体过程如下：

步骤3.1、深度学习网络结构设计，整个网络框架分为光照信息提取网络和全景光照生成网络，其中光照信息提取网络输入单幅LDR背景图像，输出对应的光照信息图像；其输入端包含四个下采样层，输出端包含四个上采样层，中间部分包含两条分支，两条分支分别包含三个下采样层和三个上采样层，用于提取图像的高级特征，这里的高级特征主要指想要提取的光照信息特征，一般由图像经过神经网络多次采样后所保留的部分被称为高级特征；其中下采样层为“卷积-正则化-激活函数”结构，上采样层为“反卷积-正则化-激活函数”结构，在对称的上下采样层之间采取跳跃连接的方式来共享特征；全景光照生成网络输入光照信息图像，输出全景光照信息参数，首先由两个稠密模块提取压缩特征，然后使用四个下采样层进行特征提取，然后两个分支用于不同参数特征的解码，其中两个分支包含四个上采样层，同样使用跳跃连接的方式在对应的上下采样层之间进行特征共享。

步骤3.2、将步骤2.3中得到的室内LDR背景图像作为单幅图像输入深度神经网络，利用光照信息提取网络提取图像中的高级特征，并学习出对应的光照信息图像H′。

步骤3.3、利用步骤3.2中得到的光照信息图像作为线索，利用全景光照生成网络 预测出对应的整个室内的全景光照信息参数，总维度为128×4，其中预测的球谐高斯的光 照幅度值

维度为128×1，预测的球谐高斯的衰减率

维度为128×3；

步骤3.4、对于步骤3.3得到的光照信息参数，利用球谐高斯将这些参数导出为HDR环境图，导出公式为：

其中

是球面上每个点的法向量组合，一般定义为俯仰角和偏航角的二元组 组合；

为步骤3.3中深度神经网络预测出的光照信息参数，μ为步骤1.2中固定的球谐高 斯的中心方向。

进一步地，所述的步骤4包括以下子步骤：

步骤4.1、使用重构损失L2损失来分别约束深度神经网络的预测值和对应真值之间的差异，其中L2损失定义为：

其中

为预测值，y为对应真值，n表示样本的总数，i表示每个样本在总样本中对 应的下标；

步骤4.2、使用L2损失对对数化后的预测光照信息图像和光照信息图像真值进行约束，定义为：

其中

为步骤3.3中深度神经网络预测的光照信息图像，H为步骤2.2中的光照信 息图像真值，log为取对数操作。

步骤4.3、使用L2损失对对数化后的预测球谐高斯光照参数和光照信息参数真值进行约束，定义为：

其中

为步骤3.3中深度神经网络预测出的光照信息参数，α，λ为步骤1.4得到 的光照信息参数真值。

步骤4.4、使用球谐高斯将预测的光照信息参数

联合步骤1中获取的HDR环境 图，并使用L2损失将其与原始的HDR室内全景图进行约束，定义为：

其中G为步骤1中使用的球谐高斯函数，P为步骤1中得到的HDR室内全景图；

步骤4.5、利用步骤4.1， 4.2， 4.3中提出的损失函数的和对整个深度学习网络进行优化，最小化损失函数优化神经网络最终输出的光照参数值，定义为：

。

基于同一发明构思，本发明还设计了一种实现所述基于球谐高斯的室内光照估计方法的系统，其特殊之处在于：

包括图像数据生成模块，神经网络学习模块，损失计算模块；

所述的图像数据生成模块利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合，从HDR室内全景图中裁切出视角受限的HDR背景图像，采样出高动态范围HDR背景图像的光照信息图像，并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像；

所述的神经网络学习模块，使用深度学习的方法利用图像数据生成模块的LDR背景图像作为输入，光照信息图像和光照信息参数作为真值进行光照信息的学习，主要分为背景图像光照信息提取网络和全景光照信息生成网络，背景图像光照信息提取网络提取LDR背景图像的高级特征，去学习出对应的光照信息图像，然后全景光照信息生成网络利用学习出的光照信息图像作为线索生成对应的全景光照信息参数，并且利用球谐高斯将生成的光照信息参数导出为HDR环境图；

所述的损失计算模块将神经网络学习模块预测的光照信息图像与图像数据生成模块生成的光照信息图像真值，神经网络学习模块预测的光照信息参数与图像数据生成模块生成的光照信息参数，神经网络学习模块预测的HDR环境图与对应的HDR室内全景图分别做损失约束，所有损失之和共同来逐步优化神经网络学习模块输出的光照信息参数，使得输出的光照信息逼近真实设备获取的光照信息。

基于同一发明构思，本方案还设计了一种电子设备，其特殊之处在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如所述基于球谐高斯的室内光照估计方法。

基于同一发明构思，本方案还设计了一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现所述基于球谐高斯的室内光照估计方法。

本发明的优点在于：通过本发明的室内光照估计方法，可以实现由单幅图像到整个室内场景的光照估计。利用球谐高斯对HDR室内全景图进行光照信息拟合，提取出全景光照信息参数。使用滤波的方法处理从HDR室内全景图裁切出的HDR背景图像，得到HDR背景图像的光照信息图像。利用深度神经网络将HDR背景图像作为单幅图像输入并对单幅图像的光照信息和整个室内全景的光照信息的关系进行建模，首先学习出单幅图像的光照信息图像，再由此光照信息图像去预测整个室内的全景光照信息参数。从而让网络实现由光照到光照的推理学习。基于单幅图像，本发明可以迅速，有效，高质量估计出整个室内全景的光照信息。

附图说明

图1为本发明提出的基于室内球谐高斯的光照估计方法的过程示意图。

图2为全景相机拍摄合成的HDR全景图。

具体实施方式

为进一步了解本发明的内容，使本发明的目的、技术方案及优点更加清晰明了，以下结合附图和实施例对本发明进行详细说明。

本发明所设计的一种基于球谐高斯的室内光照估计方法，具体包括如下步骤过：

步骤1、利用中心方向固定的128球谐高斯算法对在互联网上获取的HDR室内全景图的光照信息进行拟合。

步骤1.1、利用球谐高斯对获取的HDR室内全景图的光照信息进行参数化表示，其中球谐高斯定义为：

其中

是球面上每个点的法向量组合,一般定义为俯仰角和偏航角的二元组 组合。

是球谐高斯的中心方向，通常方向为球心指向球面上的一点，一般也为俯仰 角和偏航角。

表示球谐高斯中心位置的光照幅度值，一般为红绿蓝三原色三元组。

是球谐高斯的衰减率，表示当远离球谐高斯中心位置时光照幅度值的衰减速度。

步骤1.2、利用

阶球谐高斯计算所需的参数矩阵，参数矩阵大小原为128×6，本 方法固定128阶球谐高斯的中心方向μ，即在图像中预先随机生成128个位置坐标，仅对光照 幅度值α和衰减率λ进行估计，因此需计算的参数大小为128×4。

步骤1.3、利用球谐高斯将参数矩阵导出为HDR环境图E，导出公式为：

步骤1.4、利用最小二乘法获得球谐高斯参数α，λ：

F=argmin（P-E）

其中

为步骤1.3中导出的HDR环境图，P为原始的HDR室内全景图。

步骤2、从HDR室内全景图中裁切出视角受限的HDR背景图像，利用双边纹理滤波采样出HDR背景图像的光照信息图像，并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像。

步骤2.1、从HDR室内全景图中裁切出HDR背景图像

步骤2.2、使用双边纹理滤波的方法对HDR背景图像进行处理,得到光照信息图像H。

步骤2.3、利用色调映射的算法对HDR背景图像进行处理得到LDR背景图像。

步骤3、使用深度学习的方法，将LDR背景图像作为单幅图像输入并进行特征提取，首先学习出单幅图像的光照信息图像。再通过已学习出的单幅图像的光照信息图像去推导出对应的整个室内的全景光照信息参数,并利用球谐高斯将光照信息参数导出为HDR室内环境图。

步骤3.1、网络结构设计，整个网络框架分为光照信息提取网络和全景光照生成网络，其中光照信息提取网络输入单幅LDR背景图像，输出对应的光照信息图像。其输入端包含四个下采样层，输出端包含四个上采样层，中间部分包含两条分支，两天分支分别包含三个下采样层和三个上采样层，用于提取图像的高级特征。其中下采样层为“卷积-正则化-激活函数”结构，上采样层为“反卷积-正则化-激活函数”结构。在对称的上下采样层之间采取跳跃连接的方式来共享特征。全景光照生成网络输入光照信息图像，输出全景光照信息参数。首先由两个稠密模块提取压缩特征，然后使用四个下采样层进行特征提取，然后两个分支用于不同参数特征的解码，其中两个分支包含四个上采样层，同样使用跳跃连接的方式在对应的上下采样层之间进行特征共享。

步骤3.2、将步骤2.3中得到的室内LDR背景图像作为单幅图像输入深度神经网络，利用光照信息提取网络提取图像中的高级特征，并学习出对应的光照信息图像H′。

步骤3.3、利用步骤3.2中得到的光照信息图像作为线索，利用全景光照生成网络 预测出对应的整个室内的全景光照信息参数，总维度为128×4. 其中预测的球谐高斯的光 照幅度值α′维度为128×1，预测的球谐高斯的衰减率

维度为128×3。

步骤3.4、对于步骤3.3得到的光照信息参数，利用球谐高斯将这些参数导出为HDR环境图，导出公式为：

其中

与步骤1.2中的定义相同，

是球面上每个点的法向量组合。

为步 骤3.3中深度神经网络预测出的光照信息参数，μ为步骤1.2中固定的球谐高斯的中心方向。

步骤4、使用图像重构损失作为网络预测值和对应真值之间的损失函数，通过最小化损失函数逐步优化预测的光照信息参数，使得估计的室内全景的光照信息逼近真实捕获的光照信息。

步骤4.1、使用重构损失L2损失来分别约束深度神经网络的预测值和对应真值之间的差异，其中L2损失定义为：

其中

为预测值，y为对应真值。n表示样本的总数，i表示每个样本在总样本中对 应的下标。

步骤4.2、使用L2损失对对数化后的预测光照信息图像和光照信息图像真值进行约束，定义为：

其中H′为步骤3.3中深度神经网络预测的光照信息图像，H为步骤2.2中的光照信息图像真值log为取对数操作。

步骤4.3、使用L2损失对对数化后的预测球谐高斯光照参数和光照信息参数真值进行约束，定义为：

其中

为步骤3.3中深度神经网络预测出的光照信息参数，α，λ为步骤1.4得到 的光照信息参数真值。

步骤4.4、使用球谐高斯将预测的光照信息参数

联合步骤1.2中固定的球谐高 斯中心μ导出为HDR环境图,并使用L2损失将其与原始的HDR室内全景图进行约束，定义为：

其中G为步骤1.4中定义的球谐高斯函数，P为步骤1.1中得到的HDR室内全景图。

步骤4.5、利用步骤4.1， 4.2， 4.3中提出的损失函数的和对整个深度学习网络进行优化，最小化损失函数优化神经网络最终输出的光照参数值，定义为：

。

本发明的技术方案首先利用中心方向固定的128球谐高斯算法对在互联网上获取的HDR室内全景图的光照信息进行拟合，得到全景光照信息，无需对真实场景中的光照分布做任何假设。然后对HDR室内全景图进行裁切得到HDR背景图像，通过双边纹理滤波的方法获取HDR背景图像的光照信息图像，使用色调映射将HDR背景图像转化为背景LDR(LowDynamic Range)图像。以LDR背景图像作为单幅图像喂入深度神经网络，利用深度神经网络对单幅图像的光照信息与对应的整个室内的光照信息的关系进行建模，由单幅图像首先学习出光照信息图像，再基于学习出的光照信息图像去预测整个全景的光照信息参数。在真实数据集上验证提出的方法，结果表明此方法可以估计出高质量的光照信息，对三维模型进行重光照后可以达到与真实室内光照信息对模型重光照后近乎一致的真实的视觉效果。

基于同一发明构思，本发明还设计了一种实现所述基于球谐高斯的室内光照估计方法的系统，其特殊之处在于：

包括图像数据生成模块，神经网络学习模块，损失计算模块；

所述的图像数据生成模块利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合，从HDR室内全景图中裁切出视角受限的HDR背景图像，采样出高动态范围HDR背景图像的光照信息图像，并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像；

所述的神经网络学习模块，使用深度学习的方法利用图像数据生成模块的LDR背景图像作为输入，光照信息图像和光照信息参数作为真值进行光照信息的学习，主要分为背景图像光照信息提取网络和全景光照信息生成网络，背景图像光照信息提取网络提取LDR背景图像的高级特征，去学习出对应的光照信息图像，然后全景光照信息生成网络利用学习出的光照信息图像作为线索生成对应的全景光照信息参数，并且利用球谐高斯将生成的光照信息参数导出为HDR环境图；

所述的损失计算模块将神经网络学习模块预测的光照信息图像与图像数据生成模块生成的光照信息图像真值，神经网络学习模块预测的光照信息参数与图像数据生成模块生成的光照信息参数，神经网络学习模块预测的HDR环境图与对应的HDR室内全景图分别做损失约束，所有损失之和共同来逐步优化神经网络学习模块输出的光照信息参数，使得输出的光照信息逼近真实设备获取的光照信息。

基于同一发明构思，本方案还设计了一种电子设备，其特殊之处在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如所述基于球谐高斯的室内光照估计方法。

基于同一发明构思，本方案还设计了一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现所述基于球谐高斯的室内光照估计方法。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于球谐高斯的室内光照估计方法，其特征在于，包括：

步骤1、利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合；

步骤2、从HDR室内全景图中裁切出视角受限的HDR背景图像，采样出高动态范围HDR背景图像的光照信息图像，并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像；

步骤3、使用深度学习的方法，对LDR背景图像进行特征提取，首先学习出LDR背景图像的光照信息图像，再通过已学习出的背景图像的光照信息图像去推导出对应的整个室内的全景光照信息参数,并利用球谐高斯将光照信息参数导出为HDR室内环境图；

步骤4、使用图像重构损失作为网络预测值和对应真值之间的损失函数，通过最小化损失函数逐步优化预测的光照信息参数，使得估计的室内全景的光照信息逼近真实捕获的光照信息。

2.根据权利要求1所描述的基于球谐高斯的光照估计方法，其特征在于，所述的步骤1具体过程如下：

步骤1.1、利用球谐高斯对获取的HDR室内全景图的光照信息进行参数化表示，其中球谐高斯定义为：

其中

是球面上每个点的法向量组合,一般定义为俯仰角和偏航角的二元组组 合，

是球谐高斯的中心方向，通常方向为球心指向球面上的一点，一般也为俯仰角 和偏航角，

表示球谐高斯中心位置的光照幅度值，一般为红绿蓝三原色RGB三元组，

是球谐高斯的衰减率，表示当远离球谐高斯中心位置时光照幅度值的衰减速度；

步骤1.2、利用128阶球谐高斯计算所需的参数矩阵，参数矩阵大小原为128×6，固定128阶球谐高斯的中心方向μ，即在图像中预先随机生成128个位置坐标，仅对光照幅度值α和衰减率λ进行估计，因此需计算的参数大小为128×4；

步骤1.3、利用球谐高斯将参数矩阵导出为HDR环境图E，导出公式为：

步骤1.4、利用最小二乘法获得球谐高斯参数α，λ，最小二乘法F可表示为：

F=argmin（P-E）

其中

为步骤1.3中导出的HDR环境图，P为原始的HDR室内全景图。

3.根据权利要求1所描述的基于球谐高斯的光照估计方法，其特征在于，所述的步骤2包括以下子步骤：

步骤2.1、从HDR室内全景图中裁切出HDR背景图像；

步骤2.2、使用双边纹理滤波的方法对HDR背景图像进行处理，得到光照信息图像H；

步骤2.3、利用色调映射的算法对HDR背景图像进行处理得到LDR背景图像。

4.根据权利要求1所描述的基于球谐高斯的光照估计方法，其特征在于，所述的步骤3具体过程如下：

步骤3.1、深度学习网络结构设计，整个网络框架分为光照信息提取网络和全景光照生成网络，其中光照信息提取网络输入单幅LDR背景图像，输出对应的光照信息图像；全景光照生成网络输入光照信息图像，输出全景光照信息参数；

步骤3.2、将步骤2.3中得到的室内LDR背景图像作为单幅图像输入深度神经网络，利用 光照信息提取网络提取图像中的高级特征，并学习出对应的光照信息图像

；

步骤3.3、利用步骤3.2中得到的光照信息图像作为线索，利用全景光照生成网络预测 出对应的整个室内的全景光照信息参数，总维度为128×4，其中预测的球谐高斯的光照幅 度值

维度为128×1，预测的球谐高斯的衰减率

维度为128×3；

步骤3.4、对于步骤3.3得到的光照信息参数，利用球谐高斯将这些参数导出为HDR环境图，导出公式为：

其中

是球面上每个点的法向量组合，一般定义为俯仰角和偏航角的二元组组合；

为步骤3.3中深度神经网络预测出的光照信息参数，μ为步骤1.2中固定的球谐高斯的 中心方向。

5.根据权利要求4所述的基于球谐高斯的光照估计方法，其特征在于：所述光照信息提取网络其输入端包含四个下采样层，输出端包含四个上采样层，中间部分包含两条分支，两条分支分别包含三个下采样层和三个上采样层，用于提取图像的高级特征；其中下采样层为“卷积-正则化-激活函数”结构，上采样层为“反卷积-正则化-激活函数”结构，在对称的上下采样层之间采取跳跃连接的方式来共享特征。

6.根据权利要求4所述的基于球谐高斯的光照估计方法，其特征在于：所述全景光照生成网络首先由两个稠密模块提取压缩特征，然后使用四个下采样层进行特征提取，然后两个分支用于不同参数特征的解码，其中两个分支包含四个上采样层，同样使用跳跃连接的方式在对应的上下采样层之间进行特征共享。

7.根据权利要求1所述的基于球谐高斯的光照估计方法，其特征在于，所述的步骤4包括以下子步骤：

步骤4.1、使用重构损失L2损失来分别约束深度神经网络的预测值和对应真值之间的差异，其中L2损失定义为：

其中

为预测值， y为对应真值，n表示样本的总数，i表示每个样本在总样本中对应的 下标；

步骤4.2、使用L2损失对对数化后的预测光照信息图像和光照信息图像真值进行约束，定义为：

其中

为步骤3.3中深度神经网络预测的光照信息图像，H为步骤2.2中的光照信息图 像真值，log为取对数操作；

步骤4.3、使用L2损失对对数化后的预测球谐高斯光照参数和光照信息参数真值进行约束，定义为：

其中

为步骤3.3中深度神经网络预测出的光照信息参数，α，λ为步骤1.4得到的光 照信息参数真值；

步骤4.4、使用球谐高斯将预测的光照信息参数

联合步骤1中获取的HDR环境图，并 使用L2损失将其与原始的HDR室内全景图进行约束，定义为：

其中G为步骤1中使用的球谐高斯函数，P为步骤1中得到的HDR室内全景图；

步骤4.5、利用步骤4.1， 4.2， 4.3中提出的损失函数的和对整个深度学习网络进行优化，最小化损失函数优化神经网络最终输出的光照参数值，定义为：

。

8.一种实现权利要求1-5中任一所述基于球谐高斯的室内光照估计方法的系统，其特征在于：

包括图像数据生成模块，神经网络学习模块，损失计算模块；

所述的图像数据生成模块利用中心方向固定的128球谐高斯算法对HDR室内全景图的光照信息进行拟合，从HDR室内全景图中裁切出视角受限的HDR背景图像，采样出高动态范围HDR背景图像的光照信息图像，并使用色调映射将HDR背景图像转化为低动态范围LDR背景图像；

所述的神经网络学习模块，使用深度学习的方法利用图像数据生成模块的LDR背景图像作为输入，光照信息图像和光照信息参数作为真值进行光照信息的学习，主要分为背景图像光照信息提取网络和全景光照信息生成网络，背景图像光照信息提取网络提取LDR背景图像的高级特征，去学习出对应的光照信息图像，然后全景光照信息生成网络利用学习出的光照信息图像作为线索生成对应的全景光照信息参数，并且利用球谐高斯将生成的光照信息参数导出为HDR环境图；

所述的损失计算模块将神经网络学习模块预测的光照信息图像与图像数据生成模块生成的光照信息图像真值，神经网络学习模块预测的光照信息参数与图像数据生成模块生成的光照信息参数，神经网络学习模块预测的HDR环境图与对应的HDR室内全景图分别做损失约束，所有损失之和共同来逐步优化神经网络学习模块输出的光照信息参数，使得输出的光照信息逼近真实设备获取的光照信息。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的基于球谐高斯的室内光照估计方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求1-5中任一所述的基于球谐高斯的室内光照估计方法。

Images