CN113537194A - 光照估计方法、光照估计装置、存储介质与电子设备 - Google Patents
光照估计方法、光照估计装置、存储介质与电子设备 Download PDFInfo
- Publication number
- CN113537194A CN113537194A CN202110802706.XA CN202110802706A CN113537194A CN 113537194 A CN113537194 A CN 113537194A CN 202110802706 A CN202110802706 A CN 202110802706A CN 113537194 A CN113537194 A CN 113537194A
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- sample
- processed
- spherical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 339
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000009877 rendering Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种光照估计方法、光照估计装置、计算机可读存储介质与电子设备，涉及计算机技术领域。所述光照估计方法包括：获取待估计光照参数的待处理图像；将所述待处理图像输入预先训练的卷积神经网络，以获取所述待处理图像中球形高斯的初始特征；将所述球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取所述待处理图像中球形高斯的光照参数；根据所述待处理图像中球形高斯的光照参数，生成所述待处理图像对应的光照参数。本公开能够对待处理图像进行准确、有效的光照估计。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种光照估计方法、光照估计装置、计算机可读存储介质与电子设备。
背景技术
随着计算机技术和多媒体技术的迅速发展，出现了很多图像拍摄设备或应用来进行图像拍摄。为了使图像中所拍摄的各个对象能够具有更好、更真实的光照效果，现有技术通常会采用一些辅助拍摄设备，如深度相机、鱼眼相机或光场相机等特殊装置，计算拍摄场景中的光照情况；或者在拍摄场景中放置一些已知几何结构的辅助标志物，通过对辅助标志物的分析，捕获或推测各个对象在真实场景下的光照信息等。然而，上述光照估计方式的计算过程通常比较复杂，计算量较大，且难以保证其估计准确性；另外，采用辅助拍摄设备或辅助标志物等辅助装置进行光照估计的方式，对对硬件设备具有较高的依赖性，便携性较差，难以应用于多种应用场景下。因此，如何采用准确、有效的方法对图像进行光照估计，是现有技术亟待解决的问题。
发明内容
本公开提供了一种光照估计方法、光照估计装置、计算机可读存储介质与电子设备，进而至少在一定程度上提高现有的光照估计方法的效率和准确性。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种光照估计方法，包括：获取待估计光照参数的待处理图像；将所述待处理图像输入预先训练的卷积神经网络，以获取所述待处理图像中球形高斯的初始特征；将所述球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取所述待处理图像中球形高斯的光照参数；根据所述待处理图像中球形高斯的光照参数，生成所述待处理图像对应的光照参数。
根据本公开的第二方面，提供一种光照估计装置，包括：待处理图像获取模块，用于获取待估计光照参数的待处理图像；第一网络处理模块，用于将所述待处理图像输入预先训练的卷积神经网络，以获取所述待处理图像中球形高斯的初始特征；第二网络处理模块，用于将所述球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取所述待处理图像中球形高斯的光照参数；光照参数生成模块，用于根据所述待处理图像中球形高斯的光照参数，生成所述待处理图像对应的光照参数。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的光照估计方法及其可能的实现方式。
根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的光照估计方法及其可能的实现方式。
本公开的技术方案具有以下有益效果：
获取待估计光照参数的待处理图像；将待处理图像输入预先训练的卷积神经网络，以获取待处理图像中球形高斯的初始特征；将球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取待处理图像中球形高斯的光照参数；根据待处理图像中球形高斯的光照参数，生成待处理图像对应的光照参数。一方面，本示例性实施例提出一种新的光照估计方法，通过卷积神经网络结合图卷积网络对待处理图像进行处理，得到待处理图像的光照参数，无需依赖于其他硬件设备，即能够实现对待处理图像的光照估计，过程简单、便捷，且具有较高的准确性；另一方面，本示例性实施例构建了卷积神经网络结合图卷积网络的架构，通过卷积神经网络先提取待处理图像中球形高斯的初始特征，再通过图卷积网络对球形高斯的初始特征进一步优化，来确定球形高斯的光照参数，采用多层级的算法逻辑，提高数据计算的有效性，进一步保证了得到的光照参数的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种系统架构的示意图；
图2示出本示例性实施方式中一种电子设备的结构图；
图3示出本示例性实施方式中一种光照估计方法的流程图；
图4示出本示例性实施方式中一种光照估计方法的子流程图；
图5示出本示例性实施方式中一种光照估计方法的另一子流程图；
图6示出本示例性实施方式中一种光照估计方法中进行网络训练的流程图；
图7示出本示例性实施方式中一种光照模型的示意图；
图8示出本示例性实施方式中将光照模型中的球形高斯映射至全景图的示意图；
图9示出本示例性实施方式中一种光照估计方法的进行网络训练的另一流程图；
图10示出本示例性实施方式中一种光照估计方法的进行网络训练的再一流程图；
图11示出本示例性实施方式中另一种光照估计方法的模型架构示意图；
图12示出一种将光照参数与虚拟图像进行合成生成的具有光照效果的虚拟图像的示意图；
图13示出本示例性实施方式中一种光照估计装置的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
鉴于上述一个或多个问题，本公开的示例性实施方式提供一种光照估计方法。图1示出了本示例性实施方式运行环境的系统架构图。如图1所示，该系统架构100可以包括用户终端110和服务端120，两者之间通过网络形成通信交互，例如用户终端110可以将待处理图像发送至服务端120进行处理，服务端120也可以将处理后的图像返回至用户终端110。其中，用户终端110包括但不限于智能手机、平板电脑、游戏机、可穿戴设备等；服务端120是指提供互联网服务的后台服务器。
应当理解，图1中各装置的数量仅是示例性的。根据实际需要，可以设置任意数量的客户端，或者服务端可以是多台服务器形成的集群。
本公开实施方式所提供的光照估计方法可以由用户终端110执行，例如在用户终端110拍摄图像后，对图像进行光照估计，得到对应的光照参数；也可以由服务端120执行，例如用户终端110在获取图像后，可以将其上传至服务端120，使服务器120对图像进行光照估计等，本公开对此不做具体限定。
本公开的示例性实施方式提供一种用于实现光照估计方法的电子设备，其可以是图1中的用户终端110或服务端120。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行光照估计方法。
下面以图2中的移动终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。
如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module，用户标识模块)卡接口295等。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。编码器可以对图像或视频数据进行编码(即压缩)；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端100可以支持一种或多种编码器和解码器。
在一些实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和移动终端200的其他部件形成连接。
内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。
外部存储器接口222可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能，例如存储音乐，视频等文件。
USB接口230是符合USB标准规范的接口，可以用于连接充电器为移动终端200充电，也可以连接耳机或其他电子设备。
充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为设备供电；电源管理模块241还可以监测电池的状态。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块260可以提供应用在移动终端200上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。
移动终端200可以通过GPU、显示屏幕290及AP等实现显示功能，显示用户界面。
移动终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏幕290及AP等实现拍摄功能，还可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及AP等实现音频功能。
传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现不同的感应检测功能。
指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达293可以产生振动提示，也可以用于触摸振动反馈等。按键294包括开机键，音量键等。
移动终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，以实现通话以及数据通信等功能。
图3示出了光照估计方法的示例性流程，可以由上述用户终端110或者服务端120执行，包括以下步骤S310至S340：
步骤S310，获取待估计光照参数的待处理图像。
其中，待处理图像是指需要进行光照参数估计的图像，可以是多种类型的图像，例如人物图像、植物图像、动物图像或者建筑物图像等。待处理图像中可以包括一种或多种对象，例如可以包括人物、植物、动物、建筑物等一种或多种对象。本示例性实施例通过对待处理图像进行光照估计，可以使待处理图像中的对象能够表现出与真实场景相同的光照效果。
在本示例性实施例中，待处理图像可以通过多种方式获取，例如可以通过终端设备中配置的摄像头直接采集得到；也可以从网络或云端下载得到；还可以根据需要从已有的图像中进行局部图像的截取得到等等，本公开对此不做具体限定。
步骤S320，将待处理图像输入预先训练的卷积神经网络，以获取待处理图像中球形高斯的初始特征。
卷积神经网络可以用于从待处理图像中提取待处理图像中球形高斯的初始特征，该球形高斯的初始特征，可以看做是待处理图像中关于球形高斯的图像特征，例如球形高斯的顶点特征。其中，球形高斯是指待处理图像中用于烘焙光源的虚拟光源，本示例性实施例可以使用球形高斯来模拟光源，通过求解球形高斯的光照参数来确定待处理图像对应的光照参数。
在本示例性实施例中，可以先通过卷积神经网络对待处理图像进行处理，得到待处理图像中不同球形高斯的初始特征，基于对该初始特征的优化，来确定待处理图像中球形高斯的光照参数。其中，卷积神经网络可以通过样本图像的球形高斯的特征以及真实场景图像中球形高斯的特征作为训练数据训练得到。
步骤S330，将球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取待处理图像中球形高斯的光照参数。
实际应用中，一个光源并不是一个点，距离光源的位置越近，环境也会越亮，即待处理图像中所包含的球形高斯和球形高斯之间是具有关系的，例如哪些球形高斯的光照参数应该大一些，在图像中呈现的光照效果应该好一些，或者与光照效果较好的球形高斯处于相邻关系或附近的球形高斯的光照参数应当如何等。本示例性实施例可以通过球形高斯来模拟真实环境的光源，并通过图卷积网络来优化不同球形高斯的权重，以学习球形高斯在真实环境下的关系，从而通过球形高斯来表示对应光源关系。
邻接矩阵是指表示顶点之间相邻关系的矩阵，在本示例性实施例中，顶点即为球形高斯，因此，这里也就是预先确定的图像中球形高斯之间的邻接矩阵。本示例性实施例可以通过球形高斯间的邻接矩阵对球形高斯的初始特征的权重进行初始化。利用图卷积网络对球形高斯的初始特征和球形高斯间的邻接矩阵进行优化处理，能够对球形高斯之间的权重关系进行约束，确定出每个球形高斯的光照参数。其中，球形高斯间的邻接矩阵可以作为一种参数，在网络模型的训练过程中进行逐步优化，以确定出稳定的邻接矩阵，与待处理图像的光照信息的初始特征作为输入数据，输入图卷积网络中进行处理，得到待处理图像中球形高斯的光照参数。
在本示例性实施例中，待处理图像中的每个球形高斯的光照参数可以用一个数值表示，也可以用多个维度的数值表示，例如当具有128个球形高斯时，可以得到128*1的光照参数，也可以得到128*3的光照参数，其中128*3可以表示，每个球形高斯具有3个通道的光照参数分量。
步骤S340，根据待处理图像中球形高斯的光照参数生成待处理图像对应的光照参数。
最后根据待处理图像中球形高斯的光照参数可以生成待处理图像对应的光照参数，本示例性实施例可以直接将球形高斯的光照参数作为待处理图像对应的光照参数，也可以对球形高斯的光照参数进行计算或其他处理得到最终的光照参数作为待处理图像对应的光照参数，例如将误差较大的光照参数值剔除，对异常的光照参数值进行校正，再或者对一个或多个光照参数值进行加权计算等等。
另外，本示例性实施例可以通过待处理图像对应的光照参数确定待处理图像所在场景的全景图像的光照参数，具体的，当待处理图像为一帧图像时，则可以直接得到或根据已有的光照参数预测全景图像的光照参数，当待处理图像为多帧图像时，可以通过融合多帧待处理图像中球形高斯的光照参数来确定全景图像的光照参数等。
综上，本示例性实施方式中，获取待估计光照参数的待处理图像；将待处理图像输入预先训练的卷积神经网络，以获取待处理图像中球形高斯的初始特征；将球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取待处理图像中球形高斯的光照参数；根据待处理图像中球形高斯的光照参数，生成待处理图像对应的光照参数。一方面，本示例性实施例提出一种新的光照估计方法，通过卷积神经网络结合图卷积网络对待处理图像进行处理，得到待处理图像的光照参数，无需依赖于其他硬件设备，即能够实现对待处理图像的光照估计，过程简单、便捷，且具有较高的准确性；另一方面，本示例性实施例构建了卷积神经网络结合图卷积网络的架构，通过卷积神经网络先提取待处理图像中球形高斯的初始特征，再通过图卷积网络对球形高斯的初始特征进一步优化，来确定球形高斯的光照参数，采用多层级的算法逻辑，提高数据计算的有效性，进一步保证了得到的光照参数的准确性。
在一示例性实施例中，上述待处理图像为针对目标场景所采集的多帧待处理图像，如图4所示，上述步骤S340，可以包括以下步骤：
步骤S410，在多帧待处理图像中确定参考图像与非参考图像；
步骤S420，以参考图像中球形高斯的光照参数置信度为预设值，根据图卷积网络中的边权重，确定非参考图像中球形高斯的光照参数置信度；
步骤S430，基于每一帧待处理图像中球形高斯的光照参数置信度，融合多帧待处理图像中球形高斯的光照参数，得到目标场景的光照参数。
其中，目标场景是指待处理图像所包含的场景，本示例性实施例可以针对目标场景从不同的视角或位置采集多帧待处理图像。其中，由于图像采集的视角等差异，在不同的待处理图像中，目标场景中同一对象的位置可能不同，例如在待处理图像1中，目标场景中的门位于图像的中轴线区域，而在待处理图像2中，目标场景中的门位于图像的中轴线偏左侧区。另外，不同待处理图像中所包含的对象可能具有交集，也可能具有差异，例如待处理图像1中包含门、走廊以及走廊右侧的植物，而待处理图像2中包含门、走廊以及走廊左侧的植物等。换而言之，待处理图像可以认为是目标场景的全景图像的局部图像或截取图像等等，基于多帧待处理图像，可以更完整的确定目标场景中所包含的全部对象或内容等，也即根据多帧待处理图像的光照参数，可以得到全景图像中目标场景的光照参数。
具体的，本示例性实施例可以根据多帧待处理图像之中，处于相邻关系的图像帧之间的方位角和俯仰角的关系，对多帧待处理图像的光照参数进行融合，以得到全景图像中目标场景的光照参数。考虑到不同的待处理图像由于视角差异等因素影响，可以得到不同球形高斯的光照参数，进而光照参数也不尽相同，那么其中哪一待处理图像中的球形高斯的光照参数更准确，能够作为基准来确定全景图像的光照参数尤为重要。因此，为了提高光照估计的准确性和有效性，本示例性实施例可以先在多帧待处理图像中确定出参考图像与非参考图像。其中，参考图像可以是针对目标场景采集的特定视角或有限视角的图像，例如在目标场景的正前方采集的图像等。然后，将参考图像中的球形高斯的光照参数看作先验值，以参考图像中球形高斯的光照参数置信度作为预设值，该预设值可以设置为1，同时根据图卷积网络中不同节点之间的边权重，即非参考图像中球形高斯之间的边权重，来推测非参考图像中球形高斯的光照参数置信度，其中，边权重越小其光照参数置信度越小。以此类推，确定出每一帧待处理图像中球形高斯的光照参数置信度，以确定出目标场景中所包含的全部球形高斯的光照参数置信度。最后，基于每一帧待处理图像中球形高斯的光照参数置信度，融合多帧待处理图像中球形高斯的光照参数。在融合两帧待处理图像的光照参数时，可以比较每个球形高斯的光照参数置信度，将光照参数置信度高的保留，低的舍弃；或者根据光照参数置信度对球形高斯的光照参数进行加权计算，直到所有的光照参数置信度达到预设值时，如所有的光照参数置信度都为1时，完成待处理图像光照参数的融合。
在一示例性实施例中，在多帧待处理图像中确定参考图像与非参考图像之前，上述光照估计方法还可以包括以下步骤：
确定每帧待处理图像对应的相机位姿；
根据每帧待处理图像对应的相机位姿，将每帧待处理图像映射至目标场景中的基准坐标系，以使相邻的待处理图像中的多个球形高斯一一对齐；
进一步的，上述步骤S430中，融合多帧待处理图像中球形高斯的光照参数，得到目标场景的光照参数，可以包括：
在多帧待处理图像中，融合相邻的待处理图像中对应的球形高斯的光照参数，得到目标场景的光照参数。
由于每帧待处理图像是通过相机(摄像头)在不同视角下采集的图像，其中包含的球形高斯的视角也有所差异，为了保证多帧待处理图像的球形高斯的光照参数融合有效性，本示例性实施例需要对不同待处理图像中的球形高斯进行对齐。具体而言，本示例性实施例可以先通过确定每帧待处理图像对应的相机位姿，如平移矩阵或旋转矩阵，确定出每帧待处理图像的方位角和仰角信息。
进一步的，可以根据每帧待处理图像的方位角和仰角信息，将每帧待处理图像映射至目标场景中的基准坐标系中，其中，基准坐标系可以是目标场景的世界坐标系，也可以是任意一帧待处理图像的相机坐标系，只要将每帧待处理图像对准到一个坐标系中，实现坐标系的统一即可，本示例性实施例通过对待处理图像进行坐标系的统一，可以对相邻的不同方位角和仰角的待处理图像中的球形高斯进行一一对齐，从而确定出相邻的待处理图像之间球形高斯的对应关系。进而，在融合多帧待处理图像中球形高斯的光照参数时，将相邻的待处理图像中具有对应关系的球形高斯的光照参数进行融合。
在一示例性实施例中，在上述步骤S310之后，如图5所示，上述光照估计方法还可以包括以下步骤：
步骤S510，将多帧待处理图像合成为目标场景的全景图像；
步骤S520，获取在目标场景中基于球形高斯分布的第一预设数量的球形高斯的位置；
步骤S530，将球形高斯在目标场景中的位置映射至全景图像中，并进一步映射至待处理图像中，以确定每帧待处理图像中球形高斯的位置关系；
上述步骤S430中，融合多帧待处理图像中球形高斯的光照参数，得到目标场景的光照参数，包括：
步骤S540，根据每帧待处理图像中球形高斯的位置关系，融合相邻的待处理图像中对应的球形高斯的光照参数，得到目标场景的光照参数。
其中，目标场景的全景图像是指，通过广角的表现手段，尽可能多的表现出周围的环境的图像，为了确定每帧待处理图像中球形高斯的位置关系，以便于对不同待处理图像中的球形高斯进行光照参数的融合，本示例性实施例可以先将不同视角下采集目标场景的多帧待处理图像来合成目标场景的全景图像，例如进行图像拼接确定全景图像，或者根据相邻图像的关系进行全景图像的重建等等。进而获取目标场景基于球形高斯分布的第一预设数量的球形高斯的位置，例如可以先获取目标场景中包含的128个球形高斯的位置，并将球形高斯映射至全景图像中，例如可以根据球型高斯位置与全景图像的映射关系，将上述128个球形高斯映射进全景图像中。在将球形高斯映射至全景图像后，自然也就可以得到将球形高斯映射至与全景图像相关的每帧待处理图像中的位置关系。
进一步的，在进行多帧待处理图像中球形高斯的光照参数的融合时，可以根据每帧待处理图像的位置关系，融合相邻的待处理图像对应位置的球形高斯的光照参数。
在一示例性实施例中，如图6所示，上述光照估计方法还可以包括以下步骤：
步骤S610，获取针对样本场景所采集的样本图像以及样本图像中的样本球形高斯的真实光照参数；
步骤S620，将样本图像输入待训练的卷积神经网络，以输出样本球形高斯的初始特征；
步骤S630，将样本球形高斯的初始特征与样本球形高斯间的邻接矩阵输入待训练的图卷积网络，以输出样本球形高斯的样本光照参数；
步骤S640，基于样本光照参数与真实光照参数的差别，训练卷积神经网络与图卷积网络。
在本示例性实施例中，卷积神经网络和图卷积网络可以通过上述步骤进行训练过程，首先可以在样本场景中采集样本图像，并确定样本图像中样本球形高斯的真实光照参数，并以此作为光照参数的标签。其中，样本图像是指用于网络训练的训练数据，样本场景可以根据需要自定义设置。进一步，可以将样本图像输入待训练的卷积神经网络中，输出样本图像中样本球形高斯的初始特征，再将样本图像中样本球形高斯的初始特征与样本球形高斯间的邻接矩阵输入待训练的图卷积网络中，得到样本球形高斯的样本光照参数的输出结果。通过样本光照参数与真实光照参数之间的差别，调整卷积神经网络和图卷积网络的参数，使输出的样本光照参数越来越接近真实光照参数，也即使样本光照参数与真实光照参数之间的差别越来越小，直到模型的准确率达到一定的标准，或者计算收敛，可以认为完成训练。
在一示例性实施例中，上述光照估计方法还可以包括：
根据样本球形高斯的真实光照参数，确定样本球形高斯间的能量关系，并根据每个样本球形高斯与第二预设数量的相邻样本球形高斯间的能量关系，确定样本球形高斯间的邻接矩阵。
实际应用中，处于不同光源附近的样本球形高斯或者样本球形高斯之间的关系可能具有差异，邻接矩阵即为指能够表示样本球形高斯之间关系的参数，本示例性实施例可以根据样本球形高斯之间的能量关系，计算相邻的样本球形高斯的邻接矩阵，来作为图卷积网络的输入。其中，样本球形高斯的能量可以反映其光照影响或光照效果的强度，第二预设数量是指计算相邻的球形高斯的数量，例如当具有128个球形高斯时，可以根据这128个球形高斯之间的能量关系，计算10个相邻球形高斯的邻接矩阵，作为图卷积网络的输入等。通过网络模型训练过程的逐渐优化，可以得到稳定的邻接矩阵，进而作为实际应用中的图卷积网络的输入数据。
在一示例性实施例中，上述步骤S610中，获取样本图像中的样本球形高斯的真实光照参数可以包括以下步骤：
获取在样本场景中基于球形高斯分布的第一预设数量的样本球形高斯的位置；
将样本球形高斯在样本场景中的位置映射至样本场景的高动态全景图像中，从高动态全景图像中提取样本球形高斯的真实光照参数。
本示例性实施例可以预先构建一光照模型，如图7所示，可以在三维空间场景中构建基于球形高斯分布的样本球形高斯作为光照模型，其中样本球形高斯的数量可以根据实际需要进行自定义设置，例如当全景图的尺寸较大或像素点较多时，可以选择较多的样本球形高斯，如256个等，也可以设置其他数量的样本球形高斯，如64或128等等，本公开对此不做具体限定。其中，光照模型所在的三维空间场景可以是独立构建的空间场景，如可以构建如图7所示的坐标在[-1，1]范围内的空间场景，也可以是在当前样本场景所在的空间场景，将当前样本场景的坐标归一化至[-1，1]的坐标范围即可，换而言之，光照模型在其所在的三维空坐标系的位置都是确定的。
本示例性实施例获取样本场景基于球形高斯分布的样本球形高斯的位置，实质上即获取光照模型中每个样本球形高斯的位置，具体可以通过求解球形高斯函数计算其位置坐标。然后，根据样本场景与高动态全景图像的映射关系，将样本球形高斯映射进高动态全景图像中，如图8所示。从高动态全景图像中提取样本球形高斯的真实光照参数。
其中，将样本球形高斯映射进全景图像进行真实光照参数的提取，是考虑到普通的全景图像，例如低动态全景图像，中所包含的光照信息可能有所缺失，因此，设置将样本球形高斯在样本场景中的位置映射至能够包含更多亮度信息的高动态全景图像，获取比较丰富且全面的真实光照参数，
需要说明的是，本示例性实施例也可以先将样本球形高斯在样本场景中的位置映射至样本场景的普通全景图像中，如低动态全景图像，然后通过深度学习网络模型将低动态全景图像转换为包含多种亮度信息的高动态全景图像，再进行真实光照参数的提取过程；或者也可以先将低动态全景图像转换为全景图像后，再进行样本球形高斯的映射过程，以保证将高动态全景图像中的光照信息作为样本球形高斯的真实光照参数。
在一示例性实施例中，如图9所示，上述光照估计方法还可以包括以下步骤：
步骤S910，根据样本球形高斯的样本光照参数，对样本图像进行光照渲染，得到样本光照图像；
上述步骤S640，可以包括：
步骤S920，基于样本光照参数与真实光照参数的差别，样本光照图像与样本场景的高动态场景图像的差别，训练卷积神经网络与图卷积网络。
本示例性实施例可以根据样本球形高斯的样本光照参数对样本图像进行光照渲染，得到样本光照图像，该样本光照图像即为将将样本光照参数应用于样本图像后，具有光照效果的光照图像。在训练卷积神经网络与图卷积网络时，除了可以根据样本光照参数与真实光照参数的差别之外，还可以根据样本光照图像与样本场景的高动态场景图像的差别进行网络参数的调整，其中，真实光照参数可以作为样本光照参数的参数标签，而高动态场景图像可以认为是对应真实光照参数的图像标签。
进一步的，如图10所示，在一示例性实施例中，上述光照估计方法还可以包括以下步骤：
步骤S1010，将样本光照图像或样本光照图像的局部输入卷积神经网络，得到第一样本特征；
步骤S1020，将高动态场景图像或高动态场景图像的局部输入卷积神经网络，得到第二样本特征；
上述步骤S720，包括：
步骤S1030，基于样本光照参数与真实光照参数的差别，样本光照图像与样本场景的高动态场景图像的差别，第一样本特征与第二样本特征的差别，训练卷积神经网络与图卷积网络。
实际应用中，考虑到用户在进行拍摄时，往往拍摄的是不具备广角效果的图像，可以认为其是全景图像的局部区域。为了能够通过普通图像对目标场景的全景图像的光照效果进行估计，在进行卷积神经网络与图卷积网络的训练时，可以使用样本光照图像或者样本光照图像的局部输入卷积神经网络中进行处理，以进行模型的训练过程。
另外，为了保证卷积神经网络与图卷积网络能够具有更好的模型计算准确性和计算效率，本示例性实施例在损失函数的设计上，可以从样本光照参数和真实光照参数的差别、样本光照图像与样本高动态场景图像的差别，以及第一样本特征与第二样本特征的差别来共同确定损失函数，三方面来共同确定。
具体来说，损失函数可以通过以下公式表示：
L＝LW+αLR+βLVGG
其中，α和β用于平衡不同类型的损失函数的权重关系，根据实际需要可以对其进行数值设置，例如可以分别设置α和β为0.2和0.1，LW表示根据样本光照参数与真实光照参数的差别确定的损失函数；LR表示根据样本光照图像与样本场景的高动态场景图像的差别确定的损失函数，具体的，可以通过计算样本光照图像与高动态场景图像之间每个像素点的强度之差来确定，其中像素强度可以是亮度、明度或颜色通道值等图像参数；LVGG表示感知损失函数，可以通过第一样本特征与第二样本特征进行比较，二者的差别确定，使得样本光照图像与高动态场景图像的中的信息接近，用于提高预测的光照图像的相似性。其中，第一样本特征是指卷积神经网络对样本光照图像或样本光照图像的局部进行处理的输出结果，第二样本特征是指卷积神经网络对高动态场景图像或高动态场景图像的局部进行处理的输出结果，本示例性实施例可以是由VGG(Visual Geometry Group Network)模型对输入数据进行处理，并将最后一层池化层处理的输出结果作为样本特征。
图11示出了本示例性实施例中一种网络估计方法中网络模型的架构示意图，具体可以包括以下步骤：
步骤S1110，获取待估计光照参数的多帧待处理图像1112，该待处理图像1112可以是针对目标场景的全景图像1211的局部图像；
步骤S1120，将待处理图像1112输入卷积神经网络1113，得到待处理图像1112中球形高斯的初始特征1114；
步骤S1130，将球形高斯的初始特征1114和预先确定的球形高斯间的邻接矩阵1115输入图卷积网络1116，得到球形高斯的光照参数；
步骤S1140，根据每一帧待处理图像1112中球形高斯的光照参数，进行光照参数的融合，得到针对目标场景的全景图像1111的光照参数1117。
本示例性实施例中，上述卷积神经网络结合图卷积网络的网络模型可以直接输出应用了光照参数的目标全景图像，该目标全景图像具有光照估计后的光照效果。此外，网络模型也可以输出目标全景图像中关于球形高斯的光照信息，例如可以输出目标全景图像对应的光照参数以及每个球形高斯的深度或位置等。
在一示例性实施例中，上述光照估计方法还可以应用于对AR(AugmentedReality，增强现实)场景中，具体的，可以通过上述光照估计方法确定出一目标场景的光照参数，然后根据光照参数对AR图像进行光照渲染，以合成具有光照效果的AR图像，如图12所示。可以看出，通过本示例性实施例所估计的光照参数合成的AR图像中，可以使虚拟场景和真实场景具有基本一致的光照效果。
本公开的示例性实施方式还提供一种光照估计装置。如图13所示，该光照估计装置1300可以包括：待处理图像获取模块1310，用于获取待估计光照参数的待处理图像；第一网络处理模块1320，用于将待处理图像输入预先训练的卷积神经网络，以获取待处理图像中球形高斯的初始特征；第二网络处理模块1330，用于将球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取待处理图像中球形高斯的光照参数；光照参数生成模块1340，用于根据待处理图像中球形高斯的光照参数，生成待处理图像对应的光照参数。
在一示例性实施例中，待处理图像为针对目标场景所采集的多帧待处理图像，光照参数生成模块包括：图像确定单元，用于在多帧待处理图像中确定参考图像与非参考图像；光照参数置信度确定单元，用于以参考图像中球形高斯的光照参数置信度为预设值，根据图卷积网络中的边权重，确定非参考图像中球形高斯的光照参数置信度；图像融合单元，用于基于每一帧待处理图像中球形高斯的光照参数置信度，融合多帧待处理图像中球形高斯的光照参数，得到目标场景的光照参数。
在一示例性实施例中，光照估计装置还包括：相机位姿确定单元，用于在多帧待处理图像中确定参考图像与非参考图像之前，确定每帧待处理图像对应的相机位姿；球形高斯对齐单元，用于根据每帧待处理图像对应的相机位姿，将每帧待处理图像映射至目标场景中的基准坐标系，以使相邻的待处理图像中的多个球形高斯一一对齐；图像融合单元包括：第一融合子单元，用于在多帧待处理图像中，融合相邻的待处理图像中对应的球形高斯的光照参数，得到目标场景的光照参数。
在一示例性实施例中，光照估计装置还包括：全景图像合成模块，用于在获取待处理图像后，将多帧待处理图像合成为目标场景的全景图像；球形高斯位置获取模块，用于获取在目标场景中基于球形高斯分布的第一预设数量的球形高斯的位置；球形高斯位置映射模块，用于将球形高斯在目标场景中的位置映射至全景图像中，并映射至待处理图像中，以确定每帧待处理图像中球形高斯的位置关系；图像融合单元包括：第二融合子单元，用于根据每帧待处理图像中球形高斯的位置关系，融合相邻的待处理图像中对应的球形高斯的光照参数，得到目标场景的光照参数。
在一示例性实施例中，光照估计装置还包括：训练数据获取模块，用于获取针对样本场景所采集的样本图像以及样本图像中的样本球形高斯的真实光照参数；第一训练处理模块，用于将样本图像输入待训练的卷积神经网络，以输出样本球形高斯的初始特征；第二训练处理模块，用于将样本球形高斯的初始特征与样本球形高斯间的邻接矩阵输入待训练的图卷积网络，以输出样本球形高斯的样本光照参数；第三训练处理模块，用于基于样本光照参数与真实光照参数的差别，训练卷积神经网络与图卷积网络。
在一示例性实施例中，训练数据获取模块包括：样本球形高斯位置获取单元，用于获取在样本场景中基于球形高斯分布的第一预设数量的样本球形高斯的位置；样本球形高斯映射单元，用于将样本球形高斯在样本场景中的位置映射至样本场景的高动态全景图像中，从高动态全景图像中提取样本球形高斯的真实光照参数。
在一示例性实施例中，光照估计装置还包括：光照渲染模块，用于根据样本球形高斯的样本光照参数，对样本图像进行光照渲染，得到样本光照图像；第三训练处理模块包括：网络训练子单元，用于基于样本光照参数与真实光照参数的差别，样本光照图像与样本场景的高动态场景图像的差别，训练卷积神经网络与图卷积网络。
在一示例性实施例中，光照估计装置还包括：样本特征获取模块，用于将样本光照图像或样本光照图像的局部输入卷积神经网络，得到第一样本特征；以及将高动态场景图像或高动态场景图像的局部输入卷积神经网络，得到第二样本特征；网络训练子单元用于基于样本光照参数与真实光照参数的差别，样本光照图像与样本场景的高动态场景图像的差别，第一样本特征与第二样本特征的差别，训练卷积神经网络与图卷积网络。
在一示例性实施例中，光照估计装置还包括：邻接矩阵确定模块，用于根据样本球形高斯的真实光照参数，确定样本球形高斯间的能量关系，并根据每个样本球形高斯与第二预设数量的相邻样本球形高斯间的能量关系，确定样本球形高斯间的邻接矩阵。
上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图4、图5、图6、图9或图10中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (12)
1.一种光照估计方法，其特征在于，包括：
获取待估计光照参数的待处理图像；
将所述待处理图像输入预先训练的卷积神经网络，以获取所述待处理图像中球形高斯的初始特征；
将所述球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取所述待处理图像中球形高斯的光照参数；
根据所述待处理图像中球形高斯的光照参数，生成所述待处理图像对应的光照参数。
2.根据权利要求1所述的方法，其特征在于，所述待处理图像为针对目标场景所采集的多帧待处理图像；所述根据所述待处理图像中球形高斯的光照参数，生成所述待处理图像对应的光照参数，包括：
在所述多帧待处理图像中确定参考图像与非参考图像；
以所述参考图像中所述球形高斯的光照参数置信度为预设值，根据所述图卷积网络中的边权重，确定所述非参考图像中所述球形高斯的光照参数置信度；
基于每一帧所述待处理图像中所述球形高斯的光照参数置信度，融合所述多帧待处理图像中所述球形高斯的光照参数，得到所述目标场景的光照参数。
3.根据权利要求2所述的方法，其特征在于，在所述多帧待处理图像中确定参考图像与非参考图像之前，所述方法还包括：
确定每帧待处理图像对应的相机位姿；
根据所述每帧待处理图像对应的相机位姿，将所述每帧待处理图像映射至所述目标场景中的基准坐标系，以使相邻的待处理图像中的多个球形高斯一一对齐；
所述融合所述多帧待处理图像中所述球形高斯的光照参数，得到所述目标场景的光照参数，包括：
在所述多帧待处理图像中，融合相邻的待处理图像中对应的球形高斯的光照参数，得到所述目标场景的光照参数。
4.根据权利要求2所述的方法，其特征在于，在获取待估计光照参数的待处理图像后，所述方法还包括：
将所述多帧待处理图像合成为所述目标场景的全景图像；
获取在所述目标场景中基于球形高斯分布的第一预设数量的球形高斯的位置；
将所述球形高斯在所述目标场景中的位置映射至所述全景图像中，并映射至所述待处理图像中，以确定每帧待处理图像中球形高斯的位置关系；
所述融合所述多帧待处理图像中所述球形高斯的光照参数，得到所述目标场景的光照参数，包括：
根据所述每帧待处理图像中球形高斯的位置关系，融合相邻的待处理图像中对应的球形高斯的光照参数，得到所述目标场景的光照参数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取针对样本场景所采集的样本图像以及所述样本图像中的样本球形高斯的真实光照参数；
将所述样本图像输入待训练的所述卷积神经网络，以输出所述样本球形高斯的初始特征；
将所述样本球形高斯的初始特征与样本球形高斯间的邻接矩阵输入待训练的所述图卷积网络，以输出所述样本球形高斯的样本光照参数；
基于所述样本光照参数与所述真实光照参数的差别，训练所述卷积神经网络与所述图卷积网络。
6.根据权利要求5所述的方法，其特征在于，所述获取所述样本图像中的样本球形高斯的真实光照参数，包括：
获取在所述样本场景中基于球形高斯分布的第一预设数量的样本球形高斯的位置；
将所述样本球形高斯在所述样本场景中的位置映射至所述样本场景的高动态全景图像中，从所述高动态全景图像中提取所述样本球形高斯的真实光照参数。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述样本球形高斯的样本光照参数，对所述样本图像进行光照渲染，得到样本光照图像；
所述基于所述样本光照参数与所述真实光照参数的差别，训练所述卷积神经网络与所述图卷积网络，包括：
基于所述样本光照参数与所述真实光照参数的差别，所述样本光照图像与所述样本场景的高动态场景图像的差别，训练所述卷积神经网络与所述图卷积网络。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
将所述样本光照图像或所述样本光照图像的局部输入所述卷积神经网络，得到第一样本特征；
将所述高动态场景图像或所述高动态场景图像的局部输入所述卷积神经网络，得到第二样本特征；
所述基于所述样本光照参数与所述真实光照参数的差别，所述样本光照图像与所述样本场景的高动态场景图像的差别，训练所述卷积神经网络与所述图卷积网络，包括：
基于所述样本光照参数与所述真实光照参数的差别，所述样本光照图像与所述样本场景的高动态场景图像的差别，所述第一样本特征与所述第二样本特征的差别，训练所述卷积神经网络与所述图卷积网络。
9.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述样本球形高斯的真实光照参数，确定所述样本球形高斯间的能量关系，并根据每个所述样本球形高斯与第二预设数量的相邻样本球形高斯间的能量关系，确定所述样本球形高斯间的邻接矩阵。
10.一种光照估计装置，其特征在于，包括：
待处理图像获取模块，用于获取待估计光照参数的待处理图像；
第一网络处理模块，用于将所述待处理图像输入预先训练的卷积神经网络，以获取所述待处理图像中球形高斯的初始特征；
第二网络处理模块，用于将所述球形高斯的初始特征与预先确定的球形高斯间的邻接矩阵输入预先训练的图卷积网络，以获取所述待处理图像中球形高斯的光照参数；
光照参数生成模块，用于根据所述待处理图像中球形高斯的光照参数，生成所述待处理图像对应的光照参数。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。
12.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110802706.XA CN113537194A (zh) | 2021-07-15 | 2021-07-15 | 光照估计方法、光照估计装置、存储介质与电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110802706.XA CN113537194A (zh) | 2021-07-15 | 2021-07-15 | 光照估计方法、光照估计装置、存储介质与电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113537194A true CN113537194A (zh) | 2021-10-22 |
Family
ID=78099602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110802706.XA Pending CN113537194A (zh) | 2021-07-15 | 2021-07-15 | 光照估计方法、光照估计装置、存储介质与电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537194A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641333A (zh) * | 2022-12-07 | 2023-01-24 | 武汉大学 | 一种基于球谐高斯的室内光照估计方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989624A (zh) * | 2015-02-11 | 2016-10-05 | 华为技术有限公司 | 用于绘制全局光照场景的方法和装置 |
| CN109523617A (zh) * | 2018-10-15 | 2019-03-26 | 中山大学 | 一种基于单目摄像机的光照估计方法 |
| CN110458902A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 3d光照估计方法及电子设备 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| WO2020102771A1 (en) * | 2018-11-15 | 2020-05-22 | Google Llc | Deep light design |
| CN111783748A (zh) * | 2020-08-12 | 2020-10-16 | 汉王科技股份有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112785672A (zh) * | 2021-01-19 | 2021-05-11 | 浙江商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2021
- 2021-07-15 CN CN202110802706.XA patent/CN113537194A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989624A (zh) * | 2015-02-11 | 2016-10-05 | 华为技术有限公司 | 用于绘制全局光照场景的方法和装置 |
| CN109523617A (zh) * | 2018-10-15 | 2019-03-26 | 中山大学 | 一种基于单目摄像机的光照估计方法 |
| WO2020102771A1 (en) * | 2018-11-15 | 2020-05-22 | Google Llc | Deep light design |
| CN110458902A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 3d光照估计方法及电子设备 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN111783748A (zh) * | 2020-08-12 | 2020-10-16 | 汉王科技股份有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112785672A (zh) * | 2021-01-19 | 2021-05-11 | 浙江商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641333A (zh) * | 2022-12-07 | 2023-01-24 | 武汉大学 | 一种基于球谐高斯的室内光照估计方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3933783A1 (en) | Computer application method and apparatus for generating three-dimensional face model, computer device, and storage medium | |
| CN111476911B (zh) | 虚拟影像实现方法、装置、存储介质与终端设备 | |
| CN111429517A (zh) | 重定位方法、重定位装置、存储介质与电子设备 | |
| CN111445583B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| CN112269851B (zh) | 地图数据更新方法、装置、存储介质与电子设备 | |
| CN112270755B (zh) | 三维场景构建方法、装置、存储介质与电子设备 | |
| CN113096185B (zh) | 视觉定位方法、视觉定位装置、存储介质与电子设备 | |
| CN112927271B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
| CN112270754A (zh) | 局部网格地图构建方法及装置、可读介质和电子设备 | |
| CN111741303B (zh) | 深度视频处理方法、装置、存储介质与电子设备 | |
| CN112270702A (zh) | 体积测量方法及装置、计算机可读介质和电子设备 | |
| CN115690382A (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| CN112581571A (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
| CN113537194A (zh) | 光照估计方法、光照估计装置、存储介质与电子设备 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| KR101085718B1 (ko) | 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법 | |
| WO2023140787A2 (zh) | 视频的处理方法、装置、电子设备、存储介质和程序产品 | |
| CN112348738B (zh) | 图像优化方法、图像优化装置、存储介质与电子设备 | |
| CN113537193A (zh) | 光照估计方法、光照估计装置、存储介质与电子设备 | |
| CN114241039A (zh) | 地图数据处理方法、装置、存储介质与电子设备 | |
| US11223815B2 (en) | Method and device for processing video | |
| CN113240602A (zh) | 图像去雾方法及装置、计算机可读介质和电子设备 | |
| CN112991147B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN116704101B (zh) | 一种基于光线追踪渲染的像素填充方法和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |