CN113537193A - 光照估计方法、光照估计装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种光照估计方法、光照估计装置、计算机可读存储介质与电子设备，涉及计算机技术领域。所述光照估计方法包括：获取待估计光照参数的待处理图像；对所述待处理图像进行处理，确定所述待处理图像中场景的场景类型；根据所述场景类型，确定所述待处理图像的光照估计策略；采用所述光照估计策略对所述待处理图像进行光照估计，确定所述待处理图像的光照参数。本公开能够在不同的场景类型下进行准确有效的光照估计。

Description

光照估计方法、光照估计装置、存储介质与电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种光照估计方法、光照估计装置、计算机可读存储介质与电子设备。

背景技术

随着计算机技术和多媒体技术的迅速发展，出现了很多图像拍摄设备或应用来进行图像拍摄。为了使图像中所拍摄的各个对象能够具有更好、更真实的光照效果，现有技术通常会采用一些辅助拍摄设备，如深度相机、鱼眼相机或光场相机等特殊装置，计算拍摄场景中的光照情况；或者在拍摄场景中放置一些已知几何结构的辅助标志物，通过对辅助标志物的分析，捕获或推测各个对象在真实场景下的光照信息等。

然而，上述光照估计方法往往比较单一，例如在多光源场景(如室内场景)或单光源场景(如室外场景)中，由于光源位置、数量等因素影响，其光照参数具有差异，当采用相同的光照估计方法对图像进行处理时，光照估计结果也相差不大。也即，现有技术无法根据实际的场景类型，针对性的对图像进行准确、有效的光照估计。

发明内容

本公开提供了一种光照估计方法、光照估计装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中难以根据实际场景进行针对性的光照估计的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种光照估计方法，包括：获取待估计光照参数的待处理图像；对所述待处理图像进行处理，确定所述待处理图像中场景的场景类型；根据所述场景类型，确定所述待处理图像的光照估计策略；采用所述光照估计策略对所述待处理图像进行光照估计，确定所述待处理图像的光照参数。

根据本公开的第二方面，提供一种光照估计装置，包括：待处理图像获取模块，用于获取待估计光照参数的待处理图像；场景类型确定模块，用于对所述待处理图像进行处理，确定所述待处理图像中场景的场景类型；估计策略确定模块，用于根据所述场景类型，确定所述待处理图像的光照估计策略；光照参数获得模块，用于采用所述光照估计策略对所述待处理图像进行光照估计，确定所述待处理图像的光照参数。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的光照估计方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的光照估计方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

获取待估计光照参数的待处理图像；对待处理图像进行处理，确定待处理图像中场景的场景类型；根据场景类型，确定待处理图像的光照估计策略；采用光照估计策略对待处理图像进行光照估计，确定待处理图像的光照参数。一方面，本示例性实施例从不同场景类型具有不同的光照效果的角度出发，对待处理图像中的场景进行场景类型的判断，以确定更加符合当前场景类型的光照估计策略，获得的光照参数更为准确、有效；另一方面，本示例性实施例通过简单的判断流程，即能够实现在不同的应用场景下，灵活切换对应的光照估计策略进行光照估计，具有较强的针对性和场景适用性，流程简洁且光照估计效果较好。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种系统架构的示意图；

图2示出本示例性实施方式中一种电子设备的结构图；

图3示出本示例性实施方式中一种光照估计方法的流程图；

图4示出本示例性实施方式中一种光照估计方法的子流程图；

图5示出本示例性实施方式中另一种光照估计方法的子流程图；

图6示出本示例性实施方式中对室外场景类型的待处理图像进行光照估计的效果示意图；

图7示出本示例性实施方式中对室内场景类型的待处理图像进行光照估计的效果示意图；

图8示出本示例性实施方式中另一种光照估计方法的流程图；

图9示出本示例性实施方式中一种光照估计装置的结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式提供一种光照估计方法。图1示出了本示例性实施方式运行环境的系统架构图。如图1所示，该系统架构100可以包括用户终端110和服务端120，两者之间通过网络形成通信交互，例如用户终端110可以将待处理图像发送至服务端120进行处理，服务端120也可以将光照估计结果返回至用户终端110。其中，用户终端110包括但不限于智能手机、平板电脑、游戏机、可穿戴设备等；服务端120是指提供互联网服务的后台服务器。

应当理解，图1中各装置的数量仅是示例性的。根据实际需要，可以设置任意数量的客户端，或者服务端可以是多台服务器形成的集群。

本公开实施方式所提供的光照估计方法可以由用户终端110执行，例如在用户终端110拍摄图像后，对图像进行光照估计，得到对应的光照参数；也可以由服务端120执行，例如用户终端110在获取图像后，可以将其上传至服务端120，使服务端120对图像进行光照估计等，本公开对此不做具体限定。

本公开的示例性实施方式提供一种用于实现光照估计方法的电子设备，其可以是图1中的用户终端110或服务端120。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行光照估计方法。

下面以图2中的移动终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module，用户标识模块)卡接口295等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。编码器可以对图像或视频数据进行编码(即压缩)；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端100可以支持一种或多种编码器和解码器。

在一些实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和移动终端200的其他部件形成连接。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

外部存储器接口222可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能，例如存储音乐，视频等文件。

USB接口230是符合USB标准规范的接口，可以用于连接充电器为移动终端200充电，也可以连接耳机或其他电子设备。

充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为设备供电；电源管理模块241还可以监测电池的状态。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块260可以提供应用在移动终端200上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。

移动终端200可以通过GPU、显示屏幕290及AP等实现显示功能，显示用户界面。

移动终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏幕290及AP等实现拍摄功能，还可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及AP等实现音频功能。

传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现不同的感应检测功能。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达293可以产生振动提示，也可以用于触摸振动反馈等。按键294包括开机键，音量键等。

移动终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，以实现通话以及数据通信等功能。

图3示出了光照估计方法的示例性流程，可以由上述服务端110或客户端120执行，包括以下步骤S310至S340：

步骤S310，获取待估计光照参数的待处理图像。

其中，待处理图像是指需要进行光照参数估计的图像，可以是多种类型的图像，例如人物图像、植物图像、动物图像或者建筑物图像等。待处理图像中可以包括一种或多种对象，例如可以包括人、植物、动物、建筑物等对象，也可以包括桌子、门窗、椅子、电视、食物等其他对象等。

在本示例性实施例中，待处理图像可以通过多种方式获取，例如可以通过终端设备中配置的摄像头直接采集得到；也可以从视频流的图像帧中获取；还可以从网络或云端下载得到；或者根据需要从已有的图像中进行局部图像的截取得到等等，本公开对此不做具体限定。

在一示例性实施例中，上述步骤S310，可以包括：

获取待估计光照参数的图像帧序列，并将图像帧序列中的有效帧作为待处理图像。

其中，图像帧序列是指将图像帧按照一定顺序，如时间顺序，排列的序列，例如视频流或媒体流。本示例性实施例可以先获取图像帧序列，例如通过终端设备的摄像头直接采集视频流数据，或者下载得到视频流数据等。考虑到某些图像可能无法准确进行光照估计，或者图像质量较差，没有必要进行光照估计，例如摄像头未对准被拍摄对象，或者摄像头朝向地面时拍摄的图像，再或者拍摄的图像中包含较大遮挡物对画面完整性造成较大影响等，基于上述原因，本示例性实施例可以对图像帧序列中的每一张图像帧进行监测，以判断其是否为有效帧，对无效帧进行过滤，并将有效帧作为待处理图像进行光照估计，以防止对无效帧进行光照估计的造成额外的计算资源浪费，或者对其他图像帧进行光照估计造成干扰等问题。

在一示例性实施例中，在获取待估计光照参数的图像帧序列之后，上述光照估计方法还可以包括以下步骤：

确定图像帧序列中的每一张图像帧的相机外参；

根据相机外参确定每一张图像帧对应的相机光轴方向，将相机光轴方向与水平面夹角小于预设角度阈值的图像帧确定为有效帧。

考虑到当摄像头朝向与被拍摄场景相差较大时，例如朝向地面方向或者朝向天空方向时，通常图像中将不会包含对象，或包含的对象较少，进而对这类图像进行光照估计以还原对象在真实场景下的光照效果的需求也就比较弱，因此，本示例性实施例可以从相机拍摄方向判断有效帧。具体的，可以先确定出每一张图像帧的相机外参，例如旋转矩阵和平移矩阵，然后将相机外参转换为欧拉角数据，该欧拉角数据可以反映相机，即摄像头所在的终端设备，在空间中的位姿，进一步的根据欧拉角可以确定出相机光轴方向。其中，相机光轴方向是指摄像头镜面与焦点连线的直线方向，可以认为是摄像头拍摄时的朝向方向。当相机光轴方向与水平面夹角小于预设角度阈值时，说明当前摄像头的朝向方向未完全偏离被拍摄对象，可以确定当前图像为有效帧。预设角度阈值可以根据实际需要进行自定义设置，例如可以设置该预设角度阈值为60度，则当相机光轴方向与水平面夹角大于等于60度时，认为图像为无效帧。

步骤S320，对待处理图像进行处理，确定待处理图像中场景的场景类型。

其中，待处理图像中的场景即为被拍摄的场景环境，场景类型是指与光源相关的类别属性，可以从多种角度划分场景类型，例如可以是单光源场景类型或多光源场景类型；也可以是室外场景类型或室内场景类型。通常由于室内环境中，存在多种人造光源，如室内包括多个打开的日光灯或LED(Light-Emitting Diode Light，发光二极管)灯等，因此，室内场景可以认为是多光源场景类型，而室外无人造光源的场景中，以日光为光源时，通常可以认为是单光源场景类型等。需要说明的是，在一些特殊场景中，如日光较好的室内，可能存在日光光源与灯光光源并存的情况，可以认为是多光源场景类型，也可以根据日光光源的强度确定其是否可以被划分为单光源场景类型等等，本公开对此不做具体限定。

本示例性实施例可以通过对待处理图像进行处理，来确定其中场景的场景类型，例如可以通过从待处理图像中提取光源特征，进行分析，判断其为单光源场景类型或多光源场景类型；或者采用预先训练的机器学习模型对其进行图像识别，根据识别得到的图像中所包含的对象进行判断，当前待处理图像为室内拍摄的图像或室外拍摄的图像等等，本公开对此不做具体限定。

在获取待处理图像后，还可以对待处理图像进行预处理，例如图像去噪、图像增强等等，进一步还可以基于原始的待处理图像进行图像拷贝，使用拷贝的图像进行图像识别过程，并基于原始的待处理图像进行光照估计过程等等。

具体的，在一示例性实施例中，如图4所示，上述步骤S320可以包括以下步骤：

步骤S410，对待处理图像进行备份，并按照目标尺寸对备份图像进行裁剪；

步骤S420，对裁剪后的备份图像中的像素值进行归一化处理，得到中间图像；

步骤S430，对中间图像进行场景类型识别，以确定待处理图像中场景的场景类型。

为了提高待处理图像场景类型识别的准确性的同时，对完整且具有更多图像信息的待处理图像进行光照估计，确定对应的光照参数，本示例性实施例可以先对待处理图像进行备份，并对备份后的图像进行其他场景类型识别的预处理过程，基于备份图像进行场景类型的识别，然后根据场景类型的识别结果，基于待处理图像进行光照估计的处理过程。

具体的，考虑到图像中的某些区域，例如边缘区域，可能会包括很多无关的信息。为了提高图像处理效率，降低计算量，在得到待处理图像的备份图像后，可以按照目标尺寸对备份图像进行裁剪，确定出待处理图像中的主要区域，其中，目标尺寸可以根据需要进行自定义设置，裁剪方式也可以包括多种，例如可以先固定备份图像的最小边(如长方形的宽边)不变，然后以最大边(如长方形的长边)中点为基准在左右各确定待裁剪尺寸，然后对备份图像进行裁剪，进一步，还可以将该图像按照预设比率压缩至目标尺寸，如360*240像素大小等。

对于裁剪后的备份图像，本示例性实施例还可以将其中包括的像素点的像素值归一化至[-1，1]的范围内，以便于后续进行图像处理。最后对中间图像进行处理，如将中间图像作为机器学习模型的输入数据进行场景类型的识别等，来确定待处理图像中场景的场景类型。

需要说明的是，本示例性实施例通过对待处理图像进行备份，基于备份图像进行场景类型识别，基于完整的待处理图像进行光照估计处理，能够避免直接对待处理图像进行识别处理造成图像信息损失，影响光照估计效果的情况。

在一示例性实施例中，如图5所示，上述步骤S320可以包括以下步骤：

步骤S510，通过神经网络模型对待处理图像中的对象进行识别处理，得到待处理图像的对象识别结果；

步骤S520，根据对象识别结果，确定待处理图像中场景的场景类型。

其中，待处理图像中的场景中通常会包括多种元素，例如桌子、椅子、床、电视机、茶杯以及部分门框等，这些都可以视为待处理图像中包含的对象。神经网络模型可以通过提取待处理图像的图像特征并分析，确定待处理图像中包括的对象或者可能包括的对象，对象识别结果可以是指待处理图像中包括或可能包括哪些对象，或那些类别的对象的结果。在本示例性实施例中，神经网络模型可以是一种分类模型，可以对待处理图像中包括或可能包括的不同类型的对象进行预测，确定出每一种对象的预测概率值，该概率值可以反映对象在待处理图像中的可能性。具体的，神经网络模型的主干网络可以是EfficientNet-lite0-EfficientNet-lite7、MobileNet或者多尺寸的transformer等，通过连接一个softmax层实现得到多种对象的识别结果。

进一步的，考虑到不同的场景类型下，待处理图像包括的对象种类、数量等因素也不相同，因此，可以基于对象识别结果确定出待处理图像中场景的场景类型，例如床、电视等一般在室内场景中，而树木、长椅等一般在室外场景中等等。具体的，本示例性实施例可以根据对象识别结果，通过投票算法或分类算法等方式来确定场景类型。

为了提高确定场景类型的准确性，在一示例性实施例中，上述对象识别结果为对象在待处理图像中的概率，例如床在待处理图像中的概率为90％，电视在待处理图像中的概率为89％，长椅在待处理图像中的概率为10％等等，基于对象在待处理图像中的概率可以反映待处理图像中实际可能存在的对象。进一步的，上述步骤S520可以包括以下步骤：

对概率处于排名前预设数量的对象进行归属类别的投票，其中，归属类别为室内场景类别或室外场景类别；

根据投票结果胜出的归属类别，确定待处理图像中场景的场景类型。

本示例性实施例可以从对象识别结果中确定出概率处于排名前预设数量的对象，例如待处理图像中包括床、凳子、水杯、盆栽、电视、长椅的概率分别为90％、60％、51％、50％、89％、29％，则可以从其中确定出概率排名前3的对象为床、电视、凳子。进一步，通过判断床、电视、凳子属于室内场景类别下的对象，来确定待处理图像中的场景类型为室内场景类型。实际应用中，待处理图像中对象识别结果可能会包括更多的对象以及对象的概率，此处仅为示例性说明。另外，预设数量可以根据实际需要进行自定义设置，例如可以设置预设数量为10；也可以根据对象识别结果中对象的总数量确定预设数量，例如当对象总数量较多时，可以设置较大的预设数量等等，本公开对此不做具体限定。

本示例性实施例可以通过算法或模型，对预设数量的对象进行归属类别的投票，投票时，可以对排名顺序不同的对象设置不同的权重，例如选择前10名的对象进行投票时，可以对概率排名前2名设置较高的权重，对排名后8名设置较低的权重；或者分别对概率排名处于不同位的对象设置不同的权重等等。进一步，根据投票结果，确定场景类型，例如对概率排名前10名的对象进行投票时，概率排名前2名设置权重2，概率排名后8名设置权重1，总票数为12票，则投票结果中超过6票的归属类别即视为获胜，当属于室内场景类别的对象为7票，室外场景类别的对象有5票，则可以确定室内场景类别的对象较多，或待处理图像中的对象基本属于室内场景类别，因此，可以进一步确定待处理图像中场景的场景类型为室内场景类型。

需要说明的是，上述判断场景类型的过程，可以是对待处理图像进行的，也可以是对待处理图像进行备份等处理生成的中间图像进行的，本公开对此不做具体限定。

步骤S330，根据场景类型，确定待处理图像的光照估计策略。

考虑到单光源场景类型或室外场景类型，多光源场景类型或室内场景类型下，其光照效果是具有差异的，因此，本示例性实施例可以根据场景类型，采用针对性的光照估计策略对待处理图像进行光照估计，其中，光照估计策略可以包括多种，例如在室外场景类型下的光照估计策略，或者在室内场景类型下的光照估计策略等。

步骤S340，采用光照估计策略对待处理图像进行光照估计，确定待处理图像的光照参数。

进一步，在确定对应的光照估计策略后，采用与当前场景类型符合的光照估计策略对待处理图像进行光照估计，可以计算出对应的光照参数，该光照参数基于待处理图像中场景类型的不同可能具有差异，例如在室内场景类型下，其光照参数可以是主光源的位置或主光源的亮度等光照参数，在室外场景类型下，其光照参数可以是太阳光源的位置或太阳光源的强度等光照参数等。

在一示例性实施例中，当上述场景类型为室外场景类型时，上述光照估计策略为室外场景光照估计模型，上述步骤S340可以包括：

通过室外场景光照估计模型模拟室外因子，并对待处理图像进行光照估计，确定待处理图像在室外场景下的光照参数。

其中，室外因子是指室外环境中影响光照参数的元素，例如太阳、天空等，室外场景光照估计模型可以通过多个参数，例如太阳的位置、方位角、天空的清晰度或浑浊度以及太阳的曝光度等，模拟全天段的光照参数。进一步，通过预先训练的室外场景光照估计模型对待处理图像进行处理时，可以输出太阳这一光源的位置、强度以及天空的环境贴图参数，如方位角、曝光度、浑浊度等。图6示出了一室外场景类型的待处理图像进行光照估计的效果示意图。

在一示例性实施例中，当上述场景类型为室内场景类型时，上述光照估计策略为室内场景光照估计模型，上述步骤S340可以包括：

采用室内场景光照估计模型对待处理图像进行光照估计，得到待处理图像中多个球形高斯的光照参数。

本示例性实施例中，可以构建一光照模型，并根据球形高斯分布函数，将光照模型中的球形高斯映射至图像中，以球形高斯来模拟光源，通过室内场景光照估计模型对待处理图像进行光照估计，求解其中球形高斯的光照参数，从而得到待处理图像的光照参数，该光照参数可以包括待处理图像中光源的位置、光源的强度等，另外，基于室内场景光照估计模型的处理还可以根据光照估计结果判断当前待处理图像中是否包含室外太阳光源等结果。上述室内场景光照模型可以通过样本图像、样本球形高斯以及样本球形高斯的光照参数标签训练神经网络模型得到。图7示出了一室内场景类型的待处理图像进行光照估计的效果示意图。

图8示出本示例性实施例中另一种光照估计方法的流程图，具体可以包括以下步骤：

步骤S810，获取待估计光照参数的图像帧序列；

步骤S820，判断图像帧序列中当前帧图像是否为有效帧；

若当前帧图像不是有效帧，则切换至下一帧图像作为当前帧图像，并跳转至步骤S820进行有效帧的判断；

若当前帧图像为有效帧，则执行

步骤S830，将有效帧作为待处理图像，并对待处理图像进行图像处理，生成中间图像，其中，图像处理可以包括图像备份、图像裁剪以及像素值归一化等；

步骤S840，采用轻量化神经网络对中间图像进行对象识别；

步骤S850，根据对象识别结果对中间图像进行场景类型投票，确定待处理图像中场景的场景类型；

当投票结果为室内场景类型时，执行

步骤S860，采用室内场景光照估计模型对待处理图像进行光照估计，确定待处理图像的光照参数；

当投票结果为室外场景类型时，执行

步骤S870，采用室外场景光照估计模型对待处理图像进行光照估计，确定待处理图像的光照参数。

综上，本示例性实施方式中，获取待估计光照参数的待处理图像；对待处理图像进行处理，确定待处理图像中场景的场景类型；根据场景类型，确定待处理图像的光照估计策略；采用光照估计策略对待处理图像进行光照估计，确定待处理图像的光照参数。一方面，本示例性实施例从不同场景类型具有不同的光照效果的角度出发，对待处理图像中的场景进行场景类型的判断，以确定更加符合当前场景类型的光照估计策略，获得的光照参数更为准确、有效；另一方面，本示例性实施例通过简单的判断流程，即能够实现在不同的应用场景下，灵活切换对应的光照估计策略进行光照估计，具有较强的针对性和场景适用性，流程简洁且光照估计效果较好。

本公开的示例性实施方式还提供一种光照估计装置。如图9所示，该光照估计装置900可以包括：待处理图像获取模块910，用于获取待估计光照参数的待处理图像；场景类型确定模块920，用于对待处理图像进行处理，确定待处理图像中场景的场景类型；估计策略确定模块930，用于根据场景类型，确定待处理图像的光照估计策略；光照参数获得模块940，用于采用光照估计策略对待处理图像进行光照估计，确定待处理图像的光照参数。

在一示例性实施例中，待处理图像获取模块包括：有效帧获取单元，用于获取待估计光照参数的图像帧序列，并将图像帧序列中的有效帧作为待处理图像。

在一示例性实施例中，上述光照估计装置还包括：相机外参确定单元，用于在获取待估计光照参数的图像帧序列之后，确定图像帧序列中的每一张图像帧的相机外参；有效帧确定单元，用于根据相机外参确定每一张图像帧对应的相机光轴方向，将相机光轴方向与水平面夹角小于预设角度阈值的图像帧确定为有效帧。

在一示例性实施例中，场景类型确定模块包括：裁剪单元，用于对待处理图像进行备份，并按照目标尺寸对备份图像进行裁剪；归一化单元，用于对裁剪后的备份图像中的像素值进行归一化处理，得到中间图像；场景识别单元，用于对中间图像进行场景类型识别，以确定待处理图像中场景的场景类型。

在一示例性实施例中，场景类型确定模块包括：对象识别单元，用于通过神经网络模型对待处理图像中的对象进行识别处理，得到待处理图像的对象识别结果；场景类型确定单元，用于根据对象识别结果，确定待处理图像中场景的场景类型。

在一示例性实施例中，对象识别结果为对象在待处理图像中的概率；场景类型确定单元包括：投票子单元，用于对概率处于排名前预设数量的对象进行归属类别的投票，其中，归属类别为室内场景类别或室外场景类别；类型确定子单元，用于根据投票结果胜出的归属类别，确定待处理图像中场景的场景类型。

在一示例性实施例中，场景类型包括室外场景类型或室内场景类型。

在一示例性实施例中，当场景类型为室外场景类型时，光照估计策略为室外场景光照估计模型；光照参数获得模块包括：第一估计单元，用于通过室外场景光照估计模型模拟室外因子，并对待处理图像进行光照估计，确定待处理图像在室外场景下的光照参数。

在一示例性实施例中，当场景类型为室内场景类型时，光照估计策略为室内场景光照估计模型；光照参数获得模块包括：第一估计单元，用于采用室内场景光照估计模型对待处理图像进行光照估计，得到待处理图像中多个球形高斯的光照参数。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图4、图5或图8中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (12)

1.一种光照估计方法，其特征在于，包括：

获取待估计光照参数的待处理图像；

对所述待处理图像进行处理，确定所述待处理图像中场景的场景类型；

根据所述场景类型，确定所述待处理图像的光照估计策略；

采用所述光照估计策略对所述待处理图像进行光照估计，确定所述待处理图像的光照参数。

2.根据权利要求1所述的方法，其特征在于，所述获取待估计光照参数的待处理图像，包括：

获取待估计光照参数的图像帧序列，并将所述图像帧序列中的有效帧作为待处理图像。

3.根据权利要求2所述的方法，其特征在于，在获取待估计光照参数的图像帧序列之后，所述方法还包括：

确定所述图像帧序列中的每一张图像帧的相机外参；

根据所述相机外参确定所述每一张图像帧对应的相机光轴方向，将所述相机光轴方向与水平面夹角小于预设角度阈值的图像帧确定为有效帧。

4.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行处理，确定所述待处理图像中场景的场景类型，包括：

对所述待处理图像进行备份，并按照目标尺寸对备份图像进行裁剪；

对裁剪后的所述备份图像中的像素值进行归一化处理，得到中间图像；

对所述中间图像进行场景类型识别，以确定所述待处理图像中场景的场景类型。

5.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行处理，确定所述待处理图像中场景的场景类型，包括：

通过神经网络模型对所述待处理图像中的对象进行识别处理，得到所述待处理图像的对象识别结果；

根据所述对象识别结果，确定所述待处理图像中场景的场景类型。

6.根据权利要求5所述的方法，其特征在于，所述对象识别结果为对象在所述待处理图像中的概率；

所述根据所述对象识别结果，确定所述待处理图像中场景的场景类型，包括：

对所述概率处于排名前预设数量的对象进行归属类别的投票，其中，所述归属类别为室内场景类别或室外场景类别；

根据投票结果胜出的归属类别，确定所述待处理图像中场景的场景类型。

7.根据权利要求1所述的方法，其特征在于，所述场景类型包括室外场景类型或室内场景类型。

8.根据权利要求7所述的方法，其特征在于，当所述场景类型为室外场景类型时，所述光照估计策略为室外场景光照估计模型；

所述采用所述光照估计策略对所述待处理图像进行光照估计，确定所述待处理图像的光照参数，包括：

通过室外场景光照估计模型模拟室外因子，并对待处理图像进行光照估计，确定待处理图像在室外场景下的光照参数。

9.根据权利要求7所述的方法，其特征在于，当所述场景类型为室内场景类型时，所述光照估计策略为室内场景光照估计模型；

所述采用所述光照估计策略对所述待处理图像进行光照估计，确定所述待处理图像的光照参数，包括：

采用室内场景光照估计模型对待处理图像进行光照估计，得到所述待处理图像中多个球形高斯的光照参数。

10.一种光照估计装置，其特征在于，包括：

待处理图像获取模块，用于获取待估计光照参数的待处理图像；

场景类型确定模块，用于对所述待处理图像进行处理，确定所述待处理图像中场景的场景类型；

估计策略确定模块，用于根据所述场景类型，确定所述待处理图像的光照估计策略；

光照参数获得模块，用于采用所述光照估计策略对所述待处理图像进行光照估计，确定所述待处理图像的光照参数。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

12.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。

Images