CN117649352A - 一种图像光照处理方法、装置、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种图像光照处理方法、装置、设备及介质，其中该方法包括：获取待处理图像；通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外；根据预设光源的光照方向、前景像素点的法线以及背景像素点的法线，确定各像素点的光照参数；根据各像素点的光照参数得到待处理图像在预设光源打光下的目标图像。本公开实施例通过采用不同的方式确定图像的前景像素点和背景像素点的法线，能够减少法线不均匀的情况，在根据光源的光照方向以及法线确定的光照参数时，极大提升光照参数的准确性，使得打光后图像的光照分布更加均匀和柔和，提升打光后图像的明暗关系和氛围感，进而提升了用户体验。

Description

一种图像光照处理方法、装置、设备及介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像光照处理方法、装置、设备及介质。

背景技术

随着图像处理技术的发展，由于光照对图像的构图美感和氛围感等展示效果起到决定性作用，在光照条件不好时，可以通过后期对图像进行打光处理来弥补缺陷。

通常采用具有打光功能的应用程序对图像进行打光处理，但是这种方式通常只能处理图像中的人脸部分，仅人脸部分的处理效果具有很大局限性，人脸部分与图像整体的光照效果不和谐，很难产生既真实又符合审美的效果。相关技术中可以通过深度估计或法线估计的方式对图像整体进行打光处理，但是深度估计的方式计算复杂，准确性较低，法线估计的方式存在因法线不准确而造成打光不均匀的问题。

发明内容

为了解决上述技术问题，本公开提供了一种图像光照处理方法、装置、设备及介质。

本公开实施例提供了一种图像光照处理方法，所述方法包括：

获取待处理图像；

通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外；

根据预设光源的光照方向、所述前景像素点的法线以及所述背景像素点的法线，确定各像素点的光照参数；

根据各所述像素点的光照参数得到所述待处理图像在所述预设光源打光下的目标图像。

本公开实施例还提供了一种图像光照处理装置，所述装置包括：

获取模块，用于获取待处理图像；

法线模块，用于通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外；

光照参数模块，用于根据预设光源的光照方向、所述前景像素点的法线以及所述背景像素点的法线，确定各像素点的光照参数；

打光模块，用于根据各所述像素点的光照参数得到所述待处理图像在所述预设光源打光下的目标图像。

本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的图像光照处理方法。

本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的图像光照处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的图像光照处理方案，获取待处理图像；通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外；根据预设光源的光照方向、前景像素点的法线以及背景像素点的法线，确定各像素点的光照参数；根据各像素点的光照参数得到待处理图像在预设光源打光下的目标图像。采用上述技术方案，通过采用不同的方式确定图像的前景像素点和背景像素点的法线，能够减少法线不均匀的情况，在根据光源的光照方向以及法线确定的光照参数时，极大提升光照参数的准确性，使得打光后图像的光照分布更加均匀和柔和，提升打光后图像的明暗关系和氛围感，进而提升了用户体验。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本公开实施例提供的一种图像光照处理方法的流程示意图；

图2为本公开实施例提供的一种待处理图像的示意图；

图3为本公开实施例提供的一种目标图像的示意图；

图4为本公开实施例提供的一种确定光照方向的示意图；

图5为本公开实施例提供的另一种目标图像的示意图；

图6为本公开实施例提供的一种法线优化的示意图；

图7为本公开实施例提供的一种视频光照处理的示意图；

图8为本公开实施例提供的一种图像光照处理装置的结构示意图；

图9为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

摄影，是用光的艺术。在专业摄影中，对光影美学的掌握至关重要，好的光线不仅能增强图像的构图美感和氛围感，更能体现出人物的故事性和更深层次的质感。在图像拍摄过程中缺少良好的光照条件时，例如丰富的打光道具以及专业的打光技巧，达不到想要的图像质感，此时可以通过后期编辑来对图像进行重打光处理，以弥补光照条件的缺陷已对图像进行打光处理来弥补缺陷。

通常采用具有打光功能的应用程序对图像进行打光处理，但是这种方式通常只能处理图像中的人脸部分，算法基本上运用面部网络变化(face mesh morph)算法得到人脸几何信息，再添加一个虚拟光源控制面部的明暗变化，但是仅仅人脸部分的处理效果具有很大局限性，人脸部分与图像整体的光照效果不和谐，很难产生既真实又符合审美的效果。相关技术中可以通过深度估计或法线估计的方式对图像整体进行打光处理，但是深度估计的方式计算复杂，准确性较低，法线估计的方式存在因法线不准确而造成打光不均匀的问题。为了解决上述问题，本公开实施例提供了一种图像光照处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的一种图像光照处理方法的流程示意图，该方法可以由图像光照处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：

步骤101、获取待处理图像。

其中，待处理图像可以是任意一个需要进行打光处理或光照渲染的图像，具体格式和来源不限，例如待处理图像可以为实时拍摄的图像，也可以为从互联网中下载得到的图像，还可以为一个视频中提取的一个图像帧等。

步骤102、通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外。

其中，法线可以是是某个点所在的平面在三维空间中的朝向，表示了一种空间几何信息。其中，前景像素点可以待处理图像中前景区域包括的像素点，前景区域可以是感兴趣区域或主体所在区域；背景像素点可以是待处理图像中背景区域包括的像素点，待处理图像中除前景区域之外的区域为背景区域，例如待处理图像为包括一个人物的图像，人物所在区域为前景区域，其他区域为背景区域。

在一些实施例中，获取待处理图像之后，方法还包括：判断待处理图像中人物面积是否大于或等于面积阈值；通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外，包括：若确定待处理图像中人物面积大于或等于面积阈值，则执行通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外。

其中，面积阈值可以根据实际情况设置。

图像光照处理装置在执行步骤102之前可以先判断待处理图像中是否包括人物，若是，则可以对待处理图像的前景区域分割人物掩膜，确定人物面积，将人物面积与面积阈值进行对比，如果人物面积大于或等于面积阈值，则确定满足第一优化条件，之后执行步骤102，也即采用步骤102的优化方式确定法线。

在一些实施例中，通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外，可以包括：通过深度学习模型计算确定待处理图像中各像素点的初始法线；对待处理图像的各像素点分割得到前景像素点和背景像素点，将前景像素点的法线确定为初始法线，并将背景像素点的法线从初始法线调整为指向屏幕外。

深度学习模型可以通过样本数据训练得到，由于待处理图像中物体的多变性，在深度学习模型的训练过程中可以利用多视角重建数据作为监督使得训练后的模型具有较高的泛化能力。

图像光照处理装置可以先将待处理图像输入预先训练好的深度学习模型中得到待处理图像中每个像素点对应空间点表面的朝向，也即初始法线；之后可以对待处理图像进行前景区域和背景区域的分割处理，处理方式可以包括多种，例如可以采用阈值分割法进行划分，具体不限，分割之后将前景区域包括的像素点确定为前景像素点，将背景区域包括的像素点确定为背景像素点；之后针对前景像素点可以不对初始法线进行处理，而背景像素点可以将其法线从初始法线调整为指向屏幕外，也即采用两种不同方式分别确定前景像素点和背景像素点的法线。

可选的，本公开实施例在确定初始法线时，可以先降低待处理图像的分辨率再确定初始法线，以提高计算性能和计算效率。

在另一些实施例中，通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外，可以包括：对待处理图像的各像素点分割得到前景像素点和背景像素点；通过深度学习模型计算确定前景像素点的法线，并将背景像素点的法线设置为指向屏幕外。

图像光照处理装置可以先对待处理图像进行前景区域和背景区域的分割处理，处理方式不限，分割之后将前景区域包括的像素点确定为前景像素点，将背景区域包括的像素点确定为背景像素点；之后可以将待处理图像的前景区域输入预先训练好的深度学习模型中得到前景像素点的法线，而针对背景像素点可以直接将法线设置为指向屏幕外，也即采用两种不同方式分别确定前景像素点和背景像素点的法线。

上述方案中，在确定待处理图像中的前景像素点和背景像素点的法线时，可以采用两种方式确定，一种先确定整个待处理图像的初始法线然后分割前景像素点和背景像素点并保留前景像素点的初始法线修改背景像素点的初始法线，另一种可以先将待处理图像分割前景像素点和背景像素点然后利用算法确定前景像素点的法线并设置背景像素点的法线；确定方式更加灵活。

相关技术中，在预测图像法线时，由于背景缺少刚性结构，对背景的法线的预测往往会出现一些异常结果，可能导致后续打光出现不均匀的情况。本方案中通过对图像的前景像素点和背景像素点采用不同方式确定，实现对背景像素点的优化处理，也即后处理操作，避免背景区域的错误法线，提升法线确定的准确性。

步骤103、根据预设光源的光照方向、前景像素点的法线以及背景像素点的法线，确定各像素点的光照参数。

其中，预设光源可以是用户根据实际需要设置的虚拟光源，本公开实施例对预设光源的光源类型不限，例如预设光源的光源类型可以包括点光源、正常线光源、特殊线光源以及平行光源等中的至少一种，正常线光源可以是作用在待处理图像中人物之前的光源，特殊线光源可以是作用在待处理图像中人物之后的线光源，例如特殊线光源可以包括一种光剑效果的线光源。光照参数可以表征待处理图像的每个像素点在预设光源打光后的亮度变化，对待处理图像的打光处理可以基于光照参数实现。

在一些实施例中，根据预设光源的光照方向、前景像素点的法线以及背景像素点的法线，确定各像素点的光照参数，可以包括：根据预设光源的光源类型确定其光照方向；根据光照方向、前景像素点的法线方向和背景像素点的法线方向，确定各像素点的漫反射强度；将各像素点的漫反射强度、预设参数输入反射模型中，得到各像素点的光照参数，其中，预设参数包括预设的光照亮度参数、光照色调参数以及光照衰减系数。

反射模型可以是光线反射的一种物理模型，例如反射模型可以为朗伯体(Lamertian)反射模型。预设光源的光源类型以及预设参数可以根据实际需求进行设置和调整，进而在后续打光处理时可以达到不同的打光效果。

图像光照处理装置在确定光照参数时，可以根据预设光源的光源类型确定待处理图像中每个像素点的光照方向，示例性的，当预设光源为平行光源，则由于平行光源发射出来的光线是彼此平行的，因此光照方向与像素点相对于光源的位置无关，所有像素点的光照方向均为lightDir＝(i,j,k)；当预设光源为点光源，由于点光源可以被认为是三维空间中的一个点，这个点向所有方向发射光线，因此每个像素点的光照方向可以表示为像素点与点光源坐标的差值，点光源坐标表示为(Lx,Ly,Lz)，像素点坐标表示为(x,y,z)，则光照方向表示为lightDir＝(Lx-x,Ly-y,Lz-z)；当预设光源为正常线光源，由于线光源可以认为是三维空间中平行于平面的直线向所有方向发射光照，因此每个像素点点的光照方向可以通过求取像素点到直线的垂点，再进行垂点与像素点的坐标差值计算得到，线光源表示为(Lx,a_0*Lx+b_0,Lz)，Lxε(0,L)，像素点坐标表示为(x,y,z)，每个像素点的光照方向表示为lightDir＝((x+a_0*y-a_0*b_0)/(a_0*a_0+1)-x,(a_0*x+a_0*a_0*y+b_0)/(a_0*a_0+1)-y,Lz-z)；当预设光源为特殊线光源，仅在人物区域外的部分出现线光源，同时线光源作用在人物区域处的法向量，打造出人物身后光线照亮的效果，光照方向的计算方式与上述正常线光源的方式类似，不同的是需要考虑垂点与人物区域的关系。

然后，图像光照处理装置可以根据每个像素点的光照方向、、前景像素点的法线方向和背景像素点的法线方向采用漫反射光照模型，确定漫反射强度，漫反射强度可以为法线方向和光照方向的点乘，表示为NdotL＝dot(normal,lightDir)，其中，NdotL表示漫反射强度，normal表示法线方向，lightDir表示光照方向；将漫反射强度、预设的光照亮度参数、光照色调参数以及光照衰减系数输入反射模型中，得到光照参数，具体可以通过公式light_shading_s＝light_intensity*light_color*NdotL*d_decay计算，其中，light_shading_s表示光照参数，light_intensity表示光照亮度参数，light_color表示光照色调参数，NdotL表示漫反射强度，d_decay表示光照衰减系数，d_decay＝1/a*distance_map+b，distance_map表示距离衰减系数，根据像素点到预设光源之间的距离进行亮度衰减，a和b为常数，1/a*distance_map表示逐元素相乘，也即逐个距离的衰减系数与1/a相乘。

本步骤中通过反射模型可以根据虚拟光源的位置和强度等计算出待处理图像中每个像素点打光后的亮度变化，也即得到每个像素点的光照参数，以备后用。

在一些实施例中，确定光照参数之后，本公开实施例根据待处理图像的平均亮度确定高光区域和阴暗区域，对高光区域降低其光照参数，并对阴暗区域升高其光照参数，以实现光照参数的自适应控制，防止在打光后出现过暗和过曝现象。可选的，本公开实施例还可以对阴暗区域的颜色三通道进行平均处理，控制阴暗区域没有颜色变化，更贴近真实阴影的效果，抑制光照作用下阴暗区域颜色带来的问题。

步骤104、根据各像素点的光照参数得到待处理图像在预设光源打光下的目标图像。

在本公开实施例中，图像光照处理装置可以将各像素点的原始像素值与对应的光照参数之和，确定为各像素点在预设光源下的目标像素值；基于各像素点的目标像素值确定目标图像。

其中，目标像素值可以是对待处理图像的每个像素点的原始像素值进行打光处理之后的像素值。待处理图像的每个像素点的原始像素值表示为texColor，光照参数表示为ight_shading_s，则目标像素值可以通过公式texColor'＝texColor+light_shading_s确定，texColor'表示目标像素值。将待处理图像的各像素点设置为对应的目标像素值，即可得到得到打光之后的目标图像，打光的光源为预设光源。

可选的，当光照参数是在分辨率降低后的待处理图像的基础上确定时，可以先对光照参数ight_shading_s进行上采样处理之后得到light_shading，目标像素值texColor'＝texColor+light_shading。

示例性的，图2为本公开实施例提供的一种待处理图像的示意图，如图2所示，图中展示了一个待处理图像200，待处理图像200中展示了一个长头发的女生。示例性的，图3为本公开实施例提供的一种目标图像的示意图，如图3所示，图中展示了一个目标图像300，该目标图像300以图2中的待处理图像200为基础通过上述实施例中的打光处理得到，预设光源为一个正常线光源，作用在人物之前。图2和图3仅为一种示例，而非限定。

相关技术中，确定光照参数之后通常采用相乘的方式确定打光后的像素值，这种方式亮度变化较大，效果不可控，本公开实施例中通过采用相加的方式确定打光后的像素值，亮度变化更加自然，效果可控。

本方案中，通过对图像中的法线进行优化，基于优化后的法线以及虚拟光源的位置等参数经过反射模型计算可以得到图像每个像素点打光后的亮度变化，作用于图像可以得到新的明暗关系的重打光图像；并且光源的位置、方向、强度、色调等支持用户交互式调整，能够得到不同光照下的打光结果，使得照片更具氛围感和美感。

本公开实施例提供的图像光照处理方案，获取待处理图像；通过计算确定待处理图像中前景像素点的法线，并将待处理图像中背景像素点的法线确定为指向屏幕外；根据预设光源的光照方向、前景像素点的法线以及背景像素点的法线，确定各像素点的光照参数；根据各像素点的光照参数得到待处理图像在预设光源打光下的目标图像。采用上述技术方案，通过采用不同的方式确定图像的前景像素点和背景像素点的法线，能够减少法线不均匀的情况，在根据光源的光照方向以及法线确定的光照参数时，极大提升光照参数的准确性，使得打光后图像的光照分布更加均匀和柔和，提升打光后图像的明暗关系和氛围感，进而提升了用户体验。

在一些实施例中，根据预设光源的光源类型确定其光照方向，可以包括：当预设光源的光源类型为特殊线光源，确定待处理图像中待处理区域的每个像素点到特殊线光源的垂点；根据垂点以及待处理图像中的人物区域，确定每个像素点对应的光照方向，其中，待处理区域为待处理图像中除人物区域之外的其他区域。可选的，根据垂点以及待处理图像中的人物区域，确定每个像素点对应的光照方向，可以包括：当垂点在人物区域外，则根据每个像素点和垂点的坐标确定每个像素点的光照方向；当垂点在人物区域内，确定距离垂点最近的两个目标点，根据每个像素点和两个目标点的坐标确定每个像素点的光照方向，其中，目标点为特殊线光源与人物区域的交点。

其中，特殊线光源可以是作用在待处理图像中人物之后的线光源，例如特殊线光源可以包括一种光剑效果的线光源。图像光照处理装置在根据预设光源的光源类型确定待处理图像中每个像素点的光照方向时，当预设光源的光源类型为特殊线光源，由于特殊线光源仅作用于在待处理图像中除人物区域之外的待处理区域，仅需要确定待处理区域中每个像素点的光照方向；针对待处理区域中任意一个像素点，可以先确定该像素点到特殊线光源的垂点，之后可以判断垂点是否在人物区域内，若否，则将该像素点与垂点的坐标差值确定为其光照方向，具体参见上述正常线光源的光照方向的确定过程；当垂点在人物区域内，可以确定距离垂点最近的两个目标点，该像素点的光照相当于由这两个目标点的点光源作用，光照方向分布为两个目标点与该像素点的坐标差值，具体参见上述点光源的光照方向的确定过程。

示例性的，图4为本公开实施例提供的一种确定光照方向的示意图，如图4所示，图中展示了一个包括人物区域401的待处理图像400，预设光源为图中的特殊线光源402，P点为待处理图像400中除人物区域401之外的待处理区域中的一个像素点，P点到特殊线光源402的垂点为A点，由于A点在人物区域402内，则可以确定距离A点最近的两个目标点Q点和R点，P点的光照相当于由Q点和R点这两个点光源作用，光照方向分别为Q点与P点的坐标差值、R两点与P点的坐标差值。图4中仅为示例。

示例性的，图5为本公开实施例提供的另一种目标图像的示意图，图中展示了一个目标图像500，该目标图像500以图2中的待处理图像200为基础通过上述实施例中的打光处理得到，预设光源为一个特殊线光源，作用在人物之后。

上述方案中，当预设光源的在人物区域外的部分出现的特殊线光源，可以通过像素点到特殊线光源的垂点是否落在人物区域内确定每个像素点的光照方向，进而能够打造出人物身后的线光源打光的效果，增加图像的打光效果。

在一些实施例中，通过计算确定待处理图像中前景像素点的法线之后，图像光照处理方法还可以包括：对前景像素点的法线进行平滑滤波处理。

图像光照处理装置在通过计算确定待处理图像中前景像素点的法线之后，可以使用导向滤波的方式对前景像素点的法线进行平滑滤波处理，得到优化处理后的法线，使得优化处理后的法线边界更贴合前景，减少前景中法线不均匀的情况。

在一些实施例中，获取待处理图像之后，图像光照处理方法还可以包括：当待处理图像中人物面积小于面积阈值，则通过计算确定待处理图像中前景像素点和背景像素点的初始法线之后，仅对背景像素点的初始法线进行平滑滤波处理，得到前景像素点的法线以及背景像素点的法线。

图像光照处理装置在执行步骤102之前，将人物面积与面积阈值进行对比，如果人物面积小于上述面积阈值，则确定满足第二优化条件，此时可以先通过将待处理图像输入预先训练好的深度学习模型中得到待处理图像中每个像素点的初始法线，并可以对待处理图像的各像素点进行分割得到前景像素点和背景像素点，之后可以仅仅对背景像素点的初始法线进行平滑滤波处理，得到背景像素点优化后的法线，而前景像素点的法线保留，为初始法线。

可选的，图像光照处理装置在确定待处理图像中不包括人物时，可以对待处理图像的整体的初始法线进行平滑滤波处理，得到优化后的法线。

示例性的，图6为本公开实施例提供的一种法线优化的示意图，如图6所示，图中展示了对待处理图像的法线进行优化的具体过程，具体可以包括：针对待处理图像，判断是否包括人物，若否，则对整体法线平滑滤波；若是，则分割掩膜并确定人物面积，判断人物面积是否大于面积阈值，若是，则将背景像素点的法线强制朝外，对前景像素点的法线导向滤波，否则，仅仅对背景像素点法线平滑滤波；最后可以输出不同情况下优化后的法线。

本方案中在确定图像的法线时，可以针对待处理图像中是否包括人物以及包括人物时的人物面积大小的不同情况，采用不同方式对法线进行优化处理，也即后处理操作，避免背景像素点的错误法线，并且通过对前景像素点的法线优化使得其法线更贴合前景区域，减少法线不均匀的情况，提升法线确定的准确性。

在一些实施例中，图像光照处理方法还可以包括：获取待处理视频，待处理视频包括多个图像帧；根据不同视频帧的相似度对每个图像帧中像素点的法线进行平滑处理；根据平滑处理后的像素点的法线确定每个图像帧的光照参数，并根据每个图像帧的光照参数确定打光后的目标视频。

其中，待处理视频可以是任意一个需要进行打光处理或光照渲染的图像，具体格式和来源不限，例如待处理视频可以为实时拍摄的视频，也可以为从互联网中下载得到的视频。

具体地，图像光照处理装置可以获取包括多个图像帧的待处理视频，依次将每个图像帧确定为当前图像帧，根据当前图像帧与前一图像帧的相似度在确定当前图像帧需要进行平滑处理时，对当前图像帧的各像素点的法线进行平滑处理，此时各像素点的法线为采用上述实施例的方法优化处理后的法线；之后根据每个图像帧平滑处理后的像素点的法线确定对应的光照参数，得到打光后的每个图像帧，进而得到打光后的目标视频。

可选的，根据不同视频帧的相似度对每个图像帧中像素点的法线进行平滑处理，可以包括：针对每个图像帧，如果当前图像帧与前一图像帧的相似度大于第一阈值且小于第二阈值，则根据当前图像帧的像素点的第一法线、前一图像帧的像素点的第二法线以及融合参数，确定当前图像帧的像素点的目标法线，其中，第一阈值小于第二阈值。

其中，第一阈值和第二阈值可以是两个大小不同的相似度的阈值，第一阈值小于第二阈值。

示例性的，图7为本公开实施例提供的一种视频光照处理的示意图，如图7所示，图中展示了一种对视频的每个图像帧进行平滑处理的过程，可以包括：图像光照处理装置可以依次将每个图像帧确定为当前图像帧，确定当前图像帧与前一图像帧的相似度，判断该相似度是否大于第一阈值且小于第二阈值，若是，则确定当前图像帧需要进行平滑处理；将当前图像帧的第一法线、前一图像帧的第二法线以及融合参数输入公式F3＝F1*alpha+F2*(1-alpha)可以确定平滑处理后的目标法线，其中F3表示当前图像帧的目标法线，F1表示第一法线，F2表示第二法线，第一法线和第二法线均为采用上述实施例的方法优化处理后的法线，alpha表示融合参数，该融合参数可以根据相似度确定或者预先设置，例如融合参数可以设置为0.5；而当相似度小于或等于第一阈值，则可以确定当前图像帧相对于前一图像帧发生转场，此时不需要对当前图像帧进行平滑处理，直接采用上述实施例的方式确定优化处理后的法线为目标法线；当相似度大于或等于第二阈值，则可以确定当前图像帧与前一图像帧相似度极高，可以视为重复帧，此时也不需要对当前图像帧进行平滑处理，直接将前一图像帧的第二法线确定为当前图像帧的目标法线；之后图像光照处理装置可以根据每个图像帧的目标法线确定对应的光照参数，得到打光后的每个图像帧，进而输出打光后的目标视频。

上述方案中，针对待处理视频的光照处理，由于待处理视频由多个图像帧组成，光照处理过程与上述针对图像的处理过程类似，但是由于不同帧之间的法线估计存在时序上的抖动，视频打光效果会出现不稳定的问题，本公开实施例中通过帧间相似度分析以及法线的时序自适应平滑处理实现对视频打光效果的优化，保证了视频打光效果的稳定性，得到时序稳定的视频打光结果。

本方案提供了一种通用的图像光照处理方案，通过预测图像中场景的几何信息，给不同区域的像素点进行一个明暗亮度和色调的调整。用户可以交互式地调整光源方向、强度、色调等，模拟得到不同光照下的打光效果，在保证场景光照合理的前提下使得画面的明暗关系更加突出，烘托场景的氛围感和美感，丰富图像的编辑特效样式。

图8为本公开实施例提供的一种图像光照处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图8所示，该装置包括：

获取模块801，用于获取待处理图像；

法线模块802，用于通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外；

光照参数模块803，用于根据预设光源的光照方向、所述前景像素点的法线以及所述背景像素点的法线，确定各像素点的光照参数；

打光模块804，用于根据各所述像素点的光照参数得到所述待处理图像在所述预设光源打光下的目标图像。

可选的，所述装置还包括判断模块，用于：所述获取待处理图像之后，

判断所述待处理图像中人物面积是否大于或等于面积阈值；

法线模块802用于：

若确定所述待处理图像中人物面积大于或等于面积阈值，则执行所述通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外。

可选的，法线模块802用于：

通过深度学习模型计算确定所述待处理图像中各像素点的初始法线；

对所述待处理图像的各像素点分割得到前景像素点和背景像素点，将所述前景像素点的法线确定为所述初始法线，并将所述背景像素点的法线从所述初始法线调整为指向屏幕外。

可选的，法线模块802用于：

对所述待处理图像的各像素点分割得到前景像素点和背景像素点；

通过深度学习模型计算确定所述前景像素点的法线，并将所述背景像素点的法线设置为指向屏幕外。

可选的，所述装置还包括第一优化模块，用于：通过计算确定所述待处理图像中前景像素点的法线之后，

对所述前景像素点的法线进行平滑滤波处理。

可选的，所述装置还包括第二优化模块，用于：获取待处理图像之后，

当所述待处理图像中人物面积小于面积阈值，则通过计算确定所述待处理图像中所述前景像素点和所述背景像素点的初始法线之后，仅对所述背景像素点的初始法线进行平滑滤波处理，得到所述前景像素点的法线以及所述背景像素点的法线。

可选的，光照参数模块803包括：

方向单元，用于根据所述预设光源的光源类型确定其光照方向；

漫反射单元，用于根据所述光照方向、所述前景像素点的法线方向和所述背景像素点的法线方向，确定各像素点的漫反射强度；

确定单元，用于将各所述像素点的漫反射强度、预设参数输入反射模型中，得到各所述像素点的光照参数，其中，所述预设参数包括预设的光照亮度参数、光照色调参数以及光照衰减系数，所述光照参数表征所述待处理图像的每个像素点在所述预设光源打光后的亮度变化。

可选的，所述预设光源的光源类型包括点光源、正常线光源、特殊线光源以及平行光源中的至少一种。

可选的，方向单元用于：

当所述预设光源的光源类型为特殊线光源，确定所述待处理图像中待处理区域的每个像素点到所述特殊线光源的垂点；

根据所述垂点以及所述待处理图像中的人物区域，确定每个像素点对应的光照方向，其中，所述待处理区域为所述待处理图像中除所述人物区域之外的其他区域。

可选的，方向单元用于：

当所述垂点在所述人物区域外，则根据每个像素点和垂点的坐标确定每个像素点的光照方向；

当所述垂点在所述人物区域内，确定距离所述垂点最近的两个目标点，根据每个像素点和所述两个目标点的坐标确定每个像素点的光照方向，其中，所述目标点为所述特殊线光源与所述人物区域的交点。

可选的，打光模块804用于：

将各所述像素点的原始像素值与对应的光照参数之和，确定为各所述像素点在所述预设光源下的目标像素值；

基于各所述像素点的目标像素值确定所述目标图像。

可选的，所述装置还包括视频模块，包括：

视频单元，用于获取待处理视频，所述待处理视频包括多个图像帧；

处理单元，用于根据不同视频帧的相似度对每个图像帧中像素点的法线进行平滑处理；

光照单元，用于根据平滑处理后的像素点的法线确定每个图像帧的光照参数，并根据每个图像帧的光照参数确定打光后的目标视频。

可选的，所述处理单元用于：

针对每个图像帧，如果当前图像帧与前一图像帧的相似度大于第一阈值且小于第二阈值，则根据当前图像帧的像素点的第一法线、前一图像帧的像素点的第二法线以及融合参数，确定当前图像帧的像素点的目标法线，其中，所述第一阈值小于所述第二阈值。

本公开实施例所提供的图像光照处理装置可执行本公开任意实施例所提供的图像光照处理方法，具备执行方法相应的功能模块和有益效果。

本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任意实施例所提供的图像光照处理方法。

图9为本公开实施例提供的一种电子设备的结构示意图。下面具体参考图9，其示出了适于用来实现本公开实施例中的电子设备900的结构示意图。本公开实施例中的电子设备900可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储装置908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的图像光照处理方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理图像；通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外；根据预设光源的光照方向、所述前景像素点的法线以及所述背景像素点的法线，确定各像素点的光照参数；根据各所述像素点的光照参数得到所述待处理图像在所述预设光源打光下的目标图像。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种图像光照处理方法，其特征在于，包括：

获取待处理图像；

通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外；

根据预设光源的光照方向、所述前景像素点的法线以及所述背景像素点的法线，确定各像素点的光照参数；

根据各所述像素点的光照参数得到所述待处理图像在所述预设光源打光下的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像之后，所述方法还包括：

判断所述待处理图像中人物面积是否大于或等于面积阈值；

通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外，包括：

若确定所述待处理图像中人物面积大于或等于面积阈值，则执行所述通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外。

3.根据权利要求1所述的方法，其特征在于，通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外，包括：

通过深度学习模型计算确定所述待处理图像中各像素点的初始法线；

对所述待处理图像的各像素点分割得到前景像素点和背景像素点，将所述前景像素点的法线确定为所述初始法线，并将所述背景像素点的法线从所述初始法线调整为指向屏幕外。

4.根据权利要求1所述的方法，其特征在于，通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外，包括：

对所述待处理图像的各像素点分割得到前景像素点和背景像素点；

通过深度学习模型计算确定所述前景像素点的法线，并将所述背景像素点的法线设置为指向屏幕外。

5.根据权利要求1所述的方法，其特征在于，通过计算确定所述待处理图像中前景像素点的法线之后，所述方法还包括：

对所述前景像素点的法线进行平滑滤波处理。

6.根据权利要求1所述的方法，其特征在于，获取待处理图像之后，所述方法还包括：

当所述待处理图像中人物面积小于面积阈值，则通过计算确定所述待处理图像中所述前景像素点和所述背景像素点的初始法线之后，仅对所述背景像素点的初始法线进行平滑滤波处理，得到所述前景像素点的法线以及所述背景像素点的法线。

7.根据权利要求1所述的方法，其特征在于，根据预设光源的光照方向、所述前景像素点的法线以及所述背景像素点的法线，确定各像素点的光照参数，包括：

根据所述预设光源的光源类型确定其光照方向；

根据所述光照方向、所述前景像素点的法线方向和所述背景像素点的法线方向，确定各像素点的漫反射强度；

将各所述像素点的漫反射强度、预设参数输入反射模型中，得到各所述像素点的光照参数，其中，所述预设参数包括预设的光照亮度参数、光照色调参数以及光照衰减系数，所述光照参数表征所述待处理图像的每个像素点在所述预设光源打光后的亮度变化。

8.根据权利要求7所述的方法，其特征在于，所述预设光源的光源类型包括点光源、正常线光源、特殊线光源以及平行光源中的至少一种。

9.根据权利要求8所述的方法，其特征在于，根据所述预设光源的光源类型确定其光照方向，包括：

当所述预设光源的光源类型为特殊线光源，确定所述待处理图像中待处理区域的每个像素点到所述特殊线光源的垂点；

根据所述垂点以及所述待处理图像中的人物区域，确定每个像素点对应的光照方向，其中，所述待处理区域为所述待处理图像中除所述人物区域之外的其他区域。

10.根据权利要求9所述的方法，其特征在于，根据所述垂点以及所述待处理图像中的人物区域，确定每个像素点对应的光照方向，包括：

当所述垂点在所述人物区域外，则根据每个像素点和垂点的坐标确定每个像素点的光照方向；

当所述垂点在所述人物区域内，确定距离所述垂点最近的两个目标点，根据每个像素点和所述两个目标点的坐标确定每个像素点的光照方向，其中，所述目标点为所述特殊线光源与所述人物区域的交点。

11.根据权利要求1所述的方法，其特征在于，根据各所述像素点的光照参数得到所述待处理图像在所述预设光源打光下的目标图像，包括：

将各所述像素点的原始像素值与对应的光照参数之和，确定为各所述像素点在所述预设光源下的目标像素值；

基于各所述像素点的目标像素值确定所述目标图像。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取待处理视频，所述待处理视频包括多个图像帧；

根据不同视频帧的相似度对每个图像帧中像素点的法线进行平滑处理；

根据平滑处理后的像素点的法线确定每个图像帧的光照参数，并根据每个图像帧的光照参数确定打光后的目标视频。

13.根据权利要求12所述的方法，其特征在于，根据不同视频帧的相似度对每个图像帧中像素点的法线进行平滑处理，包括：

针对每个图像帧，如果当前图像帧与前一图像帧的相似度大于第一阈值且小于第二阈值，则根据当前图像帧的像素点的第一法线、前一图像帧的像素点的第二法线以及融合参数，确定当前图像帧的像素点的目标法线，其中，所述第一阈值小于所述第二阈值。

14.一种图像光照处理装置，其特征在于，包括：

获取模块，用于获取待处理图像；

法线模块，用于通过计算确定所述待处理图像中前景像素点的法线，并将所述待处理图像中背景像素点的法线确定为指向屏幕外；

光照参数模块，用于根据预设光源的光照方向、所述前景像素点的法线以及所述背景像素点的法线，确定各像素点的光照参数；

打光模块，用于根据各所述像素点的光照参数得到所述待处理图像在所述预设光源打光下的目标图像。

15.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-13中任一所述的图像光照处理方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-13中任一所述的图像光照处理方法。