CN112532893A - 图像处理方法、装置、终端及存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、终端及存储介质，属于终端技术领域。该方法包括：确定第一图像数据的拍摄场景；将所述拍摄场景与所述第一图像数据进行融合，得到第二图像数据；对所述第二图像数据进行特征提取，得到融合特征，所述融合特征为融合了图像特征和亮度特征的特征；基于所述融合特征对所述第一图像数据进行亮度调整，得到第三图像数据。这样通过确定采集到的第一图像数据的拍摄场景，结合拍摄场景和第一图像数据，对第一图像数据进行亮度调整，使得亮度调整能够根据场景的不同灵活地进行亮度调整，优化了亮度调整效果。

Description

图像处理方法、装置、终端及存储介质

技术领域

本申请实施例涉及终端技术领域，特别涉及一种图像处理方法、装置、终端及存储介质。

背景技术

随着终端技术的发展，通过终端进行拍照的拍摄场景越来越多样。而不同的拍摄场景中亮度不同，为了保证不同亮度下拍摄的图像中人脸的清晰度，需要对拍摄场景进行亮度调整。目前，一般是用户为终端设置补光灯或其他补光设备，通过补光灯或其他补光设备对拍摄场景进行亮度调整。

发明内容

本申请实施例提供了一种图像处理方法、装置、终端及存储介质，可以优化亮度调整效果。所述技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

确定第一图像数据的拍摄场景；

将所述拍摄场景与所述第一图像数据进行融合，得到第二图像数据；

对所述第二图像数据进行特征提取，得到融合特征，所述融合特征为融合了图像特征和亮度特征的特征；

基于所述融合特征对所述第一图像数据进行亮度调整，得到第三图像数据。

另一方面，提供了一种图像处理装置，所述装置包括：

第一确定模块，用于确定第一图像数据的拍摄场景；

融合模块，用于将所述拍摄场景与所述第一图像数据进行融合，得到第二图像数据；

特征提取模块，用于对所述第二图像数据进行特征提取，得到融合特征，所述融合特征为融合了图像特征和亮度特征的特征；

第一亮度调整模块，用于基于所述融合特征对所述第一图像数据进行亮度调整，得到第三图像数据。

另一方面，提供了一种终端，所述终端包括处理器和存储器；所述存储器存储有至少一条程序代码，所述至少一条程序代码用于被所述处理器执行以实现如上述方面所述的图像处理方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述方面所述的图像处理方法。

另一方面，还提供了一种计算机程序产品，该计算机程序产品存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述方面所述的图像处理方法。

在本申请实施例中，通过确定采集到的第一图像数据的拍摄场景，结合拍摄场景和第一图像数据，对第一图像数据进行亮度调整，使得亮度调整能够根据拍摄场景的不同灵活地进行，优化了亮度调整效果。

附图说明

图1示出了本申请一个示例性实施例所提供的终端的结构示意图；

图2示出了本申请一个示例性实施例示出的图像处理方法的流程图；

图3示出了本申请一个示例性实施例示出的DeepLabV3+的结构示意图；

图4示出了本申请一个示例性实施例示出的图像分割模型的空间金字塔池化结构的示意图；

图5示出了本申请一个示例性实施例示出的图像分割模型的编解码结构的示意图；

图6示出了本申请一个示例性实施例示出的融合了空间金字塔池化结构的编解码结构的示意图；

图7示出了本申请一个示例性实施例示出的Xception架构的参数的示意图；

图8示出了本申请一个示例性实施例示出的图像分割模型的训练方法的流程图；

图9示出了本申请一个示例性实施例示出的图像处理方法的流程图；

图10示出了本申请一个示例性实施例示出的图像处理方法的流程图；

图11示出了本申请一个示例性实施例示出的拍摄场景确定方法的流程图；

图12示出了本申请一个示例性实施例示出的特征提取模型训练方法的流程图；

图13示出了本申请一个示例性实施例示出的图像处理方法的流程图；

图14示出了本申请一个示例性实施例示出的对场景进行编码的流程图；

图15示出了本申请一个示例性实施例示出的图像处理方法的流程图；

图16示出了本申请一个示例性实施例示出的连读调整模型的训练方法的流程图；

图17示出了本申请一个示例性实施例示出的连读调整模型的训练方法的流程图；

图18示出了本申请一个示例性实施例示出的图像处理方法的流程图；

图19示出了本申请一个示例性实施例示出的图像处理方法的流程图；

图20示出了本申请一个实施例提供的图像处理装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

请参考图1，其示出了本申请一个示例性实施例提供的终端100的结构方框图。在一些实施例中，终端100是智能手机、平板电脑、可穿戴设备、摄像机等具有图像处理功能的终端。本申请中的终端100至少包括一个或多个如下部件：处理器110、存储器120、图像采集器130。

在一些实施例中，处理器110包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个终端100内的各个部分，通过运行或执行存储在存储器120内的程序代码，以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据。在一些实施例中，处理器110采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110能集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。能够理解的是，上述调制解调器也能不集成到处理器110中，单独通过一块芯片进行实现。

在一些实施例中，该处理器110用于对图像采集器130采集到的图像数据进行分析处理，例如，进行图像分割、特征提取、特征融合或亮度调整等。

在一些实施例中，存储器120包括随机存储器(Random Access Memory，RAM)，在一些实施例中，存储器120包括只读存储器(Read-Only Memory，ROM)。在一些实施例中，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storagemedium)。存储器120可用于存储程序代码。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据终端100的使用所创建的数据(比如音频数据、电话本)等。

在一些实施例中，存储器120存储用于进行图像分割的图像的模型的模型参数、用于进行特征提取的模型的模型参数、用于进行亮度调整的模型的模型参数等。在一些实施例中，存储器120还存储图像采集器130采集到的图像数据等。

图像采集器130是用于采集图像的组件。在一些实施例中，该图像采集器130为集成在终端上的图像采集器130。例如，该图像采集器130为终端100上安装的摄像头等。在一些实施例中，该图像采集器130为与终端连接的图像采集设备。例如，该图像采集设备130为与终端100连接的摄像机等。

在一些实施例中，终端100中还包括显示屏。显示屏是用于显示用户界面的显示组件。在一些实施例中，该显示屏为具有触控功能的显示屏，通过触控功能，用户可以使用手指、触摸笔等任何适合的物体在显示屏上进行触控操作。在一些实施例中，显示屏通常设置在终端100的前面板。在一些实施例中，显示屏被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。在一些实施例中，显示屏还被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合等，本实施例对此不加以限定。

除此之外，本领域技术人员能够理解，上述附图所示出的终端100的结构并不构成对终端100的限定，终端100包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端100中还包括麦克风、扬声器、射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，Wi-Fi)模块、电源、蓝牙模块等部件，在此不再赘述。

随着终端技术的发展，终端的功能和应用场景越来越丰富。例如，终端能够对拍摄到的图像进行美颜或进行其他图像处理操作。这个过程中，终端通过图像场景分析对图像进行分类理解，从而根据不同的图像分类对图像进行图像处理。在图像采集的过程中，图像的清晰度常常作为终端采集图像的需求之一。而保证图像清晰度的一个重要前提是图像的亮度适中。因此，对图像进行亮度调整成为了一种亟需的技术。

相关技术中，为了保证采集到的图像的亮度适中，一般是用户为终端设置补光灯或其他补光设备，通过补光灯或其他补光设备对拍摄场景进行补光。这样导致亮度调整对硬件要求较高，亮度调整效果差。

本申请通过确定采集到的第一图像数据的拍摄场景，结合拍摄场景和第一图像数据，对第一图像数据进行亮度调整，使得亮度调整能够根据拍摄场景的不同灵活地进行，优化了亮度调整效果。

请参考图2，其示出了本申请一个示例性实施例示出的图像处理方法的流程图。本申请实施例中的执行主体可以为终端100，也可以为终端100中的处理器110或终端100中的操作系统，本实施例以执行主体为终端100为例进行说明。在本申请实施例中，为例进行说明。该方法包括：

步骤201：终端确定第一图像数据的拍摄场景。

其中，该第一图像数据为终端采集到的图像，或者，终端在采集图像的过程中，图像展示框中展示的数据流。在本申请实施例中，对此不作具体限定。拍摄场景指终端采集第一图像数据时所在的场景，例如，“室内”、“夜景”、“阴天”、“逆光”、“室外”或“风景”等。

终端在确定第一图像的拍摄场景时，直接根据采集到的第一图像数据确定，或者，通过其他的图像数据确定。终端通过以下任一方式确定拍摄场景。

第一种实现方式，终端根据光传感器确定终端所在环境的光照强度，基于该光照强度确定该拍摄场景。相应的，终端中还安装有光传感器。该光传感器用于对当前场景中的光照强度进行感应，将感应到的光照强度发送给终端，相应的，终端根据接收到的光照强度确定当前的拍摄场景。在本实现方式中，通过光传感器确定拍摄场景，拍摄场景确定更灵敏。

第二种实现方式，终端直接对第一图像数据进行场景分析，得到该拍摄场景。

在一些实现方式中，终端直接对该第一图像数据进行特征提取；终端根据提取的图像特征进行场景分析，得到拍摄场景。

在一些实施例中，终端对该第一图像数据进行图像分割得到第一图像数据中的背景区域，基于该背景区域进行场景分析得到拍摄场景。该过程通过以下步骤(A1)-(A2)实现，包括：

(A1)响应于第一图像数据中存在目标对象，终端对该第一图像数据进行图像分割，得到第一图像区域和第二图像区域。

其中，该第一图像区域为目标对象所在的图像区域，该第二图像区域为该第一图像数据中的背景区域。该目标对象为人脸、动物、植物或其他主体，在本申请实施例中，对目标对象不作具体限定。

在本步骤之前，终端对第一图像数据进行目标对象检测。响应于第一图像数据中存在目标对象，执行本步骤；响应于第一图像数据中不存在目标对象，终端不对该第一图像数据进行亮度调整；或者，终端直接将该第一图像数据确定为第二图像区域。

在一些实施例中，终端通过图像分割模型对第一图像数据进行图像分割。其中，该图像分割模型根据需要确定，在本申请实施例中，对该图像分割模型不作具体限定。例如，该图像分割模型为DeepLabV3+(一种图像分割模型)。其中，DeepLabV3+采用编码解码(Encoder-Decoder)结构。参见图3，图3为根据一示例性实施例示出的一种DeepLabV3+的结构。参见图3，DeepLabV3+包括编码器和解码器。其中融合了空间金字塔池化结构。参见图4，图4为根据一示例性实施例示出的一种图像分割模型的空间金字塔池化结构。该空间金字塔池化用于池化不同分辨率的图像来捕获丰富的上下文信息。参见图5，图5为根据一示例性实施例示出的一种图像分割模型的编解码结构。该编解码结构用于获得图像中锋利的边界。参见图6，图6为融合了空间金字塔池化结构的编解码结构。通过融合了空间金字塔池化结构的编解码结构对图像进行上采样4倍，将上采样得到的特征与输入的图像进行合并(concatenate)，然后再下采样4倍恢复到原图像大小。也即，在编码器中，通过修改残差网络最后一个或两个单元(block)的每像素占用的字节数(stride)，使得输出字节数(outputstride)为16或8。之后在block4后应用改进后的空间金字塔池化结构，将所得的特征图连接用1×1的卷积得到256个通道的特征图。在解码器中，特征图首先上采样4倍，然后与编码器中对应分辨率低级特征拼接。在拼接之前，由于低级特征图的通道数通常太多(256或512)，而从编码器中得到的富含语义信息的特征图通道数只有256，这样会淡化语义信息，因此在拼接之前，需要将低级特征图通过1×1的卷积减少通道数。在拼接之后用3×3的卷积改善特征，最后上采样4倍恢复到原始图像大小。另外，在本申请实施例中，对编码器的类型也不作具体限定。例如，编码器为Xception架构。以及，在池化结构和解码器中应用深度可分卷积(depth-wise separable convolution)，来提高分割网络的运算速度和准确度。该图像分割模型的网络参数根据需要进行调整，参见图7，图7是根据一示例性实施例示出的一种Xception架构的参数示意图。参见图7，该Xception架构包括三个流程，分别为输入流程(entry flow)、中间流程(middle flow)和输出流程(exit flow)，该分割模型包括多层卷积层，每个卷积层的卷积核大小根据需要进行设置，例如，每个卷积层中卷积核的大小为3×3。

相应的，在本步骤之前，终端需要对图像分割模型进行模型训练，参见图8，终端将样本图像输入至待训练的图像分割模型中，得到图像分割结果；根据该图像分割结果、该样本图像标注的图像分割结果和损失函数，调整该图像分割模型的模型参数，直到根据该图像分割结果、该样本图像标注的图像分割结果和损失函数得到的损失值基本不变后，确定模型训练完成，得到图像分割模型。

(A2)终端对该第二图像区域进行场景分析，得到该拍摄场景。

在本步骤中，终端对该第二图像区域进行特征提取，基于第二图像区域的特征确定该拍摄场景。

在本实现方式中，通过第一图像中的背景区域确定拍摄场景，提高了拍摄场景的准确性。

第三种实现方式，终端采集第四图像数据，根据采集到的第四图像数据确定拍摄场景。其中，该第四图像数据为该第一图像数据对应的其他图像生成角度的图像数据。例如，该终端为有前后置摄像头的终端。第一图像数据为终端通过前置摄像头采集到的图像数据，则第四图像数据为终端采集第一图像数据时，启动后置摄像头，通过后置摄像头采集到的图像数据。

在一些实施例中，终端直接根据第四图像数据确定该拍摄场景，该过程与第二种实现方式中，终端根据第一图像数据确定拍摄场景的过程相似，在此不再赘述。

在另一些实施例中，终端将第四图像数据和第一图像数据进行结合，通过结合后的图像数据确定该拍摄场景。并且，在一些实施例中，终端直接将第四图像数据和第一图像数据进行拼接，基于拼接得到的图像数据进行场景分析。在另一些实施例中，终端将第一图像数据进行图像分割，将第一图像数据中分割出的背景区域与第四图像数据进行拼接，再通过拼接后的图像数据确定拍摄场景。参见图9，该过程通过以下步骤(B1)-(B3)实现，包括：

(B1)响应于第一图像数据中存在目标对象，终端对该第一图像数据进行图像分割，得到第一图像区域和第二图像区域。

其中，该第一图像区域为目标对象所在的图像区域，该第二图像区域为该第一图像数据中的背景区域。

本步骤与第二种实现方式中的步骤(A1)相似，在此不再赘述。

(B2)终端确定第四图像数据。

其中，该第四图像数据为该第一图像数据对应的其他图像生成角度的图像数据。

例如，终端为具有前置摄像头和后置摄像头的终端。参见图10，终端通过前置摄像头获取到第一图像数据后，检测第一图像数据中是否存在目标对象，响应于不存在目标对象，结束流程；响应于存在目标对象，终端启动后置摄像头，通过后置摄像头采集第四图像数据。

(B3)终端对该第四图像数据和该第二图像区域进行图像场景分析，得到该拍摄场景。

继续参见图10，在本步骤中，终端将第二图像区域和第四图像数据进行拼接，对拼接后的图像数据进行特征提取，基于提取的特征进行场景分析，得到拍摄场景。

在本实现方式中，通过结合第一图像数据的背景区域和其他角度拍摄的第四图像数据确定拍摄场景，丰富了拍摄场景的判断依据，进而提高了拍摄场景的准确性。

该过程通过以下步骤(B3-1)-(B3-3)实现，包括：

(B3-1)终端对该第二图像区域进行场景特征提取，得到第一场景特征；以及，对该第四图像数据进行场景特征提取，得到第二场景特征。

参见图11，在本步骤中，终端通过第一特征提取模型对第二图像区域进行场景特征提取，得到第一场景特征，以及，终端通过第二特征提取模型对第四图像数据进行特征提取，得到第二场景特征。

需要说明的一点是，第一特征提取模型和第二特征提取模型为同一特征提取模型，或者，第一特征提取模型和第二特征提取模型为网络参数相同的特征提取模型，在本申请实施例中，对此不作具体限定。

需要说明的另一点是，终端先确定第一场景特征，再确定第二场景特征；或者，终端先确定第二场景特征，再确定第一场景特征；或者，终端同时确定第一场景特征和第二场景特征。在本申请实施例中，对终端确定第一场景特征和第二场景特征的顺序不作具体限定。

另外，该第一特征提取模型和第二特征提取模型为任一特征提取网络。例如，该第一特征提取模型和第二特征提取模型为轻量级网络模型mobilenetv2(一种轻量级网络模型)。采用轻量级网络模型便于在终端进行部署。

相应的，在本步骤之前，服务器需要对特征提取模型进行模型训练，得到第一特征提取模型和第二特征提取模型。参见图12，终端分别根据样本图像对第一特征提取模型和第二特征提取模型进行模型训练，通过模型提取的特征、样本图像标注的特征和损失函数，对第一特征提取模型和第二特征提取模型进行反向传播优化权重，直到损失值基本不变后，确定模型训练完成，得到第一特征提取模型和第二特征提取模型。

(B3-2)终端将该第一场景特征和该第二场景特征进行拼接，得到第三场景特征。

其中，继续参见图11，终端通过任一连接函数对第一场景特征和第二场景特征进行拼接。例如，通过用于连接字符串的concat函数连接第一场景特征和第二场景特征得到第三场景特征。

(B3-3)终端确定该第三场景特征对应的该拍摄场景。

在一些实施例中，开发人员对事先确定多种拍摄场景，将多种拍摄场景和场景特征的对应关系存储在场景库中。在本步骤中，通过分类器确定该第三场景特征对应的拍摄场景。

其中，该第三场景特征对应的拍摄场景为多种或一种，在本申请实施例中，对此不作具体限定。响应于该第三场景特征对应的拍摄场景为多种，终端采用softmax回归模型作为分类器，输出多种拍摄场景，以及每种拍摄场景对应的概率值，从该多种拍摄场景中，确定概率值超过预设阈值的拍摄场景作为第三场景特征对应的拍摄场景。

在本实现方式中，通过特征提取模型提取不同图像数据中的场景特征，将场景特征进行融合，进而判断拍摄场景，提高了拍摄场景的确定效率和准确率。

步骤202：终端将该拍摄场景与该第一图像数据进行融合，得到第二图像数据。

在本步骤中，终端对该拍摄场景进行编码，将编码后的拍摄场景与第一图像数据进行拼接，得到第二图像数据。参见图13，该过程通过一下步骤(1)-(3)实现，包括：

(1)终端确定该拍摄场景的至少一个场景标签。

该拍摄场景包括至少一个场景标签，在本步骤中，终端直接获取该至少一个场景标签。例如，拍摄场景为“室外”和“阴天”，则终端直接将“室外”和“阴天”确定为该至少一个场景标签。

(2)终端对该至少一个场景标签进行编码，得到场景编码向量。

在本步骤中，终端对该至少一个场景标签进行二进制编码。参见图14，终端根据预设标签对该至少一个场景标签进行编码。终端输入预设场景标签，构建场景编码系统，将该预设场景标签逐一与至少一个场景标签进行对比，若至少一个场景标签中存在该预设场景标签，将该预设场景标签对应的位置设为第一数值，若至少一个场景标签中不存在该预设场景标签，将该预设场景标签对应的位置设为第二数值。其中，该第一预设数值和第二预设数值根据需要进行设置，在本申请实施例中，对该第一预设数值和第二预设数值不作具体限定。该第一预设数值为1，第二预设数值为0。

例如，在第一预设数值为1，第二预设数值为0的情况下，预设场景标签为“室内”、“夜景”、“阴天”、“逆光”和“风景”，如果拍摄场景对应的场景标签为“逆光”，则编码结果为00010；如果拍摄场景对应的场景标签为“逆光”和“风景”，则编码结果为00011。

(3)终端将该场景编码向量与该第一图像数据进行向量拼接，得到该第二图像数据。

第一图像数据为矩阵向量，场景编码得到的场景编码向量能够与该第一图像数据进行向量拼接，则终端使用concat函数对场景编码向量和第一图像数据进行向量拼接，得到第二图像数据。

在本实现方式中，通过对拍摄场景进行编码，使得拍摄场景能够与图像数据进行融合，从而实现通过拍摄场景对图像数据进行亮度调整。

步骤203：终端对该第二图像数据进行特征提取，得到融合特征。

其中，该融合特征为融合了图像特征和亮度特征的特征。在一些实施例中，终端通过第一亮度调整模型对第二图像数据进行特征提取。相应的，参见图15，本步骤为：终端通过第一亮度调整模型对该第二图像数据进行下采样，得到该第二图像数据的融合特征。

在本实现方式中，通过第一亮度调整模型对第二图像数据进行下采样，确定第二图像数据的融合特征，提高了确定融合特征的准确率和效率。

其中，该第一亮度调整模型包括下采样层、残差网络层和上采样层。该下采样层用于对第二图像数据进行下采样，得到融合特征。该残差网络层用于缓解网络深度不断增加造成的退化问题，提高模型的学习能力。下采样层用于对融合特征进行下采样，得到第三图像数据。该第一亮度调整模型的模型参数根据需要进行设置，在本申请实施例中，对该第一亮度调整模型的模型参数不作具体限定。例如，参见表1。

表1

参见表1，其分别示出了第一亮度调整模型的模型参数和结构。其中，(h，w，a)代表输入或输出的图像的大小，h表示图像的长度，w代表图像的宽度，a代表图像的通道数。卷积函数的参数根据每一层卷积函数的作用进行设置。例如，层卷积函数为Covn-(F，K，S，P)，其中，F表示该卷积函数的输出的大小，K表示卷积核，S表示卷积步长，P表示卷积填充量。归一化函数为任一归一化函数，例如，可微分学习的自适配归一化(SwitchableNormalization，SN)函数。激活函数为任一激活函数，例如，激活函数为线性整流函数(Rectified Linear Unit,ReLU)函数、Tanh函数等。残差模块也是由卷积函数组成的模块。每个残差模块包括卷积函数、归一化函数和激活函数。其中，每一层卷积函数的参数根据需要进行设置，在本申请实施例中，对此不作具体限定。

另外，在本步骤之前，终端需要对第二亮度调整模型进行模型训练，参见图16，该模型训练的过程通过以下步骤(1)-(5)实现，包括：

(1)终端确定样本数据。

其中，该样本数据包括未进行亮度调整的样本图像、进行亮度调整后的目标样本图像和该样本图像对应的拍摄场景。终端能够获取用户输入的样本数据；或者，终端从数据库中获取样本数据。在本申请实施例中，对该样本数据不作具体限定。

(2)终端通过第二亮度调整模型，基于该样本图像的拍摄场景对该未进行亮度调整的样本图像进行亮度调整，得到调整后的样本图像。

该第二亮度调整模型对该样本图像和该样本图像对应的拍摄场景进行特征提取，基于提取的特征对该样本图像进行亮度调整，输出调整后的样本图像。

(3)终端将该调整后的样本图像输入至判别器。

参见图17，该第一亮度调整模型通过对抗训练的方式训练得到，相应的，基于待训练的第二亮度调整模型，构建判别器。该判别器的参数参见表2。

表2

其中，卷积函数与第一亮度调整模型的卷积函数相似在此不再赘述。激活函数为泄露修正线性函数Leaky ReLU。

(4)终端通过该判别器对该调整后的样本图像和该目标样本图像进行特征对比，得到特征对比结果。

继续参见图17，终端将目标样本图像和调整后的样本图像分别输入至判别器，通过判别器对二者进行特征对比，得到特征对比结果。

(5)终端根据该特征对比结果对该第二亮度调整模型的参数进行调整，直到该第二亮度调整模型输出的调整后的样本图像与该亮度调整后的样本图像匹配，将该第二亮度调整模型确定为该第一亮度调整模型。

继续参见图17，终端根据该特征对比结果进行损失函数计算，确定反向传播优化权重，基于该优化权重，调整第二亮度调整模型的模型参数，使用参数调整后的第二亮度调整模型继续对样本图像进行亮度调整，直到基于特征对比结果计算的函数值基本不变后，确定模型训练完成，得到第一亮度调整模型。

在本实现方式中，通过对抗网络对第二亮度调整模型进行训练，得到第一亮度调整模型，提高了亮度调整模型的准确率和训练效率。

步骤204：终端基于该融合特征对该第一图像数据进行亮度调整，得到第三图像数据。

在一些实施例中，终端通过第一亮度调整模型对第一图像数据进行特征提取。相应的，继续参见图15，本步骤为：终端通过该第一亮度调整模型对该融合特征进行上采样，得到该第三图像数据。

在本实现方式中，通过第一亮度调整模型对融合特征进行上采样，得到了第三图像数据，提高了亮度调整的准确率和效率。

需要说明的一点是，终端能够对第一图像数据中的所有数据进行亮度调整。相应的，终端基于该融合特征，确定该第一图像数据的目标亮度参数，基于该目标亮度参数，对当前第一图像数据中各个区域的实际亮度参数进行调整，得到第三图像数据。

在一些实施例中，终端还能够对第一图像区域中存在目标对象的第一图像区域进行亮度调整。相应的，终端根据该融合特征，对图像分割得到的第一图像区域进行亮度调整，将亮度调整后的第一图像区域和原第二图像区域组成第三图像数据。

在一些实施例中，终端还能在第一图像区域中需要进行亮度调整的图像区域，对该图像区域进行亮度调整。参见图18和图19，该过程通过以下步骤(1)-(3)实现，包括：

(1)终端对该第一图像区域进行图像分割，得到第三图像区域和第四图像区域。

其中，该第三图像区域为待亮度调整区域，该第四图像区域为无需亮度调整区域。例如，该目标对象为人脸，在对图像进行分割得到存在人脸的第一图像区域后，再对该人脸区域进行图像分割，得到五官所在的第四图像区域和人脸皮肤所在的第三图像区域。

该过程与步骤301中的步骤(A1)相似，在此不再赘述。

需要说明的一点是，本步骤还能够与步骤301中的步骤(A1)同时进行，相应的，终端对第一图像数据进行图像分割，得到第一图像区域、第二图像区域和第三图像区域。

(2)终端对该第三图像区域进行亮度调整，得到第五图像区域。

例如，终端对人脸区域中的人脸皮肤坐在的区域进行亮度调整，得到第五图像区域。

(3)终端将该第五图像区域、该第四图像区域和第二图像区域组成该第三图像数据。

在本步骤中，终端将亮度调整后的第五图像区域、原第四图像区域和原第二图像区域组成第三图像数据。

在本实现方式中，只针对需要进行亮度调整的图像区域进行亮度调整，提高了亮度调整，提高了亮度调整的区域的准确度，优化了亮度调整效果。

在本申请实施例中，通过确定采集到的第一图像数据的拍摄场景，结合拍摄场景和第一图像数据，对第一图像数据进行亮度调整，使得亮度调整能够根据拍摄场景的不同灵活地进行，优化了亮度调整效果。

请参考图20，其示出了本申请一个实施例提供的图像处理装置的结构框图。该图像处理装置可以通过软件、硬件或者两者的结合实现成为处理器110的全部或一部分。该装置包括：

第一确定模块2001，用于确定第一图像数据的拍摄场景；

融合模块2002，用于将该拍摄场景与该第一图像数据进行融合，得到第二图像数据；

特征提取模块2003，用于对该第二图像数据进行特征提取，得到融合特征，该融合特征为融合了图像特征和亮度特征的特征；

第一亮度调整模块2004，用于基于该融合特征对该第一图像数据进行亮度调整，得到第三图像数据。

在一些实施例中，该第一确定模块2001包括：

图像分割单元，用于响应于第一图像数据中存在目标对象，对该第一图像数据进行图像分割，得到第一图像区域和第二图像区域，该第一图像区域为目标对象所在的图像区域，该第二图像区域为该第一图像数据中的背景区域；

第一确定单元，用于确定第四图像数据，该第四图像数据为该第一图像数据对应的其他图像生成角度的图像数据；

场景分析单元，用于对该第四图像数据和该第二图像区域进行图像场景分析，得到该拍摄场景。

在一些实施例中，该场景分析单元，用于对该第二图像区域进行场景特征提取，得到第一场景特征；以及，对该第四图像数据进行场景特征提取，得到第二场景特征；将该第一场景特征和该第二场景特征进行拼接，得到第三场景特征；确定该第三场景特征对应的该拍摄场景。

在一些实施例中，该融合模块2002包括：

第二确定单元，用于确定该拍摄场景的至少一个场景标签；

编码单元，用于对该至少一个场景标签进行编码，得到场景编码向量；

拼接单元，用于将该场景编码向量与该第一图像数据进行向量拼接，得到该第二图像数据。

在一些实施例中，该特征提取模块2003包括：

下采样三单元，用于通过第一亮度调整模型对该第二图像数据进行下采样，得到该第二图像数据的融合特征；

该第一亮度调整模块2004包括：

上采样单元，用于通过该第一亮度调整模型对该融合特征进行上采样，得到该第三图像数据。

在一些实施例中，该装置还包括：

第二确定模块，用于确定样本数据，该样本数据包括未进行亮度调整的样本图像、进行亮度调整后的目标样本图像和该样本图像对应的拍摄场景；

第一亮度调整模块2004，用于通过第二亮度调整模型，基于该样本图像的拍摄场景对该未进行亮度调整的样本图像进行亮度调整，得到调整后的样本图像；

输入模块，用于将该调整后的样本图像输入至判别器；

特征对比模块，用于通过该判别器对该调整后的样本图像和该目标样本图像进行特征对比，得到特征对比结果；

参数调整模块，用于根据该特征对比结果对该第二亮度调整模型的参数进行调整，直到该第二亮度调整模型输出的调整后的样本图像与该目标样本图像匹配，将该第二亮度调整模型确定为该第一亮度调整模型。

在一些实施例中，该第一亮度调整模块2004包括：

该图像分割单元，用于对该第一图像区域进行图像分割，得到第三图像区域和第四图像区域，该第三图像区域为待亮度调整区域，该第四图像区域为无需亮度调整区域；

亮度调整单元，用于对该第三图像区域进行亮度调整，得到第五图像区域；

组成单元，用于将该第五图像区域、该第四图像区域和该第二图像区域组成该第三图像数据。

在本申请实施例中，通过确定采集到的第一图像数据的拍摄场景，结合拍摄场景和第一图像数据，对第一图像数据进行亮度调整，使得亮度调整能够根据拍摄场景的不同灵活地进行，优化了亮度调整效果。

本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的图像处理方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的图像处理方法。

本领域技术人员应该能够意识到，在上述一个或多个示例中，本申请实施例所描述的功能能够用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，能够将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

确定第一图像数据的拍摄场景；

将所述拍摄场景与所述第一图像数据进行融合，得到第二图像数据；

对所述第二图像数据进行特征提取，得到融合特征，所述融合特征为融合了图像特征和亮度特征的特征；

基于所述融合特征对所述第一图像数据进行亮度调整，得到第三图像数据。

2.根据权利要求1所述的方法，其特征在于，所述确定第一图像数据的拍摄场景，包括：

响应于第一图像数据中存在目标对象，对所述第一图像数据进行图像分割，得到第一图像区域和第二图像区域，所述第一图像区域为目标对象所在的图像区域，所述第二图像区域为所述第一图像数据中的背景区域；

确定第四图像数据，所述第四图像数据为所述第一图像数据对应的其他图像生成角度的图像数据；

对所述第四图像数据和所述第二图像区域进行图像场景分析，得到所述拍摄场景。

3.根据权利要求2所述的方法，其特征在于，所述对所述第四图像和所述第二图像区域进行图像场景分析，得到所述拍摄场景，包括：

对所述第二图像区域进行场景特征提取，得到第一场景特征；以及，对所述第四图像数据进行场景特征提取，得到第二场景特征；

将所述第一场景特征和所述第二场景特征进行拼接，得到第三场景特征；

确定所述第三场景特征对应的所述拍摄场景。

4.根据权利要求1所述的方法，其特征在于，所述将所述拍摄场景与所述第一图像数据进行融合，得到第二图像数据，包括：

确定所述拍摄场景的至少一个场景标签；

对所述至少一个场景标签进行编码，得到场景编码向量；

将所述场景编码向量与所述第一图像数据进行向量拼接，得到所述第二图像数据。

5.根据权利要求1所述的方法，其特征在于，所述对所述第二图像数据进行特征提取，得到融合特征，包括：

通过第一亮度调整模型对所述第二图像数据进行下采样，得到所述第二图像数据的融合特征；

所述基于所述融合特征对所述第一图像数据进行亮度调整，得到第三图像数据，包括：

通过所述第一亮度调整模型对所述融合特征进行上采样，得到所述第三图像数据。

6.根据权利要求5所述的方法，其特征在于，所述对所述第二图像数据进行特征提取，得到融合特征之前，所述方法还包括：

确定样本数据，所述样本数据包括未进行亮度调整的样本图像、进行亮度调整后的目标样本图像和所述样本图像对应的拍摄场景；

通过第二亮度调整模型，基于所述样本图像的拍摄场景对所述未进行亮度调整的样本图像进行亮度调整，得到调整后的样本图像；

将所述调整后的样本图像输入至判别器；

通过所述判别器对所述调整后的样本图像和所述目标样本图像进行特征对比，得到特征对比结果；

根据所述特征对比结果对所述第二亮度调整模型的参数进行调整，直到所述第二亮度调整模型输出的调整后的样本图像与所述目标样本图像匹配，将所述第二亮度调整模型确定为所述第一亮度调整模型。

7.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征对所述第一图像数据进行亮度调整，得到第三图像数据，包括：

对所述第一图像区域进行图像分割，得到第三图像区域和第四图像区域，所述第三图像区域为待亮度调整区域，所述第四图像区域为无需亮度调整区域；

对所述第三图像区域进行亮度调整，得到第五图像区域；

将所述第五图像区域、所述第四图像区域和所述第二图像区域组成所述第三图像数据。

8.一种图像处理装置，其特征在于，所述装置包括：

第一确定模块，用于确定第一图像数据的拍摄场景；

融合模块，用于将所述拍摄场景与所述第一图像数据进行融合，得到第二图像数据；

特征提取模块，用于对所述第二图像数据进行特征提取，得到融合特征，所述融合特征为融合了图像特征和亮度特征的特征；

第一亮度调整模块，用于基于所述融合特征对所述第一图像数据进行亮度调整，得到第三图像数据。

9.一种终端，其特征在于，所述终端包括处理器和存储器；所述存储器存储有至少一条程序代码，所述至少一条程序代码用于被所述处理器执行以实现如权利要求1至7任一所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如权利要求1至7任一所述的图像处理方法。

Images