CN116740360A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、设备和存储介质，用于提升对图像的处理效果。本申请中接收用户上传的原始图像；对原始图像进行语义分割处理，得到语义分割图像；语义分割图像中包括至少一个子区域；将语义分割图像输入训练好的图像处理模型，得到图像处理模型输出的目标图像以及目标图像中每个子区域的图像参数的标量强度；对目标图像以及目标图像中每个子区域的图像参数的标量强度进行输出显示。在本申请中，通过对原始图像进行语义分割，可以将原始图像分割为多个子区域，采用图像处理模型可以得到每个子区域对应的图像参数的标量强度，实现了对不同区域的图像参数的针对性调整，保证了对图像的处理效果。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

在人像增强任务的实际场景中，不同的用户对修饰风格具有不同的偏好。个人偏好可能包括对同一张图像的颜色、对比度、饱和度等图像参数的需求不同，此外还可能因图像语义区域的不同而对每个区域的图像参数的需求不同。因此导致对图像的处理结果不理想。

发明内容

有鉴于此，本申请提供一种图像处理方法、装置、设备及存储介质，以利于提升对图像的处理效果。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

接收用户上传的原始图像；

对所述原始图像进行语义分割处理，得到语义分割图像；所述语义分割图像中包括至少一个子区域；

将所述语义分割图像输入训练好的图像处理模型，得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度；

对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

在本申请中，通过对原始图像进行语义分割，可以将原始图像分割为多个子区域，采用图像处理模型可以得到每个子区域对应的图像参数的标量强度，实现了对不同区域的图像参数的针对性调整，保证了对图像的处理效果。

在一些可能的实施例中，所述图像处理模型是根据以下方法训练得到的：

获取待处理图像；

对所述待处理图像进行语义分割处理，得到所述待处理图像的语义分割图像；

对所述待处理图像进行颜色变换处理，得到所述颜色变换图像；

采用所述待处理图像、所述待处理图像的语义分割图像以及所述待处理图像的颜色变换图像构建模型训练样本集；

将所述模型训练样本集输入初始图像处理模型，采用迭代的方式对所述初始图像处理模型进行训练，直至满足预设收敛条件，将迭代结束的初始图像处理模型作为所述图像处理模型。

在一些可能的实施例中，每轮迭代过程如下：

循环执行第一流程，直至确定预设初始次数大于预设次数；

将最后一次执行所述第一流程得到的中间图像作为输出图像；

其中，所述第一流程，包括：

确定初始次数是否小于预设次数；

若确定所述初始次数小于所述预设次数，则基于所述预设初始次数确定目标图像参数；

基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度；

基于所述标量强度以及所述语义分割图像得到中间图像；

采用所述中间图像更新所述语义分割图像，并根据预设更新方法更新所述初始次数。

在一些可能的实施例中，所述基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度，包括：

确定所述语义分割图像包括的每个子区域；

对每个所述子区域进行强度预测处理，得到每个所述子区域中目标图像参数对应的标量强度。

在一些可能的实施例中，所述基于所述标量强度以及所述语义分割图像得到中间图像，包括：

将所述语义分割图像转换到高维特征空间，得到第一特征矩阵；

基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵；

将所述第二特征矩阵转换至颜色空间，得到所述中间图像。

在一些可能的实施例中，

所述基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵，包括：

基于变换公式对所述第一特征矩阵进行变换操作，其中，所述变换公式为：；

其中，为所述第二特征矩阵，/>为所述第一特征矩阵，/>为所述标量强度，/>为预设的全1矩阵。

在一些可能的实施例中，所述预设收敛条件包括：

确定所述初始图像处理模型的重建损失小于第一预设值；

确定所述初始图像处理模型的总变分损失小于第二预设值；

确定所述初始图像处理模型的颜色损失小于第三预设值；

确定所述初始图像处理模型的总损失小于第四预设值。

在本申请中，通过设置四种收敛条件，进一步保证了对初始图像处理模型的训练的准确性。

在一些可能的实施例中，所述得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度之后，所述方法还包括：

基于所述语义分割图像以及所述目标图像进行边缘过渡处理，得到输出图像；

所述对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示，包括：

对所述输出图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

在本申请中，通过对目标图像进行边缘过渡处理，使得得到的输出图像的边界更加的自然。

在一些可能的实施例中，所述对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示之后，所述方法还包括：

接收用户的触发的调整指令；

基于所述调整指令确定目标子区域以及调整值；

基于所述调整值对所述目标子区域的标量强度进行调整。

在本申请中，用户可根据主观审美对图像进行调整，提升了用户的体验感，满足了用户对图像颜色调整的需求。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

接收模块，用于接收用户上传的原始图像；

语义分割模块，用于对所述原始图像进行语义分割处理，得到语义分割图像；所述语义分割图像中包括至少一个子区域；

图像处理模块，用于将所述语义分割图像输入训练好的图像处理模型，得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度；

输出模块，用于对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

在一些可能的实施例中，所述图像处理模型是所述图像处理模块根据以下方法训练得到的：

获取待处理图像；

对所述待处理图像进行语义分割处理，得到所述待处理图像的语义分割图像；

对所述待处理图像进行颜色变换处理，得到所述颜色变换图像；

采用所述待处理图像、所述待处理图像的语义分割图像以及所述待处理图像的颜色变换图像构建模型训练样本集；

将所述模型训练样本集输入初始图像处理模型，采用迭代的方式对所述初始图像处理模型进行训练，直至满足预设收敛条件，将迭代结束的初始图像处理模型作为所述图像处理模型。

将所述训练样本集输入初始图像处理模型，采用迭代的方式对所述初始图像处理模型进行训练，直至满足预设收敛条件，将迭代结束的初始图像处理模型作为所述图像处理模型。

在一些可能的实施例中，每轮迭代过程如下：

循环执行第一流程，直至确定预设初始次数大于预设次数；

将最后一次执行所述第一流程得到的中间图像作为输出图像；

其中，所述第一流程，包括：

确定初始次数是否小于预设次数；

若确定所述初始次数小于所述预设次数，则基于所述预设初始次数确定目标图像参数；

基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度；

基于所述标量强度以及所述语义分割图像得到中间图像；

采用所述中间图像更新所述语义分割图像，并根据预设更新方法更新所述初始次数。

在一些可能的实施例中，所述图像处理模块执行基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度时，具体用于：

确定所述语义分割图像包括的每个子区域；

对每个所述子区域进行强度预测处理，得到每个所述子区域中目标图像参数对应的标量强度。

在一些可能的实施例中，所述图像处理模块执行基于所述标量强度以及所述语义分割图像得到中间图像时，具体用于：

将所述语义分割图像转换到高维特征空间，得到第一特征矩阵；

基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵；

将所述第二特征矩阵转换至颜色空间，得到所述中间图像。

在一些可能的实施例中，所述图像处理模块执行基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵，时，具体用于：

基于变换公式对所述第一特征矩阵进行变换操作，其中，所述变换公式为：；

其中，为所述第二特征矩阵，/>为所述第一特征矩阵，/>为所述标量强度，/>为预设的全1矩阵。

在一些可能的实施例中，所述预设收敛条件包括：

确定所述初始图像处理模型的重建损失小于第一预设值；

确定所述初始图像处理模型的总变分损失小于第二预设值；

确定所述初始图像处理模型的颜色损失小于第三预设值；

确定所述初始图像处理模型的总损失小于第四预设值。

在一些可能的实施例中，所述图像处理模块执行得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度之后，所述输出模块还用于：

基于所述语义分割图像以及所述目标图像进行边缘过渡处理，得到输出图像；

所述输出模块执行对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示时，还用于：

对所述输出图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

在一些可能的实施例中，所述输出模块执行对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示之后，还用于：

接收用户的触发的调整指令；

基于所述调整指令确定目标子区域以及调整值；

基于所述调整值对所述目标子区域的标量强度进行调整。

第三方面，本申请另一实施例还提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例提供的任一方法。

第四方面，本申请另一实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行本申请第一方面实施例提供的任一方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种图像处理方法的应用场景示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种图像处理方法的图像处理模型的训练流程示意图；

图4为本申请实施例提供的一种图像处理方法的语义分割示意图；

图5为本申请实施例提供的一种图像处理方法的颜色变换图像示意图；

图6为本申请实施例提供的一种图像处理方法的每轮迭代过程的流程示意图；

图7A为本申请实施例提供的一种图像处理方法的第一流程示意图；

图7B为本申请实施例提供的一种图像处理方法的强度预测器内部处理流程示意图；

图8为本申请实施例提供的一种图像处理方法的确定标量强度的流程示意图；

图9为本申请实施例提供的一种图像处理方法的语义分割图像中的子区域示意图；

图10为本申请实施例提供的一种图像处理方法的确定中间图像是流程示意图；

图11为本申请实施例提供的一种图像处理方法的第一流程的举例说明示意图；

图12为本申请实施例提供的一种图像处理方法的调整标量强度的流程示意图；

图13为本申请实施例提供的一种图像处理方法的调整标量强度的示意图；

图14为本申请实施例提供的一种图像处理方法的调整标量强度的另一示意图；

图15为本申请实施例提供的一种图像处理方法的装置示意图；

图16为本申请实施例提供的一种图像处理方法的电子设备示意图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

发明人研究发现，在人像增强任务的实际场景中，不同的用户对修饰风格具有不同的偏好。个人偏好可能包括对同一张图像的颜色、对比度、饱和度等图像参数的需求不同，此外还可能因图像语义区域的不同而对每个区域的图像参数的需求不同。因此导致对图像的处理结果不理想。

针对上述问题，本申请实施例提供了一种图像处理方法、装置、设备和存储介质，用于解决上述问题。本申请的发明构思可概括为：接收用户上传的原始图像；对原始图像进行语义分割处理，得到语义分割图像；语义分割图像中包括至少一个子区域；将语义分割图像输入训练好的图像处理模型，得到图像处理模型输出的目标图像以及目标图像中每个子区域的图像参数的标量强度；对目标图像以及目标图像中每个子区域的图像参数的标量强度进行输出显示。

为了便于理解，下面结合附图对本申请实施例提供的一种图像处理方法进行详细说明：

如图1所示，为本申请实施例中的一种图像处理方法的应用场景图。图中包括：服务器10、存储器20，终端设备30；其中：

服务器10接收用户基于终端设备30上传的原始图像；对原始图像进行语义分割处理，得到语义分割图像；语义分割图像中包括至少一个子区域；将语义分割图像输入训练好的图像处理模型，得到图像处理模型输出的目标图像以及目标图像中每个子区域的图像参数的标量强度；其中，该图像处理模型存储在存储器20中；对目标图像以及目标图像中每个子区域的图像参数的标量强度进行输出显示。

本申请中的描述中仅就单个服务器10、存储器20，终端设备30加以详述，但是本领域技术人员应当理解的是，示出的服务器10、存储器20，终端设备30旨在表示本申请的技术方案涉及的服务器10、存储器20，终端设备30的操作。而非暗示对服务器10、存储器20，终端设备30的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本申请的示例实施例的底层概念。

需要说明的是，本申请提出的图像处理方法不仅适用于图1所示的应用场景，还适用于任何有图像处理需求的装置。

如图2所示，为本申请实施例提供的一种图像处理方法的流程示意图，其中：

步骤201中：接收用户上传的原始图像。

步骤202中：对原始图像进行语义分割处理，得到语义分割图像；语义分割图像中包括至少一个子区域。

步骤203中：将语义分割图像输入训练好的图像处理模型，得到图像处理模型输出的目标图像以及目标图像中每个子区域的图像参数的标量强度。

步骤204中：对目标图像以及目标图像中每个子区域的图像参数的标量强度进行输出显示。

在本申请中，通过对原始图像进行语义分割，可以将原始图像分割为多个子区域，采用图像处理模型可以得到每个子区域对应的图像参数的标量强度，实现了对不同区域的图像参数的针对性调整，保证了对图像的处理效果。

为了便于进一步理解本申请实施例提供的一种图像处理方法，下面对图2中的步骤进行详细说明：

在一些可能的实施例中，为了保证对图像的处理效果，因此在本申请中设置了图像处理模型，在对图像处理模型进行训练时，可实施为如图3所示的步骤，其中：

步骤301中：获取待处理图像。

在一些可能的实施例中，为了保证得到的图像处理模型更具有普适性，因此在选取待处理图像时，可以是的待处理图像尽可能的涵盖各种可能的拍照场景，例如：包含人像的待处理图像、包含车辆的待处理图像、包含建筑的待处理图像、包含天空的待处理图像等。

步骤302中：对待处理图像进行语义分割处理，得到待处理图像的语义分割图像。

在一些可能的实施例中，对待处理图像进行语义分割时如图4所示，待处理图像为图像A，对图像A进行语义分割，得到语义分割图像：图像B。需要知道的是，图4给出的仅为一个示意图，并非实际应用中获得的语义分割图像。

步骤303中：对待处理图像进行颜色变换处理，得到颜色变换图像。

在一些可能的实施例中，为了便于计算出图像处理模型的损失值进而调整图像处理模型的模型参数，保证图像处理模型对图像处理的准确性，因此在构建训练样本集之前，需要对待处理图像进行颜色变换处理，得到颜色变换图像。即对待处理图像分别进行对比度、亮度以及饱和度等图像参数的整体调整，得到颜色变换后的图像。

在一些可能的实施例中，需要对待处理图像分别进行对比度、亮度、饱和度等图像参数的整体颜色变换处理，得到颜色变换图像。每一个颜色变换算子对应一种图像参数的变换处理，因此对待处理图像进行对比度、亮度以及饱和度等图像参数的颜色变换处理需要分别采用每个图像参数对应的颜色变换算子进行处理。因此需要针对每个图像参数均训练一个对应的颜色变换算子。

在训练颜色变换算子时，针对每个图像参数对应的颜色变换算子可实施为：采用待处理图像和待处理图像对应的颜色变换图像构建颜色算子训练样本集；将颜色算子训练样本集输入初始颜色变换算子，采用迭代的方式对初始颜色变换算子进行训练，直至满足预设颜色算子收敛条件，将迭代结束的模型作为颜色变换算子。

通过该方法可以得到每个图像参数对应的颜色变换算子，基于训练好的颜色变化算子构建图像处理模型，使得得到的图像处理模型的精度更高。

例如：如图5所示，待处理图像如图像A所示，图像参数包括：对比度、亮度、饱和度；首先对图像A的对比度进行整体调整，得到图像C1；然后对图像A的亮度进行调整，得到图像C2，最后对图像A中每个子区域的饱和度进行调整，得到图像C3所示。

步骤304中：采用待处理图像、待处理图像的语义分割图像以及待处理图像的颜色变换图像构建模型训练样本集。

待处理图像如图5中的图像A所示，对待处理图像进行语义分割时如图4所示，待处理图像为图像A，对图像A进行语义分割，得到语义分割图像：图像B；分别基于图像A和图像C1、C2、C3可以得到多个颜色算子训练样本对，该训练样本对包括：图像A，以及对图像A分别进行颜色变换处理，得到的图像C1或C2或C3。基于图像A和图像B可以得到一个颜色增强模型训练样本对，该训练样本对包括：图像A、图像A对应的图像以及对图像A进行语义分割得到的语义分割图像B。

步骤305中：将模型训练样本集输入初始图像处理模型，采用迭代的方式对所述初始图像处理模型进行训练，直至满足预设收敛条件，将迭代结束的初始图像处理模型作为所述图像处理模型。

在一些可能的实施例中，初始图像处理模型的每轮迭代过程可实施为如图6所示的步骤，其中：

步骤601中：循环执行第一流程，直至确定初始次数大于预设次数。

在一些可能的实施例中，第一流程如图7A所示：

步骤701中：确定初始次数是否小于预设次数。

在一些可能的实施例中，初始次数为1，例如：确定本次为第一次执行第一流程，则可以确定初始次数为0。

步骤702中：若确定初始次数小于所述预设次数，则基于初始次数确定目标图像参数。

在一些可能的实施例中，本申请中的图像处理模型中包括：强度预测器以及训练好的颜色变换算子，其中，强度预测器用于确定图像的每个图像参数的标量强度，颜色变换算子用于基于该标量强度对图像进行颜色变换。图像参数包括但不限于：对比度、亮度、饱和度、锐化程度等；为了降低成本，在本申请中采用同一强度预测器来确定每个图像参数的标量强度，为了保证强度预测器对图像参数的标量强度预测的准确性，因此在本申请中设置了预测顺序，预测顺序与初始次数关联。

例如：预测顺序为：对比度、亮度、饱和度；确定初始次数为1次，则确定本次的目标图像参数为对比度，强度预测器本次确定出的为图像的对比度对应的标量强度；若确定初始次数为2次，则确定本次的目标图像参数为亮度，强度预测器本次确定出的为图像的亮度对应的标量强度；若确定初始次数为3次，则确定本次的目标图像参数为饱和度，强度预测器本次确定出的为图像的饱和度对应的标量强度。

在一些可能的实施例中，如图7B所示为强度预测器内部的处理流程示意图，强度预测器在对语义分割图像进行强度预测时，首先对语义分割图像进行特征提取，得到语义分割图像的特征图，然后采用池化函数对每个特征图进行均值处理，得到每个特征图对应的均值，采用全连阶乘对每个特征图对应的均值进行处理，得到标量强度。

步骤703中：基于语义分割图像，得到语义分割图像的目标图像参数对应的标量强度。

在一些可能的实施例中，基于语义分割图像，得到语义分割图像的目标图像参数对应的标量强度，具体可实施为如图8所示的步骤，其中：

步骤801中：确定语义分割图像包括的每个子区域。

例如：语义分割图像如图9中的图像B所示，则可以确定图像B中包括3个子区域，分别为：子区域1、子区域2、子区域3。

步骤802中：对每个子区域进行强度预测处理，得到每个子区域中目标图像参数对应的标量强度。

在一些可能的实施例中，在得到语义分割图像之后，确定目标图像参数为对比度，则将语义分割图像输入强度预测器中，可以得到强度预测器输出的该语义分割图像中每个子区域的对比度的标量强度。例如：语义分割图像如图9中的图像B所示，确定图像B中包括3个子区域，分别为：子区域1、子区域2、子区域3。将图像B输入强度预测器中后，得到强度预测器输出的图像B的对比度的标量强度为：子区域1的对比度20、子区域2的对比度22、子区域3的对比度25。

步骤704中：基于标量强度以及语义分割图像得到中间图像。

在一些可能的实施例中，颜色变换算子在执行基于标量强度以及语义分割图像得到中间图像时，具体可实施为如图10所示的步骤，其中：

步骤1001中：将语义分割图像转换到高维特征空间，得到第一特征矩阵。

在一些可能的实施例中，在将语义分割图像转换到高维特征空间中之后，在高维特征空间中进行变换操作，则可以得到该语义分割图像对应的第一特征矩阵，将第一特征矩阵记为。

步骤1002中：基于标量强度对第一特征矩阵进行变换操作，得到第二特征矩阵。

在一些可能的实施例中，在基于标量强度对第一特征矩阵进行变换操作时，可采用变换公式对第一特征矩阵进行变换操作，其中，变换公式如公式1所示：

，（公式1）；

其中， 为第二特征矩阵，/>为第一特征矩阵，/>为标量强度，/>为预设的全1矩阵。

需要知道的是，由于变换公式中是两两矩阵进行相加操作，且阶数相同的矩阵才可以进行相加，因此需要保证预设的全1矩阵的阶数与第一特征矩阵/>的阶数相等。

步骤1003中：将第二特征矩阵转换至颜色空间，得到中间图像。

在一些可能的实施例中，在得到语义分割图像对应的第二特征矩阵之后，将第二特征矩阵转换至颜色空间（RGB）中之后，即可得到中间图像，记为图像1。

步骤705中：采用中间图像更新语义分割图像，并根据预设更新方法更新所述初始次数。

例如：采用图像1更新语义分割图像。在一些可能的实施例中，预设更新方法为加一法，即采用在初始次数的基础上进行加一的方法来更新初始次数，例如：执行第一流程时，确定初始次数为1次，采用中间图像更新语义分割图像之后，根据预设更新方法，将初始次数由1次更新为2次。

步骤602中：将最后一次执行第一流程得到的中间图像作为输出图像。

在一些可能的实施例中，为了节省计算资源，因此在执行第一流程之前，可以通过下采样来降低图像分辨率。

为了便于进一步的理解本申请实施例提供的第一流程，下面对第一流程的的完整执行过程进行举例说明，例如，如图11所示：

针对图像A，确定图像A对应的语义分割图像为图像B，对图像A以及图像B进行下采样，得到图像A1和图像B1。预设次数为3次，预测顺序为：对比度、亮度、饱和度；确定初始次数为1次，则确定本次的目标图像参数为对比度，强度预测器本次确定出的为图像的对比度对应的标量强度；确定本次进行第一流程的语义分割图像为图像B以及与下采样后的图像B1进行连接后得到的图像B11，将图像B11输入强度预测器，得到强度预测器输出的图像B中的每个子区域对比度的标量强度为：子区域1的对比度20、子区域2的对比度22、子区域3的对比度25。将图像B对应的标量强度输入颜色变换算子1，得到颜色变换算子1输出的中间图像1，采用中间图像1更新图像B，将初始次数更新为2次。

确定初始次数为2次，则确定本次的目标图像参数为亮度，强度预测器本次确定出的为图像的亮度对应的标量强度；确定本次进行第一流程的语义分割图像为根据中间图像1以及图像B1进行连接后得到的中间图像11，将中间图像11输入强度预测器，得到强度预测器输出的中间图像11中的每个子区域的亮度的标量强度为：子区域1的亮度22、子区域2的亮度23、子区域3的亮度26。将中间图像11对应的标量强度输入颜色变换算子2，得到颜色变换算子2输出的中间图像2，采用中间图像2更新中间图像1，将初始次数更新为3次。

确定初始次数为3次，则确定本次的目标图像参数为饱和度，强度预测器本次确定出的为图像的饱和度对应的标量强度，确定本次进行第一流程的语义分割图像为根据中间图像2以及图像B1进行连接后得到的中间图像21，将中间图像21输入强度预测器，得到强度预测器输出的中间图像21中的每个子区域的饱和度的标量强度为：子区域1的饱和度24、子区域2的饱和度26、子区域3的饱和度22。将中间图像21对应的标量强度输入颜色变换算子3，得到颜色变换算子3输出的中间图像3，采用中间图像3更新中间图像2，将初始次数更新为4次。

确定初始次数为4次，大于预设次数，则将第三次执行第一流程得到的中间图像3作为输出图像。

在一些可能的实施例中，为了保证得到的图像处理模型的准确性，因此在本申请好中设置了四个收敛条件，分别为：确定初始图像处理模型的重建损失小于第一预设值；确定初始图像处理模型的总变分损失（Total Variation Loss，TV Loss）小于第二预设值；确定初始图像处理模型的颜色损失小于第三预设值；确定初始图像处理模型的总损失小于第四预设值。其中，重建损失用于衡量输出图像的保真性，TV Loss用于衡量输出图像的平滑性，颜色损失用于衡量输出图像的测量角度的差异。

其中，初始图像处理模型的重建损失可采用公式2来确定：

，（公式2）

其中：为重建损失，/>为原始图像的通道数，/>为原始图像的高度，/>为原始图像的宽度，/>为预设权重，/>为输出图像的前景，/>为输出图像的背景，/>为原始图像对应的颜色变换图像的前景，/>为原始图像对应的颜色变换图像的背景。

初始图像处理模型的TV Loss可采用公式3来确定：

，（公式3）

其中：为TV Loss，/>为原始图像的通道数，/>为原始图像的高度，/>为原始图像的宽度，/>为输出图像。

初始图像处理模型的颜色损失可采用公式4来确定：

,（公式4）

其中：为颜色损失，/>为原始图像的高度，/>为原始图像的宽度，/>为输出图像，/>为原始图像对应的颜色变换图像。

初始图像处理模型的总损失可采用公式5来确定：

，（公式5）

其中：为总损失，/>为重建损失，/>为TV Loss，/>为颜色损失。

需要知道的是，在具体实施时，技术人员可根据需求自行设定收敛条件，上述给出的4个收敛条件的设置方法仅为一个实施例，在实施时，可从中选择部分作为收敛条件，或者根据需求增加收敛条件，本申请对此不做限定。

在一些可能的实施例中，目前使用的增强方案是使用对色彩空间进行差值的3维查找表（Lookup Table，Luts），无法对不同的颜色变幻运算分别进行操作且不可调，且在融合边界会产生颜色断层、色带伪像等问题。因此，在本申请中，在得到图像处理模型输出的目标图像以及目标图像中每个子区域的图像参数的标量强度之后，可以基于语义分割图像以及目标图像进行边缘过渡处理，得到输出图像。对目标图像以及目标图像中每个子区域的图像参数的标量强度进行输出显示，具体可实施为：对输出图像以及目标图像中每个子区域的图像参数的标量强度进行输出显示。

其中，在对目标图像进行边缘过渡处理时，可采用高斯模糊等方法，本申请对边缘过渡处理采用的具体方法不做限定。技术人员可根据需求自行选择边缘过渡处理的具体实施方法。

在本申请中，通过对目标图像进行边缘过渡处理，使得得到的输出图像的边界更加的自然。

在一些可能的实施例中，使用专业软件对图像进行颜色调整等处理对非专业人士仍然具有挑战性，因此在本申请中为了便于用户根据主观审美对图像进行调整，在对目标图像以及目标图像中每个子区域的图像参数的标量强度进行输出显示之后，可实施如图12所示的步骤，其中：

步骤1201中：接收用户的触发的调整指令。

步骤1202中：基于调整指令确定目标子区域以及调整值。

步骤1203中：基于调整值对目标子区域的标量强度进行调整。

例如：目标图像如图13中的图像E所示，用户想要调整子区域3的对比度，则用户可点击子区域3中对比度两侧的加减号，若用户对子区域3中对比度的加号1次，则可以确定目标子区域为子区域3，调整值为+1，则对子区域3中对比度的标量强度进行加一处理，得到调整后的图像如图13中的图像F所示。

例如：目标图像如图14中的图像G所示，图像G的每个子区域的标量强度均以气泡的形式显示在图像G的一侧，若用户想要调整子区域3的对比度，则用户可点击子区域3中对比度两侧的加减号。

需要知道的是，本申请图13、图14给出的仅为一种实施例，并非对本申请目标图像的显示方法进行限定，在具体实施时，技术人员可根据需求自行设定目标图像的显示方法。

基于相同的发明构思，在介绍了本申请实施例提供的一种图像处理方法之后，如图15所示，下面对本申请实施例提供的一种图像处理装置1500进行说明，所述装置包括：

接收模块15001，用于接收用户上传的原始图像；

语义分割模块15002，用于对所述原始图像进行语义分割处理，得到语义分割图像；所述语义分割图像中包括至少一个子区域；

图像处理模块15003，用于将所述语义分割图像输入训练好的图像处理模型，得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度；

输出模块15004，用于对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

在一些可能的实施例中，所述图像处理模型是所述图像处理模块15003根据以下方法训练得到的：

获取待处理图像；

对所述待处理图像进行语义分割处理，得到所述待处理图像的语义分割图像；

对所述待处理图像进行颜色变换处理，得到所述颜色变换图像；

采用所述待处理图像、所述待处理图像的语义分割图像以及所述待处理图像的颜色变换图像构建模型训练样本集；

将所述模型训练样本集输入初始图像处理模型，采用迭代的方式对所述初始图像处理模型进行训练，直至满足预设收敛条件，将迭代结束的初始图像处理模型作为所述图像处理模型。

将所述训练样本集输入初始图像处理模型，采用迭代的方式对所述初始图像处理模型进行训练，直至满足预设收敛条件，将迭代结束的初始图像处理模型作为所述图像处理模型。

在一些可能的实施例中，每轮迭代过程如下：

循环执行第一流程，直至确定预设初始次数大于预设次数；

将最后一次执行所述第一流程得到的中间图像作为输出图像；

其中，所述第一流程，包括：

确定初始次数是否小于预设次数；

若确定所述初始次数小于所述预设次数，则基于所述预设初始次数确定目标图像参数；

基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度；

基于所述标量强度以及所述语义分割图像得到中间图像；

采用所述中间图像更新所述语义分割图像，并根据预设更新方法更新所述初始次数。

在一些可能的实施例中，所述图像处理模块15003执行基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度时，具体用于：

确定所述语义分割图像包括的每个子区域；

对每个所述子区域进行强度预测处理，得到每个所述子区域中目标图像参数对应的标量强度。

在一些可能的实施例中，所述图像处理模块15003执行基于所述标量强度以及所述语义分割图像得到中间图像时，具体用于：

将所述语义分割图像转换到高维特征空间，得到第一特征矩阵；

基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵；

将所述第二特征矩阵转换至颜色空间，得到所述中间图像。

在一些可能的实施例中，所述图像处理模块15003执行基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵时，具体用于：

基于变换公式对所述第一特征矩阵进行变换操作，其中，所述变换公式为：；

其中，为所述第二特征矩阵，/>为所述第一特征矩阵，/>为所述标量强度，/>为预设的全1矩阵。

在一些可能的实施例中，所述预设收敛条件包括：

确定所述初始图像处理模型的重建损失小于第一预设值；

确定所述初始图像处理模型的总变分损失小于第二预设值；

确定所述初始图像处理模型的颜色损失小于第三预设值；

确定所述初始图像处理模型的总损失小于第四预设值。

在一些可能的实施例中，所述图像处理模块15003执行得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度之后，所述输出模块15004还用于：

基于所述语义分割图像以及所述目标图像进行边缘过渡处理，得到输出图像；

所述输出模块15004执行对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示时，还用于：

对所述输出图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

在一些可能的实施例中，所述输出模块15004执行对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示之后，还用于：

接收用户的触发的调整指令；

基于所述调整指令确定目标子区域以及调整值；

基于所述调整值对所述目标子区域的标量强度进行调整。

与上述实施例相对应，本申请还提供了一种电子设备。图16为本发明实施例提供的一种电子设备的结构示意图，所述电子设备1600可以包括：处理器1601、存储器1602及通信单元1603。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的电子设备的结构并不构成对本发明实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，所述通信单元1603，用于建立通信信道，从而使所述电子设备可以与其它设备进行通信。接收其他设备发是的用户数据或者向其他设备发送用户数据。

所述处理器1601，为电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1602内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器1601可以仅包括中央处理器(central processing unit，CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

所述存储器1602，用于存储处理器1601的执行指令，存储器1602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

当存储器1602中的执行指令由处理器1601执行时，使得电子设备1600能够执行图2所示实施例中的部分或全部步骤。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的呼叫方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，ROM）或随机存储记忆体（random access memory，RAM）等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例和终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

接收用户上传的原始图像；

对所述原始图像进行语义分割处理，得到语义分割图像；所述语义分割图像中包括至少一个子区域；

将所述语义分割图像输入训练好的图像处理模型，得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度；

对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

2.根据权利要求1所述的方法，其特征在于，所述图像处理模型是根据以下方法训练得到的：

获取待处理图像；

对所述待处理图像进行语义分割处理，得到所述待处理图像的语义分割图像；

对所述待处理图像进行颜色变换处理，得到所述颜色变换图像；

采用所述待处理图像、所述待处理图像的语义分割图像以及所述待处理图像的颜色变换图像构建模型训练样本集；

将所述模型训练样本集输入初始图像处理模型，采用迭代的方式对所述初始图像处理模型进行训练，直至满足预设收敛条件，将迭代结束的初始图像处理模型作为所述图像处理模型。

3.根据权利要求2所述的方法，其特征在于，每轮迭代过程如下：

循环执行第一流程，直至确定预设初始次数大于预设次数；

将最后一次执行所述第一流程得到的中间图像作为输出图像；

其中，所述第一流程，包括：

确定初始次数是否小于预设次数；

若确定所述初始次数小于所述预设次数，则基于所述预设初始次数确定目标图像参数；

基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度；

基于所述标量强度以及所述语义分割图像得到中间图像；

采用所述中间图像更新所述语义分割图像，并根据预设更新方法更新所述初始次数。

4.根据权利要求3所述的方法，其特征在于，所述基于所述语义分割图像，得到所述语义分割图像的目标图像参数对应的标量强度，包括：

确定所述语义分割图像包括的每个子区域；

对每个所述子区域进行强度预测处理，得到每个所述子区域中目标图像参数对应的标量强度。

5.根据权利要求3所述的方法，其特征在于，所述基于所述标量强度以及所述语义分割图像得到中间图像，包括：

将所述语义分割图像转换到高维特征空间，得到第一特征矩阵；

基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵；

将所述第二特征矩阵转换至颜色空间，得到所述中间图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述标量强度对所述第一特征矩阵进行变换操作，得到第二特征矩阵，包括：

基于变换公式对所述第一特征矩阵进行变换操作，其中，所述变换公式为：；

其中，为所述第二特征矩阵，/>为所述第一特征矩阵，/>为所述标量强度，/>为预设的全1矩阵。

7.根据权利要求2所述的方法，其特征在于，所述预设收敛条件包括：

确定所述初始图像处理模型的重建损失小于第一预设值；

确定所述初始图像处理模型的总变分损失小于第二预设值；

确定所述初始图像处理模型的颜色损失小于第三预设值；

确定所述初始图像处理模型的总损失小于第四预设值。

8.根据权利要求1所述的方法，其特征在于，所述得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度之后，所述方法还包括：

基于所述语义分割图像以及所述目标图像进行边缘过渡处理，得到输出图像；

所述对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示，包括：

对所述输出图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

9.根据权利要求1所述的方法，其特征在于，所述对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示之后，所述方法还包括：

接收用户的触发的调整指令；

基于所述调整指令确定目标子区域以及调整值；

基于所述调整值对所述目标子区域的标量强度进行调整。

10.一种图像处理装置，其特征在于，所述装置包括：

接收模块，用于接收用户上传的原始图像；

语义分割模块，用于对所述原始图像进行语义分割处理，得到语义分割图像；所述语义分割图像中包括至少一个子区域；

图像处理模块，用于将所述语义分割图像输入训练好的图像处理模型，得到所述图像处理模型输出的目标图像以及所述目标图像中每个子区域的图像参数的标量强度；

输出模块，用于对所述目标图像以及所述目标图像中每个子区域的图像参数的标量强度进行输出显示。

11.一种电子设备，其特征在于，包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-9中任意一项所述的方法。