CN117764890A - 图像处理方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置以及电子设备。该方法包括：获取待处理图像；获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息；基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息；基于所述反射图像和所述优化照度图像，得到目标图像。通过上述方式使得，可以将待处理图像分离为反射图像和照度图像，并进一步将表征待处理图像光影信息的照度图像进行优化，得到优化照度图像，以基于优化照度图像和反射图像得到目标图像，从而使目标图像中的光影变化更为细腻，进而丰富了目标图像的影调。

Description

图像处理方法、装置以及电子设备

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种图像处理方法、装置以及电子设备。

背景技术

随着电子设备(如手机、平板、智能手表等)的不断发展，人们越来越喜欢用电子设备进行拍照。但受电子设备中感光器件的物理特性的限制，电子设备拍出图像还存在影调不够丰富的问题。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置以及电子设备，以实现改善上述问题。

第一方面，本申请提供了一种图像处理方法，所述方法包括：获取待处理图像；获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息；基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息；基于所述反射图像和所述优化照度图像，得到目标图像。

第二方面，本申请提供了一种图像处理装置，所述装置包括：图像获取单元，用于获取待处理图像；获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息；图像优化单元，用于基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息；目标图像生成单元，用于基于所述反射图像和所述优化照度图像，得到目标图像。

第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请提供的一种图像处理方法、装置、电子设备以及存储介质，在获取待处理图像后，获取所述待处理图像的反射图像和包括所述待处理图像光影信息的照度图像，基于所述照度图像和用于增强所述照度图像的光影信息的图生图模型，得到优化照度图像，基于所述反射图像和所述优化照度图像，得到目标图像。通过上述方式使得，可以将待处理图像分离为反射图像和照度图像，并进一步将表征待处理图像光影信息的照度图像进行优化，得到优化照度图像，以基于优化照度图像和反射图像得到目标图像，从而使目标图像中的光影变化更为细腻，进而丰富了目标图像的影调。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提出的图像处理方法的一种应用场景的示意图；

图2示出了本申请实施例提出的图像处理方法的另一种应用场景的示意图；

图3示出了本申请实施例提出的一种图像处理方法的流程图；

图4示出了本申请实施例提出的一种目标图像的示意图；

图5示出了本申请另一实施例提出的一种图像处理方法的流程图；

图6示出了本申请实施例提出的一种图像处理方法的业务流程的示意图；

图7示出了本申请实施例提出的一种图像处理装置的结构框图；

图8示出了本申请提出的一种电子设备的结构框图；

图9是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着科技的发展，人们越来越喜欢用电子设备(如手机、平板、智能手表等)进行拍照，以随时记录生活中的点点滴滴。

发明人在对相关研究中发现，相关方式还存在电子设备拍出图像影调不够丰富的问题。例如，由于手机相机的尺寸和成本等限制，使得手机中摄像头的感光器件的设计和性能往往受到一定的限制，较小的传感器通常意味着单个像素的尺寸较小，从而限制了感光器件在捕捉光线和处理光的能力，进而可能导致图像的动态范围受限，影调不够丰富，无法准确再现场景中的明暗变化。

因此，发明人提出了本申请中的一种图像处理方法、装置以及电子设备，在获取待处理图像后，获取所述待处理图像的反射图像和包括所述待处理图像光影信息的照度图像，基于所述照度图像和用于增强所述照度图像的光影信息的图生图模型，得到优化照度图像，基于所述反射图像和所述优化照度图像，得到目标图像。通过上述方式使得，可以将待处理图像分离为反射图像和照度图像，并进一步将表征待处理图像光影信息的照度图像进行优化，得到优化照度图像，以基于优化照度图像和反射图像得到目标图像，从而使目标图像中的光影变化更为细腻，进而丰富了目标图像的影调。

下面先对本申请实施例所涉及的应用场景进行介绍。

在本申请实施例中，主要涉及图像处理和模型训练两个阶段的内容，对应阶段所提供的图像处理方法或者模型训练方法可以由电子设备执行。在由电子设备执行的这种方式中，本申请实施例提供的图像处理方法或者模型训练方法中所有步骤可以均由电子设备执行。例如，如图1所示，本申请实施例提供的图像处理方法或者模型训练方法中所有步骤可以均由电子设备执行的情况下，所有步骤均可以通过电子设备100处理器执行。

再者，本申请实施例提供的图像处理方法或者模型训练方法也可以由服务器进行执行。对应的，在由服务器执行的这种方式中，服务器可以响应于触发指令而开始执行本申请实施例提供的图像处理方法或者模型训练方法中的步骤。其中，该触发指令可以由用户使用的电子设备所发送，也可以由服务器响应于一些自动化事件而在本地触发。

另外，如图2所示，本申请实施例提供的图像处理方法或者模型训练方法还可以由电子设备和服务器协同执行。在由电子设备和服务器协同执行的这种方式中，本申请实施例提供的图像处理方法或者模型训练方法中的部分步骤由电子设备执行，而另外部分的步骤则由服务器来执行。示例性的，电子设备100可以执行图像处理方法包括的：获取待处理图像，然后将待处理图像传输给服务器200，然后由服务器200来执行后续的步骤以得到目标图像，并将目标图像再返回给电子设备100。

需要说明的是，在由电子设备和服务器协同执行的这种方式中，电子设备和服务器分别执行的步骤不限于上述示例中所介绍的方式，在实际应用中，可以根据实际情况动态的调整电子设备和服务器分别执行的步骤。

需要说明的是，其中的电子设备100除了为图1和图2中所示的智能手机外，还可以为平板电脑、智能手表、智能语音助手等设备。服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。其中，在本申请实施例提供的图像处理方法或者模型训练方法由多个物理服务器构成的服务器集群或者分布式系统执行的情况下，图像处理方法或者模型训练方法中的不同步骤可以分别由不同的物理服务器执行，或者可以由基于分布式系统构建的服务器基于分布式的方式执行。

下面将结合附图具体描述本申请的各实施例。

请参阅图3，本申请实施例提供的一种图像处理方法，所述方法包括：

S110：获取待处理图像。

其中，待处理图像可以指需要进行影调改善的图像。影调又可以称为图像的基调或调子，影调指图像的明暗层次、虚实对比和色彩的色相明暗等之间的关系，通过这些关系，可以使欣赏者感到光的流动与变化。

作为一种方式，可以在电子设备的屏幕中显示出多张本地存储的图像，本地存储的图像可以包含用户通过电子设备拍照的图像、从网络中下载的图像等，响应于用户对显示出的一张或者多张图像的触控/选择操作，弹出可对已经选择的一张或者多张图像进行处理的方式，如自动优化、删除、分享等，紧接着可以响应于用户对“自动优化”的点选操作，将已经选择的一张或者多张图像作为待处理图像。

作为另一种方式，可以在电子设备的相机生成拍照图像后，按照预设标准对该拍照图像进行影调评估，若影调评估分数小于评估阈值，可以直接将该拍照图像作为待处理图像，以基于后续处理步骤得到目标图像，并将目标图像对应的缩略图以浮窗的形式显示在拍照图像的指定位置(如左上方、右上方等)，并在拍照图像的显示界面中弹出一个消息提示框，该消息提示框可以用于告知用户已自动为该拍照图像自动进行影调优化并显示出目标图像的缩略图，以及询问用户是否将目标图像存储在本地。

作为再一种方式，可以在电子设备的相机生成拍照图像后，按照预设标准对该拍照图像进行影调评估，若影调评估分数小于评估阈值，可以在屏幕中显示提示信息，该提示信息用于询问用户是否对该拍照图像进行影调优化处理，若反馈信息为对该拍照图像进行影调优化处理。

作为又一种方式，可以在电子设备的相机生成拍照图像后，响应于用户对该拍照图像的触控/选择操作，弹出可对该拍照图像进行处理的方式，如自动优化、删除、分享等，紧接着可以响应于用户对“自动优化”的点选操作，将该拍照图像作为待处理图像。

在本申请实施例中，可以通过第一种获取待处理图像的方式一次性获取多张待处理图像，以对多张待处理图像进行批量处理，提高了处理效率；通过第二种获取待处理图像的方式可以实现全程自动化生成目标图像，减少了用户的操作步骤，提高了图像处理的智能化程度和用户体验；通过第三、四种获取待处理图像的方式可以实时基于用户的需求确定是否对图像进行进一步处理，从而节约图像处理所需的系统资源。

需要说明的是，本申请中的待处理图像可以为彩色图像、伪彩色图像、灰度图像等。

S120：获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息。

作为一种方式，可以基于待处理图像和图像分解网络，得到反射图像(R：reflectance)和照度图像(L：illumination)，图像分解网络为以颜色恒常知觉计算理论为依据的深度学习网络。

其中，图像分解网络可以为PairLIE网络，PairLIE网络可以基于颜色恒常知觉计算理论(Retinex)进行待处理图像分解，并在图像分解过程中，通过学习到的来自低光照图像对的自适应先验知识，提高图像对比度并恢复图像细节。

颜色恒常知觉计算理论中颜色的恒常性是由retina(视网膜)和cortex(皮层)所共同作用的结果，因此可以被称为Retinex理论，Retinex理论的基础可以是三色理论和颜色恒常性：即物体的颜色可以由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定，而不是由反射光强度的绝对值来决定，物体的色彩可以不受光照非均匀性的影响，具有一致性，即retinex理论是以色感一致性(颜色恒常性)为基础的。

可选的，可以将待处理图像输入图像分解网络，得到反射图像和照度图像。

在本申请实施例中，由于传统的低光照图像增强算法通常使用单张输入图像和手工设计的先验知识来调整光照，而单张输入图像的信息有限以及手工先验知识存在适应性不足的问题，传统的低光照图像增强算法通常无法恢复图像细节，因此，选用PairLIE网络可以更好地提高对比度并恢复图像细节。并且，选用PairLIE网络可以实现对照明通道进行智能调整，使得图像的光照更加自然均衡，进一步丰富影调，使图像更加生动、逼真。

作为另一种方式，可以基于待处理图像和其他以颜色恒常知觉计算理论为依据的算法，得到反射图像和照度图像。

其中，以颜色恒常知觉计算理论为依据的算法可以有单尺度Retinex算法(SSR)、多尺度加权平均的Retinex算法(MSR)，带彩色恢复的多尺度Retinex算法(MSRCR)等。

在本申请实施例中，由于Retinex理论是基于人类视觉系统对图像的感知原理得到的，通过Retinex理论对图像中的照明成分和反射成分进行分离，可以增强图像的细节和对比度；通过对照明通道(照度图像)进行光影调整，可以调整图像中的亮度和阴影，从而增强目标图像的层次感和影调。

S130：基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息。

作为一种方式，可以获取照度图像对应的文本描述信息；将照度图像和照度图像对应的文本描述信息输入图生图模型，得到优化照度图像。

其中，文本描述信息可以指用于描述图像内容的信息，示例性的，如图4所示，文本描述信息可以为“一个亚洲女人戴着围巾站在镜头中大概3/4的区域，背景为光树，且有红色斑点状的地面”，同时为了保护用户隐私，在图4中人脸部分进行了马赛克处理。照度图像对应的文本描述信息可以为照度图像自身的文本描述信息，由于照度图像与待处理图像之间的图像内容差别不大，只是光影、色调等差别较大，因此照度图像对应的文本描述信息还可以为待处理图像的文本描述信息。图生图模型可以指SD(Stable Diffusion，稳定扩散)模型，SD模型可以是一基于种深度学习的文本和/或图像到图像生成模型，SD模型可以根据文本和/或图像产生新的图像。

可选的，可以将照度图像输入图文多模态模型，得到照度图像对应的文本描述信息。

其中，图文多模态模型可以指用于生成图像对应的文本描述的模型。图文多模态模型可以为BLIP(Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation)模型、CLIP模型等。BLIP模型可以指一种视觉语言预训练方法，BLIP模型可以利用冻结的图像编码器和LLM(Large Language Model，大语言模型)来学习图像和文本之间的对齐和生成。

可选的，可以将待处理图像输入图文多模态模型，得到待处理图像对应的文本描述信息，并将待处理图像对应的文本描述信息作为照度图像对应的文本描述信息。

S140：基于所述反射图像和所述优化照度图像，得到目标图像。

作为一种方式，可以基于反射图像中的多个像素值和优化照度图像中的多个像素值，得到多个像素值对，每个像素值对中包含一个在反射图像中的像素值和一个在优化照度图像中的像素值，且每个像素值对中的两个像素值在对应图像中的位置相同；基于每个像素值对中的两个像素值，得到每个像素值对对应的目标像素值，以得到多个目标像素值，多个目标像素值可以为目标图像中的像素值，且每个目标像素值的位置与对应像素值对中两个像素值在对应图像中的位置相同；基于多个目标像素值，得到目标图像。

可选的，可以将每个像素值对中的两个像素值相乘，得到每个像素值对对应的目标像素值，以得到多个目标像素值，进而基于多个目标像素值，得到目标图像。示例性的，反射图像可以由R表示，优化照度图像可以由L’表示，则目标图像可以为A’＝R*L’。

可选的，可以将每个像素值对中优化照度图像的像素值取对数，得到对数像素值，再将每个像素值对中反射图像的像素值与对数像素值相乘，得到每个像素值对对应的目标像素值，以得到多个目标像素值，进而基于多个目标像素值，得到目标图像。示例性的，反射图像可以由R表示，优化照度图像可以由L’表示，则目标图像可以为A’＝R*logL’。

其中，在将每个像素值对中优化照度图像的像素值取对数时，可以基于实际需求设置不同的底数，当底数小于1时，生成的目标图像的背景会更明亮；当底数大于1时，生成的目标图像的背景会更昏暗。

示例性的，如图4所示，将图4中的待处理图像按照步骤S120～S140处理后得到了目标图像，目标图像中人物的轮廓比待处理图像更加清晰，与背景的分离感更加明显；以及，地上光斑、车道线的明暗程度也发生了改变，使得背景的光影更加协调；并且还恢复出了待处理图像中被模糊的细节，即待处理图像左上方的位于道路尽头与光树相邻的光点。

在本申请实施例中，可以通过上述方法在真实图像(通过电子设备拍摄到的图像或视频)中增强光影、增加层次感并丰富影调，从而能够生成更具真实感和立体感的图像，为用户提供更加逼真的视觉体验。并且，本申请提出了图像处理方法无需对电子设备的硬件进行改进，就可以在一定程度上克服电子设备在拍摄过程中的硬件限制，使图像的层次感更加清晰，影调更加准确。

并且，本申请所提出的图像处理方法可适用于多种场景，例如，人们可以利用该技术对家庭相册中的照片进行编辑和改进，使它们更加生动、优雅和富有艺术感，这将为家庭相册的制作和珍藏增添新的可能性。再例如，还可以应用于电影、电视、广告等各个领域，提升画面的质量和视觉效果，在电影制作中，可以用于修复和改进影像中的光影问题，提升电影的视觉冲击力和艺术表现力；在电视和广告领域，可以改善画面的质量，增强广告的吸引力和影响力。

本实施例提供的一种图像处理方法，在获取待处理图像后，获取所述待处理图像的反射图像和包括所述待处理图像光影信息的照度图像，基于所述照度图像和用于增强所述照度图像的光影信息的图生图模型，得到优化照度图像，基于所述反射图像和所述优化照度图像，得到目标图像。通过上述方式使得，可以将待处理图像分离为反射图像和照度图像，并进一步将表征待处理图像光影信息的照度图像进行优化，得到优化照度图像，以基于优化照度图像和反射图像得到目标图像，从而使目标图像中的光影变化更为细腻，进而丰富了目标图像的影调。

请参阅图5，本申请实施例提供的一种图像处理方法，所述方法包括：

S210：获取训练数据集，所述训练数据集包括多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签。

作为一种方式，可以获取多张原始图像；获取多张原始图像各自对应的训练反射图像和训练照度图像，以得到多张训练照度图像；基于多张原始图像和图文多模态模型，得到多张原始图像各自对应的文本描述标签，并将多张原始图像各自对应的文本描述标签作为对应训练照度图像的文本描述标签，以得到多张训练照度图像各自对应的文本描述标签；基于多张训练照度图像和多张训练照度图像各自对应的文本描述标签，得到训练数据集。

可选的，可以基于步骤S120中的方法获取多张原始图像各自对应的训练反射图像和训练照度图像。

可选的，步骤S210中的图文多模态模型可以与步骤S130中的图文多模态模型的网络结构不同。

需要说明的是，得到多张训练照度图像与得到多张训练照度图像各自对应的文本描述标签这两个步骤并没有明显的先后执行顺序，可以并行执行，也可以先得到多张训练照度图像再得到多张训练照度图像各自对应的文本描述标签，还可以先得到多张训练照度图像各自对应的文本描述标签再得到多张训练照度图像。

S220：基于所述多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签对待训练图生图模型进行训练，以得到所述图生图模型。

其中，待训练图生图模型可以是完全未经过训练的图生图模型，也可以是基于其他数据集预先训练过的具有权重信息的图生图模型。

作为一种方式，可以基于基于多张训练照度图像和多张训练照度图像各自对应的文本描述标签对待训练图生图模型进行训练，以得到图生图模型。

S230：获取待处理图像。

S240：获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息。

S250：基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息。

S260：基于所述反射图像和所述优化照度图像，得到目标图像。

本实施例提供的一种图像处理方法，通过上述方式使得，可以将待处理图像分离为反射图像和照度图像，并进一步将表征待处理图像光影信息的照度图像进行优化，得到优化照度图像，以基于优化照度图像和反射图像得到目标图像，从而使目标图像中的光影变化更为细腻，进而丰富了目标图像的影调。并且，在本实施例中，通过训练数据集对待训练图生图模型进行训练，可以得到更准确的图生图模型，从而得到更加准确的优化照度图像。

为了更好地理解本申请中的方案，下面对本申请提出的图像处理方法的业务流程进行介绍。

请参阅图6，本申请提出的图像处理方法可以分为模型训练、图像处理两个阶段。在模型训练阶段中，可以先基于步骤S1获取多张原始图像；再依次执行步骤S2、步骤S3、步骤S4得到训练数据集，并基于步骤S5得到图生图模型。在图像处理阶段，可以基于步骤S6获取待处理图像；然后基于步骤S7得到照度图像，再执行步骤S8、S9得到目标图像。

请参阅图7，本申请提供的一种图像处理装置600，所述装置600包括：

图像获取单元610，用于获取待处理图像；获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息；

图像优化单元620，用于基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息；

目标图像生成单元630，用于基于所述反射图像和所述优化照度图像，得到目标图像。

作为一种方式，图像优化单元610具体用于基于所述待处理图像和图像分解网络，得到所述反射图像和所述照度图像，所述图像分解网络为以颜色恒常知觉计算理论为依据的深度学习网络。

作为一种方式，图像优化单元620具体用于获取所述照度图像对应的文本描述信息；将所述照度图像和所述照度图像对应的文本描述信息输入所述图生图模型，得到所述优化照度图像。

可选的，图像优化单元620具体用于将所述照度图像输入图文多模态模型，得到所述照度图像对应的文本描述信息。

作为一种方式，目标图像生成单元630具体用于基于所述反射图像中的多个像素值和所述优化照度图像中的多个像素值，得到多个像素值对，每个所述像素值对中包含一个在所述反射图像中的像素值和一个在所述优化照度图像中的像素值，且每个所述像素值对中的两个像素值在对应图像中的位置相同；基于每个所述像素值对中的两个像素值，得到每个所述像素值对对应的目标像素值，以得到多个目标像素值，所述多个目标像素值为所述目标图像中的像素值，且每个所述目标像素值的位置与对应像素值对中两个像素值在对应图像中的位置相同；基于所述多个目标像素值，得到所述目标图像。

其中，所述装置600还包括：

模型生成单元640，用于获取训练数据集，所述训练数据集包括多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签；基于所述多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签对待训练图生图模型进行训练，以得到所述图生图模型。

作为一种方式，模型生成单元640具体用于获取多张原始图像；获取所述多张原始图像各自对应的训练反射图像和训练照度图像，以得到所述多张训练照度图像；基于所述多张原始图像和图文多模态模型，得到所述多张原始图像各自对应的文本描述标签，并将所述多张原始图像各自对应的文本描述标签作为对应训练照度图像的文本描述标签，以得到所述多张训练照度图像各自对应的文本描述标签；基于多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签，得到所述训练数据集。

下面将结合图8对本申请提供的一种电子设备进行说明。

请参阅图8，基于上述的图像处理方法、装置，本申请实施例还提供的另一种可以执行前述图像处理方法的电子设备100。电子设备100包括处理器102、存储器104，其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用网络处理器(Neural network Processing Unit，NPU)、数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－ProgrammableGate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、网络处理器(Neural network ProcessingUnit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；NPU负责处理视频、图像类的多媒体数据；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)以及双倍速率同步动态随机存储器(Double DataRate，DDR)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读存储介质(non-transitorycomputer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

综上所述，本申请提供的一种图像处理方法、装置以及电子设备，在获取待处理图像后，获取所述待处理图像的反射图像和包括所述待处理图像光影信息的照度图像，基于所述照度图像和用于增强所述照度图像的光影信息的图生图模型，得到优化照度图像，基于所述反射图像和所述优化照度图像，得到目标图像。通过上述方式使得，可以将待处理图像分离为反射图像和照度图像，并进一步将表征待处理图像光影信息的照度图像进行优化，得到优化照度图像，以基于优化照度图像和反射图像得到目标图像，从而使目标图像中的光影变化更为细腻，进而丰富了目标图像的影调。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息；

基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息；

基于所述反射图像和所述优化照度图像，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取所述待处理图像的反射图像和照度图像，包括：

基于所述待处理图像和图像分解网络，得到所述反射图像和所述照度图像，所述图像分解网络为以颜色恒常知觉计算理论为依据的深度学习网络。

3.根据权利要求1所述的方法，其特征在于，所述基于所述照度图像和图生图模型，得到优化照度图像，包括：

获取所述照度图像对应的文本描述信息；

将所述照度图像和所述照度图像对应的文本描述信息输入所述图生图模型，得到所述优化照度图像。

4.根据权利要求3所述的方法，其特征在于，所述获取所述照度图像对应的文本描述信息，包括：

将所述照度图像输入图文多模态模型，得到所述照度图像对应的文本描述信息。

5.根据权利要求1所述的方法，其特征在于，所述基于所述反射图像和所述优化照度图像，得到目标图像，包括：

基于所述反射图像中的多个像素值和所述优化照度图像中的多个像素值，得到多个像素值对，每个所述像素值对中包含一个在所述反射图像中的像素值和一个在所述优化照度图像中的像素值，且每个所述像素值对中的两个像素值在对应图像中的位置相同；

基于每个所述像素值对中的两个像素值，得到每个所述像素值对对应的目标像素值，以得到多个目标像素值，所述多个目标像素值为所述目标图像中的像素值，且每个所述目标像素值的位置与对应像素值对中两个像素值在对应图像中的位置相同；

基于所述多个目标像素值，得到所述目标图像。

6.根据权利要求1-5任一所述的方法，其特征在于，所述获取待处理图像之前，还包括：

获取训练数据集，所述训练数据集包括多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签；

基于所述多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签对待训练图生图模型进行训练，以得到所述图生图模型。

7.根据权利要求5所述的方法，其特征在于，所述获取训练数据集，包括：

获取多张原始图像；

获取所述多张原始图像各自对应的训练反射图像和训练照度图像，以得到所述多张训练照度图像；

基于所述多张原始图像和图文多模态模型，得到所述多张原始图像各自对应的文本描述标签，并将所述多张原始图像各自对应的文本描述标签作为对应训练照度图像的文本描述标签，以得到所述多张训练照度图像各自对应的文本描述标签；

基于多张训练照度图像和所述多张训练照度图像各自对应的文本描述标签，得到所述训练数据集。

8.一种图像处理装置，其特征在于，所述装置包括：

图像获取单元，用于获取待处理图像；获取所述待处理图像的反射图像和照度图像，所述照度图像包括所述待处理图像的光影信息；

图像优化单元，用于基于所述照度图像和图生图模型，得到优化照度图像，所述图生图模型用于增强所述照度图像的光影信息；

目标图像生成单元，用于基于所述反射图像和所述优化照度图像，得到目标图像。

9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行权利要求1-7任一所述的方法。