CN114266696A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、电子设备和计算机可读存储介质，涉及图像处理领域。该方法包括：获取将待处理图像进行分辨率放大后的第一图像；当待处理图像中的第一图像区域与第一图像中的第二图像区域匹配时，将第一图像区域的图像灰度信息更新至第二图像区域，以获取第二图像；将第二图像进行高频增强并结合待处理图像的色彩信息，获取目标图像；目标图像的分辨率大于待处理图像的分辨率。将分辨率放大前后的两个图像进行匹配，以便将待处理图像的图像灰度信息更新至第一图像，并根据待处理图像的色彩信息对第二图像进行处理以获取目标图像，无需复杂的神经网络模型，提高了图像分辨率放大的效率，减少了图像处理的时间。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理领域，具体而言，涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着图像的分辨率极限逐渐增加，为了降低图像存储所占用的空间，通常会将高分辨率的图像处理为低分辨率的图像进行处理。

图像数据的使用过程中，低分辨率图像难以满足对图像查看的需求，目前的技术方案将低分辨率图像转化为高分辨率图像均较为复杂，处理过程较复杂，耗时也较多。

发明内容

有鉴于此，本申请的目的在于提供一种图像处理方法、装置、电子设备和计算机可读存储介质。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种图像处理方法，所述方法包括：获取将待处理图像进行分辨率放大后的第一图像；当所述待处理图像中的第一图像区域与所述第一图像中的第二图像区域匹配时，将所述第一图像区域的图像灰度信息更新至所述第二图像区域，以获取第二图像；将所述第二图像进行高频增强并结合所述待处理图像的色彩信息，获取目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率。

在可选的实施方式中，获取将待处理图像进行分辨率放大后的第一图像，包括：基于所述待处理图像的灰度信息获取低频图像；所述低频图像为所述待处理图像的亮度图像信息中小于或等于预设梯度阈值的图像灰度信息；将所述低频图像进行分辨率放大，获取所述第一图像。

在可选的实施方式中，在所述将所述第一图像区域的图像灰度信息更新至所述第二图像区域之前，所述方法还包括：获取将所述待处理图像进行划分后的多个图像块；根据预设匹配代价函数，确定所述多个图像块中与所述第二图像区域相似度最高的目标图像块；确定所述目标图像块的多个邻域图像块；所述邻域图像块为距离所述目标图像块在预设范围内的图像块；将所述目标图像块和所述多个邻域图像块作为所述第一图像区域。

在可选的实施方式中，所述获取将待处理图像进行分辨率放大后的第一图像，还包括：基于所述待处理图像的灰度信息获取高频图像；所述高频图像为所述待处理图像的亮度图像信息中大于预设梯度阈值的图像灰度信息；所述将所述第一图像区域的图像灰度信息更新至所述第二图像区域，包括：基于所述高频图像获取所述目标图像块的块高频信息；所述块高频信息表征所述目标图像块中大于所述预设梯度阈值的图像灰度信息；基于所述高频图像获取所述第一图像区域的邻域高频信息；所述领域高频信息表征所述多个邻域图像块的加权图像灰度信息；将所述块高频信息、所述邻域高频信息更新至所述第二图像区域，以获取所述第二图像。

在可选的实施方式中，将所述第二图像进行高频增强并结合所述待处理图像的色彩信息，获取目标图像，包括：获取将所述第二图像进行高频增强后的第三图像；将所述待处理图像的色彩信息进行分辨率放大，以获取第四图像；所述第三图像的分辨率与所述第四图像的分辨率一致；将所述第三图像与所述第四图像进行融合，获取所述目标图像。

在可选的实施方式中，获取将所述第二图像进行高频增强后的第三图像，包括：将所述第二图像中的第三图像区域与所述第一图像区域进行图像灰度信息比对，以获取增强高频信息；所述第三图像区域为所述第二图像中与所述第二图像区域相应的图像区域，所述增强高频信息表征所述第三图像区域与所述第一图像区域的图像灰度补偿信息；将所述增强高频信息更新至所述第三图像区域，以获取所述第三图像。

在可选的实施方式中，将所述第二图像中的第三图像区域与所述第一图像区域进行图像灰度信息比对，以获取增强高频信息，包括：对所述第三图像区域进行模糊处理和下采样，以得到差高频信息；所述差高频信息表征所述第三图像区域和所述第一图像区域的图像灰度差异情况；对所述差高频信息进行上采样，获取所述增强高频信息。

在可选的实施方式中，在所述获取将待处理图像进行分辨率放大后的第一图像之前，所述方法还包括：获取目标景物的拍摄图像；所述拍摄图像为红绿蓝(Red Green Blue，RGB)格式的图像；将所述拍摄图像进行色彩通道转换，以获取所述待处理图像；所述待处理图像为YUV格式(其中，“Y”表示明亮度，也就是灰阶值；而“U”和“V”表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色)的图像；获取所述待处理图像的色彩信息和灰度信息；所述色彩信息为所述待处理图像的UV通道对应的色彩图像信息，所述灰度信息为所述待处理图像的Y通道对应的亮度图像信息。

在可选的实施方式中，所述根据所述待处理图像的色彩信息和所述第二图像，获取目标图像，包括：将所述待处理图像的色彩信息进行分辨率放大，以获取第五图像；所述第五图像的分辨率与所述第二图像的分辨率一致；将所述第二图像与所述第五图像进行融合，以获取第六图像；所述第六图像为YUV格式的图像；对所述第六图像进行色彩通道转换，以获取所述目标图像；所述目标图像为RGB格式的图像。

第二方面，本申请实施例提供一种图像处理装置，所述装置包括：获取模块，用于获取将待处理图像进行分辨率放大后的第一图像；处理模块，用于当所述待处理图像中的第一图像区域与所述第一图像中的第二图像区域匹配时，将所述第一图像区域的图像灰度信息更新至所述第二图像区域，以获取第二图像；所述处理模块还用于将所述第二图像进行高频增强并结合所述待处理图像的色彩信息，获取目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率。

第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式中任意一项所述的方法。

相较于现有技术，本申请提供一种图像处理方法、装置、电子设备和计算机可读存储介质，涉及图像处理领域。该方法包括：获取将待处理图像进行分辨率放大后的第一图像；当所述待处理图像中的第一图像区域与所述第一图像中的第二图像区域匹配时，将所述第一图像区域的图像灰度信息更新至所述第二图像区域，以获取第二图像；将所述第二图像进行高频增强并结合所述待处理图像的色彩信息，获取目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率。将分辨率放大前后的两个图像进行匹配，以便将待处理图像的图像灰度信息更新至第一图像，并根据待处理图像的色彩信息对第二图像进行处理以获取目标图像，无需复杂的神经网络模型，提高了图像分辨率放大的效率，减少了图像处理的时间。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请提供的一种电子设备的方框示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的另一种图像处理方法的流程示意图；

图4为本申请实施例提供的另一种图像处理方法的流程示意图；

图5为本申请实施例提供的一种图像匹配的示意图；

图6为本申请实施例提供的另一种图像匹配的示意图；

图7为本申请实施例提供的另一种图像匹配的示意图；

图8为本申请实施例提供的另一种图像处理方法的流程示意图；

图9为本申请实施例提供的另一种图像处理方法的流程示意图；

图10为本申请实施例提供的另一种图像处理方法的流程示意图；

图11为本申请实施例提供的另一种图像处理方法的流程示意图；

图12为本申请实施例提供的另一种图像处理方法的流程示意图；

图13为本申请实施例提供的一种图像处理的效果示意图；

图14为本申请实施例提供的一种图像处理装置的方框示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

随着图像的分辨率极限逐渐增加，为了降低图像存储所占用的空间，通常会将高分辨率的图像处理为低分辨率的图像进行处理。图像数据的使用过程中，低分辨率图像难以满足对图像查看的需求，目前的技术方案将低分辨率图像转化为高分辨率图像均较为复杂，处理过程较复杂，耗时也较多。

为了至少解决上述问题，本申请实施例提供一种图像处理方法，应用于电子设备，请参见图1，图1为本申请提供的一种电子设备的方框示意图，该电子设备20包括存储器21、处理器22和通信接口23。该存储器21、处理器22和通信接口23相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器21可用于存储软件程序及模块，如本申请实施例所提供的图像处理方法对应的程序指令/模块，处理器22通过执行存储在存储器21内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口23可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备20可以具有多个通信接口23。

其中，存储器21可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器22可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

该电子设备20可以是，但不限于手机、平板电脑、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(PersonalDigital Assistant，PDA)等电子设备，本申请实施例对电子设备的具体类型不作任何限制。

下面在图1示出的电子设备20的基础上，为了解决背景技术提出的不足，本申请实施例提供一种图像处理方法，请参见图2，图2为本申请实施例提供的一种图像处理方法的流程示意图，该图像处理方法可以包括以下步骤：

S310，获取将待处理图像进行分辨率放大后的第一图像。

应理解，若待处理图像的分辨率与第一图像的目标分辨率之间的相距较大，仅用一次分辨率放大可能出现过大的缩放倍数跃迁，可能会导致待处理图像与第一图像之间出现较大差距；为了减少分辨率放大的跃迁差异，分辨率放大的过程可以是逐级完成的，例如，图像的显示分辨率从540p→4K，可以通过以下顺序完成：960x540(540P)→1280x720(720P)→1920x1080(1080P)→2560x1440(2K)→3840x2160(2K)。

作为一种可能的实施例，上述的S310可以包括：基于待处理图像的灰度信息获取低频图像；将低频图像进行分辨率放大，获取第一图像。该低频图像为待处理图像的亮度图像信息中小于或等于预设梯度阈值的图像灰度信息。

以待处理图像为YUV格式的图像为例，在待处理图像(由于待处理图像的分辨率较低，以Low Resolution进行表示，简称LR)的Y通道信息进行高低频分离，以获取低频图像(Low Frequency，LF)和高频图像(High Frequency，HF)；该低频图像为待处理图像的亮度图像信息(Y通道信息)中小于或等于预设梯度阈值的图像灰度信息，该高频图像为待处理图像的亮度图像信息(Y通道信息)中大于预设梯度阈值的图像灰度信息。

例如，电子设备进行待处理图像的Y通道信息(LR_Y)高低频分离时，可以采用模糊(如，高斯模糊)和反差的方式来实现：

低频图像：LR_Y_LF＝Blur(LR_Y)。

高频图像：LR_Y_HF＝LR_Y-LR_Y_LF。

将低频图像进行分辨率放大时，可以将LR_Y_LF直接放大(Bicubic)至高分辨率(High Resolution，HR)尺寸以得到第一图像(HR_Y_LF)。

S320，当待处理图像中的第一图像区域与第一图像中的第二图像区域匹配时，将第一图像区域的图像灰度信息更新至第二图像区域，以获取第二图像。

例如，待处理图像和第一图像具有较多相似的图像区域，将待处理图像中的图像区域与第一图像中的图像区域进行匹配(如，使用匹配代价函数SAD，通过待匹配像素的邻域内所有像素的灰度差绝对值进行匹配)，第一图像区域与第二图像区域是否匹配，可以通过两个图像区域之间的相似度，或是两个图像区域在各自的图像中的相对位置信息进行确定。

S330，将第二图像进行高频增强并结合待处理图像的色彩信息，获取目标图像。

例如，若待处理图像为YUV格式的图像，该色彩信息可以是待处理图像的UV通道对应的色彩信息以及饱和度信息；对第二图像进行高频增强可以是对第二图像和待处理图像进行反向传播，进而得到相应的增强高频信息，以实现对第二图像的高频增强。应理解，该目标图像的分辨率大于待处理图像的分辨率。

也就是说，将分辨率放大前后的两个图像进行匹配，以便将待处理图像的图像灰度信息更新至第一图像，并根据待处理图像的色彩信息对第二图像进行处理以获取目标图像，无需复杂的神经网络模型，提高了图像分辨率放大的效率，减少了图像处理的时间。

在可选的实施方式中，第一图像区域可以是通过相似度或是在待处理图像中的相对位置，以便与第二图像区域进行匹配，在图2的基础上，以相似度为例，请参见图3，图3为本申请实施例提供的另一种图像处理方法的流程示意图，在上述的S320之前，该图像处理方法还可以包括：

S311，获取将待处理图像进行划分后的多个图像块。

例如，可以将待处理图像进行网格划分，以获取多个图像块；在一种可能的情况下，还可以是使用其它多边形对待处理图像进行划分。

S312，根据预设匹配代价函数，确定多个图像块中与第二图像区域相似度最高的目标图像块。

应理解，使用预设匹配代价函数(如，SAD)确定在与第二图像区域相应位置(第二图像区域在第一图像中的相对位置，映射到待处理图像的相应位置)的多个图像块中，与第二图像区域相似度最高的目标图像块。例如，待处理图像在与第二图像区域相应位置中具有很多相似的图像块(如，分辨率缩放的尺寸在1:1附近时，相似的图像块较多)，使用SAD评估函数确定与第二图像区域相似度最高的图像块作为目标图像块(如，使用Best SAD进行标识)。

S313，确定目标图像块的多个邻域图像块。

该邻域图像块为距离目标图像块在预设范围内的图像块。例如，以预设匹配代价函数为SAD评估函数为例，另SAD块半径(预设范围)为2，范围搜索半径为1，则可以确定目标图像块的邻域图像块。

S314，将目标图像块和多个邻域图像块作为第一图像区域。

可以理解的，由于仅使用单个图像块(目标图像块)对第二图像区域的图像灰度信息进行更新，容易引入不自然的高频信息，而采用目标图像块和多个邻域图像块作为第一图像区域，则可以通过加权处理图像灰度信息的方式减少图像处理的误差，以便获取将待处理图像进行分辨率恢复的目标图像。

在可选的实施方式中，由于第一图像区域可以包括多个图像块，在图3的基础上，以上述的S311还可以包括基于待处理图像的灰度信息获取高频图像为例，该高频图像为待处理图像的亮度图像信息中大于预设梯度阈值的图像灰度信息，请参见图4，图4为本申请实施例提供的另一种图像处理方法的流程示意图，上述的S320可以包括：

S320a，基于高频图像获取目标图像块的块高频信息。

该块高频信息表征目标图像块中大于预设梯度阈值的图像灰度信息，如，以“LR_Y_HF”表示目标图像块的块高频信息。

S320b，基于高频图像获取第一图像区域的邻域高频信息。

该领域高频信息表征多个邻域图像块的加权图像灰度信息，如，对多个邻域图像块的图像灰度信息进行加权处理，以获取邻域高频信息。

S320c，将块高频信息、邻域高频信息更新至第二图像区域，以获取第二图像。

例如，将目标图像块的块高频信息加入第二图像区域的图像灰度信息中，并对重叠位置(邻域图像块)的图像灰度信息作加权平均，将得到的邻域高频信息加入第二图像区域的图像灰度信息中，以得到第二图像，如，第二图像中与第二图像区域对应的位置的图像灰度信息用“HR_Y_enhance”进行表示。

为了便于理解上述的块高频信息、邻域高频信息以及图像块匹配的情况，请参见图5，图5为本申请实施例提供的一种图像匹配的示意图，例如，待处理图像可以是由拍摄图像(RGB格式图像)进行色域转换后输出的，对待处理图像的Y通道信息进行高低频分离，将待处理图像的在Y通道的低频信息进行放大得到第一图像。

应理解，对第一图像与待处理图像的在Y通道信息进行匹配，获取到目标图像块；当确定目标图像块后，将待处理图像的在Y通道的高频信息(包括块高频信息和领域高频信息)添加至第一图像中，即对第一图像的第二图像区域进行高频增强，以实现对第一图像的高频增强，使得第二图像的清晰度提升。

为了便于理解上述图像处理方法中第一图像区域与第二图像区域的匹配情况，请参见图6，图6为本申请实施例提供的另一种图像匹配的示意图，第一图像的第二图像区域的图像灰度信息为HR_Y_LF，待处理图像与第二图像区域对应位置中的多个图像块进行目标图像块的筛选，并确定与第二图像区域对应位置中的多个图像块中间靠右侧的图像块为目标图像块。请继续参见图7，图7为本申请实施例提供的另一种图像匹配的示意图，将目标图像块的块高频信息(LR_Y_LF)加入至第二图像区域的图像灰度信息(HR_Y_LF)中，并对领域图像块的图像灰度信息做加权平均，并加入第二图像区域的图像灰度信息(HR_Y_LF)中，进而实现了对第一图像的高频信息增强，使得待处理图像在分辨率放大的过程中提高了图像清晰度。

需要注意的是，虽然上述实施例提供的图像处理方法已经通过邻域图像块和目标图像块对第二图像区域的图像灰度信息进行高频增强，为了进一步的增加目标图像的清晰度，在图2的基础上，给出一种可能的实现方式，请参见图8，图8为本申请实施例提供的另一种图像处理方法的流程示意图，上述的S330可以包括：

S330a，获取将第二图像进行高频增强后的第三图像。

例如，对第二图像进行高频增强可以是对第二图像和待处理图像进行反向传播，进而得到相应的增强高频信息，以实现对第二图像的高频增强，并获取对第二图像进行高频增强后的第三图像。

S330b，将待处理图像的色彩信息进行分辨率放大，以获取第四图像。

该第三图像的分辨率与第四图像的分辨率一致。若待处理图像为YUV格式的图像，该色彩信息可以是待处理图像的UV通道对应的色彩信息以及饱和度信息。

S330c，将第三图像与第四图像进行融合，获取目标图像。

应理解，由于第三图像具有两次高频增强后的图像灰度信息，而第四图像具有和第三图像一致的图像分辨率，且第四图像具有待处理图像进行分辨率放大后的色彩信息，将第三图像与第四图像进行融合获取的目标图像具有高分辨率的图像信息，实现了待处理图像放大为目标图像的分辨率放大过程。

在可选的实施方式中，对第二图像进行高频增强可以是多种实现方式，在图8的基础上，以图像灰度信息比对的方式为例，请参见图9，图9为本申请实施例提供的另一种图像处理方法的流程示意图，上述的S330a可以包括以下步骤：

S330a1，将第二图像中的第三图像区域与第一图像区域进行图像灰度信息比对，以获取增强高频信息。

该第三图像区域为第二图像中与第二图像区域相应的图像区域，增强高频信息表征第三图像区域与第一图像区域的图像灰度补偿信息。例如，可以使用反向传播的方式对第三图像区域与第一图像区域进行图像灰度信息比对。

S330a2，将增强高频信息更新至第三图像区域，以获取第三图像。

例如，对第三图像区域进行模糊处理和下采样，以得到差高频信息；该差高频信息表征第三图像区域和第一图像区域的图像灰度差异情况；继而对差高频信息进行上采样，获取增强高频信息。亦即是说，对第三图像区域进行下采样与原图(第一图像区域)作差比较，再将此差进行上采样后得到增强高频信息，将增强高频信息加入第三图像区域中，以弥补这些不自然的高频信息，增强目标图像的鲁棒性。

应理解，通过图像块匹配和反向传播这两个高频增强步骤，将大幅提升目标图像的清晰度和锐度。

例如，将得到的第三图像区域对应的图像灰度信息(HF_Y_enhance)进行模糊(如，高斯模糊)和下采样，并与最初的待处理图像的Y通道信息(LR_Y)作差，得到差高频信息。

差高频信息：Delta_Y＝LR_Y-DownSample(Blur(HR_Y_enhance))。

然后再将差高频信息(Delta_Y)进行上采样，以得到增强高频信息。

增强高频信息：Final_Y＝HF_Y_enhance+Constant*UpSample(Delta_Y)。

将增强高频信息(Final_Y)作为补偿高频信息加入第三图像区域对应的图像灰度信息(HF_Y_enhance)中，以得到第三图像，并与将待处理图像的色彩信息进行分辨率放大后的第四图像进行融合，以得到目标图像。

在可选的实施方式中，由于拍摄的图像少有YUV格式的图像，而本申请使用的图像灰度信息通过YUV格式的图像进行处理会更为的快捷，在图8的基础上，给出一种可能的实现方式，请参见图10，图10为本申请实施例提供的另一种图像处理方法的流程示意图，在上述的S310之前，该图像处理方法还可以包括：

S301，获取目标景物的拍摄图像。

该拍摄图像为RGB格式的图像。

S302，将拍摄图像进行色彩通道转换，以获取待处理图像。

该待处理图像为YUV格式的图像。

S303，获取待处理图像的色彩信息和灰度信息。

该色彩信息为待处理图像的UV通道对应的色彩图像信息，灰度信息为待处理图像的Y通道对应的亮度图像信息。

例如，在图10的基础上，上述的S330可以包括：将待处理图像的色彩信息进行分辨率放大，以获取第五图像；该第五图像的分辨率与第二图像的分辨率一致。将第二图像与第五图像进行融合，以获取第六图像；第六图像为YUV格式的图像；对第六图像进行色彩通道转换，以获取目标图像；目标图像为RGB格式的图像。

应理解，RGB格式是目前常用的一种彩色信息表达方式，它使用红、绿、蓝三原色的亮度来定量表示颜色；RGB格式也称为加色混色模型，是以RGB三色光互相叠加来实现混色的方法，因而适合于显示器等发光体的显示。YUV也是一种颜色编码方法，主要用于电视系统以及模拟视频领域，它将亮度信息(Y)与色彩信息(UV)分离，没有UV信息一样可以显示完整的图像，只不过是黑白的，这样的设计很好地解决了彩色显示屏与黑白显示屏的兼容问题；并且，YUV不像RGB那样要求三个独立的视频信号同时传输，所以用YUV方式传送占用极少的频宽，也就提高了本申请的图像处理效率。

为了便于理解上述的色彩通道转换和色彩信息放大的过程，本申请提供一种可能的实施例，请参见图11，图11为本申请实施例提供的另一种图像处理方法的流程示意图，该图像处理方法可以包括以下步骤：

第一步，获取目标景物的拍摄图像作为初始输入，该拍摄图像为RGB格式的图像。

第二步，将拍摄图像进行色域转换，即色彩通道转换，输出待处理图像，该待处理图像为YUV格式的图像；

第三步，将待处理图像的色彩信息进行放大，以获取第五图像，第五图像的分辨率与高频增强后的第二图像的分辨率一致；并将第五图像与高频增强后的第二图像进行融合，以获取第六图像；该第六图像为YUV格式的图像。

第四步，将第六图像进行色域转换，并输出目标图像，该目标图像为RGB格式的图像。

通过上述实施例提供的图像处理方法，以实现在低分辨率图像转换为高分辨率图像过程中的图像色域转换，提高了图像处理的效率。

为了便于理解上述实施例提供的图像处理方法，本申请实施例提供一种可能的完整实施例，请参见图12，图12为本申请实施例提供的另一种图像处理方法的流程示意图，该图像处理方法可以包括以下阶段：

图像预处理阶段：初始输入拍摄图像，对拍摄图像进行色域转换，以输出待处理图像。

高低频分离阶段：对待处理图像进行高低频分离，输出低频图像(HR_Y_LF)和高频图像(HR_Y_HF)。

图像块匹配阶段：对低频图像进行分辨率放大，以输出第一图像；使用待处理图像与第一图像进行匹配，以得到待进行高频增强的目标图像区域组合(HR_SPM Map)；根据目标图像区域组合和其对应的Y高频信息(图像灰度信息)对第一图像进行高频增强，以得到第二图像。

反向传播与二次高频增强阶段：对第二图像与待处理图像进行反向传播，以得到增强高频信息；使用增强高频信息对第二图像进行二次高频增强。

图像融合阶段：将第二图像进行二次高频增强处理后得到的图像与待处理图像放大后的色彩图像信息(UV通道信息)进行融合，得到YUV格式的目标图像(HR_YUV)。

图像后处理阶段：将YUV格式的目标图像进行色域转换后，输出最终的RGB格式的目标图像(HR_RGB)。

也就是说，将分辨率放大前后的两个图像进行匹配，以便将待处理图像的图像灰度信息更新至第一图像，并根据待处理图像的色彩信息对第二图像进行处理以获取目标图像，无需复杂的神经网络模型，提高了图像分辨率放大的效率，减少了图像处理的时间。

例如，请参见图13，图13为本申请实施例提供的一种图像处理的效果示意图，图13中的左图、右图均为将拍摄图像的分辨率从540p放大到2K的效果示意图，其中，图13中的右图(a)为将拍摄图像进行简单放大后得到的图像，图13中的左图(b)为将拍摄图像使用本申请实施例提供的图像处理方法后得到的图像，使用本申请实施例提供的图像处理方法，可以有效的提高图像分辨率放大的效率，并改善图像分辨率放大的效果。

为了实现上述实施例提供的图像处理方法，本申请实施例提供一种图像处理装置，请参见图14，图14为本申请实施例提供的一种图像处理装置的方框示意图，该图像处理装置40包括：获取模块41和处理模块42。

获取模块41用于获取将待处理图像进行分辨率放大后的第一图像。处理模块42用于当待处理图像中的第一图像区域与第一图像中的第二图像区域匹配时，将第一图像区域的图像灰度信息更新至第二图像区域，以获取第二图像。处理模块42还用于将第二图像进行高频增强并结合待处理图像的色彩信息，获取目标图像。目标图像的分辨率大于待处理图像的分辨率。

应理解，获取模块41和处理模块42可以协同实现上述任意一个实施例提供的图像处理方法。

以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上，本申请提供一种图像处理方法、装置、电子设备和计算机可读存储介质，涉及图像处理领域。该方法包括：获取将待处理图像进行分辨率放大后的第一图像；当待处理图像中的第一图像区域与第一图像中的第二图像区域匹配时，将第一图像区域的图像灰度信息更新至第二图像区域，以获取第二图像；根据待处理图像的色彩信息和第二图像，获取目标图像；目标图像的分辨率大于待处理图像的分辨率。将分辨率放大前后的两个图像进行匹配，以便将待处理图像的图像灰度信息更新至第一图像，并根据待处理图像的色彩信息对第二图像进行处理以获取目标图像，无需复杂的神经网络模型，提高了图像分辨率放大的效率，减少了图像处理的时间。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取将待处理图像进行分辨率放大后的第一图像；

当所述待处理图像中的第一图像区域与所述第一图像中的第二图像区域匹配时，将所述第一图像区域的图像灰度信息更新至所述第二图像区域，以获取第二图像；

将所述第二图像进行高频增强并结合所述待处理图像的色彩信息，获取目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率。

2.根据权利要求1所述的方法，其特征在于，获取将待处理图像进行分辨率放大后的第一图像，包括：

基于所述待处理图像的灰度信息获取低频图像；所述低频图像为所述待处理图像的亮度图像信息中小于或等于预设梯度阈值的图像灰度信息；

将所述低频图像进行分辨率放大，获取所述第一图像。

3.根据权利要求2所述的方法，其特征在于，在所述将所述第一图像区域的图像灰度信息更新至所述第二图像区域之前，所述方法还包括：

获取将所述待处理图像进行划分后的多个图像块；

根据预设匹配代价函数，确定所述多个图像块中与所述第二图像区域相似度最高的目标图像块；

确定所述目标图像块的多个邻域图像块；所述邻域图像块为距离所述目标图像块在预设范围内的图像块；

将所述目标图像块和所述多个邻域图像块作为所述第一图像区域。

4.根据权利要求3所述的方法，其特征在于，所述获取将待处理图像进行分辨率放大后的第一图像，还包括：

基于所述待处理图像的灰度信息获取高频图像；所述高频图像为所述待处理图像的亮度图像信息中大于预设梯度阈值的图像灰度信息；

所述将所述第一图像区域的图像灰度信息更新至所述第二图像区域，包括：

基于所述高频图像获取所述目标图像块的块高频信息；所述块高频信息表征所述目标图像块中大于所述预设梯度阈值的图像灰度信息；

基于所述高频图像获取所述第一图像区域的邻域高频信息；所述领域高频信息表征所述多个邻域图像块的加权图像灰度信息；

将所述块高频信息、所述邻域高频信息更新至所述第二图像区域，以获取所述第二图像。

5.根据权利要求1所述的方法，其特征在于，将所述第二图像进行高频增强并结合所述待处理图像的色彩信息，获取目标图像，包括：

获取将所述第二图像进行高频增强后的第三图像；

将所述待处理图像的色彩信息进行分辨率放大，以获取第四图像；所述第三图像的分辨率与所述第四图像的分辨率一致；

将所述第三图像与所述第四图像进行融合，获取所述目标图像。

6.根据权利要求5所述的方法，其特征在于，获取将所述第二图像进行高频增强后的第三图像，包括：

将所述第二图像中的第三图像区域与所述第一图像区域进行图像灰度信息比对，以获取增强高频信息；所述第三图像区域为所述第二图像中与所述第二图像区域相应的图像区域，所述增强高频信息表征所述第三图像区域与所述第一图像区域的图像灰度补偿信息；

将所述增强高频信息更新至所述第三图像区域，以获取所述第三图像。

7.根据权利要求6所述的方法，其特征在于，将所述第二图像中的第三图像区域与所述第一图像区域进行图像灰度信息比对，以获取增强高频信息，包括：

对所述第三图像区域进行模糊处理和下采样，以得到差高频信息；所述差高频信息表征所述第三图像区域和所述第一图像区域的图像灰度差异情况；

对所述差高频信息进行上采样，获取所述增强高频信息。

8.根据权利要求1-4任意一项所述的方法，其特征在于，在所述获取将待处理图像进行分辨率放大后的第一图像之前，所述方法还包括：

获取目标景物的拍摄图像；所述拍摄图像为RGB格式的图像；

将所述拍摄图像进行色彩通道转换，以获取所述待处理图像；所述待处理图像为YUV格式的图像；

获取所述待处理图像的色彩信息和灰度信息；所述色彩信息为所述待处理图像的UV通道对应的色彩图像信息，所述灰度信息为所述待处理图像的Y通道对应的亮度图像信息。

9.根据权利要求8所述的方法，其特征在于，所述根据所述待处理图像的色彩信息和所述第二图像，获取目标图像，包括：

将所述待处理图像的色彩信息进行分辨率放大，以获取第五图像；所述第五图像的分辨率与所述第二图像的分辨率一致；

将所述第二图像与所述第五图像进行融合，以获取第六图像；所述第六图像为YUV格式的图像；

对所述第六图像进行色彩通道转换，以获取所述目标图像；所述目标图像为RGB格式的图像。

10.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取将待处理图像进行分辨率放大后的第一图像；

处理模块，用于当所述待处理图像中的第一图像区域与所述第一图像中的第二图像区域匹配时，将所述第一图像区域的图像灰度信息更新至所述第二图像区域，以获取第二图像；

所述处理模块还用于将所述第二图像进行高频增强并结合所述待处理图像的色彩信息，获取目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-9中任意一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9中任意一项所述的方法。

Images