CN113240687A - 图像处理方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备和可读存储介质，属于图像处理技术领域。所述方法包括：对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签；从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像；对所述目标子图像进行超分辨率处理，得到超分处理图像；将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。本申请通过对目标子图像进行超分处理不仅可以提高图像的画质，而且可以降低电子设备的功耗。

Description

图像处理方法、装置、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，更具体的，涉及一种图像处理方法、装置、电子设备和可读存储介质。

背景技术

随着移动互联时代的到来，智能终端的流行已成为终端市场的主要趋势，人们不再仅满足于终端设备的外观以及基本功能，而是希望终端设备可以为其带来更具个性化的功能服务。并且，由于智能设备的普及，人们获取图像的方式更加简单快捷，如此也使得人们对图像分辨率的追求达到一个新的高度。因此，如何更好的对图像进行处理是亟待解决的技术问题。

发明内容

本申请提出了一种图像处理方法、装置、电子设备和可读存储介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签；从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像；对所述目标子图像进行超分辨率处理，得到超分处理图像；将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

第二方面，本申请实施例还提供了一种图像处理装置，所述装置包括：分割模块、获取模块、处理模块和拼接模块。其中，分割模块，用于对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签。获取模块，用于从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像。处理模块，用于对所述目标子图像进行超分辨率处理，得到超分处理图像。拼接模块，用于将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

第三方面，本申请实施例还提供了一种电子设备，包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个所述处理器执行，所述一个或多个应用程序被配置为用于执行上述方法。

第四方面，本申请实施例还提供了一种计算机可读介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的图像处理方法、装置、电子设备和可读存储介质，通过对待处理图像进行语义分割，以得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签，从一个或多个所述类别标签中获取目标标签，并将该目标标签对应的语义分割区域内的图像作为目标子图像，对目标子图像进行超分辨率处理，将得到的超分处理图像和背景图像进行拼接，得到超分目标图像。相对于将整张图片进行超分辨率处理，本申请通过仅对目标标签对应的目标子图像进行超分辨率处理，在保证图像画质的同时可以降低超分辨处理带来的不必要功耗。

本申请实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提供的图像处理方法的方法流程图；

图2示出了本申请一个实施例提供的图像处理方法中一个待处理图像的示意图；

图3示出了本申请一个实施例提供的图像处理方法中一种类别标签示意图；

图4示出了本申请一个实施例提供的图像处理方法中另一种类别标签示意图；

图5示出了本申请一个实施例提供的图像处理方法中多层标签分类示意图；

图6示出了本申请一个实施例提供的图像处理方法中另一个待处理图像的示意图；

图7示出了本申请一个实施例提供的图像处理方法中另一个待处理图像对应语义分割区域示意图；

图8示出了本申请一个实施例提供的图像处理方法中一个待处理图像中目标子图像的示意图；

图9示出了本申请一个实施例提供的图像处理方法中超分模型的训练框图；

图10示出了本申请一个实施例提供的图像处理方法中超分模型的训练过程示意图；

图11示出了本申请一个实施例提供的图像处理方法中像素重排列的示意图；

图12示出了本申请一个实施例提供的图像处理方法中另一个像素重排列的示意图；

图13示出了本申请另一个实施例提供的图像处理方法的方法流程图；

图14示出了本申请另一个实施例提供的图像处理方法中待处理图像包括多个指定类别标签的示意图；

图15示出了本申请另一个实施例提供的图像处理方法中步骤S220的步骤流程图；

图16示出了本申请另一个实施例提供的图像处理方法中对语义分割区域内的图像的图形参数进行说明的图像示意图；

图17示出了本申请另一个实施例提供的图像处理方法中对语义分割区域内的图像的图形参数进行说明的另一图像示意图；

图18示出了本申请另一个实施例提供的图像处理方法中对语义分割区域内的图像的图形参数进行说明的又一图像示意图；

图19示出了本申请又一个实施例提供的图像处理方法的方法流程图；

图20示出了本申请又一个实施例提供的图像处理方法中关键图像与目标子图像的关系示意图；

图21示出了本申请实施例提供的图像处理装置的模块框图；

图22示出了本申请实施例提供的电子设备的结构框图；

图23示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

现有技术在对图像或者视频帧进行处理时，通常是在显示链路上将待显示图像的内容源直接拉伸或者缩小到屏幕对应的分辨率，而后将拉升或者缩小后的图像显示在电子设备的屏幕上。然而，通过简单的拉升处理会使原本比较清晰的画面变的模糊，即出现边缘模糊化的效果，可见，简单的拉升处理会导致内容源的画面失真进而影响用户的观体验。虽然，通过补充黑画面的方式能够避免内容源数据失真的问题，但是只显示一小部分图像对用户的使用体验并没有提升。为了解决上述问题，人们提出了AI(ArtificialIntelligence，人工智能)超分算法技术，但是对图像或者视频进行超分处理，会使电子设备的功耗增大，如此会降低用户的使用体验。

针对上述问题，发明人提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质，通过对待处理图像中的目标子图像进行超分处理，不仅可以保证待处理图像的画质，而且可以降低电子设备的功耗。其中，具体的图像处理方法在后续的实施例中进行详细的说明。

请参阅图1，图1示出了本申请一个实施例提供的图像处理方法的流程示意图。在具体的实施例中，所述图像处理方法应用于如图21所示的图像处理装置400以及应用于图22所示的电子设备500。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、笔记本电脑、可穿戴电子终端、车载终端、服务器等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像处理方法具体可以包括步骤S110至步骤S140。

步骤S110：对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签。

在本申请实施例中，待处理图像可以是电子设备待处理的图像，可用于电子设备进行显示，其可以是图片，也可以是电子设备待处理的视频中的某一帧视频图像，此处不作限定。可选的，电子设备可以从服务器获取待处理图像，可以从本地获取待处理图像，也可以是从其他电子设备获取待处理图像，具体如何获取待处理图像这里不进行限定可以根据实际情况进行选择。

在一些实施方式中，当待处理图像由电子设备从服务器获取时，那么该待处理图像可以是电子设备从服务器下载，或者可以是电子设备从服务器在线获取。例如，待处理图像可以是电子设备通过安装的视频播放软件下载好视频或者在该视频播放软件在线获取到视频后，提取出该视频中的一帧视频图像作为本申请的待处理图像。其中，该服务器可以为云服务器。

在另一些实施方式中，当所述待处理图像从电子设备的本地获取时，该待处理图像可以是电子设备预先下载并存储在本地存储器中的图像和视频图像数据；当所述待处理图像由电子设备从其他电子设备获取时，该待处理图像可以由其他电子设备通过无线通信协议传输至所述电子设备，例如，通过Wlan协议、蓝牙协议、ZigBEE协议或者WiFi协议等，也可以由其他电子设备通过数据网络传输至所述电子设备，例如，2G网络、3G网络、4G网络或者5G网络等，在此不做限定。

在另一些实施例中，若需要对整个待处理视频进行超分处理时，也可以依次提取视频中的每一帧视频图像作为本申请的待处理图像执行本申请的方案。具体的，可以先对该待处理视频进行视频图像分解，得到该待处理视频对应的视频图像帧序列，然后从该视频图像帧序列中，按照时间先后顺序依次选取一帧视频图像作为待处理图像。可选的，也可以是提取视频图像帧序列中的部分帧视频图像作为待处理图像，以减少超分处理过程中的计算量。其中，该部分帧视频图像可以是关键帧视频图像，所述关键帧视频图像可以是包括关键人物或者关键物体等的视频帧图像。另外，部分帧视频图像也可以是奇数帧视频图像或偶数帧视频图像，或者也可以是每隔预设数量帧提取的帧视频图像。

在一些实施方式中，语义分割可以是将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的语义分割图像，该语义分割图像可以作为语义分割区域，即语义分割可以是对图像上的每一个像素点进行分类，以得到最终的一个或多个语义分割区域。

本申请实施例中，语义分割可以理解为：根据待处理图像中每个像素点所属的类别，为各像素点分配类别标签(类别标签包括类别信息)，得到一个或多个语义分割区域，从该定义可以确定，语义分割区域中每个类别标签按照待处理图像中对应像素点的位置排列，每个类别标签表示对应的像素点的类别信息，且每个语义分割区域可以对应有不同的类别标签。

作为一个示例，在获取到如图2所示的待处理图像时，本申请实施例可以对所述待处理图像进行语义分割，以得到如图3所示的一个或多个语义分割区域语义分割区域，图2所示的待处理图像存在一个人物101，图3中在人物101对应的像素点的位置上的类别标签为1，标签为1的语义分割区域与所述图2中的人物101的区域相对应。其他位置的像素点的类别可以为0，标签为0的语义分割区域与所述图2中除人物101之外的区域相对应，即数值1表示该位置的像素的类别为人物，0表示该位置的像素点的类别为背景。

另外，其他位置的像素点的类别也可以根据待处理图像中物体的不同对应分成不同的类别，具体的，待处理图像包括包包102，图4中在包包102对应的像素点的位置上类别标签可以为2，由2组成的语义分割区域与图2中包包102的区域对应；待处理图像包括植物或者草地103，由3组成的语义分割区域与图2中植物或者草地103的区域对应，图4中在植物或者草地103对应的像素点的位置上类别标签可以为3；待处理图像包括人行道104，由4组成的语义分割区域与图2中人行道104的区域对应，图4中在人行道104对应的像素点的位置上类别标签可以为4；待处理图像包括房屋或者建筑105，由5组成的语义分割区域与图2中房屋或者建筑105的区域对应，图4中在房屋或者建筑105对应的像素点的位置上类别标签为5。

另外，对图2所示的待处理图像进行语义分割，得到一个或多个语义分割区域时，本申请实施例可以基于一个或多个语义分割区域为每个所述类别标签创建相应的输出通道，类别标签不同则对应的输出通道也不相同，如图5所示的多层标签分类图可以是与图4相互对应。具体的，图5所示的多层标签分类图可以是基于图4所示的语义分割区域获取的，即在获取到图4所示的语义分割区域时，本申请实施例可以为语义分割区域的类别标签分配一个通道，即类别标签与通道数相对应，如图4有5个类别标签，则其对应的通道数也为5。

在一些实施方式中，为了方便数据的处理，在获取多层标签分类图时，每个标签分类图可以通过0和1表示，具体的，人物101对应的Person通道中，人物101对应的区域的值为1，其他区域的值则为0；包包102对应的Purse通道中包包102对应的区域的值为1，其他区域的值则为0；植物或者草地103对应的Plants/Grass通道中，植物或者草地103对应的区域的值为1，其他区域的值则为0；人行道104对应的Sidewalk通道中，人行道104对应的区域的值为1，其他区域的值则为0；房屋或者建筑105对应的Duilding/Structure通道中，房屋或者建筑105对应的区域的值为1，其他区域的值则为0。另外，图5中的height和width可以是待处理图像的宽度和高度，class则指的是待处理图中不同的类别标签。

本申请实施例中的类别可以是待处理图像承载的对象的类别，该类别不限，可以是人、物或者景色等。

作为一种方式，本申请实施例可以利用传统的语义分割方法对所述待处理图像进行语义分割处理，也可以利用基于神经网络的分割方法对所述待处理图像进行语义分割，其中，传统的语义分割方法可以包括基于统计的方法和基于几何的方法。基于神经网络的语义分割可以包括基于候选区域的深度语义分割方法和基于全卷积的深度语义分割方法，基于神经网络的语义分割方法与传统的语义分割方法最大不同是，网络可以自动学习图像的特征，进行端到端的分类学习，如此可以大大提升语义分割的精确度。

本申请实施例中，神经网络的语义分割方法可以是基于全卷积的深度语义分割方法，基于全卷积的深度语义分割方法主要特点是全卷积网络没有全连接层，全部由卷积层构成。其中，基于全卷积的深度语义分割方法可以包括FCN网络(Fully ConvolutionalNetwork，全卷积神经网络)、SegNet网络以及GAN网络(Generative Adversarial Nets，生成对抗网络)等。其中，GAN网络是一种深度学习模型；这里以生成图片为例进行说明，GAN中包括两个网络，生成(Generator)网络和对抗(Discriminator)网络，其中，生成网络用于生成图片，对抗网络用于判别生成网络所生成的图片是不是为真实的图片；也就是说，GAN网络用于生成一个不容易被检测出不是真实图片的图片。

在另一些实施方式中，在获取的待处理图像时，可以将待处理图像输入至语义分割模型，得到一个或多个语义分割区域，其中，语义分割模型可以是通过包括多个类别标签的数据集训练获取的，且每个语义分割区域可以对应有不同的类别标签。

示例性地，本申请实施例可以利用语义分割模型对所述待处理图像进行语义分割，以得到一个或多个语义分割区域，其中，语义分割模型可以是通过包括多个类别标签的数据训练FCN网络获取的。具体的，首先将获取的待处理图像输入至语义分割模型，经过多次卷积及池化可以得到一系列的特征图，然后利用反卷积层对最后一个卷积层得到的特征图进行上采样，使得上采样后特征图与原图像的大小一样，从而实现对特征图上的每个像素值进行预测的同时保留其在原图像中的空间位置信息，最后对上采样特征图进行逐像素分类，逐个像素计算softmax分类损失，以得到最终的语义分割区域。

作为一种方式，虽然对整个待处理图像进行超分处理可以得到较好的图像画质，但是对整个图像进行超分处理不仅功耗高，而且处理时间长，为了解决该问题，本申请实施例可以通过语义分割，得到一个或多个类别标签，并基于获取的一个或多个类别标签确定一个目标标签，即进入步骤S120。

步骤S120：从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像。

本申请实施例中，目标标签可以是所述待处理图像的主体标签，所述主体标签对应的像素区域可以是人眼关注的主要区域，并且不同用户其所重点关注的区域也不相同，故目标标签可以根据用户的实际需求确定。具体的，电子设备可以获取与人眼关注区域对应的语义分割区域，并将该语义分割区域对应的类别标签作为目标标签，其中，人眼关注区域可以是预设的人眼关注区域，其可以是人眼关注的主要区域，不同的用户因为用眼习惯以及关注重点的不同，对应的人眼关注区域也不相同。

作为一种方式，对待处理图像进行语义分割，得到一个或多个类别标签时，本申请实施例可以从一个或多个类别标签中获取目标标签，其中，目标标签可以是从一个或多个所述类别标签中查找满足超分条件的标签，所述超分条件包括类别标签属于指定类别和类别标签对应的语义分割区域内的图像的图形参数满足指定条件中的至少一种。换句话说，目标标签可以是满足超分条件的标签，其中，超分条件可以是类别标签包括指定类别，也可以是类别标签对应的语义分割区域内的图像的图形参数满足指定条件，或者也可以是类别标签包括指定类别，并且类别标签对应的语义分割区域内的图像的图形参数满足指定条件。

在一些实施方式中，目标标签可以是一个或多个类别标签中的至少一个标签，即目标标签的数量小于一个或多个类别标签的数量。例如，对如图6所示的待处理图像进行语义分割，得到如图7所示的语义分割区域，其中，语义分割区域包括4个分割区域，所述4个分割区域对应不同的类别标签，所述四个分割区域分别是A、B、C和D，其中，A区域与图6中的牛601对应；B区域与图6中的草地602对应；C区域与图6中的天空603对应；D区域与图6中的树木604对应，然后基于语义分割区域从四个类别标签中选出目标标签，如可以将牛作为目标标签。

作为一种方式，目标标签可以包括一个类别标签也可以包括多个类别标签，当一个或多个类别标签中满足超分条件的标签有一个时，目标标签的数量为一个；当一个或多个类别标签中满足超分条件的标签有多个时，目标标签的数量则可以为多个。例如，A类标签和B类标签均满足超分条件，那么A类标签和B类标签均可以称作是目标标签。

作为另一种方式，从一个或多个类别标签中获取目标标签之后，本申请实施例可以将该目标标签对应区域内的图像作为目标子图像，所述目标子图像可以是待处理图像中的子图像，即目标子图像可以是通过语义分割从待处理图像里分割出的主体图像。例如，对如图2所述的待处理图像进行语义分割可以得到如图4所示的语义分割区域，该语义分割语义包括5个类别标签，然后结合如图5所示多层标签分类图，从一个或多个所述类别标签中获取目标标签，并将该目标标签对应的语义分割区域内的图像作为目标子图像，即将图5中person层数据对应的图像作为目标子图像，最后得到的目标子图像可以如图8所示，通过图8看出目标子图像为人物101对应的图像。

步骤S130：对所述目标子图像进行超分辨率处理，得到超分处理图像。

在一些实施方式中，电子设备在获取到目标子图后可以将该目标子图像输入至预先训练好的超分网络模型，利用所述超分网络模型对所述目标子图像进行特征提取和上采样处理，得到所述超分处理图像。其中，超分网络模型可以对所述目标子图像进行超分辨率重建，得到超分处理图像，所述超分处理图像可以是高分辨率图像。

作为另一种方式，将所述目标子图像输入预先训练好的超分网络模型后，该超分网络模型可以将所述目标子图像中宽高维度的部分像素点转移至通道维度进行重新排列，以得到分辨率小于目标子图像的原始分辨率的第一图像，然后该超分网络模型可以基于该第一图像的图像特征输出分辨率大于目标子图像的原始分辨率的超分处理图像，所述超分处理图像可以是目标子图像经过超分辨率重建获取的高分辨率图像。

在一些实施例中，上述预先训练好的超分网络模型可以预先根据大量训练样本进行训练得到。其中，训练样本可以包括低分辨率图像样本以及该低分辨率图像样本对应的高分辨率图像样本。从而预先训练好的超分网络模型可以用于根据获取的目标子图像，输出目标子图像重建后分辨率高的图像，以得到超分处理图像。需要说明的是，本申请实施例中低分辨率图像样本以及与低分辨率图像样本对应的高分辨率图像样本均可以包括主体场景图像，即在对超分网络模型时，本申请实施例可以先对获取的训练样本进行分割，以获取到每个训练样本对应的主体图像，然后利用分割获取的主体图像训练获取所述超分网络模型。

在另一些实施方式中，为了加快模型获取速度，本申请实施例也可以同步对语义分割模型和超分网络模型进行训练，具体的，本申请可以先获取多个训练样本，每个所述训练样本均可以包括主体场景图，该主体场景图可以是用户根据经验值输入，然后利用训练样本训练语义分割模型。另外，通过训练好的语义分割模型对训练样本进行分割，可以获取到的主体场景图，并利用主体场景图像训练超分网络模型，并且在获取到新的训练样本时，不需要人工标注主体场景，只需要将其输入至语义分割模型，即可得到主体场景图，该主体场景图即可作为训练超分网络模型的训练样本。

综上所述，可以将现有的高分辨率图像样本进行分割，确定出每个高分辨率图像中的主体场景图，并将分割出的主体场景图作为上述高分辨率图像样本，其对应的低分辨率图像样本可以是对现有的高分辨率图像样本进行一些降分辨率处理来得到。

为了更清楚的理解，超分模型的训练过程本申请实施例给出了如图9所示的示例图，图9的901为高分辨率图像，902是低分辨率图像，903则是多个训练样本，所述训练样本可以是针对主体场景训练的样本，即903可以包括9031，9031对应的训练样本可以包括多个高分辨率主体场景图，且每个高分辨率主体场景图可以对应一个低分辨率主体场景图，低分辨率主体场景图可以是对现有的高分辨率主体场景图进行一些降分辨率处理来得到。在获取到高分辨率图像901之后，本申请实施例可以利用降采样以及加性噪声等对高分辨率图像进行处理，以得到低分辨率图像902。

作为一个示例，获取到第一高分辨率图像P1之后，首先可以将所述第一高分辨率图像P1缩小为低分辨率图像P2，其中，第一高分辨率图像P1可以是高分辨率图像样本，而低分辨率图像P2则可以是低分辨率图像样本。然后，本申请实施例可以利用深度学习网络模型将低分辨率图像P2重建成新的第二高分辨率图像P3，接着将新的第二高分辨率图像P3与第一高分辨率图像P1进行比较，根据对比第二高分辨率图像P3与第一高分辨率图像P1的相似度来调节深度学习网络模型，最后便可以得到超分网络模型。具体请参阅图10，图10中的1001为第一高分辨率图像，而1002则为缩小后的低分辨率图像，利用深度学习网络模型对低分辨率图像1002进行重建，得到第二高分辨率图像1003，而后通过对比第二高分辨率图像1003与第一高分辨率图像1001来对网络模型进行不断调整，进而得到超分网络模型。

作为一种方式，可以是对现有的第一高分辨率图像进行不同程度的模糊后，再进行下采样，得到低分辨率图像，并在该低分辨率图像上增加一定的噪声来生成模型训练的低分辨率图像。

在一些实施例中，上述超分网络模型可以是采用L1 Loss、L2 Loss以及VGG loss组成的混合loss损失函数进行网络的训练。该混合的公式可以是loss＝α*L1(HR,GT)+β*L2(HR,GT)+γ*Perceptual(HR,GT)。其中，HR表示网络的重建结果；GT为真实高分辨率图像；α，β，γ表示权重系数，可以根据具体情况合理设置，如α＝1,β＝1,γ＝0.001；Perceptualloss采用预训练好的VGG网络提取图像特征，再进行L1 loss进行计算。

在一些实施例中，超分网络模型可以预先存储于电子设备本地，电子设备可以直接从本地调用超分网络模型，并将目标子图像输入至超分网络模型。在另一些实施例中，超分网络模型也可以存储于服务器，电子设备在需要对目标子图像进行超分辨率重建时，可以调用服务器中的超分网络模型。例如，将目标子图像发送至服务器，以指示服务器将该目标子图像输入至超分网络模型中，进行目标子图像的超分辨率重建。

作为一种方式，本申请的超分网络模型可以通过将目标子图像中宽高维度的部分像素点转移至通道维度进行重新排列，使得目标子图像原本宽高维度上的像素点减少，目标子图像的分辨率尺度降低，也即最终得到的是分辨率小于目标子图像的原始分辨率的第一图像，从而实现了目标子图像的下采样操作，得到了目标子图像的低分辨率尺度的图像信息。

其中，通道维度可以是图像中除Width宽维度和Height高维度以外的ChaNNel图像通道维度。目标子图像的分辨率尺度大小可以理解为目标子图像中Width宽维度和Height高维度上像素点的多少。在一些实施例中，上述像素重排列的过程，也可称为Space-to-Depth，即将Space数据(Width维和Height维的像素)移到Depth(ChaNNel维)上。

在一些实施例中，将目标子图像中宽高维度的部分像素点转移至通道维度进行重新排列，可以是从目标子图像中宽高维度的所有像素点中，四处均匀地选取出部分像素点转移至通道维度进行重新排列，以保证获得大感受野的图像特征。本申请的像素重排列方式的感受野为整个目标子图像区域，感受野更大，得到的低分辨率尺度的图像更准确。其中，感受野可以定义为输出图像中每个像素能够反映输入图像区域的大小，更大的感受野可以使得网络能够利用更多的上下文信息进行图像超分辨重建，能够有更全局的映射。

示例性地，请参阅图11，假设目标子图像(图11中的左侧图像)的分辨率尺度为6*6，图像通道维度为2，经过Space-to-Depth的像素重排列后，得到的第一图像的分辨率尺度为3*3，图像通道维度为8。也即将目标子图像中宽高维度的部分像素点转移至通道维度进行重新排列后，得到第一图像(图11中的右侧图像)的宽度尺寸缩小2倍，高度的尺寸缩小2倍后，图像通道维度增大4倍。且如图11所示，第一图像中每个通道图像中的像素点均是从目标子图像中的四处均匀提取，可以反映整个图像的特征，得到的是大感受野的图像特征。例如，目标子图像的像素点的范围是1-30，本申请实施例可以通过四处均匀提取的方法从目标子图像中提取每个通道图像中的像素点，具体的，将目标子图像中的像素点0、5、10、15、20、25以及30作为第一通道中的像素点，将1、6、11、16、21、26作为第二通道中的像素点，将2、7、12、17、22、27作为第三通道中的像素点，以此类推，具体情况这里就进行一一赘述了。

可以理解的是，在本申请中，上述像素重排列的方式可以实现对目标子图像的无损下采样操作，并且，上述像素重排列的方式虽然增加了通道维度数，但同样实现了分辨率尺度的降低，且图像信息并未丢失，而是转移至通道维度存在，从而能够更好的在低分辨率尺度上保留图像的细节信息，进而利用该低分辨率尺度的图像信息，能实现更好的超分辨率重建效果。且由于大部分的计算均在下采样后的图像层级上进行，可以减少大量的计算，更加适合在低功耗低计算力的端侧上进行运行。

在一些实施例中，在得到分辨率小于目标子图像的原始分辨率的第一图像，及低分辨率尺度的图像信息后，可以将第一图像与目标子图像的原始图像信息进行融合，得到更丰富的图像信息，然后基于该图像信息重建出分辨率大于目标子图像的原始分辨率的超分处理图像。

在本申请实施例中，电子设备将目标子图像输入预先训练好的超分网络模型之后，可以获得超分网络模型输出的分辨率大于该目标子图像的分辨率的超分处理图像。从而实现图像超分辨率重建。

在另一个实施例中，超分网络模型可以包括下采样模块，该下采样模块用于根据下采样尺度将图像中宽高维度的部分像素点转移至通道维度进行重新排列。电子设备在获取到目标子图像后，可以将目标子图像输入超分网络模型的下采样模块，以使该下采样模块根据下采样尺度将目标子图像中宽高维度的部分像素点转移至通道维度进行重新排列，从而得到目标子图像的第一图像，其中，所述第一图像的分辨率小于所述目标子图像的分辨率，也即得到目标子图像的低分辨率尺度的图像。

其中，下采样尺度的大小可以理解为将原图像的宽高尺度缩小至原图像的多少倍。例如，一个H*W尺度的图像，下采样尺度为2，则下采样后得到是一个H/2*W/2尺度的图像。

在一些实施例中，下采样模块可从目标子图像中宽高维度的所有像素点中，采样出与下采样尺度对应的部分像素点转移至通道维度进行重新排列。下采样尺度为2，则需要从目标子图像中宽高维度的所有像素点中，采样出与一半的像素点转移至通道维度进行重新排列。

在本申请实施例中，上述超分网络模型还可以包括特征提取模块。在得到分辨率小于目标子图像的分辨率的第一图像后，可以将该第一图像输入超分网络模型的特征提取模块，以使该特征提取模块对该第一图像进行特征提取，得到所述第一图像的第一特征图(feature map)。其中，该第一特征图中包括多个特征数值，反映了低分辨率尺度上比较粗糙的图像特征。

在一些实施例中，特征提取模块可以是由多个卷积层构成，该第一图像输入超分网络模型的特征提取模块后，可以通过该多个卷积层对第一图像进行多次的卷积操作，从而得到第一图像的第一特征图。其中，可以按照实际任务的需求，控制特征提取模块的卷积层个数，以更加细致的控制所需的算力以及内存等，保证本方案可在低算力的端侧设备实现。

在另一些实施例中，为了保证特征提取的准确度，特征提取模块也可以是基于深度学习的网络模型。例如，可以是基于深度学习的神经网络(Neural Networks，NN)模型，也可以是基于深度学习的卷积神经网络(Convolutional Neural Networks,CNN)模型，从而通过这些网络模型实现较为精确的特征提取。

在一些实施例中，上述特征提取模块可以用于对第一图像进行尺度不变的特征提取，也即提取出的第一特征图的宽高尺度与第一图像的宽度尺度相同。具体的，可以通过填充padding的方式，在图像周围补0的方式，来保证图像的尺寸大小不发生改变。

本申请实施例中，上采样模块可以用于根据上采样尺度将图像中通道维度的部分像素点转移至宽高维度进行重新排列。电子设备在获取到第一图像的第一特征图后，可以将第一特征图输入超分网络模型的上采样模块，以使该上采样模块根据上采样尺度将第一特征图中通道维度的部分像素点转移至宽高维度进行重新排列，从而得到目标子图像的超分处理图像，其中，该超分处理图像的分辨率大于目标子图像的分辨率，也即得到目标子图像重建后更高分辨率的图像。

其中，上采样尺度的大小可以理解为将原图像的宽高尺度放大至原图像的多少倍。例如，一个H*W尺度的图像，上采样尺度为2，则下采样后得到是一个2H*2W尺度的图像。

在一些实施例中，上采样模块可从图像中通道维度的所有像素点中，采样出与上采样尺度对应的部分像素点转移至宽高维度进行重新排列。上采样尺度为2，则需要从图像中通道维度的所有像素点中，采样出一半的像素点转移至宽高维度进行重新排列。

示例性地，请参阅图12，假设第一图像(图12中的左侧图像)的分辨率尺度为3*3，图像通道维度为8，经过Depth-to-Space的像素重排列后，得到的超分处理图像的分辨率尺度为6*6，图像通道维度为2。也即将第一图像中通道维度的部分像素点转移至宽高维度进行重新排列后，得到的第一图像(图12中的右侧图像)的宽度尺寸放大2倍，高度的尺寸放大2倍后，图像通道维度缩小4倍。

可以理解的是，在通过像素重排列的方式进行目标子图像的下采样操作后，可以得到比较大感受野的图像特征，然后结合该图像特征信息，并通过像素重排列的方式进行上采样操作，以放大到所需的高分辨率尺寸，从而可以得到效果比较好的超分辨率图像。

在一些实施例中，在得到比较大感受野的图像特征后，可以该图像特征与模型输入的原始目标子图像进行融合，以得到的更为完善的图像信息，并基于该图像信息放大到所需的高分辨率尺度，保证了超分辨率重建的效果。

在一些实施方式中，对目标子图像进行超分处理，得到超分处理图像后，本申请实施例可以将所述超分处理图像与背景图像进行拼接，得到超分目标图像，即进入步骤S140。

步骤S140：将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

作为一种方式，获取到超分处理图像后，本申请实施例可以直接将所述超分处理图像与背景进行拼接处理，得到超分目标图像，其中，背景图像可以是所述待处理图像中所述目标子图像之外的区域对应的图像，即背景图像可以是待处理图像中除目标子图像之外的图像。如图2所示的待处理图中，背景图像可以是包包、植物或者草地、人行道房屋或者建筑对应的图像。

作为另一种方式，在对超分处理图像与背景图像进行拼接之前，本申请实施例也可以对背景图像进行图像处理，具体的，可以利用邻近插值算法活着双线性内插法进行图像处理。其中，邻近插值算法，不需要计算，在待求像素的四邻像素中，将距离待求像素最近的邻接像素灰度值赋予待求像素即可；双线性内插法是利用待求象素四个邻象素的灰度在两个方向上作线性内插。

应当理解的是，将超分处理图像与背景图像直接进行拼接，得到的超分目标图像中，超分处理图像与背景图像的连接处会存在不流畅的问题。因此，将所述超分处理图像和所述背景图像进行拼接后，还可以包括对所述超分处理图像和所述背景图像的拼接处进行平滑处理。

在一些实施方式中，图像平滑即压制、弱化或消除图像中的细节、突变、边缘和噪声。图像平滑是对图像作低通滤波，可在空间域或频率域实现。空间域图像平滑方法主要用低通卷积滤波、中值滤波等；频率域图像平滑常用的低通滤波器有低通梯形滤波器、低通高斯滤波器、低通指数滤波器、巴特沃思低通滤波器等。通过平滑处理使最终获取的超分目标图像更加的自然。

在一些实施例中，电子设备在获取到超分目标图像后，可以将该超分目标图像进行显示。可选的，可以将超分目标图像与待处理图像对比显示，以突出图像处理的效果，提升用户的视觉体验。在一些实施例中，当待处理图像为待处理视频中的图像时，可以获取待处理视频中的每个视频图像帧进行本申请的图像处理得到的超分目标图像，然后将超分目标图像按照视频播放时间顺序重新拼接组合，得到超分辨率的视频，电子设备可以将该超分辨率视频进行播放显示，从而用户可以观看到分辨率更高的视频，提升了用户的视觉体验。

本申请实施例提出的一种图像处理方法通过对待处理图像进行语义分割，以得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签，从一个或多个所述类别标签中获取目标标签，并将该目标标签对应的语义分割区域内的图像作为目标子图像，对目标子图像进行超分辨率处理，将得到的超分处理图像和背景图像进行拼接，得到超分目标图像。相对于将整张图片进行超分辨率处理，本申请通过仅对目标标签对应的目标子图像进行超分辨率处理，在保证图像画质的同时可以降低超分辨处理带来的不必要功耗。

本申请另一实施例提供了一种图像处理方法，所述方法可以应用电子设备，请参阅图13，该图像处理方法可以包括步骤S210至步骤S240。

步骤S210：对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签。

步骤S220：从一个或多个所述类别标签中查找满足超分条件的标签作为目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像。

作为一种方式，对待处理图像进行语义分割，得到一个或多个类别标签之后，本申请可以从一个或多个类别标签中选出满足超分条件的标签作为目标标签。其中，超分条件可以包括类别标签属于指定类别和类别标签对应的语义分割区域内的图像的图形参数满足指定条件中的至少一种。

具体的，超分条件可以是类别标签属于指定类别，即获取到一个或多个类别标签之后，本申请实施例可以确定一个或多个类别标签中是否包括指定类别标签，如果包括指定类别标签，则将该指定类别标签作为目标标签。其中，指定类别标签可以是所述电子设备在出厂之前预先设置的，即指定类别标签可以是工程人员根据实际情况预先设置的标签。例如，当图像中有人物存在时，用户打开图像首先关注到的对象通常是人物，尤其是自拍图像中，用户主要的关注点大多在人物上，故可以将人物预先设置成指定类别。

在另一些实施方式中，同一个图像中可以包括多个不同类别的指定类别标签，在确定一个或多个类别标签包括多个指定类别标签时，本申请实施例可以将所述多个指定类别标签均作为目标标签。例如，指定类别标签包括人物和猫，当确定待处理图像中的一个或多个类别标签中既包括人物，又包括猫时，可以将人物和猫对应的标签作为目标标签。如图14所示的待处理图像中既包括人物201，又包括猫202，那么人物201和202对应的图像就可以作为目标子图像。

作为一种方式，指定类别标签也可以是根据用户的实际情况确定，即不同的用户对应的指定类别标签不相同，并且同一用户不同时间对应的指定类别标签也可能不相同。因此，在确定一个或多个类别标签中是否包括指定类别标签之前，本申请实施例可以获取用户的偏好数据，并根据所述偏好数据确定所述用户对应的指定类别标签。其中，偏好数据可以是通过分析用户的历史使用数据获取的，所述历史使用数据可以包括网页浏览记录、图像浏览记录以及聊天记录等，通过分析这些历史数据便可以综合获取到每个电子设备对应用户的偏好数据，然后基于该偏好数据确定用户对应的指定类别标签。例如，用户的历史使用数据包括大量关于猫的数据，则确定该用户为爱猫人士，即获取到用户的偏好数据主要是猫，此时则可以将猫作为指定类别标签。

可选地，本申请实施例可以每隔预设时间段获取一次用户的偏好数据，然后基于该偏好数据确定出用户在该时间段内的偏好，并根据偏好数据确定出用户对应的指定类别标签。另外，在获取到当前时间段内用户对应的第一指定类别标签时，本申请实施例可以确定所述第一指定类别标签与第二指定类别标签是否不相同，其中，第二指定类别标签可以是前一时间段用户对应的指定类别标签，当第一指定类别标签与第二指定类别标签不同时，利用第一指定类别标签代替所述第二指定类别标签。例如，用户在第一时间段特别喜欢服装设计，而在第二时间段喜欢鞋子，此时则可以将指定类别标签从服装切换成鞋子。

在另一些实施方式中，超分条件可以是类别标签对应的语义分割区域内的图像的图形参数满足指定条件，请参阅图15，从一个或多个类别标签中获取目标标签可以包括步骤S221至步骤S222。

步骤S221：获取每个所述类别标签对应的语义分割区域内的图像的图形参数。

本申请实施例中，所述指定类别标签对应的语义分割区域内的图形参数可以包括深度参数和面积参数中的至少一个。其中，深度参数也可以称作是距离参数，所述深度参数可以是获取图像时，图像中各物体与电子设备摄像头之间的距离，物体的深度参数越小表示该物体与摄像头之间的距离越近。例如，在获取如图16所示的待处理图像时，该图像中绿植203相较摄像头的距离小于天空204相较摄像头的距离，故绿植203的深度参数小于天空204的深度参数。

在一些实施方式中，面积参数可以是类别标签对应的语义分割区域在总的语义分割区域内的面积，面积参数也可以是每个类别标签对应的语义分割区域内像素点个数，所述面积参数也可以是每个类别标签点对应的语义分割区域内的像素点个数与所述待处理图像的总像素点个数的比值。另外，本申请实施例可以通过语义分割获取不同类别标签对应区域内图像的面积参数，即基于语义分割区域确定待处理图像中各子图像的面积参数。例如，对图16进行语义分割可以得到如图17所示的语义分割区域，该语义分割区域与待处理图像相互对应，与河流205对应的面积参数可以是S1，与绿植203对应的面积参数可以是S2，该图像分割区域的总面积可以是S，通过图17可以清晰的看出面积参数S1小于面积参数S2。

步骤S222：将所述图形参数满足指定条件的类别标签作为所述目标标签。

作为一种方式，将所述图形参数满足指定条件的类别标签作为所述目标标签可以包括：将所述深度参数小于预设深度的类别标签作为所述目标标签，所述预设深度可以是预先设置好的深度大小，也可以根据待处理图像的实际情况获取。例如，待处理图像中的各个子图像的深度参数均比较大，此时则可以将预设深度适当调大。另外，预设深度也可以是多个深度参数的平均值，预设深度具体如何设置这里不进行明确限制，可以根据实际情况进行选择。

可选地，将所述图形参数满足指定条件的类别标签作为所述目标标签也可以包括：获取每个所述类别标签对应的语义分割区域内的图像的深度参数，然后根据深度参数的大小对所述一个或多个类别标签对应的语义分割区域内的图像进行从小到大的排序(或者是从大到小的排序)，并将深度参数最小的语义分割区域对应的类别标签作为目标标签。如图18所示的待处理图像中，牛206、草地207、树木208和天空209中深度参数最小的是牛206，此时就可以将牛作为目标标签。

作为另一种方式，将所述图形参数满足指定条件的类别标签作为所述目标标签，包括：将所述面积参数大于预设面积的类别标签作为所述目标标签，所述预设面积可以是预先设置好的面积大小，也可以根据待处理图像的实际情况获取。例如，待处理图像中的各个子图像的面积参数均比较小，此时则可以将预设面积适当调小。另外，预设面积也可以是多个面积参数的平均值，预设面积具体如何设置这里不进行明确限制，可以根据实际情况进行选择。

可选地，将所述图形参数满足指定条件的类别标签作为所述目标标签也可以包括：获取每个所述类别标签对应的语义分割区域内的图像的面积参数，然后根据面积参数的大小对一个或多个类别标签对应的语义分割区域内的图像进行从大到小的排序(或者是从小到大的排序)，并将面积参数最大的语义分割区域对应的类别标签作为目标标签。如图15所示的待处理图像中，绿植203、河流205以及天空204中距面积参数最大的是绿植204，此时就可以将绿植作为目标标签。

作为另一种方式，图形参数可以包括深度参数和面积参数，将所述图形参数满足指定条件的类别标签作为所述目标标签，包括：将所述深度参数小于预设深度，以及所述面积参数大于预设面积的类别标签作为所述目标标签，所述深度参数和所述面积参数相互对应。为了使获取的目标标签更加准确，本申请实施例可以结合深度参数和面积参数综合从一个或多个类别标签中获取目标标签。

具体的，获取到各类别标签对应的深度参数和面积参数时，本申请实施例可以先获取深度参数小于预设深度的类别标签，然后确定深度参数小于预设深度的类别标签是否为多个，如果是多个，则获取深度参数小于预设深度的类别标签的面积参数，并将面积参数大于预设面积的类别标签作为目标标签。

在另一些实施方式中，超分条件也可以包括类别标签属于指定类别，且所述类别标签对应的语义分割区域内的图像的图形参数满足指定条件，从一个或多个所述类别标签中获取目标标签，还包括：当一个或多个所述类别标签包括指定类别标签时，获取所述指定类别标签对应的语义分割区域内的图像的图形参数；将所述图形参数满足指定条件的类别标签作为所述目标标签。为了使获取的目标标签更加准确，本申请实施例在确定一个或多个类别标签包括指定类别标签时，可以确定指定类别标签是否为多个，如果是多个，则可以从多个指定类别标签对应的图像查找中查找满足条件的类别标签，并将该类别标签作为目标标签。例如，通过语义分割确定待处理图像同时包括指定类别的人物和狗时，可以获取人物和狗在待处理图像中的深度信息和面积信息，并将深度信息最小以及面积信息最大的指定类别标签作为目标标签。

综上所述，本申请实施例在获取到一个或多个类别标签之后，可以通过多种方式从一个或多个类别标签中选出目标标签。在一个具体的实施例中，获电子设备在取到一个或多个类别标签之后，可以确定一个或多个类别标签中是否包括指定类别标签，如果包括指定类别标签，则将该指定类别标签对应的标签作为目标标签。如果未包括指定类别标签，则获取每个类别标签对应的语义分割区域内图像的深度参数和面积参数，并将深度参数最小以及面积参数最大的类别标签作为目标标签。

步骤S230：对所述目标子图像进行超分辨率处理，得到超分处理图像。

步骤S240：将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

本申请实施例提出的一种图像处理方法通过对待处理图像进行语义分割，以得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签，从一个或多个所述类别标签中获取目标标签，并将该目标标签对应的语义分割区域内的图像作为目标子图像，对目标子图像进行超分辨率处理，将得到的超分处理图像和背景图像进行拼接，得到超分目标图像。相对于将整张图片进行超分辨率处理，本申请通过仅对目标标签对应的目标子图像进行超分辨率处理，在保证图像画质的同时可以降低超分辨处理带来的不必要功耗。另外，本申请实施例利用不同方式从一个或多个类别标签中选出目标标签，如此可以使超分辨率处理更加灵活。

本申请又一实施例提供了一种图像处理方法，请参阅图19，该图像处理方法可以包括步骤S310至步骤350。

步骤S310：对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签。

作为一种方式，对待处理图像进行语义分割之前，本申请实施例可以先获取所述待处理图像对应的分辨率，然后确定所述待处理图像的待分辨率是否小于指定分辨率，如果待处理图像小于指定分辨率，则可以对所述待处理图像进行语义分割。

作为另一种方式，所述一种图像处理方法可以应用于电子设备，所述电子设备可以包括屏幕，对待处理图像进行语义分割之前，本申请实施例可以获取所述待处理图像对应的分辨率，以及获取所述屏幕的分辨率，然后确定所述屏幕的分辨率与所述图像的分辨率是否匹配，如果匹配则不需要执行本方法。如果所述屏幕的分辨率小于所述屏幕的分辨率，则可以对所述待处理图像进行语义分割。

作为另一种方式，对待处理图像进行语义分割之前，本申请实施例可以先确定待处理图像的分辨率是否小于指定分辨率，如果待处理图像的分辨率小于指定分辨率，则可以继续确定所述待处理图像的分辨率是否小于所述屏幕的分辨率，如果所述待处理图像的分辨率小于所述屏幕的分辨率，则可以对所述待处理图像进行语义分割。如果所述待处理图像的分辨率大于或者等于所述屏幕的分辨率则不执行本方法。

步骤S320：从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像。

步骤S330：获取所述电子设备的设备参数。

本申请实施例中，电子设备的设备参数可以包括所述电子设备的电池电量，或者设备参数也可以包括所述电子设备的性能参数，其中，电子设备的性能参数也可以是所述电子设备中央处理器或者图像处理器等处理数据的能力。作为一种方式，在获取到电子设备的设备参数之后，本申请实施例可以确定所述设备参数是否满足预设条件，如果设备参数满足预设条件，则可以对目标子图像进行超分辨率处理，得到超分处理图像，即进入步骤S340。

步骤S340：当所述电子设备的设备参数满足预设条件时，对所述目标子图像进行超分辨率处理，得到超分处理图像。

作为一种方式，预设条件可以包括所述电子设备的电池电量大于预设电量，即获取到目标子图像时，本申请实施例可以先获取所述电子设备的电池电量，如果所述电池电量大于预设电量，则可以对目标子图像进行超分辨率处理，以得到超分处理图像。另外，预设条件也可以包括所述电子设备的性能参数大于预设参数。

作为另一种方式，在对待处理图像进行语义分割之前，本申请实施例也可以获取所述电子设备当前所处的位置，并确定该位置是否为预设位置，所述预设位置为所述电子设备充电频率最高的位置，如果确定电子设备当前位置为预设位置，则可以对所述待处理图像进行超分辨率处理。如果确定所述电子设备当前位置不是预设位置，则可以对待处理图像进行语义分割，以获取到目标子图像，而后对所述目标子图像进行超分辨率处理。

在另一些实施方式中，当所述待处理图像为视频帧图像时，本申请实施例可以获取所述待处理图像的前后视频帧，并确定前后视频帧中所述目标子图像是否存在静态子图像，所述静态子图像可以是随着视频帧的播放目标子图像中的部分图像基本保持位置不变的情况。

在另一些实施方式中，如果设备参数不满足预设条件，则可以对所述目标子图像的所述关键图像进行超分辨率处理，得到第一图像，然后将所述第一图像和所述非关键图像进行拼接，得到所述超分处理图像。另外，获取到第一图像之后，本申请实施例可以直接将第一图像与非关键图像进行拼接，得到超分处理图像，或者也可以先对非关键图像进行图像处理，得到第二图像，然后将第一图像与第二图像进行拼接，得到超分处理图像，其中，关键图像可以是根据用户需求确定的，不同的用户偏好不同，则对应的关键图像也可以不相同。

在一个具体的实施方式中，获取到目标子图像之后，首先确定电子设备的电量是否电小于预设电量，如果电子设备的电量小于预设电量，则确定所述目标子图像的关键像素点，所述关键像素点构成关键图像，然后对所述关键图像进行超分辨率处理，得到第一图像。例如，获取到如图20所示的目标子图像之后，确定出电子设备的电量小于预设电量，此时则可以仅对所述目标子图像300的关键图像301进行超分辨率处理，因为区分人物的主要是脸部特征，故可以将人脸图像作为该目标子图像的关键图像301。

在另一些实施方式中，在对所述目标子图像的所述关键图像进行超分辨率处理之前，本申请实施例也可以先获取关键图像，具体的，获取所述电子设备对应用户的偏好数据，然后根据该偏好数据确定用户对应的偏好类别，并将该偏好类别对应的图像作为关键图像。例如，用户喜欢美妆，而美妆对应的主要是人脸，此时则可以将人脸对应的图像作为关键图像，又如，用户喜欢服饰，而服饰对应的主要是人体，此时则可以将人物对应人体的衣服图像作为关键图像。可见，本申请实施例中关键图像可以是根据用户的喜好确定，用户的喜好不同，则对应的关键图像也不相同，如此可以满足不同用户对图像处理的需求。

需要说明的是，在对目标子图像进行超分辨率处理时，本申请实施例也可以确定是否接收到用户输入的超分选择指令，如果接收到超分选择指令，则获取该超分选择指令对应的图像分辨率，并根据该图像分辨率对目标子图像进行超分处理，不同的超分选择指令对应的图像分辨率不同。

步骤S350：将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

本申请实施例提出的一种图像处理方法通过对待处理图像进行语义分割，以得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签，从一个或多个所述类别标签中获取目标标签，并将该目标标签对应的语义分割区域内的图像作为目标子图像，对目标子图像进行超分辨率处理，将得到的超分处理图像和背景图像进行拼接，得到超分目标图像。相对于将整张图片进行超分辨率处理，本申请通过仅对目标标签对应的目标子图像进行超分辨率处理，在保证图像画质的同时可以降低超分辨处理带来的不必要功耗。另外，本申请实施例可以根据用户或者电子设备的实际情况对目标子图像进行超分处理，可以进一步降低电子设备的功耗，同时可以提高用户的使用体验。

请参阅图21，本申请实施例提出了一种图像处理装置400。在具体的实施例中，该图像处理装置400包括：分割模块410、获取模块420、处理模块430以及拼接模块440。

分割模块410，用于对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签。

进一步地，分割模块410还用于将所述待处理图像输入至语义分割模型，得到一个或多个语义分割区域，所述语义分割模型是通过包括多个所述类别标签的数据集训练获取的。

获取模块420，用于从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像。

进一步地，获取模块420还用于从一个或多个所述类别标签中查找满足超分条件的标签作为目标标签，所述超分条件包括类别标签属于指定类别和类别标签对应的语义分割区域内的图像的图形参数满足指定条件中的至少一种。

进一步地，所述超分条件包括类别标签属于指定类别，获取模块420还用于当一个或多个所述类别标签包括指定类别标签时，将所述指定类别标签作为目标标签。

进一步地，所述超分条件包括类别标签对应的语义分割区域内的图像的图形参数满足指定条件，获取模块420还用于获取每个所述类别标签对应的语义分割区域内的图像的图形参数；将所述图形参数满足指定条件的类别标签作为所述目标标签。

进一步地，所述超分条件包括类别标签属于指定类别，且所述类别标签对应的语义分割区域内的图像的图形参数满足指定条件，获取模块420还用于当一个或多个所述类别标签包括指定类别标签时，获取所述指定类别标签对应的语义分割区域内的图像的图形参数；将所述图形参数满足指定条件的类别标签作为所述目标标签。

进一步地，图形参数包括深度参数，获取模块420还用于将所述深度参数小于预设深度的类别标签作为所述目标标签。

进一步地，图形参数包括面积参数，获取模块420还用于将所述面积参数大于预设面积的类别标签作为所述目标标签。

进一步地，图形参数包括深度参数和面积参数，获取模块420还用于将所述深度参数小于预设深度，以及所述面积参数大于预设面积的类别标签作为所述目标标签。

进一步地，当一个或多个所述类别标签包括指定类别标签时，将所述指定类别标签作为目标标签之前，所述图像处理装置400用于获取用户的偏好数据；根据所述偏好数据确定所述用户对应的指定类别标签。

进一步地，当一个或多个所述类别标签包括指定类别标签时，将所述指定类别标签作为目标标签之前，所述图像处理装置400还获取与人眼关注区域对应的语义分割区域，并将该语义分割区域对应的类别标签作为目标标签。

处理模块430，用于对所述目标子图像进行超分辨率处理，得到超分处理图像。

进一步地，处理模块430还用于将所述目标子图像输入至预先训练好的超分网络模型；利用所述超分网络模型对所述目标子图像进行特征提取和上采样处理，得到所述超分处理图像。

拼接模块440，用于将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

进一步地，拼接模块440还用于获取所述电子设备的设备参数；当所述电子设备的设备参数满足预设条件时，对所述目标子图像进行超分辨率处理，得到超分处理图像。其中，设备参数包括电池电量，所述预设条件包括所述电子设备的电池电量大于预设电量。

进一步地，目标子图像可以包括关键图像和非关键图像，所述图像处理装置400还用于当所述电子设备的设备参数未满足预设条件时，对所述关键图像进行超分辨率处理，得到第一图像；将所述第一图像和所述非关键图像进行拼接，得到所述超分处理图像。

进一步地，所述图像处理装置400还用于获取用户的偏好数据，根据所述偏好数据确定所述用户对应的偏好类别，并将所述偏好类别对应的图像作为关键图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

本申请实施例提出的一种图像处理装置，本申请通过对待处理图像进行语义分割，以得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签，从一个或多个所述类别标签中获取目标标签，并将该目标标签对应的语义分割区域内的图像作为目标子图像，对目标子图像进行超分辨率处理，将得到的超分处理图像和背景图像进行拼接，得到超分目标图像。相对于将整张图片进行超分辨率处理，本申请通过仅对目标标签对应的目标子图像进行超分辨率处理，在保证图像画质的同时可以降低超分辨处理带来的不必要功耗。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图22，其示出了本申请实施例提供的一种电子设备500的结构框图。该电子设备500可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备500可以包括一个或多个如下部件：处理器510、存储器520、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器520中并被配置为由一个或多个处理器510执行，一个或多个应用程序被配置为用于执行如前述方法实施例所描述的方法。

处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器520内的指令、程序、代码集或指令集，以及调用存储在存储器520内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器510可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器510中，单独通过一块通信芯片进行实现。

存储器520可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备500在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图23，其示出了本申请实施例提供的一种计算机可读存储介质600的结构框图。该计算机可读存储介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (19)

1.一种图像处理方法，其特征在于，所述方法包括：

对待处理图像进行语义分割，得到一个或多个语义分割区域，每个语义分割区域对应有不同的类别标签；

从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像；

对所述目标子图像进行超分辨率处理，得到超分处理图像；

将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

2.根据权利要求1所述的方法，其特征在于，所述从一个或多个所述类别标签中获取目标标签，包括：

从一个或多个所述类别标签中查找满足超分条件的标签作为目标标签，所述超分条件包括类别标签属于指定类别和类别标签对应的语义分割区域内的图像的图形参数满足指定条件中的至少一种。

3.根据权利要求2所述的方法，其特征在于，所述超分条件包括类别标签属于指定类别，所述从一个或多个所述类别标签中获取目标标签，包括：

当一个或多个所述类别标签包括指定类别标签时，将所述指定类别标签作为目标标签。

4.根据权利要求2所述的方法，其特征在于，所述超分条件包括类别标签对应的语义分割区域内的图像的图形参数满足指定条件，所述从一个或多个所述类别标签中获取目标标签，还包括：

获取每个所述类别标签对应的语义分割区域内的图像的图形参数；

将所述图形参数满足指定条件的类别标签作为所述目标标签。

5.根据权利要求2所述的方法，其特征在于，所述超分条件包括类别标签属于指定类别，且所述类别标签对应的语义分割区域内的图像的图形参数满足指定条件，所述从一个或多个所述类别标签中获取目标标签，还包括：

当一个或多个所述类别标签包括指定类别标签时，获取所述指定类别标签对应的语义分割区域内的图像的图形参数；

将所述图形参数满足指定条件的类别标签作为所述目标标签。

6.根据权利要求4或5所述的方法，其特征在于，所述图形参数包括深度参数，所述将所述图形参数满足指定条件的类别标签作为所述目标标签，包括：

将所述深度参数小于预设深度的类别标签作为所述目标标签。

7.根据权利要求4或5所述的方法，其特征在于，所述图形参数包括面积参数，所述将所述图形参数满足指定条件的类别标签作为所述目标标签，包括：

将所述面积参数大于预设面积的类别标签作为所述目标标签。

8.根据权利要求4或5所述的方法，其特征在于，所述图形参数包括深度参数和面积参数，所述将所述图形参数满足指定条件的类别标签作为所述目标标签，包括：

将所述深度参数小于预设深度，以及所述面积参数大于预设面积的类别标签作为所述目标标签。

9.根据权利要求3或5所述的方法，其特征在于，所述当一个或多个所述类别标签包括指定类别标签时，将所述指定类别标签作为目标标签之前，包括：

获取用户的偏好数据；

根据所述偏好数据确定所述用户对应的指定类别标签。

10.根据权利要求3或5所述的方法，其特征在于，所述当一个或多个所述类别标签包括指定类别标签时，将所述指定类别标签作为目标标签之前，还包括：

获取与人眼关注区域对应的语义分割区域，并将该语义分割区域对应的类别标签作为目标标签。

11.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述待处理图像进行语义分割，得到一个或多个语义分割区域，包括：

将所述待处理图像输入至语义分割模型，得到一个或多个语义分割区域，所述语义分割模型是通过包括多个所述类别标签的数据集训练获取的。

12.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述目标子图像进行超分辨率处理，得到超分处理图像，包括：

将所述目标子图像输入至预先训练好的超分网络模型；

利用所述超分网络模型对所述目标子图像进行特征提取和上采样处理，得到所述超分处理图像。

13.根据权利要求1所述的方法，其特征在于，所述方法应用于电子设备，所述对所述目标子图像进行超分辨率处理，得到超分处理图像，包括：

获取所述电子设备的设备参数；

当所述电子设备的设备参数满足预设条件时，对所述目标子图像进行超分辨率处理，得到超分处理图像。

14.根据权利要求13所述的方法，其特征在于，所述设备参数包括电池电量，所述预设条件包括所述电子设备的电池电量大于预设电量。

15.根据权利要求13或14所述的方法，其特征在于，所述目标子图像包括关键图像和非关键图像，所述方法还包括：

当所述电子设备的设备参数未满足所述预设条件时，对所述关键图像进行超分辨率处理，得到第一图像；

将所述第一图像和所述非关键图像进行拼接，得到所述超分处理图像。

16.根据权利要求15所述的方法，其特征在于，所述当所述电子设备的设备参数未满足所述预设条件时，对所述关键图像进行超分辨率处理，得到第一图像之前，包括：

获取用户的偏好数据；

根据所述偏好数据确定所述用户对应的偏好类别，并将所述偏好类别对应的图像作为关键图像。

17.一种图像处理装置，其特征在于，所述装置包括：

分割模块，用于对待处理图像进行语义分割，得到一个或多个语义分割区域，每个所述语义分割区域对应有不同的类别标签；

获取模块，用于从一个或多个所述类别标签中获取目标标签，并将所述目标标签对应的语义分割区域内的图像作为目标子图像；

处理模块，用于对所述目标子图像进行超分辨率处理，得到超分处理图像；

拼接模块，用于将所述超分处理图像与背景图像进行拼接，得到超分目标图像，所述背景图像为所述待处理图像中所述目标子图像之外的区域对应的图像。

18.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个所述处理器执行，所述一个或多个应用程序被配置为用于执行如权利要求1-16任一项所述的方法。

19.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-16任一项所述的方法。

Images