CN108898549B - 图片处理方法、图片处理装置及终端设备 - Google Patents

Abstract

本申请提供了一种图片处理方法、图片处理装置、移动终端及计算机可读存储介质，所述方法包括：获取待处理图片；将所述待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片，所述第一超分辨率图片的图片分辨率为第一预设分辨率，所述第一预设分辨率为所述待处理图片的图片分辨率的N1倍，其中，所述第一超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N1为大于1的整数；显示所述第一超分辨率图片。本申请所提供的技术方案可以在一定程度上恢复由于亚采样所损失的高频信息，并且不需要大量的样本图片，在一定程度上可以降低厂商的制作成本。

Description

图片处理方法、图片处理装置及终端设备

技术领域

本申请属于图片处理技术领域，尤其涉及图片处理方法、图片处理装置、移动终端及计算机可读存储介质。

背景技术

图片分辨率为图片中每英寸的像素点个数，因此，每英寸的像素点个数越多，图片分辨率越高，图片越清晰，随着数码科技的发展，人们对图片分辨率的要求越来越高。

为了得到高分辨率的图片，传统做法是选择高分辨率的相机，然而，高分辨率的相机需要较高的制作成本。因此，为了降低制作成本，图片超分辨率的方法应运而生。

目前，常用的图片超分辨率方法有基于插值的超分辨率重建方法以及基于深度学习的超分辨率重建方法。然而，基于插值的超分辨率重建方法所重建的图片过于平滑，并不能恢复图片亚采样过程中所丢失的高频信息；基于深度学习的超分辨率重建方法虽然可以恢复图片亚采样过程中所丢失的高频信息，但是，目前常用的深度学习模型均需要利用大量的样本数据，对数据库的要求较高，由于很多数据库是需要付费的，因此，也会在一定程度上增大厂商的生产成本。

发明内容

有鉴于此，本申请实施例提供了一种图片处理方法、图片处理装置、移动终端及计算机可读存储介质，可以恢复亚采样过程中所丢失的高频信息并且可以在一定程度上降低厂商的生产成本。

本申请第一方面提供了一种图片处理方法，包括：

获取待处理图片；

将上述待处理图片输入至训练后的第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片，上述第一超分辨率图片的图片分辨率为第一预设分辨率，上述第一预设分辨率为上述待处理图片的图片分辨率的N1倍，其中上述第一超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N1为大于1的整数；

显示上述第一超分辨率图片。

本申请第二方面提供了一种图片处理装置，包括：

图片获取模块，用于获取待处理图片；

第一超分辨率模块，用于将上述图片获取模块所获取的待处理图片输入至训练后的第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片，上述第一超分辨率图片的图片分辨率为第一预设分辨率，上述第一预设分辨率为上述待处理图片的图片分辨率的N1倍，其中上述第一超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N1为大于1的整数；

显示模块，用于显示上述第一超分辨率模块所输出的第一超分辨率图片。

本申请第三方面提供一种移动终端，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器执行上述计算机程序时实现如上述方法的步骤。

本申请第四方面提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，其特征在于，上述计算机程序被处理器执行时实现如上述方法的步骤。

由上可见，本申请提供了一种图片处理方法，首先获取待进行超分辨率重建的待处理图片，比如相机所拍摄的低分辨率图片；其次，将该待处理图片输入至预先训练好的第一超分辨率重建模型中，生成该待处理图片所对应的具备第一预设分辨率(为待处理图片的图片分辨率的N1倍，N1为大于1的整数)的第一超分辨率图片，其中，该第一超分辨率重建模型是由两级或两级以上的结构不同的卷积自编码器级联而成，用以对输入图片进行超分辨率重建，将输入图片的分辨率提升至第一预设分辨率。因此，本申请所提供的超分辨率重建方法是基于神经网络模型的，因此也是一种基于深度学习的超分辨率重建方法，可以在一定程度上恢复由于亚采样所损失的高频信息，此外，本申请所采用的神经网络模型是由多级结构不同的卷积自编码器级联而成的，在神经网络模型训练的过程中，多个结构不同的卷积自编码器可以提取样本图片的多个不同层次的特征，并根据提取的不同层次的特征来学习重建图片，因此，采用多个结构不同的卷积自编码器来进行图片超分辨率重建相比于传统的神经网络模型来说，对于每个样本图片的学习程度要比传统的神经网络模型要更加深入，因此，本申请的第一超分辨率重建模型对数据库的要求较低，不需要大量的样本图片，在一定程度上可以降低厂商的制作成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例一提供的一种图片处理方法的实现流程示意图；

图2是本申请实施例二提供的另一种图片处理方法的实现流程示意图；

图3是本申请实施例二提供的尺寸修正的流程示意图；

图4是本申请实施例二提供的第一超分辨率重建模型的训练过程示意图；

图5是本申请实施例三提供的一种图片处理装置的结构示意图；

图6是本申请实施例四提供的移动终端的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

本申请实施例提供的图片处理方法可以适用于移动终端，示例性地，上述移动终端包括但不限于：智能手机、平板电脑、智能穿戴设备等。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而，应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

移动终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。

实施例一

下面对本申请实施例一提供的一种图片处理方法进行描述，请参阅附图1，本申请实施例一提供的图片处理方法包括：

在步骤S101中，获取待处理图片；

在本申请实施例中，上述待处理图片可以是用户通过本地相机所拍摄的图片，比如，用户启动移动终端中的相机应用程序，利用相机应用程序所拍摄的图片；或者，可以是用户通过其他应用程序新接收的图片，比如，用户在微信中接收到的其他微信联系人所发送的图片；或者，可以是用户从互联网上下载的图片，比如，用户通过公共运营商网络在浏览器中下载的图片；或者，也可以是视频中的某一帧图片，比如，用户所观看的动画片或者电视剧中的其中一帧图片；或者，还可以是移动终端启动相机或摄像机后的预览画面中的某一帧图片。此处对待处理图片的来源不作限定。

在步骤S102中，将上述待处理图片输入至训练后的第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片，其中，上述第一超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成；

在本申请实施例中，上述第一超分辨率图片的图片分辨率为第一预设分辨率，该第一预设分辨率为上述待处理图片的图片分辨率的N1倍，其中，N1为大于1的整数。本申请所提供的技术方案是基于神经网络模型的，需要事先训练用于进行超分辨率重建的神经网络模型，本申请利用两级或两级以上结构不同的卷积自编码器进行级联构造用于超分辨率重建的神经网络模型，根据预先获取的各个样本图片对各级卷积自编码器进行训练，获得各级训练后的卷积自编码器，将训练后的各级卷积自编码器进行级联，从而得到训练后的第一超分辨率重建模型。

示例性地，上述训练后的第一超分辨率重建模型的训练过程可以包括：

预先获取图片分辨率为上述第一预设分辨率的各个样本图片；对每个样本图片进行下采样，生成与各个样本图片所对应的低分辨率样本图片，上述各个低分辨率样本图片的图片分辨率为上述第一预设分辨率的1/N1；将各个低分辨率样本图片输入至初始的第一超分辨率重建模型中的第一级卷积自编码器中，以使得上述第一级卷积自编码器对各个低分辨率样本图片进行超分辨率重建，生成与各个低分辨率样本图片对应的分辨率为上述第一预设分辨率的各个重建图片；根据预先获取的各个样本图片以及各个重建图片，计算上述第一级卷积自编码器的重建准确率；若上述重建准确率小于预设阈值，则调整上述第一级卷积自编码器中的各个参数，直至参数调整后的第一级卷积自编码器的重建准确率大于或等于上述预设阈值为止；在获得训练后的第一级卷积自编码器之后，将上述训练后的第一级卷积自编码器的输出作为第二级卷积自编码器的输入，将各个低分辨率样本图片输入至训练后的第一级卷积自编码器，利用训练后的第一级卷积自编码器以及第二级卷积自编码器对各个低分辨率样本图片进行重建，计算上述第二级卷积自编码器的重建准确率，不断调整第二级卷积自编码器的参数直到第二级卷积自编码器的重建准确率大于或等于上述预设阈值为止；以此类推，对该初始的第一超分辨率重建模型中的其余卷积自编码器进行训练，直到遍历完该初始的第一超分辨率重建模型中的所有卷积自编码器，将各个训练后的卷积自编码器依次级联生成训练后的第一超分辨率重建模型。

在步骤S103中，显示上述第一超分辨率图片；

在本申请实施例中，利用训练后的第一超分辨率重建模型对上述待处理图片进行超分辨率重建后，将生成的上述第一超分辨率图片显示至显示屏幕中，以便用户查看该第一超分辨率图片。

另外，在本申请实施例中，在将上述第一超分辨率图片显示至显示屏幕以后，可以提示用户输入对该第一超分辨率图片是否满意的满意度信息，其中，该满意度信息可以是用户通过在屏幕上绘制预设图形的方式输入，比如，用户在屏幕上画心形，则表示用户对该第一超分辨率图片满意，若用户在屏幕上画方形，则表示用户对该第一超分辨率图片不满意；或者，上述满意度信息也可以是用户通过文字的方式输入，比如，用户直接通过输入相应的文字来指示是否对该第一超分辨率图片满意。若上述用户输入的满意度信息指示该用户不满意该第一超分辨率图片，则移动终端可以自动地在预先训练后的各个超分辨率重建模型中选取任意一个超分辨率重建模型作为第二超分辨率重建模型，并将上述待处理图片输入至第二超分辨率重建模型中，生成第二超分辨率图片，其中，该第二超分辨率图片的图片分辨率为该待处理图片的图片分辨率的N2倍，N2为大于1的整数，且N2不等于N1。

在本申请实施例中，若上述满意度信息指示用户对该第一超分辨率图片不满意，则上述第二超分辨率重建模型的选择还可以是根据用户的期望图片分辨率获得的。此时，移动终端可以首先获取用户的期望图片分辨率，然后，根据用户的期望图片分辨率，选取所重建的图片的图片分辨率与上述期望图片分辨率最接近的训练后的超分辨率重建模型做为第二超分辨率重建模型，比如，假设用户的期望图片分辨率为700DPI，预先训练好的各个超分辨率重建模型所生成的图片的分辨率分别为300DPI、500DPI、800DPI和1000DPI，则移动终端会选择所生成的图片的图片分辨率为800DPI的超分辨率重建模型作为第二超分辨率重建模型。其中，上述用户的期望图片分辨率的获取方式可以为：根据用户相册中已保存的各个图片的图片分辨率，获取上述已保存的各个图片的图片分辨率中出现频次最多的图片分辨率，若该出现频次最多的图片分辨率大于上述待处理图片的图片分辨率，则将该出现频次最多的图片分辨率确定为用户的期望图片分辨率，若该出现频次最多的图片分辨率不大于上述待处理图片的图片分辨率，则可以提示用户手动输入用户的期望图片分辨率。

本申请实施例一所提供的技术方案是基于神经网络模型来实现对图片的超分辨率重建的，是一种基于深度学习的超分辨率重建方法，可以在一定程度上恢复由于亚采样所损失的高频信息，此外，本申请所采用的神经网络模型是由多级结构不同的卷积自编码器级联而成的，在神经网络模型训练的过程中，多个结构不同的卷积自编码器可以提取样本图片的多个不同层次的特征，并根据提取的不同层次的特征来学习重建图片，因此，采用多个结构不同的卷积自编码器来进行图片超分辨率重建相比于传统的神经网络模型来说，对于每个样本图片的学习程度要比传统的神经网络模型要更加深入，因此，本申请的第一超分辨率重建模型对数据库的要求较低，不需要大量的样本图片，在一定程度上可以降低厂商的制作成本。

实施例二

下面对本申请实施例二提供的图片处理方法进行描述，请参阅附图2，本申请实施例二的图片处理方法包括S201-S207：

在步骤S201中，获取待处理图片；

本申请实施例二中的步骤S201与实施例一中的步骤S101执行方式相同，具体可参见实施例一的描述，此处不再赘述。

在步骤S202中，获取上述待处理图片的图片尺寸；

通常情况下，训练后的超分辨率重建模型都是对图片尺寸(该图片尺寸包括图片宽度方向上像素点个数以及高度方向上像素点个数，通常用“宽度方向上像素点个数×高度方向上像素点个数”来表示)固定的图片进行超分辨率重建的，比如某一个训练后的超分辨率重建模型用于将100×200(宽度方向包含100个像素点，高度方向包含200个像素点)的输入图片的图片分辨率扩大十倍，输出1000×2000(宽度方向包含1000个像素点，高度方向包含2000个像素点)的超分辨率图片。因此，在本申请实施例二中，第一超分辨率重建模型用于对图片尺寸为预设尺寸的图片进行超分辨率重建。因此，在获取到待处理图片之后，为保证训练后的第一超分辨率重建模型能够对该待处理图片进行正确处理，需要首先获取上述待处理图片的图片尺寸，并判断所获取的待处理图片的图片尺寸是否为该训练后的上述第一超分辨率重建模型能够处理的图片尺寸，若不是该训练后的第一超分辨率重建模型能够处理的图片尺寸，则需要对步骤S201中所获取的待处理图片进行尺寸修正，使得上述训练后的第一超分辨率重建模型能够处理尺寸修正后的待处理图片。

在步骤S203中，判断上述待处理图片的尺寸是否为预设尺寸，若是，则执行步骤S204，否则，则执行步骤S205；

在本申请实施例二中，由于上述第一超分辨率重建模型只能对预设尺寸的图片进行处理，因此，在获取到上述待处理图片的图片尺寸后，需要判断上述待处理图片的图片尺寸是否为预设尺寸。

在步骤S204中，将上述待处理图片输入至训练后的第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片；

若上述待处理图片的图片尺寸为上述第一超分辨率重建模型可以处理的预设尺寸，则可以直接将该待处理图片输入至第一超分辨率重建模型中，以使得该第一超分辨率重建模型对上述待处理图片进行超分辨率重建。

在步骤S205中，对上述待处理图片进行尺寸修正，使得该待处理图片的尺寸修正为上述预设尺寸；

在本申请实施例中，尺寸修正的方法包括旋转、裁剪、插值和/或下采样等。比如，如图3所示，若训练后的第一超分辨率重建模型301是用于对100×200的图片进行处理，而步骤S201中所获得的待处理图片的尺寸为100×60，则可以首先将该待处理图片旋转90°，将尺寸修正为60×100，然后在宽度方向上进行裁剪，将尺寸修正为50×100，最后，进行插值处理，将尺寸修正为100×200。

在步骤S206中，将尺寸修正后的待处理图片输入至训练后的第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片；

在对上述待处理图片的图片尺寸进行修正之后，可以将尺寸修正后的待处理图片输入至第一超分辨率重建模型中，以使得该第一超分辨率重建模型对尺寸修正后的待处理图片进行超分辨率重建。

通常情况下，一个移动终端确定以后，由于其相机是固定的，因此，其所拍摄的图片的大小、图片分辨率以及尺寸都是固定的，比如：某个移动终端所拍摄的图片大小为3英寸×4英寸，图片分辨率为100DPI(Dot Per Inch，像素点/英寸)，根据所拍摄的图片大小以及图片分辨率可得到该移动终端所拍摄的图片的尺寸为300×400(宽度方向上像素点个数为300，高度方向上像素点个数400)。因此，我们可以事先训练专门用于对300×400的图片进行超分辨率重建的第一超分辨率重建模型。在这种情况下，为了保证训练后的第一超分辨率重建模型能够对步骤S201所获取的待处理图片进行正确处理，还可以在步骤S201之后获取该待处理图片的图片来源；若该待处理图片的图片来源为本地相机，则将其输入至训练后的第一超分辨率重建模型中，获取该待处理图片对应的第一超分辨率图片；若该待处理图片的图片来源为非本地相机，则再进一步获取该待处理图片的图片尺寸，并在该待处理图片的图片尺寸与本地相机所拍摄的图片尺寸不同时，进行尺寸修正，然后将尺寸修正后的待处理图片输入至训练后的第一超分辨率重建模型中，获取该待处理图片对应的第一超分辨率图片。

下面对本申请实施例二中的第一超分辨率重建模型的训练方法进行描述，假设上述训练后的第一超分辨率重建模型用于将图片尺寸为预设尺寸(为便于后续描述，假设该预设尺寸为A×B，即宽度方向上像素点个数为A，高度方向上像素点个数B)的图片的图片分辨率放大N1倍，从而生成尺寸为AN1×BN1(宽度方向上像素点个数为AN1，高度方向上像素点个数BN1)的图片，则该训练后的第一超分辨率重建模型的训练过程可以如图4所示，包括步骤S401-S408：

在步骤S401中，预先获取各个样本图片，其中各个样本图片的图片尺寸为上述预设尺寸与N1的乘积；

在本申请实施例中，需要首先获取各个样本图片，以便于后续利用各个样本图片对第一超分辨率重建模型进行训练。

比如，若该第一超分辨率重建模型用于将A×B的图片的图片分辨率扩大N1倍，获取AN1×BN1的图片，则需要预先获取尺寸为AN1×BN1各个样本图片。

在步骤S402中，对每个样本图片进行下采样，生成与各个样本图片所对应的低分辨率样本图片，该低分辨率样本图片的图片尺寸为上述预设尺寸；

在获取到各个样本图片之后，需要对各个样本图片进行下采样，生成各个样本图片所对应的低分辨率图片，以便于后续将各个低分辨率图片输入至初始的第一超分辨率重建模型中。

比如，在步骤S401所举得例子中，需要对尺寸为AN1×BN1的各个样本图片进行下采样，生成A×B的各个低分辨率图片。

在步骤S403中，将各个低分辨率样本图片输入至初始的第一超分辨率重建模型中的第一级卷积自编码器中，以使得该第一级卷积自编码器对各个低分辨率样本图片的图片分辨率放大N1倍，生成与各个低分辨率样本图片对应的各个重建图片；

在本申请实施例中，首先，可以将步骤S402所获得的某一个低分辨率样本图片输入至第一级卷积自编码器中，该第一级卷积自编码器提取该低分辨率样本图片的某一图片特征，并根据提取出的图片特征对该低分辨率样本图片进行超分辨率重建，生成该低分辨率样本图片所对应的图片尺寸为AN1×BN1的重建图片。以此类推，利用该第一级卷积自编码器对其余的低分辨率样本图片进行超分辨率重建，生成相应的重建图片。

在步骤S404中，根据预先获取的各个样本图片以及各个重建图片，计算上述第一级卷积自编码器的重建准确率；

在本申请实施例中，根据在步骤S401中已经预先获取了的各个样本图片以及步骤S403中的各个重建图片，计算该第一级卷积自编码器的重建准确率。

比如在步骤S401中，预先获取了3个样本图片，分别为图片分辨率为AN1×BN1的图片a、图片b以及图片c，然后根据步骤S402，对上述3个样本图片进行下采样，分别得到图片分辨率为A×B的图片a1、图片b1以及图片c1，在步骤S403中，第一级卷积自编码器对图片a1、图片b1以及图片c1进行超分辨率重建，生成图片分辨率为AN1×BN1的图片a2、图片b2以及图片c2，在该步骤S404中，可以分别计算图片a与图片a2的损失度(或相似度)、图片b与图片b2的损失度(或相似度)以及图片c与图c2的损失度(或相似度)来获取该第一级卷积自编码器的重建准确率，比如若图片a与图片a2的损失度小于预设的损失度阈值(或者相似度大于预设的相似度阈值)，则认为该第一级卷积自编码器可以对低分辨率样本图片a1准确重建，否则，则认为不可以对低分辨率样本图片a1准确重建，可以将准确重建的图片所占的比例设置为重建准确率。其中，上述损失度的计算方法可以为两个图片的2范数的值，比如，图片a与图片a2的2范数的计算方式为：图片a与图片a2各个像素点的像素值的差值的平方和。

在步骤S405中，若上述重建准确率小于预设阈值，则调整上述第一级卷积自编码器中的各个参数，直至参数调整后的第一级卷积自编码器的重建准确率大于或等于上述预设阈值为止，则将该参数调整后的第一级卷积自编码器设置为训练后的第一级卷积自编码器；

在本申请实施例中，若该第一级卷积自编码器的重建准确率小于预设阈值，则说明该第一级卷积自编码器不能非常好的实现对低分辨率图片的超分辨率重建，需要重新训练该第一级卷积自编码器，因此，调整该第一级卷积自编码器的参数，直到重建准确率达到预设阈值为止。常用的调整参数的方法有随机梯度下降算法(Stochastic GradientDescent，SGD)以及动力更新算法(Momentum update)等等，此处对调整参数所使用的方法不作限定。

在步骤S406中，在获得训练后的第一级卷积自编码器之后，将该训练后的第一级卷积自编码器的输出作为第二级卷积自编码器的输入，将各个低分辨率样本图片输入至训练后的第一级卷积自编码器，利用训练后的第一级卷积自编码器以及第二级卷积自编码器对各个低分辨率样本图片进行重建，计算该第二级卷积自编码器的重建准确率；

在本申请实施例中，在训练好上述第一级卷积自编码器之后，对与该第一级卷积自编码器级联的第二级卷积自编码器进行训练。可以将各个低分辨率样本图片输入至训练后的第一级卷积自编码器，利用训练后的第一级卷积自编码器以及第二级卷积自编码器对低分辨率样本图片进行重建，并根据该第二级卷积自编码器所输出的重建图片以及预先获取的样本图片，计算该第二级卷积自编码器的重建准确率，其中，该重建准确率的计算方法与步骤S405的计算方法相同，具体可参见步骤S405所述，此处不再赘述。

在步骤S407中，不断调整第二级卷积自编码器的参数直到第二级卷积自编码器的重建准确率大于或等于上述预设阈值为止，从而生成训练后的第二级卷积自编码器；

在获取到第二级卷积自编码器的重建准确率之后，若该第二级卷积自编码器的重建准确率小于预设阈值，则调整该第二级卷积自编码器的参数，直到该第二级卷积自编码器的重建准确率达到预设阈值为止.

在步骤S408中，以此类推，对上述初始的第一超分辨率重建模型中的其余卷积自编码器进行训练，直到遍历完上述初始的第一超分辨率重建模型中的所有卷积自编码器，将各个训练后的卷积自编码器依次级联生成训练后的第一超分辨率重建模型。

按照上述方法，对该初始的第一超分辨率重建模型中的其余卷积自编码器进行训练，生成训练后的各级卷积自编码器，然后将训练后的各级卷积自编码器进行级联，生成训练后的第一超分辨率重建模型。

在步骤S207中，显示上述第一超分辨率图片；

本申请实施例二中的步骤S207与实施例一中的步骤S103执行方式相同，具体可参见实施例一的描述，此处不再赘述。

本申请实施例二所提供的技术方案相比于实施例一所提供的技术方案，在获取到待处理图片之后，需要判断该待处理图片的图片尺寸是否为上述第一超分辨率重建模型能够处理的图片尺寸，因此，本申请实施例二所提供的技术方案相比于实施例一，可以保证该第一超分辨率重建模型能够对待处理图片进行正确的处理，相比于实施例一可以更进一步地提高用户体验。此外，本申请实施例二所提供的技术方案还可以在一定程度上恢复由于亚采样所损失的高频信息，且本申请实施例二中的第一超分辨率重建模型对数据库的要求较低，不需要大量的样本图片，在一定程度上可以降低厂商的制作成本。

应理解，上述方法实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例三

本申请实施例三提供了一种图片处理装置，为便于说明，仅示出与本申请相关的部分，如图5所示图片处理装置500包括：

图片获取模块501，用于获取待处理图片；

第一超分辨率模块502，用于将上述图片获取模块501所获取的待处理图片输入至训练后的第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片，上述第一超分辨率图片的图片分辨率为第一预设分辨率，上述第一预设分辨率为上述待处理图片的图片分辨率的N1倍，其中上述第一超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N1为大于1的整数；

显示模块503，用于显示上述第一超分辨率模块502所输出的第一超分辨率图片。

可选地，上述图片处理装置500还包括：

提示模块，用于提示用户输入对上述第一超分辨率图片是否满意的满意度信息；

第二超分辨率模块，用于若接收到上述用户输入的满意度信息为不满意，则将上述待处理图片输入至第二超分辨率重建模型，得到上述待处理图片对应的第二超分辨率图片，上述第二超分辨率图片的图片分辨率为第二预设分辨率，上述第二预设分辨率为上述待处理图片的图片分辨率的N2倍，其中上述第二超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N2为大于1的整数且N2不等于N1。

可选地，上述图片处理装置500还包括：

期望分辨率模块，用于获取上述用户的期望图片分辨率；

第二超分辨率确定模块，用于根据上述期望图片分辨率，将所重建的图片的图片分辨率与上述期望图片分辨率最接近的训练后的超分辨率重建模型确定为第二超分辨率重建模型。

可选地，上述期望分辨率模块包括：

分辨率统计单元，用于根据上述用户相册中已保存的各个图片的图片分辨率，获得上述已保存的各个图片的图片分辨率中出现频次最多的图片分辨率；

期望分辨率确定单元，用于若上述出现频次最多的图片分辨率大于上述待处理图片的图片分辨率，则将上述出现频次最多的图片分辨率确定为上述用户的期望图片分辨率。

可选地，上述训练后的第一超分辨率重建模型用于对图片尺寸为预设尺寸的图片进行超分辨率重建，上述图片尺寸包括图片宽度方向上像素点个数以及高度方向上像素点个数，则上述图片处理装置500还包括：

图片尺寸获取模块，用于获取上述待处理图片的图片尺寸；

相应地，上述第一超分辨率模块502具体用于：

若上述待处理图片的图片尺寸为上述预设尺寸，则将上述待处理图片输入至训练后的第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片。

上述第一超分辨率502还用于：

若上述待处理图片的图片尺寸与上述预设尺寸不同，则对上述待处理图片进行尺寸修正，使得上述待处理图片的尺寸修正为上述预设尺寸；

将尺寸修正后的待处理图片输入上述第一超分辨率重建模型中，获得上述待处理图片对应的第一超分辨率图片。

需要说明的是，上述装置各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例二基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例二部分，此处不再赘述。

实施例四

图6是本申请实施例四提供的移动终端的示意图。如图6所示，该实施例的移动终端6包括：处理器60、存储器61以及存储在上述存储器61中并可在上述处理器60上运行的计算机程序62。上述处理器60执行上述计算机程序62时实现上述实施例中的步骤，例如图1所示的步骤S101至S103。

上述移动终端6可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是移动终端6的示例，并不构成对移动终端6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如上述移动终端6还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器61可以是上述移动终端6的内部存储单元，例如移动终端6的硬盘或内存。上述存储器61也可以是上述移动终端6的外部存储设备，例如上述移动终端6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器61还可以既包括上述移动终端6的内部存储单元也包括外部存储设备。上述存储器61用于存储上述计算机程序以及上述移动终端所需的其它程序和数据。上述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种图片处理方法，其特征在于，包括：

获取待处理图片；

将所述待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片，所述第一超分辨率图片的图片分辨率为第一预设分辨率，所述第一预设分辨率为所述待处理图片的图片分辨率的N1倍，其中，所述第一超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N1为大于1的整数；

显示所述第一超分辨率图片；

其中，所述训练后的第一超分辨率重建模型用于对图片尺寸为预设尺寸的图片进行超分辨率重建，所述图片尺寸包括图片宽度方向上像素点个数以及高度方向上像素点个数；

在将所述待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片之前，还包括：

获取所述待处理图片的图片尺寸；

相应地，所述将所述待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片，包括：

若所述待处理图片的图片尺寸为所述预设尺寸，则将所述待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片。

2.如权利要求1所述的图片处理方法，其特征在于，在所述显示所述第一超分辨率图片之后，还包括：

提示用户输入对所述第一超分辨率图片是否满意的满意度信息；

若接收到所述用户输入的满意度信息为不满意，则将所述待处理图片输入至第二超分辨率重建模型，得到所述待处理图片对应的第二超分辨率图片，所述第二超分辨率图片的图片分辨率为第二预设分辨率，所述第二预设分辨率为所述待处理图片的图片分辨率的N2倍，其中所述第二超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N2为大于1的整数且N2不等于N1。

3.如权利要求2所述图片处理方法，其特征在于，在所述将所述待处理图片输入至第二超分辨率重建模型之前，还包括：

获取所述用户的期望图片分辨率；

根据所述期望图片分辨率，将所重建的图片的图片分辨率与所述期望图片分辨率最接近的训练后的超分辨率重建模型确定为第二超分辨率重建模型。

4.如权利要求3所述的图片处理方法，其特征在于，所述获取所述用户的期望图片分辨率，包括：

根据所述用户相册中已保存的各个图片的图片分辨率，获得所述已保存的各个图片的图片分辨率中出现频次最多的图片分辨率；

若所述出现频次最多的图片分辨率大于所述待处理图片的图片分辨率，则将所述出现频次最多的图片分辨率确定为所述用户的期望图片分辨率。

5.如权利要求1至4中任一项所述的图片处理方法，其特征在于，所述第一超分辨率重建模型的训练过程包括：

预先获取图片分辨率为所述第一预设分辨率的各个样本图片；

对每个样本图片进行下采样，生成与各个样本图片所对应的低分辨率样本图片，所述各个低分辨率样本图片的图片分辨率为所述第一预设分辨率的1/N1；

将各个低分辨率样本图片输入至初始的第一超分辨率重建模型中的第一级卷积自编码器中，以使得所述第一级卷积自编码器对各个低分辨率样本图片进行超分辨率重建，生成与各个低分辨率样本图片对应的分辨率为所述第一预设分辨率的各个重建图片；根据预先获取的各个样本图片以及各个重建图片，计算所述第一级卷积自编码器的重建准确率；

若所述重建准确率小于预设阈值，则调整所述第一级卷积自编码器中的各个参数，直至参数调整后的第一级卷积自编码器的重建准确率大于或等于所述预设阈值为止；

在获得训练后的第一级卷积自编码器之后，将所述训练后的第一级卷积自编码器的输出作为第二级卷积自编码器的输入，将各个低分辨率样本图片输入至训练后的第一级卷积自编码器，利用训练后的第一级卷积自编码器以及第二级卷积自编码器对各个低分辨率样本图片进行重建，计算所述第二级卷积自编码器的重建准确率，不断调整第二级卷积自编码器的参数直到第二级卷积自编码器的重建准确率大于或等于所述预设阈值为止；

以此类推，对该初始的第一超分辨率重建模型中的其余卷积自编码器进行训练，直到遍历完该初始的第一超分辨率重建模型中的所有卷积自编码器，将各个训练后的卷积自编码器依次级联生成训练后的第一超分辨率重建模型。

6.如权利要求1所述的图片处理方法，其特征在于，所述将所述待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片，还包括：

若所述待处理图片的图片尺寸与所述预设尺寸不同，则对所述待处理图片进行尺寸修正，使得所述待处理图片的尺寸修正为所述预设尺寸；

将尺寸修正后的待处理图片输入所述第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片。

7.一种图片处理装置，其特征在于，包括：

图片获取模块，用于获取待处理图片；

第一超分辨率模块，用于将所述图片获取模块所获取的待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片，所述第一超分辨率图片的图片分辨率为第一预设分辨率，所述第一预设分辨率为所述待处理图片的图片分辨率的N1倍，其中所述第一超分辨率重建模型由两级或两级以上的结构不同的卷积自编码器级联而成，N1为大于1的整数；

显示模块，用于显示所述第一超分辨率模块所输出的第一超分辨率图片；

其中，所述训练后的第一超分辨率重建模型用于对图片尺寸为预设尺寸的图片进行超分辨率重建，所述图片尺寸包括图片宽度方向上像素点个数以及高度方向上像素点个数；

所述图片处理装置还包括：

图片尺寸获取模块，用于获取所述待处理图片的图片尺寸；

相应地，所述第一超分辨率模块具体用于：

若所述待处理图片的图片尺寸为所述预设尺寸，则将所述待处理图片输入至训练后的第一超分辨率重建模型中，获得所述待处理图片对应的第一超分辨率图片。

8.一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。

Images