CN112819695A - 图像超分辨率重建方法、装置、电子设备及介质 - Google Patents

Abstract

本公开是关于一种图像超分辨率重建方法、装置、设备及介质，方法应用于具有图像处理功能的电子设备，方法包括：获取待处理图像中的图像信息，图像信息用于表征待处理图像展示的内容；根据图像信息，选择相应的超分辨率重建模型；基于被选择的超分辨率重建模型，对待处理图像进行超分辨率重建。本公开中的图像超分辨率重建方法，根据待处理图像中的图像信息不同，采用不同的适合当前待处理图像的超分辨率重建模型对其进行超分辨率重建，同时兼顾了图像处理效果和图像处理速度，带给用户更好的使用体验。

Description

图像超分辨率重建方法、装置、电子设备及介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、电子设备及介质。

背景技术

高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，将像素密度低的珍贵老照片进行重新修复，提供高分辨率的医学图像以帮助医生做出准确的医疗诊断等。

超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率图像来得到一幅高分辨率图像的过程就是超分辨率重建。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像超分辨率重建方法、装置、电子设备及介质。

根据本公开实施例的第一方面，提供了一种图像超分辨率重建方法，应用于具有图像处理功能的电子设备，所述方法包括：

获取待处理图像中的图像信息，所述图像信息用于表征所述待处理图像展示的内容；

根据所述图像信息，选择相应的超分辨率重建模型；

基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建。

可选地，所述根据所述图像信息，选择相应的超分辨率重建模型，包括：

根据所述图像信息，确定所述待处理图像为文本图像；

选择与所述文本图像相应的文本重建模型，作为被选择的超分辨率重建模型。

可选地，所述方法还包括：

对所述文本图像进行低通滤波处理，获得低通滤波处理后的文本图像；

所述基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建，包括：

基于所述文本重建模型，对所述低通滤波处理后的文本图像进行超分辨率重建。

可选地，所述根据图像信息，确定所述待处理图像为文本图像，包括：

根据所述图像信息，获取所述待处理图像中文本区域的面积；

所述文本区域的面积占所述待处理图像的总面积的比值大于预设阈值，确定所述待处理图像为文本图像。

可选地，所述根据所述图像信息，选择相应的超分辨率重建模型，包括：

根据所述图像信息，确定所述待处理图像为非文本图像；

根据所述待处理图像的当前分辨率，选择相应的超分辨率重建模型。

可选地，所述根据所述待处理图像的当前分辨率，选择相应的超分辨率重建模型，包括：

所述当前分辨率满足第一阈值时，选择与所述第一阈值相应的第一重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第二阈值时，选择与所述第二阈值相应的第二重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第三阈值时，选择与所述第三阈值相应的第三重建模型作为被选择的超分辨率重建模型；

其中，所述第一重建模型、所述第二重建模型、所述第三重建模型的复杂度依次降低。

可选地，所述第一阈值为[0，540P]；和/或，

所述第二阈值为(540P，720P]；和/或，

第三阈值为[720P，+∞)。

可选地，当所述当前分辨率满足第三阈值时，所述方法还包括：

对所述待处理图像进行图像增强处理，获得增强处理后的待处理图像；

所述基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建，包括：

基于所述第三重建模型，对所述增强处理后的待处理图像进行超分辨率重建。

根据本公开实施例的第二方面，提供了一种图像超分辨率重建装置，应用于具有图像处理功能的电子设备，所述装置包括：

获取模块，用于获取待处理图像中的图像信息，所述图像信息用于表征所述待处理图像展示的内容；

选择模块，用于根据所述图像信息，选择相应的超分辨率重建模型；

处理模块，用于基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建。

可选地，所述选择模块具体用于：

根据所述图像信息，确定所述待处理图像为文本图像；

选择与所述文本图像相应的文本重建模型，作为被选择的超分辨率重建模型。

可选地，所述处理模块还用于：

对所述文本图像进行低通滤波处理，获得低通滤波处理后的文本图像；

基于所述文本重建模型，对所述低通滤波处理后的文本图像进行超分辨率重建。

可选地，所述选择模块具体用于：

根据所述图像信息，获取所述待处理图像中文本区域的面积；

所述文本区域的面积占所述待处理图像的总面积的比值大于预设阈值，确定所述待处理图像为文本图像。

可选地，所述选择模块还用于：

根据所述图像信息，确定所述待处理图像为非文本图像；

根据所述待处理图像的当前分辨率，选择相应的超分辨率重建模型。

可选地，所述选择模块具体用于：

所述当前分辨率满足第一阈值时，选择与所述第一阈值相应的第一重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第二阈值时，选择与所述第二阈值相应的第二重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第三阈值时，选择与所述第三阈值相应的第三重建模型作为被选择的超分辨率重建模型；

其中，所述第一重建模型、所述第二重建模型、所述第三重建模型的复杂度依次降低。

可选地，所述第一阈值为[0，540P]；和/或，

所述第二阈值为(540P，720P)；和/或，

第三阈值为[720P，+∞)。

可选地，所述处理模块还用于：

对所述待处理图像进行图像增强处理，获得增强处理后的待处理图像；

基于所述第三重建模型，对所述增强处理后的待处理图像进行超分辨率重建。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器的可执行指令的存储器；其中，所述处理器被配置为执行如第一方面所述的图像超分辨率重建方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像超分辨率重建方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开中的图像超分辨率重建方法，根据待处理图像中的图像信息不同，采用不同的适合当前待处理图像的超分辨率重建模型对其进行超分辨率重建，同时兼顾了图像处理效果和图像处理速度，带给用户更好的使用体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的图像超分辨率重建方法的框图。

图2是根据一示例性实施例示出的图像超分辨率重建方法的框图。

图3是根据一示例性实施例示出的图像超分辨率重建方法的框图。

图4是根据一示例性实施例示出的效果对比图。

图5是根据一示例性实施例示出的图像超分辨率重建方法的框图。

图6是根据一示例性实施例示出的图像超分辨率重建方法的框图。

图7是根据一示例性实施例示出的图像超分辨率重建方法的框图

图8是根据一示例性实施例示出的电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，将像素密度低的珍贵老照片进行重新修复，提供高分辨率的医学图像以帮助医生做出准确的医疗诊断等。

超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率图像来得到一幅高分辨率图像的过程就是超分辨率重建。

相关技术中，在对低分辨率图像进行超分辨率重建时，存在多种多样的方法。比如，基于预测的超分辨率重建方法、基于统计学的超分辨率重建方法、基于图像边界的超分辨率重建方法、基于块的超分辨率重建方法、基于稀疏表示的超分辨率重建方法、基于深度学习的超分辨重建方法。然而，随着深度神经网络的不断发展，利用神经网络模型进行图像超分辨率重建逐渐成为主流，并且在应用过程中取得了较好的效果。

应用层数越来越深的卷积神经网络模型对低分辨率图像进行超分辨率重建的过程，使得超分辨率重建任务的精度越来越高，一般应用在比较专业的领域当中，对于移动端的超分辨率图像处理过程涉及较少。同时，对于图像中展示的不同内容，比如，文本内容、图像内容等，通常在对其进行超分辨率重建后，对获得的重建图像的显示效果的要求不同。例如，对于文本图像，即图像中文字内容是图像展示内容的主要组成部分的图像，超分辨率重建过程更加侧重将模糊的文字变的更加清晰。而对于非文本图像，即图像中显示的内容以人物、景物等作为主要组成部分的图像，超分辨率重建过程更加侧重图像中显示的细节纹理。

如上文，图像中展示的内容不同时，超分辨重建过程中的侧重点不同，如果不加以区分，对全部的低分辨率图像都采用同一种神经网络模型进行超分辨率重建，获得的高分辨率图像并不一定是效果最佳的，同时还有可能影响图形处理的速度，带给用户不好的使用体验。

本公开提供了一种图像超分辨率重建方法，应用在具有图像处理功能的电子设备中，根据待处理图像中的图像信息不同，采用不同的适合当前待处理图像的超分辨率重建模型对其进行超分辨率重建，同时兼顾了图像处理效果和图像处理速度，带给用户更好的使用体验。

根据一个示例性实施例，本实施例提供了一种图像超分辨率重建方法，应用于具有图像处理功能的电子设备。电子设备比如可以是手机、平板电脑、笔记本电脑等移动终端，也可以是具有图像处理功能的照相机，还可以是台式电脑或者服务器等。

电子设备执行图像超分辨率重建方法时使用的待处理图像可以是电子设备使用摄像头拍摄获得的，也可以是通过有线或无线通信模式从其他设备中获得的。

如图1所示，本实施例中的图像超分辨率重建方法，包括以下步骤：

S110、获取待处理图像中的图像信息。

该步骤中，电子设备执行图像超分辨率重建方法时使用的待处理图像可以是电子设备使用摄像头拍摄获得的，也可以是通过有线或无线通信模式从其他设备中获得的。

在获取到了待处理图像后会对待处理图像中的内容进行识别，以获取图像信息。在图像识别过程中的方法本实施例没有具体限定，使用常规的识别方法即可。其中，图像信息用于表征待处理图像展示的内容，比如图像信息可以表征待处理图像中展示的内容是人物、风景或者文字等。再比如，图像信息还可以表征待处理图像中展示的内容是自然风景或者建筑物或者实体物体等。

图像信息的具体类型没有限定，比如图像信息包含的内容可以通过代码方式体现，也可以通过数字方式体现。

S120、根据图像信息，选择相应的超分辨率重建模型。

不同的待处理图像展示的内容存在差异，则根据待处理图像获取的图像信息也不同。根据待处理图像的图像信息，选择与待处理图像中展示的内容相应的超分辨率重建模型对其进行超分辨率重建处理，以获得最佳的图像处理效果。

该步骤中，相应的超分辨率重建模型是指与待处理图像中展示的内容相适应，使用该超分辨率重建模型进行图像处理后，能够在获得较好处理效果的同时还能够节省处理时间。在实现过程中，不同待处理图像的图像信息可以大致分为几类，比如人像、风景、文字等，对于每一类图像信息，均存在一种或几种最适合处理该类图像的超分辨率重建模型。那么当获取了待处理图像的图像信息后，选择适合该类图像信息的模型就是选择相应的超分辨率重建模型。

在一个示例中，根据图像中展示的内容不同可以将图像的图像信息表征人像、风景、文字三类。使用A超分辨率重建模型对图像信息表征人像的图像进行处理能够获得较佳的效果；使用B超分辨率重建模型对图像信息表征风景的图像进行处理能够获得较佳的效果；使用C超分辨率重建模型对图像信息表征文字的图像进行处理能够获得较佳的效果。则当待处理图像的图像信息表征文字时，选择C超分辨率重建模型则为选择与图像信息相应的超分辨率重建模型。当待处理图像的图像信息表征风景时，选择B超分辨率重建模型即为选择图像信息相应的超分辨率重建模型。

S130、基于被选择的超分辨率重建模型，对待处理图像进行超分辨率重建。

在步骤S120中选择了相应的超分辨率重建模型后，则可以使用该超分辨率重建模型对待处理图像进行超分辨率重建，以有效改善低分辨率的待处理图像的图像显示效果，提供给用户更好的视觉感受。

在此，需要说明的是，本实施例中的涉及到的超分辨率重建模型与图像信息的对应关系均是预先设定，预先设定是指可以是将配置关系预先存储在电子设备中，也可以是移动终端等通过无线网络从服务器处获取配置关系。

另外，本实施例中的超分辨率重建模型都是神经网络模型，可以是相关技术中已经存在的模型，也可以是本领域中新出现的模型，本实施例的主旨在于针对待处理图像中展示的内容不同，选择适合该待处理图像的超分辨率重建模型对其进行超分辨率重建处理，以获得效果更佳的处理后图像，对于使用的超分辨率重建模型没有特殊限定。

本实施例中选择与待处理图像中展示的内容相适配的超分辨率重建模型对待处理图像进行超分辨率重建，由于选择的是最适合处理待处理图像中展示内容的模型进行图像处理，所以能够获得较佳的处理效果。避免出现使用同一种重建模型处理所有待处理图像，造成部分图像处理效果不佳，以及部分图像处理时间较长的问题。

根据一个示例性实施例，如图2所示，本实施例中的图像超分辨率重建方法包括以下步骤：

S210、获取待处理图像中的图像信息。

该步骤与上述实施例中的步骤S110在实施过程中的方法类似，在此，不再赘述。

S220、根据图像信息，确定待处理图像为文本图像。

该步骤中，根据图像信息可以确定出待处理图像中展示的内容相关的多种信息，比如待处理图像中是否存在文字，文字的类型，文字的数量，文字占待处理图像显示内容的比例等。

在确定待处理图像是否为文本图像时，可以有多种方法。在一个示例中，当待处理图像中存在文字并且文字的数量达到预设数量时，可以认定该待处理图像为文本图像。

在另一个示例中，如果用户对文字的清晰度要求较高，对图像中的其他内容没有什么要求时，当待处理图像中存在文字时，就可以认定该待处理图像为文本图像。

在另一个示例中，可以根据图像信息，获取待处理图像中的文本区域的面积，当文本区域的面积占待处理图像的总面积的比值大于预设阈值时，可以确定该待处理图像为文本图像。其中，预设阈值可以进行调整，比如预设阈值可以为50％，也可以为80％。当预设阈值为50％时，如果待处理图像中的文字区域的面积占待处理图像的总面积的一半及以上，该待处理图像可以定义为文本图像。该示例中，通过面积占比方式确定待处理图像是否为文本图像，相比于单纯通过存在文字就确定为文本图像的方法，以及通过文字的数量确定文本图像的方法，不仅能提升判定准确性，确定出真正的可以被成文文本图像的图像，还可以提升判定速度，进而提升图像处理速度。

S230、选择与文本图像相应的文本重建模型，作为被选择的超分辨率重建模型。

当步骤S220中确定了待处理图像是文本图像时，则读取预先设置的配置信息，配置信息中存在与文本图像对应的最适合针对文字进行处理的一个或多个模型。则从配置信息中存储的一个或多个模型中选择一个作为文本重建模型，该文本重建模型就是被选择的相应的超分辨率重建模型。

其中，如果配置信息中存在多个模型时，可以选择默认的模型作为文本重建模型，也可以将各个模型的特点展示给用户，并依据用户的喜好或选择从多个模型中选取一个作为文本重建模型。

S240、基于文本重建模型，对待处理图像进行超分辨率重建。

在步骤S230中选择出文本重建模型后，使用该模型对待处理图像进行超分辨率重建，将低分辨率的待处理图像经过超分辨率重建后，得到高分辨率的图像。

本实施例中，能够根据待处理图像的图像信息快速确定出其是否为文本图像，如果是文本图像则选择适合处理文字的文本重建模型对文本图像进行超分辨率重建，以在提升文字清晰度的同时，还能够减少图像处理需要的时间，用户体验更佳。

根据一个示例性实施例，如图3所示，本实施例中的方法包括以下步骤：

S310、获取待处理图像中的图像信息。

S320、根据图像信息，确定待处理图像为文本图像。

本实施例中的步骤S310、步骤S320的实现方式与上述实施例中的步骤S210和步骤S220相同，在此，不再赘述。

S330、对文本图像进行低通滤波处理，获得低通滤波处理后的文本图像。

该步骤中的低通滤波(Low-pass filter)处理方法是一种过滤方法，该方法的规则为低频信号可以正常通过，而超过设定临界值的高频信号会被阻隔、减弱。其中，对于高频信号的阻隔、减弱的幅度，会依据高频信号的频率不同以及采用的实现低通滤波的程序(也即想要达到的滤波目的不同)而出现变化。在数字图像处理技术领域，从频域角度出发，使用低通滤波方法对图像进行处理，可以实现对图像进行平滑去噪的效果。

由于被确定为文本图像的待处理图像中展示的内容(即文字)主要集中表现为图像的低频部分，文本图像中的高频部分(比如风景图像的细节部分)在进行超分辨率重建后展示出的效果对于提升文本图像的效果影响不大，因此，为了在获得图像处理效果的前提下进一步节省图像处理时间，可以在对文本图像进行超分辨率重建之前，去除文本图像中作为噪声的高频部分，从而降低噪声对超分辨率重建的结果的影响。

如图4所示，图中左侧部分文字是低分辨率的待处理图像没有进行低通滤波处理，仅使用文本重建模型进行超分辨率重建后获得的显示效果。图中右侧部分文字是低分辨率的待处理图像先进行低通滤波后，再使用文本重建模型进行超分辨率重建后获得的显示效果。从图中左、右两侧文字内容的对比可以看出，左侧部分文字(没有经过低通滤波处理)的边界比较模糊，显示出有重影的效果。右侧部分文字(经过低通滤波处理)的边际清晰，阅读体验更佳。

S340、选择与文本图像相应的文本重建模型，作为被选择的超分辨率重建模型。

S350、基于文本重建模型，对低通滤波处理后的文本图像进行超分辨率重建。

本实施例中的步骤S340和步骤S350与上述实施例中的步骤S230和步骤S240的实现方式基本相同，在此，不再赘述。

在此，需要说明的是，对于文本图像的超分辨率重建过程，一般对于处理后的图像的显示效果关注度较高，即用户更加注重重建后获得的图像的文字是否清楚，而对于重建过程的实时性要求相对较弱，因此，可以使用唯一的偏重获得较佳处理效果的文本重建模型对所有被确认为是文本图像的待处理图像进行处理，以降低本实施例中的方法整体复杂度。

当然，可以理解的是，在某些情况下，为了满足各种用户的不同需求，可以对文本图像进行进一步细分，并对应配置不同的重建模型。比如，可配置专门针对汉字或者英文或者日语等进行超分辨率重建的重建模型；还可以配置处理后清晰度一般但是处理速度较快的重建模型，以提供给用户更多的选择，互动效果更加，用户满意度更高。

本实施例中，在对文本图像使用文本重建模型进行超分辨率重建之前，先进行低通滤波处理，去掉对文本图像而言属于噪声的高频信号，去除了高频信号对超分辨率重建过程的影响，提升了文本图像的超分辨率重建效果。

根据一个示例性实施例，如图5所示，本实施例中的图像超分辨率重建方法包括：

S410、获取待处理图像中的图像信息。

S420、根据图像信息，确定待处理图像为非文本图像。

本实施例中，可以将全部需要处理的图像划分为两大类，一类是文本图像，其余的是非文本图像。其中，非文本图像是指，图像中展示的内容中没有文字内容或者文字内容很少，图像中的内容主要是风景、人物、建筑、实体等。也可以认为，除了被确定为是文本图像的其余全部图像都被定义为是非文本图像。

在确定待处理图像是否是非文本图像时，可以参照上述步骤S220中的方法。可以根据图像信息，获取待处理图像中的文本区域的面积，当文本区域的面积占待处理图像的总面积的比值小于预设阈值时，可以确定该待处理图像为非文本图像。其中，预设阈值可以进行调整，比如预设阈值可以为50％，也可以为80％。当预设阈值为50％时，如果待处理图像中的文字区域的面积占待处理图像的总面积比例小于50％时，该待处理图像可以定义为非文本图像。

S430、根据待处理图像的当前分辨率，选择相应的超分辨率重建模型。

当待处理图像被确认为非文本图像时，如果使用同一个重建模型对分辨率不同的待处理图像进行处理，处理速度和处理效果会有比较明显的差异，即待处理图像原本的分辨率会严重影响到超分辨率重建效果，无法同时兼顾重建效果和重建时间。

因此，可以根据图像的分辨率，预先建立与不同分辨率对应的超分辨率重建模型，以在获取到待处理图像的当前分辨率后，选择与该分辨率对应的超分辨率重建模型，并对待处理图像进行超分辨率重建。

在此，需要说明的是，对于基于深度学习神经网络构建本实施例或者上述实施例中的超分辨率重建模型的过程与相关技术中的过程类似，在此，不再赘述。

S440、基于被选择的超分辨率重建模型，对待处理图像进行超分辨率重建。

本实施例中的方法根据待处理图像的分辨率，选择与该分辨率相应的超分辨率重建模型对待处理图像进行处理，使得待处理图像的超分辨率重建过程可以同时兼顾处理效果和处理时间，提升用户体验。

根据一个示例性实施例，如图6所示，本实施例中的图像超分辨率重建方法包括以下步骤：

S510、获取待处理图像中的图像信息。

S520、根据图像信息，确定待处理图像为非文本图像。

上述步骤S510和步骤S520与上述实施例中的步骤S410和步骤S420的实现方式基本相同，在此，不再赘述。

S530、获取非文本图像的当前分辨率。

该步骤中的当前分辨率为图像分辨率，图像分辨率决定了图像细节的精细程度。通常情况下，图像的图像分辨率越高，该图像所包含的像素就越多，图像就越清晰，同时，它也会增加图像文件占用的存储空间。因此，本实施例中根据待处理图像的分辨率选择相应的超分辨率重建模型，也可以被认为是根据待处理图像的分辨率选择相应的超分辨率重建模型。

S540、当前分辨率满足第一阈值时，选择与第一阈值相应的第一重建模型作为被选择的超分辨率重建模型。

该步骤中，第一阈值为[0，540P]。其中，图像分辨率的单位通常包括dpi(点每英寸)、lpi(线每英寸)、ppi(像素每英寸)和PPD(PPPixels Per Degree角分辨率，像素每度)。为了简化表示方式，本领域中通常也是P来表示图像分辨率的单位。

本实施例中与第一阈值相应的是第一重建模型，也即如果当前分辨率满足第一阈值时，第一重建模型作为被选择的超分辨率重建模型，以对低分辨率的被确定为非文本图像的待处理图像进行超分辨率重建。

在一个示例中，如果待处理图像的当前分辨率为540P时，当前分辨率满足第一阈值，则选择与第一阈值对应的第一重建模型作为被选择的超分辨率重建模型，并在后续步骤中使用其对待处理图像进行超分辨率重建处理。

该步骤中，第一重建模型是预设的，可以是相关技术中已经存在的神经网络模型，也可以是使得对非文本图像进行超分辨率重建的新的神经网络模型，本实施例中不做限定。在对第一重建模型进行选择时，由于分辨率属于第一阈值的待处理图像的分辨率偏低、图像质量较差，为了有效改善待处理图像的显示效果，应当选择网络层数更深、复杂程度更大的神经网络模型对其进行超分辨率重建。

S550、当前分辨率满足第二阈值时，选择与第二阈值相应的第二重建模型作为被选择的超分辨率重建模型。

该步骤中，第二阈值为(540P，720P)。

本实施例中与第二阈值相应的是第二重建模型，也即如果当前分辨率满足第二阈值时，第二重建模型作为被选择的超分辨率重建模型，以对低分辨率的被确定为非文本图像的待处理图像进行超分辨率重建。

在一个示例中，如果待处理图像的当前分辨率为640P时，当前分辨率满足第二阈值，则选择与第二阈值对应的第二重建模型作为被选择的超分辨率重建模型，并在后续步骤中使用其对待处理图像进行超分辨率重建处理。

当待处理图像当前分辨率属于第二阈值时，相比于分辨率属于第一阈值的图像，该待处理图像的分辨率相对高一些，属于中等质量的图片，为了提升处理速度，构建第二重建模型的神经网络的层数相比第一重建模型可以少一些，复杂度可以小一些。

S560、当前分辨率满足第三阈值时，选择与第三阈值相应的第三重建模型作为被选择的超分辨率重建模型。

该步骤中，第三阈值为[720P，+∞)。

本实施例中与第三阈值相应的是第三重建模型，也即如果当前分辨率满足第三阈值时，第三重建模型作为被选择的超分辨率重建模型，以对低分辨率的被确定为非文本图像的待处理图像进行超分辨率重建。

在一个示例中，如果待处理图像的当前分辨率为1080P时，当前分辨率满足第三阈值，则选择与第三阈值对应的第三重建模型作为被选择的超分辨率重建模型，并在后续步骤中使用其对待处理图像进行超分辨率重建处理。

当待处理图像当前分辨率属于第三阈值时，相比于分辨率属于第一阈值和第二阈值的图像，该待处理图像的分辨率最高，也即当前分辨率属于第三阈值的待处理图像属于高质量图片，可以使用现有的比如bicubic等传统算法模型进行超分辨率重建，以加快图像处理速度。

另外，在该步骤中，当当前分辨率满足第三阈值时，由于对待处理图像进行超分辨率重建时选用的是复杂度较低的传统算法模型，为了弥补使用传统算法造成的显示效果上的差距，在对待处理图像进行超分辨率重建之前，对待处理图像进行图像增强处理，获得增强处理后的待处理图像。然后，再基于第三重建模型，对增强处理后的待处理图像进行超分辨率重建。

其中涉及到的图像增强处理是在保持待处理图像尺寸不变的基础上，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰，或者，强调某些感兴趣的特征，以改善图像质量、丰富图像中的信息量，加强图像判读和识别效果。由于图像增强处理只需要在待处理图像原有尺寸和分辨率基础上进行，消耗时间较少。同时，由于第三重建模型使用的是传统算法模型，因此重建时间花费较短，进一步提升了图像处理速度。

对于上述步骤S540至步骤S560中涉及到的第一重建模型、第二重建模型和第三重建模型进行以下说明。

第一，本实施例根据阈值的划分范围对应设置了三个重建模型，阈值的划分范围可以进行适应性调整，比如缩小范围或者扩大范围，增加阈值范围的数量或者减少阈值范围的数量。相应的，重建模型的数量可以进行适应性调整，比如，增加重建模型的数量或者减少重建模型的数量。另外，阈值和模型之间的对应关系预先配置，模型也进行预先配置，配置关系和模型可以存在于电子设备上，也可以存储在服务器上。当上述阈值和模型存在电子设备上时，电子设备对待处理图像进行处理；当阈值和模型存在于服务器上时，电子设备将待处理图像传输至服务器进行处理，并接收处理后的超分辨率重建图像。并且，本实施例中的三个重建模型可以同时出现在一个完整实施方案中，也可以根据实际使用需求单独被使用。

第二，本实施例中涉及到的第一重建模型、第二重建模型、第三重建模型的复杂度依次降低。本领域技术人员均知晓，对于深度学习神经网络，随着网络模型层数加深，复杂度增大，生成的超分辨率重建结果会越来越好，但是重建过程中花费的时间也会越来越长。例如，对于图像分辨率为720P的待处理图像，使用网络层数更深、复杂度更大的网络模型生成超分辨率重建图像需要300毫秒，生成的超分辨率重建图像的PSNR均值为32.5。而如果使用层数更少、复杂度小的网络模型生成超分辨率重建图像需要210毫秒，生成的超分辨率重建图像的PSNR均值为32.0。如果使用双三次插值算法(bicubic)生成超分辨率重建图像仅需要十几毫秒，生成的超分辨率重建图像的PSNR均值为31.4。如果输入图像分辨率加大，比如1440P，则使用相同的超分辨率重建模型生成超分辨率重建图像所需要的时间更长，甚至会增加2至3倍。其中，PSNR是常用的一种评价图像质量的客观指标，越大效果越好。

由上述内容可知，对于同一待处理图像使用不同的超分辨率重建模型进行处理，生成的超分辨率重建图像随着模型的复杂性程度增加，花费的时间变长，生成的效果越好。其中涉及到的模型的复杂程度的划分可以通过模型在构建过程中涉及到的参数的数量进行区分，比如参数数量小于10000的模型可以作为低复杂度模型，即第三重建模型；对于参数数量在10000至20000之间的模型可以作为中等复杂度模型，即第二重建模型；对于参数数量在20000以上的模型可以作为高复杂度模型，即第一重建模型。

因此，为了权衡实时性和生成的超分辨率重建图像的质量，当待处理图像为分辨率属于第一阈值的低质量图像，采用复杂程度高的第一重建模型进行超分辨率重建。对于待处理图像为分辨率属于第二阈值的中等质量图像，采用复杂程度稍低一些的第二重建模型进行超分辨率重建。对于待处理图像为分辨率属于第三阈值的高质量图像，采用复杂程度最低的第三重建模型进行超分辨率重建，以使全部超分辨率重建模型在保持高质量超分辨率重建效果的同时，把需要消耗的时间维持在200毫秒之内，提供给用户最佳的使用效果。

S570、基于被选择的超分辨率重建模型，对待处理图像进行超分辨率重建。

本实施例中的图像超分辨率重建方法根据待处理图像的分辨率不同，综合考虑生成的图像超分辨率重建图像和花费的时间，采用不同的重建模型对待处理图像进行超分辨率重建处理，在保持高质量超分辨率重建效果的同时，把需要消耗的时间维持在较低范围内，在有效改善图像显示效果的同时，满足移动终端用户追求实时性的需求，提升用户体验。

根据一个示例性实施例，如图7所示，为了便于对本公开中的方法进行全面理解，通过本实施例对本公开中的方法的一种示例性实施过程进行完整说明。本实施例中的方法包括以下步骤：

S610、获取待处理图像中的图像信息。

S620、判断待处理图像中的文本区域的面积占待处理图像的总面积的比值是否大于预设阈值，若是，则执行步骤S630；

若否，则执行步骤S650。

S630、对待处理图像进行低通滤波处理，获得低通滤波处理后的文本图像。

S640、基于文本重建模型，对低通滤波处理后的文本图像进行超分辨率重建。

S650、获取非文本图像的当前分辨率。

S660、当前分辨率满足第一阈值时，选择与第一阈值相应的第一重建模型作为被选择的超分辨率重建模型。接着执行步骤S6100。

S670、当前分辨率满足第二阈值时，选择与第二阈值相应的第二重建模型作为被选择的超分辨率重建模型。接着执行步骤S6110。

S680、当前分辨率满足第三阈值时，对待处理图像进行图像增强处理，获得增强处理后的待处理图像。

S690、基于第三重建模型，对增强处理后的待处理图像进行超分辨率重建。

S6100、基于第一重建模型，对待处理图像进行超分辨率重建。

S6110、基于第二重建模型，对待处理图像进行超分辨率重建。

在此，需要说明的是，本公开中实施例中涉及到的超分辨率重建模型均为神经网络模型，使用了ESRGAN网络结构作为基本结构，网络模型经过多次卷积提取特征后，通过上相关操作扩大特征分辨率到原来的2倍，之后通过多层卷积网络生成超分辨率重建图像。为了满足实时性要求，降低了神经网络的部分层的大小和深度，生成了不同大小的针对不同分辨率非文本图像的重建模型。并针对文本图像利用神经网络进行单独训练，生成对应的文本重建模型。另外，需要重申的是，如果以后有更好的超分辨率重建模型，在保留本公开的整体架构的基础上，可以对超分辨率重建模型进行替换，以进一步提升重建图像效果，节省重建时间。

本公开还提供了一种图像超分辨率重建装置，应用于具有图像处理功能的电子设备，本实施例中的装置包括获取模块100、选择模块200和处理模块300。

其中，获取模块100用于获取待处理图像中的图像信息，图像信息用于表征待处理图像展示的内容。选择模块200用于根据图像信息，选择相应的超分辨率重建模型。处理模块300用于基于被选择的超分辨率重建模型，对待处理图像进行超分辨率重建。

如图8所示，是一种电子设备的框图。本公开还提供了一种电子设备，例如，设备400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

设备400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制设备400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在设备400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件406为设备400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为设备400生成、管理和分配电力相关联的组件。

多媒体组件408包括在设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当设备400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为设备400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如组件为设备400的显示器和小键盘，传感器组件414还可以检测设备400或设备400一个组件的位置改变，用户与设备400接触的存在或不存在，设备400方位或加速/减速和设备400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于设备400和其他设备之间有线或无线方式的通信。设备400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像超分辨率重建方法。

本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由设备400的处理器420执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述图像超分辨率重建方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像超分辨率重建方法，应用于具有图像处理功能的电子设备，其特征在于，所述方法包括：

获取待处理图像中的图像信息，所述图像信息用于表征所述待处理图像展示的内容；

根据所述图像信息，选择相应的超分辨率重建模型；

基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建。

2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述根据所述图像信息，选择相应的超分辨率重建模型，包括：

根据所述图像信息，确定所述待处理图像为文本图像；

选择与所述文本图像相应的文本重建模型，作为被选择的超分辨率重建模型。

3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述方法还包括：

对所述文本图像进行低通滤波处理，获得低通滤波处理后的文本图像；

所述基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建，包括：

基于所述文本重建模型，对所述低通滤波处理后的文本图像进行超分辨率重建。

4.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述根据图像信息，确定所述待处理图像为文本图像，包括：

根据所述图像信息，获取所述待处理图像中文本区域的面积；

所述文本区域的面积占所述待处理图像的总面积的比值大于预设阈值，确定所述待处理图像为文本图像。

5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述根据所述图像信息，选择相应的超分辨率重建模型，包括：

根据所述图像信息，确定所述待处理图像为非文本图像；

根据所述待处理图像的当前分辨率，选择相应的超分辨率重建模型。

6.根据权利要求5所述的图像超分辨率重建方法，其特征在于，所述根据所述待处理图像的当前分辨率，选择相应的超分辨率重建模型，包括：

所述当前分辨率满足第一阈值时，选择与所述第一阈值相应的第一重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第二阈值时，选择与所述第二阈值相应的第二重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第三阈值时，选择与所述第三阈值相应的第三重建模型作为被选择的超分辨率重建模型；

其中，所述第一重建模型、所述第二重建模型、所述第三重建模型的复杂度依次降低。

7.根据权利要求6所述的图像超分辨率重建方法，其特征在于，所述第一阈值为[0，540P]；和/或，

所述第二阈值为(540P，720P)；和/或，

第三阈值为[720P，+∞)。

8.根据权利要求6所述的图像超分辨率重建方法，其特征在于，当所述当前分辨率满足第三阈值时，所述方法还包括：

对所述待处理图像进行图像增强处理，获得增强处理后的待处理图像；

所述基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建，包括：

基于所述第三重建模型，对所述增强处理后的待处理图像进行超分辨率重建。

9.一种图像超分辨率重建装置，应用于具有图像处理功能的电子设备，其特征在于，所述装置包括：

获取模块，用于获取待处理图像中的图像信息，所述图像信息用于表征所述待处理图像展示的内容；

选择模块，用于根据所述图像信息，选择相应的超分辨率重建模型；

处理模块，用于基于被选择的超分辨率重建模型，对所述待处理图像进行超分辨率重建。

10.根据权利要求9所述的图像超分辨率重建装置，其特征在于，所述选择模块具体用于：

根据所述图像信息，确定所述待处理图像为文本图像；

选择与所述文本图像相应的文本重建模型，作为被选择的超分辨率重建模型。

11.根据权利要求10所述的图像超分辨率重建装置，其特征在于，所述处理模块还用于：

对所述文本图像进行低通滤波处理，获得低通滤波处理后的文本图像；

基于所述文本重建模型，对所述低通滤波处理后的文本图像进行超分辨率重建。

12.根据权利要求10所述的图像超分辨率重建装置，其特征在于，所述选择模块具体用于：

根据所述图像信息，获取所述待处理图像中文本区域的面积；

所述文本区域的面积占所述待处理图像的总面积的比值大于预设阈值，确定所述待处理图像为文本图像。

13.根据权利要求9所述的图像超分辨率重建装置，其特征在于，所述选择模块还用于：

根据所述图像信息，确定所述待处理图像为非文本图像；

根据所述待处理图像的当前分辨率，选择相应的超分辨率重建模型。

14.根据权利要求13所述的图像超分辨率重建装置，其特征在于，所述选择模块具体用于：

所述当前分辨率满足第一阈值时，选择与所述第一阈值相应的第一重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第二阈值时，选择与所述第二阈值相应的第二重建模型作为被选择的超分辨率重建模型；和/或，

所述当前分辨率满足第三阈值时，选择与所述第三阈值相应的第三重建模型作为被选择的超分辨率重建模型；

其中，所述第一重建模型、所述第二重建模型、所述第三重建模型的复杂度依次降低。

15.根据权利要求14所述的图像超分辨率重建装置，其特征在于，所述第一阈值为[0，540P]；和/或，

所述第二阈值为(540P，720P]；和/或，

第三阈值为[720P，+∞)。

16.根据权利要求14所述的图像超分辨率重建装置，其特征在于，所述处理模块还用于：

对所述待处理图像进行图像增强处理，获得增强处理后的待处理图像；

基于所述第三重建模型，对所述增强处理后的待处理图像进行超分辨率重建。

17.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器的可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1至8任一项所述的图像超分辨率重建方法。

18.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至8任一项所述的图像超分辨率重建方法。

Images