CN112991170A - 图像超分辨率重建的方法、装置、终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像超分辨率重建的方法、装置、终端及存储介质，属于图像处理技术领域。所述申请能够在处理第一图像帧之前，从候选分辨率库中确定出目标分辨率，将第一图像帧填充为分辨率为目标分辨率的第二图像帧，并将第二图像帧输入至超分重建模块，候选分辨率库中的候选分辨率满足超分重建模块。由于目标分辨率时候选分辨率库中大于第一图像帧的第一分辨率且与第一分辨率之间的差值最小的候选分辨率。因此，本申请能够在实现图像超分效果的同时，最大程度减少输入至超分重建模块的输入图像帧的分辨率，降低模型因运算输入图像帧的复杂度，从而提高模型运算效率并降低模型的资源占用。

Description

图像超分辨率重建的方法、装置、终端及存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种图像超分辨率重建的方法、装置、终端及存储介质。

背景技术

随着图像增强技术的发展，基于图像增强技术中的图像超分辨率重建(ImageSuper Resolution)也得到了广泛的应用。

相关技术中，当待处理的图像或者视频需要进行图像超分辨率处理时，待处理的图像或者图像帧将输入超分重建模块。超分重建模块处理图像或者图像帧之后，能够输出分辨率高于原本图像的图像或者图像帧。

发明内容

本申请实施例提供了一种图像超分辨率重建的方法、装置、终端及存储介质。所述技术方案如下：

根据本申请的一方面内容，提供了一种图像超分辨率重建的方法，所述方法包括：

获取第一图像帧，所述第一图像帧的分辨率是第一分辨率；

从候选分辨率库中确定出目标分辨率，所述目标分辨率是所述候选分辨率库中大于或等于所述第一分辨率且与所述第一分辨率之间的差值最小的候选分辨率；

将所述第一图像帧填充为第二图像帧，所述第二图像帧的分辨率是所述目标分辨率；

将所述第二图像帧输入超分重建模块，得到分辨率为第二分辨率的第三图像帧，所述候选分辨率满足所述超分重建模块的图像输入需求，所述第二分辨率大于所述第一分辨率。

根据本申请的另一方面内容，提供了一种图像超分辨率重建的装置，所述装置包括：

第一获取模块，用于获取第一图像帧，所述第一图像帧的分辨率是第一分辨率；

分辨率确定模块，用于从候选分辨率库中确定出目标分辨率，所述目标分辨率是所述候选分辨率库中大于或等于所述第一分辨率且与所述第一分辨率之间的差值最小的候选分辨率；

第一处理模块，用于将所述第一图像帧填充为第二图像帧，所述第二图像帧的分辨率是所述目标分辨率；

第二处理模块，用于将所述第二图像帧输入超分重建模块，得到分辨率为第二分辨率的第三图像帧，所述候选分辨率满足所述超分重建模块的图像输入需求，所述第二分辨率大于所述第一分辨率。

根据本申请的另一方面内容，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请各个方面提供的图像超分辨率重建的方法。

根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请各个方面提供的图像超分辨率重建的方法。

根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的图像超分辨率重建的方法。

本申请能够在处理第一图像帧之前，从候选分辨率库中确定出目标分辨率，将第一图像帧填充为分辨率为目标分辨率的第二图像帧，并将第二图像帧输入至超分重建模块，候选分辨率库中的候选分辨率满足超分重建模块。由于目标分辨率时候选分辨率库中大于或等于第一图像帧的第一分辨率且与第一分辨率之间的差值最小的候选分辨率。因此，本申请能够在实现图像超分重建效果的同时，最大程度减少输入至超分重建模块的输入图像帧的分辨率，从而降低模型因处理输入图像帧时运算的复杂度，提高模型运算效率并降低模型的资源占用。

附图说明

为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是相关技术中一种增强图像的方法的示意图；

图2是本申请一个示例性实施例提供的一种终端的结构框图；

图3是本申请一个示例性实施例提供的一种图像超分辨率重建的方法的流程图；

图4是本申请另一个示例性实施例提供的构建候选分辨率库的方法流程图；

图5是基于图4所示实施例提供的一种表示垂直像素值和水平像素值之间关系的函数图像；

图6是基于图4所示实施例提供的一种候选分辨率个数为1的示意图；

图7是基于图6所示实施例提供的一种填充第一图像帧的示意图；

图8是本申请实施例提供的一种第一函数的构建过程示意图；

图9是本申请一个示例性实施例提供的另一种图像超分辨率重建的方法的流程图；

图10是基于图9所示实施例提供的一种图像帧的填充方法；

图11是本申请实施例提供的一种图像帧的填充过程的示意图；

图12是本申请提供的另一种图像帧的填充过程的示意图；

图13是基于图9所示实施例提供的一种增强第一图像帧的过程示意图；

图14是本申请一个示例性实施例提供的另一种图像超分辨率重建的方法的流程图；

图15是基于图14所示实施例提供的一种双边邻向填充策略的示意图；

图16是基于图14所示实施例提供的一种三边方向填充策略的示意图；

图17是本申请实施例提供的一种环绕填充策略的示意图；

图18是基于图14所示实施例提供的一种单边方向填充策略的填充示意图；

图19是基于图14所示实施例提供的一种双边对向填充策略的填充示意图；

图20是本申请一个示例性实施例提供的一种图像超分辨率重建的装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

相关技术中，超分重建模块能够将分辨率较低图像帧转化为分辨率较高的图像帧。在具体实现的方式中，相关技术中提供统一的一个输入分辨率，所有输入模型的图像均需要被填充至该分辨率，进而超分重建模块对统一为输入分辨率的图像帧进行处理，最终得到增强后的图像帧。

请参见图1，图1是相关技术中一种增强图像的方法的示意图。在图1中，输入图像帧100的分辨率是200*300，超分重建模块支持的输入分辨率是400*400。在该场景中，终端将输入图像帧100填充至目标图像帧110。其中，需要填充的像素点数目为400*400-200*300＝100000，填充率为(400*400-200*300)/(400*400)＝62.5％。在该场景中，每一张输入图像帧均需要大量的填充数据量，并且填充后的目标图像帧110将作超分重建模块真正处理的输入图像帧。因此，在该场景中进行图像超分辨率重建时，无论实际需要增强的输入图像帧的分辨率是多少，只要小于最大分辨率400*400，图像超分辨率重建所需要占用的软硬件资源和能耗均是相等的，同时该消耗也较大。

基于相关技术中的问题，本申请提供一种图像超分辨率重建的方法，能够提高超分重建模块的运算效率并降低能耗，介绍如下。

首先，为了本申请实施例所示方案易于理解，下面对本申请实施例中出现的若干名词进行介绍。

第一图像帧：在本申请中，又称输入图像帧。第一图像帧是需要进行图像超分辨率重建的图像。需要说明的是，第一图像帧的分辨率是第一分辨率。

在一种可能的方式中，第一图像帧是独立的单张图像。在该场景中，超分重建模块仅需要将该单张图像处理后得到分辨率大于第一分辨率的单张的第三图像帧。需要说明的是，第三图像帧在视觉上和第一图像帧相同，但是分辨率高于第一图像帧。例如，第一图像帧是一个苹果的图像，则第三图像帧也应是该苹果的图像，区别在于第三图像帧的分辨率(第二分辨率)大于第一图像帧的分辨率(第一分辨率)。

在另一种可能的方式中，第一图像帧是连续视频中的一帧图像。在该场景中，超分重建模块需要对视频流中的图像帧进行图像超分辨率重建。在视频超分辨率重建场景中，具备如下几种可以实现的方式。

可选地，在一种可能的方式中，视频中的每一帧图像均进行图像超分辨率重建，也即图像超分辨率重建后的视频中的每一帧图像的分辨率均比对应的原始第一图像帧的分辨率高。

可选地，在另一种可能的方式中，视频中的部分图像帧进行图像超分辨率重建，而其它的图像帧则保持原本的分辨率。在该场景中又分为几种可能的实施方式。

实施方式(1)，终端以间隔方式从视频中选择需要进行图像超分辨率重建的图像帧。例如，每隔a1张图像帧，终端选择一帧图像进行图像超分辨率重建，a1为正整数。比如，终端每隔1张图像帧选择一帧图像进行图像超分辨率重建。或者，终端每隔2张图像帧选择一帧图像进行图像超分辨率重建。或者，终端每隔a1张图像帧选择a2张图像进行图像超分辨率重建。其中，a2为正整数。或者，终端每隔1张图像帧选择2张图像进行图像超分辨率重建。或者，终端每隔1张图像帧选择3张图像进行图像超分辨率重建。需要说明的是，上述进行图像超分辨率重建视频的间隔方式仅为示例性说明，不对本申请可以应用的其它选择需要进行图像超分辨率重建的间隔数值形成限定。

实施方式(2)，终端以运动场景为标准确定需要视频增强的视频段。在该标准中，视频能够以时间戳的方式被识别出运动场景。其中，时间戳既可以是预先标注在视频中，也可以是通过终端中的预处理模型打点的时间戳。

例如，一段时长为30秒的短视频，其中，运动场景为第10秒至第15秒的片段。则该短视频在第10秒被标注有一个运动场景的开始时间戳，在第15秒被标注有一个运动场景的结束时间戳。当该短视频将被输入至超分重建模块中时，终端可以根据开始时间戳和结束时间戳仅将两个时间戳之间的图像帧输入至超分重建模块进行增强。

候选分辨率库：用于存储若干个候选分辨率。在终端中可以存储在一个库文件中。其中，候选分辨率是满足超分重建模块的图像输入需求。作为一种可能的实现方式，任意一种候选分辨率的图像帧都能够输入到超分重建模块，直接被超分重建模块处理。超分重建模块都可以在获取第一图像帧后，输出经过图像超分辨率重建后相应的第三图像帧。

示意性的，候选分辨率库的另一种称谓可以是分辨率模型库，本申请实施例对其命名不作限定。

第二图像帧：用于输入至超分重建模块中的图像帧，该第二图像帧的分辨率是目标分辨率。

目标分辨率：是候选分辨率库中候选分辨率中的一个分辨率。目标分辨率大于第一分辨率。并且，目标分辨率是大于或等于第一分辨率。当目标分辨率大于第一分辨率时，目标分辨率是大于第一分辨率的候选分辨率中与第一分辨率之间的差值的最小的分辨率。

可选的，在本申请中，分辨率用于指示图像分辨率。图像分辨率＝图像水平方向的像素值(简称水平像素值)*图像垂直方向的像素值(简称垂直像素值)。

例如，第一分辨率是200*200。候选分辨率有5个，分别为160*400、220*300、250*250、310*210和400*180。在本申请实施例中，候选分辨率大于第一分辨率的含义是候选分辨率的水平像素值和垂直像素值分别大于目标分辨率的水平像素值和垂直像素值。在该标准中，候选分辨率大于第一分辨率的候选分辨率有220*300、250*250和310*210一共3个候选分辨率。其中与第一分辨率之间的差值最小的候选分辨率是250*250。也即，在该场景中，目标分辨率被确定为250*250。

示例性地，本申请实施例所示的图像超分辨率重建的方法，可以应用在终端中，该终端具备显示屏且具备图像超分辨率重建的功能。终端可以包括手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、智能眼镜、智能手表、数码相机、MP4播放终端、MP5播放终端、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(Virtual Reality，VR)播放终端或增强现实(Augmented Reality，AR)播放终端等。

请参见图2，图2是本申请一个示例性实施例提供的一种终端的结构框图，如图2所示，该终端包括处理器220和存储器240，所述存储器240中存储有至少一条指令，所述指令由所述处理器220加载并执行以实现如本申请各个方法实施例所述的图像超分辨率重建的方法。

在本申请中，终端200是能够运行超分重建模块的电子设备。当终端200获取分辨率为第一分辨率的第一图像帧后，终端200能够从候选分辨率库中确定出目标分辨率，所述目标分辨率是所述候选分辨率库中大于或等于所述第一分辨率且与所述第一分辨率之间的差值最小的候选分辨率；将所述第一图像帧填充为第二图像帧，所述第二图像帧的分辨率是所述目标分辨率；将所述第二图像帧输入超分重建模块，得到分辨率为第二分辨率的第三图像帧，所述候选分辨率满足所述超分重建模块的图像输入需求，所述第二分辨率大于所述第一分辨率。

处理器220可以包括一个或者多个处理核心。处理器220利用各种接口和线路连接整个终端200内的各个部分，通过运行或执行存储在存储器240内的指令、程序、代码集或指令集，以及调用存储在存储器240内的数据，执行终端200的各种功能和处理数据。可选的，处理器220可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器220可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器220中，单独通过一块芯片进行实现。

存储器240可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选的，该存储器240包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器240可用于存储指令、程序、代码、代码集或指令集。存储器240可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储下面各个方法实施例中涉及到的数据等。

请参考图3，图3是本申请一个示例性实施例提供的一种图像超分辨率重建的方法的流程图。该图像超分辨率重建的方法可以应用在上述所示的终端中。在图3中，图像超分辨率重建的方法包括：

步骤310，获取第一图像帧，第一图像帧的分辨率是第一分辨率。

在本申请实施例中，终端能够从终端外部获取第一图像帧，或者从本地存储的内容中获取第一图像帧。在终端读取该第一图像帧后，终端能够从该第一图像帧的属性中获知图像的分辨率。在本例中，第一图像帧的分辨率为第一分辨率。

在一种可能的处理场景中，第一图像帧来源于终端的本地存储。例如，终端本地存储的相册中的照片或者视频。当终端本地存储的照片需要进行图像超分辨率重建时，终端可以将该图像存入内存，以备处理器读取。当终端本地存储的视频需要进行图像超分辨率重建时，终端可以将视频中需要增强的图像帧以队列的形式缓存在内存中，在处理器需要处理时，按照队列次序依次读取。

在另一种可能的处理场景中，第一图像帧来源于终端外部。此时，终端可以直接将该第一图像帧缓存在内存中。

步骤320，从候选分辨率库中确定出目标分辨率，目标分辨率是候选分辨率库中大于或等于第一分辨率且与第一分辨率之间的差值最小的候选分辨率。

在本例中，终端能够从候选分辨率库中确定出目标分辨率。其中，候选分辨率库中存储的候选分辨率的数目可以是2、3、4、5、6或7等常数。需要说明的是，候选分辨率的数目可以根据候选分辨率库的容量上限进行设计。例如，一个型号的终端中指示的候选分辨率库的容量上限能够满足5个候选分辨率的数目。在该场景中，候选分辨率中存储的候选分辨率的数目是5。示意性的，每一个候选分辨率可以对应为一个分辨率模型，该分辨率模型被统一存储在候选分辨率库中。

可选地，候选分辨率是通过第一函数取到极小值时的解集合确定出的数据，第一函数是由第一参数a、第二参数b和m-1个自变量构建的函数，第一参数a用于指示第一图像帧的分辨率阈值，第二参数b用于指示第一图像帧的像素阈值，第三参数m用于指示候选分辨率的个数，a和b为正数，a大于b，m是大于1的整数。

示意性的，从实现逻辑来说，本申请实施例不对候选分辨率库中的候选分辨率的数目进行限定。

终端能从候选分辨率库中选出目标分辨率。其中，终端选择的过程可以是以第一分辨率为标准，首先从候选分辨率库中确定出是否存在等于第一分辨率的候选分辨率，若存在则直接将该候选分辨率确定为目标分辨率。若不存在等予第一分辨率的候选分辨率，则从候选分辨率库中选出分辨率大于该第一分辨率的候选分辨率。然后再从该候选分辨率中选出与第一分辨率之间的差值最小的候选分辨率，需要说明的是，两个分辨率之间的差值是像素数目之间的差值。比如，100*100分辨率和200*200分辨率之间的差值是30000。

步骤330，将第一图像帧填充为第二图像帧，第二图像帧的分辨率是目标分辨率。

在本申请实施例中，若第一分辨率等于目标分辨率，则本步骤可以省略。终端直接将第一图像帧作为第二图像帧。

可选的，若目标分辨率大于第一分辨率，则终端能够将第一图像帧填充为第二图像帧，该第二图像帧的分辨率是目标分辨率。

在一种可能的实现方式中，本申请中的终端基于第一图像帧的边缘数据，对第一图像帧进行填充，得到分辨率为目标分辨率的第二图像帧。

步骤340，将第二图像帧输入超分重建模块，得到分辨率为第二分辨率的第三图像帧，候选分辨率满足超分重建模块的图像输入需求，第二分辨率大于第一分辨率。

在本申请实施例中，终端能够将第二图像帧输入至超分重建模块中，经过模型处理后，能够得到分辨率为第二分辨率的第三图像帧。其中，候选分辨率是满足超分重建模块的图像输入需求。这里的第二分辨率大于第一分辨率。需要说明的是的，第二分辨率可以是第一分辨率的若干倍，例如，若第一分辨率是a*b，第二分辨率是第一分辨率的k倍，则第二分辨率为ka*kb。其中，k可以为整数倍。

在本例中，候选分辨率能够满足超分重建模块的输入需求，使得终端能够支持候选分辨率库中多种候选分辨率的输入。

综上所述，本实施例提供的图像超分辨率重建的方法，能够在处理第一图像帧之前，从候选分辨率库中确定出目标分辨率，将第一图像帧填充为分辨率为目标分辨率的第二图像帧，并将第二图像帧输入至超分重建模块，候选分辨率库中的候选分辨率满足超分重建模块。由于目标分辨率时候选分辨率库中大于第一图像帧的第一分辨率且与第一分辨率之间的差值最小的候选分辨率。因此，本申请能够在实现图像超分辨率重建效果的同时，最大程度减少输入至超分重建模块的输入图像帧的分辨率，降低模型因处理该输入图像帧而带来的运算复杂度，从而提高模型运算效率并降低模型的资源占用。

基于上一个实施例所公开的方案，终端还能够在使用超分重建模块之前，预先从服务器中下载候选分辨率库。下面将介绍一种候选分辨率库的构建过程，请参考如下实施例。

请参见图4，图4是本申请另一个示例性实施例提供的构建候选分辨率库的方法流程图。该图像超分辨率重建的方法可以应用在服务器中。在图4中，该图像超分辨率重建的方法包括：

步骤401，获取初始参数，初始参数包括第一参数a、第二参数b和第三参数m，第一参数a用于指示与候选分辨率库中的候选分辨率进行匹配的第一图像帧的分辨率阈值，第二参数b用于指示第一图像帧的像素阈值，第三参数m用于指示候选分辨率的个数，a和b为正数，a大于b，m是大于1的整数。

在本申请实施例中，超分重建模块支持离线构图模式。示意性的，离线构图模式中的超分重建模块在服务器中完成转换、优化网络结构和内存配置，并将处理后的超分重建模块推送至终端中执行。相应的，终端装载(load)该离线(offline)模型。其中，服务器中能够预先定制候选分辨率库，用于存储预先定制的候选分辨率。每一个候选分辨率均对应一种形状，候选分辨率库同样能够保存该形状的模版。

在候选分辨率库的构建过程中，服务器能够首先获取该候选分辨率库对应的初始参数。在本申请中，该初始参数是一组初始参数，可以包括第一参数a、第二参数b和第三参数m。下面将逐个介绍每一个参数的含义。

(1)第一参数a用于指示与候选分辨率库中的候选分辨率进行匹配的第一图像帧的分辨率阈值。

其中，该第一参数a既可以是设计人员人工标定的数据，也可以是服务器依据预设的统计方案从大数据中统计得到的数据。

可选地，若第一参数a是服务器从大数据中统计得到的数据。在一种可能的方式中，服务器能够统计指定的应用商店中社交应用类下载前m1个应用，和/或，统计指定的应用商店中视频类应用类下载前m2个应用。然后，服务器将收集到的m1和/或m2的应用所支持的图像分辨率中的最大值，并将该最大值设定为第一参数a。也即，第一参数a实质上是一个分辨率阈值。

可选地，当第一参数a是人工标定的数据时，统计方案和服务器自动统计的方式类似。

需要说明的是，第一参数a可以随着市场上支持的热门应用的变化而变化。当第一参数a变化时，服务器能够重新构建候选分辨率库，并将新的候选分辨率推送至使用超分重建模块的终端中。此时，终端无需更新超分重建模块，仅需更新候选分辨率库，即可对当前热门的社交应用和/或视频应用中的主流分辨率支持，提升终端对于热门应用中的视频进行高效率的图像超分辨率重建能力。

针对第一参数a的数值，第一参数a可以是900*580、1080*600或970*550等的分辨率阈值。

示意性的，若市场上支持的视频应用的主流分辨率为180*265、350*480、240*240、300*300和340*350。在此情况中，服务器能够确定第一参数a为350*480。需要说明的是，第一参数a对应的模版的覆盖面积需要能够覆盖上述任一分辨率对应的模版。也即，第一参数a的水平像素值大于或等于上述分辨率中的水平像素值的最大值，第一参数a的垂直像素值大于或等于上述分辨率中的垂直像素值的最大值。

(2)第二参数b用于指示第一图像帧的像素阈值。

基于上述介绍第一参数a的部分，该第一参数本质上是一个分辨率阈值，包括两个子参数，分别是水平像素值和垂直像素值。例如，当第一参数a是480*350时，则其水平像素值是480，并且垂直像素值是350。在多个分辨率中，第二参数b用于支持垂直像素值和水平像素值中的最大值。在本例中，垂直像素值和水平像素值的最大值均设置为第二参数b，也即第二参数是480。

其中，a和b为正数，a大于b。

(3)第三参数m用于指示候选分辨率的个数。

在本例中，第三参数m用于设定候选分辨率库中的候选分辨率的个数。可选地，第三参数m既可以是设计人员手动设定的参数，也可以是服务器根据预设参数组自动生成的参数。

可选地，当第三参数m是服务器根据预设参数组自动生成的参数时，服务器可以收集搭载超分重建模块的指定库文件容量阈值，并根据该容量阈值确认第三参数m。示意性的不同第三参数m将对应不同的候选分辨率库的容量。请参考表一。

表一

在表一所示的数据中，当第三参数m取不同的数值时，服务器最终得到的候选分辨率库的容量大小将有所区别。若终端中具有候选分辨率库的容量上限，则大小超过该候选分辨率库的容量上限的候选分辨率库将难以使用。因此，服务器可以根据终端的型号确定相应的第三参数m。示意性的，上述第一对应关系可以是服务器中维护的表格。

请参见表二，表二是服务器中维护的另一种对应关系，该对应关系用于指示终端的型号与候选分辨率库的容量上限的对应关系，在本申请实施例中，该对应关系可以是第二关系，也即第二关系用于指示终端的信号与候选分辨率库的容量上限之间的对应关系。

型号	Ax1	Ry1	Ry2	Fz1	Fz2
						库容量上限	25MB	30MB	35MB	50MB	50MB

表二

需要说明的是，服务器能够根据本地维护的第二对应关系中，确定出不同型号的终端对应的库容量上限。

步骤402，根据参数m设置m-1个自变量，m-1个自变量中的最小值大于a/b，m-1个自变量中的最大值小于b。

在本申请实施例中，服务器能够根据参数m设置m-1个自变量。例如，第三参数m的数值是5，则m-1个自变量是4个自变量，可以分别为x0、x1、x2、和x3。在上述m-1个自变量中，最大的数值小于第二参数b。

步骤403，根据第一参数a、第二参数b和m-1个自变量，构建第一函数，第一函数用于指示候选分辨率库中的各个候选分辨率对应的模版的参考点对齐后的覆盖面积，参考点是模版中指定的一个角。

在本申请实施例中，以m等于5为例进行说明，介绍一种第一函数的构建过程。本申请能够根据第一参数a、第二参数b和m-1个自变量，构建第一函数。

请参见图5，图5是基于图4所示实施例提供的一种表示垂直像素值和水平像素值之间关系的函数图像。在图5中，候选分辨率对应的模版的形状是一个矩形，该矩形的一边长等于水平像素值，另一边长等于垂直像素值。在图5中，以自变量x为水平像素值，因变量y为垂直像素值，则x*y＝a。由于第一参数a是一个指定的常数值，因此，垂直像素值y是关于自变量x的反比例函数。

在图5中，第一象限的区域被分化为3个类型的区域。5个区域分别为第一区域510、第二区域520和第三区域530。

(1)第一区域510是点q1(0，b)、点q2(a/b，b)、点q3(b，a/b)、点q4(b，0)和原点O(0，0)所围成的区域。需要说明的是，形状能够被第一区域所覆盖的模版对应的候选分辨率均小于第一参数a。

简而言之，第一区域510是候选分辨率小于第一参数a的形状所在的区域。

(2)第二区域520是反比例函数y＝a/x的曲线之上的区域。若候选分辨率对应的模版在一个角原点重合，水平像素值以x表示，且垂直像素值以y表示。在此情况下，若候选分辨率对应的模版有部分区域在第二区域520中，说明该候选分辨率大于第一分辨率。

简而言之，第二区域520候选分辨率大于第一参数a的形状所在的区域。

(3)第三区域530是第一象限中除第一区域510和第二区域520之外的区域。本申请中认为形状处于该区域中的模版对应的分辨率不适当作为候选分辨率。原因在于，若矩形的形状部分处于第三区域530中，说明该分辨率的垂直像素值和水平像素值之间的比例过于悬殊。例如，应用中的图像和视频的宽高比最大值是1:4，则宽高比例小于1:4时，认为该分辨率不是候选分辨率的取值范围。或者，应用中的图像和视频的高宽比小于1:4时，认为该分辨率不是候选分辨率的取值范围。

简而言之，第三区域530是比例失调的分辨率的形状所在的区域。

请参见图6，图6是基于图4所示实施例提供的一种候选分辨率个数为1的示意图。在图6中，矩形600是候选分辨率库中的唯一的候选分辨率对应的形状。矩形600是由点O(0,0)、点q1(0，b)、点q5(b，b)和点q4(b，0)所围成。

在该场景中，对于任一分辨率不大于第一参数a的第一图像帧，均将矩形600对应的分辨率确定为目标分辨率。将第一图像帧的分辨率填充至目标分辨率，以图中矩形610是第一分辨率对应的模版为例进行说明。

请参见图7，图7是基于图6所示实施例提供的一种填充第一图像帧的示意图。在图7中，将矩形610的左下角与矩形600的左下角相重合，可见矩形600与矩形610之间存在的面积差距均需要填充。在相关技术中，技术人员使用指定数值的像素进行填充，例如使用数值为1或者0的像素进行填充。而在本申请中，终端基于第一图像帧的边缘像素进行填充。

在图7中，矩形610是一个3*3的矩阵，分别为像素点1、像素点2、像素点3、像素点4、像素点5、像素点6、像素点7、像素点8和像素点9。可选地，终端实际按照目标分辨率填充第一图像帧时，将根据第一图像帧的边缘延伸方向或者角点的延伸方向，将第一图像帧填充为第二图像帧。在图7中，像素点3、像素点6、像素点7和像素点8均为第一图像帧的边缘像素点，以其为基准延伸像素点的数值相等的新的像素点。像素点9是第一图像帧的角像素，以其为基准延伸新的像素点的数值相等的新的像素点。

回到构建第一函数的操作上，若目标分辨率库中仅有图6所示的一个候选分辨率时，则无论第一分辨率对应的形状如何，第一图像帧都将被填充至矩形600。由此造成了终端始终需要令超分重建模块处理矩形600的输入图像，浪费了终端的软硬件资源和内存空间。

示意性的，服务器将先构建出第一函数。第一函数是用于指示候选分辨率库中的所有候选分辨率对应的模版在同一参考点重合的情况下，所覆盖的面积和。

在本申请实施例中，第一函数可以是：

Func(x)＝b*x0+(x1-x0)*a/x0+(x2-x1)*a/x1+(x3-x2)*a/x2+(b-x3)*a/x3

请参考图8，图8是本申请实施例提供的一种第一函数的构建过程示意图。在图8中，包括5个候选分辨率对应的形状，分别为第一矩形Oq1p1x0、第二矩形Op9p2x1、第三矩形Op8p3x2、第四矩形Op4p4x3和第五矩形Op6p5q4。

需要说明的是，a/b＜x0＜x1＜x2＜x3＜b。

步骤404，响应于第一函数取到极小值，得到对应的m-1个自变量的解集合。

在本申请实施例中，服务器将求出Func(x)的极小值，得到关于自变量x0、x1、x2和x3的解集合。

作为一种可能的实现方式，服务器能够通过BFGS算法(BFGS algorithm)来求解Func(x)的极小值。

步骤405，根据解集合中的一个解或两个解，确定候选分辨率库中的m个候选分辨率。

在本申请实施例中，服务器能够根据自变量x0、x1、x2和x3的解集合中的一个自变量或者两个自变量，确定出候选分辨率库中的m个候选分辨率。

可选地，若a为970*550，b²＝4a，则相对于仅有一个候选分辨率的候选分辨率库而言，提供了5个候选分辨率的候选分辨率库，超分重建模块能够减少近67％的数据输入量。需要说明的是，在a的取值确定的情况下，b与a/b的比值是预先设定的比例4/1，也即b²＝4a，b＝1460.82。

可选地，在另一种可能的实施方式中，服务器能够在第一参数a的控制下，提供分辨率小于第一参数的若干个特定的候选分辨率。例如，服务器能够将候选分辨率c1*d1、c2*d2、c3*d3和c4*d4一共四个候选分辨率添加到候选分辨率库中。需要说明的是，上述特定的候选分辨率可以是常见的应用中支持的分辨率。

若是候选分辨率库中根据第一函数确定出5个候选分辨率模版，则加上述c1*d1、c2*d2、c3*d3和c4*d4一个四个特征分辨率，候选分辨率库中可以一共存在9个候选分辨率。

示意性的，特定的候选分辨率可以是如下几种分辨率中的任意一种或多种。960*540、640*480、480*360、970*550、650*490、490*370、540*960、480*640、360*480、550*970、490*650或370*490。需要说明的是，本申请实施例不对特定的候选分辨率进行限定。

在服务器确定好候选分辨率库后，可以将候选分辨率进行打包，将打包后的候选分辨率推送至各个终端中，终端将存储候选分辨率库并在进行图像超分辨率重建的时候使用该候选分辨率库。

综上所述，本申请实施例提供的候选分辨率库的构建方法，能够通过获取到第一参数a、第二参数b和第三参数m之后，构建第一函数，并在第一函数取到极小值时获取相应的解集合，该解集合是m-1个自变量的解，服务器最后根据解集合中的一个自变量或者两个自变量，确定候选分辨率的数值。由于多个候选分辨率均能够满足超分重建模块的图像输入需求，因此，服务器提供了一种降低超分重建模块的功耗和软硬件开销的候选分辨率库的方法。

基于上述服务器提供的候选分辨率库的构建方法，终端能够在获得该候选分辨率库之后，在提高超分重建模块的效果的前提下，将第超分重建模块的功耗和软硬件开销。

请参考图9，图9是本申请一个示例性实施例提供的另一种图像超分辨率重建的方法的流程图。该图像超分辨率重建的方法可以应用在上述所示的终端中。在图9中，图像超分辨率重建的方法包括：

步骤910，获取第一图像帧。

在本申请实施例中，步骤910的执行过程和步骤310的执行过程相同，此处不再赘述。

步骤920，从候选分辨率库中确定出目标分辨率。

在本申请实施例中，步骤920的执行过程和步骤320的执行过程相同，此处不再赘述。

步骤930，基于第一图像帧的边缘数据，沿第一图像帧的边缘的延伸方向或角点的延伸方向，将第一图像帧填充为第二图像帧。

其中，边缘数据是第一图像帧的至少一条边缘中的边缘像素，边缘像素包括全部像素或部分像素。

在本例中，当边缘像素包括至少一条边缘中的全部像素时，终端可以通过执行步骤(a)和步骤(b)来替代步骤930的填充方法。需要说明的是，本申请不对步骤(a)和步骤(b)之间的执行时序进行限定。步骤(a)可以先于步骤(b)执行，步骤(a)也可以后于步骤(b)执行，或者，步骤(a)可以与步骤(b)同时执行。

步骤(a),响应于新填充的像素是沿第一图像帧的边缘的延伸方向填充得到，将新填充的像素填充为与边像素相同的像素。

在本申请中，边像素和第一图像帧的作为延伸基准的边缘上的像素，并且该边像素不是两条作为延伸基准的边缘的交汇的角点。

可选地，终端能够基于其中任意一个边像素，沿着延伸方向填充出新的像素。其中，新的像素与原本的边像素相同。

步骤(b)，响应于新填充的像素是沿第一图像帧的角像素的延伸方向填充得到，将新填充的像素填充为与角像素相同的像素。

在本申请中，终端还能够基于角像素的延伸方向填充出新的像素点，新填充的像素填充为与该角像素相同的像素。

请参见图10，图10是基于图9所示实施例提供的一种图像帧的填充方法。在图10中，终端将对第一图像帧1010进行填充，得到填充后的第二图像帧1020。其中，第一图像帧1010的第一分辨率是3*3，每一个像素点的数值分别是1、2、3、4、5、6、7、8和9。在一种可能的填充方法中，以第一边缘10a和第二边缘10b为基准进行填充。

在第一图像帧1010的第一边缘10a和第二边缘10b中，边像素为像素3、像素6、像素7和像素8；角像素为像素9。针对第一填充区域1021，基于边像素3、像素6、像素7和像素8进行填充，延伸方向是以边像素为出发点指向填充方向。针对第二填充区域1022，基于角像素9进行填充，延伸方向是以角像素为出发点第一图像帧的对角线的延伸方向。在图9中，第一填充区域1021中使用的像素点包括边像素3、像素6、像素7和像素8。第二填充区域1022中使用的像素点包括角像素9。

当边缘像素包括至少一条边缘中的部分像素时，终端可以通过执行步骤(c)和步骤(d)来替代步骤930所示的填充方法。

步骤(c),按照标定策略从至少一条边缘中选出锚点像素，锚点像素是作为新填充的像素点的参考点的像素。

示意性的，标定策略可以包括间隔取法或集中取法中的至少一种。

步骤(d)，基于锚定像素，将第一图像帧填充至第二图像帧。

示意性的，介绍一种标定策略是间隔取法时的第一图像帧的填充过程。请参见图11，图11是本申请实施例提供的一种图像帧的填充过程的示意图。在图11中，第一图像帧1100的分辨率为10*10。第一图像帧1100的第一边11a和第二边11b是用于填充的第一图像帧的基准边缘。其中，第一边缘和第二边缘中的像素点一共有19个。除了其中共有的1个角像素之外，还有18个边缘像素。

在图11中，采用间隔取法，每隔一个边像素，确定一个边像素为锚定像素。第一边11a中确定出5个边缘像素为锚定像素，第二边11b中确定出5个边缘像素为锚定像素。终端再将角像素确定为锚定像素，从而填充第一图像帧1100。在图11所示的示例中，终端能够填充出两种类型的第二图像帧，分别是第一种第二图像帧1110和第二种第二图像帧1120。在图11中，锚定像素分别为像素10、像素30、像素50、像素70、像素90、像素100、像素99、像素97、像素95、像素93和像素91。

针对第一种第二图像帧1110，每一个锚定像素用于填充两个像素位的新像素，角像素用于填充对角区域中的新像素。

针对第二种第二图像帧1120，每一个锚定像素用于填充两个像素位的新像素，角像素用于填充对角区域中的对角线中的新像素。

需要说明的是，目标分辨率为13*13。

图12是本申请提供的另一种图像帧的填充过程的示意图。在图12中，采用集中取法确定锚定像素。终端将第一边缘12a的第一边像素以及第二边缘12b的第一像素点去除，将剩余的边缘像素和角像素作为锚定像素。在图12中，第一图像帧1200被填充为第二图像帧1210，或者，第一图像帧1200被填充为第二图像帧1220。

在图12中，第一边像素为像素91和像素10，锚定像素为像素92、像素93、像素94、像素95、像素96、像素97、像素98、像素99、像素100、像素10、像素20、像素30、像素40、像素50、像素60、像素70、像素80和像素90。

需要说明的是，集中取法去除的像素点可以是第一边缘的前n个像素以及第二边缘的前m个像素。

步骤941，将第二图像帧输入超分重建模块，得到待裁剪的中间图像帧。

在本申请实施例中，终端能够将第二图像帧输入至超分重建模块中，得到待裁剪的中间图像帧。其中，超分重建模块能够将第二图像帧增强到中间图像帧。例如，若超分重建模块用于执行2倍超分，并且第二图像帧的分辨率是8*8，则中间图像帧的分辨率是16*16。

步骤942，基于填充策略对应的裁剪策略，将中间图像帧裁剪为分辨率是第二分辨率的第三图像帧，裁剪策略中的裁剪方向和填充策略中的填充方向相反。

在本例中，由于超分重建模块使用的超分算法的局部性友好，因此，最终通过裁剪中间图像帧得到的分辨率为第二分辨率的第三图像帧的效果也较佳。若原本以第一图像帧作为第二图像帧的左上角区域，则裁剪时沿与填充方向相反的裁剪方向，将中间图像帧裁剪为分辨率为第二分辨率的第三图像帧。也即，裁剪中间图像帧后仍剩下左上角区域。

请参见图13，图13是基于图9所示实施例提供的一种增强第一图像帧的过程示意图。在图13中，分辨率为3*3的第一图像帧1311首先填充为分辨率为7*7的第二图像帧1320。第二图像帧1320输入至超分重建模块1330，超分重建模块1330内部在得到中间图像帧1340后，将裁剪中间图像帧1340得到分辨率为6*6的第一图像帧1312。

需要说明的是，除了如图12和图13所示的选取部分锚点像素的方法，其它选取部分边缘像素作为锚点像素，进而将第一图像帧填充至第二图像帧的方法也在本申请的保护范围之内。

综上所述，本实施例提供的图像超分辨率重建的方法，能够通过第一图像帧的边缘数据对第一图像帧进行填充，使得填充后的图像帧在被超分重建模块处理后，能够输入效果较佳的超分图像，克服了相关技术中使用固定数值的像素填充后，导致最终分辨率为第二分辨率的第三图像帧中带有黑线、白线或者绿线等不理想的图像超分辨率重建问题，改善了图像超分辨率重建方法的效果。

请参考图14，图14是本申请一个示例性实施例提供的另一种图像超分辨率重建的方法的流程图。该图像超分辨率重建的方法可以应用在上述所示的终端中。在图14中，图像超分辨率重建的方法包括：

步骤1410，获取第一图像帧。

在本申请实施例中，步骤1410的执行过程和步骤310的执行过程相同，此处不再赘述。

步骤1420，从候选分辨率库中确定出目标分辨率。

在本申请实施例中，步骤1420的执行过程和步骤320的执行过程相同，此处不再赘述。

步骤1431，根据第一分辨率与目标分辨率的匹配情况，确定对应的填充策略。

其中，填充策略包括单边方向填充、双边对向填充、双边邻向填充、三边方向填充和环绕填充中的一种。不同的填充策略可以参见下列介绍的详细内容。

步骤1432，根据填充策略将第一图像帧填充为第二图像帧。

在本例中，终端能够通过以下的流程一或者流程二确定相应的填充策略并填充第一图像帧得到第二图像帧。

一方面，流程一包括步骤(c1)和步骤(c2)；流程一包括步骤(c1)和步骤(c3)；流程一包括步骤(c1)和步骤(c4)；流程一包括步骤(c1)和步骤(c4)；介绍如下。

步骤(c1)，当第一分辨率中水平像素值和垂直像素值分别小于目标分辨率的水平像素值和垂直像素值时，确定填充策略是双边邻向填充、三边方向填充和环绕填充中的一种。

在本申请实施例中，在第一分辨率中的水平像素值小于目标分辨率的水平像素值，第一分辨率的垂直像素值小于目标分辨率的垂直像素值的场景中。终端将填充策略确定为双边邻向填充、三边方向填充和环绕填充中的一种。下面将分别介绍每种填充策略。

双边邻向填充：以第一图像帧相邻的两条边为填充的起始边，向外侧扩展直至第一图像帧的分辨率被填充为目标分辨率。

三边方向填充：以第一图像帧中任意的三条边为填充的起始边，向外侧扩展直至第一图像帧的分辨率被填充为目标分辨率。

环绕填充：以第一图像帧为填充的中心区域，向第一图像帧的四周扩展填充直至第一图像帧的分辨率被填充为目标分辨率。

步骤(c2)，响应于填充策略是双边邻向填充，以第一图像帧中相邻的第一边和第二边为填充的起始边缘，填充第一图像帧，得到第二图像帧。

在该场景中，若终端使用双边邻向填充作为填充策略，则终端将以第一图像帧中相邻的第一边和第二边作为填充的起始边缘，将第一图像帧的第一边填充至等于目标分辨率中的水平像素值或者垂直像素值，同时，将第一图像帧的第二边填充至等于目标分辨率中的水平像素值或者垂直像素值。

示意性的，终端可以将第一图像帧的第一边填充至等于目标分辨率中的水平像素值，并将第一图像帧的第二边填充至等于目标分辨率中的垂直像素值。或者，终端可以将第一图像帧的第一边填充至等于目标分辨率中的垂直像素值，并将第一图像帧的第二边填充至目标分辨率中的水平像素值。

请参见图15，图15是基于图14所示实施例提供的一种双边邻向填充策略的示意图。在图15中，第一图像帧1510的第一分辨率是3*3，共包括像素分别为1至9的9个像素点。其中，9个像素点的位置可以参见图15的示意。第一图像帧1510以左上角的像素点开始，自左向右，自上而下分布有9个像素点。

针对第一图像帧1510，第一边由像素点3、像素点6和像素点9组成，第二边由像素点7、像素点8和像素点9组成。以目标分辨率是7*7为例，则第一边需要延伸4个像素的长度，同时第二边需要延伸4个像素的长度。

在本例中，第一图像帧1510沿水平方向、垂直方向和对角线方向三个方向进行了填充，以便最终得到分辨率是目标分辨率7*7的第二图像帧1520。

步骤(c3)，响应于填充策略是三边方向填充，以第一图像帧中第一边、第二边和第三边为填充的起始边缘，填充第一图像帧，得到第二图像帧。

在该场景中，若终端使用三边方向填充作为填充策略，则终端将以第一图像帧中的第一边、第二边和第三边作为填充的起始边缘，将第一图像帧的第一边填充至等于目标分辨率中的水平像素值或者垂直像素值，同时，将第一图像帧的第二边填充至等于目标分辨率中的水平像素值或者垂直像素值。

示意性的，终端可以将第一图像帧的第一边填充至等于目标分辨率中的水平像素值，并将第一图像帧的第二边填充至等于目标分辨率中的垂直像素值。或者，终端可以将第一图像帧的第一边填充至等于目标分辨率中的垂直像素值，并将第一图像帧的第二边填充至目标分辨率中的水平像素值。

请参见图16，图16是基于图14所示实施例提供的一种三边方向填充策略的示意图。在图16中，第一图像帧1610的第一分辨率是3*3，共包括像素分别为1至9的9个像素点。其中，9个像素点的位置可以参见图16的示意。第一图像帧1610以左上角的像素点开始，自左向右，自上而下分布有9个像素点。

针对第一图像帧1610，第一边由像素点3、像素点6和像素点9组成，第二边由像素点7、像素点8和像素点9组成，第三边由像素点1、像素点4和像素点7组成。以目标分辨率是8*8为例，则第一边需要延伸2个像素的长度，第三边需要延伸3个像素的长度，同时第二边需要延伸5个像素的长度。

步骤(c4)，响应于填充策略是环绕填充，环绕第一图像帧的边缘进行填充，得到第二图像帧。

在该场景中，若终端使用环绕填充作为填充策略，则终端将以四条边为边缘采用环绕第一图像帧1610的方式填充至第二图像帧1620。

请参见图17，图17是本申请实施例提供的一种环绕填充策略的示意图。在图17中，终端将环绕第一图像帧1710填充，得到填充后的第二图像帧1720。

另一方面，流程二包括步骤(d1)和步骤(d2)；或，流程二包括步骤(d1)和步骤(d3)。

步骤(d1)，当第一分辨率与目标分辨率之间存在相等的第一像素值，且存在不等的第二像素值和第三像素值，确定填充策略是单边方向填充或双边对向填充，第一分辨率为第一像素值*第二像素值，目标分辨率为第一像素值*第三像素值。

步骤(d2)，响应于填充策略是单边方向填充，沿第二像素值对应的方向一侧填充第一图像帧，得到第二图像帧。

在该场景中，请参见图18，图18是基于图14所示实施例提供的一种单边方向填充策略的填充示意图。在图18中，终端基于第一图像帧1810的第一边18a，将第一图像帧3*3填充至目标分辨率3*6的第二图像帧1820。

步骤(d3)，响应于填充策略是双边对向填充，将第二像素值对应的方向两侧填充第一图像帧，得到第二图像帧。

在该场景中，请参见图19，图19是基于图14所示实施例提供的一种双边对向填充策略的填充示意图。在图19中，终端基于第一图像帧1910的第一边19a，以及第一边19a的对边第四边19b，将第一图像帧1910从分辨率3*3填充至目标分辨率3*6的第二图像帧1920。

步骤1441，将第二图像帧输入超分重建模块，得到待裁剪的中间图像帧。

步骤1442，基于填充策略对应的裁剪策略，将中间图像帧裁剪为分辨率是第二分辨率的第三图像帧。

综上所述，本申请实施例提供的图像超分辨率重建的方法，能够将基于第一图像帧的边缘像素，填充第一图像帧。由于填充后的第二图像帧的填充像素部分来源于第一图像帧的边缘像素，则在最终超分重建模块输入分辨率增强为第二分辨率的第三图像帧后，该图像中也不会出现黑线、白线或者绿线等显示异常的情况，降低了图像超分辨率重建场景中边缘显示异常情况的发生。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图20，图20是本申请一个示例性实施例提供的一种图像超分辨率重建的装置的结构框图。该图像超分辨率重建的装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括：

第一获取模块2010，用于获取第一图像帧，所述第一图像帧的分辨率是第一分辨率。

分辨率确定模块2020，用于从候选分辨率库中确定出目标分辨率，所述目标分辨率是所述候选分辨率库中大于或等于所述第一分辨率且与所述第一分辨率之间的差值最小的候选分辨率。

第一处理模块2030，用于将所述第一图像帧填充为第二图像帧，所述第二图像帧的分辨率是所述目标分辨率。

第二处理模块2040，用于将所述第二图像帧输入超分重建模块，得到分辨率为第二分辨率的第三图像帧，所述候选分辨率满足所述超分重建模块的图像输入需求，所述第二分辨率大于所述第一分辨率。

在一个可选的实施例中，所述第一处理模块2030，用于基于所述第一图像帧的边缘数据，沿所述第一图像帧的边缘的延伸方向或角点的延伸方向，将所述第一图像帧填充为所述第二图像帧；其中，所述边缘数据是所述第一图像帧的至少一条边缘中的边缘像素，所述边缘像素包括全部像素或部分像素。

在一个可选的实施例中，所述装置涉及的所述边缘像素包括边像素和角像素，第一处理模块2030，用于响应于新填充的像素是沿所述第一图像帧的边缘的延伸方向填充得到，将所述新填充的像素填充为与所述边像素相同的像素；响应于新填充的像素是沿所述第一图像帧的角像素的延伸方向填充得到，将所述新填充的像素填充为与所述角像素相同的像素。

在一个可选的实施例中，所述第一处理模块2030，用于根据所述第一分辨率与所述目标分辨率的匹配情况，确定对应的填充策略，所述填充策略包括单边方向填充、双边对向填充、双边邻向填充、三边方向填充和环绕填充中的一种；根据所述填充策略将所述第一图像帧填充为所述第二图像帧；响应于所述填充策略是所述双边邻向填充，以所述第一图像帧中相邻的第一边和第二边为填充的起始边缘，填充所述第一图像帧，得到所述第二图像帧；响应于所述填充策略是所述三边方向填充，以所述第一图像帧中第一边、第二边和第三边为填充的起始边缘，填充所述第一图像帧，得到所述第二图像帧；响应于所述填充策略是所述环绕填充，环绕所述第一图像帧的边缘进行填充，得到所述第二图像帧。

在一个可选的实施例中，所述第一处理模块2030，用于当所述第一分辨率中水平像素值和垂直像素值分别小于所述目标分辨率的水平像素值和垂直像素值时，确定所述填充策略是双边邻向填充、三边方向填充和环绕填充中的一种。

在一个可选的实施例中，所述第一处理模块2030，用于当所述第一分辨率与所述目标分辨率之间存在相等的第一像素值，且存在不等的第二像素值和第三像素值，确定所述填充策略是单边方向填充或双边对向填充，所述第一分辨率为所述第一像素值*所述第二像素值，所述目标分辨率为所述第一像素值*所述第三像素值；响应于所述填充策略是所述单边方向填充，沿所述第二像素值对应的方向一侧填充所述第一图像帧，得到所述第二图像帧；响应于所述填充策略是所述双边对向填充，将所述第二像素值对应的方向两侧填充所述第一图像帧，得到所述第二图像帧。

在一个可选的实施例中，所述第一处理模块2030，用于将所述第二图像帧输入所述超分重建模块，得到待裁剪的中间图像帧；基于所述填充策略对应的裁剪策略，将所述中间图像帧裁剪为分辨率是所述第二分辨率的所述第三图像帧，所述裁剪策略中的裁剪方向和所述填充策略中的填充方向相反。

在一个可选的实施例中，所述装置涉及的所述候选分辨率是通过第一函数取到极小值时的解集合确定出的数据，所述第一函数是由第一参数a、第二参数b和m-1个自变量构建的函数，所述第一参数a用于指示所述第一图像帧的分辨率阈值，第二参数b用于指示所述第一图像帧的像素阈值，第三参数m用于指示所述候选分辨率的个数，a和b为正数，a大于b，m是大于1的整数。

综上所述，本申请实施例提供的一种图像超分辨率重建的装置，能够在处理第一图像帧之前，从候选分辨率库中确定出目标分辨率，将第一图像帧填充为分辨率为目标分辨率的第二图像帧，并将第二图像帧输入至超分重建模块，候选分辨率库中的候选分辨率满足超分重建模块。由于目标分辨率时候选分辨率库中大于第一图像帧的第一分辨率且与第一分辨率之间的差值最小的候选分辨率。因此，本申请能够在实现图像超分辨率重建效果的同时，最大程度减少输入至超分重建模块的输入图像帧的分辨率，降低了模型因运算输入图像帧的复杂度，从而提高模型运算效率并降低模型的资源占用。

本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像超分辨率重建的方法。

需要说明的是：上述实施例提供的图像超分辨率重建的装置在执行图像超分辨率重建的方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像超分辨率重建的装置与图像超分辨率重建的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的能够实现的示例性的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像超分辨率重建的方法，其特征在于，所述方法包括：

获取第一图像帧，所述第一图像帧的分辨率是第一分辨率；

从候选分辨率库中确定出目标分辨率，所述目标分辨率是所述候选分辨率库中大于或等于所述第一分辨率且与所述第一分辨率之间的差值最小的候选分辨率；

将所述第一图像帧填充为第二图像帧，所述第二图像帧的分辨率是所述目标分辨率；

将所述第二图像帧输入超分重建模块，得到分辨率为第二分辨率的第三图像帧，所述候选分辨率满足所述超分重建模块的图像输入需求，所述第二分辨率大于所述第一分辨率。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像帧填充为第二图像帧，包括：

基于所述第一图像帧的边缘数据，沿所述第一图像帧的边缘的延伸方向或角点的延伸方向，将所述第一图像帧填充为所述第二图像帧；

其中，所述边缘数据是所述第一图像帧的至少一条边缘中的边缘像素，所述边缘像素包括全部像素或部分像素。

3.根据权利要求2所述的方法，其特征在于，所述边缘像素包括边像素和角像素，所述基于所述第一图像帧的边缘数据，沿所述第一图像帧的边缘的延伸方向或角点的延伸方向，将所述第一图像帧填充为所述第二图像帧，包括：

响应于新填充的像素是沿所述第一图像帧的边缘的延伸方向填充得到，将所述新填充的像素填充为与所述边像素相同的像素；

响应于新填充的像素是沿所述第一图像帧的角像素的延伸方向填充得到，将所述新填充的像素填充为与所述角像素相同的像素。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像帧的边缘数据，沿所述第一图像帧的边缘的延伸方向或角点的延伸方向，将所述第一图像帧填充为所述第二图像帧，包括：

根据所述第一分辨率与所述目标分辨率的匹配情况，确定对应的填充策略，所述填充策略包括单边方向填充、双边对向填充、双边邻向填充、三边方向填充和环绕填充中的一种；

根据所述填充策略将所述第一图像帧填充为所述第二图像帧。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一分辨率与所述目标分辨率的匹配情况，确定对应的填充策略，包括：

当所述第一分辨率中水平像素值和垂直像素值分别小于所述目标分辨率的水平像素值和垂直像素值时，确定所述填充策略是双边邻向填充、三边方向填充和环绕填充中的一种；

所述根据所述填充策略将所述第一图像帧填充为所述第二图像帧，包括：

响应于所述填充策略是所述双边邻向填充，以所述第一图像帧中相邻的第一边和第二边为填充的起始边缘，填充所述第一图像帧，得到所述第二图像帧；

响应于所述填充策略是所述三边方向填充，以所述第一图像帧中第一边、第二边和第三边为填充的起始边缘，填充所述第一图像帧，得到所述第二图像帧；

响应于所述填充策略是所述环绕填充，环绕所述第一图像帧的边缘进行填充，得到所述第二图像帧。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一分辨率与所述目标分辨率的匹配情况，确定对应的填充策略，包括：

当所述第一分辨率与所述目标分辨率之间存在相等的第一像素值，且存在不等的第二像素值和第三像素值，确定所述填充策略是单边方向填充或双边对向填充，其中，所述第一分辨率为所述第一像素值*所述第二像素值，所述目标分辨率为所述第一像素值*所述第三像素值；

所述根据所述填充策略将所述第一图像帧填充为所述第二图像帧，包括：

响应于所述填充策略是所述单边方向填充，沿所述第二像素值对应的方向一侧填充所述第一图像帧，得到所述第二图像帧；

响应于所述填充策略是所述双边对向填充，将所述第二像素值对应的方向两侧填充所述第一图像帧，得到所述第二图像帧。

7.根据权利要求4所述的方法，其特征在于，所述将所述第二图像帧输入超分重建模块，得到分辨率为第二分辨率的所述第三图像帧，包括：

将所述第二图像帧输入所述超分重建模块，得到待裁剪的中间图像帧；

基于所述填充策略对应的裁剪策略，将所述中间图像帧裁剪为分辨率是所述第二分辨率的所述第三图像帧，所述裁剪策略中的裁剪方向和所述填充策略中的填充方向相反。

8.根据权利要求1至7任一所述的方法，其特征在于，所述候选分辨率是通过第一函数取到极小值时的解集合确定出的数据，所述第一函数是由第一参数a、第二参数b和m-1个自变量构建的函数，所述第一参数a用于指示所述第一图像帧的分辨率阈值，第二参数b用于指示所述第一图像帧的像素阈值，第三参数m用于指示所述候选分辨率的个数，a和b为正数，a大于b，m是大于1的整数。

9.一种图像超分辨率重建的装置，其特征在于，所述装置包括：

第一获取模块，用于获取第一图像帧，所述第一图像帧的分辨率是第一分辨率；

分辨率确定模块，用于从候选分辨率库中确定出目标分辨率，所述目标分辨率是所述候选分辨率库中大于或等于所述第一分辨率且与所述第一分辨率之间的差值最小的候选分辨率；

第一处理模块，用于将所述第一图像帧填充为第二图像帧，所述第二图像帧的分辨率是所述目标分辨率；

第二处理模块，用于将所述第二图像帧输入超分重建模块，得到分辨率为第二分辨率的第三图像帧，所述候选分辨率满足所述超分重建模块的图像输入需求，所述第二分辨率大于所述第一分辨率。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至8任一所述的图像超分辨率重建的方法。

11.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1至8任一所述的图像超分辨率重建的方法。

Images