CN114612295A

CN114612295A - 一种图像超分辨率处理方法和计算机设备

Info

Publication number: CN114612295A
Application number: CN202011425178.2A
Authority: CN
Inventors: 陈睿嘉
Original assignee: Wuhan TCL Group Industrial Research Institute Co Ltd
Current assignee: Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2022-06-10

Abstract

本发明公开了一种图像超分辨率处理方法和计算机设备。图像超分辨率处理方法包括：获取待处理图像，根据待处理图像以及预设的超分倍数，确定待处理图像对应的放大图像；对于放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集；对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据修正值和待处理图像确定该初始像素点对应的超分像素值，根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。本发明不涉及复杂运算，在运算能力不高的产品中也可以快速生成超分图像，本发明可以应用于运算能力不高的产品中实时视频超分。

Description

一种图像超分辨率处理方法和计算机设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率处理方法和计算机设备。

背景技术

图像超分辨率技术是指根据低分辨率图像生成高分辨率图像的过程，视频超分辨率技术是要根据视频中的每一个图像帧生成高分辨率图像帧，以得到高分辨率的视频，实时视频超分技术可以在显示设备播放视频时将低分辨率视频渲染为高分辨率视频。

目前，可以通过神经网络加速芯片快速得到低分辨率图像对应的超分图像，进而，得到效果较好的实时视频超分效果，但是该芯片的成本高，只能用于高端产品，若将该芯片中基于深度学习的算法要求的运算能力较高，在运算能力低的产品上，通过基于深度学习的算法无法快速得到超分图像，进而不能完成实时视频超分任务。

因此，现有技术有待进一步提高。

发明内容

本发明所要解决的技术问题是，提供一种图像超分辨率处理方法和计算机设备，以实现在运算能力低的产品中快速生成超分图像，进而可以在运算能力低的产品中实现实时视频超分。

第一方面，本发明实施例提供了一种图像超分辨率处理方法，包括：

获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；

对于所述放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集，其中，参考向量集用于反映所述放大图像中所述初始像素点对应的邻域内各像素点的像素值；

对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值；

根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。

在一种实现方式中，所述确定该初始像素点对应的参考向量集，具体包括：

确定所述初始像素点对应的若干参考像素点，并获取每个参考像素点对应的参考像素数值以及所述初始像素点对应的初始像素值，其中，每个参考像素点与所述初始像素点之间的位移均相等；

根据获取的所述初始像素值和每个参考像素值确定初始向量集，并根据所述初始向量集确定所述初始像素点对应的参考向量集。

在一种实现方式中，所述若干参考像素点包括第一参考像素点、第二参考像素点、第三参考像素点和第四参考像素点；所述确定所述初始像素点对应的若干参考像素点，具体包括：

获取位于所述初始像素点行方向上的第一参考像素点和第二参考像素点；

获取位于所述初始像素点列方向上的第三参考像素点和第四参考像素点。

在一种实现方式中，所述第一参考像素点位于所述初始像素点的左侧，所述第二参考像素点位于所述初始像素点的右侧，所述第三参考像素点位于所述初始像素点的下侧，所述第第参考像素点位于所述初始像素点的上侧；所述待处理图像为YUV格式，所述第一参考像素值为所述第一参考像素点对应的Y分量值；所述第二参考像素值为所述第二参考像素点对应的Y分量值；所述第三参考像素值为所述第三参考像素点对应的Y分量值，所述第四参考像素值为所述第四参考像素点对应的Y分量值。

在一种实现方式中，所述根据获取的所述初始像素值和每个参考像素值确定初始向量集，并根据所述初始向量集确定所述初始像素点对应的参考向量集，具体包括：

将所述初始像素值转换为中心初始向量，将所述第一参考像素点对应的第一参考像素值转换为第一初始向量，将所述第二参考像素点对应的第二参考像素值转换为第二初始向量，将所述第三参考像素点对应的第三参考像素值转换为第三初始向量，将所述第四参考像素点对应的第四参考像素值转换为第四初始向量，以得到初始向量集；

根据所述第一初始向量和所述第三初始向量确定第一目标向量，根据所述第二初始向量和所述第四初始向量确定第二目标向量，根据所述中心初始向量确定第三目标向量，以得到参考向量集。

在一种实现方式中，所述根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，具体包括：

根据所述参考向量集计算第一梯度；

若所述第一梯度小于0，则根据所述超分倍数对所述初始梯度进行修正，以得到修正值。

在一种实现方式中，所述根据所述参考向量集计算第一梯度，具体包括：

计算所述第一目标向量和所述第二目标向量的和，以得到中间向量；

根据所述中间向量和所述第三目标向量，利用乘加函数计算第一梯度。

在一种实现方式中，所述若所述第一梯度小于0，则根据所述超分倍数对所述第一梯度进行修正，以得修正值，具体包括：

若所述第一梯度小于0，则调用所述图像处理器中的符号函数，对所述第一梯度的方向进行修正，以得到第二梯度；

利用归一化函数，对所述第二梯度进行归一化处理得到第三梯度；

根据预设的边缘强度系数和所述预设超分倍数确定修正系数；

根据所述第三梯度与所述修正系数，得到所述修正值。

在一种实现方式中，所述的图像超分辨率处理方法应用于图像处理器，所述第一目标向量、所述第二目标向量和所述第三目标向量的维度均被配置为等于图像处理器的运算单元的字长，所述第一初始向量、所述第二初始向量、所述第三初始向量、所述第四初始向量和所述中心初始向量的维度均被配置为所述字长的一半长度。

在一种实现方式中，所述根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值，具体包括：

根据所述修正值、所述超分倍数确定所述初始像素点对应的超分位置；

根据所述待处理图像确定所述超分位置对应的超分像素值。

在一种实现方式中，所述根据所述修正值、所述超分倍数确定所述初始像素点对应的超分位置，具体包括：

获取所述初始像素点的初始横坐标和初始纵坐标；

计算所述初始横坐标和所述修正值之间的第一差值，并根据所述第一差值和所述超分倍数确定所述超分位置的横坐标；

计算所述初始纵坐标和所述修正值之间的第二差值，并根据所述第二差值和所述超分倍数确定所述超分位置的纵坐标。

在一种实现方式中，所述根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像，具体包括：

根据所述待处理图像和预设超分倍数确定若干初始像素点；

对于每个初始像素点，根据所述待处理图像确定所述初始像素点的初始像素值；

根据若干初始像素点以及所述若干初始像素点各自分别对应的初始像素值确定放大图像。

在一种实现方式中，所述对于每个初始像素点，根据所述待处理图像确定所述初始像素点的初始像素值，具体包括：

对于每个初始像素点，在所述待处理图像中确定所述初始像素点对应的第一位置和若干第二位置，其中，所述初始像素点的坐标为所述第一位置的坐标与所述超分倍数的乘积，每个第二位置的坐标与所述第一位置的坐标之间的位移均相等；

获取所述第一位置对应的第一像素值，以及所述若干第二位置各自分别对应的第二像素值；

确定所述第一像素值和各第二像素值的平均像素值，并将所述平均像素值作为所述初始像素值。

在一种实现方式中，所述在所述待处理图像中确定所述初始像素点对应的第一位置和若干第二位置，具体包括：

在所述待处理图像中确定所述目标像素像素点对应的第一位置；

根据所述第一位置和预设的膨胀值，在所述待处理图像中确定所述若干第二位置，其中，每个第二位置与所述第一位置之间的位移均等于所述膨胀值。

在一种实现方式中，所述根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像，具体包括：

对于每个初始像素点，采用该初始像素点对应的超分值替换该初始像素点对应的目标像素值，以得到所述待处理图像对应的超分图像。

第二方面，本发明实施例提供了一种图像像超分辨率处理装置，包括：

放大图像确定单元，用于获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；

参考向量集确定单元，用于对于所述放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集，其中，参考向量集用于反映所述放大图像中所述初始像素点对应的邻域内各像素点的像素值；

超分像素值确定单元，用于对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值；

超分图像生成单元，用于根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。

第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

与现有技术相比，本发明实施例具有以下优点：

本发明实施例中，获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；对于所述放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集，其中，参考向量集用于反映所述放大图像中所述初始像素点对应的邻域内各像素点的像素值；对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值，对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值；根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。现有技术通过深度学习确定待处理图像对应的超分图像，具体的，需要通过深度学习确定确定放大图像中每个初始像素点对应的修正值，以及确定每个初始像素点对应的超分像素值，对运算能力要求较高。本发明未采用深度学习的方法生成超分图像，而是确定每个初始像素点对应的参考向量集，通过参考向量集确定初始像素点对应的修正值，进而确定初始像素点对应的超分像素值。也就是说，本发明生成超分图像的过程，不涉及复杂运算，只需要通过简单的运算即可得到超分图像，本发明所需要运算能力远远小于深度学习的方法生成超分图像所需的运算能力，在运算能力不高的产品中也可以快速生成超分图像，进而，本发明可以应用于运算能力不高的产品中实时视频超分。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种图像超分辨率处理方法的流程示意图；

图2为本发明实施例中一种图像超分辨率处理装置的结构示意图；

图3为本发明实施例中计算机设备的内部结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人经过研究发现，图像超分辨率技术是指根据低分辨率图像生成高分辨率图像的过程，视频超分辨率技术是要根据视频中的每一个图像帧生成高分辨率图像帧，以得到高分辨率的视频，实时视频超分技术可以在显示设备播放视频时将低分辨率视频渲染为高分辨率视频。

目前，针对基于深度学习的算法，高通、联发科、三星、海思等硬件厂商提出神经网络加速芯片，其优点是独立的算法芯片算力较强，深度学习算法的效果一般比传统图像处理算法效果好，但此类芯片成本较高，基本只用于高端产品；此类芯片目前虽然在人脸、手势等低分辨率任务上保证实时性，但在超分辨率此类任务中还存在算力瓶颈，多用于图片超分辨率等非实时任务。通过深度学习的算法无法快速得到超分图像，进而无法完成实时视频超分任务。

为了解决上述问题，本发明实施例中，获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；对于所述放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集，其中，参考向量集用于反映所述放大图像中所述初始像素点对应的邻域内各像素点的像素值；对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值，根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。现有技术通过深度学习确定待处理图像对应的超分图像，具体的，需要通过深度学习确定确定放大图像中每个初始像素点对应的修正值，以及确定每个初始像素点对应的超分像素值，对运算能力要求较高。本发明未采用深度学习的方法生成超分图像，而是确定每个初始像素点对应的参考向量集，通过参考向量集确定初始像素点对应的修正值，进而确定初始像素点对应的超分像素值。也就是说，本发明生成超分图像的过程，不涉及复杂运算，只需要通过简单的运算即可得到超分图像，本发明所需要运算能力远远小于深度学习的方法生成超分图像所需的运算能力，在运算能力不高的产品中也可以快速生成超分图像，进而，本发明可以应用于运算能力不高的产品中实时视频超分。

本发明实施例提出的一种图像超分辨率处理方法，可以应用到配置有图像处理器(GPU)的电子设备中，例如，配置有GPU的PC机、服务器、手机、电视机等。所子设备在执行所述图像超分辨率处理方法时，利用GPU执行所述图像超分辨率处理方法中的部分过程。另外，该方法所实现的功能可以通过调用应用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。

参见图1，图1示出了本发明实施例中的一种图像超分辨率处理方法，在本实施例中，所述方法例如可以包括以下步骤：

S1、获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像。

本发明实施例中，所述待处理图像是低分辨率视频中的一个图像帧，所述低分辨率视频可以是电子设备正在播放的视频，待处理图像可以是所述低分辨率视频中即将播放的一个图像帧；即将播放的一个图像帧，指的是在正在播放的视频对应的图像帧序列中，位于正在播放的图像帧的后一位的图像帧。正在播放的图像帧播放之后，会播放所述即将播放的一个图像帧。例如，低分辨率视频中的各帧图像按照低分辨率视频的播放时间排序，在播放完第100个图像帧时，获取第101个图像帧，则第101个图像帧为待处理图像；所述低分辨率视频可以是电子设备中的本地视频，待处理图像可以是低分辨率视频中的任意一个图像帧。

在本发明实施例中，所述待处理图像的分辨率小于所述放大图像的分辨率，所述放大图像的分辨率等于所述待处理图像的分辨率乘以所述超分倍数。根据待处理图像和超分倍数可以确定放大图像。

电子设备中有中央处理器(CPU)和图像处理器(GPU)，GPU是专用于图像相关运算工作的微处理器。现有技术中，通常是CPU将待处理图像拷贝至GPU，GPU对待处理图像进行处理后，将处理后的待处理图像再拷贝至CPU，这样，由于执行两次拷贝，导致待处理图像的处理时长较长；在本发明实施例中，不需要将待处理图像拷贝至GPU，再将处理后的待处理图像再拷贝至CPU，而是在CPU中开辟一个内存空间，GPU可以直接访问该内存空间，对待处理图像进行处理。

首先读取待处理图像至中央处理器的内存，将所述内存中的所述待处理图像映射至图像处理器的显存，以获取待处理图像。具体实施时，可以使用开放式计算语言(OpenComputing Language,OpenCL)调用映射函数clEnqueueMapBuffer，实现CPU和GPU之间的映射，也就是说，不用将待处理图像从CPU拷贝至GPU，省去了拷贝待处理图像所花费的时间，提高了处理待处理图像的速度。

具体的，步骤S1包括：

S10、根据所述待处理图像和预设的超分倍数确定若干初始像素点。

在本发明实施例中，所述若干初始像素点是放大图像中的像素点，所谓确定若干初始像素点，是指确定若干初始像素点各自分别对应的坐标，根据待处理图像的分辨率和所述超分倍数确定放大图像的分辨率，进而，根据放大图像的分辨率确定若干初始像素点。待处理图像中包括若干待处理像素点，待处理图像中待处理像素点的数量乘以预设超分倍数等于放大图像中初始像素点的数量。举例来说，待处理图像的分辨率为h×w，预设超分倍数为2，放大图像的分辨率为H×W，其中H等于h的2倍，即H＝2h，同样的，W＝2w。

例如，待处理图像的分辨率是100*100，预设超分倍数为2，则放大图像的分辨率是200*200，可知，放大图像中的初始像素点为(x,y)，其中，x的取值范围为[1,200]，y的取值范围为[1,200]。

S11、对于每个初始像素点，根据所述待处理图像确定所述初始像素点的初始像素值。

在本发明实施例中，所述待处理图像中包括若干待处理像素点，各待处理像素点的像素值是已知的，根据各待处理像素点的像素值确定放大图像中初始像素点的初始像素值。

在本发明实施例中，对于每个初始像素点，采用GPU的一个运算单元计算目标像素值，GPU并行处理所有初始像素点，以得到所述初始像素点各自分别对应的初始像素值，也就是说，放大图像的尺寸为H*W时，GPU并行计算的逻辑单元数为H*W。

具体的，步骤S11包括：

S100、对于每个初始像素点，在所述待处理图像中确定所述初始像素点对应的第一位置和若干第二位置，其中，所述初始像素点的坐标为所述第一位置的坐标与所述超分倍数的乘积，每个第二位置的坐标与所述第一位置的坐标之间的位移均相等。

在本发明实施例中，获取初始像素点的横坐标和纵坐标，所述第一位置的横坐标乘以所述超分倍数等于初始像素点的横坐标，所述第一位置的纵坐标乘以所述超分倍数等于初始像素点的纵坐标。例如，将预设超分倍数记为：s，当所述初始像素点的坐标为(x,y)，则待处理像素点坐标为(x/s,y/s)。

在本发明实施例中，每个第二位置的坐标与所述第一位置的坐标之间的位移均相等，即所述若干第二位置均处于所述第一位置的周围。

具体的，步骤S100包括：

S110、在所述待处理图像中确定所述目标像素像素点对应的第一位置；

S111、根据所述第一位置和预设的膨胀值确定所述若干第二位置，其中，每个第二位置与所述第一位置之间的位移均等于所述膨胀值。

在本发明实施例中，为了减少数据量，所述第二位置为4个，每一个第二位置均处于第一位置的水平方向或者垂直方向，也就是说，若干第二位置分别处于第一位置的水平方向左侧、水平方向右侧、垂直方向上侧和垂直方向下侧。由于第二位置只有4个，减小了数据量，进而提高了图像超分处理速度。所述膨胀值(DILATION,d)是人为设定的经验参数，所述膨胀值可以为0.5，或者所述膨胀值可以为1。

例如，膨胀值为0.5时，初始像素点的坐标为(x,y)，则待处理像素点坐标为(x/s,y/s)，则若干第二位置的坐标分别为：

和

S101、获取所述第一位置对应的第一像素值，以及所述若干第二位置各自分别对应的第二像素值，并根据所述第一像素值和各第二像素值计算平均像素值，并将所述平均像素值作为所述初始像素值。

在本发明实施例中，若第一位置或者第二位置的坐标为整数，则直接在待处理图像中获取第一位置对应的待处理像素点的像素值，或者获取第二位置对应的待处理像素点的像素值。第一位置的横坐标或者纵坐标可能不是整数，因此，无法在待处理图像找到第一位置对应的待处理像素点，可以根据第一位置的邻域像素点确定第一位置对应的像素值。所述第一位置的邻域像素点，是指待处理图像中位于第一位置周围的像素点，换句话说，第一位置的邻域像素点的坐标，与第一位置的坐标距离小于预设距离，所述预设距离可以是1，即第一位置的邻域像素点的坐标，与第一位置的坐标距离小于1个像素点单位。

具体的，可以通过双线性采样法确定第一位置对应的像素值，或者，第二位置对应的坐标不为整数时，可以通过双线性采样法确定第二位置对应的像素值。

例如，当第一位置的坐标为(2,2.5)时，获取待处理图像中坐标为(2,3)的待处理像素点的第一像素值和坐标为(2,2)待处理像素点的第二像素值，计算第一像素值和第二像素值的平均值，以得到坐标为(2,2.5)的第一位置所对应的像素值。

在本发明实施例中，计算各候选像素值和所述待处理像素值的平均值，得到初始像素值。例如，初始像素点的坐标为P0＝(8,8)，预设超分倍数为4，预设膨胀值为0.5，则待处理像素点坐标为p0＝(2,2)，则若干邻域像素点的坐标分别为：p1＝(1.5,2)、p2＝(2.5,2)、p3＝(2,2.5)和p4＝(2,1.5)，分别获取p0、p1、p2、p3和p4的像素值，并根据p0、p1、p2、p3和p4的像素值得到初始像素点P0的像素值。

根据公式(1)实现步骤S12的过程，

其中，Sr是s的倒数，即Sr＝1/s，

为放大图像中坐标为(i,j)的初始像素点的初始像素值，

为待处理图像中坐标为(i×Sr,j×Sr)的待处理像素点的待处理像素值，

为待处理图像中坐标为(i×Sr-d,j×Sr)的待处理像素点的待处理像素值，

为待处理图像中坐标为(i×Sr+d,j×Sr)的待处理像素点的待处理像素值

为待处理图像中坐标为(i×Sr,j×Sr-d)的待处理像素点的待处理像素值，

为待处理图像中坐标为(i×Sr,j×Sr+d)的待处理像素点的待处理像素值。

接下来介绍公式(1)推导过程。

确定待处理图像对应的放大图像的过程为：通过插值操作确定待处理图像对应的初始图像，初始图像是直接将放大图像放大超分倍数得到的图像；得到初始图像后，对初始图像进行滤波，得到所述放大图像。

包括多个初始像素点，初始像素点的数量等于所述待处理图像中所有待处理像素点的数量乘以所述超分倍数；初始图像每个初始像素点的像素值可以根据待处理图像中待处理像素点的像素值确定。请参见公式(2)。

其中，

是初始图像中坐标为(i,j)的初始像素点的像素值，x＝i×Sr，y＝j×Sr，Sr是s的倒数，即Sr＝1/s。

在本发明实施例中，得到初始图像后，对初始图像进行滤波，得到所述放大图像。现有技术中，可以通过卷积核大小为3*3的卷积层对初始图像进行滤波得到放大图像，具体的，通过初始图像中的9个初始像素点确定放大图像中坐标为(x,y)的初始像素点的像素值，9个初始像素点的坐标分别为：(x-1,y-1)、(x,y-1)、(x+1,y-1)、(x-1,y)、(x,y)、(x+1,y)、(x-1,y+1)、(x,y+1)、(x+1,y+1)；为了减小计算量，本发明中只采用5个初始像素点确定放大图像中坐标为(x,y)的初始像素点的像素值，也就是取坐标分别为(x,y-1)、(x-1,y)、(x,y)、(x+1,y)和(x,y+1)的像素点。

更进一步的，通过膨胀值d和超分尺度计算偏移量，具体见公式(3)。

D＝d×s (3)

其中，D为偏移量，d为膨胀值，s为超分倍数。

根据偏移量和初始图像计算放大图像中各初始像素点的像素值，具体见公式(4)。

其中，

为放大图像中坐标为(i,j)的初始像素点的初始像素值，

是初始图像中坐标为(i,j)的初始像素点的像素值，D为偏移量。

根据公式(4)可知，当超分倍数为2，膨胀值d为0.5时，偏移量D为1，通过大小为3*3的图像块中的5个初始像素点确定初始像素点的初始像素值，每个初始像素点对应的感受野为3；当超分倍数为4，膨胀值d为0.5时，偏移量D为2，5个初始像素点包括1个坐标为(i,j)的中心像素点，以及4个处于中心像素点周围的邻域像素点，每个邻域像素点与中心像素点之间的位移均为2，也就是说，通过大小为5*5的图像块中的5个像素点确定初始像素点的初始像素值，每个初始像素点对应的感受野为5。可见，超分倍数越大，初始像素点对应的感受野越大。初始像素点对应的感受野越大。表示影响初始像素点的区域越大，初始像素点包括的图像信息更多，因此，增大感受野，可以提高图像的质量。

在本发明实施例中，将公式(4)中的

替换为公式(2)中的Xlq表达，可以得到公式(2)。也就是说，公式(2)包括了：只采用5个初始像素点确定放大图像中坐标为(x,y)的初始像素点的像素，提高了计算速度，可以更快得到放大图像，以及在初始图像中增加了偏移量，进而增大了初始像素点对应的感受野，提高了放大图像的质量。

S2、对于所述放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集，其中，参考向量集用于反映所述放大图像中所述初始像素点对应的邻域内各像素点的像素值。

在本发明实施例中，根据步骤S1已经可以得到放大图像中所有初始像素点的各自分别对应的初始像素值，为了增强放大图像中的边缘质量，计算每个初始像素点对应的参考向量集。所述初始像素点对应的邻域，是指初始像素点为中心，围绕在所述初始像素点周围的像素点所形成的区域。初始像素点对应的邻域内各像素点包括：初始像素点和围绕在所述初始像素点周围的各像素点，并且围绕在所述初始像素点周围的任一像素点与初始像素点之间的距离小于预设距离，所述预设距离可以是1，即围绕在所述初始像素点周围的任一像素点与初始像素点之间的距离小于1个像素点单位。

在本发明实施例中，所述初始像素点对应的邻域内的各像素点包括：所述初始像素点，以及所述初始像素点对应的若干参考像素点，确定所述初始像素点和所述初始像素点对应的若干参考像素点后，获取所述初始像素点和所述若干参考像素点各自分别对应的像素值，进而根据获取的像素值确定所述参考向量集。

具体的，步骤S2包括：

S20、确定所述初始像素点对应的若干参考像素点，并获取每个参考像素点对应的参考像素数值以及所述初始像素点对应的初始像素值，其中，每个参考像素点与所述初始像素点之间的位移均相等。

在本发明实施例中，首先在放大图像中确定初始像素点对应的若干参考像素点，若干参考像素点均为初始像素点的邻域像素点。也就是说，所述放大图像包括多个初始像素点，对于一个初始像素点，将该初始像素点的邻域像素点作为该初始像素点的参考像素点(参考像素点的本质也是放大图像中的初始像素点)。再获取若干参考像素点各自分别对应的参考像素值，以及该初始像素点对应的初始像素值。

具体的，步骤S20包括：

S200、获取位于所述初始像素点行方向上的第一参考像素点和第二参考像素点，以及获取位于所述初始像素点列方向上的第三参考像素点和第四参考像素点。

在本发明实施例中，所述初始像素点对应的参考像素点为4个，所述若干参考像素点包括第一参考像素点、第二参考像素点、第三参考像素点和第四参考像素点。所述第一参考像素点位于所述初始像素点的左侧，所述第二参考像素点位于所述初始像素点的右侧，所述第三参考像素点位于所述初始像素点的下侧，所述第四参考像素点位于所述初始像素点的上侧。每个参考像素点与初始像素点之间的位可以移均等于2。例如，当初始像素点的坐标为(i,j)时，若干参考像素点的坐标分别为(i-2,j)、(i+2,j)、(i,j-2)、(i,j+2)。

在本发明实施例中，所述待处理图像为YUV格式，“Y”表示明亮度，也就是灰度值；而“U”和“V”表示的则是色度，用于描述图像色彩及饱和度。进而，所述第一参考像素值为所述第一参考像素点对应的Y分量值；所述第二参考像素值为所述第二参考像素点对应的Y分量值；所述第三参考像素值为所述第三参考像素点对应的Y分量值，所述第四参考像素值为所述第四参考像素点对应的Y分量值。

S21、根据获取的所述初始像素值和每个参考像素值确定初始向量集，并根据所述初始向量集确定所述初始像素点对应的参考向量集。

在本发明实施例中，基于所述初始像素值和每个参考像素值，通过执行所述图像超分辨率方法的处理器确定所述初始向量集。所述执行所述图像超分辨率方法的处理器为图像处理器(GPU)。

具体的，步骤S21包括：

S210、将所述初始像素值转换为中心初始向量，将所述第一参考像素点对应的第一参考像素值转换为第一初始向量，将所述第二参考像素点对应的第二参考像素值转换为第二初始向量，将所述第三参考像素点对应的第三参考像素值转换为第三初始向量，将所述第四参考像素点对应的第四参考像素值转换为第四初始向量，以得到初始向量集。

在本发明实施例中，所述第一初始向量、所述第二初始向量、所述第三初始向量、所述第四初始向量和所述中心初始向量的维度均被配置为所述字长的一半长度。所述图像处理器可以是Mali Bifrost GPU，即可以采用Mali Bifrost GPU执行所述图像超分辨率方法。Mali Bifrost GPU的运算单元的字长为32位，因此，将获取的所述初始像素值和每个参考像素值均转换为16位浮点数的形式，以得到所述初始像素值和每个参考像素值各自分别对应的初始向量，进而得到初始向量集(包括：中心初始向量、第一初始向量、第二初始向量、第三初始向量和第四初始向量)。

S211、根据所述第一初始向量和所述第三初始向量确定第一目标向量，根据所述第二初始向量和所述第四初始向量确定第二目标向量，根据所述中心初始向量确定第三目标向量，以参考向量集。

在本发明实施例中，所述参考向量集包括：第一目标向量、第二目标向量和第三目标向量。所述第一目标向量、所述第二目标向量和所述第三目标向量的维度均被配置为等于图像处理器的运算单元的字长。

当采用Mali Bifrost GPU执行所述图像超分辨率方法时，由于Mali Bifrost GPU的运算单元的字长为32位，所述第一目标向量、所述第二目标向量和所述第三目标向量的维度均被配置为32。具体的，将所述第一参考向量和所述第三参考向量拼接为一个维度为32的向量，即第一目标向量；将所述第二参考向量和所述第四参考向量拼接为一个维度为32的向量，即第二目标向量；复制所述中心初始向量，将复制得到的向量和所述中心初始向量拼接，以得到第三目标向量。如公式(5)、公式(6)和公式(7)所示。

其中，

是第一目标向量，

是坐标为(i,j-2)的第一参考像素点对应的Y分量值，

是坐标为(i-2,j)的第三参考像素点对应的Y分量值；

是第二目标向量，

是坐标为(i,j+2)的第二参考像素点对应的Y分量值，

是坐标为(i+2,j)的第四参考像素点对应的Y分量值，

是第三目标向量，

是坐标为(i,j)的初始像素点对应的Y分量值。

S3、对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值。

在本发明实施例中，所述待处理图像为二维动画图像，由于二维动画图像中的边缘一般为黑色线条，只需要将图像边缘保持不变，其余部分收缩，以平滑边缘。

具体的，步骤S3包括：

S30、根据所述参考向量集计算第一梯度。

在本发明实施例中，所述参考向量集包括第一目标向量、第二目标向量和第三目标向量。计算所述第一目标向量和所述第二目标向量的和，以得到中间向量，根据所述中间向量和所述第三目标向量，利用乘加函数计算第一梯度，当通过图像处理器执行图像超分辨率处理方法时，可以调用图像处理器中的乘加函数。如公式(8)和公式(9)所示。

其中，

是中间向量，

是第一梯度。mad(·)是GPU可以调用的乘加函数，公式(9)的实质是，

调用图像处理器中的乘加函数计算第一梯度，可以加快运算速度。

S31、若所述第一梯度小于0，则根据所述超分倍数对所述初始梯度进行修正，以得修正值。

在本发明实施例中，所述待处理图像为二维动画图像，由于二维动画图像中的边缘一般为黑色线条，只需要将图像边缘保持不变，其余部分收缩，以平滑边缘，也就是说，筛选出第一梯度小于0的初始像素点。对于一个初始像素点，若该初始像素点对应的第一梯度大于0，则将该初始像素点对应的第一梯度修改为0；若该初始像素点对应的第一梯度小于0，则对该初始像素点对应的第一梯度进行修正，以得到修正值。

在本发明实施例中，若所述第一梯度小于0，则调用所述图像处理器中的符号函数，对所述第一梯度的方向进行修正，以得到第二梯度。

在本发明实施例中，第一梯度的正负不代表梯度变化方向，需要对第一梯度

的方向进行修正。若所述第一梯度小于0，根据符号函数，确定第二梯度。如公式(10)所示。

其中，

是第二梯度，sign(·)是符号函数，当()中大于0时，sign(·)取值为1，当()中小于0时，sign(·)取值为-1，

是初始像素点对应的第一目标向量，

是初始像素点对应的第二目标向量。调用图像处理器中的符号函数对所述第一梯度的方向进行修正，可以加快运算速度。

在本发明实施例中，利用归一化函数，对所述第二梯度进行归一化处理得到第三梯度，根据预设的边缘强度系数和所述预设超分倍数确定修正系数；根据所述第三梯度与所述修正系数，得到所述修正值。

当通过图像处理器执行图像超分辨率处理方法时，可以调用图像处理器中的乘加函数。计算所述第三梯度与所述修正系数的乘积，以得到所述修正值。

具体的，通过公式(11)可以得到第三梯度。

其中，

是第三梯度，

是第二梯度，normalize(·)是归一化函数，对调用图像处理器中的过归一化函数对所述第二梯度进行归一化处理可以加快运算速度。

所述预设的边缘强度系数是认为设定的超参数，S＝strength*s，其中strength为边缘强度系数，s为超分倍数，S为修正系数。计算修正系数和所述第三梯度之间的乘积，可以得到修正值。如公式(12)所示。

其中，

是修正值，S是修正系数，

是第三梯度。

S32、根据所述修正值、所述超分倍数确定所述初始像素点对应的超分位置。

在本发明实施例中，获取所述初始像素点的初始横坐标和初始纵坐标；计算所述初始横坐标和所述修正值之间的第一差值，并根据所述第一差值和所述超分倍数确定所述超分位置的横坐标；计算所述初始纵坐标和所述修正值之间的第二差值，并根据所述第二差值和所述超分倍数确定所述超分位置的纵坐标。如公式(13)和公式(14)所示。

其中，i′是所述超分位置的横坐标，j′是所述超分位置的纵坐标，i是所述初始像素点的横坐标，j是所述超分位置的纵坐标。

S34、根据所述待处理图像确定所述超分位置对应的超分像素值。

在本发明实施例中，在所述待处理图像确定坐标为(i′,j′)的超分位置的像素值，若(i′,j′)不是整数，则可以通过双线性插值或者最邻近插值方法确定超分位置对应的超分像素值。如公式(15)所示。

其中，Y_i,j是坐标为(i,j)的初始像素点对应的超分像素值。

S4、根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。

在本发明实施例中，对于每个初始像素点，采用该初始像素点对应的超分值替换该初始像素点对应的目标像素值，以得到所述待处理图像对应的超分图像。

在本发明实施例中，所述初始像素点是放大图像中的像素点，对于每个初始像素点，经过步骤S3确定该初始像素点对应的超分像素值，将该初始像素点对应的目标像素值替换为该初始像素点对应的超分像素值，得到超分图像。

例如，对于初始像素点f1，f1的初始像素点值为g1，f1对应的超分像素值为G1,将f1的像素值设置为G1。对放大图像中的每个初始像素点执行上述操作，也就是说，放大图像的初始像素点包括：f1,f2,f3,……fn，对于f1,f2,f3,……fn中每个初始像素点，将该初始像素点的像素值设置为该初始像素点对应的超分像素值，以得到超分图像。

在本发明实施例中，获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；对于所述放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集，其中，参考向量集用于反映所述放大图像中所述初始像素点对应的邻域内各像素点的像素值；对于每个初始像素点，根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值；根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。本发明未采用深度学习的方法生成超分图像，而是确定每个初始像素点对应的参考向量集，通过参考向量集确定初始像素点对应的修正值，进而确定初始像素点对应的超分像素值。也就是说，本发明生成超分图像的过程，不涉及复杂运算，只需要通过简单的运算即可得到超分图像，本发明所需要运算能力远远小于深度学习的方法生成超分图像所需的运算能力，在运算能力不高的产品中也可以快速生成超分图像。例如Mali Bifrost GPU，在Mali-G52上实验超分到1080P时达到每帧30ms即33FPS以上，运算速度快，可以快速生成超分图像，进而可以在运算能力低的产品中实现实时视频超分。

基于上述一种图像超分辨率处理方法，本发明实施例还提供了一种图像像超分辨率处理装置，参见图2，包括：

基于上述一种图像超分辨率处理方法，本发明实施例还提供了一种计算机设备，该设备可以是终端，内部结构如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像超分辨率处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图3示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图像超分辨率处理方法，其特征在于，包括：

对于所述放大图像中的每个初始像素点，确定该初始像素点对应的参考向量集，其中，参考向量集用于反映所述放大图像中该初始像素点对应的邻域内各像素点的像素值；

2.根据权利要求1所述的图像超分辨率处理方法，其特征在于，所述确定该初始像素点对应的参考向量集，具体包括：

3.根据权利要求2所述的图像超分辨率处理方法，其特征在于，所述若干参考像素点包括第一参考像素点、第二参考像素点、第三参考像素点和第四参考像素点；所述确定所述初始像素点对应的若干参考像素点，具体包括：

4.根据权利要求3所述的图像超分辨率处理方法，其特征在于，所述第一参考像素点位于所述初始像素点的左侧，所述第二参考像素点位于所述初始像素点的右侧，所述第三参考像素点位于所述初始像素点的下侧，所述第第参考像素点位于所述初始像素点的上侧；所述待处理图像为YUV格式，所述第一参考像素值为所述第一参考像素点对应的Y分量值；所述第二参考像素值为所述第二参考像素点对应的Y分量值；所述第三参考像素值为所述第三参考像素点对应的Y分量值，所述第四参考像素值为所述第四参考像素点对应的Y分量值。

5.根据权利要求4所述的图像超分辨率处理方法，其特征在于，所述根据获取的所述初始像素值和每个参考像素值确定初始向量集，并根据所述初始向量集确定所述初始像素点对应的参考向量集，具体包括：

6.根据权利要求5所述的图像超分辨率处理方法，其特征在于，所述根据该初始像素点对应的参考向量集确定该初始像素点对应的修正值，具体包括：

根据所述参考向量集计算第一梯度；

7.根据权利要求6所述的图像超分辨率处理方法，其特征在于，所述根据所述参考向量集计算第一梯度，具体包括：

8.根据权利要求6所述的图像超分辨率处理方法，其特征在于，所述若所述第一梯度小于0，则根据所述超分倍数对所述第一梯度进行修正，以得修正值，具体包括：

根据所述第三梯度与所述修正系数，得到所述修正值。

9.根据权利要求5-8中任意一项所述的图像超分辨率处理方法，其特征在于，所述的图像超分辨率处理方法应用于图像处理器，所述第一目标向量、所述第二目标向量和所述第三目标向量的维度均被配置为等于图像处理器的运算单元的字长，所述第一初始向量、所述第二初始向量、所述第三初始向量、所述第四初始向量和所述中心初始向量的维度均被配置为所述字长的一半长度。

10.根据权利要求1所述的图像超分辨率处理方法，其特征在于，所述根据所述修正值和所述待处理图像确定该初始像素点对应的超分像素值，具体包括：

根据所述待处理图像确定所述超分位置对应的超分像素值。

11.根据权利要求10所述的图像超分辨率处理方法，其特征在于，所述根据所述修正值、所述超分倍数确定所述初始像素点对应的超分位置，具体包括：

获取所述初始像素点的初始横坐标和初始纵坐标；

12.根据权利要求1所述的图像超分辨率处理方法，其特征在于，所述根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像，具体包括：

根据所述待处理图像和预设超分倍数确定若干初始像素点；

13.根据权利要求12所述的图像超分辨率处理方法，其特征在于，所述对于每个初始像素点，根据所述待处理图像确定所述初始像素点的初始像素值，具体包括：

14.根据权利要求13所述的图像超分辨率处理方法，其特征在于，所述在所述待处理图像中确定所述初始像素点对应的第一位置和若干第二位置，具体包括：

15.根据权利要求1所述的图像超分辨率处理方法，其特征在于，所述根据各个初始像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像，具体包括：

16.一种图像像超分辨率处理装置，其特征在于，包括：

17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。