CN109949221A - 一种图像处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法，包括：获取三个时间相邻的视频帧，对三个时间相邻的视频帧分别进行插值处理得到三个第一分辨率图像；对每一第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像；构建每一视频帧的光流计算模型，光流计算模型的第一层为第一分辨率图像，第二层为第二分辨率图像，第三层为第三分辨率图像，第四层为第四分辨率图像；利用每一光流计算模型计算出相邻的两个光流计算模型之间的光流；对两个光流和三个第二分辨率图像进行运算以得到一个多通道图像；对所述多通道图像进行运算，并利用参照图像得到高分辨率图像。本发明还公开一种电子设备，本发明可以提升图像超分辨重建的效果。

Description

一种图像处理方法及电子设备

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理方法及电子设备。

背景技术

视频超分辨率重建技术中，首先需要对各帧图像进行运动估计从而进行图像配准，使得各帧图像之间的相似度最大，再采用训练图像构建模型进行超分辨率重建。现有的对各帧图像进行运动估计的方法多是通过计算光流来进行运动估计，但是一般是用低分辨率的光流来提供前后相邻帧之间分辨率点对应的位置关系，由于各帧之间的运动估计精度不高，使得相邻帧之间运动补偿的效果不好，会直接影响图像重建，达不到预期的效果。

发明内容

为了克服现有技术的不足，本发明的目的在于解决现有的视频超分辨率重建技术中的运动估计精度不高，影响图像重建效果的问题。

为了实现上述目的，本发明提供一种图像处理方法，包括：

获取三个时间相邻的视频帧，对三个时间相邻的视频帧分别进行插值处理得到三个第一分辨率图像；其中，所述三个时间相邻的视频帧为三个第二分辨率图像，用于作为低分辨率输入图像；所述第一分辨率图像的分辨率高于所述第二分辨率图像的分辨率，且所述第二分辨率图像是由分辨率高于所述第二分辨率图像的三帧参照图像进行下采样得到的；

对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像，每一所述第二分辨率图像的分辨率高于对应的所述第三分辨率图像的分辨率，每一所述第三分辨率图像的分辨率高于对应的所述第四分辨率图像的分辨率；

构建每一所述视频帧的光流计算模型，所述光流计算模型的第一层为所述第一分辨率图像，第二层为所述第二分辨率图像，第三层为所述第三分辨率图像，第四层为所述第四分辨率图像；

利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流，所述光流的数量为两个；

对两个所述光流和三个所述第二分辨率图像进行运算以得到一个多通道图像；

对所述多通道图像进行运算，并利用所述参照图像得到高分辨率图像。

进一步地，对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像包括：

对每一所述第二分辨率图像进行下采样得到所述第三分辨率图像；

对每一所述第三分辨率图像进行下采样得到所述第四分辨率图像。

进一步地，利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流包括：

设定第一计算参数，计算所述光流计算模型的第四层的第一光流值；

利用所述第一光流值计算出所述光流计算模型的第三层的第二光流值；

利用所述第二光流值计算出所述光流计算模型的第二层的第三光流值；

利用所述第三光流值计算出所述光流计算模型的第一层的第四光流值，将所述第四光流值作为所述光流。

进一步地，所述方法还包括：

利用所述光流和对应的所述第二分辨率图像优化所述第一计算参数。

进一步地，三个第二分辨率图像包括前一帧第二分辨率图像、中间一帧第二分辨率图像和后一帧第二分辨率图像，对两个所述光流和三个所述第二分辨率图像进行运算以得到一个多通道图像包括：

将所述前一帧第二分辨率图像和所述后一帧第二分辨率图像分别与对应的光流进行卷积运算以对所述前一帧第二分辨率图像和所述后一帧第二分辨率图像进行补偿；

将补偿后的第二分辨率图像与三个第二分辨率图像进行卷积运算以得到所述多通道图像。

进一步地，对所述多通道图像进行运算，并利用所述参照图像得到高分辨率图像包括：

设定第二计算参数，对所述多通道图像进行卷积运算以提取所述多通道图像的图像特征；

利用所述图像特征和所述参照图像得到所述高分辨率图像。

进一步地，利用所述图像特征和所述参照图像得到所述高分辨率图像包括：

对所述图像特征进行卷积运算以得到与所述参照图像分辨率相同的候选图像；

将所述候选图像与所述参照图像进行对比以优化所述第一计算参数和所述第二计算参数，直到所述候选图像与所述参照图像的相似度达到预设值，则将与所述参照图像的相似度达到预设值的候选图像作为所述高分辨率图像。

进一步地，所述方法还包括：

获取视频图像，将所述视频图像进行拆分，使每一帧图像与前后相邻的两帧组成一个分组；

根据所述第一计算参数和所述第二计算参数对每个所述分组进行运算，以得到所述视频图像中每一帧所对应的高分辨率图像。

进一步地，得到每一帧图像所对应的高分辨率图像之后还包括：

利用所述每一帧所对应的高分辨率图像优化所述第一计算参数和所述第二计算参数。

本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机可读程序，所述计算机可读程序被配置成由处理器执行，所述计算机可读程序被处理器执行时实现上述的方法。

相比现有技术，本发明的有益效果在于：通过获取三个时间相邻的视频帧，对每一视频帧进行插值处理后构建四层的光流计算模型，光流计算模型的第一层的第一分辨率图像的分辨率高于第二分辨率图像的分辨率，从而计算出的光流的分辨率高于第二分辨率图像的分辨率，再根据光流和参照图像得到高分辨率图像，从而可以提升图像超分辨重建的效果。

附图说明

图1为本发明一实施例提供的图像处理方法流程图；

图2为本发明实施例提供的对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像的流程图；

图3为本发明实施例提供的光流计算模型；

图4为本发明实施例提供的计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流的流程图；

图5为本发明实施例提供的光流计算过程示意图；

图6为本发明实施例提供的图像处理方法的示意图；

图7为本发明实施例提供的对两个光流和三个第二分辨率图像进行运算以得到一个多通道图像的流程图；

图8为本发明实施例提供的空间深度变换的示意图；

图9为本发明实施例提供的对多通道图像进行运算，并利用参照图像得到高分辨率图像的流程图；

图10为本发明实施例提供的从多通道图像得到高分辨率图像的示意图；

图11为本发明另一实施例提供的图像处理方法流程图；

图12为本发明实施例提供的电子设备的示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1所示，本发明实施例提供的图像处理方法，包括：

步骤S101：获取三个时间相邻的视频帧，对三个时间相邻的视频帧分别进行插值处理得到三个第一分辨率图像；其中，所述三个时间相邻的视频帧为三个第二分辨率图像，用于作为低分辨率输入图像；所述第一分辨率图像的分辨率高于所述第二分辨率图像的分辨率，且所述第二分辨率图像是由分辨率高于所述第二分辨率图像的三帧参照图像进行下采样得到的。

具体的，本实施例中提供的图像处理方法基于卷积神经网络，首先需要制作训练样本集，进行模型训练需要大量的训练样本，下面仅对一个训练样本详细说明，需要理解的是，其它训练样本的处理方法与该训练样本的处理方法相同。一个训练样本的制作需要三帧时间相邻的参照图像，例如，一段视频中第t-1帧、第t帧和第t+1帧图像，对三帧参照图像进行高斯模糊得到三个时间相邻的第二分辨率图像，三个第二分辨率图像的像素低于参照图像的像素，三个第二分辨率图像作为低分辨率输入图像进行运动估计。

首先对三个第二分辨率图像进行插值处理得到三个第一分辨率图像。其中，插值处理是从低分辨率图像生成高分辨率图像的操作，用以恢复图像中丢失的信息。例如，第二分辨率图像的分辨率为32*32，第一分辨率图像的分辨率为64*64。本实施例中的插值处理为双三插值处理。

步骤S102：对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像，每一所述第二分辨率图像的分辨率高于对应的所述第三分辨率图像的分辨率，每一所述第三分辨率图像的分辨率高于对应的所述第四分辨率图像的分辨率。

如图2所示，在一种实施方式中，对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像包括：

步骤S201：对每一所述第二分辨率图像进行下采样得到所述第三分辨率图像。

步骤S202：对每一所述第三分辨率图像进行下采样得到所述第四分辨率图像。

其中，下采样为从原始图像中抽取出若干像素以减少像素的操作，例如，第二分辨率图像的分辨率为32*32，第三分辨率图像的分辨率为16*16，第四分辨率图像的分辨率为8*8。

步骤S103：构建每一所述视频帧的光流计算模型，所述光流计算模型的第一层为所述第一分辨率图像，第二层为所述第二分辨率图像，第三层为所述第三分辨率图像，第四层为所述第四分辨率图像。

如图3所示，本实施例提供的其中一个视频帧的光流计算模型，为金字塔模型，包括第一层10、第二层20、第三层30和第四层40，例如，从上到下的图像的分辨率依次为8*8、16*16、32*32、64*64。

步骤S104：利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流，所述光流的数量为两个。

其中，光流表示两个相邻视频帧的运动信息。将三个时间相邻的视频帧所对应的三个光流计算模型分为两组，第一组为第t-1帧和第t帧，第二组为第t帧和第t+1帧，每组计算光流的过程相同，下面以第一组光流计算模型的光流的计算过程进行说明，请继续参照图3，为第一组的两个光流计算模型。

如图4所示，在一种实施方式中，利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流包括：

步骤S301：设定第一计算参数，计算所述光流计算模型的第四层的第一光流值。

其中，第一计算参数为神经网络模型中的系数，对第四层的两个第四分辨率图像利用第一计算参数进行卷积运算，得到第一光流值。

步骤S302：利用所述第一光流值计算出所述光流计算模型的第三层的第二光流值。

在一种实施方式中，第一光流值对第t-1帧图像所对应的第三分辨率图像进行卷积运算以对第t-1帧图像所对应的第三分辨率图像进行补偿。将补偿后的第t-1帧图像所对应的第三分辨率图像与第t帧图像所对应的第三分辨率图像进行卷积运算以得到第二光流值。如图5所示，为光流计算过程的模型，分别对应第t-1帧和第t帧图像，分别表示第二光流值、第三光流值和第四光流值，S1、S2、S3分别对应第一组光流计算模型的第三层、第二层和第一层的光流值的计算模型。

步骤S303：利用所述第二光流值计算出所述光流计算模型的第二层的第三光流值。

请继续参照图5，第二光流值对第t-1帧图像所对应的第二分辨率图像进行卷积运算以对第t-1帧图像所对应的第二分辨率图像进行补偿。将补偿后的第t-1帧图像所对应的第二分辨率图像与第t-帧图像所对应的第二分辨率图像进行卷积运算以得到第三光流值。

步骤S304：利用所述第三光流值计算出所述光流计算模型的第一层的第四光流值，将所述第四光流值作为所述光流。

请继续参照图5，将第二光流值与对应的第三光流值进行求和后，再与第t-1帧图像所对应的第一分辨率图像进行进行卷积运算，运算后的第t-1帧图像所对应的第一分辨率图像再与第t帧图像所对应的第一分辨率图像进行卷积运算，得到第四光流值。

上述实施例中，将每一层计算出的光流值对下一层对应的图像进行补偿后，再计算下一层的光流值，从而可以提高计算效率。

步骤S105：对两个所述光流和三个所述第二分辨率图像进行运算以得到一个多通道图像。

如图6所示，分别表示三个第二分辨率图像，对相邻的两个图像进行运动估计，得出与之间的光流1和与之间的光流2，光流1和光流2的分辨率高于第二分辨率图像。

如图7所示，在一种实施方式中，三个第二分辨率图像包括前一帧第二分辨率图像、中间一帧第二分辨率图像和后一帧第二分辨率图像，步骤S105包括：

步骤S401：将所述前一帧第二分辨率图像和所述后一帧第二分辨率图像分别与对应的光流进行卷积运算以对所述前一帧第二分辨率图像和所述后一帧第二分辨率图像进行补偿。

在一种实施方式中，对光流1进行空间深度变换处理后得到与第二分辨率图像相同的图像，再与进行运算以对进行补偿。如图8所示，A表示高分辨率光流，B表示多通道图像，空间深度变换处理是从高分辨率光流中提取与低分辨率视频帧相同分辨率的光流并形成多通道图像的过程。对光流2进行空间深度变换处理后得到与第二分辨率图像相同的图像，再与进行运算以对进行补偿。

步骤S402：将补偿后的第二分辨率图像与三个第二分辨率图像进行卷积运算以得到所述多通道图像。

继续上述实施方式，补偿后的第二分辨率图像与进行融合得到多通道图像3。例如，的分辨率均为32*32，对应的矩阵大小为32*32，光流计算模型的第四层的分辨率为64*64，进行运动补偿后的对应的矩阵大小为2个64*64的矩阵，进行运动补偿后对应的矩阵大小为2个64*64的矩阵，即8个32*32的矩阵，补偿后的图像与进行融合得到19个32*32的矩阵，即为19个通道的图像，通道的数量越多，对应的图像信息越多。

步骤S106：对所述多通道图像进行运算，并利用所述参照图像得到高分辨率图像。

如图9所示，在一实施例中，步骤S106包括：

步骤S501：设定第二计算参数，对所述多通道图像进行卷积运算以提取所述多通道图像的图像特征。

其中，第二计算参数为训练模型的参数，为卷积核参数，如图10所示，将多通道图像3依次与多个卷积核参数进行运算，提取多通道图像的特征，得到多通道图像的特征图像。

步骤S502：利用所述图像特征和所述参照图像得到所述高分辨率图像。

继续参照图10，在一实施方式中，对所述图像特征进行卷积运算以得到与所述参照图像分辨率相同的候选图像4；将候选图像4与所述参照图像进行对比以优化所述第一计算参数和所述第二计算参数，直到所述候选图像与所述参照图像的相似度达到预设值，则将与所述参照图像的相似度达到预设值的候选图像作为所述高分辨率图像。在一实施方式中，设定相似度作为目标函数，根据目标函数优化训练模型，直到得到相似度最好的目标图像，将相似度最好的目标图像作为高分辨率图像。

本实施例提供的图像处理方法，通过建立四层的光流计算模型，第一层图像的分辨率高于第二分辨率图像的分辨率，从而可以得到高分辨率的光流，对第二分辨率的对应图像进行补偿，再通过图像融合和图像重建的过程，重建后的高分辨率图像的分辨率更高。

在一个实施例中，计算出光流后，利用所述光流和对应的第二分辨率图像优化第一计算参数。具体的，将光流对第二层的前一帧和后一帧图像分别进行补偿，将得到的补偿后的图像与第二层中间帧的图像进行对比，计算相似度，根据相似度调整第一计算参数，当相似度达到预设值时，得到最优的第一计算参数。例如，将相似度作为目标函数，根据目标函数得到最优的第一计算参数。例如，光流计算模型中第二层对应的第t-1帧和第t帧的相似度计算过程中的目标函数可以为：

其中，表示第二层对应的第t-1帧图像，表示第二层对应的第t帧图像，表示经过空间深度变换的第I个光流。

上述实施方式中，根据候选图像与参照图像的相似度调整第一计算参数和第二计算参数，即优化训练模型中的卷积核参数，直到相似度达到预设值，从而得到高分辨率的图像和单帧图像的训练模型。

如图11所示，另一实施例提供的图像处理方法，其与上一实施例的区别在于，方法还包括：

步骤S601：获取视频图像，将所述视频图像进行拆分，使每一帧图像与前后相邻的两帧组成一个分组。例如，按照第一帧、第二帧、第三帧，第二帧、第三帧、第四帧，第三帧、第四帧、第五帧的方式分组。

步骤S602：根据所述第一计算参数和所述第二计算参数对每个所述分组进行运算，以得到所述视频图像中每一帧所对应的高分辨率图像。

将视频输入上述实施例中的单帧图像的训练模型，完成对整个视频的超分辨率重建，得到高分辨率视频图像。

另一实施例中，完成整个视频的超分辨率重建后，利用所述每一帧所对应的高分辨率图像优化所述第一计算参数和所述第二计算参数，即利用整个视频中的每一帧图像对训练模型进行测试，若不满足测试要求，则重新调整第一计算参数和第二计算参数，直到得到满足预设要求的高分辨率视频图像，以进一步优化训练模型的参数。

如图12所示，本发明还提供一种电子设备，包括处理器11和存储器12，所述存储器12中存储有计算机可读程序，所述计算机可读程序被配置成由处理器11执行，所述计算机可读程序被处理器11执行时实现上述的方法。

本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的电子设备的实施过程，为了说明书的简洁，在此就不再赘述。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。本发明还涉及一种计算机可读存储介质，如ROM/RAM、磁碟、光盘等，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

本发明提供的图像处理方法及电子设备，通过获取三个时间相邻的视频帧，构建光流计算模型，光流计算模型的第一层的第一分辨率图像的分辨率高于每一第二分辨率图像的分辨率，从而计算出的光流的分辨率高于第二分辨率图像的分辨率，对光流和三个第二分辨率图像进行运算得到一个多通道图像，对多通道图像进行运算，得到高分辨率图像，从而提升图像超分辨重建的效果。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取三个时间相邻的视频帧，对三个时间相邻的视频帧分别进行插值处理得到三个第一分辨率图像；其中，所述三个时间相邻的视频帧为三个第二分辨率图像，用于作为低分辨率输入图像；所述第一分辨率图像的分辨率高于所述第二分辨率图像的分辨率，且所述第二分辨率图像是由分辨率高于所述第二分辨率图像的三帧参照图像进行下采样得到的；

对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像，每一所述第二分辨率图像的分辨率高于对应的所述第三分辨率图像的分辨率，每一所述第三分辨率图像的分辨率高于对应的所述第四分辨率图像的分辨率；

构建每一所述视频帧的光流计算模型，所述光流计算模型的第一层为所述第一分辨率图像，第二层为所述第二分辨率图像，第三层为所述第三分辨率图像，第四层为所述第四分辨率图像；

利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流，所述光流的数量为两个；

对两个所述光流和三个所述第二分辨率图像进行运算以得到一个多通道图像；

对所述多通道图像进行运算，并利用所述参照图像得到高分辨率图像。

2.根据权利要求1所述的图像处理方法，其特征在于，对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像包括：

对每一所述第二分辨率图像进行下采样得到所述第三分辨率图像；

对每一所述第三分辨率图像进行下采样得到所述第四分辨率图像。

3.根据权利要求1所述的图像处理方法，其特征在于，利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流包括：

设定第一计算参数，计算所述光流计算模型的第四层的第一光流值；

利用所述第一光流值计算出所述光流计算模型的第三层的第二光流值；

利用所述第二光流值计算出所述光流计算模型的第二层的第三光流值；

利用所述第三光流值计算出所述光流计算模型的第一层的第四光流值，将所述第四光流值作为所述光流。

4.根据权利要求3所述的图像处理方法，其特征在于，所述方法还包括：

利用所述光流和对应的所述第二分辨率图像优化所述第一计算参数。

5.根据权利要求4所述的图像处理方法，其特征在于，三个第二分辨率图像包括前一帧第二分辨率图像、中间一帧第二分辨率图像和后一帧第二分辨率图像，对两个所述光流和三个所述第二分辨率图像进行运算以得到一个多通道图像包括：

将所述前一帧第二分辨率图像和所述后一帧第二分辨率图像分别与对应的光流进行卷积运算以对所述前一帧第二分辨率图像和所述后一帧第二分辨率图像进行补偿；

将补偿后的第二分辨率图像与三个第二分辨率图像进行卷积运算以得到所述多通道图像。

6.根据权利要求5所述的图像处理方法，其特征在于，对所述多通道图像进行运算，并利用所述参照图像得到高分辨率图像包括：

设定第二计算参数，对所述多通道图像进行卷积运算以提取所述多通道图像的图像特征；

利用所述图像特征和所述参照图像得到所述高分辨率图像。

7.根据权利要求6所述的图像处理方法，其特征在于，利用所述图像特征和所述参照图像得到所述高分辨率图像包括：

对所述图像特征进行卷积运算以得到与所述参照图像的分辨率相同的候选图像；

将所述候选图像与所述参照图像进行对比以优化所述第一计算参数和所述第二计算参数，直到所述候选图像与所述参照图像的相似度达到预设值，则将与所述参照图像的相似度达到预设值的候选图像作为所述高分辨率图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述方法还包括：

获取视频图像，将所述视频图像进行拆分，使每一帧图像与前后相邻的两帧组成一个分组；

根据所述第一计算参数和所述第二计算参数对每个所述分组进行运算，以得到所述视频图像中每一帧所对应的高分辨率图像。

9.根据权利要求8所述的图像处理方法，其特征在于，得到每一帧图像所对应的高分辨率图像之后还包括：

利用所述每一帧所对应的高分辨率图像优化所述第一计算参数和所述第二计算参数。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机可读程序，所述计算机可读程序被配置成由处理器执行，所述计算机可读程序被处理器执行时实现如权利要求1-9任意一项所述的方法。