CN115601234A - 图像超分辨率重建方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像超分辨率重建方法、装置、设备及存储介质，涉及图像处理领域，其包括：获取包含目标对象的低分辨率图像；提取低分辨率图像中目标对象的掩模图像；根据掩模图像，在低分辨率图像中得到目标对象的低分辨率区域图像；利用超分辨率神经网络处理低分辨率区域图像，得到目标对象的超分辨率区域图像；对低分辨率图像进行上采样操作，得到上采样图像；融合上采样图像和超分辨率区域图像，得到低分辨率图像的超分辨率图像，上采样图像、超分辨率区域图像和超分辨率图像具有相同的分辨率。采用上述方法可以解决相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。

Description

图像超分辨率重建方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、设备及存储介质。

背景技术

超分辨率(Super Resolution,SR)重建可理解为基于低分辨率图像重建出相应的高分辨率图像。超分辨率在视频会议、视频学习等视频传输场景下得到了广泛的应用。比如，发送端采集视频数据后在网络中传输低分辨率的视频数据，以节省网络资源、提高传输速度，之后，接收端接收视频数据后利用超分辨率技术重建出高分辨率的视频数据，以实现播放高清的视频数据。一些相关技术中，对视频数据进行超分辨率时主要采用下述两种方案：一种是利用轻量级网络逐帧处理视频数据中的图像，对图像中的显示内容进行超分辨率，进而实现视频数据的超分辨率，如利用FSRCNN、ESPCN或IMDN等用于超分辨率的轻量级网络逐帧处理视频数据中的图像；一种是利用FSRVR或EDVR等用于超分辨率的网络对视频数据中的多帧图像进行处理，以基于多帧图像重构出一帧高分辨率图像，进而实现视频数据的超分辨率。发明人在实现本发明的过程中，发现上述相关技术存在如下缺陷：无论是利用超分辨率的轻量级网络逐帧处理视频数据中的图像，还是基于视频数据中的多帧图像重构一帧高分辨率图像，均具有较慢的处理速度，无法满足视频场景下超分辨率的速度要求，降低了视频会议的会议体验。

发明内容

本申请一个实施例提供了一种图像超分辨率重建方法、装置、设备及存储介质，以解决相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。

第一方面，本申请实施例提供了一种图像超分辨率重建方法，包括：

获取包含目标对象的低分辨率图像；

提取所述低分辨率图像中所述目标对象的掩模图像；

根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像；

利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像；

对所述低分辨率图像进行上采样操作，得到上采样图像；

融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像，所述上采样图像、所述超分辨率区域图像和所述超分辨率图像具有相同的分辨率。

第二方面，本申请实施例还提供了一种图像超分辨率重建装置，包括：

图像获取模块，用于获取包含目标对象的低分辨率图像；

掩模提取模块，用于提取所述低分辨率图像中所述目标对象的掩模图像；

区域确定模块，用于根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像；

图像超分辨率模块，用于利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像；

图像上采样模块，用于对所述低分辨率图像进行上采样操作，得到上采样图像；

图像融合模块，用于融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像，所述上采样图像、所述超分辨率区域图像和所述超分辨率图像具有相同的分辨率。

第三方面，本申请实施例还提供了一种图像超分辨率重建设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像超分辨率重建方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像超分辨率重建方法。

上述图像超分辨率重建方法、装置、设备及存储介质，通过获取包含目标对象的低分辨率图像，基于低分辨率图像得到包含目标对象的掩模图像，之后，根据掩模图像确定低分辨率图像中目标对象所在区域的低分辨率区域图像，利用超分辨率神经网络得到低分辨率区域图像对应的超分辨率区域图像，并且，对低分辨率图像进行上采样操作得到上采样图像，之后，融合超分辨率区域图像和上采样图像，以得到最终的超分辨率图像的技术手段，解决了相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。相比于利用超分辨率神经网络对全部低分辨率图像进行超分辨率，利用目标对象的掩模图像可在低分辨率图像中提取出目标对象所在区域的图像，并基于超分辨率神经网络仅对目标对象进行超分辨率，可减小超分辨率神经网络的数据处理量，提高超分辨率神经网络的处理速度以及计算效率，并且，通过对低分辨率图像进行上采样的方式，实现了提高非目标对象所在的区域的分辨率，保证最终得到的超分辨率图像不仅包含更清晰的目标对象，还包含非目标对象。

附图说明

图1为视频会议场景下数据传输示意图；

图2为本申请一个实施例提供的一种图像超分辨率重建方法的流程图；

图3为本申请一个实施例提供的另一种图像超分辨率重建方法的流程图；

图4为本申请一个实施例提供的一种数据流程框图；

图5为本申请一个实施例提供的一种图像超分辨率重建装置的结构示意图；

图6为本申请一个实施例提供的一种图像超分辨率重建设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

本申请一个实施例提供的图像超分辨率重建方法可以由图像超分辨率重建设备执行，该图像超分辨率重建设备可以通过软件和/或硬件的方式实现，该图像超分辨率重建设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。例如，图像超分辨率重建设备可以是电脑、手机、平板或交互智能平板等具有数据运算、分析能力的电子设备。

一个实施例中，图像超分辨率重建设备用于进行超分辨率重建，其可以应用在视频会议、视频教学等视频通信场景下，也可以同于其他需要超分辨率重建的场景下。以视频会议场景为例，将超分辨率重建应用于视频会议时，其数据传输示意图如图1所示。图1为视频会议场景下数据传输示意图，参考图1，视频会议时，相机或摄像头拍摄视频数据后，视频会议中的电子设备先对视频数据中的图像进行下采样处理(即缩小图像，可以降低图像的分辨率)，再进行视频编码(即压缩)处理，以得到低分辨率的视频数据，之后，利用网络传输低分辨率的视频数据。视频会议中的其他电子设备接收该低分辨率的视频数据后，对低分辨率的视频数据进行解码(即解压缩)处理，再进行超分辨率处理，以得到高分辨率的视频数据，其中，高分辨率的视频数据与拍摄得到的视频数据具有相同的分辨率，以此实现视频会议场景下的高清视频通信。可理解，图1中以视频数据中的一帧图像为例示出了数据传输流程。由图1可知，对于视频会议场景而言，图像超分辨率重建设备为接收视频数据的电子设备。

示例性的，图2为本申请一个实施例提供的一种图像超分辨率重建方法的流程图。参考图2，该图像超分辨率重建方法具体包括：

步骤110、获取包含目标对象的低分辨率图像。

分辨率可理解为每英寸图像内有多少个像素点，像素点也可理解为像素，像素是图像中不可分割的单位，即图像是由像素组成的，每个像素都有对应的位置(即坐标值)和被分配的色彩数值(即像素值)。

一个实施例中，低分辨率图像为当前需要进行超分辨率重建的图像。低分辨率图像的获取途径不作限定，例如，低分辨率图像可以是视频数据中的一帧图像，对该视频数据进行超分辨率时，以帧为单位处理各帧图像，此时，视频数据中的每一帧图像均可作为低分辨率图像。

一个实施例中，低分辨率图像包含目标对象，其中，目标对象可理解为进行超分辨率的对象，即对低分辨率图像进行超分辨率时，主要是对目标对象进行超分辨率。目标对象的类型不作限定，其可以结合使用场景决定，例如，在人像视频通话场景下，目标对象为人类。可理解，可以根据实际需求设置一种或多种类型的目标对象。低分辨率图像中目标对象的数量可以为一个或多个。可选的，获取低分辨率图像时，先确定其是否包含目标对象，若包含目标对象，则执行后续步骤，否则不执行后续步骤。之后，可以获取新一帧的低分辨率图像并重复执行本步骤。例如，目标对象为人类时，获取低分辨率图像后，先检测低分辨率图像中是否包含人像，若包含人像，则执行后续步骤，其中，检测是否包含人像的技术手段实施例不作限定，如利用神经网络技术，构建用于识别人像的神经网络模型。

一个实施例中，对低分辨率图像进行超分辨率后，得到重建的图像，为了便于区分，将该图像记为超分辨率图像，超分辨率图像的尺寸和分辨率可根据实际情况设置，一般而言，超分辨率图像的分辨率高于低分辨率图像的分辨率。

步骤120、提取低分辨率图像中目标对象的掩模图像。

目标对象的掩模图像可以体现目标对象在低分辨率图像中的位置、形状等内容。可选的，掩模图像的像素有两种不同的像素值，其中，表示目标对象的像素采用一种像素值，表示非目标对象的像素采用另一中像素值，以通过两种不同的像素值区分目标对象和非目标对象，进而明确掩模图像中目标对象的位置和形状。

一个实施例中，不限定掩模图像的提取手段，例如，利用神经网络技术，构建一分割网络，之后，利用分割网络处理低分辨率图像并输出目标对象的掩模图像。其中，分割网络可以进行语义预测，即预测出低分辨率图像中表示目标对象的像素，进而输出目标对象的掩模图像。分割网络的类型、结构等可根据实际情况设置。可理解，当前使用的分割网络属于分割网络的应用阶段，此时的分割网络可以输出比较稳定的结果。可选的，利用分割网络处理低分辨率图像时，可能出现掩模图像的分辨率小于低分辨率图像的分辨率的情况。为了便于后续处理，当掩模图像的分辨率小于低分辨率图像的分辨率时，对掩模图像进行插值处理。其中，插值可理解为对图像中像素之间的空隙进行填充，以提高图像的分辨率。对掩模图像进行插值处理后，可增加掩模图像中像素的数量，使得掩模图像与低分辨率图像具有相同的分辨率。其中，插值处理时使用的算法可根据实际情况选择，实施例对此不作限定。

步骤130、根据掩模图像，在低分辨率图像中得到目标对象的低分辨率区域图像。

示例性的，掩模图像示出了低分辨率图像中目标对象的位置和形状，因此，通过掩模图像可以在低分辨率图像中提取出表示目标对象的各像素并组成一区域图像，其中，区域图像可理解为低分辨率图像中目标对象所在区域的图像，一个实施例中，将从低分辨率图像中得到的表示目标对象的区域图像记为低分辨率区域图像。低分辨率区域图像的分辨率与低分辨率图像的分辨率相同。可选的，低分辨率区域图像主要显示目标对象，没有显示低分辨率图像中的非目标对象或者因为误差等因素显示了低分辨率图像中少量的非目标对象。

可选的，通过掩模图像与低分辨率图像进行点积计算的方式，可得到低分辨率区域图像。可理解，掩模图像的各像素只有两种像素值，分别表示目标对象和非目标对象，点积计算时，若低分辨率图像中某个像素与掩模图像中表示目标对象的像素进行点积计算，则低分辨率图像中的该像素便可以认为是表示目标对象的像素，并在点积后被保留，组成低分辨率区域图像。若低分辨率图像中某个像素与掩模图像中表示非目标对象的像素进行点积计算，则低分辨率图像中的该像素便可以认为是表示非目标对象的像素，并在点积计算后被作为空白像素被保留，或者是，不被保留，又或者是被赋予固定像素值(如0等像素值)。还可选的，根据掩模图像中表示目标对象的像素，确定掩模图像中包含目标对象的最小外接矩形区域，之后，将最小外接矩形区域内的掩模图像与低分辨率图像进行点积，以得到低分辨率区域图像，其中，点积计算方式与前述掩模图像与低分辨率图像的点积计算方式相同，在此不做赘述。可理解，相比于掩模图像与低分辨率图像点积后得到的低分辨率区域图像，使用最小外接矩形区域内的掩模图像与低分辨率图像点积后得到的低分辨率区域图像的尺寸更小。

步骤140、利用超分辨率神经网络处理低分辨率区域图像，得到目标对象的超分辨率区域图像。

超分辨率神经网络是预先构建的、可用于超分辨率的神经网络，其类型和结构可根据实际情况设置。一个实施例中，超分辨率神经网络记为SRNet，且SRNet的主干网络采用fsrcnn结构。其中，fsrcnn是一种可用于超分辨率重建的卷积神经网络。

可理解，当前使用SRNet得到超分辨率区域图像的阶段属于SRNet的应用阶段，SRNet可以输出比较稳定的结果。应用SRNet前，先对SRNet进行训练和测试，其中，训练用于使SRNet具备预测的能力(即超分辨率重构的能力)、输出稳定结果，测试用于测试SRNet的输出准确性。SRNet在训练和测试时使用的数据集和损失函数可以根据实际情况选择，例如采用公开数据集DIV2K分别构建SRNet训练时使用的训练数据集和测试时使用的测试数据集，并采用L1损失函数作为SRNet的损失函数。其中，L1损失函数也称为L1范数损失函数，其是把目标值与估计值的绝对差值的总和最小化。可理解，对SRNet进行训练和测试的设备可以是图像超分辨率重建设备，也可以是其他电子设备，当进行训练和测试的设备是图像超分辨率重建设备时，完成训练和测试后，可直接将SRNet部署在图像超分辨率重建设备中进行应用。当进行训练和测试的设备是其他电子设备时，完成训练和测试后，需要将其他电子设备中的SRNet部署在图像超分辨率重建设备中进行应用。

一个实施例中，超分辨率神经网络可以输出设定分辨率的图像，该设定分辨率为超分辨率图像的分辨率。一个实施例中，将低分辨率区域图像输入至超分辨率神经网络后，超分辨率神经网络对低分辨率区域图像进行超分辨率，并输出高分辨率的图像，其中，将超分辨率神经网络输出的图像记为超分辨率区域图像。由于低分辨率区域图像主要显示目标对象，因此，超分辨率区域图像可理解为针对目标对象所在区域进行超分辨率后的结果。可理解，超分辨率区域图像的分辨率高于低分辨率区域图像的分辨率。

步骤150、对低分辨率图像进行上采样操作，得到上采样图像。

可理解，利用超分辨率神经网络得到的超分辨率区域图像是对低分辨率图像中目标对象所在区域进行超分辨率后的结果，而最终得到的超分辨率图像不仅包含目标对象所在的区域，还应包含低分辨率图像中非目标对象所在的区域。因此，还需要得到低分辨率图像中非目标对象所在区域的超分辨率图像，一个实施例中，通过对低分辨率图像进行上采样的方式，以放大低分辨率图像，增加低分辨率图像的分辨率。上采样时，将超分辨率图像的分辨率作为目标，对低分辨率图像进行上采样处理，以使上采样后的低分辨率图像的分辨率与超分辨率图像的分辨率相同。其中，上采样后的低分辨率图像可记为上采样图像。一个实施例中，通过插值处理的方式对低分辨率图像进行上采样，即在低分辨率图像像素的基础上在像素之间采用合适的插值算法插入新的元素(即像素)，其中，插值处理时使用的算法可根据实际情况设置。通过上采样图像为超分辨率图像中非目标对象所在的区域提供参考，可理解，上采样后的上采样图像的精确度低于基于超分辨率神经网络得到的超分辨率区域图像的精确度。

可理解，步骤150与步骤120-步骤140之间可同时执行或先后执行，实施例对此不作限定。

步骤160、融合上采样图像和超分辨率区域图像，得到低分辨率图像的超分辨率图像，上采样图像、超分辨率区域图像和超分辨率图像具有相同的分辨率。

一个实施例中，上采样图像、超分辨率区域图像和超分辨率图像具有相同的分辨率，融合上采样图像和超分辨率区域图像后，便可以得到超分辨率图像。

示例性的，图像融合是用特定的算法将两幅或多幅图像综合成一幅新的图像。一个实施例中，图像融合时，可参考超分辨率区域图像中目标对象所在的区域以及上采样图像中非目标对象所在的区域，以得到最终的超分辨率图像。融合上采样图像和超分辨率区域图像时采用的算法可根据实际情况选择。例如，图像融合时，针对超分辨率图像中一个像素的位置，若确定超分辨率区域图像中相同位置的像素为目标对象所在的区域，则将超分辨率区域图像中该位置的像素值直接作为超分辨率图像中该位置的像素值，若确定超分辨率区域图像中相同位置的像素不是目标对象所在的区域，则将上采样图像中该位置的像素值直接作为超分辨率图像中该位置的像素值。再如，设置一张权重图，该权重图与上采样图像、超分辨率区域图像和超分辨率图像的分辨率相同。权重图中每个像素对应一个权重值，权重值的范围是[0-1]，图像融合时，权重图中一个像素对应的权重值可供上采样图像中相同位置的像素使用，1与权重值的差值可供辨率区域图像中相同位置的像素使用，即通过权重值可确定融合时上采样图像中像素值的参数比例和超分辨率区域图像中像素值的参考比例，以得到超分辨率图像中的像素值。一个实施例中，权重图可通过掩模图像确定，例如，对掩模图像进行插值处理后，将掩模图像上采样成与超分辨率图像的分辨率相同的图像，之后，利用高斯模糊处理上采样后的图像便可得到权重图。

可选的，若低分辨率区域图像是通过掩模图像中包含目标对象的最小外接矩形区域与低分辨率图像进行点积计算后得到，则对应的超分辨率区域图像的尺寸也会小于超分辨率图像的尺寸，即超分辨率区域图像包含的像素总数量小于超分辨率图像的像素总数量，此时，为了保证融合时使用的超分辨率区域图像与超分辨率图像具有相同总数量的像素(水平像素数和垂直像素数均相同)，在得到超分辨率区域图像时，还需要对超分辨率区域图像进行边缘扩充，即对超分辨率区域图像添加空白的像素。

可理解，低分辨率图像是视频数据中的图像时，对视频数据中各帧低分辨率图像均按照上述图像超分辨率重建方法进行处理后，便可以得到分辨率变高的视频数据，即得到更清楚的视频数据。

上述，通过获取包含目标对象的低分辨率图像，基于低分辨率图像得到包含目标对象的掩模图像，之后，根据掩模图像确定低分辨率图像中目标对象所在区域的低分辨率区域图像，利用超分辨率神经网络得到低分辨率区域图像对应的超分辨率区域图像，并且，对低分辨率图像进行上采样操作得到上采样图像，之后，融合超分辨率区域图像和上采样图像，以得到最终的超分辨率图像的技术手段，解决了相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。相比于利用超分辨率神经网络对全部低分辨率图像进行超分辨率，利用目标对象的掩模图像可在低分辨率图像中提取出目标对象所在区域的图像，并基于超分辨率神经网络仅对目标对象进行超分辨率，可减小超分辨率神经网络的数据处理量，提高超分辨率神经网络的处理速度以及计算效率，并且，通过对低分辨率图像进行上采样的方式，实现了提高非目标对象所在的区域的分辨率，保证最终得到的超分辨率图像不仅包含更清晰的目标对象，还包含非目标对象。

图3为本申请一个实施例提供的另一种图像超分辨率重建方法的流程图，图3所示的图像超分辨率重建方法是在上述图像超分辨率重建方法的基础上进行具体化。参考图3，该图像超分辨率重建方法包括：

步骤210、获取包含目标对象的低分辨率图像。

步骤220、利用分割网络处理低分辨率图像，得到目标对象的掩模图像。

分割网络是预先构建的、可用于提取掩模图像的神经网络，分割网络可以根据低分辨率图像的语义来进行分割，以输出低分辨率图像中目标对象的掩模图像。分割网络的类型和结构可根据实际情况设定。一个实施例中，采用U-net网络作为分割网络。其中，U-net网络可分为两部分，前一部分用于提取图像的特征，后一部分用于特征的还原，即U-net网络可理解为编码-解码器。

可理解，当前使用分割网络得到掩模图像的阶段属于分割网络的应用阶段，此时，分割网络可以输出比较稳定的结果。应用分割网络前，需要先对分割网络进行训练和测试，其中，训练用于使分割网络具有分割的能力且输出稳定的分割结果，测试用于测试分割网络的输出准确性。分割网络在训练和测试时使用的数据集和损失函数可以根据实际情况选择。例如，目标对象为人类时，采用公开人像分割数据集Supervisely分别构建训练时使用的训练数据集和测试时使用的测试数据集，并采用交叉熵损失函数作为分割网络的损失函数，可理解，对分割网络进行训练和测试的设备可以是图像超分辨率重建设备，也可以是其他电子设备，当进行训练和测试的设备是图像超分辨率重建设备时，完成训练和测试后，可直接将分割网络部署在图像超分辨率重建设备中进行应用。当进行训练和测试的设备是其他电子设备时，完成训练和测试完成后，需要将其他电子设备中的分割网络部署在图像超分辨率重建设备中进行应用。可选的，分割网络和SRNet可以在同一设备中训练和测试，也可以在不同设备中训练和测试。

一个实施例中，将低分辨率图像输入分割网络进行处理，得到目标对象的掩模图像。

步骤230、掩模图像的分辨率小于低分辨率图像的分辨率时，对掩模图像进行上采样操作，上采样后的掩模图像和低分辨率图像具有相同的分辨率。

一般而言，分割网络处理图像时，输出图像的分辨率会变小，即输出的掩模图像的分辨率会小于低分辨率图像的分辨率，此时，掩模图像的像素总数量低于低分辨率图像的总数量，此时，需要先对掩模图像进行上采样处理，以使掩模图像的分辨率与低分辨率图像的分辨率相同，即两者的像素总数量相同(水平像素数和垂直像素数均相同)。一个实施例中，采用双三次(bicubic)插值算法实现上采样处理，其中，双三次插值也叫做双立方插值，是用于在图像中“插值”(Interpolating)或增加“像素”(Pixel)数量/密度的一种方法。

可选的，分割网络输出掩模图像后，可直接对掩模图像进行双三次插值，以使掩模图像的分辨率与低分辨率图像的分辨率相同。还可选的，分割网络输出掩模图像后，先判断掩模图像的分辨率是否小于低分辨率图像的分辨率，若小于，则对掩模图像进行双三次插值，以使掩模图像的分辨率与低分辨率图像的分辨率相同，否则，跳过本步骤，直接执行后续步骤。

步骤240、根据掩模图像，在低分辨率图像中得到目标对象的低分辨率区域图像。

一个实施例中，可通过下述任一种方案得到低分辨率区域图像。

方案一、对低分辨率图像和掩模图像进行点积计算，得到目标对象的低分辨率区域图像。

示例性的，将低分辨率图像和掩模图像进行点积计算，即将低分辨率图像和掩模图像中同一位置的像素进行点积计算，以使点积计算后的低分辨率区域图像中显示有低分辨率图像中目标对象所在的区域，但是没有显示或很少显示低分辨率图像中非目标对象所在的区域。例如，掩模图像中表示目标对象的像素的值为1，表示非目标对象的像素的值为0，将掩模图像与低分辨率图像点积后，便可以保留低分辨率图像中表示目标对象的像素，并将低分辨率图像中表示非目标对象的像素变为0，进而得到低分辨率区域图像。此时，低分辨率区域图像的分辨率与低分辨率图像的分辨率相同，且低分辨率区域图像的像素总数量与低分辨率图像的像素总数量相等。

方案二、对掩模图像中目标对象所在的区域进行外接矩形计算，得到外接矩形掩模图像；对低分辨率图像和外接矩形掩模图像进行点积计算，得到目标对象的低分辨率区域图像。

一个实施例中，外接矩形计算是指在掩模图像中找到包含目标对象所在区域的最小外接矩形。可选的，将像素在水平方向上的位置记为x，将像素在垂直方向上的位置记为y，通过在掩模图像中找到水平方向上表示目标对象的最小x和最大x以及垂直方向上表示目标对象的最小y和最大y，之后，根据最小x、最大x、最小y和最大y便可绘制出包含目标对象所在区域的最小外接矩形，此时，最小外接矩形的四个边分别包含最小x、最大x、最小y和最大y。得到最小外接矩形后，在掩模图像中提取最小外接矩形内的图像，并将该图像记为外接矩形掩模图像。可理解，提取外接矩形掩模图像后，各像素的位置未发生变化，即外接矩形掩模图像中一个像素的位置与掩模图像中该像素的位置相同。

得到外接矩形掩模图像后，将低分辨率图像与外接矩形掩模图像进行点积计算，得到低分辨率区域图像。可理解，点积计算时只需要使用低分辨率图像中与外接矩形掩模图像对应的像素，即使用位置相同的像素。点积计算过程与方案一中描述的点积计算过程相似，在此不做赘述。需说明，相比于通过掩模图像得到低分辨率区域图像，通过外接矩形掩模图像得到的低分辨率区域图像的清晰度未发生变化、尺寸变小、与目标对象无关的内容减少，后续利用超分辨率神经网络处理低分辨率区域图像时，超分辨率神经网络的计算量变小，可提升超分辨率神经网络的处理速度。

步骤250、利用超分辨率神经网络处理低分辨率区域图像，得到目标对象的超分辨率区域图像。

一个实施例中，基于低分辨率图像和外接矩形掩模图像点积得到目标对象的低分辨率区域图像时，相比于低分辨率图像，低分辨率区域图像的像素总数量变小，利用超分辨率神经网络基于低分辨率区域图像得到超分辨率区域图像时，超分辨率区域图像的像素总数量小于超分辨率图像的像素总数量，此时，为了保证融合时使用的超分辨率区域图像与超分辨率图像具有相同的像素总数量(即水平像素数和垂直像素数均相等)，利用超分辨率神经网络处理低分辨率区域图像，得到目标对象的超分辨率区域图像时，还包括：对超分辨率区域图像进行边缘扩充，边缘扩充后的超分辨率区域图像与超分辨率图像具有相同的分辨率。

一个实施例中，边缘扩充可理解为扩充超分辨率区域图像的边缘，即在超分辨率区域图像的边缘增加表示非目标对象的像素，其中，增加的像素所对应的像素值可以根据实际情况设置，一个实施例中，可以增加空白的像素以表示非目标对象。可选的，得到超分辨率区域图像时，可以明确超分辨率区域图像中各像素在超分辨率图像中的位置。此时，结合超分辨率图像的水平像素数和垂直像素数以及超分辨率区域图像中各像素的位置，对超分辨率区域图像进行边缘扩充，以保证扩充后的超分辨率区域图像和超分辨率图像具有相同的水平像素数和垂直像素数。

步骤260、利用双三次插值算法对低分辨率图像进行上采样，得到上采样图像。

一个实施例中，利用双三次插值的算法对低分辨率图像进行上采样，以得到与超分辨率图像分辨率相等的上采样图像。

步骤270、对掩模图像进行上采样操作，得到超分辨率掩模图像，超分辨率掩模图像与超分辨率图像具有相同的分辨率。

示例性的，对掩模图像进行上采样操作，以放大掩模图像，放大后的掩模图像的分辨率与上采样图像、超分辨率图像的分辨率相同、像素总数量相等。可理解，掩模图像与低分辨率图像的分辨率相同，因此，可按照对低分辨率图像进行上采样的方式对掩模图像进行上采样，一个实施例中，采用双三次插值算法对掩模图像进行上采样操作，并将上采样后的掩模图像记为超分辨率掩模图像。

步骤280、利用高斯核对超分辨率掩模图像进行模糊处理，得到权重图，权重图中每个像素对应一个权重值。

其中，高斯核也称高斯核函数，是一种径向基函数，在图像处理领域，利用高斯核函数可以对图像进行模糊处理，即进行图像模糊。图像模糊可以模糊图像中的细节。利用高斯核函数进行模糊处理时，中间像素的值最大，周边像素的加权系数随着与中间像素的距离增大而减小。一个实施例中，利用高斯核对掩模图像进行模糊处理后，各像素的值在[0,1]之间，并且各像素的值可以作为融合时采用的权重值，一个实施例中，将模糊处理后得到的图像记为权重图，该权重图中每个像素的值均为权重值。

步骤290、利用权重图融合上采样图像和超分辨率区域图像，得到低分辨率图像的超分辨率图像。

其中，权重图、上采样图像、超分辨率区域图像和超分辨率图像的分辨率相同、像素总数量相等。超分辨图像中某一位置的像素的像素值可以通过权重图中该位置对应的权重值以及上采样图像和超分辨率区域图像中该位置对应的像素值确定。

一个实施例中，图像融合时使用的融合公式为：

HR_hat[i]＝HR_BIC[i]*HR_Mask[i]+HR_HUMAN[i]*(1-HR_Mask[i])

其中，HR_hat[i]表示超分辨率图像中第i个像素的像素值，HR_BIC[i]表示上采样图像中第i个像素的像素值，HR_Mask[i]表示权重图中第i个像素对应的权重值，HR_HUMAN[i]表示超分辨率区域图像中第i个像素的像素值，HR_hat[i]、HR_BIC[i]、HR_Mask[i]和HR_HUMAN[i]具有相同的位置。按照上述公式便可以得到超分辨率图像中各像素的像素值，进而得到超分辨率图像。

下面对上述图像超分辨率重建方法进行示例性描述，其中，图4为本申请一个实施例提供的一种数据流程框图。参考图4，目标对象为人类，视频会议场景下，接收其他电子设备传输的视频数据后，对视频数据中各帧图像执行上述图像超分辨率重建方法，其中，对于当前帧图像而言，将其作为获取的包含目标对象的低分辨率图像，图4中低分辨率图像记为LR，之后，将低分辨率图像LR输入至分割网络，图4中分割网络记为Segnet，之后，利用分割网络Segnet提取人像(即目标对象)的掩模图像，图4中掩模图像记为Mask，掩模图像Mask的尺寸均小于低分辨率图像LR的尺寸、掩模图像Mask的分辨率小于低分辨率图像LR的分辨率，之后，通过双三次插值(bicubic)对掩模图像Mask进行上采样操作，以使上采样后的掩模图像与低分辨率图像的分辨率相同，图4中上采样后的掩模图像记为Human_Mask，之后，求取掩模图像Human_Mask的外接矩形掩模图像，图4中外接矩形掩模图像记为Roi_Mask，之后，对低分辨率图像LR和外接矩形掩模图像Roi_Mask进行点积计算，以得到人像的低分辨率区域图像，图4中低分辨率区域图像记为Roi_LR，之后，将低分辨率区域图像Roi_LR输入至超分辨率神经网络，图4中超分辨率神经网络记为SRnet，利用超分辨率神经网络SRnet得到低分辨率区域图像Roi_LR对应的超分辨率区域图像，并对超分辨率区域图像进行边缘填充，填充后的超分辨率区域图像与超分辨率图像的分辨率相同，并且具有相同的像素总数量，图4中填充后的超分辨率区域图像记为HR_Human。同时，可以对低分辨率图像LR进行双三次插值(bicubic)，以得到上采样图像，图4中上采样图像记为HR_BIC。并且将掩模图像Human_Mask上采样至与超分辨率图像的分辨率相同，之后，利用上采样后的掩模图像Human_Mask融合上采样图像HR_BIC和超分辨率区域图像HR_Human，以得到超分辨率图像，其中，图4中超分辨率图像记为

上述，通过获取包含目标对象的低分辨率图像，利用分割网络得到包含目标对象的掩模图像，之后，根据掩模图像确定低分辨率图像中目标对象所在区域的低分辨率区域图像，利用超分辨率神经网络得到低分辨率区域图像对应的超分辨率区域图像，并且，对低分辨率图像进行上采样操作得到上采样图像，之后，基于掩模图像构建权重图，并基于权重图融合超分辨率区域图像和上采样图像，以得到最终的超分辨率图像的技术手段，解决了相关技术中，视频场景下进行超分辨率时处理速度较慢的技术问题。相比于利用超分辨率神经网络对全部低分辨率图像进行超分辨率，利用目标对象的掩模图像可在低分辨率图像中提取出目标对象所在区域的图像，并基于超分辨率神经网络仅对目标对象进行超分辨率，可减小超分辨率神经网络的数据处理量，提高超分辨率神经网络的处理速度以及计算效率，进而在视频会议等场景下可传输低分辨率的视频数据，并在接收端进行超分辨率重建，降低了传输带宽，节约了网络资源。通过分割网络可以准确、快速地得到掩模图像。通过权重图可以合理、快速的实现图像融合，以保证超分辨率图像的准确性。并且，通过外接矩形计算可以仅对目标对象所在的区域进行处理，进一步减小了超分辨率图像网络的计算量，提高了处理速度。

图5为本申请一个实施例提供的一种图像超分辨率重建装置的结构示意图。参考图5，该图像超分辨率重建装置包括：图像获取模块301、掩模提取模块302、区域确定模块303、图像超分辨率模块304、图像上采样模块305以及图像融合模块306。

其中，图像获取模块301，用于获取包含目标对象的低分辨率图像；掩模提取模块302，用于提取低分辨率图像中目标对象的掩模图像；区域确定模块303，用于根据掩模图像，在低分辨率图像中得到目标对象的低分辨率区域图像；图像超分辨率模块304，用于利用超分辨率神经网络处理低分辨率区域图像，得到目标对象的超分辨率区域图像；图像上采样模块305，用于对低分辨率图像进行上采样操作，得到上采样图像；图像融合模块306，用于融合上采样图像和超分辨率区域图像，得到低分辨率图像的超分辨率图像，上采样图像、超分辨率区域图像和超分辨率图像具有相同的分辨率。

在本申请一个实施例中，区域确定模块303具体用于：对低分辨率图像和掩模图像进行点积计算，得到目标对象的低分辨率区域图像。

在本申请一个实施例中，区域确定模块303包括：矩形计算单元，用于对掩模图像中目标对象所在的区域进行外接矩形计算，得到外接矩形掩模图像；点积单元，用于对低分辨率图像和外接矩形掩模图像进行点积计算，得到目标对象的低分辨率区域图像。相应的，图像超分辨率模块304利用超分辨率神经网络处理低分辨率区域图像，得到目标对象的超分辨率区域图像时，还用于对超分辨率区域图像进行边缘扩充，边缘扩充后的超分辨率区域图像与超分辨率图像具有相同的分辨率。

在本申请一个实施例中，图像融合模块306包括：掩模第一上采样单元，用于对掩模图像进行上采样操作，得到超分辨率掩模图像，超分辨率掩模图像与超分辨率图像具有相同的分辨率；模糊单元，用于利用高斯核对超分辨率掩模图像进行模糊处理，得到权重图，权重图中每个像素对应一个权重值；融合单元，用于利用权重图融合上采样图像和超分辨率区域图像，得到低分辨率图像的超分辨率图像。

在本申请一个实施例中，掩模提取模块302具体用于：利用分割网络处理所述低分辨率图像，得到所述目标对象的掩模图像。

在本申请一个实施例中，还包括：掩模第二上采样模块，用于利用分割网络处理低分辨率图像，得到目标对象的掩模图像之后，掩模图像的分辨率小于低分辨率图像的分辨率时，对掩模图像进行上采样操作，上采样后的掩模图像与低分辨率图像具有相同的分辨率。

在本申请一个实施例中，图像上采样模块305具体用于：利用双三次插值算法对低分辨率图像进行上采样操作，得到上采样图像。

上述提供的图像超分辨率重建装置可用于执行上述任意实施例提供的图像超分辨率重建方法，具备相应的功能和有益效果。

值得注意的是，上述图像超分辨率重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

图6为本申请一个实施例提供的一种图像超分辨率重建设备的结构示意图。如图6所示，该图像超分辨率重建设备包括处理器40、存储器41、输入装置42、输出装置43以及通信模块44；图像超分辨率重建设备中处理器40的数量可以是一个或多个，图6中以一个处理器40为例。图像超分辨率重建设备中处理器40、存储器41、输入装置42、输出装置43以及通信模块44可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像超分辨率重建方法对应的程序指令/模块(例如，图像超分辨率重建装置中的图像获取模块301、掩模提取模块302、区域确定模块303、图像超分辨率模块304、图像上采样模块305以及图像融合模块306)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行图像超分辨率重建设备的各种功能应用以及数据处理，即实现上述的图像超分辨率重建方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据图像超分辨率重建设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至图像超分辨率重建设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置42可用于接收输入的数字或字符信息，以及产生与图像超分辨率重建设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。通信装置44可利用网络进行数据通信，如视频会议场景下获取视频数据。

上述图像超分辨率重建设备包含图像超分辨率重建装置，可以用于执行任意图像超分辨率重建方法，具备相应的功能和有益效果。

此外，本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例所提供的图像超分辨率重建方法中的相关操作，且具备相应的功能和有益效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。

因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种图像超分辨率重建方法，其特征在于，包括：

获取包含目标对象的低分辨率图像；

提取所述低分辨率图像中所述目标对象的掩模图像；

根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像；

利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像；

对所述低分辨率图像进行上采样操作，得到上采样图像；

融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像，所述上采样图像、所述超分辨率区域图像和所述超分辨率图像具有相同的分辨率。

2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像包括：

对所述低分辨率图像和所述掩模图像进行点积计算，得到所述目标对象的低分辨率区域图像。

3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像包括：

对所述掩模图像中所述目标对象所在的区域进行外接矩形计算，得到外接矩形掩模图像；

对所述低分辨率图像和所述外接矩形掩模图像进行点积计算，得到所述目标对象的低分辨率区域图像。

4.根据权利要求3所述的图像超分辨率重建方法，其特征在于，所述利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像时，还包括：

对所述超分辨率区域图像进行边缘扩充，边缘扩充后的超分辨率区域图像与所述超分辨率图像具有相同的分辨率。

5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像包括：

对所述掩模图像进行上采样操作，得到超分辨率掩模图像，所述超分辨率掩模图像与所述超分辨率图像具有相同的分辨率；

利用高斯核对所述超分辨率掩模图像进行模糊处理，得到权重图，所述权重图中每个像素对应一个权重值；

利用所述权重图融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像。

6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述提取所述低分辨率图像中所述目标对象的掩模图像包括：

利用分割网络处理所述低分辨率图像，得到所述目标对象的掩模图像。

7.根据权利要求6所述的图像超分辨率重建方法，其特征在于，所述利用分割网络处理所述低分辨率图像，得到所述目标对象的掩模图像之后，还包括：

所述掩模图像的分辨率小于所述低分辨率图像的分辨率时，对所述掩模图像进行上采样操作，上采样后的掩模图像与所述低分辨率图像具有相同的分辨率。

8.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述对所述低分辨率图像进行上采样操作，得到上采样图像包括：

利用双三次插值算法对所述低分辨率图像进行上采样操作，得到上采样图像。

9.一种图像超分辨率重建装置，其特征在于，包括：

图像获取模块，用于获取包含目标对象的低分辨率图像；

掩模提取模块，用于提取所述低分辨率图像中所述目标对象的掩模图像；

区域确定模块，用于根据所述掩模图像，在所述低分辨率图像中得到所述目标对象的低分辨率区域图像；

图像超分辨率模块，用于利用超分辨率神经网络处理所述低分辨率区域图像，得到所述目标对象的超分辨率区域图像；

图像上采样模块，用于对所述低分辨率图像进行上采样操作，得到上采样图像；

图像融合模块，用于融合所述上采样图像和所述超分辨率区域图像，得到所述低分辨率图像的超分辨率图像，所述上采样图像、所述超分辨率区域图像和所述超分辨率图像具有相同的分辨率。

10.一种图像超分辨率重建设备，其特征在于，包括：

一个或多个处理器

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的图像超分辨率重建方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的图像超分辨率重建方法。

Images