CN104966269A - 一种多帧超分辨率成像的装置及方法 - Google Patents

Abstract

本发明提供了一种多帧超分辨率成像的装置及方法，以处理同一场景下多帧低分辨率图像中存在的运动模糊问题，进而利用多帧低分辨率图像恢复出该场景的高分辨率图像。本发明方法包括：根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图像。

Description

一种多帧超分辨率成像的装置及方法

技术领域

本发明涉及数字图像处理领域，尤其涉一种多帧超分辨率成像的装置及方法。

背景技术

数字图像处理技术是一种通过计算机对图像进行去噪声、增强、复原、分割等处理的技术，作为数字图像处理技术的一个基本技术，多帧超分辨率成像技术是指通过针对同一场景的一组低分辨率图像恢复出该场景的一张高分辨率图像，一组低分辨率图像中包括多张帧不同的低分辨率图像。图像分辨率的提高意味着图像上像素密度的增大，这使得图像细节更加清晰，从而避免图像放大技术中插值算法所带来的图像模糊问题。

由于图像拍摄过程中相机的抖动或者被拍摄物体的运动等原因导致的图像运动模糊问题，会导致图像质量的降低。当关注的图像细节区域很小时，即使是轻微的相机抖动也会产生非常显著的图像运动模糊问题。

目前，现有的多帧超分辨率成像技术，例如基于贝叶斯方法的适应性视频超分辨率成像技术、基于去卷积点扩散函数(point spread function，PSF)方法的多帧图像去模糊技术、以及基于概率的超分辨率成像技术，仅仅假设低通模糊核已知或者是求解简单的参数形式，使得现有的多帧超分辨率成像技术无法正确处理真实情况下拍摄出来的多帧低分辨率图像中的运动模糊问题。当多帧低分辨率图像中的运动模糊未被正确处理时，超分辨率成像技术利用多帧低分辨率图像所恢复的高分辨率图像也不可避免地存在运动模糊问题。

发明内容

本发明实施例提供了一种多帧超分辨率成像的装置及方法，以处理同一场景下多帧低分辨率图像中存在的运动模糊问题，进而利用多帧低分辨率图像恢复出该场景的高分辨率图像。

第一方面，本发明实施例提供一种多帧超分辨率成像的装置，包括：

位置确定模块，用于根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；

像素清晰度确定模块，用于分别确定在每帧低分辨率图像上位置确定模块确定的第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；

像素值确定模块，用于根据像素清晰度确定模块获得的像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图像。

结合第一方面，在第一种可能的实现方式中，像素清晰度确定模块用于：

分别根据每帧低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域内像素的值，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，像素清晰度确定模块用于：

根据以下公式分别确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度：

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

结合第一方面、第一方面的第一种或第二种任一可能的实现方式，在第一方面的第三种可能的实现方式中，像素值确定模块用于：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，像素值确定模块根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

像素值确定模块根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用累积概率W_i,p和以下公式分别确定清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\[Z_{i,p}\]=\frac{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\γ}}{Wi,p}\}}{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\γ}}{Wi,p}\}+\exp \{-\mathrm{\γ}\mathrm{\β}\}}$

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

结合第一方面的第三种可能的实现方式，在第一方面的第五种可能的实现方式中，像素值确定模块根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

对于大于或等于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为1；

对于小于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为0。

结合第一方面的第三种至第五种任一可能的实现方式，在第一方面的第六种可能的实现方式中，像素值确定模块根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据以下公式确定高分辨率图像上第一像素位置的像素的像素值：

$I^0=\arg \underset{I}{\min }\underset{i=-N}{\overset{N}{\Σ}}\mathrm{\λ}\left|\right|E\[Z_{i,p}\]({\mathrm{SK}}_i{F}_{0\→i}I-I_i^L)|{|}_1+\mathrm{\η}\·\mathrm{\φ}(\▿I)$

其中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

结合第一方面、第一方面的第一种至第五种任一可能的实现方式，在第一方面的第七种可能的实现方式中，像素清晰度确定模块还用于：

在分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度之前，采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，运动变换矩阵用于像素值确定模块确定高分辨率图像上的像素的像素值；

相应的，像素值确定模块在根据像素清晰度确定模块获得的像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值时用于：

根据像素清晰度确定模块获得的像素清晰度集和运动变换矩阵，确定高分辨率图像上第一像素位置的像素的像素值。

第二方面，本发明实施例提供一种多帧超分辨率成像的装置，包括：

处理器，用于根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图像；

显示器，用于显示处理器获得的高分辨率图像。

结合第二方面，在第一种可能的实现方式中，处理器分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，包括：

分别根据每帧低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域内像素的值，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，处理器分别根据每帧低分辨率图像上第二像素位置上的像素、和第二像素位置的邻域内所有像素的集合，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，包括：

根据以下公式分别确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度：

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

结合第二方面、第二方面的第一种或第二种任一可能的实现方式，在第二方面的第三种可能的实现方式中，处理器根据像素清晰度集，确定高分辨率图像上的第一像素位置的像素的像素值，包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，处理器根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用累积概率W_i,p和以下公式分别确定清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\[Z_{i,p}\]=\frac{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\γ}}{Wi,p}\}}{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\γ}}{Wi,p}\}+\exp \{-\mathrm{\γ}\mathrm{\β}\}}$

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

结合第二方面的第三种可能的实现方式，在第二方面的第五种可能的实现方式中，处理器根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

对于大于或等于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为1；

对于小于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为0。

结合第二方面的第三种至第五种任一可能的实现方式，在第二方面的第六种可能的实现方式中，处理器根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据以下公式确定高分辨率图像上第一像素位置的像素的像素值：

$I^0=\arg \underset{I}{\min }\underset{i=-N}{\overset{N}{\Σ}}\mathrm{\λ}\left|\right|E\[Z_{i,p}\]({\mathrm{SK}}_i{F}_{0\→i}I-I_i^L)|{|}_1+\mathrm{\η}\·\mathrm{\φ}(\▿I)$

其中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

结合第二方面、第二方面的第一种至第五种任一可能的实现方式，在第二方面的第七种可能的实现方式中，处理器还用于：

在分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度之前，采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，运动变换矩阵用于确定高分辨率图像上的像素的像素值；

相应的，处理器根据像素清晰度集，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据像素清晰度集和运动变换矩阵，确定高分辨率图像上第一像素位置的像素的像素值。

第三方面，本发明实施例提供一种多帧超分辨率成像的方法，包括：

根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；

分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；

根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图像。

结合第三方面，在第一种可能的实现方式中，分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，包括：

分别根据每帧低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域内像素的值，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度。

结合第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，分别根据每帧低分辨率图像上第二像素位置上的像素、和第二像素位置的邻域内所有像素的集合，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，包括：

根据以下公式分别确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度：

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

结合第三方面、第三方面的第一种或第二种任一可能的实现方式，在第三方面的第三种可能的实现方式中，根据像素清晰度集，确定高分辨率图像上的第一像素位置的像素的像素值，包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值。

结合第三方面的第三种可能的实现方式，在第三方面的第四种可能的实现方式中，根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用累积概率W_i,p和以下公式分别确定清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\[Z_{i,p}\]=\frac{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\γ}}{Wi,p}\}}{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\γ}}{Wi,p}\}+\exp \{-\mathrm{\γ}\mathrm{\β}\}}$

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

结合第三方面的第三种可能的实现方式，在第三方面的第五种可能的实现方式中，根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

对于大于或等于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为1；

对于小于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为0。

结合第三方面的第三种至第五种任一可能的实现方式，在第三方面的第六种可能的实现方式中，根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据以下公式确定高分辨率图像上第一像素位置的像素的像素值：

$I^0=\arg \underset{I}{\min }\underset{i=-N}{\overset{N}{\Σ}}\mathrm{\λ}\left|\right|E\[Z_{i,p}\]({\mathrm{SK}}_i{F}_{0\→i}I-I_i^L)|{|}_1+\mathrm{\η}\·\mathrm{\φ}(\▿I)$

其中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

结合第三方面、第三方面的第一种至第五种任一可能的实现方式，在第三方面的第七种可能的实现方式中，在分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度之前，还包括：

采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，运动变换矩阵用于确定高分辨率图像上的像素的像素值；

相应的，根据像素清晰度集，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据像素清晰度集和运动变换矩阵，确定高分辨率图像上第一像素位置的像素的像素值。

本发明实施例中，通过根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，以处理用于获得高分辨率图像的多帧低分辨率图像中存在的运动模糊，进而利用多帧低分辨率图像恢复出该场景的高分辨率图像。本发明实施例中由于像素的像素清晰度的值越高表示该像素越清晰，像素的像素清晰度的值较低则表示该像素存在不同程度的运动模糊。通过多帧低分辨率图像上像素的像素清晰度的引入，可以通过像素的像素清晰度的高低来适当估计高分辨率图像上对应像素位置的像素值，进而正确处理了多帧低分辨率图像中存在的运动模糊问题，从而利用多帧低分辨率图像恢复出高分辨率图像。

附图说明

图1(a)为本实施例提供的一组多帧低分辨率图像示意图；

图1(b)为本实施例提供的通过图1(a)所示的多帧低分辨率图像恢复出的高低分辨率图像的示意图；

图2为本发明实施例提供一种多帧超分辨率成像的方法流程示意图；

图3为现有技术采用光流法处理的图像与本发明采用光流法处理得到的图像对比效果示意图；

图4为本发明实施例提供的确定待获得的高分辨率图像上任一像素的像素值的方法流程示意图；

图5(a)为本实施例提供的一组多帧低分辨率图像示意图；

图5(b)为本实施例提供的通过图5(a)所示的多帧低分辨率图像恢复出的高低分辨率图像的示意图；

图6(a)为本实施例提供的多帧低分辨率图像上第二像素位置的像素的像素清晰度空间效果图；

图6(b)为本实施例提供的图6(a)所示多帧低分辨率图像上第二像素位置的像素的像素清晰度平面效果图；

图7为本实施例提供的一种像素清晰度V_i,p的分布直方图；

图8为本实施例提供的一种每帧低分辨率图像上第二像素位置的像素清晰度V_i,p对应的累积概率W_i,p示意图；

图9(a)为本实施例提供的一组多帧低分辨率图像示意图；

图9(b)为分别通过现有技术和本发明对图9(a)处理得到的高分辨率图像的对比效果示意图；

图10(a)为本实施例提供的监控视频中一组低分辨率视频图像示意图；

图10(b)为通过本发明实施例提供的方法对图10(a)恢复出的高分辨率视频图像示意图：

图11为本发明实施例提供一种多帧超分辨率成像的装置结构示意图；

图12为本发明实施例提供一种多帧超分辨率成像的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明技术方案涉及多帧超分辨率成像技术，作为数字图像处理技术的一个基本技术，多帧超分辨率成像技术是指通过针对同一场景的一组低分辨率图像恢复出该场景的一张高分辨率图像，一组低分辨率图像中包括多张帧不同的低分辨率图像。如图1(a)和图1(b)所示，图1(a)为同一场景下的一组低分辨率图像，图1(b)为利用图1(a)恢复出的该场景下的一张高分辨率图像。图像分辨率的提高意味着图像上像素密度的增大，这使得图像细节更加清晰，从而避免图像放大技术所带来的图像模糊问题。

本发明技术方案提出了多帧低分辨率图像上像素的像素清晰度的概念，由于像素的像素清晰度的值越高表示该像素越清晰，像素的像素清晰度的值较低则表示该像素存在不同程度的运动模糊。通过多帧低分辨率图像上像素的像素清晰度的引入，可以通过像素清晰度的高低来适当估计高分辨率图像上对应像素位置的像素值，进而正确处理了多帧低分辨率图像上像素存在的运动模糊，最后利用多帧低分辨率图像恢复出高分辨率图像。

实施例一

如图2所示，本发明实施例提供一种多帧超分辨率成像的方法，包括：

S201、根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；

S202、分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；

S203、根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图。

本实施例中，利用多帧低分辨率图像来获得高分辨率图像，高分辨率图像上的像素的第一像素位置与多帧低分辨率图像上的像素的第二像素位置对应，第二像素位置可以与第一像素位置相同，第二像素位置也可以是指与第一像素位置对应的一类像素位置，利用第二像素位置上像素的像素清晰度可以确定第一像素位置上像素的像素值。

本实施例中，S202中分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度的方法包括：

分别根据每帧低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域内像素的值，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度。

具体的，根据以下公式(1)分别确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度：

   公式(1)

像素的像素清晰度的值越大表示该像素越清晰，像素的像素清晰度的值较低则表示该像素存在一定程度的运动模糊。公式(1)中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

利用公式(1)可以确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度，每帧低分辨率图像上第二像素位置上的像素的像素清晰度组成像素清晰度集。

本实施例中，S203中根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值的方法包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值。

本实施例中，可以通过以下两种实现方式来实现，根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数。

第一种实现方式，根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用累积概率W_i,p和以下公式(2)分别确定清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\[Z_{i,p}\]=\frac{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \left\{\frac{\mathrm{\γ}}{Wi,p}\right\}}{\exp \{-\mathrm{\λ}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\γ}}{Wi,p}\}+\exp \{-\mathrm{\γ}\mathrm{\β}\}}$    公式(2)

其中，i表示低分辨率图像的帧序号，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

第二种实现方式，对于大于或等于预设阈值的像素清晰度，确定其对应的像素有效性参数为1；对于小于预设阈值的像素清晰度，确定其对应的像素有效性参数为0。

即像素清晰度V_i,p与像素清晰度对应的像素有效性参数E[Z_i，P]之间的对应关系可以用以下公式(3)表示，公式(3)中V_i,p为预设阈值。可选的，预设阈值可以设置为与某个像素的像素清晰度相同的值。

$E\left[\begin{array}{cc}Zi,& P\end{array}\right]=\left\{\begin{array}{ccc}1,& if& V_{i,p}\&Element;\left\{V_{i,p}\right|V_{i,p}\&GreaterEqual;V_{j,p}\}\\ 0,& if& V_{i,p}\&Element;\left\{V_{i,p}\right|V_{i,p}<V_{j,p}\}\end{array}\right.$    公式(3)

本实施例中，S203中根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值的方法包括：

根据以下公式(4)确定高分辨率图像上第一像素位置的像素的像素值：

$I^0={\mathrm{argmin}}_I{\mathrm{\&Sigma;}}_{i=-N}^N\mathrm{\&lambda;}\left|\right|E\&lsqb;Z_{i,p}\&rsqb;({\mathrm{SK}}_i{F}_{0\&RightArrow;i}I-I_i^L)|{|}_1+\mathrm{\&eta;}\&CenterDot;\mathrm{\&phi;}(\&dtri;I)$    公式(4)

公式(4)中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

本实施例中，在S202分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度之前，还包括：

采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，运动变换矩阵用于确定高分辨率图像上的像素的像素值。

相应的，S203根据像素清晰度集，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据像素清晰度集和运动变换矩阵，确定高分辨率图像上第一像素位置的像素的像素值。

具体的，本实施例中采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，将运动变换矩阵插值放大到高清网格。将放大到高清网格后的运动变换矩阵应用到高分辨率图像上像素的像素值估计上，使得高分辨率图像的估计变换对应到多帧低分辨率图像的场景中，从而运动变换矩阵用于确定高分辨率图像上像素值。

现有的多帧超分辨率成像技术中，对高分辨率图像采用光流法进行运动估计，得到运动变换矩阵。对高分辨率图像采用光流法进行运动估计的过程中由于存在迭代运算过程，运算量较大，因此运算过程的时间成本较高。

而本实施例提供的多帧超分辨率成像技术中，对不同帧的低分辨率图像采用光流法进行运动估计，得到运动变换矩阵。由于本实施例中不存在迭代运算过程，同时得到与现有技术相同的运算结果，因此通过本实施例提供的方法可以在保证得到运动变换矩阵的同时，大幅度降低计算运动变换矩阵的时间成本，提高运算效率。

下面详细介绍本发明实施例提供的多帧超分辨率成像方法流程，具体方法流程如下：

a、运动估计：采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵F。

现有的多帧超分辨率成像技术中，对高分辨率图像采用光流法进行运动估计得到运动变换矩阵的过程中由于存在迭代运算过程，运算量较大，因此运算过程的时间成本较高。而本实施例提供的多帧超分辨率成像技术中，对不同帧的低分辨率图像采用光流法进行运动估计，得到运动变换矩阵。由于本实施例中运动估计不存在迭代运算过程，同时得到与现有技术相同的运算结果，因此通过本实施例提供的方法可以在保证得到运动变换矩阵的同时，大幅度降低计算运动变换矩阵的时间成本，提高运算效率。

如图3所示，图3中左图为现有技术中采用双立方插值4倍处理的到的图像结果，中间图为现有技术中对高分辨率图像采用光流法处理的到的图像结果，右图为通过本实施例提供的方法处理的到的图像结果。通过图3可以看出本实施例提供的方法可以在保证得到与现有技术相同的运动变换矩阵的同时，大幅度降低计算运动变换矩阵的时间成本，提高运算效。

b、图像重建：如图4所示，本发明实施例提供的确定待获得的高分辨率图像上任一像素的像素值的方法流程如下：

S401、分别确定用于获得高分辨率图像的每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集，每帧低分辨率图像上第二像素位置与待获得的高分辨率图像上的像素的第一像素位置对应。

利用多帧低分辨率图像来获得高分辨率图像，高分辨率图像上的像素的第一像素位置与多帧低分辨率图像上的像素的第二像素位置对应，第二像素位置可以与第一像素位置相同，第二像素位置也可以是指与第一像素位置对应的一类像素位置，利用第二像素位置上像素的像素清晰度可以确定第一像素位置上像素的像素值。

具体的，利用下面的公式(1)

   公式(1)

像素的像素清晰度的值越大表示该像素越清晰，像素的像素清晰度的值较低则表示该像素存在一定程度的运动模糊。

公式(1)中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

利用公式(1)可以确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度，每帧低分辨率图像上第二像素位置上的像素的像素清晰度组成像素清晰度集。

图5(a)所示为一帧低分辨率图像，图5(a)中左上角为模糊核；利用公式(1)分别确定图5(a)所示的低分辨率图上每个像素位置(每个像素位置与第二像素位置一一对应)的像素清晰度，得到图5(b)所示的像素清晰度显示效果图。

图6(a)所示为多帧低分辨率图像上第二像素位置的像素的像素清晰度空间效果图，图6(a)中虚线与每帧低分辨率图像的每个交点分别代表一帧低分辨率图像上第二像素位置的像素的像素清晰度；图6(b)所示为多帧低分辨率图像上第二像素位置的像素的像素清晰度平面效果图，图6(b)中每个圆点分别表示图6(a)中一帧低分辨率图像上第二像素位置的像素的像素清晰度。

S402、根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数。

像素清晰度对应的像素有效性参数用于衡量多帧低分辨率图像上的像素的像素清晰度参与估计高分辨率图像上的像素的像素值的有效性。多帧低分辨率图像上的像素清晰度用于参与估计高分辨率图像上对应像素位置的像素值，进而可以正确处理了多帧低分辨率图像中存在的运动模糊。

本实施例中，可以通过以下两种实现方式来实现，根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数。

第一种实现方式，针对高分辨率图像上的第一像素位置，根据像素清晰度集(包括每帧低分辨率图像上第二像素位置上的像素的像素清晰度)，分别确定像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率W_i,p。

具体的，首先统计每帧低分辨率图像上第二像素位置的像素的像素清晰度V_i,p的分布情况，并绘制成图7所示的像素的像素清晰度V_i,p的分布直方图，高分辨率图像上的一个像素位置对应一个像素清晰度V_i,p的分布直方图。图7所示的直方图横坐标表示每帧低分辨率图像上第二像素位置的像素的像素清晰度V_i,p，纵坐标表示多帧低分辨率图像上第二像素位置的像素清晰度V_i,p在指定区间内的数量，例如图7中横坐标上第一个直方部分表示多帧低分辨率图像上第二像素位置的所有像素的像素清晰度V_i,p中在[0，0.15]区间内的V_i,p数量为1个。然后根据图7绘制图8，图8所示为每帧低分辨率图像上第二像素位置的像素清晰度V_i,p对应的累积概率W_i,p示意图，高分辨率图像上的一个像素位置对应一个像素清晰度V_i,p对应的累积概率W_i,p示意图，图8中横坐标表示归一化后的像素清晰度V_i,p，纵坐标表示归一化后的像素清晰度V_i,p对应的累积概率W_i,p，W_i,p是指归一化后的清晰度V_i,p小于等于指定值时的累积概率，例如图8中第一点表示像素清晰度V_i,p小于等于0.57时对应的累积概率W_i,p为0.7。最后根据图7所示的累积概率曲线确定V_i,p与W_i,p之间的函数关系式R，即W_i,p＝R(V_i,p)。

确定W_i,p＝R(V_i,p)后，利用累计概率W_i,p和以下公式(2)分别确定清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\&lsqb;Z_{i,p}\&rsqb;=\frac{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \left\{\frac{\mathrm{\&gamma;}}{Wi,p}\right\}}{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}+\exp \{-\mathrm{\&gamma;}\mathrm{\&beta;}\}}$    公式(2)

公式(2)中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

第二种实现方式，对于大于或等于预设阈值的像素清晰度集中的像素清晰度V_i,p，确定像素清晰度V_i,p对应的像素有效性参数E[Z_i，P]为1；

对于小于预设阈值的像素清晰度集中的像素清晰度V_i,p，确定像素清晰度V_i,p对应的像素有效性参数E[Z_i，P]为0。

即像素清晰度V_i,p与其对应的像素有效性参数E[Z_i，P]之间的对应关系可以用下面的公式(3)表示，公式(3)中V_i,p为预设阈值。可选的，预设阈值可以设置为与某个像素清晰度相同的值。

$E\left[\begin{array}{cc}Zi,& P\end{array}\right]=\left\{\begin{array}{ccc}1,& if& V_{i,p}\&Element;\left\{V_{i,p}\right|V_{i,p}\&GreaterEqual;V_{j,p}\}\\ 0,& if& V_{i,p}\&Element;\left\{V_{i,p}\right|V_{i,p}<V_{j,p}\}\end{array}\right.$    公式(3)

S403、根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值。

具体的，根据以下公式(4)确定高分辨率图像上第一像素位置的像素的像素值：

$I^0={\mathrm{argmin}}_I{\mathrm{\&Sigma;}}_{i=-N}^N\mathrm{\&lambda;}\left|\right|E\&lsqb;Z_{i,p}\&rsqb;({\mathrm{SK}}_i{F}_{0\&RightArrow;i}I-I_i^L)|{|}_1+\mathrm{\&eta;}\&CenterDot;\mathrm{\&phi;}(\&dtri;I)$    公式(4)

公式(4)中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

c、带有引导卷积的卷积核估计：

利用下面的公式(5)

$K_i=\underset{K_i}{\arg \min }\left|\right|{\mathrm{SK}}_i{F}_{0\&RightArrow;i}I-I_i^L|{|}_1+\mathrm{\&xi;}|\left|K_i\right|{|}_F^2.$    公式(5)

估计反走样卷积核Ka和运动模糊核Kb，公式(5)中

公式(5)中，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，F_0→i表示运动变换矩阵，I表示高分辨率图像上的像素值，表示第i帧低分辨率图像的像素值，ξ表示平滑系数，ξ越大则卷积核越平滑。

现有技术在利用公式(5)得到反走样卷积核K_a和运动模糊核K_b时，需要对运动模糊进行先验模型假设，因此现有技术局限于假设的先验模型的适用范围。而本实施例中由于引入像素清晰度的概念，在利用多帧低分辨率图像估计高分辨率图像上的像素值时，公式(4)中引入像素清晰度对应的像素有效性参数E[Z_i，P]，得到的有E[Z_i，P]参与估计的高分辨率图像上的像素值I，因此利用公式(5)得到反走样卷积核K_a和运动模糊核K_b时，本实施例提供的方法不会受到先验模型的局限。

d、重复执行步骤a-d，直至最终收敛或者达到最大迭代次数，获得高分辨率图像上第二像素位置上的像素的像素值。

e、通过上述方法a-d得到高分辨率图像上所有像素位置的像素的像素值，从而得到高分辨率图像。

下面通过对比图来说明通过本发明实施例提供的多帧超分辨率成像的方法，可以处理同一场景下多帧低分辨率图像中存在的运动模糊问题，进而利用多帧低分辨率图像恢复出该场景的高分辨率图像。图9(a)所示为用于恢复高分辨率图像的一组多帧低分辨率图像，图9(a)中存在不同方向、不同程度的运动模糊。图9(b)中左图所示为通过现有技术对图9(a)处理得到的高分辨率图像，图9(b)中右图所示为通过本发明实施例提供的方法对图9(a)处理得到的高分辨率图像，通过对比图9(b)中左图和右图可以看出，通过现有技术对图9(a)进行超分辨率成像后，运动模糊不能够完全消除。而本发明实施例提供的方法对图9(a)进行超分辨率成像后，能够产生清晰的图像，使原本无法看清的细节也呈现出来。

本发明实施例提供的多帧超分辨率成像方法可以应用在视频监控领域，在实际场景的低质量监控视频中，通过本发明实施例提供的方法能够降低监控视频噪声、压缩瑕疵等问题对视频图像的影响，并成功恢复出具有清晰结构和更多信息的高分辨率视频图像。例如，图10(a)所示为监控视频中一组低分辨率视频图像，图10(a)的中间图和右图分别是对左图中细节部分的放大显示，显然中间图和右图并不清晰。图10(b)所示为通过本发明实施例提供的方法对图10(a)恢复出的高分辨率视频图像，能够清晰地识别图10(b)中汽车上的文字。

本发明实施例中，通过根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，以处理用于获得高分辨率图像的多帧低分辨率图像中存在的运动模糊，进而利用多帧低分辨率图像恢复出该场景的高分辨率图像。本发明实施例中由于像素的像素清晰度的值越高表示该像素越清晰，像素的像素清晰度的值较低则表示该像素存在不同程度的运动模糊。通过多帧低分辨率图像上像素的像素清晰度的引入，可以通过像素的像素清晰度的高低来适当估计高分辨率图像上对应像素位置的像素值，进而正确处理了多帧低分辨率图像中存在的运动模糊问题，从而利用多帧低分辨率图像恢复出高分辨率图像。

实施例二

与实施例一对应的，如图11所示，本发明实施例提供一种多帧超分辨率成像的装置，包括：

位置确定模块1101，用于根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；

像素清晰度确定模块1102，用于分别确定在每帧低分辨率图像上位置确定模块1101确定的第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；

像素值确定模块1103，用于根据像素清晰度确定模块1102获得的像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图像。

可选的，像素清晰度确定模块1102用于：

分别根据每帧低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域内像素的值，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度。

可选的，像素清晰度确定模块1102分别根据每帧低分辨率图像上确定的第二像素位置上的像素、和第二像素位置的邻域内所有像素的集合，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，包括：

根据以下公式分别确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度：

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

可选的，像素值确定模块1103用于：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值。

可选的，像素值确定模块1103根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用累积概率W_i,p和以下公式分别确定清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\&lsqb;Z_{i,p}\&rsqb;=\frac{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}}{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}+\exp \{-\mathrm{\&gamma;}\mathrm{\&beta;}\}}$

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

可选的，像素值确定模块1103根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

对于大于或等于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为1；

对于小于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为0。

可选的，像素值确定模块1103根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据以下公式确定高分辨率图像上第一像素位置的像素的像素值：

$I^0=\arg \underset{I}{\min }\underset{i=-N}{\overset{N}{\&Sigma;}}\mathrm{\&lambda;}\left|\right|E\&lsqb;Z_{i,p}\&rsqb;({\mathrm{SK}}_i{F}_{0\&RightArrow;i}I-I_i^L)|{|}_1+\mathrm{\&eta;}\&CenterDot;\mathrm{\&phi;}(\&dtri;I)$

其中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

可选的，像素清晰度确定模块1102还用于：

分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度之前，采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，运动变换矩阵用于像素值确定模块1103确定高分辨率图像上的像素的像素值；

相应的，像素值确定模块1103根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，包括：

根据像素清晰度集和运动变换矩阵，确定高分辨率图像上第一像素位置的像素的像素值。

本发明实施例中，通过位置确定模块1101、像素清晰度确定模块1102和像素值确定模块1103，实现处理用于获得高分辨率图像的多帧低分辨率图像中存在的运动模糊，进而实现通过多帧低分辨率图像恢复出该场景的高分辨率图像。本发明实施例中由于像素的像素清晰度的值越高表示该像素越清晰，像素的像素清晰度的值较低则表示该像素存在不同程度的运动模糊。通过多帧低分辨率图像上像素的像素清晰度的引入，可以通过像素的像素清晰度的高低来适当估计高分辨率图像上对应像素位置的像素值，进而正确处理了多帧低分辨率图像中存在的运动模糊问题，从而利用多帧低分辨率图像恢复出高分辨率图像。

实施例三

与实施例一对应的，如图12所示，本发明实施例提供一种多帧超分辨率成像的装置，包括：

处理器1201，用于根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得高分辨率图像的每帧低分辨率图像上与第一像素位置对应的第二像素位置；分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；根据像素清晰度集，确定高分辨率图像上第一像素位置上的像素的像素值，从而获得高分辨率图像；

显示器1202，用于显示处理器1201获得的高分辨率图像。

可选的，处理器1201分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，包括：

分别根据每帧低分辨率图像上第二像素位置上的像素值、和第二像素位置的邻域内像素的值，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度。

可选的，处理器1201分别根据每帧低分辨率图像上第二像素位置上的像素、和第二像素位置的邻域内所有像素的集合，确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度，包括：

根据以下公式分别确定每帧低分辨率图像上第二像素位置上的像素的像素清晰度：

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

可选的，处理器1201根据像素清晰度集，确定高分辨率图像上的第一像素位置的像素的像素值，包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值。

可选的，处理器1201根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用累积概率W_i,p和以下公式分别确定清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\&lsqb;Z_{i,p}\&rsqb;=\frac{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}}{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}+\exp \{-\mathrm{\&gamma;}\mathrm{\&beta;}\}}$

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

可选的，处理器1201根据像素清晰度集，分别确定像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

对于大于或等于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为1；

对于小于预设阈值的像素清晰度集中的像素清晰度，确定像素清晰度对应的像素有效性参数为0。

可选的，处理器1201根据像素清晰度各自对应的像素有效性参数，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据以下公式确定高分辨率图像上第一像素位置的像素的像素值：

$I^0=\arg \underset{I}{\min }\underset{i=-N}{\overset{N}{\&Sigma;}}\mathrm{\&lambda;}\left|\right|E\&lsqb;Z_{i,p}\&rsqb;({\mathrm{SK}}_i{F}_{0\&RightArrow;i}I-I_i^L)|{|}_1+\mathrm{\&eta;}\&CenterDot;\mathrm{\&phi;}(\&dtri;I)$

其中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

可选的，处理器1201还用于：

在分别确定在每帧低分辨率图像上第二像素位置上的像素的像素清晰度之前，采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，运动变换矩阵用于确定高分辨率图像上的像素的像素值；

相应的，处理器1201根据像素清晰度集，确定高分辨率图像上第一像素位置的像素的像素值，包括：

根据像素清晰度集和运动变换矩阵，确定高分辨率图像上第一像素位置的像素的像素值。

本发明实施例中，通过处理器1201和显示器1202实现处理用于获得高分辨率图像的多帧低分辨率图像中存在的运动模糊，进而实现通过多帧低分辨率图像恢复出该场景的高分辨率图像。本发明实施例中由于像素的像素清晰度的值越高表示该像素越清晰，像素的像素清晰度的值较低则表示该像素存在不同程度的运动模糊。通过多帧低分辨率图像上像素的像素清晰度的引入，可以通过像素的像素清晰度的高低来适当估计高分辨率图像上对应像素位置的像素值，进而正确处理了多帧低分辨率图像中存在的运动模糊问题，从而利用多帧低分辨率图像恢复出高分辨率图像。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种多帧超分辨率成像的装置，其特征在于，包括：

位置确定模块，用于根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得所述高分辨率图像的每帧低分辨率图像上与所述第一像素位置对应的第二像素位置；

像素清晰度确定模块，用于分别确定在所述每帧低分辨率图像上所述位置确定模块确定的所述第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；

像素值确定模块，用于根据所述像素清晰度确定模块获得的所述像素清晰度集，确定所述高分辨率图像上所述第一像素位置上的像素的像素值，从而获得所述高分辨率图像。

2.如权利要求1所述的装置，其特征在于，所述像素清晰度确定模块用于：

分别根据所述每帧低分辨率图像上所述第二像素位置上的像素值、和所述第二像素位置的邻域内像素的值，确定在所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度。

3.如权利要求2所述的装置，其特征在于，所述像素清晰度确定模块用于：

根据以下公式分别确定所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度：

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

4.如权利要求1至3任一项所述的装置，其特征在于，所述像素值确定模块用于：

根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据所述像素清晰度各自对应的像素有效性参数，确定所述高分辨率图像上所述第一像素位置的像素的像素值。

5.如权利要求4所述的装置，其特征在于，所述像素值确定模块根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

所述像素值确定模块根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用所述累积概率W_i,p和以下公式分别确定所述清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\&lsqb;Z_{i,p}\&rsqb;=\frac{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}}{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}+\exp \{-\mathrm{\&gamma;}\mathrm{\&beta;}\}}$

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，所述第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，所述第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

6.如权利要求4所述的装置，其特征在于，所述像素值确定模块根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

对于大于或等于预设阈值的所述像素清晰度集中的像素清晰度，确定所述像素清晰度对应的像素有效性参数为1；

对于小于所述预设阈值的所述像素清晰度集中的像素清晰度，确定所述像素清晰度对应的像素有效性参数为0。

7.如权利要求4至6任一项所述的装置，其特征在于，所述像素值确定模块根据所述像素清晰度各自对应的像素有效性参数，确定所述高分辨率图像上所述第一像素位置的像素的像素值，包括：

根据以下公式确定所述高分辨率图像上所述第一像素位置的像素的像素值：

$I^0=\arg \underset{I}{min}\underset{i=-N}{\overset{N}{\&Sigma;}}\mathrm{\&lambda;}\left|\right|E\&lsqb;Z_{i,p}\&rsqb;({\mathrm{SK}}_i{F}_{0\&RightArrow;i}I-I_i^L)|{|}_1+\mathrm{\&eta;}\&CenterDot;\mathrm{\&phi;}(\&dtri;I)$

其中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，所述运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

8.如权利要求1至6任一所述的装置，其特征在于，所述像素清晰度确定模块还用于：

在分别确定在所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度之前，采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，所述运动变换矩阵用于所述像素值确定模块确定所述高分辨率图像上的像素的像素值；

相应的，所述像素值确定模块根据所述像素清晰度集，确定所述高分辨率图像上所述第一像素位置上的像素的像素值，包括：

根据所述像素清晰度集和所述运动变换矩阵，确定所述高分辨率图像上所述第一像素位置的像素的像素值。

9.一种多帧超分辨率成像的方法，其特征在于，包括：

根据待获得的高分辨率图像上的像素的第一像素位置，分别确定用于获得所述高分辨率图像的每帧低分辨率图像上与所述第一像素位置对应的第二像素位置；

分别确定在所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度，从而获得像素清晰度集；

根据所述像素清晰度集，确定所述高分辨率图像上所述第一像素位置上的像素的像素值，从而获得所述高分辨率图像。

10.如权利要求9所述的方法，其特征在于，所述分别确定在所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度，包括：

分别根据所述每帧低分辨率图像上所述第二像素位置上的像素值、和所述第二像素位置的邻域内像素的值，确定在所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度。

11.如权利要求10所述的方法，其特征在于，所述分别根据所述每帧低分辨率图像上所述第二像素位置上的像素、和所述第二像素位置的邻域内所有像素的集合，确定在所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度，包括：

根据以下公式分别确定所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度：

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，V_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度，表示第二像素位置p的邻域内所有像素的集合，表示第i帧低分辨率图像上第二像素位置的邻域内像素位置q上的像素的梯度向量，ε表示防止分母为零的计算项。

12.如权利要求9至11任一项所述的方法，其特征在于，所述根据所述像素清晰度集，确定所述高分辨率图像上的所述第一像素位置的像素的像素值，包括：

根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的像素有效性参数；

根据所述像素清晰度各自对应的像素有效性参数，确定所述高分辨率图像上所述第一像素位置的像素的像素值。

13.如权利要求12所述的方法，其特征在于，所述根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的累积概率W_i,p，W_i,p表示第i帧低分辨率图像上第二像素位置P上的像素的像素清晰度对应的累积概率；

利用所述累积概率W_i,p和以下公式分别确定所述清晰度各自对应的像素有效性参数E[Z_i，P]：

$E\&lsqb;Z_{i,p}\&rsqb;=\frac{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}}{\exp \{-\mathrm{\&lambda;}|D_{i,p}\left|\right\}\exp \{-\frac{\mathrm{\&gamma;}}{Wi,p}\}+\exp \{-\mathrm{\&gamma;}\mathrm{\&beta;}\}}$ 对应的

其中，i表示低分辨率图像的帧序号，i∈[-N，N]，N为正整数，P表示第二像素位置，E[Z_i，P]表示第i帧低分辨率图像上的第二像素位置P上像素的像素清晰度对应的像素有效性参数，D_i,p表示第一像素值与第二像素值之间的差值，所述第一像素值为高分辨率图像上的第一像素位置上的像素的像素值，所述第二像素值为第i帧低分辨率图像上的第二像素位置p上的像素的像素值，λ、γ和β均为控制权重参数。

14.如权利要求12所述的方法，其特征在于，所述根据所述像素清晰度集，分别确定所述像素清晰度集中的像素清晰度各自对应的像素有效性参数，包括：

对于大于或等于预设阈值的所述像素清晰度集中的像素清晰度，确定所述像素清晰度对应的像素有效性参数为1；

对于小于所述预设阈值的所述像素清晰度集中的像素清晰度，确定所述像素清晰度对应的像素有效性参数为0。

15.如权利要求12至14任一项所述的方法，其特征在于，所述根据所述像素清晰度各自对应的像素有效性参数，确定所述高分辨率图像上所述第一像素位置的像素的像素值，包括：

根据以下公式确定所述高分辨率图像上所述第一像素位置的像素的像素值：

$I^0=\arg \underset{I}{min}\underset{i=-N}{\overset{N}{\&Sigma;}}\mathrm{\&lambda;}\left|\right|E\&lsqb;Z_{i,p}\&rsqb;({\mathrm{SK}}_i{F}_{0\&RightArrow;i}I-I_i^L)|{|}_1+\mathrm{\&eta;}\&CenterDot;\mathrm{\&phi;}(\&dtri;I)$

其中，I⁰表示高分辨率图像上第一像素位置上的像素的像素值，E[Z_i,P]表示第i帧低分辨率图像上的第二像素位置P上的像素的像素清晰度对应的像素有效性参数，I表示输入的高分辨率图像上第一像素位置上的像素的粗略像素值，表示对I的平滑约束项，S表示将高分辨率图像下采样到低分辨率图像的分辨率尺寸，Ki表示运动模糊算子，F_0→i表示运动变换矩阵，所述运动变换矩阵用于将高分辨率图像运动变换到第i帧低分辨率图像，表示第i帧低分辨率图像上第二像素位置上的像素的像素值，λ和η均表示控制权重参数。

16.如权利要求9至14任一所述的方法，其特征在于，在分别确定在所述每帧低分辨率图像上所述第二像素位置上的像素的像素清晰度之前，还包括：

采用光流法对不同帧的低分辨率图像之间进行运动估计，得到运动变换矩阵，所述运动变换矩阵用于确定所述高分辨率图像上的像素的像素值；

相应的，根据所述像素清晰度集，确定所述高分辨率图像上所述第一像素位置的像素的像素值，包括：

根据所述像素清晰度集和所述运动变换矩阵，确定所述高分辨率图像上所述第一像素位置的像素的像素值。