CN104820966B - 一种空时配准解卷积的非同步多视频超分辨率方法 - Google Patents

Abstract

本发明公开了一种空时配准解卷积的非同步多视频超分辨率方法，首先对采集到的同场景、同时段、非同步视频集进行区域分割，区分出静止区域和活动区域；然后依据视频的静止区域，对视频集进行空间配准，并将视频集里的所有视频配准为同拍摄方位的视频；接着依据视频活动区域，对视频集进行时间配准，并进行同步视频合成重建；最后对合成重建后的视频集再次进行时间配准，并根据配准结果通过解卷积方式实现时间超分辨率重建，得到等时间间隔的高帧率高分辨率视频。本发明在视频空时分辨率提升的基础上，使视频中活动物体的拖尾效应得以解除，同时也摆脱了常规视频超分辨率在帧率提升程度方面的局限。

Description

一种空时配准解卷积的非同步多视频超分辨率方法

技术领域

本发明属于计算机图像与视频处理领域，涉及一种空时配准解卷积的非同步多视频超分辨率方法。

背景技术

超分辨率，通常是指将多帧低分辨率观测图像合并重建出高分辨率图像的过程。目前，已有众多的超分辨率算法被提出，其中大多数算法的实现基础和路径如下所述。

多帧观测图像信息能够互补，从而实现超分辨率的前提是：单相机和场景之间有一些小的相对运动，或多相机之间的位置和角度有小的差异。因此，超分辨率的第一步就是多帧图像配准，即估计像素从一个图像到其它图像的映射关系。第二步是基于配准的多帧图像融合，融合结果要满足一定重建约束，也即当对重建出的高分辨率图像模拟退化(包括：根据配准数据进行适当形变，模拟图像生成过程进行降采样)后，能够再现观测图像。这一重建约束可很好地嵌入到用以实现重建的贝叶斯框架之中，且贝叶斯框架应包含高分辨率图像先验信息。

一般情况下，超分辨率算法只是遵循上述步骤和框架重建出一帧图像。即使是重建出多帧图像的视频超分辨率，通常也仅是提高空间分辨率，其时间分辨率并未改善。事实上，对于视频质量，除了在空间上对图像分辨率增强外，还需要在时间上增加帧率使输出视频更加流畅。尤其对于低帧率摄像机获取的高速运动场景的视频，时间分辨率的提升更加需要。当然，时间插值可以用来提高视频的帧率，是完善视频超分辨率的一种简便易行方法。然而，对于高速活动场景来说，摄像机曝光时间较长会造成视频中的运动物体产生拖尾效应，无法通过时间插值解除，且插值函数选取的任意性也使帧率提高和复原的程度受到限制。

发明内容

发明目的：为了克服现有技术中所存在的视频中运动物体的拖尾效应，以及时间插值函数选取任意性对提高视频帧率的局限等问题，本发明提出一种空时配准解卷积的非同步多视频超分辨率方法，在满足视频空间分辨率和帧率同时提升的基础上，进一步减小了帧率提升的限制，提高了视频中运动物体的清晰度，适应了更高的视频超分辨率需求。

技术方案：为实现上述目的，本发明的空时配准解卷积的非同步多视频超分辨率方法，包括以下步骤：

(1)使用至少两台摄像机在同一时段对同一高速活动场景进行拍摄，摄像机开始拍摄时刻不全同步，得到视频集I＝{I_i|i∈N}，N为不小于2的自然数集；

(2)依次对每一部视频I_i进行动、静区域的分割处理得到视频x_i，最终得到视频集X＝{x_i|i∈N}；

(3)任选视频集X中的某一视频为空间参考视频，根据视频中的静止区域对视频集X进行空间配准，将所述视频集X中的所有视频配准为与所述空间参考视频同一拍摄方位的等效视频，得到视频集Y＝{y_i|i∈N}；

(4)根据视频活动区域中物体的运动状态，对视频集Y进行时间配准，所述时间配准指的是任选视频集Y中的某一视频为时间参考视频，确定每部视频y_i与所述时间参考视频的拍摄时间差，然后进行同步视频合成重建，得到视频集Z＝{z_i|i∈N}；

(5)任选视频集Z中的某一视频为时间参考视频，根据视频活动区域中物体的运动状态，对视频集Z进行时间配准，即确定每部视频z_i与所述时间参考视频的拍摄时间差Δt_i；

(6)以所述视频集Z中的时间参考视频为基准视频，根据拍摄时间差Δt_i，将视频集Z中的每一部视频z_i插入到所述时间参考视频的时间轴的相应时刻形成视频z，所述视频z的所有视频帧在每个平面坐标(m,n)处的像素均组成一个像素链z(t)_mn，z(t)_mn是非均匀时间间隔采样的离散函数，其中t表示时间；

对表达式z(t)_mn＝sample[O(t)_mn*blur(t)]进行解卷积运算，求出未被模糊的高时间分辨率、等时间间隔的原始像素链O(t)_mn，遍历所有坐标(m,n)求解O(t)_mn后，得到视频O，其中，sample[·]为采样函数，*为卷积符号，blur(t)为已知的时间卷积核；

(7)输出视频O，作为超分辨率最终结果。

其中，所述视频集I中的所有视频为同时段但非同步的视频，且空时分辨率均相同。

其中，所述步骤(2)中对每一部视频I_i进行动、静区域的分割处理包括以下步骤：

(1)对视频I_i(即图像序列I_i(j)(j＝1,2…)，j为视频中图像的序数)进行空间配准，得到配准后的视频r_i；

(2)对所述配准后的视频r_i的所有相邻帧进行差分运算，得到差分图像序列d_i(j)(j＝1,2…)；

(3)将差分图像d_i(j)的像素值与事先所设定的阈值进行比较，如果每帧差分图像d_i(j)在某区域的所有像素值均小于所述事先所设定的阈值，则将所有图像r_i(j)(j＝1,2…)的对应区域设为静止区域，否则为活动区域，从而形成视频x_i，所述视频x_i为静止区域和活动区域相互分割的图像序列x_i(j)(j＝1,2…)。

其中，所述步骤(4)中进行同步视频合成重建包括以下步骤：

(1)根据所述拍摄时间差，将所述视频集Y分为若干组，将采样时刻相同的同步视频记作一个同步视频组，其余的记作非同步视频；

(2)对所述视频集Y中的每一个同步视频组都进行空间超分辨率重建，即将每一个同步视频组中所有相同时刻的图像进行该时刻的图像超分辨率重建得到一部新视频，所有重建的新视频的空间分辨率均相同；

(3)将所述非同步视频中的图像均复原放大，也得到一组新视频，其空间分辨率与所述同步视频组的新视频保持一致。

有益效果：本发明的视频超分辨率方法在视频空时分辨率提升的基础上，采用非同步多视频进行合成及空时配准解卷积法，使视频中活动物体的运动拖尾效应得以解除，同时也摆脱了常规视频超分辨率在帧率提升程度方面的局限。

附图说明

图1是本发明方法的流程图；

图2是同时段非同步视频集的示意图；

图3是确定静止区域和活动区域的流程图；

图4是静止区域和活动区域相互分割的视频示意图；

图5是同步视频合成重建过程示意图；

图6是视频插入过程的剖面示意图；

图7是逐坐标对视频的像素链解卷积的示意图；

图中I₁、I₂、I₃、I₄、y₁、y₂、y₃、y₄、z₁、z₂、z₃、z、O为不同视频的标记，t表示时间。

具体实施方式

下面结合实施例对本发明作更进一步的说明。

如图1所示，本发明提供的一种空时配准解卷积的非同步多视频超分辨率方法，包括如下步骤：

第1步，针对某一高速活动场景，采集相同空时分辨率的同时段、非同步视频集I＝{I_i|i∈N}，N为不小于2的自然数。

使用至少两个相同型号的摄像机，在同一时段对同一高速活动场景进行拍摄，摄像机开始拍摄时刻不全同步。事实上，即使同时启动多个摄像机，由于时间误差和软硬件公差，其所拍摄的视频之间也会存在帧的非同步现象。

同时段非同步视频集I＝{I_i|i∈N}如图2所示。为简洁明了，图2仅显示了I中典型的四部视频：I₁、I₂、I₃和I₄。在I中，除类似I₂和I₄这样的视频启动时刻同步外，大多数视频启动时刻并不同步，导致视频集非同步。

第2步，如图3所示，依次对I中的每一部视频I_i进行动、静区域的分割处理得到视频x_i，最终可组成视频集X＝{x_i|i∈N}，N为不小于2的自然数，具体步骤如下：

①将视频I_i中的图像序列I_i(j)(j＝1,2…)进行空间配准，j为视频中图像的序数，得到图像配准的视频r_i；②对配准后的视频r_i的所有相邻帧进行差分运算r_i(j+1)-r_i(j)，得到差分图像序列d_i(j)(j＝1,2…)；③根据差分图像序列的像素值大小，分割出图像序列r_i(j)(j＝1,2…)的静止区域和活动区域，具体方法为：如果每帧差分图像d_i(j)在某区域的所有像素值均小于事先所设定的阈值，则认为所有图像r_i(j)(j＝1,2…)的对应区域为静止区域，其余区域则为活动区域，从而形成如图4所示的静止区域和活动区域相互分割的图像序列x_i(j)(j＝1,2…)，其显然就是静止区域和活动区域相互分割的视频x_i。

第3步，任选X中的某一视频作为空间参考视频，本实施例中以x₁为参考视频，根据视频中的静止区域对视频集X＝{x_i|i∈N}进行空间配准，也即将X中的所有视频配准为与x₁同一拍摄方位的等效视频，得到视频集Y＝{y_i|i∈N}，所述空间配准可以使用任何现有的配准方法，例如用Keren配准算法对视频集X＝{x_i|i∈N}进行配准。

由于每部摄像机拍摄的是同一场景同一时段的视频，所以其拍摄方位不可能重合，不同方位获取的视频内容的几何形变也不同，而这却不利于多视频的融合。为此，必须将所有视频配准为同一拍摄方位的等效视频。

第4步，任选Y中的某一视频作为时间参考视频，本实施例中以y₁为参考视频，根据视频活动区域中物体的运动状态，对视频集Y＝{y_i|i∈N}进行时间配准，即确定每部视频y_i与参考视频y₁的拍摄时间差，然后进行如图5所示的同步视频合成重建，得到视频集Z＝{z_i|i∈N}，具体步骤如下：

①根据拍摄时间差，将视频集Y＝{y_i|i∈N}分为若干组，每组包含的视频是采样时刻相同(无时间差)的同步视频，以便后续对同组视频进行空间超分辨率重建；

②对Y＝{y_i|i∈N}中的每一组同步视频都进行空间超分辨率重建，即将每一组同步视频中所有相同时刻的图像，进行该时刻的图像超分辨率重建；每一组同步视频重建得到一部新视频，所有重建的新视频的空间分辨率均相同；

③将余下非同步视频中的图像进行复原放大，也得到一组新视频，其空间分辨率与步骤②中的新视频保持一致；

④将步骤②和步骤③得到的所有新视频组合成视频集Z＝{z_i|i∈N}，Z＝{z_i|i∈N}的视频数量不大于Y＝{y_i|i∈N}的视频数量。

第5步，任选Z中的某一视频作为参考视频，本实施例以z₁为参考视频，根据视频活动区域中物体的运动状态，对视频集Z＝{z_i|i∈N}进行时间配准，即确定每部视频z_i与参考视频z₁的拍摄时间差Δt_i。

第6步，根据时间配准结果，对Z＝{z_i|i∈N}进行时间超分辨率重建，具体步骤为：

①以z₁为基准视频，根据拍摄时间差Δt_i，将z_i插入到z₁时间轴的相应时刻，形成视频z，视频插入过程的剖面图如图6所示，z的帧数等于Z＝{z_i|i∈N}中的总帧数，且z的相邻帧的时间间隔不全相同(非均匀)；

②如图7所示，z的所有视频帧在每个平面坐标(m,n)处的像素均可组成一个像素链，是非均匀时间间隔采样的离散函数，以z(t)_mn表示，其中t表示时间；受曝光时间影响，z(t)_mn也是被已知的时间卷积核blur(t)模糊的像素链。

z(t)_mn形成过程可表示为：z(t)_mn＝sample[O(t)_mn*blur(t)]，其中O(t)_mn表示未被模糊的高时间分辨率、等时间间隔的原始像素链，sample[·]为采样函数，*为卷积符号。O(t)_mn可通过常用的解卷积逆运算来求得。

逐平面坐标(m,n)，对表达式z(t)_mn＝sample[O(t)_mn*blur(t)]进行解卷积运算求出O(t)_mn；遍历所有坐标(m,n)求解O(t)_mn后，得到等时间间隔的高帧率视频O，所述O中的运动物体清晰可见、无拖尾效应。

第7步，输出视频O，作为超分辨率最终结果。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (3)

1.一种空时配准解卷积的非同步多视频超分辨率方法，其特征在于，该方法包括以下步骤：

(1)使用至少两台摄像机在同一时段对同一高速活动场景进行拍摄，摄像机开始拍摄时刻不全同步，得到视频集I＝{I_i|i∈N}，N为不小于2的自然数集，所述视频集I中的所有视频为同时段但非同步的视频，且空时分辨率均相同；

(2)依次对每一部视频I_i进行动、静区域的分割处理得到视频x_i，最终得到视频集X＝{x_i|i∈N}；

(3)任选视频集X中的某一视频为空间参考视频，根据视频中的静止区域对视频集X进行空间配准，将所述视频集X中的所有视频配准为与所述空间参考视频同一拍摄方位的等效视频，得到视频集Y＝{y_i|i∈N}；

(4)根据视频活动区域中物体的运动状态，对视频集Y进行时间配准，所述时间配准指的是任选视频集Y中的某一视频为时间参考视频，确定每部视频y_i与所述时间参考视频的拍摄时间差，然后进行同步视频合成重建，得到视频集Z＝{z_i|i∈N}；

(5)任选视频集Z中的某一视频为时间参考视频，根据视频活动区域中物体的运动状态，对视频集Z进行时间配准，即确定每部视频z_i与所述时间参考视频的拍摄时间差Δt_i；

(6)以所述视频集Z中的时间参考视频为基准视频，根据拍摄时间差Δt_i，将视频集Z中的每一部视频z_i插入到所述时间参考视频的时间轴的相应时刻形成视频z，所述视频z的所有视频帧在每个平面坐标(m,n)处的像素均组成一个像素链z(t)_mn，z(t)_mn是非均匀时间间隔采样的离散函数，其中t表示时间；

对表达式z(t)_mn＝sample[O(t)_mn*blur(t)]进行解卷积运算，求出未被模糊的高时间分辨率、等时间间隔的原始像素链O(t)_mn，遍历所有坐标(m,n)求解O(t)_mn后，得到视频O，其中，sample[·]为采样函数，*为卷积符号，blur(t)为已知的时间卷积核；

(7)输出视频O，作为超分辨率最终结果。

2.根据权利要求1所述的空时配准解卷积的非同步多视频超分辨率方法，其特征在于，所述步骤(2)中对每一部视频I_i进行动、静区域的分割处理包括以下步骤：

(1)对视频I_i中的图像序列I_i(j)(j＝1,2…)进行空间配准，得到配准后的视频r_i，j为序列中图像的序数；

(2)对所述配准后的视频r_i的所有相邻帧进行差分运算，得到差分图像序列d_i(j)(j＝1,2…)；

(3)将差分图像d_i(j)的像素值与事先所设定的阈值进行比较，如果每帧差分图像d_i(j)在某区域的所有像素值均小于所述事先所设定的阈值，则将所有图像r_i(j)(j＝1,2…)的对应区域设为静止区域，否则为活动区域，从而形成视频x_i，所述视频x_i为静止区域和活动区域相互分割的图像序列x_i(j)(j＝1,2…)。

3.根据权利要求1所述的空时配准解卷积的非同步多视频超分辨率方法，其特征在于，所述步骤(4)中进行同步视频合成重建包括以下步骤：

(1)根据所述拍摄时间差，将所述视频集Y分为若干组，将采样时刻相同的同步视频记作一个同步视频组，其余的记作非同步视频；

(2)对所述视频集Y中的每一个同步视频组都进行空间超分辨率重建，即将每一个同步视频组中所有相同时刻的图像进行该时刻的图像超分辨率重建得到一部新视频，所有重建的新视频的空间分辨率均相同；

(3)将所述非同步视频中的图像均复原放大，也得到一组新视频，其空间分辨率与所述同步视频组的新视频保持一致。