CN109951666A - 基于监控视频的超分辨复原方法 - Google Patents

Abstract

本发明涉及一种基于监控视频的超分辨复原方法，包括下列步骤：(1)监控视频的读取和预处理：应用Matlab软件读取视频，并将视频分成连续的序列图像形式，对所得序列图像进行高斯模糊处理，再进行下采样，之后将下采样后的序列图像合成视频帧，可模拟得到降质的低分辨率视频。(2)运动目标检测和分割，使用三帧差分法检测运动目标，设计一个最小包围框，将运动目标提取出来，同时使得输出的图像尺寸大小一致。(3)仅对运动目标提供高分辨率信息，即将运动目标和背景分割，对运动目标采用凸集投影法，而背景则直接做双线性插值处理。

Description

基于监控视频的超分辨复原方法

技术领域

本发明属于超分辨率图像复原算法领域，应用于监控视频的实际场景，提出的一种基于对象的超分辨复原算法，可以有效提高计算效率。

背景技术

随着数字时代的到来，伴随着科学技术的飞速发展和广泛应用，视频监控技术越来越成熟，同时也得到了更为广泛的应用。但是现阶段其受到存储、成本以及通信等各个方面的限制，很多时候通过前端的采集摄像设备得到的图像分辨率较低，不能满足实际场合的需要。如果要获得更多监控的细节信息，就要提高相应的硬件水平来获得分辨率较高的图像。但是用升级硬件来提高图像分辨率存在着价格昂贵，设计遇到瓶颈等困难，所以采用软件的方法来提高图像分辨率是比较合适和实用的，超分辨率复原技术便应用而生，超分辨率复原技术是一种在不改变原有设备的前提下，可以在一定程度上提高监控图像的分辨率，增加细节信息。视频监控超分辨率复原技术，通过信号处理的方式提高现有监控设备的分辨率水平，对于提高系统的监控能力，具有重要意义。

伴随着视频技术的发展，监控视频在国民经济的各个方面以及国防现代化建设中都有着十分重要的作用。比如在公安方向得到广泛使用的天眼监控系统，通过它获得监控视频图像对于刑事犯罪案件的侦破具有重大的帮助；比如在车牌识别中，通过对多帧视频序列的超分辨率复原，可以有效增加辨识效果，更好的处理交通出现的相关问题；也可以广泛应用于遥感图像以及军事图像采集场合，可以借助超分辨图像复原技术，采集信息量更为丰富的图像信息。超分辨率复原技术在超声波成像、CT成像、模式识别领域以及数字电视转换场合都有着非常广泛的应用。故研究超分辨率复原算法具有重要的现实意义。针对视频监控技术受到存储及系统成本等各个方面的限制，很多情况下通过摄像头采集的图像分辨率较低，不能满足实际应用的需求。所以为了获得更多的监控信息，可以运用相应的技术对图像细节增强。

发明内容

本发明的目的是提供一种可以有效提高图像细节辨识能力的超分辨率复原方法。本发明的技术方案如下：

一种基于监控视频的超分辨复原方法，包括下列步骤：

(1)监控视频的读取和预处理：应用Matlab软件读取视频，并将视频分成连续的序列图像形式，对所得序列图像进行高斯模糊处理，再进行下采样，之后将下采样后的序列图像合成视频帧，可模拟得到降质的低分辨率视频。

(2)运动目标检测和分割，使用三帧差分法检测运动目标，设计一个最小包围框，将运动目标提取出来，同时使得输出的图像尺寸大小一致。

(3)仅对运动目标提供高分辨率信息，即将运动目标和背景分割，对运动目标采用凸集投影法，而背景则直接做双线性插值处理。

总之，本发明针对具体的监控视频场景，提出一种基于对象的超分辨率复原算法，首先模拟图像降质过程，得到低分辨率视频帧，再对其进行运动目标检测和分割，对所提取目标区域使用凸集投影法进行超分辨率图像复原，该方法可以有效减少运算量，提高运算效率。

附图说明

图1本发明的基于监控视频的超分辨率复原算法流程图。

图2为超分辨图像复原中，(a)为直接利用双线性插值所得复原图像，其信息熵E₁＝3.5675；(b)为使用凸集投影法进行复原所得图像，其信息熵E₂＝3.7340。可得后者的细节信息更丰富，且图像信息量更多。

图3为基于对象分割的超分辨率复原，(a)为直接利用双线性插值所得复原图像，其信息熵E₁＝4.7190；(b)为使用凸集投影法进行复原所得图像，其信息熵E₂＝4.7736。可得后者的图像信息量更多，丰富程度更好。

图4为针对图2所得对比复原图像，列出的峰值信噪比(PSNR)和均方误差(MES)。

图5三帧差分法的算法流程。

具体实施方式

本发明基于监控视频的超分辨率复原算法，主要由三部分组成：监控视频的读取与预处理，运动目标和分割，基于对象的超分辨率复原算法。具体步骤和原理如下：

1、监控视频的读取与预处理；

使用Matlab软件读取视频，并将视频分成连续的序列图像形式。

对序列图像帧进行高斯模糊处理，并降采样，使原图像缩小为原图的四分之一。在基于对象的超分辨率复原时，需用模拟的低分辨率图像作为输入；且需要将感兴趣的运动区域分割出来，对其进行后续的复原工作。

2、运动目标检测和分割；

运动目标检测的目的是在监控视频中找出前景的运动区域，同时将背景区域和运动区域分开。本发明使用三帧差分法来检测运动目标，三帧差分法先利用视频序列图像中的相邻三帧两两相减再分别与设定的阈值比较，然后两者取与运算，如果与运算所得结果符合逻辑1，则标记为前景，如果符合逻辑0，则不标记为前景。

三帧差分法的算法流程如图5所示：本发明针对检测后的运动目标区域，设计一个最小包围框，即运动区域坐标中x,y方向上的最大值和最小值，将运动目标提取出来。与此同时，也将分割后的二值图像帧连成视频，以便于观察后续实验结果。

3、基于对象的超分辨率复原算法；

本发明对所关注的运动目标区域采用凸集投影法进行超分辨率复原，而背景区域则直接做双线性插值处理。

凸集投影法(POCS)的思想是利用一些相关的凸约束集合来表现出超分辨率复原中的先验信息和特性，比如数据可靠性、能量有界性和图像正则化等，凸约束集合会产生一个交集，该区域可以被认为是超分辨率复原的解空间。为了产生对原始高分辨率图像的估计，可以在解空间中利用一定的约束条件确定一个点。凸集投影法通过连续的迭代计算，然后确定解空间中的收敛解，直至满足判决条件。

对于先验知识，如点扩散函数、运动模糊参数、系统噪声特性和子图像间的位移等参数，都可以映射作为解空间图像的凸集{x_k}，k＝1,2,…,M，在数学表示上不同的凸集也不尽相同，例如数据可靠性约束可以标识为{z|:Y-Hz|＜δ₀}，图像正则化约束描述为图像能量有限性约束可以描述为{z:||z||≤E}，图像的紧支撑性描述为{z:|z_i＝0,i∈A}。倘若对约束集合C_o进行计算，通过每一次的迭代，投影算子P_o都会将z空间中的一个点投影到距离C_o表面最近的点上，经过连续的运算z(n+1)＝P₁P₂P₃…P_nz(n)，所得到的凸约束集合的解集便是收敛于前面的约束条件的。通过这些的交集可得到最终的解集空间，这时空间中的每个元素都满足先验条件。当限定起初的迭代值或者增加先验信息，就可得到唯一解。凸集投影法的公式可以表示为：

f_i+1＝P_MP_M-1…P₂P₁{f_i}＝Pf_i (1)

式中：P_j表示的是对应于第j个凸集的投影算子，需要设置合适的初始迭代值，可以得到收敛的唯一解，获得超分辨率复原图像。但是倘若没有约定好起初的迭代值，并且凸集满足紧致性，这时解空间往往不唯一。

凸集投影法具体的算法步骤为：

步骤1：对图像进行运动估计；

1)对每一帧的低分辨率图像序列先进行双线性插值放大，放大到与高分辨率图像一样的尺寸。

2)对插值后的低分辨率与参考图像(可约定为第一幅复原双线性插值的结果)进行运动估计。

步骤2：在运动轨迹精确的每一个像素点(m₁,m₂,k)定义集合C_t(m₁,m₂,k)。

步骤3：对集合C_t(m₁,m₂,k)中定义的每一个像素点(m₁,m₂,k)进行以下操作：

a.根据式计算残差

b.计算上式。

c.计算得出投影算子P_t(m₁,m₂,k)投影残差

步骤4：基于C_A＝{y(n₁,n₂,t_t):α≤f(n₁,n₂,t_r)≤β}式的增幅投影。

步骤5：若满足以上判决条件，则结束迭代，否则返回步骤3。

利用以上步骤，就可以得到POCS算法的解空间，最终可得到超分辨率复原的高分辨率图像序列。再与经双线性插值复原的图像序列做比较，可得出本发明复原效果更好，且与原图像直接进行超分辨复原相比，本发明所提算法速度更快。

下面以具体的试验来验证本方法的可行性，详见下文描述：

试验结果均为本方法在CPU为Inter(R)i5-74003.00GHz主频CPU，8GB内存的台式电脑上运行所得，操作系统为Windows10，仿真软件为64位MatlabR2016b。本发明一方面直接用双线性插值进行复原，另一方面用凸集投影法进行复原，可得该算法的有效性。同时在基于对象的超分辨率复原中，仅对提取的运动目标区域进行超分辨率复原，可以有效提升运算效率。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明的具体流程如下：

(1)监控视频的读取和预处理，对一段视频中采集得到的连续多帧图像序列，可以看做原高分辨率图像经过不同的形变、模糊、降采样和噪声参数影响下得到的不同的低分辨率图像。应用Matlab软件读取视频，并将视频分成连续的序列图像形式，对所得序列图像进行高斯模糊处理，再进行下采样，之后将下采样后的序列图像合成视频帧，可模拟得到降质的低分辨率视频。

(2)运动目标检测和分割，运动目标检测的目的是在监控视频中找出前景的运动区域，同时将背景区域和运动区域分开。之后再将运动区域提取出来。本发明使用三帧差分法检测运动目标，之后设计一个最小包围框，将运动目标提取出来，同时使得输出的图像尺寸大小一致。

(3)基于对象的超分辨率复原算法，在很多视频应用中，人们对运动对象的关注度远远大于背景的关注度。因此可以仅对运动目标提供高分辨率信息，即将运动目标和背景分割，对运动目标采用效果较好的凸集投影法，而背景则直接做双线性插值处理。

Claims (1)

1.一种基于监控视频的超分辨复原方法，包括下列步骤：

(1)监控视频的读取和预处理：应用Matlab软件读取视频，并将视频分成连续的序列图像形式，对所得序列图像进行高斯模糊处理，再进行下采样，之后将下采样后的序列图像合成视频帧，可模拟得到降质的低分辨率视频；

(2)运动目标检测和分割，使用三帧差分法检测运动目标，设计一个最小包围框，将运动目标提取出来，同时使得输出的图像尺寸大小一致；

(3)仅对运动目标提供高分辨率信息，即将运动目标和背景分割，对运动目标采用凸集投影法，而背景则直接做双线性插值处理。