CN103489173B - 一种视频图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种视频图像超分辨率重建方法。1）对于通过同一场景可以获取的多幅低分辨率图像，选定所需视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个象元内连续多帧的亚像素图像；2）根据多帧亚像素图像的图像序列帧，选择目标兴趣点，并进行块状目标的运动估计；3）根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。本发明可以在不提高现有成像器件的图像质量下，提高视频影像的在细节上的分辨力等，弥补传统图像复原、增强等方法的不足，具有简单方便效率高的特点。可为这些领域的应用提供优化后的图像数据基础，从而可以拓展城市视频信息的应用领域。

Description

一种视频图像超分辨率重建方法

技术领域

本发明涉及一种视频图像处理方法，特别是涉及一种基于亚像素样本序列和块状目标运动估计的视频图像超分辨率重建方法。

背景技术

随着我国平安城市建设的开展以及智慧城市建设的启动，遍布城市各个角落的摄像头捕捉的各种视频信息在保障城市安全、提高城市管理效能等方面无疑发挥了重要的作用。尽管高清摄像头的安装极大地提高了静态图像质量，但是在一些特殊的场景下，比如雨天、雾天以及远景大范围的细节观测等情景下获取的视频图像依然无法达到令人满意的效果，特别是在一些对现场信息还原要求较高的应用，比如刑事案件侦测、交通肇事逃逸等对车、人等目标的信息获取，尽管图像质量较以往有所提高，但依然无法满足特殊事件的需要。因此，在现有的条件下，如果能够利用某种方法从低分辨率视频中获得高分辨率图像信息，则是一种经济、有效的方法。

视频传输是通信和多媒体技术发展的一个关键问题，从传输效率的角度来说，希望信道中传输较少带宽的低分辨率视频；从视觉感受来说，希望获得高分辨率的视觉信号。超分辨率重建是新近发展的一种图像处理技术，利用一幅或多幅低分辨率图像，运用相应的算法来获得一幅清晰的高分辨率图像，在接收端将低分辨率视频转换为高分辨率信号，可以有效的兼顾传输效率和视觉品质。

现在的超分辨率重建方法特别是对压缩域的视频图像超分辨率重建大多停留在模拟仿真阶段，无法达到实用的目标。这是由于导致图像质量下降的成像退化模型无法真实建立，现场环境的模拟重现难以实现，因而超分辨率重建所需要的最基本的两个条件：病态求解和运动估计无法满足。

城市安防工程中所获取的视频数据极为庞大，堪称海量。而如何在这些海量数据中提取到有用的信息，如用于视频检索、异常行为分析等，目前的工作还极为有限。

发明内容

本发明针对现有技术不足，提出一种视频图像超分辨率重建方法，基于采用块状目标匹配的运动估计方法，对视频图像中的兴趣点（如车辆、行人等）进行块状分割，从若干幅与本场景相关的连续视频图像序列中重建一副高分辨率的图像。

为了实现上述目的，本发明所采用的技术方案是：

一种视频图像超分辨率重建方法，其实现步骤如下：

1）对于通过同一场景可以获取的多幅低分辨率图像，首先根据要求选定所需视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个象元内连续多帧的亚像素图像；

2）根据多帧亚像素图像的图像序列帧，选择目标兴趣点，并进行块状目标的运动估计，其步骤如下：

（1）将视频编码帧划分为互不重叠的固定大小运动块状目标，在选定的匹配准则下，各个运动块状目标都在参考帧中搜索与其最匹配的像块作为预测；

（2）搜索限定在关于当前运动块状目标位置对称的一个局部矩形窗内进行，在预先定义的搜索窗内，按像素逐块与当前运动块状目标比较，找到与当前运动块状目标最相似的一块；

（3）将搜索窗口锁定在目标兴趣点上；

3）根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。

所述的视频图像超分辨率重建方法，步骤1）中，亚像素图像样本提取的具体步骤如下：

（1）根据现场视频监控摄像头照射距离和镜头焦距，根据光学成像几何关系，测算特征目标的运行轨迹，并换成位移，根据视频监控的时间测算出目标的运行速度；

（2）根据目标的运行速度，结合视频监控摄像头的像素分辨率，分别选取三到五帧一个象元内的移动图像作为重建帧，在连续的视频帧中找到多副图像样本。

所述的视频图像超分辨率重建方法，步骤3）中，插值重建高分辨率图像的步骤如下：

（1）首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值，

（2) 接着通过非均匀插值得到超分辨率图像栅格上的像素值，采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理；

（3）然后再把处理后的图像块拼接到一起重建一副高分辨率的图像。

所述的视频图像超分辨率重建方法，步骤2）中，搜索与各个运动块状目标最匹配的像块，其匹配准则是：如果运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，则采用最小绝对误差和最小均方误差作为匹配准则。

所述的视频图像超分辨率重建方法，步骤2）中，搜索与各个运动块状目标最匹配的像块，其匹配准则是：对于目标的运动有略微偏转和远近不同而产生的光学变形的情况，考虑变形的块匹配：首先假定一定的空间变换模型，然后利用匹配准则寻求最佳的变换参数，采用相关系数法作为匹配准则，通过刑事侦测场景回现手段获取变形运动目标的帧间变形系数，反演实际场景的变化系数，以此作为运动估计的匹配准则。

发明的有益积极效果：

1、本发明提出的方法主要是针对低速块状运动目标的视频图像序列进行处理，如汽车、摩托车等交通运载工具以及行走中的行人，可广泛应用电子警察、刑事侦测、ETC不停车收费等领域中对特定目标的特征识别和提取用，应用于模糊车辆车牌特征量提取、行人特征提取等。本发明采用亚像素运动样本序列和块匹配运动估计的视频图像超分辨率重建方法，可为这些领域的应用提供优化后的图像数据基础，从而可以拓展城市视频信息的应用领域，提高对城市的认知和管理水平。

2、本发明可以在不提高现有成像器件的图像质量下，提高视频影像的在细节上的分辨力等，弥补传统图像复原、增强等方法的不足，具有简单方便效率高的特点。现有的视频监控影像本身的成像器件以及外部环境因素（如天气、镜头污损等），还有压缩时所带来的失真，都会给图像本身带来各种模糊特质。本发明基于公安刑事侦查中在视频图像获取中具有场景回现等优势，针对特定目标的信息提取，通过分析视频图像的成像机理和工作特点，通过光学换算获取运动目标的亚像素的连续视频帧，对图像中的兴趣点进行块状分割，锁定目标兴趣点，进而采用超值重建方法，从若干幅连续视频图像序列中重建一副高分辨率的图像。

3、本发明主要是针对图像中特定目标的信息提取，因此完全可以采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理，然后再把处理后的图像块拼接到一起。分块运算方法主要是通过降低系数矩阵的维数来摆脱内存的限制，从而可以大大提高运算的速度。

附图说明

图1是本发明的处理方法流程图；图中，标号1表示获取的低分辨率视频图像序列帧，2表示亚像素图像样本提取的步骤，3表示基于块状目标匹配的运动估计步骤，4表示几何均匀超值图像重建的步骤。

图2是本发明中移动目标的亚像素序列帧成像示意图；图中标号21表示CCD,22表示移动目标。

图3是本发明的平移运动目标的块匹配图。

图4是本发明的变形运动目标的块匹配示意图。

图5是本发明的兴趣目标约束窗口的搜索运动估计方法。

图6A是本发明三帧插值重建方法示意图。

图6B是本发明四帧插值重建方法示意图。

图6C是本发明五帧插值重建方法示意图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

实施例 1

参见图1～图5，本发明视频图像超分辨率重建方法，其实现低分辨率视频图像超分辨率重建的步骤如下：

1）对于通过同一场景可以获取的多幅低分辨率图像，首先根据要求选定所需视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，如CCD像素分辨率、运动位移与时间，选择一个象元内连续多帧的亚像素图像；

2）根据多帧亚像素图像的图像序列帧，选择目标兴趣点，并进行块状目标的运动估计，其步骤如下：

（1）将视频编码帧划分为互不重叠的固定大小运动块状目标，（Motion Block Target，简称MBT），尺寸一般为16×16像素，在选定的匹配准则下，各个MBT都在参考帧中搜索与其最匹配的像块作为预测；

（2）搜索限定在关于当前运动块状目标位置对称的一个局部矩形窗内进行，在预先定义的搜索窗内，按像素逐块与当前运动块状目标比较，找到与当前运动块状目标最相似的一块；搜索范围可以假定左边和右边各有x个像素，上边和下边各有y个像素。一般采用的水平和垂直方向的搜索范围是相同的，即 x=y。在此预先定义的搜索窗内，按像素逐块与当前MBT比较，找到与当前MBT最相似的一块，这一对像块在水平和垂直方向的位移即为MV，两块之间的误差组成残差块；

（3）将搜索窗口锁定在目标兴趣点（特定目标）上，如汽车等，其它无关区域以0或255填充，或者直接丢弃；

3）根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像。

实施例 2

参见图1-图6，本实施例的视频图像超分辨率重建方法，与实施例1不同的是，在步骤1）中，采用如下步骤进行亚像素图像样本的提取：

（1）根据现场视频监控摄像头照射距离和镜头焦距和光学成像几何关系，测算特征目标的运行轨迹，并换成位移，根据视频监控的时间测算出目标的运行速度；

（2）根据目标的运行速度，结合视频监控CCD摄像头的像素分辨率，分别选取三到五帧一个象元内的移动图像作为重建帧，在连续的视频帧中找到多副图像样本。重建帧可以选取3到11帧一个象元内的移动图像，在不影响处理结果的情况下，为了减少运算量，本发明选取三到五帧一个象元内的移动图像作为重建帧。

图6A、图6B、图6C分别为三帧、四帧和五帧插值重建方法示意图

目前视频监控中摄像头大部分采用的成像传感器为电荷耦合元件（其英文全称是Charge-coupled Device，简称CCD）。由于CCD在进行成像的时候是采用光积分的方式，而光积分是需要时间的，例如一个540线的彩色CCD监控摄像头扫描一副图像的时间大概需要0.05ms。只要在目标运动与CCD扫描积分之间存在时间差的时候，而且这种时间差在CCD扫描一帧图像积分时间内的时候，就会在连续的视频帧中找到多副图像样本。

实施例 3

本实施例的视频图像超分辨率重建方法，与实施例1或实施例2不同的是，步骤3）中，采用如下的插值方法重建高分辨率图像：

（1）首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值，

（2) 接着通过非均匀插值得到超分辨率图像栅格上的像素值，采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理；

（3）然后再把处理后的图像块拼接到一起重建一副高分辨率的图像。

本发明视频图像超分辨率重建方法，步骤2）中，搜索与各个运动块状目标最匹配的像块的匹配准则是：如果运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，则采用最小绝对误差和最小均方误差作为匹配准则。参见图3。

实施例 4

本实施例的视频图像超分辨率重建方法，与前述各实施例不同的是：步骤2）中，搜索与各个运动块状目标最匹配的像块，对于目标的运动有略微偏转和远近不同而产生的光学变形的情况，考虑变形的块匹配：首先假定一定的空间变换模型，然后利用匹配准则寻求最佳的变换参数，采用相关系数法作为匹配准则，通过刑事侦测场景回现手段获取变形运动目标的帧间变形系数，反演实际场景的变化系数，以此作为运动估计的匹配准则。参见图4。

实施例 5

参见图1～图6，本发明视频图像超分辨率重建方法，实现低分辨率视频图像超分辨率重建的过程如下：

1. 亚像素连续图像样本序列的获取

在基于超分辨率重建的空间分辨率增强技术中，其基本前提是通过同一场景可以获取多幅低分辨率图像的细节图像。在超分辨率重建中，典型地认为低分辨率图像代表了同一场景的不同侧面，也就是说低分辨率图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为高分辨率图像的复原提供新的信息。如果每幅低分辨率图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅低分辨率图像都会为高分辨率图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。

对于给定一定场景的p幅低分辨率图像，可以认为它们是由一幅高分辨率图像经过一系列的降质过程产生的。设降质过程可以用式1表示：

（1）

其中：p为图像序列帧数；、和分别为待求的第j帧高分辨率图像、第帧观察到的低分辨率图像、图像获取时的噪声；矩阵D表示采样矩阵；表示模糊矩阵；表示第j帧和第k帧之间运动矢量所构成的运动矩阵。

由于CCD在进行成像的时候是采用光积分的方式，而光积分是需要时间的，例如一个540线的彩色CCD监控摄像头扫描一副图像的时间大概需要0.05ms。只要在目标运动与CCD扫描积分之间存在时间差的时候，而且这种时间差在CCD扫描一帧图像积分时间内的时候，就会在连续的视频帧中找到多副图像样本，进而为超分辨率重建提供可选的序列帧。参见图2，设一个CCD感光面上截取8*8个象元，一副慢速运行的运动目标（以汽车为例），经过光学成像在CCD靶面上出现连续的3帧图像，而这三帧图像由于汽车的移动速度慢于CCD的扫描速度而出现三幅图像分别占据一个像素的三个部分而成像，从而出现三幅亚像素的图像序列。结合实际场景和成像条件，一般可以获取三到五帧亚像素图片。

在实际应用中，这种形式的运动成像非常普遍，因此只要条件允许，完全可以利用这些连续的亚像素运动目标帧作为超分辨率图像重建的低分辨率图像帧。

块状目标匹配的运动估计

运动估计求解两幅图像上各目标或像素之间位移矢量的过程，在超分辨率重建中运动估计的目的是进行像素融合。图像超分辨率重建常用的方法有很多，本发明针对视频图像的特点和检测目标的特征，采用基于块状目标匹配的运动估计方法（Block Target Matching of Motion Estimation Method，以下简称BTM-MEM方法），所采用的图片是在前述的亚像素图像样本序列基础上进行。

BTM-MEM方法的基本思路是将视频编码帧划分为互不重叠的固定大小运动块状目标（Motion Block Target，简称MBT），尺寸一般为16×16像素。在选定的匹配准则下，各个MBT都在参考帧中搜索与其最匹配的像块作为预测。实际应用中，这个运动范围不会太大，搜索限定在关于当前MBT位置对称的一个局部矩形窗内进行，搜索范围是假定左边和右边各有x个像素，上边和下边各有y个像素。一般采用的水平和垂直方向的搜索范围是相同的，即 x=y。在此预先定义的搜索窗内，按像素逐块与当前MBT比较，找到与当前MBT最相似的一块，这一对像块在水平和垂直方向的位移即为MV，两块之间的误差组成残差块。

如图所示，本文通过选定一个定位在（x，y）处的M×N影像块和搜索图像(搜索帧)找出最佳匹配块的位置来确定图像k（当前帧）中的像素（x，y）的位移。匹配方法一般由匹配准则和搜索方法两部分组成。

匹配准则：假设运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，如图3所示，则采用最小绝对误差和最小均方误差作为匹配准则即可。

但是在很多情况下目标的运动并不仅仅局限于平移运动，而是有略微偏转和远近不同而产生的光学变形，所以需要考虑变形的块匹配。变形的块匹配首先要假定一定的空间变换模型，然后利用某种匹配准则寻求最佳的变换参数，这种情况下需要采用相关系数方法作为匹配准则，如图4所示。通过刑事侦测场景回现手段获取变形运动目标的帧间变形系数，反演实际场景的变化系数，以此作为运动估计的匹配准则。

由于本发明只要是针对视频图像中关键兴趣点的目标信息提取，比如车牌号码、车辆特征、人脸识别、行为异常检测等，对整个场景中的背景环境等没有要求，因此在实际中可以去掉与关键兴趣点无关的背景数据，通过划定窗口的方式约束数据量，从而减低运动估计过程中的计算量。

在相同的匹配准则下，全搜索法运动估计的运算量是由搜索窗口尺寸唯一确定的。一帧图像总的运动估计运算量与搜索范围的平方成正比，如何设置R取决于当前帧与参考帧之间的距离、期望图像质量等因素。由于帧间运动不会太大，设置更大的R并不能提高匹配质量，反而带来运算量的激增。因此本文在提出一种基于兴趣目标约束窗口的搜索运动估计放，将搜索窗口R锁定在特定目标上，如汽车等，其它无关区域以0或255填充，或者直接丢弃，如图5所示。

连续样本帧的图像超分辨率插值重建

对于图像超分辨率重建算法目前有很多方法可供选择，但是这些算法大多停留在理论层次，或者需要特点的场景才能达到效果，并不具备实用性。本发明采用直观的多帧图像插值技术，通过前述的亚像素图像样本序列和BTM-MEM运动估计方法，首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值，接着通过非均匀插值得到超分辨率图像栅格上的像素值。

通常情况下，图像超分辨率重建的运算量非常大。例如，对于一个100×100大小的图像来说，如果要重建200×200大小的超分辨率图像（即重建因子为2），则根据前述视频图像的观测模型公式（式1）中运动矩阵、模糊矩阵和降采样矩阵的维数分别为40000×40000，40000×40000和10000×40000。对于如此巨大的矩阵，如果采用直接进行全矩阵存储和计算的方法，计算机内存等硬件也难以满足处理的要求。而且随着原始图像尺寸和重建因子大小的增加，运算量也会成指数的增加。因此，必需采取适当的运算方式来摆脱计算机内存的限制。

本发明主要是针对图像中特定目标的信息提取，因此采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理，然后再把处理后的图像块拼接到一起。分块运算方法主要是通过降低系数矩阵的维数来摆脱内存的限制，从而可以大大提高运算的速度。

Claims (1)

1.一种视频图像超分辨率重建方法，其特征是：

1）对于通过同一场景可以获取的多幅低分辨率图像，首先根据要求选定所需视频的连续序列帧，转换为静态的JPG或者BMP文件，结合场景参数，选择一个象元内连续多帧的亚像素图像；

2）根据多帧亚像素图像的图像序列帧，选择目标兴趣点，并进行块状目标的运动估计，其步骤如下：

（1）将视频编码帧划分为互不重叠的固定大小运动块状目标，在选定的匹配准则下，各个运动块状目标都在参考帧中搜索与其最匹配的像块作为预测；

（2）搜索限定在关于当前运动块状目标位置对称的一个局部矩形窗内进行，在预先定义的搜索窗内，按像素逐块与当前运动块状目标比较，找到与当前运动块状目标最相似的一块；

（3）将搜索窗口锁定在目标兴趣点上；

3）根据运动估计结果，采用非均匀内插的重建算法，重建一副高分辨率图像；

步骤1）中，亚像素图像样本提取的具体步骤如下：

（1）根据现场视频监控摄像头照射距离和镜头焦距，根据光学成像几何关系，测算特征目标的运行轨迹，并换成位移，根据视频监控的时间测算出目标的运行速度；

（2）根据目标的运行速度，结合视频监控摄像头的像素分辨率，分别选取三到五帧一个象元内的移动图像作为重建帧，在连续的视频帧中找到多副图像样本；

步骤3）中，插值重建高分辨率图像的步骤如下：

（1）首先估计各帧图像之间的相对运动信息，获得超分辨率图像在非均匀间距采样点上的像素值，

（2) 接着通过非均匀插值得到超分辨率图像栅格上的像素值，采用分块的运算方式，把图像分为一定大小和数量的图像块，对每一个图像块单独进行处理；

（3）然后再把处理后的图像块拼接到一起重建一副高分辨率的图像；

步骤2）中，搜索与各个运动块状目标最匹配的像块，其匹配准则是：如果运动目标在不同的图像中图像块具有相同的形状，且在局部范围内做平移运动，则采用最小绝对误差和最小均方误差作为匹配准则；对于目标的运动有略微偏转和远近不同而产生的光学变形的情况，考虑变形的块匹配：首先假定一定的空间变换模型，然后利用匹配准则寻求最佳的变换参数，采用相关系数法作为匹配准则，通过刑事侦测场景回现手段获取变形运动目标的帧间变形系数，反演实际场景的变化系数，以此作为运动估计的匹配准则。