CN103079037A - 基于远近景切换的自适应电子稳像方法 - Google Patents

Abstract

基于远近景切换的自适应电子稳像方法，本发明涉及基于远近景切换的自适应电子稳像方法。它为了解决目前的稳像方法对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题。基于远近景切换的自适应电子稳像方法为：获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值f₁，则进入远景处理模式，进入远景稳像模式，对拍摄的视频做处理；若当前焦距值f小于预设的近景焦距阈值f₂，则进入近景处理模式，进入近景稳像模式，对拍摄的视频做处理，否则，进入中景稳像模式，对拍摄的视频做处理。本发明可应用于远程遥控、自主导航、监控、成像、遥感、视频侦察、导弹成像制导和观瞄系统等。

Description

基于远近景切换的自适应电子稳像方法

技术领域

本发明涉及一种电子稳像方法，特别涉及一种基于远近景切换的自适应电子稳像方法。

背景技术

对于手持或安装在运动载体上的摄像机，摄像机在成像过程中由于手的抖动、载体运动以及外界干扰都会造成图像抖动而导致成像质量下降，使得观察者出现视觉疲劳。对于如移动智能监控和导弹制导等应用场合还会造成无法完成对目标的检测和跟踪。因此，研究图像稳定技术无论对于民用和军用、自动和非自动成像系统都具有重要意义。电子稳像技术（又称数字稳像技术）由于采用数字图像处理技术通过确定图像序列的帧间变换关系进而完成图像抖动抑制工作，无需复杂昂贵机械和光学系统，相对于传统的机械稳像和光学稳像技术，具有体积小、成本低、结构简单、操作灵活、功耗低、可靠性高并且使用范围广特点。可用于基于视频的远程遥控系统、无人车辆自主导航系统、移动智能监控系统、智能手机成像系统、光学卫星遥感系统、视频侦察系统、导弹成像制导系统以及车载控的观瞄系统等。并且随着计算机处理速度的提高及大规模集成电路的发展，低价高清摄像头的普及，电子稳像在各行各业的应用也越来越广泛，有着巨大的市场需求。

现阶段出现了多种电子稳像方法，从处理方式上可分为以下两类：基于灰度区域处理的电子稳像技术和基于特征点提取与匹配的电子稳像技术，其中，基于灰度区域处理的电子稳像技术包括：基于灰度块匹配的稳像技术、基于位平面匹配的稳像技术、基于灰度投影的稳像技术、基于相位相关的稳像技术等。

基于灰度块匹配的稳像技术因其算法实现简单、易于硬件实现的特点在稳像技术中最常使用，但是存在估计精度和计算复杂度矛盾。即块匹配方法的稳像精度取决于块的大小、搜索策略和匹配准则，而这些因素又影响算法的计算量，直接后果是影响算法的实时性。虽然近些年公开了不少改进块匹配的匹配精度的算法，但是这些方法没有从根本上解决算法精度和实时性的矛盾。

现阶段基于灰度块匹配的稳像技术有着自身难以克服的局限：首先，以上灰度块匹配的算法只能估计与补偿帧间的随机平移抖动，对帧间的随机旋转抖动却达不到很好的稳定效果。而在实际情况下，随机旋转抖动是手持成像装置抖动的重要产生因素，但利用现有的灰度处理算法无法达到补偿随机旋转抖动的目的。其次，以上公布的灰度块匹配算法对视频中所摄前景物体有特殊的要求。而实际情况下，视频中会常包含有较多或者较大的前景运动物体，而块的选择有可能位于运动着的前景物体上，最终会因运动估计错误导致稳像失败。如果视频图像中央存在一个较大的运动物体块，利用块匹配得到的运动估计不仅包含有摄像机运动，还有前景物体块的运动，最终将导致帧间随机运动估计错误，稳像失败。

而基于位平面匹配、灰度投影和相位相关的电子稳像技术，虽然有较高的算法效率，但是仍然存在仅可估计平移运动，而对旋转运动却无法估计的问题。同时，位平面匹配算法稳像精度受限于位平面的选取以及图像的灰度分布；灰度投影稳像技术仅适用于图像灰度信息丰富的场景，而对灰度信息相对单一的场合则无法完成满意的稳像效果；相位相关稳像技术，虽然对于大的平移运动场合也能取得较好的性能，但是对多运动目标的场景将出现多个相关峰值的问题，影响稳像效果。

对于基于特征点匹配稳像技术较灰度块匹配的方案有更强的适应性，可以针对复杂的图像抖动运动形式进行运动估计和运动补偿。但是，该类稳像技术的稳像精度依赖于特征点的提取和匹配精度，而对特征不明显或是特征过于集中于局部区域时将出现特征误匹配率高的问题，稳像效果较差。同时，该类算法普遍计算复杂度较高，尤其对于复杂背景环境和各种运动有较强适用性的特征匹配算法（如SIFT算法）更是难于实时实现。

另外，目前稳像研究存在的一个问题是没有根据成像距离不同来选择图像帧间运动模型，一般都是假设帧间图像运动满足相似和仿射变换关系，从而导致近距离成像过程中估计的运动参数存在较大误差，导致稳像效果不佳。虽然目前有些学者提出根据输入视频运动形式判定来确定图像帧间运动模型（如正交变换模型、仿射变换模型和透视投影变换模型等），事实上对于是图像帧间运动满足何种模型，主要是由摄像机与被摄物的距离以及成像面和被摄物体所处平面的角度决定的，而不是摄像机的运动形式。另外，对于远距离物体成像，尽管摄像机进行了平移，水平扫动，垂直扫动，旋转，镜头缩放等运动，但是这时的透视效果不明显，直接使用透视投影变换模型，可能导致模型求解出现病态，无法获得准确的模型参数。而且复杂运动形式的判定会导致的运算量大大增加，严重影响稳像算法的实时性。

同时，现有的稳像技术在对于实时或后期的视频进行稳像处理时，采用的大多方法是以视频首帧为后续帧运动补偿的参考帧，但是这样会使得帧间运动估计误差不断积累，导致后续补偿误差越来越大，甚至导致稳像的失败。虽然某些稳像技术进行了此方面的弥补，但是存在的问题是：改变参考帧后，新参考帧的前后帧图像会出现较大的‘跳跃’，反而增加了视频的抖动。

所以目前的稳像方法存在对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题。

发明内容

本发明的目的是为了解决目前的稳像方法对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题，本发明提供一种基于远近景切换的自适应电子稳像方法。

本发明的基于远近景切换的自适应电子稳像方法，它包括如下步骤：

步骤一：获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值f₁，则进入远景处理模式，转入步骤二；若当前焦距值f小于预设的近景焦距阈值f₂，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；

步骤二：进入远景稳像模式，对拍摄的视频做如下处理：

步骤二一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤二二：对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；

步骤二三：对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得帧间旋转运动参数估计，相邻帧为所述帧的前一帧，帧间表示所述帧与前一帧之间；

步骤二四：对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每帧的帧间旋转运动参数；

步骤二五：利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；

步骤二六：将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；

步骤二七：对步骤二六补偿后的每帧图像构建位平面金字塔；

步骤二八：自适应确定进行帧间平移运动参数估计时的取块模式；

步骤二九：对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；

步骤二十：对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；

步骤二十一：利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；

步骤二十二：将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；

步骤二十三：输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；

步骤三：进入近景稳像模式，对拍摄的视频做如下处理：

步骤三一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤三二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角点；

步骤三三：利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对；

步骤三四：利用随机抽样一致性原则（Ransac），去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对；

步骤三五：利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；

步骤三六：对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿；

步骤三七：输出步骤三六补偿后的每帧图像，转入步骤一；

步骤四：进入中景稳像模式，对拍摄的视频做如下处理：

步骤四一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤四二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角点；

步骤四三：利用邻域灰度相关，对步骤四二提取Harris角点后的每帧图像的Harris角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对；

步骤四四：利用随机抽样一致性原则（Ransac），去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对；

步骤四五：利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；

步骤四六：对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿；

步骤四七：输出步骤四六补偿后的每帧图像，转入步骤一。

本发明的优点在于，本发明的稳像方法对于复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频具有以下特点：对于远景处理模式下的稳像效果：

1平移稳像精度小于等于1个像素。

2旋转稳像分辨率可达到0.5度。

3旋转稳像角度大于20度。

4稳像范围大于20个像素。

5对于运动前景物体遮率超过70%视屏也能达到精确的稳像效果。

6对处理器为Genuine IntelU4100，主频1.3GHz的计算机，每秒的处理速度大于40帧，符合实时性的要求。

对于近景或者中景处理模式下的稳像效果：

1每秒的处理速度大于20帧，达到实时性的要求。

2对于中景拍摄和近景拍摄的视屏都能达到精确的稳像效果。

附图说明

图1为本发明的基于远近景切换的自适应电子稳像方法原理示意图。

图2为具体实施方式一中的自适应稳像模式选择方法的原理示意图。

图3为具体实施方式二中K的大小由系统自适应决定方法的原理示意图。

图4为具体实施方式三中建立笛卡尔坐标系图像的方法示意图。

图5为具体实施方式三中由图4的笛卡尔坐标系图像转换后的极坐标系图像的示意图。

图6为具体实施方式五中的检测并校正错误帧间旋转运动参数估计的方法示意图。

图7为具体实施方式六中的建立的位平面金字塔的结构示意图。

图8为具体实施方式八中的自适应取块并利用位平面金字塔进行帧间平移运动参数估计的方法示意图。

具体实施方式

具体实施方式一：结合图1和图2说明本实施方式，本实施方式所述的基于远近景切换的自适应电子稳像方法，它包括如下步骤：

步骤一：获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值f₁，则进入远景处理模式，转入步骤二；若当前焦距值f小于预设的近景焦距阈值f₂，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；

步骤二：进入远景稳像模式，对拍摄的视频做如下处理：

步骤二一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤二二：对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；

步骤二三：对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得帧间旋转运动参数估计，相邻帧为所述帧的前一帧，帧间表示所述帧与前一帧之间；

步骤二四：对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每帧的帧间旋转运动参数；

步骤二五：利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；

步骤二六：将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；

步骤二七：对步骤二六补偿后的每帧图像构建位平面金字塔；

步骤二八：自适应确定进行帧间平移运动参数估计时的取块模式；

步骤二九：对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；

步骤二十：对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；

步骤二十一：利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；

步骤二十二：将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；

步骤二十三：输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；

步骤三：进入近景稳像模式，对拍摄的视频做如下处理：

步骤三一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤三二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角点；

步骤三三：利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对；

步骤三四：利用随机抽样一致性原则（Ransac），去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对；

步骤三五：利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；

步骤三六：对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿；

步骤三七：输出步骤三六补偿后的每帧图像，转入步骤一；

步骤四：进入中景稳像模式，对拍摄的视频做如下处理：

步骤四一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤四二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角点；

步骤四三：利用邻域灰度相关，对步骤四二提取Harris角点后的每帧图像的Harris角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对；

步骤四四：利用随机抽样一致性原则（Ransac），去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对；

步骤四五：利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；

步骤四六：对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿；

步骤四七：输出步骤四六补偿后的每帧图像，转入步骤一。

如图2所示，本实施方式提出了一种自适应切换稳像模式的方案。自适应选择稳像模式，即对于远景稳像模式、近景稳像模式和中景稳像模式的选取，可以让系统自适应的设置，也可人为的选择。在实时稳像处理时，系统要进行自动的选择，此时系统自动提取摄像设备的当前焦距，将此焦距与预设的远景模式焦距阈值相比较，如镜头的当前焦距值超过此阈值，系统进入远景模式，考虑到远景时所摄景物近似处于同一平面，随机运动的主导形式是平移和旋转运动，则利用灰度区域匹配方法进行快速稳像处理。否则，将此时设备焦距再与系统的近景模式焦距阈值相比较，若镜头的焦距小于此阈值时，选择近景模式，考虑到所摄的景物不能再认为处于同一平面，图像的帧间变换形式比较符合射影变换关系，基于射影变换模型，利用改进的特征点匹配稳像技术进行稳像处理。如果镜头焦距在近景和远景模式焦距之间，选择中景模式，此时图像的帧间变换形式比较符合仿射变换关系，基于仿射变换模型，利用改进后特征点匹配稳像技术进行稳像处理。此外，当稳像系统不是工作在实时稳像状态时，可人为的选择远景稳像模式、近景稳像模式或中景稳像模式。

具体实施方式二：结合图3说明本实施方式，本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤二一、步骤三一和步骤四一中，K的大小由系统自适应决定的方法获得，具体过程为：

在稳像过程中：

若该组处理单位为第一组处理单位时，K的值为8；

若该组处理单位不是第一组时，根据处理前一组处理单位时估计出的最大帧间平移运动参数，选择所述K值：

若该组处理单位的前一组处理单位的最大帧间平移运动参数超过预设的阈值M₀时，则K选择为7或8或9；若前一组的最大帧间平移运动参数小于此所述阈值M₀时，则K选择为10或11或12。

本实施方式提出的自适应多帧分组处理的方案，提取视频流中的若干连续帧作为一处理单位，进行稳像处理。每组的第一帧作为该组稳像的运动补偿的参考帧，同时当前组的第一帧为上一组的经过补偿后的最后一帧图像。考虑到估计运动平滑时的平滑程度与单组处理帧数密切相关，所以当帧间随机平移运动参数小于系统预定的阈值时，说明视频随机抖动较小，此时将该组的处理帧数取较大值；反之，如果帧间随机平移运动参数大于该阈值，说明视频随机抖动强烈，则设定该组处理帧数取较小的值。该分组处理的方案消除了误差累积的同时，避免了在相邻组过渡处图像会产生‘跳变’的现象，可以使稳像系统针对不同的抖动情况自动确定稳像精度，自适应的达到最佳的稳像效果。

如图3所示，为单组处理处理帧数的自适应选择方法，结合图对于当前组的处理帧数K具体的选择方法如下：

在处理第一组是，K的初始值为K=8；

若处理的不是第一组：

当

时，说明帧间随机运动比较剧烈，选择的K值应较小，通常取（7，8，9）；其中，

为上一组组中，第k帧和第k+1帧之间的帧间随机平移运动矢量，其中k的取值范围为：k=1,2,3...,K_p-1，K_p为上一组处理帧数。同时M₀为系统预设的某一阈值

当

时，说明帧间的随机运动较小，在考虑到实时性的前提下，K通常选择（10,11,12）。

以上的具体说明中，帧间最大的平移运动参数由于包含x轴方向和y轴方向两个运动参数，所以用 $\max \left(\right|{\mathrm{\Δx}}_{(k,k+1)}^r|+|{\mathrm{\Δy}}_{(k,k+1)}^r\left|\right)$ 描述。

具体实施方式三：结合图4和图5说明本实施方式，本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，

所述步骤二二中，对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像的方法为：

以每帧图像的中心为极坐标变换中心，最大极径为该帧图像中心到四边的距离的最小值；极角取样间隔为0.5°；

对于极坐标变换过程中取样处未定义像素的位置采用线性插值的方法进行处理。

结合如图4和图5，具体说明对每帧图像进行极坐标变换的方法：

笛卡尔坐标系图像f_k(x,y)到极坐标系图像f_k(r,θ)，(k=1,2,3…,K)变换坐标关系如下：

$r=\sqrt{{(x-x_c)}^2+{(y-y_c)}^2}$

$\mathrm{\θ}=\arctan \left(\frac{y-y_c}{x-x_c}\right)$

其中，(x_c,y_c)为坐标系变换中心，为原始帧的中心。最大极径为该帧中心到四边的最小距离。极坐标系图像f_k(r,θ)的角分辨率为δ_θ。为了提高稳像运算速度和稳像精度，将极角的取样间隔设定为0.5°（此时极坐标下图像的极角轴像素数为720），因此

同时，对于取样过程中未定义像素的位置采用线性差值的方式进行处理。

具体实施方式四：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤二三中，对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量得到帧间旋转运动参数估计的方法包括如下步骤：

步骤二三A：分别取极坐标系下的每帧和与其对应的相邻帧的极角轴灰度投影向量，对所述投影向量分别进行归一化处理；

步骤二三B：将每个所述帧的灰度投影向量分成20段等长度的子向量；

步骤二三C：分别取每帧灰度投影向量的每一子向量，在对应相邻帧的投影向量的对应位置附近进行移动，记录灰度相关系数最大时的移动量，则该移动量为该帧与相邻帧的旋转运动参数的一个估计；则每帧图像的等长度的灰度投影子向量则获得20个旋转运动参数估计；

步骤二三D：在每帧的20个旋转运动参数估计中将出现频数最多的估计量确定为该帧与相邻帧的帧间旋转运动参数估计。

本实施方式提供一种基于灰度处理技术的图像旋转运动参数的估计方法，对单帧图像进行极坐标变换，这样将帧间的旋转运动转化为极坐标图像下的平移运动，而且因这种转化与图像的旋转中心位置无关，也就省去了对图像旋转中心位置的估计。在极坐标图像下利用对极角轴上的灰度投影法快速准确地进行帧间旋转运动量估计。此方法既保留了灰度处理技术的快速性，同时也弥补了现有灰度处理方法不能对图像旋转运动估计的不足。

以下对进行旋转参数估计作进一步说明，：

①对每帧极坐标图像f_k(r,θ)做灰度投影，投影方法为：

将图像f_k(r,θ)，（k=1,2,3…,K）中θ值相同（每一列）的所有像素值求和，最终得到一投影向量，并做归一化处理：

Θ_k=[θ₁ θ₂...θ_j...θ_n]

其中， ${\mathrm{\θ}}_j=\frac{\underset{r_i}{\mathrm{\Σ}}{f}_k(r_i,{\mathrm{\θ}}_j)}{\max \left(\mathrm{\Θ}\right)}$

②求相邻帧之间的旋转运动参数（旋转角量），求解方法为：

设第k帧和k+1帧（目标帧）分别得到的投影向量Θ_k，Θ_k+1。首先将向量Θ_k等距离分解成20个子向量段。对于每一子向量段，分别在Θ_k+1中相应位置处按步长δ_θ移动（δ_θ为角分辨率），寻找到之相关匹配最大值时，记录此时的平移量，即为此两帧之间一个旋转运动估估计参数。

其中，相关度算法：

$R(V_1,V_2)=\frac{\mathrm{cov}(V_1,V_2)}{\mathrm{\σ}\left(V_1\right)\mathrm{\σ}\left(V_2\right)}$ （V₁,V₂为两向量）

由此得到20个旋转估计参数，取这20个旋转估计参数中出现频数最多的估计值，作为第k帧和k+1帧的最终旋转运动参数估计Δθ_(k，k+1)（k=1,2，...，K-1），(K当前组处理帧数）。

具体实施方式五：结合图6说明本实施方式，本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤二四中，对步骤二三得到的帧间旋转运动参数估计,进行检测并校正错误估计，得到每帧的帧间旋转运动参数的方法为：

判断得到的帧间旋转运动参数估计Δθ_(k，k+1)是否在预设的阈值区间[-θ_max,+θ_max]内，若

则所述帧间旋转运动参数估计Δθ_(k，k+1)为错误估计，则对所述错误估计进行校正；若Δθ_(k，k+1)∈[-θ_max,+θ_max]，则保留Δθ_(k，k+1)；

对所述错误估计进行校正的方法为：利用与所述错误估计相邻的前后两个帧间旋转运动参数估计Δθ_(k-1，k)和Δθ_(k+1，k+2)的均值去代替所述错误估计。

本实施方式为一种对帧间运动估计结果进行检测校正的方法。将，这种检测与校正避免了因帧间运动估计错误所导致的输出稳定图像在错误估计帧附近画面的‘跳变’现象。

下面结合图6所示具体说明检测并校正错误帧间旋转运动参数估计的方法。

将得到的第k帧和第k+1帧的相邻两帧之间的旋转角度估计Δθ_(k，k+1)（k=1,2...K-1）与系统预设的阈值区间[-θ_max,+θ_max]相比较：

若Δθ_(k，k+1)∈[-θ_max,+θ_max]，则认为第k帧与第k+1帧之间的旋转角估计准确。

若

则认为第k帧与第k+1帧之间的旋转角估计错误。

在对估计错误的帧间旋转角校正时，可用线性插值的方法：假设Δθ_(k，k+1）估计错误，可用与该错误估计相邻的前后两个帧间旋转运动参数估计Δθ_(k-1，k)和Δθ_(k+1，k+2)的均值 $\frac{{\mathrm{\Δ\θ}}_{(k-1,k)}+{\mathrm{\Δ\θ}}_{(k+1,k+2)}}{2}$ 代替Δθ_(k，k+1）。

具体实施方式六：结合图7说明本实施方式，本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤二七中，对步骤二六补偿后的每帧图像构建位平面金字塔的方法为：

步骤二七A:采用均值滤波方式构建3级灰度金字塔：灰度金字塔第2级、灰度金字塔第1级和灰度金字塔第0级；

步骤二七B：对灰度金字塔第2级，提取第4位平面，作为位平面金字塔的第2级；

步骤二七C：对灰度金字塔第1级，提取第5位平面，作为位平面金字塔的第1级；

步骤二七D：对灰度金字塔第0级，提取第6位平面，作为位平面金字塔的第0级。

本方案提出了构造位平面金字塔估计平移运动方案。如图7为建立的位平面金字塔的结构示意图。具体建立过程如下：

对每帧旋转补偿后，构建每帧图像的灰度图像金字塔，每帧的图像灰度金字塔的级数为3级，采用均值滤波方式构造：

${f_k}^{(l+1)}(x,y)=\frac{1}{4}\underset{m=0}{\overset{1}{\mathrm{\Σ}}}\underset{n=0}{\overset{1}{\mathrm{\Σ}}}{f}_k^{\left(l\right)}(2x+m,2x+n)$

其中,

表示旋转补偿后第i帧图像的金字塔第l层（l=0,1,2）中坐标为(x,y)对应的像素值。

对每帧构造位平面金字塔。由于第4位平面的梯度最为明显，且最不容易受图像对比度变化的影响，则每帧的位平面金字塔第l=2级用灰度金字塔下该级的第4位平面；位平面金字塔的第l=1级用灰度金字塔下该级的第5位平面；由于第6位平面的细节较为丰富，位平面金字塔的第l=0级用灰度金字塔下该级的第6位平面。由此，构成了当前帧的三级位平面的金字塔。这种构造有效减少了采用单一位平面时，因图像信息有较多的丢失所导致的匹配错误，同时较现有的基于多分辨率灰度相关算法在估计速度上有了很大的提高。

具体实施方式七：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，步骤二九中，对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计的方法为：

步骤二九A：自适应选择取块模式，在每帧的位平面金字塔的第2级取16匹配块，大小为15*15像素平方；

步骤二九B：将第i匹配块（i＝1,2,3...16）在每帧的相邻帧的位平面金字塔第2级的对应位置附近平移，寻找匹配块上对应像素点异或之和取最小值时的位置，获得16个平移矢量

步骤二九C：获得的16个平移矢量中，判断相同平移矢量出现的频数是否大于8，若是，则记此平移矢量为(Δx⁽²⁾,Δy⁽²⁾)，将平移矢量(Δx⁽²⁾,Δy⁽²⁾)传递给当前帧的位平面金字塔第1级，若否，则转入步骤二九A，自适应选择取块模式选择第二类型取块模式；

步骤二九D：对每帧的位平面金字塔的第1级进行与该帧的位平面金字塔的第2级相同模式的取块；并利用匹配块平移矢量(2Δx⁽²⁾,2Δy⁽²⁾)作参考，，将每帧的每一匹配块移动到该帧的相邻帧位平面金字塔第1级的(2Δx⁽²⁾,2Δy⁽²⁾)位置处，再进行±2个像素范围内的精匹配；获得的16个平移矢量中，将出现频数高于8的平移矢量记为(Δx⁽¹⁾,Δy⁽¹⁾)，并将位移矢量(Δx⁽¹⁾,Δy⁽¹⁾)传递给当前帧的位平面金字塔第0级；

步骤二九E：对每帧的位平面金字塔的第0级进行与该帧的位平面金字塔的第1级相同模式的取块；并利用匹配块平移矢量(Δx⁽¹⁾,Δy⁽¹⁾)作参考，将每帧的每一匹配块移动到该帧的相邻帧位平面金字塔第0级的(2Δx⁽¹⁾,2Δy⁽¹⁾)位置处，再进行±2个像素范围内的精匹配；获得的16个平移矢量中，将出现频数高于8的平移矢量记为(Δx⁽⁰⁾,Δy⁽⁰⁾)，所述位移矢量(Δx⁽⁰⁾,Δy⁽⁰⁾)为该帧与相邻帧的帧间平移运动参数估计。

具体实施方式八：结合图8说明本实施方式，本实施方式是对具体实施方式七所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述自适应选择取块模式的方法如下：

初始默认的取块模式为第一类型取块模式，所述的第一类型取块模式为在每帧图像的周边均匀选取12个15*15像素的匹配块，在每帧图像的中心位置均匀选择4个同样大小的匹配块；

所述第二类型取块模式为，在每帧图像的正对角线和负对角线各选择8个15*15像素的匹配块。

本实施方式中，利用自适应取块的位平面金字塔估计帧间的平移运动，流程图如图8所示。具体估计步骤如下：

①取相邻帧f_k，f_k+1的位平面金字塔的最高级（第2级）

②在

平面的周边选择12块，在

的中心处选择4块，块的大小为15*15像素值。

③将每一块（用B_i ^(2）表示）在

面内相应对应位置移动。寻找平均不匹配值最小值，记录此时B_i ^(2）的移动向量

平均不匹配度计算方法如下：

$C({\mathrm{\Δx}}^{\left(2\right)},{\mathrm{\Δy}}^{\left(2\right)})=\frac{1}{\mathrm{MN}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{B}_k^{\left(2\right)}(m+{\mathrm{\Δx}}^{\left(2\right)},n+{\mathrm{\Δy}}^{\left(2\right)})\⊕B_{k+1}^{\left(2\right)}(m,n)$

其中，M表示块的宽度，N表示块的高度，这里M=N=15。

表示第k帧图像第2级位平面金字塔中的某一块。

④这样，在中就有16组平移估计向量(i＝1,2,3....16)，取出现频次大于8次的

作为下一层精准匹配的参考(Δx⁽²⁾,Δy⁽²⁾)。

⑤若出现的频数不足8，则认为由于前景物体的运动导致选块位置不合适，应该重新进行选块，重新选块方式为：在

的正负两条对角线选择8块，然后重复步骤③④的步骤。

⑥对f_k的位平面金字塔的第1级

做和

和上级同样方式的取块，将第2级位平面传递下来的匹配参数(Δx⁽²⁾,Δy⁽²⁾)变为(2Δx⁽²⁾,2Δy⁽²⁾)作为每一块的在中的初始指导位置，并在指导位置处做小范围内进行精匹配。同样，匹配得到的16个结果

（其中，i＝1,2,3....16）中取出频数大于8的

传递到下一级作为更精度匹配的参考(Δx⁽¹⁾,Δy⁽¹⁾)。

对

进行同样模式的取块块，对于每一块利用参考位置(2Δx⁽¹⁾,2Δy⁽¹⁾)进行同样的匹配，并将频数大于8的匹配参数

最为最终的两幅图像，f_k，f_k+1的帧间坐标平移参量为(Δx_(k，k+1),Δy_（k，k+1))。

具体实施方式九：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数方法如下：

判断得到的帧间平移运动参数估计[Δx_(k，k+1),Δy_(k，k+1)]是否在预设的阈值区间（[-x_max,x_max]，[-y_max,y_max]）内，若或

则所述帧间平移运动参数估计[Δx_(k，k+1),Δy_(k，k+1)]为错误估计，则对所述错误估计进行校正；若否，则保留[Δx_(k，k+1),Δy_(k，k+1)]；

对所述错误估计进行校正的方法为：利用与所述错误估计相邻的前后两个帧间平移运动参数估计[Δx_(k-1，k),Δy(_k-1，k)]和[Δx_(k+1，k+2),Δy_(k+1，k+2)]的均值去代替所述错误估计。

具体方法如下：

将得到的第k帧和第k+1帧的相邻两帧之间的平移参数估计(Δx_(k，k+1）,Δy_(k，k+1）)（k=1,2...K-1），与预设的阈值区间（[-x_max,x_max]，[-y_max,y_max]）分别进行比较：

若Δy_(k，k+1)∈[-y_max,y_max]或Δx_(k，k+1)∈[-x_max,x_max]，则认为第k帧与第k+1帧之间的水平运动估计准确。

若 ${\mathrm{\Δy}}_{(k,k+1)}\∉[{-y}_{\max },y_{\max }]$ 或 ${\mathrm{\Δx}}_{(k,k+1)}\∉[{-x}_{\max },x_{\max }],,$ 则认为第k帧与第k+1帧之间的水平运动估计错误。

在对估计错误的帧间水平运动估计，可用线性插值的方法。假设Δx_(k，k+1）估计错误，可用与该错误估计相邻的前后两个帧间平移运动参数估计Δx_(k-1，k)和Δx_(k+1，k+2)的均值

代替Δx_(k，k+1），同时，对Δy_(k，k+1）进行同样的处理。

具体实施方式十：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤三六中，对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿的方法为：

步骤三六A：对步骤三五得到的每帧图像的帧间原始射影变换矩阵中每个参数分别求取平均值，获得由每个平均值所构成的变换矩阵作为每帧图像的帧间有意射影变换矩阵；

步骤三六B：利用该组第二帧到第i帧的每帧图像的帧间原始射影变换矩阵和帧间有意射影变换矩阵分别累乘得到第i帧相对于该组第一帧的累积原始射影变换矩阵

和累积有意射影变换矩阵

步骤三六C：对每帧图像的累积原始射影变换矩阵

和每帧图像的累积有意射影变换矩阵对该帧图像进行补偿：

对每帧图像分别利用相应的累积原始射影变换矩阵的逆矩阵进行逆变换，对逆变换后的每帧图像分别利用所述相应的累积有意变射影换矩阵

进行正变换，即则得到补偿后的每帧图像；

步骤三六D：对于补偿过程中的每帧图像的未定义像素点采用线性插值进行确定；

所述步骤四六中，对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿的方法为：

鉴于在近景模式和中景模式下都是利用特征点匹配的方式进行稳像处理，因此，中景模式和近景模式在处理的具体实施步骤上类似，所以对于以上近景模式下运动补偿的更具体的实现方式可参考如下在中景模式运动补偿时的具体实现方法：

步骤四六A：对步骤四五得到的每帧图像的帧间原始仿射变换矩阵中每个参数分别求取平均值，获得由每个平均值所构成的变换矩阵作为每帧图像的帧间有意仿射变换矩阵：

若第k帧和k+1帧的帧间原始仿射变换矩阵为：

$H_{(k,k+1)}=\left[\begin{array}{ccc}{a}_{(k,k+1)}^1& a_{(k,k+1)}^2& b_{(k,k+1)}^1\\ a_{(k,k+1)}^3& a_{(k,k+1)}^{4\backslash }& b_{(k,k+1)}^2\\ 0& 0& 1\end{array}\right]$

则，第k帧和k+1帧的帧间有意仿射变换矩阵：

${\hat{H}}_{(k,k+1)}=\left[\begin{array}{ccc}{\hat{a}}_{(k,k+1)}^1& {\hat{a}}_{(k,k+1)}^2& {\hat{b}}_{(k,k+1)}^1\\ {\hat{a}}_{(k,k+1)}^3& {\hat{a}}_{(k,k+1)}^{4\backslash }& {\hat{b}}_{(k,k+1)}^2\\ 0& 0& 1\end{array}\right]$

其中：

${\hat{a}}_1=\frac{\underset{k=1}{\overset{K-1}{\mathrm{\Σ}}}{a}_{(k,k+1)}^1}{K},$

${\hat{a}}_2=\frac{\underset{k=1}{\overset{K-1}{\mathrm{\Σ}}}{a}_{(k,k+1)}^2}{K},$

${\hat{a}}_3=\frac{\underset{k=1}{\overset{K-1}{\mathrm{\Σ}}}{a}_{(k,k+1)}^3}{K},$

${\hat{a}}_4=\frac{\underset{k=1}{\overset{K-1}{\mathrm{\Σ}}}{a}_{(k,k+1)}^4}{K},$

${\hat{b}}_1=\frac{\underset{k=1}{\overset{K-1}{\mathrm{\Σ}}}{b}_{(k,k+1)}^1}{K},$

${\hat{b}}_2=\frac{\underset{k=1}{\overset{K-1}{\mathrm{\Σ}}}{b}_{(k,k+1)}^2}{K}.$

步骤四六B：利用该组第二帧到第i帧的每帧图像的帧间原始仿射变换矩阵和帧间有意仿射变换矩阵分别累乘得到第i帧相对于该组第一帧的累积原始仿射变换矩阵

和累积有意仿射变换矩阵

第i帧的累积原始仿射变换矩阵为：

${\tilde{H}}_{(1,i)}=\underset{n=1}{\overset{i-1}{\mathrm{\Π}}}{H}_{(n,n+1)}$

第i帧的累积有意仿射变换矩阵为：

${\stackrel{\‾}{H}}_{(1,i)}=\underset{n=1}{\overset{i-1}{\mathrm{\Π}}}{\hat{H}}_{(n,n+1)}$

步骤四六C：利用每帧图像的累积原始仿射变换矩阵

和累积有意仿射变换矩阵

对该帧图像进行补偿：

对每帧图像分别利用相应的累积原始仿射变换矩阵

的逆矩阵

进行逆变换，对逆变换后的每帧图像分别利用所述相应的累积有意仿射变换矩阵

进行正变换，即

则得到补偿后的每帧图像；

步骤四六D：对于补偿过程中的每帧图像的未定义像素点采用线性插值进行确定。

具体实施方式十一：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤二五中，利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数的方式如下：

对校正后的帧间旋转运动参数Δθ_(1，2)，Δθ_(2，3)，Δθ_(3，4)，...，Δθ_(k，k+1)，...，Δθ_(K-1，K)求平均值：

$\mathrm{\Δ}\widehat{\mathrm{\θ}}=\frac{\underset{k=1}{\overset{K-1}{\mathrm{\Σ}}}{\mathrm{\Δ\θ}}_{(k,k+1)}}{K}$

则认为为帧间有意旋转运动参数。

因此第k帧与第k+1帧之间的帧间随机旋转运动参数为：

${\mathrm{\Δ\θ}}_{(k,k+1)}^r=\mathrm{\Δ}\widehat{\mathrm{\θ}}-{\mathrm{\Δ\θ}}_{(k,k+1)},(k=\mathrm{1,2}...K-1).$

具体实施方式十二：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤二六中，将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿的具体步骤如下：

对第k帧相对于该组第一帧的累积随机旋转运动参数为：

${\mathrm{\Δ\θ}}_{(1,k)}^c=\underset{i=1}{\overset{k-1}{\mathrm{\Σ}}}{\mathrm{\Δ\θ}}_{(i,i+1)}^r$ (k=1,2...K)

对第k原始帧f_k的旋转角度补偿量为：

对于补偿过程对未定义的像素进行线性插值处理。

具体实施方式十三：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，对于每帧的随机平移运动的补偿的具体实施方式和对每帧的旋转运动的补偿方式相似，可参考具体实施方式十一和具体实施方式十二。

具体实施方式十四：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，在步骤三五中利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵T_(k，k+1)，求取的帧间原始射影变换矩阵满足如下条件：

$\left[\begin{array}{c}{x}^{k+1}\\ y^{k+1}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{(k,k+1)}^1& a_{(k,k+1)}^2& a_{(k,k+1)}^3\\ a_{(k,k+1)}^4& a_{(k,k+1)}^{5\backslash }& a_{(k,k+1)}^6\\ a_{(k,k+1)}^7& a_{(k,k+1)}^8& 1\end{array}\right]\left[\begin{array}{c}{x}^k\\ y^k\\ 1\end{array}\right]=T_{(k,k+1)}\left[\begin{array}{c}{x}^k\\ y^k\\ 1\end{array}\right]$

其中

$X^k=\left[\begin{array}{c}{x}^k\\ y^k\end{array}\right],$ $X^{k+1}=\left[\begin{array}{c}{x}^{k+1}\\ y^{k+1}\end{array}\right]$ 分别为匹配成功的特征点在帧f_k、f_k+1的坐标。

具体实施方式十五：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，在步骤四五中利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；原始仿射变换的矩阵形式满足如下条件：

$\left[\begin{array}{c}{x}^{k+1}\\ y^{k+1}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{(k,k+1)}^1& a_{(k,k+1)}^2& b_{(k,k+1)}^1\\ a_{(k,k+1)}^3& a_{(k,k+1)}^{4\backslash }& b_{(k,k+1)}^2\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^k\\ y^k\\ 1\end{array}\right]=H_{(k,k+1)}\left[\begin{array}{c}{x}^k\\ y^k\\ 1\end{array}\right]$

其中，

$X^k=\left[\begin{array}{c}{x}^k\\ y^k\end{array}\right],$ $X^{k+1}=\left[\begin{array}{c}{x}^{k+1}\\ y^{k+1}\end{array}\right]$ 分别为同一特征点在帧f_k、f_k+1的坐标。

具体实施方式十六：本实施方式是对具体实施方式一所述的基于远近景切换的自适应电子稳像方法的进一步限定，在步骤四三中利用邻域灰度相关，对步骤四二提取Harris角点后的每帧图像的Harris角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对，具体实施步骤如下：

①对于相邻两帧f_k，f_k+1（k=1,2...K），取f_k帧中的某一角点

②在f_k+1帧中以坐标为中心处设定某一搜素区域，范围为20*20像素。

③在上述搜索区域中提取所有属于该区域的f_k+1中的角点，用

表示。

④在f_k帧中以

为坐标中心取7*7像素的灰度块，和在f_k+1中的以

为坐标中心的同样大小的邻域进行灰度相关。

⑤寻找搜索区域内相关系数最大的作为和f_k中的点相匹配的点。

⑥因此得到f_k+1和f_k匹配成功的一对错匹配对。

在步骤三三中，利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对。这一具体实施步骤同以上在进行Harris角点匹配时的实施方法相同。

Claims (10)

1.基于远近景切换的自适应电子稳像方法，其特征在于，它包括如下步骤：

步骤一：获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值f₁，则进入远景处理模式，转入步骤二；若当前焦距值f小于预设的近景焦距阈值f₂，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；

步骤二：进入远景稳像模式，对拍摄的视频做如下处理：

步骤二一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤二二：对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；

步骤二三：对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得帧间旋转运动参数估计，相邻帧为所述帧的前一帧，帧间表示所述帧与前一帧之间；

步骤二四：对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每帧的帧间旋转运动参数；

步骤二五：利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；

步骤二六：将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；

步骤二七：对步骤二六补偿后的每帧图像构建位平面金字塔；

步骤二八：自适应确定进行帧间平移运动参数估计时的取块模式；

步骤二九：对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；

步骤二十：对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；

步骤二十一：利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；

步骤二十二：将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；

步骤二十三：输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；

步骤三：进入近景稳像模式，对拍摄的视频做如下处理：

步骤三一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤三二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角点；

步骤三三：利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对；

步骤三四：利用随机抽样一致性原则，去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对；

步骤三五：利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；

步骤三六：对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿；

步骤三七：输出步骤三六补偿后的每帧图像，转入步骤一；

步骤四：进入中景稳像模式，对拍摄的视频做如下处理：

步骤四一：提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；

步骤四二：对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角点；

步骤四三：利用邻域灰度相关，对步骤四二提取Harris角点后的每帧图像的Harris角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对；

步骤四四：利用随机抽样一致性原则，去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对；

步骤四五：利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；

步骤四六：对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿；

步骤四七：输出步骤四六补偿后的每帧图像，转入步骤一。

2.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二一、步骤三一和步骤四一中，K的大小由系统自适应决定的方法获得，具体过程为：

在稳像过程中：

若该组处理单位为第一组处理单位时，K的值为8；

若该组处理单位不是第一组时，根据处理前一组处理单位时估计出的最大帧间平移运动参数，选择所述K值：

若该组处理单位的前一组处理单位的最大帧间平移运动参数超过预设的阈值M₀时，则K选择为7或8或9；若前一组的最大帧间平移运动参数小于此所述阈值M₀时，则K选择为10或11或12。

3.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二二中，对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像的方法为：

以每帧图像的中心为极坐标变换中心，最大极径为该帧图像中心到四边的距离的最小值；极角取样间隔为0.5°；

对于极坐标变换过程中取样处未定义像素的位置采用线性插值的方法进行处理。

4.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二三中，对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量得到帧间旋转运动参数估计的方法包括如下步骤：

步骤二三A：分别取极坐标系下的每帧和与其对应的相邻帧的极角轴灰度投影向量，对所述投影向量分别进行归一化处理；

步骤二三B：将每个所述帧的灰度投影向量分成20段等长度的子向量；

步骤二三C：分别取每帧灰度投影向量的每一子向量，在对应相邻帧的投影向量的对应位置附近进行移动，记录灰度相关系数最大时的移动量，则该移动量为该帧与相邻帧的旋转运动参数的一个估计；则每帧图像的等长度的灰度投影子向量则获得20个旋转运动参数估计；

步骤二三D：在每帧的20个旋转运动参数估计中将出现频数最多的估计量确定为该帧与相邻帧的帧间旋转运动参数估计。

5.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二四中，对步骤二三得到的帧间旋转运动参数估计,进行检测并校正错误估计，得到每帧的帧间旋转运动参数的方法为：

判断得到的帧间旋转运动参数估计Δθ_(k，k+1)是否在预设的阈值区间[-θ_max,+θ_max]内，若

则所述帧间旋转运动参数估计Δθ_(k，k+1)为错误估计，则对所述错误估计进行校正；若Δθ_(k，k+1)∈[-θ_max,+θ_max]，则保留Δθ_(k，k+1)；

对所述错误估计进行校正的方法为：利用与所述错误估计相邻的前后两个帧间旋转运动参数估计Δθ_(k-1，k)和Δθ_(k+1，k+2)的均值

去代替所述错误估计。

6.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二七中，对步骤二六补偿后的每帧图像构建位平面金字塔的方法为：

步骤二七A:采用均值滤波方式构建3级灰度金字塔：灰度金字塔第2级、灰度金字塔第1级和灰度金字塔第0级；

步骤二七B：对灰度金字塔第2级，提取第4位平面，作为位平面金字塔的第2级；

步骤二七C：对灰度金字塔第1级，提取第5位平面，作为位平面金字塔的第1级；

步骤二七D：对灰度金字塔第0级，提取第6位平面，作为位平面金字塔的第0级。

7.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，步骤二九中，对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计的方法为：

步骤二九A：自适应选择取块模式，在每帧的位平面金字塔的第2级取16匹配块，大小为15*15像素平方；

步骤二九B：将第i匹配块（i＝1,2,3...16）在每帧的相邻帧的位平面金字塔第2级的对应位置附近平移，寻找匹配块上对应像素点异或之和取最小值时的位置，获得16个平移矢量

步骤二九C：获得的16个平移矢量中，判断相同平移矢量出现的频数是否大于8，若是，则记此平移矢量为(Δx⁽²⁾,Δy⁽²⁾)，将平移矢量(Δx⁽²⁾,Δy⁽²⁾)传递给当前帧的位平面金字塔第1级，若否，则转入步骤二九A，自适应选择取块模式选择第二类型取块模式；

步骤二九D：对每帧的位平面金字塔的第1级进行与该帧的位平面金字塔的第2级相同模式的取块；并利用匹配块平移矢量(2Δx⁽²⁾,2Δy⁽²⁾)作参考，，将每帧的每一匹配块移动到该帧的相邻帧位平面金字塔第1级的(2Δx⁽²⁾,2Δy⁽²⁾)位置处，再进行±2个像素范围内的精匹配；获得的16个平移矢量中，将出现频数高于8的平移矢量记为(Δx⁽¹⁾,Δy⁽¹⁾)，并将位移矢量(Δx⁽¹⁾,Δy⁽¹⁾)传递给当前帧的位平面金字塔第0级；

步骤二九E：对每帧的位平面金字塔的第0级进行与该帧的位平面金字塔的第1级相同模式的取块；并利用匹配块平移矢量(Δx⁽¹⁾,Δy⁽¹⁾)作参考，将每帧的每一匹配块移动到该帧的相邻帧位平面金字塔第0级的(2Δx⁽¹⁾,2Δy⁽¹⁾)位置处，再进行±2个像素范围内的精匹配；获得的16个平移矢量中，将出现频数高于8的平移矢量记为(Δx⁽⁰⁾,Δy⁽⁰⁾)，所述位移矢量(Δx⁽⁰⁾,Δy⁽⁰⁾)为该帧与相邻帧的帧间平移运动参数估计。

8.根据权利要求7所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述自适应选择取块模式，方法如下：

初始默认的取块模式为第一类型取块模式，所述的第一类型取块模式为在每帧图像的周边均匀选取12个15*15像素的匹配块，在每帧图像的中心位置均匀选择4个同样大小的匹配块；

所述第二类型取块模式为，在每帧图像的正对角线和负对角线各选择8个15*15像素的匹配块。

9.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数方法如下：

判断得到的帧间平移运动参数估计[Δx(_k，k+1),Δy_(k，k+1)]是否在预设的阈值区间（[-x_max,x_max]，[-y_max,y_max]）内，若

或

则所述帧间平移运动参数估计[Δx_(k，k+1),Δy_(k，k+1)]为错误估计，则对所述错误估计进行校正；若否，则保留[Δx_(k,k+1),Δy_(k,k+1)]；

对所述错误估计进行校正的方法为：利用与所述错误估计相邻的前后两个帧间平移运动参数估计[Δx_(k-1，k),Δy_(k-1，k)]和[Δx_(k+1，k+2),Δy_(k+1，k+2)]的均值去代替所述错误估计。

10.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤三六中，对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿的方法为：

步骤三六A：对步骤三五得到的每帧图像的帧间原始射影变换矩阵中每个参数分别求取平均值，获得由每个平均值所构成的变换矩阵作为每帧图像的帧间有意射影变换矩阵；

步骤三六B：利用该组第二帧到第i帧的每帧图像的帧间原始射影变换矩阵和帧间有意射影变换矩阵分别累乘得到第i帧相对于该组第一帧的累积原始射影变换矩阵和累积有意射影变换矩阵

步骤三六C：对每帧图像的累积原始射影变换矩阵和每帧图像的累积有意射影变换矩阵

对该帧图像进行补偿：

对每帧图像分别利用相应的累积原始射影变换矩阵

的逆矩阵

进行逆变换，对逆变换后的每帧图像分别利用所述相应的累积有意变射影换矩阵进行正变换，即

则得到补偿后的每帧图像；

步骤三六D：对于补偿过程中的每帧图像的未定义像素点采用线性插值进行确定；

所述步骤四六中，对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿的方法为：

步骤四六A：对步骤四五得到的每帧图像的帧间原始仿射变换矩阵中每个参数分别求取平均值，获得由每个平均值所构成的变换矩阵作为每帧图像的帧间有意仿射变换矩阵；

步骤四六B：利用该组第二帧到第i帧的每帧图像的帧间原始仿射变换矩阵和帧间有意仿射变换矩阵分别累乘得到第i帧相对于该组第一帧的累积原始仿射变换矩阵和累积有意仿射变换矩阵

步骤四六C：利用每帧图像的累积原始仿射变换矩阵

和累积有意仿射变换矩阵

对该帧图像进行补偿：

对每帧图像分别利用相应的累积原始仿射变换矩阵

的逆矩阵

进行逆变换，对逆变换后的每帧图像分别利用所述相应的累积有意仿射变换矩阵

进行正变换，即

则得到补偿后的每帧图像；

步骤四六D：对于补偿过程中的每帧图像的未定义像素点采用线性插值进行确定。

Images