CN101924874B - 一种匹配块分级的实时电子稳像方法 - Google Patents

Abstract

本发明公开了一种匹配块分级的实时电子稳像方法。首先对当前帧图像预处理；然后以Laplacian算子提取图像边缘信息，去除其中的孤立点构造位平面；将匹配块分为主要子匹配块和次要子匹配块进行匹配运算，同时综合前若干帧的全局运动矢量，每个匹配块分别得出5个候选局部运动矢量及其权重；根据各匹配块计算结果，选取有效匹配块计算全局运动矢量；通过均值滤波的方式从全局运动矢量中分离摄像机的扫描分量和抖动分量，将当前帧与前若干帧配准拼接后，以抖动分量补偿视场中当前帧部分得到稳定图像。本发明可用于视频的电子稳像处理，具有实时性强、抗干扰能力强、推广性强等特点。

Description

一种匹配块分级的实时电子稳像方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种实时电子稳像方法。

背景技术

稳像技术在军事侦察、民用航测中具有广泛的应用。与传统的光学稳像、机电结合的稳像方法相比，利用纯数字图像处理的方式确定图像序列的帧间偏移并进行补偿，对视频进行电子稳像处理具有易于操作、更精确、更灵活、体积小、价格低、能耗小、高智能化等特点。特别是随着计算机技术和大规模集成电路技术的迅猛发展，计算机产品的性能迅速提高，采用电子稳像技术非常便于实现设备的小型化和轻量化。利用纯数字图像处理的方法进行视频图像增稳是当前稳像技术发展的趋势。

在电子稳像处理中，全局运动估计的计算量可占全部计算量的90%，故快速而准确地检测出图像序列的帧间运动是实现稳像的关键。目前图像序列的帧间运动估计算法主要包括光流法、相位法、块匹配法、特征法等。光流法与相位法计算量大，难以保证实时性；块匹配法受搜索策略和匹配准则影响，稳像效果参差不齐；特征法提取图像中明显特征进行匹配，对图像的特征敏感；位平面匹配法计算量较小，运动估计较准确，是一种有效的运动估计算法，但也存在不足之处。

传统位平面的构造将一幅灰度图像的每个比特视为一个二值位平面，例如8位灰度图像，其任一像素点的灰度值可以表示为：

其中F(x,y)表示图像中(x,y)像素的灰度值，a ₇，a ₆……a ₀，为布尔型变量。全部图像信息分布在8个位平面上，每一个位平面仅包含图像的部分信息。按这种表示方法，会出现灰度只差一级而八个位平面的数值却各不相同的情况，故图像匹配前需要对图像进行格雷码(Gray Code)增强。格雷码增强的公式为：

（2）

在传统位平面匹配算法的匹配中只用到了一个位平面，仅利用了图像的部分信息，故选取一个适当的位平面进行估计非常重要。为减少计算量，实时数字稳像应用中通常把位平面分块，选取其中若干块分别匹配，得到各匹配块的局部运动矢量，再由各局部运动矢量估算全局运动矢量。匹配块中存在前景目标或噪音时各匹配块的匹配结果通常不同，会导致全局运动矢量的误估计，对运动补偿产生不利影响。

传统位平面匹配算法构造位平面时常抛弃大量图像信息，各匹配块匹配结果存在差异时也难于得出准确的全局运动矢量。另外，由于电子稳像的基本原理为像移补偿原理，即通过当前帧成像的偏移补偿来消除或削弱视频的帧间抖动。在这一条件下，不可避免地需要为当前帧预留补偿区域，造成了有效视场的损失。

在此背景下，需要对传统的基于位平面的电子稳像算法进行改进，得出一种实时性好、对图像信息利用率高、对前景目标的运动抗干扰能力强、有效视场损失小的电子稳像方法。

发明内容

本发明的目的在于针对传统的基于位平面的电子稳像方法中的不足：构造位平面时常抛弃大量图像信息；各匹配块匹配结果存在差异时难于得出准确的全局运动矢量；有效视场损失。提供一种匹配块分级的实时电子稳像方法，该方法可以做到实时电子稳像，抗干扰能力强，稳像效果良好。

为达到上述的发明目的，本发明的技术方案具有如下步骤：

第一步，图像预处理。

对当前帧图像下采样，以Laplacian算子提取图像的边缘信息，将边缘信息中的孤立点去除构造位平面。

第二步，确定候选局部运动矢量及其权重。

根据第一步中确定的位平面，将位平面划分为p个匹配块，每个匹配块分别一个主要子匹配块和4个次要子匹配块，（其中p为自然数，大小根据匹配的要求设定）对主要子匹配块以最小不匹配点数匹配准则进行匹配，综合主要子匹配块的匹配结果与前5帧的全局运动矢量，每个匹配块中的主要子匹配块得出5个候选局部运动矢量并分配初始权重，根据次要子匹配块的匹配结果调整权重。

第三步，计算全局运动矢量。

根据调整权重后的候选局部运动矢量及其权重，筛选出有效匹配块，并根据有效匹配块中候选局部运动矢量的各种情况，综合前3帧的全局运动矢量，得出位平面的全局运动矢量。

第四步，运动补偿。

计算摄像机扫描分量、抖动分量，在各匹配块运动矢量一致时，将当前帧与前若干帧做配准拼接，最后补偿视场中当前帧部分的运动，获得稳定图像。

所述第一步具体包括如下步骤：

（1）利用取灰度中值下采样的方法，获得当前帧图像的下采样图像；

对于灰度级比较平均的图像，可适当进行直方图变换，以对图像信息有效增强。所述的直方图变换为直方图均衡化。

（2）利用Laplacian算子提取图像的边缘信息，得到图像的二阶导数；

（3）遍历图像上所有具有二阶导数的像素点，将二阶导数为正且大于特定阈值A的像素点在正平面对应位置赋为真；二阶导数为负且小于特定阈值B的点在负平面对应位置赋为真，其余均赋为假；

（4）去除上述正平面和负平面中的孤立点，得到最终所需要的位平面。

所述第二步具体包括如下步骤：

（a）利用第一步中得到的位平面，对匹配块中的主要子匹配块，在搜索范围内，经每一搜索矢量平移后，以最小不匹配点数匹配准则相对参考帧位平面匹配，计算匹配差异；

（b）分别计算搜索矢量与前若干帧全局运动矢量的Manhattan（曼哈顿）距离；

（c）根据（a）、（b）结果，计算当前搜索矢量成为候选局部运动矢量的可行性；

（d）选出5个可行性最高的搜索矢量作为这一匹配块的候选局部运动矢量，按可行性从高到低排列分配初始权重；

（e）对匹配块中的次要子匹配块，分别经候选局部运动矢量平移后，以最小不匹配点数匹配准则相对参考帧位平面匹配，按不匹配程度升序，对5个候选局部运动矢量的权重进行调整；

重复（a）至（e），完成位平面中所有匹配块的候选局部运动矢量计算和权重调整。

所述第三步具体包括如下步骤：

（A）根据步骤二中调整后的候选局部运动矢量权重，选择权重最高的候选局部运动矢量所在匹配块作为第一有效匹配块，若存在最高权重相同的两个匹配块，比较权重最高的两匹配块的两候选局部运动矢量与权重第三大的匹配块的候选局部运动矢量间的Manhattan距离，选Manhattan距离较小者所在匹配块为第一有效匹配块；

（B）对除第一有效匹配块外其余匹配块，计算各自权重最高的候选局部运动矢量与（A）中的候选局部运动矢量间的Manhattan距离，选最小者作为第二有效匹配块；

（C）对除第一、第二有效匹配块外其余匹配块，若其满足如下两个条件，则将其也列为有效匹配块，条件1. 权重最高的候选局部运动矢量的权重与（A）中的候选局部运动矢量的权重的差值小；2. 权重最高的候选局部运动矢量分别接近第一、第二有效匹配块中权重最高的候选局部运动矢量；

（D）根据（A）至（C）得出的有效匹配块，综合当前帧的前若干帧的全局运动矢量，分六种情况分别处理，由有效匹配块中各候选局部运动矢量得出当前位平面的全局运动矢量。

所述第四步具体包括如下步骤：

（I）将计算所得全局运动矢量相对前若干帧采用均值滤波的方式平滑修正得出摄相机扫描分量，以全局运动矢量减去扫描分量得抖动分量；

（II）在各匹配块运动一致时，将当前帧与前若干帧做配准拼接以扩大视场，用于配准拼接的前若干帧图像应同样具有各匹配块运动矢量一致的特性；

（III）以抖动分量补偿视场中当前帧部分，获得稳定图像。

本发明提供是实时电子稳像方法，在保证运算实时性的同时，提高了对图像信息的利用率，增加了稳像过程中匹配块内存在前景目标时的适应性，减少了有效视场的损失。通过改变权重、匹配块位置、运算中前若干帧全局运动矢量的数目，可根据视频质量的差别灵活设置运动矢量获取参数，推广性强。

附图说明

图1为本发明提供的匹配块分级的实时电子稳像方法总体流程图；

图2为图像的匹配块划分示意图；

图3为匹配块中主要子匹配块、次要子匹配块的位置示意图；

图4为各匹配块中候选局部运动矢量计算流程图；

图5a为实施例视频中的两帧原始图像；

图5b为两帧图像补偿前位平面与参考帧位平面有差异的点；

图5c 为两帧图像补偿后位平面与参考帧位平面有差异的点。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细说明。

本具体实施方式在计算候选局部运动矢量时参考当前帧的前5帧的全局运动矢量，在计算全局运动矢量时参考当前帧的前3帧全局运动矢量。

本发明针对传统位平面进行实时电子稳像方法的不足，首先对当前帧视频图像下采样，构造位平面，而后去除位平面中的孤立点，将位平面与参考帧进行匹配，综合匹配结果和前5帧的运动矢量，对位平面的每个匹配块分别计算得到5个候选局部运动矢量（下文简称LMV）及其权重，依据权重选择至少两个有效匹配块估算全局运动矢量（下文简称GMV），补偿帧间运动得到稳定图像。具体匹配块分级的实时电子稳像方法实现过程图1所示，通过如下步骤实现：

步骤一，图像预处理。

对当前帧图像下采样，以Laplacian算子提取图像的边缘信息，将边缘信息中的孤立点去除构造位平面，具体步骤如下：

（1）读入当前帧数据，对当前帧数据构成的当前帧图像进行灰度中值下采样。所述的下采样过程为：提取当前帧图像中的灰度值，每连续z个灰度值取平均作为下采样后的一个灰度值，如此过程完成对当前帧图像的所有灰度值的下采样，得到一个新的下采样图像。其中z为采样比，可根据原始图像尺寸与运算能力选取，一般性能DSP应用中，采样后图像为CIF格式即可完全满足实时性要求。

若采样后图像灰度值分布集中（图像中有2/3以上区域具有明显近似的灰度值，或者图像中灰度级比较平均，则认为是灰度值分布集中的），可适当进行直方图变换，以对图像信息有效增强，方便后续位平面的提取。但过多的直方图变换会影响运算的实时性，故在图像质量可以接受的条件下，应避免直方图变换。在各种直方图变换中，以直方图均衡化最具有适应性。经直方图均衡化后，图像像素间灰度值拉大，更容易表现图像细节。

（2）将步骤（1）中得到的下采样图像，利用Laplacian算子提取图像的边缘信息，得到下采样图像中像素点的二阶导数。

拉普拉斯（Laplacian）算子是n维欧氏空间中的一个线性二阶微分算子，以模板形式表示为：

（3）

下采样图像中的每个像素利用Laplacian算子，进行4次加法操作和1次移位操作，提取边缘信息，得到下采样图像上所有像素点的二阶导数。

在运行程序相关的存储空间内开辟两个布尔型的存储区域，分别称为正平面和负平面。遍历图像上所有具有二阶导数的像素点，如果像素点的二阶导数为正且大于特定阈值A，那么这些像素点在正平面对应位置赋为真，如果像素点的二阶导数为负且小于特定阈值B，那么这些像素点在负平面对应位置赋为真，其余均赋为假。所述的特定阈值A、B根据经验获取，优选在A=40~120之间，B=-120~-40之间。

（3）去除正平面和负平面中的孤立点，得到最终所需要的位平面。

遍历位平面上为真的像素点的周围8个像素点，若8个像素点均为假，则该像素点视为孤立点。

由于图像存在噪音或弱边缘，位平面中会出现很多孤立的像素点。这些孤立的像素点虽然为真，但其临域内任何像素点均不为真。在进行当前帧图像与参考帧图像的匹配计算过程中，弱边缘常不会一一对应，因此本发明中去除两个位平面即正平面和负平面中的孤立点来消除弱边缘带来的不确定性。

步骤二，确定局部运动矢量及其权重，。

流程如图4所示，具体包括如下步骤：

（1）当前帧与参考帧进行匹配，计算匹配差异。

在步骤一中去除孤立点之后的位平面中提取p（p为自然数，本实施例中取p=8）个匹配块用于与参考帧位平面进行匹配运算。

如图2所示，每个下采样图像上提取8个匹配块，每个匹配块包含1个主要子匹配块和4个次要子匹配块，其中主要子匹配块用于在搜索范围内逐向量搜索，根据搜索后的匹配结果获得5个候选LMV，次要子匹配块用于调整候选LMV的权重。由8个匹配块得出的候选LMV进行综合推导得出整个位平面的GMV。

所述匹配块的设置方式如图3，每个匹配块含有5个部分重叠的子匹配块，其中中心的S_m代表主要子匹配块，四周的S₁、S₂ 、S₃、S₄代表次要子匹配块。

对当前帧经过搜索矢量(m,n)平移后的匹配块，以最小不匹配点数匹配准则(NNMP)相对参考帧位平面匹配，最小不匹配点数匹配准则为：

（4）

其中M、N代表匹配块宽度和高度，f_ref(x,y)、f_now(x,y)代表参考帧和当前帧位平面(x,y)处的位平面信息，代表异或运算，C(m,n)代表参考帧和当前帧的差异，表征不匹配程度。其中（m,n）称为搜索矢量，代表将当前帧位平面平移的方向与距离， m代表水平移动的像素数，n代表垂直移动的像素数。对于静态视频，参考帧可选为预定图像，对于动态视频，参考帧可选为当前帧之前的某一帧。

（2）计算搜索矢量（m,n）与当前帧的前5帧GMV的Manhattan距离。

对搜索矢量（m,n）以式（4）计算参考帧和当前帧的匹配块的差异后，分别计算此搜索矢量（m,n）与当前帧的前5帧GMV的Manhattan距离，由当前帧上一帧起依次记为D_PGMV[0]至D_PGMV[4]，Manhattan距离的计算公式为：

（5）

C(m,n)和D_PGMV[0]至D_PGMV[4]越小，该搜索矢量（m,n）被定为实际LMV的可行性越高。式（5）中GMV是二维矢量，GMV _x [k]代表前k+1帧的x方向的GMV，GMV _y [k]代表前k+1帧的y方向的GMV，k＝0，1，2，3，4。D_PGMV[0]至D_PGMV[4]分别表示搜索矢量与前1帧至前5帧GMV的Manhattan距离。

（3）确定搜索矢量作为LMV的可行性。

首先定义两个单调非递减函数f(C(m,n))和g(D_PGMV[k])：

（6）

（7）

通过参考帧和当前帧的匹配差异C(m,n)和Manhattan距离D_PGMV[k]来体现搜索矢量（m,n）成为LMV的可行性，如下式：

（8）

上述公式（8）中，h(m,n)越小，搜索矢量(m,n)成为LMV的可行性越高。其中，f(C(m,n))表示权重中当前帧与参考帧匹配结果的贡献，g(D_PGMV[k])表示权重中搜索矢量(m,n)与当前帧的前k+1帧GMV的Manhattan距离的贡献。

（4）选出5个可行性最高的搜索矢量作为这一匹配块的候选局部运动矢量，按可行性从高到低排列分配初始权重；

搜索矢量在搜索范围内继续移动，重复步骤（1）~（3），直至达到搜索范围。所述的搜索范围根据视频抖动大小由人为给定。根据步骤（3）的计算结果，按h(m,n)从小到大排列，选取5个最小的h(m,n)对应的搜索矢量(m,n)定为候选LMV。将5个候选LMV初始权重依次分别分配为0.45，0.30，0.15，0.10，0.05。

（5）对每个次要子匹配块，分别经候选局部运动矢量LMV平移后，以最小不匹配点数匹配准则相对参考帧位平面匹配，即将5个候选LMV代入式（4），计算结果记为D(m,n)。按不匹配程度D(m,n)升序，对每个候选LMV的权重进行+0.08，+0.04，+0，-0.04，-0.08的调整。每个匹配块的5个候选LMV各调整4次权重，直到次要子匹配块S₄对权重调整完毕为止。权重调整以很小的计算量，扩充了匹配块的大小，减少了主要子匹配块S_m中包含前景目标时对GMV的影响。权重调整后，按权重降序将每个匹配块的候选LMV记为LMV[0]至LMV[4]。

对其余匹配块重复（1）至（5），完成位平面中所有匹配块的候选局部运动矢量计算和权重调整。

步骤三，计算全局运动矢量。

综合各匹配块计算出的LMV及其权重得到GMV。图像中匹配块可能包含前景目标和噪音，导致该匹配块 LMV检测不准。获取图像的GMV，首先要筛选出有效的匹配块。具体步骤如下：

（1）对每个匹配块的LMV[0] 的权重进行比较，并按降序排列，将LMV[0]权重最大的匹配块作为第一有效匹配块。若存在LMV[0] 的权重相同的两个匹配块，则比较两者LMV[0]与LMV[0]权重第三大的匹配块的LMV[0]间的Manhattan距离，选Manhattan距离较小者所在的匹配块作为第一有效匹配块。

（2）对除第一有效匹配块外其余匹配块，将LMV[0]与第一有效匹配块的LMV[0]间Manhattan距离最小的匹配块为第二有效匹配块。若有距离相等的两个匹配块，则比较这两者LMV[0]权重，选权重大者所在的匹配块作为第二有效匹配块。

（3）对剩余的匹配块分别计算：LMV[0]权重与第一有效匹配块LMV[0]权重的差；LMV[0]与已选定两个有效匹配块LMV[0]间的Manhattan距离。若权重差小于0.08且两个Manhattan距离都小于3，则将该匹配块也作为有效匹配块。

（4）得出有效匹配块后，综合当前帧的前3帧的全局运动矢量，分六种情况分别处理，从情况一开始判断，某一情况满足时即获得GMV并跳出，由有效匹配块中各候选局部运动矢量得出当前帧的全局运动矢量，过程如表1所示：

表1  由候选局部运动矢量得出全局运动矢量的六种情况

情况一，若所有有效匹配块的LMV[0]都相同，则选择此LMV[0]作为GMV。

情况二，若第一有效匹配块和第二有效匹配块的LMV[0]相同但与其它有效匹配块的LMV[0]不同，比较第一有效匹配块LMV[0]与前一帧的GMV(记为PGMV[0])的Manhattan距离和其它有效匹配块LMV[0]与PGMV[0]的Manhattan距离，若前者小于后者，则选择此前者LMV[0]作为GMV。

情况三，若第一有效匹配块或第二有效匹配块的LMV[0]的权重大于等于0.60，其余各有效匹配块中不存在相应LMV或相应LMV权重小于0的个数至多为1，则选择此LMV[0]作为GMV。

情况四，计算所有有效匹配块LMV[0]间的Manhattan距离，若所有距离均小于等于8，取所有有效匹配块LMV[0]的平均值作为GMV。即

（9）

其中a为有效匹配块个数。

情况五，若第一有效匹配块与其余各有效匹配块LMV[0]的权重差均大于等于0.2，且第一有效匹配块的LMV[0]与PGMV[0]之间的Manhattan距离小于等于5，则选择此第一有效匹配块LMV[0]作为GMV。

情况六，计算前3帧的平均GMV，在所有有效匹配块中选出最接近此GMV的LMV作为当前帧的GMV。

步骤四，运动补偿。

（1）将计算所得全局运动矢量相对前若干帧采用均值滤波的方式平滑修正得出摄相机扫描分量，以全局运动矢量减去扫描分量得抖动分量。前若干帧的数目可根据抖动情况、帧率等设定，对于呈现周期的抖动，以包含两个抖动周期以上为佳。

（2）如果各匹配块运动矢量相近（在各匹配块运动矢量间曼哈顿距离均不超过1时，认为运动矢量相近，说明各匹配块运动一致），此时，将当前帧与前若干帧做配准拼接以扩大视场，在配准拼接的重叠区域取2帧图像像素平均值作为拼接后的像素值。用于配准拼接的前若干帧图像应同样具有各匹配块运动矢量相近的特性，否则容易在拼接过程中出现前景目标错位。

（3）以（1）中计算所得抖动分量补偿视场中当前帧部分，获得稳定图像。

完成一个视频序列中的一帧图像的实时电子稳像之后，更新搜索矢量，更新参考配准帧和参考帧，可以根据本发明中提供的方法获得整个视频序列中的所有图像的实时电子稳像效果。

对foreman_cif视频序列进行稳像效果验证。图5a、5b、5c中，图5a为视频中的两帧原始图像，图5b为这两帧补偿前位平面与参考帧位平面有差异的点，图5c 为这两帧补偿后位平面与参考帧位平面有差异的点。对比图5b、图5c可以看出，补偿后位平面与参考帧位平面有差异的点明显减少，说明当前帧与参考帧的不一致程度明显降低。

Claims (10)

1.一种匹配块分级的实时电子稳像方法，其特征在于包含如下步骤：

第一步，图像预处理；

对当前帧图像下采样，以Laplacian算子提取下采样图像的边缘信息，将边缘信息中的孤立点去除构造位平面；

第二步，确定候选局部运动矢量及其权重；

根据所述位平面，对主要子匹配块以最小不匹配点数匹配准则进行匹配，综合主要子匹配块的匹配结果与前5帧的全局运动矢量，每个主要子匹配块分别得出5个候选局部运动矢量并分配初始权重，根据次要子匹配块的匹配结果调整权重；

第三步，计算全局运动矢量；

根据调整权重之后的候选局部运动矢量及其权重，筛选出有效匹配块，根据有效匹配块中局部运动矢量的各种情况，综合前3帧的全局运动矢量，得出位平面的全局运动矢量；

第四步，运动补偿；

计算摄像机扫描分量、抖动分量，在各匹配块运动矢量一致时，将当前帧与前若干帧做配准拼接，最后补偿视场中当前帧部分的运动，获得稳定图像。

2.根据权利要求1所述的匹配块分级的实时电子稳像方法，其特征在于：所述第一步中图像预处理具体包括如下步骤：

(1)利用取灰度中值下采样的方法，获得当前帧的下采样图像；

(2)利用Laplacian算子得到下采样图像中像素点的二阶导数；

(3)遍历图像上所有具有二阶导数的像素点，将二阶导数为正且大于特定阈值A的点在正平面对应位置赋为真，将二阶导数为负且小于特定阈值B的点在负平面对应位置赋为真，其余均赋为假；

(4)去除位平面中的孤立点。

3.根据权利要求2所述的匹配块分级的实时电子稳像方法，其特征在于：所述的特定阈值A在40～120之间，所述的特定阈值B在-120～-40之间。

4.根据权利要求2所述的匹配块分级的实时电子稳像方法，其特征在于：对下采样图像进行直方图均衡化变换处理。

5.根据权利要求1所述的匹配块分级的实时电子稳像方法，其特征在于：

所述第二步具体包括如下步骤：

(1)将每个位平面划分为若干个匹配块，对匹配块中的主要子匹配块，经每一搜索矢量平移后，以最小不匹配点数匹配准则相对参考帧位平面匹配；

(2)分别计算搜索矢量与前若干帧全局运动矢量的Manhattan距离；

(3)根据(1)、(2)结果，计算当前搜索矢量成为候选局部运动矢量的可行性；

(4)选出5个可行性最高的搜索矢量作为这一匹配块的候选局部运动矢量，并按可行性从高到低分配初始权重；

(5)对匹配块中的次要子匹配块，分别经候选局部运动矢量平移后，以最小不匹配点数匹配准则相对参考帧位平面匹配，按匹配程度降序，对5个候选局部运动矢量的权重进行调整；

重复(1)至(5)，完成位平面中所有匹配块的候选局部运动矢量计算和权重调整。

6.根据权利要求5所述的匹配块分级的实时电子稳像方法，其特征在于：所述匹配块，每个匹配块包含1个主要子匹配块和4个次要子匹配块。

7.根据权利要求5所述的匹配块分级的实时电子稳像方法，其特征在于：所述步骤(4)中，初始权重选为0.45，0.30，0.15，0.10和0.05。

8.根据权利要求5所述的匹配块分级的实时电子稳像方法，其特征在于：所述步骤(5)中，调整权重为+0.08，+0.04，+0，-0.04，-0.08。

9.根据权利要求1所述的匹配块分级的实时电子稳像方法，其特征在于：所述第三步具体包括如下步骤：

(1)根据第二步中调整权重后的候选局部运动矢量，选择权重最高的候选局部运动矢量所在匹配块作为第一有效匹配块，若存在最高权重相同两个匹配块，比较权重最高的两匹配块的两候选局部运动矢量与权重第三大的匹配块的候选局部运动矢量间的Manhattan距离，选Manhattan距离较小者所在的匹配块为第一有效匹配块；

(2)对除第一有效匹配块外其余匹配块，计算各自权重最高的候选局部运动矢量与第一有效匹配块的候选局部运动矢量间的Manhattan距离，选出最小者作为第二有效匹配块；

(3)对除第一、第二有效匹配块外其余匹配块，若其满足1.权重最高的候选局部运动矢量的权重接近第一有效匹配块中的候选局部运动矢量的权重；2.权重最高的候选局部运动矢量分别接近第一、第二有效匹配块中权重最高的候选局部运动矢量，则将其也列为有效匹配块；

(4)根据(1)至(3)得出的有效匹配块，综合当前帧前3帧的全局运动矢量，分六种情况分别处理，由有效匹配块中各候选局部运动矢量得出位平面的全局运动矢量。

10.根据权利要求1所述的匹配块分级的实时电子稳像方法，其特征在于：所述第四步具体包括如下步骤：

(1)将计算所得全局运动矢量相对前若干帧采用均值滤波的方式平滑修正得出摄相机扫描分量，以全局运动矢量减去扫描分量得出抖动分量；

(2)在各匹配块运动矢量相近时，将当前帧与前若干帧做配准拼接以扩大视场，用于配准拼接的前若干帧图像应同样具有各匹配块运动矢量相近的特性；

(3)以抖动分量补偿视场中当前帧部分，获得稳定图像。

Images