CN115100087A - 塔机吊钩视频的稳像处理方法 - Google Patents

Abstract

本发明公开了一种塔机吊钩视频的稳像处理方法，步骤包括：1)将塔机摄像装置实时拍摄的原始视频帧作为图像输入；2)图像预处理；3、)进行特征提取和描述；4)进行特征点匹配与优化；5)去除动态目标特征匹配点，得到视频图像中相邻两帧中背景图像的特征匹配点；6)计算运动参数及原始运动轨迹；7)采用固定滞后卡尔曼平滑算法对原始运动轨迹进行滤波，得到起重臂主观运动轨迹，进而得到起重臂的抖动运动；8)运动补偿，去除当前帧中的抖动，输出稳定的视频帧，即成。本发明方法，准确得到了摄像头的抖动运动，从而保证了视频稳像的效果，处理过程简单，速度快，对监控设备的硬件要求低，系统成本低，实时性好。

Description

塔机吊钩视频的稳像处理方法

技术领域

本发明属于视频图像处理技术领域，涉及一种塔机吊钩视频的稳像处理方法。

背景技术

在塔机作业中，塔机吊钩可视化系统通过安装在小车的摄像装置向塔机司机展现吊钩周围实时的视频图像，有效解决了塔机司机在盲吊、隔山吊等复杂施工现场存在的视觉死角、远距离视觉模糊等安全隐患问题。然而，由于塔机是大型的钢结构，塔机吊钩可视化系统在实际应用中，安装在起重臂小车上的摄像装置受塔机小车变幅运动、塔臂回转运动、吊物升降运动以及环境风速等影响会发生振动，从而导致监控平台输出的视频帧不连续，视频序列晃动不清晰。抖动的视频不仅会对塔机司机造成视觉疲劳，而且会导致司机误判、漏判。

数字稳像技术主要是利用数字图像处理技术对视频帧画面进行分析和处理，去除视频帧间中的抖动，具有可移植性高、成本低、易维护等优势，目前数字稳像技术成为应用、研究热点。针对塔机吊钩视频，利用数字稳像算法对塔机吊钩视频进行稳像处理，为塔机司机提供实时、高清稳定的视频图像，避免由于图像的不稳定导致司机的误操作，具有十分重要的商业价值和应用前景。

发明内容

本发明的目的是提供一种塔机吊钩视频的稳像处理方法，解决了现有技术中，由于塔机运行以及外界环境影响造成的吊钩视频画面抖动，难以满足塔机吊钩监控需求的问题。

本发明所采用的技术方案是，一种塔机吊钩视频的稳像处理方法，按照以下步骤实施：

步骤1、将塔机摄像装置实时拍摄的原始视频帧作为图像输入；

步骤2、图像预处理：采用降采样、灰度直方图均衡化对原始视频帧进行预处理；

步骤3、采用改进ORB算法对步骤2预处理后的图像进行特征提取和描述；

步骤4、进行特征点匹配与优化；

步骤5、从优化后的特征匹配点中去除动态目标特征匹配点，得到视频图像中相邻两帧I_t与I_t-1中背景图像的特征匹配点；

步骤6、计算运动参数及原始运动轨迹，由背景图像的特征匹配点计算仿射变换矩阵，提取帧间运动参数，进而计算相邻两帧视频图像中背景的原始运动轨迹，包含起重臂的主观运动以及起重臂的抖动；

步骤7、采用固定滞后卡尔曼平滑算法对原始运动轨迹C_t进行滤波，得到起重臂主观运动轨迹

进而得到起重臂的抖动运动；

步骤8、运动补偿，去除当前帧I_t中的抖动，输出稳定的视频帧，即成。

本发明的有益效果是，1)本发明方法采用降采样图像预处理以及PROSAC误匹配处理算法，算法效率高，保证了塔机吊钩视频稳像处理的实时性；2)塔机工作过程中，安装摄像装置的起重臂具有回转的主观运动，同时，起重臂的运动导致摄像装置随机抖动，以及塔机吊钩的摆动，于是，吊钩与起重臂产生相对运动，形成运动目标，在这种复杂的视频场景下，本发明方法采用动态目标特征匹配点去除算法，并结合固定滞后卡尔曼平滑算法，准确得到了摄像头的抖动运动，从而保证了视频稳像的效果，处理过程简单，速度快；3)本发明方法采用图像处理技术实现稳像，对监控设备的硬件要求低，系统成本低，实时性好，有利于推广应用。

附图说明

图1是本发明方法的流程简图；

图2是传统ORB算法的特征点检测效果图；

图3是本发明方法的改进ORB算法的特征点检测效果图；

图4是本发明方法的动态目标特征匹配点去除算法检测效果图；

图5是本发明方法的固定滞后卡尔曼平滑算法的处理效果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，本发明的塔机吊钩视频的稳像处理方法，按照以下步骤实施：

步骤1、将塔机摄像装置实时拍摄的原始视频帧作为图像输入；

步骤2、图像预处理：采用降采样、灰度直方图均衡化对原始视频帧(即原始视频图像)进行预处理；

考虑到司机看到的塔机吊钩视频不能滞后，否则会导致司机的误操作，为了提高原始视频帧的处理速度，预处理过程中将分辨率为1920*1080的原始视频帧降采样输出为640*360的视频帧，(即图像缩小3倍)，大大提高了后续计算速度；由于塔机露天作业，原始视频帧还存在光照变化的影响，通过灰度直方图均衡化处理，增强曝光不足或过渡曝光的视频帧，从而增大对比度，使原始视频帧变得更加清晰，有利于后续特征提取。

步骤3、采用改进ORB算法对步骤2预处理后的图像进行特征提取和描述，

由于施工现场的钢筋、模板存在许多角点，传统ORB(即Oriented FAST andRotatedBRIEF)特征提取算法检测到的特征点容易出现聚集以及冗余，导致后续运动估计误差变大。在本步骤中，将图像分块和四叉树分割两个方法相结合，对传统ORB特征提取算法进行优化改进，改进后ORB算法的特征分布均匀、冗余减少；同时，利用BEBLID(即BoostedEffective Binary Local Image Descriptor)描述子算法为特征构建特征点描述符，该BEBLID描述子算法具有更强的特征表达能力，能够获得更高效的特征匹配结果。

具体过程是，

3A、构造图像高斯金字塔，

构造图像高斯金字塔的目的是实现图像尺度不变性,比如构造6层图像高斯金字塔，并按照尺度缩放因子ρ计算每层需要提取的期望的特征点数量，特征点数量的计算如式(1)所示：

其中，N_j代表第j层的特征点数量，K代表总共需要提取的特征数量，ρ代表尺度缩放因子，m代表高斯金字塔层数。

3B、进行图像分块，自适应提取不同分块的FAST特征点，

对每层金字塔进行图像分块，取块边长大小为40像素的正方形，计算图像块的数量；对每个图像块采用FAST算法检测特征点，如果没有检测到特征点，就按比例降低阈值继续在该图像块内查找特征，直到遍历完所有图像块为止；当每层金字塔提取的特征点总数达到期望的特征点数量N_j时，结束提取；

3C、进行特征点筛选，

步骤3B中提取到的特征具有大量的冗余，对此需要构建图像四叉树对这些冗余进行筛选。以原始视频帧为根节点将图像分割为四个图像块，得到四个节点，然后判断每个节点区域内的特征点数量，如果特征点数量大于1，则继续分割该节点；如果等于1，则不再分裂并保存该节点；如果小于1，则舍去该节点；重复上述过程，当图像节点数量达到要求的节点数量(本步骤优选为150)时，结束筛选，并保留每个节点内质量最好的特征；

参照图2和图3，分别为传统ORB算法与本发明改进ORB算法的特征点检测效果图，图中的圆圈标注均为提取到的特征点，由图2和图3对比可见，图3中本发明改进ORB算法提取的特征点分布均匀、冗余减小，效果明显。

3D、计算FAST特征点的方向信息，

以步骤3C中提取到的每个特征点为圆点，取直径为31个像素大小的圆形区域图像A，计算该图像A的矩m_pq,然后由矩m_pq计算图像质心C，再根据质心C计算特征点的主方向θ，计算特征方向信息的目的是实现图像旋转不变性，矩m_pq的计算如式(2)所示：

其中，m_pq代表图像A的矩，I(x,y)表示像素在图像A内坐标(x,y)处的灰度值，p、q取值为0或1；

质心C的计算如式(3)所示：

其中，(c_x,c_y)为质心坐标，m₁₀与m₀₁分别代表图像A沿x,y方向的矩，m₀₀代表图像A内所有像素的灰度值总和；

于是，上述特征点的主方向θ的计算如式(4)所示：

3E、计算特征点的BEBLID描述子，

以特征点为中心，取一个标准大小的正方形图像区域x，在该区域内任取一对尺寸为s，中心点分别为p₁,p₂的图像块，分别用R(p₁,s)和R(p₂,s)表示；然后计算R(p₁,s)和R(p₂,s)两个图像块内像素的平均灰度值之间的差异值f(x；p₁,p₂,s)，差异值f(x；p₁,p₂,s)的计算如式(5)所示：

其中，s为图像块的尺寸，I(o)表示像素在图像块R(p₁,s)内坐标o处的灰度值，I(r)表示像素在图像块R(p₂,s)内坐标r处的灰度值；

再将差异值f(x；p₁,p₂,s)与设定的阈值T_x进行比较得到h(x；p₁,p₂,s)，如式(6)所示：

其中，h(x；p₁,p₂,s)为特征点BEBLID描述子的一个分量，重复步骤3E，选择不同的成对图像块，得到不同的BEBLID描述子分量，最后得到一组特征向量表示的特征点的BEBLID描述子。

步骤4、进行特征点匹配与优化，

用双向暴力匹配算法将当前帧I_t与前一帧I_t-1进行特征点粗匹配，在此基础上，进一步利用采样PROSAC(Progress Sample Consensus)算法对粗匹配点进行优化，剔除误匹配点，得到优化后的特征匹配点；PROSAC算法是对RANSAC算法的改进，相比于RANSAC算法，节省计算量，提高效率，PROSAC算法的具体步骤是：

4A、计算粗匹配点的BEBLID描述子之间的汉明距离，并升序排列，选取前d个数据点对作为新的样本数据集J；

4B、从样本数据集J中随机选取3个数据点对计算初始化模型参数；

4C、依次将样本数据集J中剩余的数据点对代入模型中进行计算，比较偏差距离是否小于偏差阈值，本步骤中偏差阈值优选3；如果小于，则将该数据标记为内点，否则，标记为外点；

4D、重复步骤4B和步骤4C，当样本数据集J中d个点对计算完毕或者内点数据集的个数大于设定阈值时，结束迭代，本步骤设定阈值为120，输出的内点数据集S即为优化后的特征匹配点。

步骤5、去除动态目标特征匹配点，

从优化后的特征匹配点中去除动态目标特征匹配点，得到视频图像中相邻两帧I_t与I_t-1中背景图像的特征匹配点；动态目标特征匹配点去除的目的是获取视频中背景图像的特征匹配点，具体过程是：

5A、建立仿射变换模型，根据优化后的特征匹配点计算前一帧I_t-1到当前帧I_t的近似仿射变换矩阵M_t-1；

5B、利用仿射变换矩阵M_t-1对前一帧图像I_t-1进行背景补偿，得到补偿后的图像I_t′,即I_t′＝M_t-1I_t-1；

5C、将补偿后的图像I_t′与当前帧I_t的灰度值做帧差处理，得到灰度差分图像I_obj；

5D、对灰度差分图像I_obj依次进行二值化阈值处理、形态学开运算处理，得到动态目标区域I_o′_bj；

5E、将位于当前帧中动态目标区域I_o′_bj的特征匹配点剔除，得到背景图像的特征匹配点；

5F、将背景图像的特征匹配点坐标，恢复到1920*1080的原始图像分辨率(即扩大3倍，回到原始图像分辨率)下的特征匹配点坐标。

参照图4，是本发明方法动态目标特征匹配点去除后的图像特征点分布图，图4中，虚线框为塔机吊钩以及吊物的动态目标区域，比较图3与图4可见，位于吊钩及吊物动态目标区域的特征匹配点被去除。

步骤6、计算运动参数及原始运动轨迹，

由背景图像的特征匹配点计算仿射变换矩阵，提取帧间运动参数，进而计算相邻两帧视频图像中背景的原始运动轨迹，包含起重臂的主观运动以及起重臂的抖动；在本步骤中，利用最小二乘法计算相邻帧背景图像特征匹配点的仿射变换矩阵M，并提取相邻帧的运动参数(s_x,s_y,α)，进而得到塔机吊钩视频的原始运动轨迹C_t，

相邻帧背景图像特征匹配点的仿射变换模型表达式，如式(7)所示：

其中，(X_t,Y_t)代表当前帧的特征点坐标，(X_t-1,Y_t-1)代表前一帧的特征点坐标，λ代表缩放因子，α代表起重臂的旋转角度，s_x代表相邻两帧沿水平方向的平移量，s_y代表相邻两帧沿垂直方向的平移量，

将式(7)变换为A_t＝MA_t-1，利用最小二乘法计算仿射变换矩阵M，如式(8)所示：

至此，计算得到相邻帧图像运动参数(s_x,s_y,α)；

对相邻帧图像的运动参数累加，即为图像的水平运动、垂直运动以及旋转运动的原始运动轨迹C_t。

步骤7、固定滞后卡尔曼平滑处理，采用固定滞后卡尔曼平滑算法对原始运动轨迹C_t进行滤波，得到起重臂主观运动轨迹

进而得到起重臂的抖动运动；

塔机吊钩视频的原始运动轨迹C_t由起重臂的主观运动以及摄像头随机抖动合成，稳像处理需要对原始运动轨迹进行平滑处理，得到起重臂主观运动

本步骤采用一种固定滞后卡尔曼平滑算法，相比现有技术的卡尔曼滤波实时性差一些，但滤波效果更好，考虑塔机主观运动速度比较慢，采用固定滞后卡尔曼平滑算法能够满足实时性要求，且能有效去除原始运动轨迹中的随机抖动，该固定滞后卡尔曼平滑算法包括前向滤波、后向递推两个小步骤，该两个小步骤的具体过程是，

7A、前向滤波是标准的卡尔曼滤波算法，算法表达式如式(9)所示：

其中，F是状态转移矩阵,B是控制矩阵，u_t-1是(t-1)时刻的系统控制量，

是t时刻协方差矩阵的预测值，

是t时刻协方差矩阵的校正值，Q和R分别是过程噪声协方差和测量噪声协方差，H是系统参数，

是卡尔曼增益，I是单位矩阵；C_t是t时刻原始运动轨迹的观测值；

是t时刻的前向最优估计结果；

是(t-1)时刻的前向最优估计结果

对

的预测值；

利用前向滤波能够由原始运动轨迹的当前t时刻观测值C_t以及(t-1)时刻的前向最优运动估计结果

计算出当前t时刻的前向最优估计结果

7B、后向递推是通过递推过程对前向最优估计结果

进一步平滑处理，其基本过程是，由t时刻的前向最优估计结果

后向递推N次，得到(t-N)时刻的平滑处理结果

即为原始运动平滑处理后得到的主观运动；N是后向递推的平滑窗口，固定滞后平滑算法的表达式如式(10)所示：

其中，

是分别进行N次后向递推的计算结果，i＝1,2,...,N，第N次递推结果

为原始运动轨迹的固定滞后卡尔曼平滑处理结果；K⁽ⁱ⁾是固定滞后卡尔曼平滑增益，K⁽ⁱ⁾的计算如式(11)所示：

其中，P⁽ⁱ⁾是固定滞后卡尔曼平滑协方差矩阵，

参照图5，是对图像水平运动采用固定滞后卡尔曼平滑算法处理后的效果图，图5中虚线为背景图像水平运动的原始运动轨迹，实线为平滑后的运动轨迹。由图5可见，经过本步骤固定滞后卡尔曼平滑算法后，能够很好的得到塔机起重臂平滑的主观运动，有效识别出塔机吊钩视频的随机抖动。

步骤8、运动补偿，去除当前帧I_t中的抖动，输出稳定的视频帧，

首先将塔机吊钩视频背景的原始运动轨迹C_t与固定滞后卡尔曼平滑算法处理后的运动轨迹

作差，得到当前帧的抖动；然后利用抖动对当前帧进行运动补偿，即从当前帧图像中去除抖动，所得新图像即为稳定的视频帧。

Claims (8)

1.一种塔机吊钩视频的稳像处理方法，其特征在于，按照以下步骤实施：

步骤1、将塔机摄像装置实时拍摄的原始视频帧作为图像输入；

步骤2、图像预处理：采用降采样、灰度直方图均衡化对原始视频帧进行预处理；

步骤3、采用改进ORB算法对步骤2预处理后的图像进行特征提取和描述；

步骤4、进行特征点匹配与优化；

步骤5、从优化后的特征匹配点中去除动态目标特征匹配点，得到视频图像中相邻两帧I_t与I_t-1中背景图像的特征匹配点；

步骤6、计算运动参数及原始运动轨迹，由背景图像的特征匹配点计算仿射变换矩阵，提取帧间运动参数，进而计算相邻两帧视频图像中背景的原始运动轨迹，包含起重臂的主观运动以及起重臂的抖动；

步骤7、采用固定滞后卡尔曼平滑算法对原始运动轨迹C_t进行滤波，得到起重臂主观运动轨迹

进而得到起重臂的抖动运动；

步骤8、运动补偿，去除当前帧I_t中的抖动，输出稳定的视频帧，即成。

2.根据权利要求1所述的塔机吊钩视频的稳像处理方法，其特征在于：所述的步骤2的具体过程是，

将分辨率为1920*1080的原始视频帧降采样输出为640*360的视频帧；通过灰度直方图均衡化处理，增强曝光不足或过渡曝光的视频帧，增大对比度，使原始视频帧变得更加清晰。

3.根据权利要求1所述的塔机吊钩视频的稳像处理方法，其特征在于：所述的步骤3的具体过程是，将图像分块和四叉树分割两个方法相结合，对传统ORB特征提取算法进行优化改进；同时，利用BEBLID描述子算法为特征构建特征点描述符，

3A、构造图像高斯金字塔，

构造多层图像高斯金字塔，并按照尺度缩放因子ρ计算每层需要提取的期望的特征点数量，特征点数量的计算如式(1)所示：

其中，N_j代表第j层的特征点数量，K代表总共需要提取的特征数量，ρ代表尺度缩放因子，m代表高斯金字塔层数；

3B、进行图像分块，自适应提取不同分块的FAST特征点，

对每层金字塔进行图像分块，取块边长大小为40像素的正方形，计算图像块的数量；对每个图像块采用FAST算法检测特征点，如果没有检测到特征点，就按比例降低阈值继续在该图像块内查找特征，直到遍历完所有图像块为止；当每层金字塔提取的特征点总数达到期望的特征点数量N_j时，结束提取；

3C、进行特征点筛选，

构建图像四叉树对这些冗余进行筛选，以原始视频帧为根节点将图像分割为四个图像块，得到四个节点，然后判断每个节点区域内的特征点数量，如果特征点数量大于1，则继续分割该节点；如果等于1，则不再分裂并保存该节点；如果小于1，则舍去该节点；

重复上述过程，当图像节点数量达到要求的节点数量时，结束筛选，并保留每个节点内质量最好的特征；

3D、计算FAST特征点的方向信息，

以步骤3C中提取到的每个特征点为圆点，取直径为31个像素大小的圆形区域图像A，计算该图像A的矩m_pq,然后由矩m_pq计算图像质心C，再根据质心C计算特征点的主方向θ，计算特征方向信息的目的是实现图像旋转不变性，矩m_pq的计算如式(2)所示：

其中，m_pq代表图像A的矩，I(x,y)表示像素在图像A内坐标(x,y)处的灰度值，p、q取值为0或1；

质心C的计算如式(3)所示：

其中，(c_x,c_y)为质心坐标，m₁₀与m₀₁分别代表图像A沿x,y方向的矩，m₀₀代表图像A内所有像素的灰度值总和；

上述特征点的主方向θ的计算如式(4)所示：

3E、计算特征点的BEBLID描述子，

以特征点为中心，取一个标准大小的正方形图像区域x，在该区域内任取一对尺寸为s，中心点分别为p₁,p₂的图像块，分别用R(p₁,s)和R(p₂,s)表示；然后计算R(p₁,s)和R(p₂,s)两个图像块内像素的平均灰度值之间的差异值f(x；p₁,p₂,s)，差异值f(x；p₁,p₂,s)的计算如式(5)所示：

其中，s为图像块的尺寸，I(o)表示像素在图像块R(p₁,s)内坐标o处的灰度值，I(r)表示像素在图像块R(p₂,s)内坐标r处的灰度值；

再将差异值f(x；p₁,p₂,s)与设定的阈值T_x进行比较得到h(x；p₁,p₂,s)，如式(6)所示：

其中，h(x；p₁,p₂,s)为特征点BEBLID描述子的一个分量，重复步骤3E，选择不同的成对图像块，得到不同的BEBLID描述子分量，最后得到一组特征向量表示的特征点的BEBLID描述子。

4.根据权利要求1所述的塔机吊钩视频的稳像处理方法，其特征在于：所述的步骤4的具体过程是，

用双向暴力匹配算法将当前帧I_t与前一帧I_t-1进行特征点粗匹配，再利用采样PROSAC算法对粗匹配点进行优化，剔除误匹配点，得到优化后的特征匹配点，PROSAC算法的具体步骤是：

4A、计算粗匹配点的BEBLID描述子之间的汉明距离并升序排列，选取前d个数据点对作为新的样本数据集J；

4B、从样本数据集J中随机选取3个数据点对计算初始化模型参数；

4C、依次将样本数据集J中剩余的数据点对代入模型中进行计算，比较偏差距离是否小于偏差阈值；如果小于，则将该数据标记为内点，否则，标记为外点；

4D、重复步骤4B和步骤4C，当样本数据集J中d个点对计算完毕或者内点数据集的个数大于设定阈值时，结束迭代，输出的内点数据集S即为优化后的特征匹配点。

5.根据权利要求1所述的塔机吊钩视频的稳像处理方法，其特征在于：所述的步骤5的具体过程是，

5A、建立仿射变换模型，根据优化后的特征匹配点计算前一帧I_t-1到当前帧I_t的近似仿射变换矩阵M_t-1；

5B、利用仿射变换矩阵M_t-1对前一帧图像I_t-1进行背景补偿，得到补偿后的图像I′_t,即I′_t＝M_t-1I_t-1；

5C、将补偿后的图像I′_t与当前帧I_t的灰度值做帧差处理，得到灰度差分图像I_obj；

5D、对灰度差分图像I_obj依次进行二值化阈值处理、形态学开运算处理，得到动态目标区域I′_obj；

5E、将位于当前帧中动态目标区域I′_obj的特征匹配点剔除，得到背景图像的特征匹配点；

5F、将背景图像的特征匹配点坐标，恢复到1920*1080的图像分辨率下的特征匹配点坐标。

6.根据权利要求1所述的塔机吊钩视频的稳像处理方法，其特征在于：所述的步骤6的具体过程是，

利用最小二乘法计算相邻帧背景图像特征匹配点的仿射变换矩阵M，并提取相邻帧的运动参数(s_x,s_y,α)，进而得到塔机吊钩视频的原始运动轨迹C_t，

相邻帧背景图像特征匹配点的仿射变换模型表达式，如式(7)所示：

其中，(X_t,Y_t)代表当前帧的特征点坐标，(X_t-1,Y_t-1)代表前一帧的特征点坐标，λ代表缩放因子，α代表起重臂的旋转角度，s_x代表相邻两帧沿水平方向的平移量，s_y代表相邻两帧沿垂直方向的平移量，

将式(7)变换为A_t＝MA_t-1，利用最小二乘法计算仿射变换矩阵M，如式(8)所示：

至此，计算得到相邻帧图像运动参数(s_x,s_y,α)；

对相邻帧图像的运动参数累加，即为图像的水平运动、垂直运动以及旋转运动的原始运动轨迹C_t。

7.根据权利要求1所述的塔机吊钩视频的稳像处理方法，其特征在于：所述的步骤7的具体过程是，

采用固定滞后卡尔曼平滑算法，该固定滞后卡尔曼平滑算法包括前向滤波、后向递推两个小步骤，该两个小步骤具体是，

7A、前向滤波是标准的卡尔曼滤波算法，算法表达式如式(9)所示：

其中，F是状态转移矩阵,B是控制矩阵，u_t-1是(t-1)时刻的系统控制量，

是t时刻协方差矩阵的预测值，P_t ^f是t时刻协方差矩阵的校正值，Q和R分别是过程噪声协方差和测量噪声协方差，H是系统参数，

是卡尔曼增益，I是单位矩阵；C_t是t时刻原始运动轨迹的观测值；

是t时刻的前向最优估计结果；

是(t-1)时刻的前向最优估计结果

对

的预测值；

利用前向滤波能够由原始运动轨迹的当前t时刻观测值C_t以及(t-1)时刻的前向最优运动估计结果

计算出当前t时刻的前向最优估计结果

7B、后向递推是通过递推过程对前向最优估计结果

进一步平滑处理，由t时刻的前向最优估计结果

后向递推N次，得到(t-N)时刻的平滑处理结果

即为原始运动平滑处理后得到的主观运动；N是后向递推的平滑窗口，固定滞后平滑算法的表达式如式(10)所示：

其中，

是分别进行N次后向递推的计算结果，i＝1,2,...,N，第N次递推结果

为原始运动轨迹的固定滞后卡尔曼平滑处理结果；K⁽ⁱ⁾是固定滞后卡尔曼平滑增益，K⁽ⁱ⁾的计算如式(11)所示：

K⁽ⁱ⁾＝P⁽ⁱ⁾H^T[HP_t ^fH^T+R]^-1 (11)

其中，P⁽ⁱ⁾是固定滞后卡尔曼平滑协方差矩阵，

8.根据权利要求1所述的塔机吊钩视频的稳像处理方法，其特征在于：所述的步骤8的具体过程是，

首先将塔机吊钩视频背景的原始运动轨迹C_t与固定滞后卡尔曼平滑算法处理后的运动轨迹

作差，得到当前帧的抖动；

然后利用抖动对当前帧进行运动补偿，即从当前帧图像中去除抖动，得到的新图像即为稳定的视频帧，即成。

Images