CN104144282B - 一种适用于空间机器人视觉系统的快速数字稳像方法 - Google Patents

Abstract

本发明公开了一种适用于空间机器人视觉系统的快速数字稳像方法，涉及一种快速数字稳像技术，由图像预处理、局部运动估计、全局运动估计、运动滤波和运动补偿等五部分组成。本发明在对图像预处理的基础上采用ORB特征点提取算法能够快速精确的对前后帧图像进行特征点提取和匹配，具有时间和精度上的优势。得到匹配点对后利用豪斯赫尔德变换法和广义矩阵法能够精确求解出全局运动矢量，为后续的运动滤波和补偿奠定基础。然后采用阻尼系数法能够保留随机抖动运动分量，消除正常扫描分量。最后利用帧间全局运动矢量的线性组合对单帧图像的各个像素点进行位置调整得到稳定的视频图像序列。时间复杂度较低，预测和补偿精度较高。

Description

一种适用于空间机器人视觉系统的快速数字稳像方法

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种适用于空间机器人视觉系统的快速数字稳像方法。

背景技术

数字稳像是对随机运动的摄像机系统所获取的非平稳视频图像序列进行修正的技术。其目的是消除因载体多余运动造成的图像序列中同一物体在不同帧图像坐标上的位移量，进而消除因视觉残留造成观察到的图像序列模糊和抖动。相对于机械稳像和光学稳像，数字稳像具有精度高、易操作、灵活性强、硬件少、体积小等特点。在国外已被广泛应用于摄影、航空侦察、武器系统的观瞄监视、视频压缩和全景图像拼接等各种任务中。

空间绳系机器人是一种新型的智能运动平台，其上搭载着用于用于视觉测量的摄像机系统。在空间绳系机器人逼近非合作目标的自主飞行过程中伴随着因控制不平滑导致的不规则运动，使得其上装配的摄像机系统获取到的图像序列因抖动而模糊，为后续的目标检测、识别、测量带来干扰。因此需要对获取的图像序列首先进行数字稳像。

数字稳像系统主要由运动估计和运动补偿两个模块组成。运动估计是估计出视频图像序列的帧间偏移量，为运动补偿提供可靠参数。运动补偿是根据估计所得偏移量确定图像的抖动量，并根据抖动量的大小和方向将图像上的像素作等量的反方向移动，进行图像的行、列重组，实现图像序列稳定。目前图像序列帧间运动估计算法主要有：灰度投影法、块匹配法、光流场法、特征匹配法等。其中灰度投影法具有计算量小、精度高的特点，但对旋转、缩放、和较大的平移运动等稳像效果不佳；块匹配法精度很高，但受搜索策略和匹配准则影响，稳像效果参差不齐；光流场法存在孔径问题和遮挡问题，其光流约束方程并非严格成立，计算量大且存在较大误差；相位法计算量大，难以保证实时性；特征匹配法能够快速有效地稳定以任意形式抖动的图像序列，是未来数字稳像发展的主要方向。但是，它存在两个问题：一是如何稳定、准确、快速地提取图像特征；二是如何快速、准确地进行图像特征的匹配。

公开日为2010年4月7日、公开号为CN101692692A的专利文献中公开了如下这种技术方案，一种电子稳像技术，可对待处理视频文件的每个单帧图像均主要进行如下处理：对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量，进一步得到当前帧图像的抖动运动矢量；将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量，以对每个单帧图像进行运动补偿，最终获得处理后的稳定的视频文件，等等。该方案的不足之处在于处理过程繁琐，计算量大，可处理的抖动范围小，而且对图像进行转换过程中影响了图像质量。

发明内容

本发明的目的在于弥补现有数字稳像技术在计算速度、稳像精度、适用范围和鲁棒性上的不足，提供一种能够实时对复杂抖动图像序列进行稳像的适用于空间机器人视觉系统的快速数字稳像方法，该方法能够极大地抑制图像噪声对特征点提取的干扰，比较精确地计算出全局运动矢量并进行补偿，时间复杂度和空间复杂度较优。

为实现上述目的，本发明所采用的技术方案包括以下步骤：

1)图像采集：

利用单目相机采集连续两帧图像I_t-1(x,y)和I_t(x,y)；

2)图像预处理：

对采集到的图像I_t-1(x,y)和I_t(x,y)分别进行中值滤波、维纳滤波和灰度化处理，得到图像对I_t-1(x’,y’)和I_t(x’,y’)，其中I_t-1(x’,y’)定义为参考帧，I_t(x’,y’)定义为当前帧；

3)局部运动估计：

对I_t-1(x’,y’)和I_t(x’,y’)利用ORB算法进行特征提取，在对步骤2)得到的两幅图像进行检测，并使用rBRIEF得到二进制位串的关键点描述符，在关键点匹配的过程中距离的描述使用Hamming距离，在匹配点搜索的过程中，使用KD树数据结构，最后采用阈值法剔除错误的匹配点对；

4)全局运动估计：

根据步骤3)得到的匹配点对，采用最小二乘法，利用豪斯赫尔德变换法和广义矩阵法求解出所有运动参数；

5)运动滤波：

采用阻尼系数法，设置有衰减因子的一阶线性自回归函数对步骤4)得到的运动参数进行平滑处理，保留随机抖动运动分量，消除正常扫描分量；

6)运动补偿：

根据步骤5)得到的随机抖动运动矢量进行判断，如果当前帧图像的抖动运动矢量超过设定的阈值，则重置当前帧为起始帧；

否则，以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，即利用帧间全局运动矢量的线性组合对单帧图像的各个像素点进行位置调整，并写入视频文件，得到稳定的视频图像序列。

所述的步骤3)中，局部运动估计的具体方法如下：

3-1)进行Oriented FAST特征点检测，生成Rotated BRIEF特征描述子，分别得到I_t-1(x’,y’)和I_t(x’,y’)上的特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}；

3-2)特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}匹配的过程中使用Hamming距离作为距离的描述；在匹配点搜索的过程中使用KD树数据结构，得到粗匹配后的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}；

3-3)对粗匹配后得到的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}进行错误匹配点的剔除方法如下：分别计算各匹配点之间的Euclidean距离d_lr1,d_lr2,…,d_lrc，计算得到其中的最小距离d_min；

对特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中每个特征点对进行如下判断，如果d_lri<2×d_min，该特征点对视为正确匹配，则保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，则剔除该特征点对P_lmi和P_rmi；经过该步骤后得到正确匹配的N对特征点集{P_lfm1,P_lfm2,…,P_lfmN}和{P_rfm1,P_rfm2,…,P_rfmN}；

定义参考帧中{P_lfm1,P_lfm2,…,P_lfmN}各点的坐标形式为(x_i,y_i)，当前帧中{P_rfm1,P_rfm2,…,P_rfmN}各点的坐标形式为

所述的步骤4)中，利用豪斯赫尔德变换法和广义矩阵法求解出所有运动参数的具体方法如下：

采用相似变换模型描述图像帧间的平移和绕光轴的旋转运动，其定义式如下所示

其中，s为帧间变焦系数，θ为帧间旋转角度，[Δx,Δy]为水平和垂直偏移量；

(a)确定变焦系数s

由公式(2)计算获取参考帧和当前帧中特征点集合的质心(X_t-1,Y_t-1)和(X_t,Y_t)：

由公式(3)计算参考帧相对于当前帧的变焦系数：

(b)确定旋转和平移参数

当摄像系统帧率大于15fps时，相邻两帧图像相对旋转运动小于5°，在这种运动情况下，cosθ≈1，sinθ≈θ，从而将公式(1)改写为：

将进行距离不变性验证后的N匹配的特征点(x_i,y_i)，代入方程(4)得如下方程组：

定义：

则可将公式(5)转换为如下形式：

B＝AX (6)

采用最小二乘法，利用豪斯赫尔德变换法和广义矩阵法求解出公式(6)的解，就是参考帧与当前帧之间的帧间全局运动矢量GMV＝[θ,Δx,Δy]。

所述的步骤5)中，一阶线性自回归函数为：

SMV(i)＝αSMV(i-1)+βGMV(i) (7)

其中SMV(i)为当前帧的抖动运动矢量，SMV(i-1)为参考帧的抖动运动矢量，GMV(i)为参考帧与当前帧之间的全局运动矢量，i为帧数；α是介于0与1之间的阻尼系数，β是介于0与1之间的衰减因子，至此得到抖动运动矢量。

与现有技术相比，本发明具有如下有益效果：

本发明在对图像预处理的基础上采用ORB特征点提取算法能够快速精确的对前后帧图像进行特征点提取和匹配，具有时间和精度上的优势。得到匹配点对后利用豪斯赫尔德变换法和广义矩阵法能够精确求解出全局运动矢量，为后续的运动滤波和补偿奠定基础。然后采用阻尼系数法能够保留随机抖动运动分量，消除正常扫描分量。最后利用帧间全局运动矢量的线性组合对单帧图像的各个像素点进行位置调整得到稳定的视频图像序列。时间复杂度较低，预测和补偿精度较高。

附图说明

图1为本发明的算法总流程框图；

图2为本发明算法实施实例效果示意图；其中，(a)表示参考帧，(b)表示当前帧，(c)表示稳定帧，(d)表示当前帧与参考帧的差值，(e)表示当前帧与稳定帧的差值；

图3为本发明稳像前后视频序列帧间保真度比较图。

具体实施方式

以下结合附图对本发明进行详细的描述。应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明实施例提供的一种适用于空间运动平台的快速数字稳像技术包括：

(1)图像采集：

利用单目相机采集连续两帧图像I_t-1(x,y)和I_t(x,y)。

(2)图像预处理：

对采集到的图像I_t-1(x,y)和I_t(x,y)分别进行中值滤波、维纳滤波和灰度化处理，得到图像对I_t-1(x’,y’)和I_t(x’,y’)，其中I_t-1(x’,y’)定义为参考帧，I_t(x’,y’)定义为当前帧。

(3)局部运动估计：

对I_t-1(x’,y’)和I_t(x’,y’)利用ORB算法进行特征提取，简要做法如下：进行Oriented FAST特征点检测；生成Rotated BRIEF特征描述子。

其中关于上述步骤如何具体操作，为本领域公知技术，可参考文献1“EthanRublee,Vincent Rabaud,Kurt Konolige and Gary Bradski.ORB:an efficientalternative to SIFT or SURF[C].IEEE International Conference,Barcelona,2011:2564-2571.”，此处不再赘述。

经过这一步骤可以分别得到I_t-1(x’,y’)和I_t(x’,y’)上的特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}。

特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}匹配的过程中使用Hamming距离作为距离的描述。在匹配点搜索的过程中使用KD树数据结构，由此可以得到粗匹配后的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}。

对粗匹配后得到的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}进行错误匹配点的剔除方法如下：分别计算各匹配点之间的Euclidean距离d_lr1,d_lr2,…,d_lrc。计算得到其中的最小距离d_min。

对特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中每个特征点对进行如下判断，如果d_lri<2×d_min，该特征点对视为正确匹配，则保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，则剔除该特征点对P_lmi和P_rmi。经过该步骤后得到正确匹配的N对特征点集{P_lfm1,P_lfm2,…,P_lfmN}和{P_rfm1,P_rfm2,…,P_rfmN}。

定义参考帧中{P_lfm1,P_lfm2,…,P_lfmN}各点的坐标形式为(x_i,y_i)，当前帧中{P_rfm1,P_rfm2,…,P_rfmN}各点的坐标形式为

(4)全局运动估计：根据(3)得到的匹配点对，采用最小二乘法的思想，利用豪斯赫尔德变换法和广义矩阵法等可求解出所有运动参数。

采用相似变换模型描述图像帧间的平移和绕光轴的旋转运动，其定义式如下所示

其中，s为帧间变焦系数，θ为帧间旋转角度，[Δx,Δy]为水平和垂直偏移量。

(a)确定变焦系数s

由公式(2)计算获取参考帧和当前帧中特征点集合的质心(X_t-1,Y_t-1)和(X_t,Y_t)：

由公式(3)计算参考帧相对于当前帧的变焦系数：

(b)确定旋转和平移参数

当摄像系统帧率大于15fps时，相邻两帧图像相对旋转运动一般小于5°。在这种较小运动情况下，cosθ≈1，sinθ≈θ，从而(1)式可以改写为：

将进行距离不变性验证后的N匹配的特征点(x_i,y_i)，代入方程(4)得如下方程组：

定义：

则可将方程组(5)转换为如下形式：

B＝AX (6)

采用最小二乘法的思想，利用豪斯赫尔德变换法和广义矩阵法等可求解出超定方程组(6)的解，就是参考帧与当前帧之间的帧间全局运动矢量GMV＝[θ,Δx,Δy]。

其中关于上述步骤如何具体操作，为本领域公知技术，可参考文献2“仲训昱，朱齐丹，张智.数字稳像中的快速和鲁棒运动估计研究[J].电子学报，2010，38(1)：251-256”，此处不再赘述。

(5)运动滤波：

一阶线性自回归函数为：

SMV(i)＝αSMV(i-1)+βGMV(i) (7)

其中SMV(i)为当前帧的抖动运动矢量，SMV(i-1)为参考帧的抖动运动矢量，GMV(i)为参考帧与当前帧之间的全局运动矢量，i为帧数。

α是介于0与1之间的阻尼系数。

β是介于0与1之间的衰减因子。

至此可得到抖动运动矢量。

(6)运动补偿：

根据(5)得到的随机抖动运动矢量进行判断，如果当前帧图像的抖动运动矢量超过设定的阈值，则重置当前帧为起始帧。

否则，以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，即利用帧间全局运动矢量的线性组合对单帧图像的各个像素点进行位置调整，并写入视频文件，得到稳定的视频图像序列。

算法具体实施实例效果示意图如图2所示。图3为稳像前后视频序列帧间保真度比较图，定量对稳像前后图像序列质量进行了对照评估。图3中下方的折线表示稳像前视频序列中各帧PSNR值。上方的折线表示稳像后视频序列中各帧PSNR值。可以定量的看出稳像后各帧PSNR值均比稳像前有所提高。而且稳像前图像的平均PSNR值为32.6151，而稳定后序列30～69帧图像的平均PSNR值提升至41.3532。

本发明的方法易于实现和应用，主要可以应用于以下几个方面：

1、空间运动平台如空间绳系机器人等；

2、武器系统的观瞄监视；

3、手持或车载摄影设备的自动稳像；

4、视频压缩和全景图像拼接。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种适用于空间机器人视觉系统的快速数字稳像方法，其特征在于，包括以下步骤：

1)图像采集：

利用单目相机采集连续两帧图像I_t-1(x,y)和I_t(x,y)；

2)图像预处理：

对采集到的图像I_t-1(x,y)和I_t(x,y)分别进行中值滤波、维纳滤波和灰度化处理，得到图像对I_t-1(x’,y’)和I_t(x’,y’)，其中I_t-1(x’,y’)定义为参考帧，I_t(x’,y’)定义为当前帧；

3)局部运动估计：

对I_t-1(x’,y’)和I_t(x’,y’)利用ORB算法进行特征提取，在对步骤2)得到的两幅图像进行检测，并使用rBRIEF得到二进制位串的关键点描述符，在关键点匹配的过程中距离的描述使用Hamming距离，在匹配点搜索的过程中，使用KD树数据结构，最后采用阈值法剔除错误的匹配点对；

局部运动估计的具体方法如下：

3-1)进行Oriented FAST特征点检测，生成Rotated BRIEF特征描述子，分别得到I_t-1(x’,y’)和I_t(x’,y’)上的特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}；

3-2)特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}匹配的过程中使用Hamming距离作为距离的描述；在匹配点搜索的过程中使用KD树数据结构，得到粗匹配后的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}；

3-3)对粗匹配后得到的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}进行错误匹配点的剔除方法如下：分别计算各匹配点之间的Euclidean距离d_lr1,d_lr2,…,d_lrc，计算得到其中的最小距离d_min；

对特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中每个特征点对进行如下判断，如果d_lri<2×d_min，该特征点对视为正确匹配，则保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，则剔除该特征点对P_lmi和P_rmi；经过该步骤后得到正确匹配的N对特征点集{P_lfm1,P_lfm2,…,P_lfmN}和{P_rfm1,P_rfm2,…,P_rfmN}；

定义参考帧中{P_lfm1,P_lfm2,…,P_lfmN}各点的坐标形式为(x_i,y_i)，当前帧中{P_rfm1,P_rfm2,…,P_rfmN}各点的坐标形式为

4)全局运动估计：

根据步骤3)得到的匹配点对，采用最小二乘法，利用豪斯赫尔德变换法和广义矩阵法求解出所有运动参数；

利用豪斯赫尔德变换法和广义矩阵法求解出所有运动参数的具体方法如下：

采用相似变换模型描述图像帧间的平移和绕光轴的旋转运动，其定义式如下所示

<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mover> <mi>x</mi> <mo>^</mo> </mover> </mtd> </mtr> <mtr> <mtd> <mover> <mi>y</mi> <mo>^</mo> </mover> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>s</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;theta;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>&amp;Delta;</mi> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>&amp;Delta;</mi> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中，s为帧间变焦系数，θ为帧间旋转角度，[Δx,Δy]为水平和垂直偏移量；

(a)确定帧间变焦系数s

由公式(2)计算获取参考帧和当前帧中特征点集合的质心(X_t-1,Y_t-1)和(X_t,Y_t)：

<mrow> <msub> <mi>X</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>X</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Y</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow> 1

由公式(3)计算参考帧相对于当前帧的帧间变焦系数s：

<mrow> <mi>s</mi> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>X</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Y</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>&amp;times;</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>X</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Y</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>X</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Y</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

(b)确定旋转和平移参数

当摄像系统帧率大于15fps时，相邻两帧图像相对旋转运动小于5^°，在这种运动情况下，cosθ≈1，sinθ≈θ，从而将公式(1)改写为：

<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mover> <mi>x</mi> <mo>^</mo> </mover> </mtd> </mtr> <mtr> <mtd> <mover> <mi>y</mi> <mo>^</mo> </mover> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>s</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mi>&amp;theta;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mi>&amp;theta;</mi> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>&amp;Delta;</mi> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>&amp;Delta;</mi> <mi>y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

将进行距离不变性验证后的N匹配的特征点(x_i,y_i)，代入方程(4)得如下方程组：

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> <mo>=</mo> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>x</mi> </mrow> </mtd> <mtd> <mn>...1</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> <mo>=</mo> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> </mrow> </mtd> <mtd> <mn>...2</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> <mo>=</mo> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>x</mi> </mrow> </mtd> <mtd> <mn>...3</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> <mo>=</mo> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> </mrow> </mtd> <mtd> <mn>...4</mn> </mtd> </mtr> <mtr> <mtd> <mn>...</mn> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>N</mi> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> <mo>=</mo> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>x</mi> </mrow> </mtd> <mtd> <mrow> <mn>...2</mn> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>N</mi> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> <mo>=</mo> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> </mrow> </mtd> <mtd> <mrow> <mn>...2</mn> <mi>N</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

定义：

<mrow> <mi>X</mi> <mo>=</mo> <mfenced open = "|" close = "|"> <mtable> <mtr> <mtd> <mi>&amp;theta;</mi> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;Delta;</mi> <mi>x</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;Delta;</mi> <mi>y</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>B</mi> <mo>=</mo> <mfenced open = "|" close = "|"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>...</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>N</mi> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>N</mi> </msub> <mo>-</mo> <mi>s</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>A</mi> <mo>=</mo> <mfenced open = "|" close = "|"> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>x</mi> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>&amp;theta;</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>1</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>&amp;theta;</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>x</mi> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>&amp;theta;</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mn>2</mn> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <mn>...</mn> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>x</mi> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>s</mi> <mi>&amp;theta;</mi> <msub> <mover> <mi>x</mi> <mo>^</mo> </mover> <mi>N</mi> </msub> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>

则可将公式(5)转换为如下形式：

B＝AX (6)

采用最小二乘法，利用豪斯赫尔德变换法和广义矩阵法求解出公式(6)的解，就是参考帧与当前帧之间的帧间全局运动矢量GMV＝[θ,Δx,Δy]；

5)运动滤波：

采用阻尼系数法，设置有衰减因子的一阶线性自回归函数对步骤4)得到的运动参数进行平滑处理，保留随机抖动运动矢量，消除正常扫描矢量；

6)运动补偿：

根据步骤5)得到的随机抖动运动矢量进行判断，如果当前帧图像的抖动运动矢量超过设定的阈值，则重置当前帧为起始帧；

否则，以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，即利用帧间全局运动矢量的线性组合对单帧图像的各个像素点进行位置调整，并写入视频文件，得到稳定的视频图像序列。

2.根据权利要求1所述的适用于空间机器人视觉系统的快速数字稳像方法，其特征在于：所述的步骤5)中，一阶线性自回归函数为：

SMV(i)＝αSMV(i-1)+βGMV(i) (7)

其中SMV(i)为当前帧的抖动运动矢量，SMV(i-1)为参考帧的抖动运动矢量，GMV(i)为参考帧与当前帧之间的全局运动矢量，i为帧数；α是介于0与1之间的阻尼系数，β是介于0与1之间的衰减因子，至此得到抖动运动矢量。