CN102006398A

CN102006398A - 基于特征直线的船载摄像系统电子稳像方法

Info

Publication number: CN102006398A
Application number: CN 201010528024
Authority: CN
Inventors: 初秀琴; 胡乐; 刘洋; 范振军; 李伟哲; 秦俊; 卢珊
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2010-10-29
Filing date: 2010-10-29
Publication date: 2011-04-06

Abstract

本发明公开了一种图像处理技术领域的基于特征直线的船载摄像系统电子稳像方法，解决了船载摄像系统在舰船航行过程中的视频图像失稳问题。具体步骤为：(1)选取参考帧和读入当前帧；(2)图像二值化；(3)用sobel算子对二值化图像进行边缘检测；(4)用hough变换将图像中不连续的海天线提取出来，再利用最小二乘法将其拟合成连续的特征直线；(5)对特征直线进行水平投影；(6)求解直线方程；(7)计算偏移量Δy；(8)计算偏转量Δθ；(9)将当前帧垂直平移Δy、旋转Δθ实现稳像。本发明充分利用了航海过程中始终存在海天线这一特征，减少了过多的特征选取和特征匹配，具有良好的实时性、易于实现、计算复杂度低等特点。

Description

基于特征直线的船载摄像系统电子稳像方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种电子稳像的方法，可应用于船载摄像系统的稳像技术。

背景技术

电子稳像技术已经在稳像领域得到了验证和广泛应用，作为摄像系统载体的舰船常常受风浪的影响，造成船体姿态变化大，船体振动剧烈，使得在监视器上获得的图像信息不稳定、模糊现象十分严重，因此船载电子稳像技术也应运而生。

现阶段电子稳像的方法有许多，如公开的“电子稳像方法与系统”专利申请(公开号是CN101692692A)，该方法主要是在参考帧和当前帧中截取运算区域和参考区域，再采用搜索窗对运算区域进行螺旋搜索得到最匹配块，从而得到每个参考块的运动矢量，由此计算出当前帧图像的帧间运动矢量，对其进行平滑并累加得到每帧图像的抖动运动矢量，并与设定的阈值进行比较判断是否要进行运动补偿。由于该方法的运算量较大导致无法保证实时性，在实际操作中设备很难设定阈值。同时，由于该方法需要对图像特征进行匹配，所以需要选择较多的图像特征，从而导致该方法很难适用于画面变化不大、图像特征较少的航海摄像系统中。

近年来也公开了一些关于船载电子稳像的方法，如杨常青等人发表的“舰载光电成像系统的电子稳像技术研究”论文(中国科协第四届优秀博士生学术年会，2006年，第1328-1333页)，该论文公开的方法是将传统的光流场求解技术与特征匹配相结合，通过粗分辨率下光流场求解，可以得到粗略的运动分量。再将这些分量作为特征点匹配的概略指导，即优先在该方向下求取特征点的匹配点对。然后，利用匹配点求取的精确的运动分量，返回去指导光流场精确计算。该方法在解决光流法的实时性问题上采用了矢量块分割方法，保证了一定的实时性，但是仍然存在许多不足之处：其一，该算法中利用了特征点匹配，当特征点选择较少时，虽然减少了过程中的计算量，却无法保证匹配的高准确率，从而导致参数求解精度不高；当特征点选择较多时，在匹配过程中计算量会大大增加。其二，该算法中同时利用了光流场，光流场求解技术很难保证稳像的实时性。该算法中采用了矢量块分割方法来缓解光流场带来的实时性问题，但实时性问题依然存在。

发明内容

本发明的目的在于克服现有技术的不足，提出一种利用航海摄像系统中的图像背景特征和hough变换提取海天线，并以海天线作为特征直线代入特征直线关系式求出其特征参数得到旋转角和Y方向的偏移量，实现运动补偿的稳像方法。

为了实现上述目的，本发明的步骤如下：

(1)选取参考帧、读入当前帧。对正在进行拍摄的视频图像，从其中选取一帧平稳的图像作为参考帧，依次读入正在进行拍摄的视频图像序列作为当前帧。

(2)图像二值化。

2a)分别将每帧中所有像素点求和，将该和值除以总像素的个数得到的图像平均灰度值即为该帧图像的二值化阈值。

2b)将步骤(1)中选取的参考帧和当前帧每一点的像素与步骤2a)中获取的阈值进行比较，所有像素点比较后得到的结果构成二值化图像。

(3)边缘检测。对步骤(2)得到的参考帧和当前帧二值图像进行sobel算子边缘检测，得到参考帧和当前帧二值图像的边缘检测图像。

(4)提取不连续的海天线。利用Hough变换提取出步骤(3)的边缘检测图像中不连续的海天线。

(5)拟合参考帧、当前帧海天线。采用最小二乘法将步骤(4)中提取出来的不连续海天线拟合成连续的特征直线，输出拟合好的参考帧、当前帧海天线。

(6)水平投影参考帧、当前帧海天线。将步骤(5)输出的参考帧、当前帧海天线分别进行水平投影，在坐标轴上得到所有点的纵坐标，再将所有点的纵坐标求和，将该和值除以投影点的总个数，得到参考帧、当前帧海天线的平均坐标值。

(7)求解直线方程。分别在步骤(5)输出的参考帧、当前帧海天线上任意取3点，将该3点的横纵坐标对应的x、y数值分别代入直线方程ax+by+c＝0中，方程联立求解得到参考帧、当前帧的海天线直线方程参数a、b、c。

(8)计算平移量。将步骤(6)得到的参考帧海天线的平均坐标值与当前帧海天线的平均坐标值相减，得到垂直方向的平移量Δy。

(9)求偏转角。将由步骤(7)得到的参考帧海天线的直线方程参数和当前帧海天线的直线方程参数代入旋转角和特征直线参数之间的对应关系式，得到偏转角Δθ。

(10)平移并旋转。对步骤(1)的当前帧图像垂直平移Δy数值，将平移后的图像再旋转Δθ，得到稳像图像并输出。

本发明与现有技术相比具有以下优点：

1、由于本发明充分利用了航海摄像系统中始终存在海天线这一特征，因此无需再选取其他特征，减少了过多的特征选取，图像稳像所需时间少。

2、由于本发明只需通过对参考帧和当前帧海天线进行水平投影，并求解其直线方程参数，无需进行特征匹配运算，节省了稳像的时间，同时，也使得本发明的计算复杂度低，易于实现，具有良好的实时性。

附图说明

图1是本发明步骤(1)～(5)的流程示意图。

图2是本发明步骤(6)～(10)的流程示意图。

图3是本发明稳像前后图像效果的对比图。

图4是本发明稳像前后峰值信噪比的对比图。

具体实施方式

下面结合附图，对本发明做进一步的描述。

步骤一、选取参考帧、读入当前帧。

为了消除由于摄像系统的抖动造成图像的偏移和旋转，实现每帧图像在摄像系统上的稳定，需要从摄像系统正在进行拍摄的视频图像中选取一帧平稳的图像，将其作为稳像处理中平移和旋转的参考帧。将正在进行拍摄的视频图像序列按前后顺序一幅一幅地读入到稳像系统中，作为待稳像的当前帧。

步骤二、图像二值化。

在航海过程的视频图像中大海和天空占据绝大部分面积，并且大海的灰度和天空的灰度存在比较明显的差异，采用图像二值化的方法，增强大海和天空的灰度差别，需要找到一个临界值作为二值化阈值。

2a)求二值化阈值。稳像系统分别将每帧图像中所有像素点求和，再将该和值除以总像素的个数，得到的图像平均灰度值即为该帧图像的二值化阈值。

2b)二值化。

参考帧二值化：将步骤一中选取的参考帧每一点的像素灰度值与步骤2a)中求得的二值化阈值进行比较，若该点的像素值大于或等于阈值，则将该点的像素值置为1，否则，将该点的像素值置为0，将所有像素点比较后得到的结果，按步骤一中选取的参考帧像素点的顺序，构成所需的参考帧二值化图像。

当前帧二值化：将步骤一中读入的当前帧也按上述处理参考帧的方法进行二值化处理，得到所需的当前帧二值化图像。

步骤三、边缘检测。

在视频图像上大海和天空的分界线就是海天线，经过步骤二成功获得的参考帧和当前帧二值化图像使其显示的海天线更加清晰。在二值化图像中，大海所有像素点的像素值均为0即为黑色，天空所有像素点的像素值均为1即为白色，所以大海和天空的分界线非常明显，使提取海天线更加容易。为了提取海天线，稳像系统利用图像处理中常用的sobel算子对步骤二中参考帧和当前帧的二值化图像进行边缘检测，得到帧图像中含有海天线的所有边缘轮廓。

步骤四、提取不连续的海天线。

由于步骤三检测得到的边缘轮廓图像中，边缘线并不只有海天线，还检测出了许多来自其他自然景物或者舰船的边缘轮廓，而这些轮廓大部分都是曲线，或者无用的短线段，稳像系统利用图像处理中常用的Hough变换提取直线的方法，将其中不连续的海天线提取出来。

步骤五、拟合参考帧、当前帧海天线。

由于步骤四中提取出来的海天线不是连续的，无法得到其直线方程，所以稳像系统利用常用的最小二乘数学方法，将不连续的海天线上所有的坐标点拟合成为连续的特征直线，并输出拟合后的参考帧、当前帧海天线，便于后面对其进行直线方程参数的求解。

步骤六、水平投影参考帧、当前帧海天线。

由于海天线只存在垂直方向上的偏移，将步骤五中输出的参考帧、当前帧海天线进行水平投影，而拟合后的参考帧和当前帧海天线的长度并不相同，所以只需选取部分海天线进行投影。

在参考帧中选取海天线横坐标相同的点进行水平投影，对在坐标轴上得到的所有投影点纵坐标值进行求和，再将该和值除以投影点的总个数，得到参考帧海天线的平均坐标值。按求解参考帧海天线平均坐标值的步骤，对当前帧海天线的平均坐标值进行求解。

步骤七、求解直线方程。

步骤五输出的参考帧与当前帧海天线的存在一定量的角度差值，该差值可以通过偏转角与特征直线参数之间的对应关系得到，所以在参考帧、当前帧海天线上任意取3点，假设这3点的横纵坐标分别为(x1，y1)、(x2，y2)和(x3，y3)，分别将这3点代入直线方程ax+by+c＝0，方程联立求解得到参考帧直线方程参数a_m、b_m、c_m，当前帧直线方程参数a_n、b_n、c_n。

步骤八、计算平移量。

为了得到步骤五输出的参考帧与当前帧海天线在垂直方向的偏移量，将步骤六得到参考帧和当前帧的平均坐标值相减，所得到的差值就是海天线在垂直方向上的平移量Δy。

步骤九、求偏转角。

为了得到步骤五输出的参考帧与当前帧海天线之间的角度差，需要通过偏转角与特征直线参数之间的对应关系来求得。由步骤八得到的参考帧特征直线的直线方程为：

a_mx_m+b_my_m+c_m＝0 (公式1)

当前帧特征直线的直线方程为：

a_nx_n+b_ny_n+c_n＝0 (公式2)

由公式1和公式2经过变换得到偏转角Δθ与特征直线参数a_m、b_m、a_n、b_n之间的对应关系：

\{\begin{matrix} \sin Δθ = \frac{a_{m} b_{n} - a_{n} b_{m}}{a_{n}^{2} + b_{n}^{2}} \\ \cos Δθ = \frac{a_{m} a_{n} + b_{m} b_{n}}{a_{n}^{2} + b_{n}^{2}} \end{matrix} Δθ = \arctan \frac{\sin Δθ}{\cos Δθ}

(公式3)

从而求得参考帧和当前帧特征直线的偏转角度Δθ。

步骤十、平移并旋转。

由步骤八获得当前帧图像相对于参考帧图像在垂直方向的偏移量Δy，由步骤九获得当前帧图像相对于参考帧图像的偏转角度Δθ，将当前帧图像垂直移动Δy、旋转Δθ获得最后的稳像效果。

本发明的效果可通过以下仿真进一步说明。

应用本发明对一个50帧的视频图像序列进行matlab仿真实验，并通过峰值信噪比(PSNR)来对比稳像前后的效果。

图3(a)、(b)、(c)是视频图像序列中第1帧、第20帧和第40帧稳像前的图像，图3(d)、(e)是图像序列中第20帧和第40帧稳像后的图像。图3(d)是图3(b)经过垂直向下平移7个像素和向右旋转0.34°获得的稳像图，图3(e)是图3(c)经过垂直向上平移1个像素和向左旋转1.33°获得的稳像图。

在图4稳像前后峰值信噪比(PSNR)对比图中，采用下列公式对稳像前后的峰值信噪比(PSNR)进行计算：

PSNR＝10log[255²/MSE(S₁，S₀)]

其中，MSE是参考帧与当前帧的最小均方误差，其定义为：

MSE (S_{1}, S_{0}) = \frac{1}{MN} Σ_{i = n}^{n + N} Σ_{j = m}^{m + M} | S_{1} (i, j) - S_{0} (i, j) |^{2}

其中，S₀为参考帧图像，S₁为当前帧图像，M、N为图像S₁和S₀水平和垂直尺寸，m、n为图像S₁和S₀水平移动和垂直移动尺寸，这里均为0。

由图4可以看出稳像后的峰值信噪比(PSNR)值比稳像前的峰值信噪比(PSNR)值平均高出10.8db，由此可以看出本发明在视频序列的稳像上取得了良好的效果。

Claims

1.一种基于特征直线的船载摄像系统电子稳像方法，包括如下步骤：

(1)选取参考帧、读入当前帧，对正在进行拍摄的视频图像，从其中选取一帧平稳的图像作为参考帧，依次读入正在进行拍摄的视频图像序列作为当前帧；

(2)图像二值化：

2a)分别将每帧中所有像素点求和，将该和值除以总像素的个数得到的图像平均灰度值即为该帧图像的二值化阈值；

2b)将步骤(1)中选取的参考帧和当前帧每一点的像素与步骤2a)中获取的阈值进行比较，所有像素点比较后得到的结果构成二值化图像；

(3)边缘检测，对步骤(2)得到的参考帧和当前帧二值图像进行sobel算子边缘检测，得到参考帧和当前帧二值图像的边缘检测图像；

(4)提取不连续的海天线，利用Hough变换提取出步骤(3)的边缘检测图像中不连续的海天线；

(5)拟合参考帧、当前帧海天线，采用最小二乘法将步骤(4)中提取出来的不连续海天线拟合成连续的特征直线，输出拟合好的参考帧、当前帧海天线；

(6)水平投影参考帧、当前帧海天线，将步骤(5)输出的参考帧、当前帧海天线分别进行水平投影，在坐标轴上得到所有点的纵坐标，再将所有点的纵坐标求和，将该和值除以投影点的总个数，得到参考帧、当前帧海天线的平均坐标值；

(7)求解直线方程，分别在步骤(5)输出的参考帧、当前帧海天线上任意取3点，将该3点的横纵坐标对应的x、y数值分别代入直线方程ax+by+c＝0中，方程联立求解得到参考帧、当前帧的海天线直线方程参数a、b、c；

(8)计算平移量，将步骤(6)得到的参考帧海天线的平均坐标值与当前帧海天线的平均坐标值相减，得到垂直方向的平移量Δy；

(9)求偏转角，将由步骤(7)得到的参考帧海天线的直线方程参数和当前帧海天线的直线方程参数代入旋转角和特征直线参数之间的对应关系式，得到偏转角Δθ；

(10)平移并旋转，对步骤(1)的当前帧图像垂直平移Δy数值，将平移后的图像再旋转Δθ，得到稳像图像并输出。

2.根据权利要求1所述的基于特征直线的船载摄像系统电子稳像方法，其特征在于：所述步骤2b)二值化阈值与所有像素点比较时，若该点的像素值大于或等于阈值时，则该点的像素值置为1，否则，该点的像素值置为0。

3.根据权利要求1所述的基于特征直线的船载摄像系统电子稳像方法，其特征在于：所述步骤(6)中海天线的水平投影是选取参考帧和当前帧海天线上横坐标相同的点进行水平投影。

4.根据权利要求1所述的基于特征直线的船载摄像系统电子稳像方法，其特征在于：所述步骤(9)中的对应关系式是指：

\{\begin{matrix} \sin Δθ = \frac{a_{m} b_{n} - a_{n} b_{m}}{a_{n}^{2} + b_{n}^{2}} \\ \cos Δθ = \frac{a_{m} a_{n} + b_{m} b_{n}}{a_{n}^{2} + b_{n}^{2}} \end{matrix}, Δθ = \arctan \frac{\sin Δθ}{\cos Δθ}

其中，a_m、b_m、c_m是参考帧直线方程参数，a_n、b_n、c_n是当前帧直线方程参数。