CN108520496A - 一种基于光流法的海空背景监控视频图像拼接方法 - Google Patents

Abstract

本发明公开一种基于光流法的海空背景监控视频图像拼接方法，针对目前海空背景监控视频图像拼接技术存在的难点，本发明将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；本发明方法具有拼接速度快，拼接得到的图像质量佳等优点。

Description

一种基于光流法的海空背景监控视频图像拼接方法

技术领域

本发明属于图像拼接领域，特别涉及一种海空背景监控视频图像拼接技术。

背景技术

监控系统是一种重要的安防手段，监控系统能够为决策者提供实时、直观、准确、丰富的现场信息，对监控视频的全景图像拼接，可以解决单个摄像头视角较小的局限性，能够为观察者提供全方位、无间隙的实时监控。目前的海空背景监控视频图像，其图像拼接有以下几个难点：(1)监控视频图像分辨率较低、图像质量不高、像素值以灰度值为主，色彩不够丰富、图像特征不明显；(2)视频图像上加载有比较明显的水印字幕，对图像拼接有很大的影响；(3)海空背景中的海面波浪纹理和天空纹理具有高度相似性、重复性，使得图像特征不明显、图像配准难度较大；(4)视频每秒的图像帧数比较多，对图像拼接算法速度要求较高；虽然已有很多视频图像拼接方面的专利，但是，针对上述4个难点的海空背景监控视频，还未有很好的解决方案。

发明内容

为解决上述技术问题，本发明提出一种基于光流法的海空背景监控视频图像拼接方法，能很好地去除水印字幕，对于低分辨率、特征不明显的海空背景视频图像能很好地实现图像拼接。

本发明采用的技术方案为：一种基于光流法的海空背景监控视频图像拼接方法，将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；包括以下技术：

1、选择性中值滤波算法

(1)在图像上用矩形框选出含有水印字幕的图像区域；

(2)选择一个模板大小S为11×11的中值滤波器，设定一个阈值K为200，在步骤(1)中选出的矩形区域，用式下面的公式进行选择性中值滤波。

其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，F(x,y)是选择中值滤波后的图像，median(·)为取中值函数，(s,t)∈S表示模板11×11内的点坐标，S、K为阈值是经验值，本发明K取值200；

这里的中值滤波具体处理过程为：对于原图像f(x,y)上的每个像素点，判断其是否大于K，若大于K，利用中值滤波对其进行处理，若小于K，不处理，最后得到的图像F(x,y)就是去除水印后的图像，其中，中值滤波为：对于以原像素点为中心的11×11像素点范围内，按照图像灰度值排序，选取排序中的中位数作为滤波后的值。

2、采用光流法计算光流场

使用Opencv库内部函数Farneback计算第t、t+1帧图像之间的光流场，为了加快计算速度，先对图像进行2倍下采样，缩小图像的尺寸；

3、距离加权法融合

距离加权法是对两幅图像重叠区域的每个像素点计算加权得到，权值和距离有关系，其具体公式如下：

其中，I₁(x,y)表示图像1中的重叠区域，I₂(x,y)表示图像2中的重叠区域，I₁、I₂分别为I₁(x,y)、I₂(x,y)的简写，m(x,y)和n(x,y)分别是图像1和图像2的权值，m(x,y)和n(x,y)计算公式为：

其中，p表示点Q(x,y)到图像1左边的距离，q表示点Q(x,y)到图像2右边的距离。

综上，本发明技术方案包括以下流程：

步骤1、输入原始监控视频；

步骤2、设置初始帧t＝0，并设置拼接帧数T；

步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕；

步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；

步骤5、使用直方图统计光流场在水平方向和垂直方向上的分布，对应的光流场直方图峰值记为x和y，根据x和y得到变换矩阵M；

步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，采用距离加权法进行图像融合；

步骤7、执行t＝t+1，若T＞t，进入步骤3，否则退出循环，输出最终的全景图像。

本发明的有益效果：本发明的一种基于光流法的海空背景监控视频图像拼接方法，将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；本发明包括以下优点：

1)采用中值滤波去水印方法，能够很好地去除图像水印字幕；

2)采用光流法以及距离加权图像融合，通过调用Opencv库能够简单，快速实现；通过大量的测试，本发明对视频能够实现0.219帧/s的图像拼接速度，具有很快的拼接速度，同时拼接得到的图像质量也比较好。

附图说明

图1为本发明实施例提供的算法流程示意图；

图2为本发明实施例提供的原始监控视频图像；

图3为本发明实施例提供的使用选择性中值滤波去除水印后的图像；

图4为本发明实施例提供的使用光流法计算出的光流场图像；

图5为本发明实施例提供的光流场x方向统计直方图；

图6为本发明实施例提供的光流场y方向统计直方图；

图7为本发明的最后得出的全景图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

目前的海空背景监控视频图像拼接存在以下问题：

(1)分辨率较低、图像质量不高、像素值以灰度值为主，色彩不够丰富、图像特征不明显；

(2)视频图像上加载有比较明显的水印字幕，对图像拼接有很大的影响；

(3)海空背景中的海面波浪纹理和天空纹理具有高度相似性、重复性，使得图像特征不明显、图像配准难度较大；

(4)视频每秒的图像帧数比较多，对图像拼接算法速度要求较高；

本发明提供一种基于光流法的海空背景监控视频图像拼接方法，利用光流法及中值滤波去除图像水印等方法，能够很好地解决以上四点问题；如图1所示，本发明的技术方案具体包括以下步骤：

步骤1、输入原始监控视频；如图2所示，矩形框内为水印字幕；

步骤2、设置初始帧t＝0，并设置拼接帧数T；这里T的取值小于视频总帧数；

步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕，去除水印字幕的图像如图3所示；具体包括以下分步骤：

步骤31、在第t帧图像与第t+1帧图像上用矩形框选出含有水印字幕的图像区域，得到两个矩形区域；

步骤32、选择一个模板大小S为11×11的中值滤波器，对步骤31选出的两个矩形区域，采用下面的公式进行选择性中值滤波：

其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，F(x,y)是选择中值滤波后的图像，median(·)为取中值函数，(s,t)∈S表示模板11×11内的点坐标，本实施例中K＝200，是经验值。

步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；具体的：本发明使用Opencv库内部函数Farneback计算第t、t+1帧图像之间的光流场；并且为了加快计算速度，在计算光流场之前先对经步骤3去除水印后的第t帧图像与第t+1帧图像进行2倍下采样，缩小图像的尺寸；根据步骤4得到的图像如图4所示。

步骤5、使用直方图统计光流场在水平方向和垂直方向上的光流值，计算出变换矩阵M；具体的：对于步骤4中计算出的第t、t+1帧图像之间的光流场，光流场在水平方向上的直方图的峰值点作为变换矩阵M中的x值，光流场在垂直方向上的直方图的峰值点作为M矩阵中的y值，光流场x方向统计直方图如图5所示，光流场y方向统计直方图如图6所示，M矩阵为：

步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，采用距离加权法进行图像融合；具体包括以下分步骤：

步骤61、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t、t+1帧图像进行平面投影，确定图像重叠区域；

步骤62、对图像重叠区域，采用距离加权法进行图像融合。距离加权法是对两幅图像重叠区域的每个像素点计算加权得到，权值和距离有关系，其具体公式如下：

其中，m(x,y)和n(x,y)分别是图像1和图像2的权值，计算公式为：

其中，p表示点Q(x,y)到图像1左边的距离，q表示点Q(x,y)到图像2右边的距离。

步骤7、执行t＝t+1，若T＞t，进入步骤3，否则退出循环，输出最终的全景图像，如图7所示，本发明的方法能够很好地适应于低分辨率、特征不明显、具有高度相似性纹理的海空背景视频图像，并且具有较好的算法效果和较快的速度，这是其他的图像拼接方法所不能达到的。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (6)

1.一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，包括：

步骤1、输入原始监控视频；

步骤2、设置初始帧t＝0，并设置拼接帧数T；

步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕；

步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；

步骤5、使用直方图统计光流场在水平方向和垂直方向上的分布，对应的光流场直方图峰值记为x和y，根据x和y得到变换矩阵M；

步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，再采用距离加权法进行图像融合；

步骤7、执行t＝t+1，若T＞t，进入步骤3，否则退出循环，输出最终的全景图像。

2.根据权利里要求1所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤3具体为：

步骤31、在第t帧图像与第t+1帧图像上用矩形框选出含有水印字幕的图像区域，得到两个矩形区域；

步骤32、选择一个模板S大小为11×11的中值滤波器，模板大小是根据原视频水印字幕采取的经验值，对步骤31选出的两个矩形区域，采用下面的公式进行选择性中值滤波：

其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，F(x,y)是选择中值滤波后的图像，median(·)为取中值函数，(s,t)∈S表示模板11×11内的点坐标，K为阈值。

3.根据权利里要求1所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤4之前还包括对图像进行2倍下采样处理。

4.根据权利里要求3所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤4具体采用Opencv库内部函数Farneback计算经步骤3去除水印后的第t、t+1帧图像之间的光流场。

5.根据权利里要求4所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤5所述的变换矩阵为：

其中，光流场在水平方向上的直方图的峰值点作为M矩阵中的x值，光流场在垂直方向上的直方图的峰值点作为M矩阵中的y值。

6.根据权利里要求5所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤6具体包括以下分步骤：

步骤61、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t、t+1帧图像进行平面投影，确定图像重叠区域；

步骤62、对图像重叠区域，采用距离加权法进行图像融合。