CN108520496B - 一种基于光流法的海空背景监控视频图像拼接方法 - Google Patents

一种基于光流法的海空背景监控视频图像拼接方法 Download PDF

Info

Publication number
CN108520496B
CN108520496B CN201810325793.2A CN201810325793A CN108520496B CN 108520496 B CN108520496 B CN 108520496B CN 201810325793 A CN201810325793 A CN 201810325793A CN 108520496 B CN108520496 B CN 108520496B
Authority
CN
China
Prior art keywords
image
optical flow
sea
splicing
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810325793.2A
Other languages
English (en)
Other versions
CN108520496A (zh
Inventor
何艳敏
黄建平
甘涛
彭真明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810325793.2A priority Critical patent/CN108520496B/zh
Publication of CN108520496A publication Critical patent/CN108520496A/zh
Application granted granted Critical
Publication of CN108520496B publication Critical patent/CN108520496B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开一种基于光流法的海空背景监控视频图像拼接方法，针对目前海空背景监控视频图像拼接技术存在的难点，本发明将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；本发明方法具有拼接速度快，拼接得到的图像质量佳等优点。

Description

一种基于光流法的海空背景监控视频图像拼接方法
技术领域
本发明属于图像拼接领域，特别涉及一种海空背景监控视频图像拼接技术。
背景技术
监控系统是一种重要的安防手段，监控系统能够为决策者提供实时、直观、准确、丰富的现场信息，对监控视频的全景图像拼接，可以解决单个摄像头视角较小的局限性，能够为观察者提供全方位、无间隙的实时监控。目前的海空背景监控视频图像，其图像拼接有以下几个难点：(1)监控视频图像分辨率较低、图像质量不高、像素值以灰度值为主，色彩不够丰富、图像特征不明显；(2)视频图像上加载有比较明显的水印字幕，对图像拼接有很大的影响；(3)海空背景中的海面波浪纹理和天空纹理具有高度相似性、重复性，使得图像特征不明显、图像配准难度较大；(4)视频每秒的图像帧数比较多，对图像拼接算法速度要求较高；虽然已有很多视频图像拼接方面的专利，但是，针对上述4个难点的海空背景监控视频，还未有很好的解决方案。
发明内容
为解决上述技术问题，本发明提出一种基于光流法的海空背景监控视频图像拼接方法，能很好地去除水印字幕，对于低分辨率、特征不明显的海空背景视频图像能很好地实现图像拼接。
本发明采用的技术方案为：一种基于光流法的海空背景监控视频图像拼接方法，将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；包括以下技术：
1、选择性中值滤波算法
(1)在图像上用矩形框选出含有水印字幕的图像区域；
(2)选择一个模板大小S为11×11的中值滤波器，设定一个阈值K为200，在步骤(1)中选出的矩形区域，用式下面的公式进行选择性中值滤波。
Figure BDA0001626536300000011
Figure BDA0001626536300000012
其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，F(x,y)是选择中值滤波后的图像，median(·)为取中值函数，(s,t)∈S表示模板11×11内的点坐标，S、K为阈值是经验值，本发明K取值200；
这里的中值滤波具体处理过程为：对于原图像f(x,y)上的每个像素点，判断其是否大于K，若大于K，利用中值滤波对其进行处理，若小于K，不处理，最后得到的图像F(x,y)就是去除水印后的图像，其中，中值滤波为：对于以原像素点为中心的11×11像素点范围内，按照图像灰度值排序，选取排序中的中位数作为滤波后的值。
2、采用光流法计算光流场
使用Opencv库内部函数Farneback计算第t、t+1帧图像之间的光流场，为了加快计算速度，先对图像进行2倍下采样，缩小图像的尺寸；
3、距离加权法融合
距离加权法是对两幅图像重叠区域的每个像素点计算加权得到，权值和距离有关系，其具体公式如下：
Figure BDA0001626536300000021
其中，I1(x,y)表示图像1中的重叠区域，I2(x,y)表示图像2中的重叠区域，I1、I2分别为I1(x,y)、I2(x,y)的简写，m(x,y)和n(x,y)分别是图像1和图像2的权值，m(x,y)和n(x,y)计算公式为：
Figure BDA0001626536300000022
其中，p表示点Q(x,y)到图像1左边的距离，q表示点Q(x,y)到图像2右边的距离。
综上，本发明技术方案包括以下流程：
步骤1、输入原始监控视频；
步骤2、设置初始帧t＝0，并设置拼接帧数T；
步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕；
步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；
步骤5、使用直方图统计光流场在水平方向和垂直方向上的分布，对应的光流场直方图峰值记为x和y，根据x和y得到变换矩阵M；
步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，采用距离加权法进行图像融合；
步骤7、执行t＝t+1，若T＞t，进入步骤3，否则退出循环，输出最终的全景图像。
本发明的有益效果：本发明的一种基于光流法的海空背景监控视频图像拼接方法，将光流法运用到海空背景监控视频图像拼接中，利用光流法计算出光流场，再利用直方图统计出x，y方向上的光流值，最后计算出变换矩阵，从而完成海空背景监控视频图像的拼接；本发明包括以下优点：
1)采用中值滤波去水印方法，能够很好地去除图像水印字幕；
2)采用光流法以及距离加权图像融合，通过调用Opencv库能够简单，快速实现；通过大量的测试，本发明对视频能够实现0.219帧/s的图像拼接速度，具有很快的拼接速度，同时拼接得到的图像质量也比较好。
附图说明
图1为本发明实施例提供的算法流程示意图；
图2为本发明实施例提供的原始监控视频图像；
图3为本发明实施例提供的使用选择性中值滤波去除水印后的图像；
图4为本发明实施例提供的使用光流法计算出的光流场图像；
图5为本发明实施例提供的光流场x方向统计直方图；
图6为本发明实施例提供的光流场y方向统计直方图；
图7为本发明的最后得出的全景图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
目前的海空背景监控视频图像拼接存在以下问题：
(1)分辨率较低、图像质量不高、像素值以灰度值为主，色彩不够丰富、图像特征不明显；
(2)视频图像上加载有比较明显的水印字幕，对图像拼接有很大的影响；
(3)海空背景中的海面波浪纹理和天空纹理具有高度相似性、重复性，使得图像特征不明显、图像配准难度较大；
(4)视频每秒的图像帧数比较多，对图像拼接算法速度要求较高；
本发明提供一种基于光流法的海空背景监控视频图像拼接方法，利用光流法及中值滤波去除图像水印等方法，能够很好地解决以上四点问题；如图1所示，本发明的技术方案具体包括以下步骤：
步骤1、输入原始监控视频；如图2所示，矩形框内为水印字幕；
步骤2、设置初始帧t＝0，并设置拼接帧数T；这里T的取值小于视频总帧数；
步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕，去除水印字幕的图像如图3所示；具体包括以下分步骤：
步骤31、在第t帧图像与第t+1帧图像上用矩形框选出含有水印字幕的图像区域，得到两个矩形区域；
步骤32、选择一个模板大小S为11×11的中值滤波器，对步骤31选出的两个矩形区域，采用下面的公式进行选择性中值滤波：
Figure BDA0001626536300000041
Figure BDA0001626536300000042
其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，F(x,y)是选择中值滤波后的图像，median(·)为取中值函数，(s,t)∈S表示模板11×11内的点坐标，本实施例中K＝200，是经验值。
步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；具体的：本发明使用Opencv库内部函数Farneback计算第t、t+1帧图像之间的光流场；并且为了加快计算速度，在计算光流场之前先对经步骤3去除水印后的第t帧图像与第t+1帧图像进行2倍下采样，缩小图像的尺寸；根据步骤4得到的图像如图4所示。
步骤5、使用直方图统计光流场在水平方向和垂直方向上的光流值，计算出变换矩阵M；具体的：对于步骤4中计算出的第t、t+1帧图像之间的光流场，光流场在水平方向上的直方图的峰值点作为变换矩阵M中的x值，光流场在垂直方向上的直方图的峰值点作为M矩阵中的y值，光流场x方向统计直方图如图5所示，光流场y方向统计直方图如图6所示，M矩阵为：
Figure BDA0001626536300000051
步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，采用距离加权法进行图像融合；具体包括以下分步骤：
步骤61、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t、t+1帧图像进行平面投影，确定图像重叠区域；
步骤62、对图像重叠区域，采用距离加权法进行图像融合。距离加权法是对两幅图像重叠区域的每个像素点计算加权得到，权值和距离有关系，其具体公式如下：
Figure BDA0001626536300000052
其中，m(x,y)和n(x,y)分别是图像1和图像2的权值，计算公式为：
Figure BDA0001626536300000053
其中，p表示点Q(x,y)到图像1左边的距离，q表示点Q(x,y)到图像2右边的距离。
步骤7、执行t＝t+1，若T＞t，进入步骤3，否则退出循环，输出最终的全景图像，如图7所示，本发明的方法能够很好地适应于低分辨率、特征不明显、具有高度相似性纹理的海空背景视频图像，并且具有较好的算法效果和较快的速度，这是其他的图像拼接方法所不能达到的。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (6)

1.一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，包括：
步骤1、输入原始监控视频；
步骤2、设置初始帧t＝0，并设置拼接帧数T；
步骤3、提取第t帧图像与第t+1帧图像，使用选择性中值滤波算法去除第t帧图像与第t+1帧图像的水印字幕；
步骤4、使用光流法计算出经步骤3去除水印后的第t帧图像与第t+1帧图像之间的光流场；
步骤5、使用直方图统计光流场在水平方向和垂直方向上的分布，对应的光流场直方图峰值记为x和y，根据x和y得到变换矩阵M；
步骤6、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t帧图像与第t+1帧图像进行平面投影，再采用距离加权法进行图像融合；
步骤7、执行t＝t+1，若T＞t，进入步骤3，否则退出循环，输出最终的全景图像。
2.根据权利要求1所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤3具体为：
步骤31、在第t帧图像与第t+1帧图像上用矩形框选出含有水印字幕的图像区域，得到两个矩形区域；
步骤32、选择一个模板S大小为11×11的中值滤波器，模板大小是根据原始监控视频水印字幕采取的经验值，对步骤31选出的两个矩形区域，采用下面的公式进行选择性中值滤波：
Figure FDA0002432395250000011
Figure FDA0002432395250000012
其中，f(x,y)是原图像，f(s,t)表示原图像上点(s,t)的像素值，g(x,y)是中值滤波后的图像，F(x,y)是选择性中值滤波后的图像，median(·)为取中值函数，(s,t)∈S表示模板11×11内的点坐标，K为阈值。
3.根据权利要求1所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤4之前还包括对图像进行2倍下采样处理。
4.根据权利要求3所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤4具体采用Opencv库内部函数Farneback计算经步骤3去除水印后的第t、t+1帧图像之间的光流场。
5.根据权利要求4所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤5所述的变换矩阵为：
Figure FDA0002432395250000021
其中，光流场在水平方向上的直方图的峰值点作为M矩阵中的x值，光流场在垂直方向上的直方图的峰值点作为M矩阵中的y值。
6.根据权利要求5所述的一种基于光流法的海空背景监控视频图像拼接方法，其特征在于，步骤6具体包括以下分步骤：
步骤61、根据步骤5得到的变换矩阵对经步骤3去除水印后的第t、t+1帧图像进行平面投影，确定图像重叠区域；
步骤62、对图像重叠区域，采用距离加权法进行图像融合。
CN201810325793.2A 2018-04-12 2018-04-12 一种基于光流法的海空背景监控视频图像拼接方法 Expired - Fee Related CN108520496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810325793.2A CN108520496B (zh) 2018-04-12 2018-04-12 一种基于光流法的海空背景监控视频图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810325793.2A CN108520496B (zh) 2018-04-12 2018-04-12 一种基于光流法的海空背景监控视频图像拼接方法

Publications (2)

Publication Number Publication Date
CN108520496A CN108520496A (zh) 2018-09-11
CN108520496B true CN108520496B (zh) 2020-07-10

Family

ID=63432264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810325793.2A Expired - Fee Related CN108520496B (zh) 2018-04-12 2018-04-12 一种基于光流法的海空背景监控视频图像拼接方法

Country Status (1)

Country Link
CN (1) CN108520496B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276722B (zh) * 2019-06-20 2021-03-30 深圳市洛丁光电有限公司 一种视频图像拼接方法
CN111667511B (zh) * 2020-06-19 2024-02-02 南京信息工程大学 一种在动态视频中提取背景的方法、装置和系统
CN117647887B (zh) * 2024-01-29 2024-04-26 浙江荷湖科技有限公司 基于四维相空间的光学系统迭代式像差矫正方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745449A (zh) * 2013-12-24 2014-04-23 南京理工大学 一种搜跟系统中航拍视频的快速自动拼接技术
US9900510B1 (en) * 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745449A (zh) * 2013-12-24 2014-04-23 南京理工大学 一种搜跟系统中航拍视频的快速自动拼接技术
US9900510B1 (en) * 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《面向全景视频拼接的图像融合算法及其GPU实现》;林枝叶;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;第页 *

Also Published As

Publication number Publication date
CN108520496A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN109241985B (zh) 一种图像识别方法及装置
US11037308B2 (en) Intelligent method for viewing surveillance videos with improved efficiency
CN108520496B (zh) 一种基于光流法的海空背景监控视频图像拼接方法
Saha et al. License Plate localization from vehicle images: An edge based multi-stage approach
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
CN113160053B (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
CN109272014B (zh) 一种基于畸变适应卷积神经网络的图像分类方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN111723801A (zh) 鱼眼相机图片中目标检测矫正的方法与系统
CN111507275A (zh) 一种基于深度学习的视频数据时序信息提取方法及装置
CN110866453B (zh) 基于卷积神经网络的实时人群稳定状态识别方法及装置
CN110853002A (zh) 一种基于双目视觉的变电站异物检测方法
CN114708532A (zh) 一种监控视频质量评估方法、系统及存储介质
CN108734123B (zh) 高速公路标志识别方法、电子设备、存储介质及系统
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
Zhao et al. Voting-based license plate location
US11044399B2 (en) Video surveillance system
CN103632131B (zh) 用于提取对象的设备和方法
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
CN112070048B (zh) 基于RDSNet的车辆属性识别方法
CN110533698B (zh) 一种基于视觉检测的基坑施工桩检测控制方法
CN114821520A (zh) 一种融合时空信息的车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200710

CF01 Termination of patent right due to non-payment of annual fee