CN111539872A - 随机抖动干扰下视频图像的实时电子稳像方法 - Google Patents

随机抖动干扰下视频图像的实时电子稳像方法 Download PDF

Info

Publication number
CN111539872A
CN111539872A CN202010328381.1A CN202010328381A CN111539872A CN 111539872 A CN111539872 A CN 111539872A CN 202010328381 A CN202010328381 A CN 202010328381A CN 111539872 A CN111539872 A CN 111539872A
Authority
CN
China
Prior art keywords
image
feature points
video
images
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010328381.1A
Other languages
English (en)
Inventor
白宏阳
郑浦
郭宏伟
李政茂
梁华驹
周育新
徐啸康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010328381.1A priority Critical patent/CN111539872A/zh
Publication of CN111539872A publication Critical patent/CN111539872A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种随机抖动干扰下视频图像的实时电子稳像方法，包括如下步骤：提取视频中的相邻两帧图像，并进行预处理，采用SURF算法提取上一帧图像中的特征点；根据LK光流法预测下一帧图像中对应的特征点；采用RANSAC算法剔除上下两帧图像中误匹配的特征点；根据特征点计算两帧图像之间的仿射变换参数；采用卡尔曼滤波对计算得到的仿射变换参数进行平滑处理，得到平滑的全局运动矢量；对后一帧图像进行仿射变换，得到稳定的视频序列。本发明采用特征点匹配加滤波平滑处理的方式对视频图像进行稳像，具有稳像效果明显、实时性好、成本低、无需增加额外硬件稳定平台等优点。

Description

随机抖动干扰下视频图像的实时电子稳像方法
技术领域
本发明涉及相机视频稳像技术领域，具体为一种随机抖动干扰下视频图像的实时电子稳像方法。
背景技术
近年来随着科学技术的进步，相机获取的视频广泛应用于民生、军事、医疗等领域，越来越多的机器安装了摄像装置。由于机器会出现随机抖动，严重干扰了机载摄像头拍摄视频的清晰度，进而影响后续的视频处理。如果能够对抖动视频进行稳像处理，将极大的提高以机载摄像头视频源为输入的整个系统的准确性。因此，对抖动视频序列进行稳像处理，获得清晰稳定的图像是很有必要的。
视频稳像方法可分为三类：机械稳像、光学稳像和电子稳像。机械稳像、光学稳像分别在机械硬件和光学部件层面对视频进行稳像，而电子稳像是在软件层面对数字图像进行计算，利用图像处理相关算法对抖动视频序列进行处理，分离出主动运动和随机抖动的运动参量，实现稳定的图像序列输出。与其他稳像技术相比较，电子稳像具有明显的成本优势。
发明专利201711432341.6公开了一种电子稳像方法及系统，通过计算旋转中心和旋转角度来对当前帧进行补偿，该方法仅通过旋转变换进行抖动视频补偿，对存在缩放和平移等情况的视频稳像效果不太理想。发明专利201610885140.0公开了一种基于区域匹配的快速电子稳像方法，使用FAST算法进行特征点检测，FAST算法对旋转、尺度变化以及光照变化较为敏感，不利于复杂环境下的相机稳像。
发明内容
本发明的目的在于提出一种随机抖动干扰下视频图像的实时电子稳像方法。
实现本发明目的的技术方案为：一种随机抖动干扰下视频图像的实时电子稳像方法，包括如下步骤：
提取视频中的相邻两帧图像，并进行预处理，采用SURF算法提取上一帧图像中的特征点；
根据LK光流法预测下一帧图像中对应的特征点；
采用RANSAC算法剔除上下两帧图像中误匹配的特征点；
根据特征点计算两帧图像之间的仿射变换参数；
采用卡尔曼滤波对计算得到的仿射变换参数进行平滑处理，得到平滑的全局运动矢量；
对后一帧图像进行仿射变换，得到稳定的视频序列。
与现有技术相比，本发明的显著优点为：本发明提出的随机抖动干扰下视频图像的实时电子稳像方法稳像效果明显、实时性好、成本低，在复杂环境下的鲁棒性好，且对平移，旋转，放缩等均能够很好的估计，为随机抖动干扰下视频图像的实时电子稳像提供一种较好的解决方案。
附图说明
图1为随机抖动干扰下视频图像的实时电子稳像方法流程图。
图2(a)～图2(b)为算法稳像前后效果对比图，其中图2(a)为第1帧、第7帧、第13帧、第19帧稳像后示意图，图2(b)为第1帧、第7帧、第13帧、第19帧稳像前示意图。
图3为稳像算法的半实物仿真实验图。
图4(a)～图4(b)为稳像算法的半实物仿真实验结果图。其中图4(a)为344帧、346帧、348帧、350帧稳像后示意图，图4(b)为344帧、346帧、348帧、350帧稳像前示意图。
图5为半实物仿真稳像前后的PSNR值对比图。
具体实施方式
如图1所示，一种随机抖动干扰下视频图像的实时电子稳像方法，包括如下步骤：
提取视频中的相邻两帧图像，并进行预处理，然后采用SURF(Speeded Up RobustFeatures)算法提取上一帧图像中的特征点；
根据LK(Lucas-Kanade)光流法预测下一帧图像中对应的特征点；
采用RANSAC(Random Sample Consensus)算法剔除上下两帧图像中误匹配的特征点；
根据特征点计算两帧图像之间的仿射变换参数；
采用卡尔曼滤波对计算得到的仿射变换参数进行平滑处理，得到平滑的全局运动矢量；
对后一帧图像进行仿射变换，得到稳定的视频序列。
进一步的，所述预处理方法采用基于排序统计理论的非线性平滑技术，对拍摄的视频图像的随机噪声进行抑制，具体方法为：首先对要处理的像素点选用一个模板，即以该像素点为中心点的邻域，模板选用3×3的区域，以中心像素点邻域灰度值的中值代替该像素点的灰度值；然后，对该模板内像素点的灰度值进行升序或降序排序，取排序后的中间值代替中心像素点的灰度值；最后移动模板，依次对图中的像素点进行处理。
进一步的，所述的SURF算法，主要用于提取视频每一帧中的特征点，为后面计算仿射矩阵做准备。
进一步的，所述的LK光流法，首先通过建立高斯金字塔采用由粗到精的分层策略得到不同分辨率的图像，对于不同分辨率的金字塔层结合LK光流法计算光流，预测特征点在下一帧中的位置。
进一步的，所述的RANSAC算法，首先在数据中随机选择三组不共线的点设为内点集，并计算仿射矩阵，记为模型M；然后将数据集中所有数据代入模型M，计算结果与真值之间的误差，若误差小于阈值，则加入内点集；最后在迭代次数内，选取包含元素数最多的内点集对应的仿射矩阵，即为最佳仿射矩阵。
进一步的，所述的卡尔曼滤波主要功能是解决稳像过程中局部运动分量导致的全局运动估计不准确问题，分离相机的有意运动和随机抖动，从而保留相机的有意运动。卡尔曼滤波采用的是统计估计的方法，能够有效地滤除高频抖动并保留主动运动，根据时间更新方程来估计当前状态，推算当前状态变量和误差协方差估计的值，同时构造下一状态先验估计值，然后根据当前测量值误差对当前状态进行后验估计，从而有效解决稳像过程中局部运动分量导致的全局运动估计不准确问题，分离相机的有意运动和随机抖动，保留相机的有意运动，提升稳像算法的效果。
本发明采用了RANSAC算法和卡尔曼滤波算法，其中RANSAC算法剔除了LK光流法误匹配的特征点，卡尔曼滤波算法去除了相机的随机抖动，保留了相机的有意运动，能够准确的对视频序列中的抖动进行补偿，提升稳像效果。
下面结合附图和实施例对本发明作进一步详细的说明。
实施例
如图1所示为随机抖动干扰下视频图像的实时电子稳像方法流程图，所述电子稳像算法以视频序列作为输入，并提取所述视频中的相邻两帧图像，进行预处理，所述预处理方法对拍摄的视频图像的随机噪声进行抑制。首先对要处理的像素点选用一个模板，即以该像素点为中心点的邻域，模板选用3×3的区域，以中心像素点邻域灰度值的中值代替该像素点的灰度值；然后对该模板内像素点的灰度值进行升序或降序排序，取排序后的中间值代替中心像素点的灰度值；最后移动模板，依次对图中的像素点进行处理。
经过预处理的两帧图像中的前一帧，采用SURF算法提取其中的特征点，为后面计算仿射矩阵做准备。
根据LK光流法预测下一帧图像中对应的特征点，采用RANSAC算法剔除上下两帧图像中误匹配的特征点，具体步骤为：
1)在数据中随机选择三组点设为内点，三个样本之间不共线，并计算仿射矩阵，记为模型；
2)将数据集中所有数据代入模型，计算计算结果与真值之间的误差，若误差小于阈值，加入内点集；
3)在迭代次数内，选取包含元素数最多的内点集对应的仿射矩阵，即为最佳仿射矩阵。
根据特征点计算两帧图像之间的仿射变换参数，并采用卡尔曼滤波对计算得到的仿射变换参数进行平滑处理，滤除高频抖动并保留主动运动，得到平滑的全局运动矢量，最后对后一帧图像进行仿射变换，得到稳定的视频序列。图2(a)、图2(b)为算法稳像前后效果对比图。
为了对所设计的稳像算法性能进行评价，根据峰值信噪比(PSNR)对稳像前后的效果进行了比较。视频连续两帧间的峰值信噪比越大，说明两帧图像的相似度越高，视频越连续，稳定效果越好。峰值信噪比表示为
Figure BDA0002464052030000041
其中G代表灰度级数，erms代表两张图像间的均方根误差，其定义为
Figure BDA0002464052030000042
式中，ft(x,y)代表视频中的第t帧图像位于点(x,y)处的像素值，ft+1(x,y)同理，M、N分别表示图像的高和宽，单位为像素。
实验中将相机安装在转台上，用以模拟真实的机器晃动和振动情况，实验设备连接如图3所示，将相机安装到三轴转台上，相机通过WIFI模块与地面站连接，用以实时保存视频。目标模拟器用来生成模拟目标，并通过VGA接口连接投影仪，投影仪将目标模拟器的画面投放到幕布上，将目标移动到相机视野内，然后通过转台控制柜控制转台以一定幅度和频率进行振动。其中：
所述转台用于根据转台控制柜的指令以一定的幅度以及频率进行晃动，模拟相机载体的真实晃动和振动情况。
所述某型号相机用于拍摄幕布上的模拟目标，相机的算法模块对拍摄的视频进行实时稳像，并将拍摄的视频通过以太网发送到地面站中，以供后续进行稳像效果比对分析。
所述地面站用于通过以太网接收相机传输的实时视频，并存储在本地。
所述目标模拟器用于生成模拟目标，并通过VGA接口连接投影仪，将画面投影到幕布上。
所述投影仪用于将目标模拟器中的画面投影到幕布上。
如图4(a)、图4(b)所示，其中图4(a)是经过稳像处理的图像，图4(b)为对应的未经过稳像处理的图像，经过计算，稳像后的平均PSNR值提高了1.9dB，如图5所示，说明本发明提出的电子稳像方法在随机抖动干扰下，可以达到很好的稳像效果。

Claims (5)

1.一种随机抖动干扰下视频图像的实时电子稳像方法，其特征在于，包括如下步骤：
提取视频中的相邻两帧图像，并进行预处理，采用SURF算法提取上一帧图像中的特征点；
根据LK光流法预测下一帧图像中对应的特征点；
采用RANSAC算法剔除上下两帧图像中误匹配的特征点；
根据特征点计算两帧图像之间的仿射变换参数；
采用卡尔曼滤波对计算得到的仿射变换参数进行平滑处理，得到平滑的全局运动矢量；
对后一帧图像进行仿射变换，得到稳定的视频序列。
2.根据权利要求1所述的随机抖动干扰下视频图像的实时电子稳像方法，其特征在于，所述预处理是采用基于排序统计理论的非线性平滑方法，对拍摄的视频图像的随机噪声进行抑制，具体为：
对要处理的像素点选用一个模板，即以该像素点为中心点的邻域，模板选用3×3的区域，以中心像素点邻域灰度值的中值代替该像素点的灰度值；
对该模板内像素点的灰度值进行升序或降序排序，取排序后的中间值代替中心像素点的灰度值；
移动模板，依次对图中的像素点进行处理。
3.根据权利要求1所述的随机抖动干扰下视频图像的实时电子稳像方法，其特征在于，所述LK光流法预测下一帧图像中对应的特征点，具体为：首先通过建立高斯金字塔采用由粗到精的分层策略得到不同分辨率的图像，对于不同分辨率的金字塔层结合LK光流法计算光流，预测特征点在下一帧中的位置。
4.根据权利要求1所述的随机抖动干扰下视频图像的实时电子稳像方法，其特征在于，采用RANSAC算法剔除上下两帧图像中误匹配的特征点，具体为：首先在数据中随机选择三组不共线的点设为内点集，并计算仿射矩阵，记为模型M；然后将数据集中所有数据代入模型M，计算结果与真值之间的误差，若误差小于阈值，则加入内点集；最后在迭代次数内，选取包含元素数最多的内点集对应的仿射矩阵，即为最佳仿射矩阵。
5.根据权利要求1所述的随机抖动干扰下视频图像的实时电子稳像方法，其特征在于，采用卡尔曼滤波分离相机的有意运动和随机抖动，从而保留相机的有意运动。
CN202010328381.1A 2020-04-23 2020-04-23 随机抖动干扰下视频图像的实时电子稳像方法 Withdrawn CN111539872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010328381.1A CN111539872A (zh) 2020-04-23 2020-04-23 随机抖动干扰下视频图像的实时电子稳像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010328381.1A CN111539872A (zh) 2020-04-23 2020-04-23 随机抖动干扰下视频图像的实时电子稳像方法

Publications (1)

Publication Number Publication Date
CN111539872A true CN111539872A (zh) 2020-08-14

Family

ID=71975510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010328381.1A Withdrawn CN111539872A (zh) 2020-04-23 2020-04-23 随机抖动干扰下视频图像的实时电子稳像方法

Country Status (1)

Country Link
CN (1) CN111539872A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287819A (zh) * 2020-10-28 2021-01-29 武汉三力通信有限责任公司 一种用于摄录设备的高速多路实时稳像方法
CN112887708A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 视频抖动检测方法和装置、设备及存储介质
CN112954134A (zh) * 2021-02-23 2021-06-11 中国科学院合肥物质科学研究院 一种车载稳像显示补偿方法及系统
CN113794842A (zh) * 2021-11-16 2021-12-14 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN114143459A (zh) * 2021-11-26 2022-03-04 中国电子科技集团公司第五十四研究所 一种适用于大变焦摄像头的视频消抖方法
CN114205521A (zh) * 2021-11-12 2022-03-18 国网通用航空有限公司 一种运动视频图像的稳像方法、装置、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287819A (zh) * 2020-10-28 2021-01-29 武汉三力通信有限责任公司 一种用于摄录设备的高速多路实时稳像方法
CN112887708A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 视频抖动检测方法和装置、设备及存储介质
CN112954134A (zh) * 2021-02-23 2021-06-11 中国科学院合肥物质科学研究院 一种车载稳像显示补偿方法及系统
CN114205521A (zh) * 2021-11-12 2022-03-18 国网通用航空有限公司 一种运动视频图像的稳像方法、装置、设备及存储介质
CN113794842A (zh) * 2021-11-16 2021-12-14 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN113794842B (zh) * 2021-11-16 2022-02-08 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN114143459A (zh) * 2021-11-26 2022-03-04 中国电子科技集团公司第五十四研究所 一种适用于大变焦摄像头的视频消抖方法

Similar Documents

Publication Publication Date Title
CN111539872A (zh) 随机抖动干扰下视频图像的实时电子稳像方法
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
Elgharib et al. Video magnification in presence of large motions
KR102225410B1 (ko) 비디오 안정화를 위한 캐스케이드 카메라 모션 추정, 롤링 셔터 검출 및 카메라 흔들림 검출
TWI469062B (zh) 影像穩定方法及影像穩定裝置
US9615039B2 (en) Systems and methods for reducing noise in video streams
US9262811B2 (en) System and method for spatio temporal video image enhancement
CN105913028B (zh) 一种基于face++平台的人脸跟踪方法及其装置
CN103841298B (zh) 一种基于颜色恒量和几何不变特征的视频稳像方法
CN106875425A (zh) 一种基于深度学习的多目标追踪系统及实现方法
US10600158B2 (en) Method of video stabilization using background subtraction
CN107749987A (zh) 一种基于块运动估计的数字视频稳像方法
CN107222662A (zh) 一种基于改进的klt和卡尔曼滤波的电子稳像方法
CN105872345A (zh) 基于特征匹配的全帧电子稳像方法
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN110248048A (zh) 一种视频抖动的检测方法及装置
CN106412441B (zh) 一种视频防抖控制方法以及终端
Liu et al. A motion deblur method based on multi-scale high frequency residual image learning
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
Kejriwal et al. A hybrid filtering approach of digital video stabilization for UAV using kalman and low pass filter
CN114979489A (zh) 基于陀螺仪的重型装备生产场景视频监控稳像方法及系统
Chen et al. Real-time object tracking via CamShift-based robust framework
Park et al. Down-scaling with learned kernels in multi-scale deep neural networks for non-uniform single image deblurring
CN113066077B (zh) 火焰检测方法及装置
CN102542530A (zh) 一种运动模糊图像清晰装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200814