CN105681663B - 一种基于帧间运动几何平滑性的视频抖动检测方法 - Google Patents

一种基于帧间运动几何平滑性的视频抖动检测方法 Download PDF

Info

Publication number
CN105681663B
CN105681663B CN201610108473.2A CN201610108473A CN105681663B CN 105681663 B CN105681663 B CN 105681663B CN 201610108473 A CN201610108473 A CN 201610108473A CN 105681663 B CN105681663 B CN 105681663B
Authority
CN
China
Prior art keywords
video
frame
segmentation
average value
trans
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610108473.2A
Other languages
English (en)
Other versions
CN105681663A (zh
Inventor
张磊
陈晓权
黄华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201610108473.2A priority Critical patent/CN105681663B/zh
Publication of CN105681663A publication Critical patent/CN105681663A/zh
Application granted granted Critical
Publication of CN105681663B publication Critical patent/CN105681663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

本发明涉及一种基于帧间运动几何平滑性的视频抖动检测方法，属于视频处理技术领域。该方法包括以下步骤：1、根据帧间相似程度进行分段；2、然后对每个分段利用特征点检测和匹配进行运动估计；3、接着计算分段内相邻帧平移量的平均值、方差，以及平移向量夹角的平均值，通过这三个几何量来衡量运动几何平滑性；4、将以上三个几何量与设定阈值进行比较，据此判断分段是否抖动。与已有方法相比，本发明方法使用与帧间平移向量相关的三个几何量来衡量一个分段的抖动程度，计算效率快，准确性高。

Description

一种基于帧间运动几何平滑性的视频抖动检测方法
技术领域
本发明涉及一种视频抖动检测方法，具体涉及一种基于帧间运动几何平滑性的视频抖动检测方法，属于视频处理技术领域。
背景技术
随着摄影摄像设备的逐渐普及和数字存储设备的廉价化，视频拍摄进入了人们生活的方方面面。但是由于摄像载体和拍摄环境的限制，录制出的视频数据往往存在抖动的现象，严重影响视觉感官以及后续处理。
用户对视频质量的要求是永无止境的，而抖动无疑是影响视频质量的一大关键因素，所以视频抖动检测这一问题便具有了较高的应用价值。在视频抖动检测领域中，已有前人认识到其重要性并做了相关研究，如江爱文，刘长红，王明文三人在2013年提出的基于前后-光流点匹配运动熵的视频抖动检测算法。该算法通过有效融合图像的稀疏光流与特征点匹配算法，根据前向-后向误差标准估计图像帧的全局运动参数，引入连续帧的运动熵用于衡量视频画面片段运动的混乱程度，判断是否存在视频抖动现象。在计算效率上，该方法基本能够满足实时性的要求，但是由于其针对的是视频监控系统，没有考虑进运动速度这一因素，所以对于移动拍摄的视频，其判断的结果并不能很好地符合人的主观感受，同时对于大位移抖动的适应性也不好。
发明内容
本发明的目的是针对拍摄视频中的抖动问题，检测出其中的抖动部分，为后续的抖动处理、视频质量评价等视频领域热点问题提供依据，提出了一种基于帧间运动几何平滑性的视频抖动检测方法。
本发明的核心思想是根据帧间相似程度进行分段；对每个分段利用特征点检测和匹配进行运动估计；然后计算分段内相邻帧平移量的平均值、方差，以及平移向量夹角的平均值等几何量，衡量运动几何平滑性；最后，将以上三个几何量与阈值进行比较，据此判断分段是否抖动。
本发明的的目的是通过以下技术方案实现的。
一种基于帧间运动几何平滑性的视频抖动检测方法，包括以下步骤：
步骤一、根据帧间相似度对视频分段
对于输入视频，计算视频序列中的关键帧，从而将视频划分成若干个分段。
步骤二、视频分段运动估计
对于每一个视频分段帧序列Ii，Ii+1，…，Ij，其中Ii和Ij是相邻的关键帧，构造出若干条特征点轨迹，表示如下：
其中，px，y(x＝i，i+1，…，j；y＝1，2，…，n)表示x帧第y条轨迹上的特征点坐标，n表示轨迹条数；
步骤三、计算分段内相邻帧平移量的平均值、方差，以及平移向量夹角的平均值。
令表示帧Ii至帧Ij图像序列中相应帧在步骤二所述轨迹上所有特征点坐标的平均值，即
其中，x＝i，i+1，…，j。那么分段内相邻帧平移量的平均值avg_trans，方差var_trans，平移向量夹角的平均值avg_degree的计算公式分别如下表示：
其中，表示帧i到帧i+1的平移向量，degreei为两个平移向量transi与transi+1的夹角。
步骤四、根据步骤三计算出的三个几何量进行抖动判断
设定三个阈值α，β，γ，判断准则如下：
当avg_trans＜α时，判断为稳定，否则进一步对β，γ判断；当var_trans＜β且avg_degree＜γ时，判断为稳定，否则判断为抖动。
有益效果
对比传统视频抖动检测方法，本发明方法具有以下优势：
与已有方法相比，本发明方法使用与帧间平移向量相关的三个参数来衡量一个分段的抖动程度，并且在运动估计时采用稀疏光流法，因此计算效率快，准确性高。
综上所述，本发明方法可以更加高效地检测出视频中的抖动帧，为视频后续处理提供依据。
附图说明
图1是本发明实施例一种基于帧间运动几何平滑性的视频抖动检测方法流程示意图。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。
实施例
一种基于帧间运动几何平滑性的视频抖动检测方法，见图1，具体实现步骤如下：
步骤一、根据帧间相似度对视频分段
对于输入视频，计算若干个关键帧，并据此将视频划分成若干个分段。在本实施例中采用Neel Joshi等人提出的方法(Joshi,N.,Kienzle,W.,Uyttendaele,M.,and Cohen,M.Real-Time Hyperlapse Creation via Optimal Frame Selection.ACM SIGGRAPH2015.)。在此算法中，首先，对于视频的每一帧，都与后续若干帧计算帧匹配代价，然后通过动态规划算法计算出一条从视频起始若干帧内某一帧出发至最后若干帧内某一帧结束的代价最小的路径，路径上的帧即为关键帧。
步骤二、视频分段运动估计
对于每一个视频分段帧序列Ii，Ii+1，…，Ij，其中Ii和Ij是相邻的关键帧，构造出若干条特征点轨迹，表示如下：
其中，px，y(x＝i，i+1，…，j；y＝1，2，…，n)表示x帧第y条轨迹上的特征点坐标，n表示轨迹条数；
步骤三、计算分段内相邻帧平移量的平均值、方差，以及平移向量夹角的平均值
令表示帧Ii至帧Ij图像序列中相应帧在步骤二所述轨迹上所有特征点坐标的平均值，即
其中，x＝i，i+1，…，j。那么分段内相邻帧平移量的平均值avg_trans，方差var_trans，平移向量夹角的平均值avg_degree的计算公式分别如下表示：
其中，表示帧i到帧i+1的平移向量，degreei为两个平移向量transi与transi+1的夹角。
步骤四、根据步骤三计算出的三个几何量进行抖动判断
设定三个阈值α，β，γ，判断准则如下：
当avg_trans＜α时，判断为稳定，否则进一步对β，γ判断；当var_trans＜β且avg_degree＜γ时，判断为稳定，否则判断为抖动。在此实施例中α，β，γ的值分别设为1，9，6时与人的主观判断结果较为符合，但还可以根据实际需要对这三个值进行调整。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于帧间运动几何平滑性的视频抖动检测方法，其特征在于，该方法包括如下步骤：
步骤一、根据帧间相似度对视频分段
对于输入视频，计算视频序列中的关键帧，从而将视频划分成若干个分段；
步骤二、视频分段运动估计
对于每一个视频分段帧序列Ii，Ii+1，…，Ij，其中Ii和Ij是相邻的关键帧，构造出若干条特征点轨迹，表示如下：
其中，px，y(x＝i，i+1，…，j；y＝1，2，…，n)表示x帧第y条轨迹上的特征点坐标，n表示轨迹条数；
步骤三、计算分段内相邻帧平移量的平均值、方差，以及平移向量夹角的平均值
令表示帧Ii至帧Ij图像序列中相应帧在步骤二所述轨迹上所有特征点坐标的平均值，即
其中，x＝i，i+1，…，j，那么分段内相邻帧平移量的平均值avg_trans，方差var_trans，平移向量夹角的平均值avg_degree的计算公式分别如下表示：
其中，表示帧i到帧i+1的平移向量，degreei为两个平移向量transi与transi+1的夹角；
步骤四、根据步骤三计算出的三个几何量进行抖动判断
设定三个阈值α，β，γ，判断准则如下：
当avg_trans＜α时，判断为稳定，否则进一步对β，γ判断；当var_trans＜β且avg_degree＜γ时，判断为稳定，否则判断为抖动。
2.根据权利要求1所述的一种基于帧间运动几何平滑性的视频抖动检测方法，其特征在于：所述步骤二中运动估计方法采用KLT算法进行特征点检测和跟踪。
3.根据权利要求1所述的一种基于帧间运动几何平滑性的视频抖动检测方法，其特征在于：所述步骤四中α，β，γ的值分别设为1，9，6。
CN201610108473.2A 2016-02-26 2016-02-26 一种基于帧间运动几何平滑性的视频抖动检测方法 Active CN105681663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610108473.2A CN105681663B (zh) 2016-02-26 2016-02-26 一种基于帧间运动几何平滑性的视频抖动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610108473.2A CN105681663B (zh) 2016-02-26 2016-02-26 一种基于帧间运动几何平滑性的视频抖动检测方法

Publications (2)

Publication Number Publication Date
CN105681663A CN105681663A (zh) 2016-06-15
CN105681663B true CN105681663B (zh) 2018-06-22

Family

ID=56306183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610108473.2A Active CN105681663B (zh) 2016-02-26 2016-02-26 一种基于帧间运动几何平滑性的视频抖动检测方法

Country Status (1)

Country Link
CN (1) CN105681663B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385580B (zh) * 2016-09-30 2018-02-06 杭州电子科技大学 基于图像灰度分布特征的视频抖动检测方法
CN108204812A (zh) * 2016-12-16 2018-06-26 中国航天科工飞航技术研究院 一种无人机速度估计方法
CN107046640B (zh) * 2017-02-23 2018-09-07 北京理工大学 一种基于帧间运动光滑性的无参考视频稳定质量评价方法
CN109697708B (zh) * 2019-01-09 2021-09-21 山东数字人科技股份有限公司 一种序列图像去抖动的方法及系统
CN110248048B (zh) * 2019-06-21 2021-11-09 苏宁云计算有限公司 一种视频抖动的检测方法及装置
CN111193923B (zh) * 2019-09-24 2022-06-21 腾讯科技（深圳）有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN110856014B (zh) * 2019-11-05 2023-03-07 北京奇艺世纪科技有限公司 动态图像生成方法、装置、电子设备及存储介质
CN111145778B (zh) * 2019-11-28 2023-04-04 科大讯飞股份有限公司 音频数据的处理方法、装置、电子设备及计算机存储介质
CN111402379B (zh) * 2020-01-09 2022-08-12 江苏艾佳家居用品有限公司 一种基于帧间抖动的平滑渲染方法
CN115047890B (zh) * 2022-08-17 2022-11-01 北京大学 无人船控制方法、设备及计算机可读存储介质
CN115550632A (zh) * 2022-09-14 2022-12-30 支付宝(杭州)信息技术有限公司 一种视频抖动检测方法、装置以及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055884A (zh) * 2009-11-09 2011-05-11 深圳市朗驰欣创科技有限公司 一种视频图像的稳像控制方法、系统及视频分析系统
CN103106648A (zh) * 2011-11-11 2013-05-15 株式会社理光 确定图像中投影区域的方法和设备
CN103455809A (zh) * 2013-08-29 2013-12-18 方正国际软件有限公司 一种自动拍摄文档图像的方法及系统
CN103679750A (zh) * 2013-11-25 2014-03-26 武汉东智科技有限公司 一种基于视频的摄像机抖动检测方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN104301712A (zh) * 2014-08-25 2015-01-21 浙江工业大学 一种基于视频分析的监控摄像头抖动检测方法
CN104410855A (zh) * 2014-11-05 2015-03-11 广州中国科学院先进技术研究所 一种监控视频的抖动检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849054B2 (en) * 2010-12-23 2014-09-30 Samsung Electronics Co., Ltd Digital image stabilization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055884A (zh) * 2009-11-09 2011-05-11 深圳市朗驰欣创科技有限公司 一种视频图像的稳像控制方法、系统及视频分析系统
CN103106648A (zh) * 2011-11-11 2013-05-15 株式会社理光 确定图像中投影区域的方法和设备
CN103455809A (zh) * 2013-08-29 2013-12-18 方正国际软件有限公司 一种自动拍摄文档图像的方法及系统
CN103679750A (zh) * 2013-11-25 2014-03-26 武汉东智科技有限公司 一种基于视频的摄像机抖动检测方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN104301712A (zh) * 2014-08-25 2015-01-21 浙江工业大学 一种基于视频分析的监控摄像头抖动检测方法
CN104410855A (zh) * 2014-11-05 2015-03-11 广州中国科学院先进技术研究所 一种监控视频的抖动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电子稳像理论及其应用研究;朱娟娟;《中国博士学位论文全文数据库》;20090715;全文 *

Also Published As

Publication number Publication date
CN105681663A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105681663B (zh) 一种基于帧间运动几何平滑性的视频抖动检测方法
Hossen et al. A surveillance system based on motion detection and motion estimation using optical flow
US20120162451A1 (en) Digital image stabilization
CN107111885A (zh) 用于确定便携式设备的位置的方法
CN103810711A (zh) 一种用于监控系统视频的关键帧提取方法及其系统
US20120170800A1 (en) Systems and methods for continuous physics simulation from discrete video acquisition
Huang et al. A depth extraction method based on motion and geometry for 2D to 3D conversion
CN109767453A (zh) 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质
CN105282400B (zh) 一种基于几何插值的高效视频稳定方法
CN107483953A (zh) 帧间运动估计方法、装置及电子设备
CN104123733B (zh) 一种基于块匹配的运动检测及降低错误率的方法
CN113887547A (zh) 关键点检测方法、装置和电子设备
CN106251317B (zh) 空间摄影防抖处理方法及装置
Dinesh et al. Video stabilization, camera motion pattern recognition and motion tracking using spatiotemporal regularity flow
Tang et al. A fast video stabilization algorithm based on block matching and edge completion
CN104539942A (zh) 基于帧差聚类的视频镜头切换检测方法及其装置
Zhou et al. Dynamic background subtraction using spatial-color binary patterns
TWI632504B (zh) 揮舞動作偵測方法及電子裝置
CN107770595B (zh) 一种在虚拟场景中嵌入真实场景的方法
Xia et al. A novel method for generation of motion saliency
Edison et al. Hsga: A novel acceleration descriptor for human action recognition
Nguyen et al. A robust method for camera motion estimation in movies based on optical flow
KR20100118811A (ko) 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
Zhong et al. Multl-resolution background subtraction for dynamic scenes
De Praeter et al. Moving object detection in the HEVC compressed domain for ultra-high-resolution interactive video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant