CN105681663A - 一种基于帧间运动几何平滑性的视频抖动检测方法 - Google Patents
一种基于帧间运动几何平滑性的视频抖动检测方法 Download PDFInfo
- Publication number
- CN105681663A CN105681663A CN201610108473.2A CN201610108473A CN105681663A CN 105681663 A CN105681663 A CN 105681663A CN 201610108473 A CN201610108473 A CN 201610108473A CN 105681663 A CN105681663 A CN 105681663A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- trans
- meansigma methods
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000013519 translation Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Abstract
本发明涉及一种基于帧间运动几何平滑性的视频抖动检测方法,属于视频处理技术领域。该方法包括以下步骤:1、根据帧间相似程度进行分段;2、然后对每个分段利用特征点检测和匹配进行运动估计;3、接着计算分段内相邻帧平移量的平均值、方差,以及平移向量夹角的平均值,通过这三个几何量来衡量运动几何平滑性;4、将以上三个几何量与设定阈值进行比较,据此判断分段是否抖动。与已有方法相比,本发明方法使用与帧间平移向量相关的三个几何量来衡量一个分段的抖动程度,计算效率快,准确性高。
Description
技术领域
本发明涉及一种视频抖动检测方法,具体涉及一种基于帧间运动几何平滑性的视频抖动检测方法,属于视频处理技术领域。
背景技术
随着摄影摄像设备的逐渐普及和数字存储设备的廉价化,视频拍摄进入了人们生活的方方面面。但是由于摄像载体和拍摄环境的限制,录制出的视频数据往往存在抖动的现象,严重影响视觉感官以及后续处理。
用户对视频质量的要求是永无止境的,而抖动无疑是影响视频质量的一大关键因素,所以视频抖动检测这一问题便具有了较高的应用价值。在视频抖动检测领域中,已有前人认识到其重要性并做了相关研究,如江爱文,刘长红,王明文三人在2013年提出的基于前后-光流点匹配运动熵的视频抖动检测算法。该算法通过有效融合图像的稀疏光流与特征点匹配算法,根据前向-后向误差标准估计图像帧的全局运动参数,引入连续帧的运动熵用于衡量视频画面片段运动的混乱程度,判断是否存在视频抖动现象。在计算效率上,该方法基本能够满足实时性的要求,但是由于其针对的是视频监控系统,没有考虑进运动速度这一因素,所以对于移动拍摄的视频,其判断的结果并不能很好地符合人的主观感受,同时对于大位移抖动的适应性也不好。
发明内容
本发明的目的是针对拍摄视频中的抖动问题,检测出其中的抖动部分,为后续的抖动处理、视频质量评价等视频领域热点问题提供依据,提出了一种基于帧间运动几何平滑性的视频抖动检测方法。
本发明的核心思想是根据帧间相似程度进行分段;对每个分段利用特征点检测和匹配进行运动估计;然后计算分段内相邻帧平移量的平均值、方差,以及平移向量夹角的平均值等几何量,衡量运动几何平滑性;最后,将以上三个几何量与阈值进行比较,据此判断分段是否抖动。
本发明的的目的是通过以下技术方案实现的。
一种基于帧间运动几何平滑性的视频抖动检测方法,包括以下步骤:
步骤一、根据帧间相似度对视频分段
对于输入视频,计算视频序列中的关键帧,从而将视频划分成若干个分段。
步骤二、视频分段运动估计
对于每一个视频分段帧序列Ii,Ii+1,…,Ij,其中Ii和Ij是相邻的关键帧,构造出若干条特征点轨迹,表示如下:
其中,px,y(x=i,i+1,…,j;y=1,2,…,n)表示x帧第y条轨迹上的特征点坐标,n表示轨迹条数;
步骤三、计算分段内相邻帧平移量的平均值、方差,以及平移向量夹角的平均值。
令表示帧Ii至帧Ij图像序列中相应帧在步骤二所述轨迹上所有特征点坐标的平均值,即
其中,x=i,i+1,…,j。那么分段内相邻帧平移量的平均值avg_trans,方差var_trans,平移向量夹角的平均值avg_degree的计算公式分别如下表示:
其中,表示帧i到帧i+1的平移向量,degreei为两个平移向量transi与transi+1的夹角。
步骤四、根据步骤三计算出的三个几何量进行抖动判断
设定三个阈值α,β,γ,判断准则如下:
当avg_trans<α时,判断为稳定,否则进一步对β,γ判断;当var_trans<β且avg_degree<γ时,判断为稳定,否则判断为抖动。
有益效果
对比传统视频抖动检测方法,本发明方法具有以下优势:
与已有方法相比,本发明方法使用与帧间平移向量相关的三个参数来衡量一个分段的抖动程度,并且在运动估计时采用稀疏光流法,因此计算效率快,准确性高。
综上所述,本发明方法可以更加高效地检测出视频中的抖动帧,为视频后续处理提供依据。
附图说明
图1是本发明实施例一种基于帧间运动几何平滑性的视频抖动检测方法流程示意图。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。
实施例
一种基于帧间运动几何平滑性的视频抖动检测方法,见图1,具体实现步骤如下:
步骤一、根据帧间相似度对视频分段
对于输入视频,计算若干个关键帧,并据此将视频划分成若干个分段。在本实施例中采用NeelJoshi等人提出的方法(Joshi,N.,Kienzle,W.,Uyttendaele,M.,andCohen,M.Real-TimeHyperlapseCreationviaOptimalFrameSelection.ACMSIGGRAPH2015.)。在此算法中,首先,对于视频的每一帧,都与后续若干帧计算帧匹配代价,然后通过动态规划算法计算出一条从视频起始若干帧内某一帧出发至最后若干帧内某一帧结束的代价最小的路径,路径上的帧即为关键帧。
步骤二、视频分段运动估计
对于每一个视频分段帧序列Ii,Ii+1,…,Ij,其中Ii和Ij是相邻的关键帧,构造出若干条特征点轨迹,表示如下:
其中,px,y(x=i,i+1,…,j;y=1,2,…,n)表示x帧第y条轨迹上的特征点坐标,n表示轨迹条数;
步骤三、计算分段内相邻帧平移量的平均值、方差,以及平移向量夹角的平均值
令表示帧Ii至帧Ij图像序列中相应帧在步骤二所述轨迹上所有特征点坐标的平均值,即
其中,x=i,i+1,…,j。那么分段内相邻帧平移量的平均值avg_trans,方差var_trans,平移向量夹角的平均值avg_degree的计算公式分别如下表示:
其中,表示帧i到帧i+1的平移向量,degreei为两个平移向量transi与transi+1的夹角。
步骤四、根据步骤三计算出的三个几何量进行抖动判断
设定三个阈值α,β,γ,判断准则如下:
当avg_trans<α时,判断为稳定,否则进一步对β,γ判断;当var_trans<β且avg_degree<γ时,判断为稳定,否则判断为抖动。在此实施例中α,β,γ的值分别设为1,9,6时与人的主观判断结果较为符合,但还可以根据实际需要对这三个值进行调整。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于帧间运动几何平滑性的视频抖动检测方法,其特征在于,该方法包括如下步骤:
步骤一、根据帧间相似度对视频分段
对于输入视频,计算视频序列中的关键帧,从而将视频划分成若干个分段;
步骤二、视频分段运动估计
对于每一个视频分段帧序列Ii,Ii+1,…,Ij,其中Ii和Ij是相邻的关键帧,构造出若干条特征点轨迹,表示如下:
其中,px,y(x=i,i+1,…,j;y=1,2,…,n)表示x帧第y条轨迹上的特征点坐标,n表示轨迹条数;
步骤三、计算分段内相邻帧平移量的平均值、方差,以及平移向量夹角的平均值
令表示帧Ii至帧Ij图像序列中相应帧在步骤二所述轨迹上所有特征点坐标的平均值,即
其中,x=i,i+1,…,j,那么分段内相邻帧平移量的平均值avg_trans,方差var_trans,平移向量夹角的平均值avg_degree的计算公式分别如下表示:
其中,表示帧i到帧i+1的平移向量,degreei为两个平移向量transi与transi+1的夹角;
步骤四、根据步骤三计算出的三个几何量进行抖动判断
设定三个阈值α,β,γ,判断准则如下:
当avg_trans<α时,判断为稳定,否则进一步对β,γ判断;当var_trans<β且avg_degree<γ时,判断为稳定,否则判断为抖动。
2.根据权利要求1所述的一种基于帧间运动几何平滑性的视频抖动检测方法,其特征在于:所述步骤二中运动估计方法采用KLT算法进行特征点检测和跟踪。
3.根据权利要求1所述的一种基于帧间运动几何平滑性的视频抖动检测方法,其特征在于:所述步骤三中通过相邻帧平移量的平均值、方差,以及平移向量夹角的平均值三个几何量来衡量视频抖动。
4.根据权利要求1所述的一种基于帧间运动几何平滑性的视频抖动检测方法,其特征在于:所述步骤四中α,β,γ的值分别设为1,9,6。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610108473.2A CN105681663B (zh) | 2016-02-26 | 2016-02-26 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610108473.2A CN105681663B (zh) | 2016-02-26 | 2016-02-26 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105681663A true CN105681663A (zh) | 2016-06-15 |
CN105681663B CN105681663B (zh) | 2018-06-22 |
Family
ID=56306183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610108473.2A Active CN105681663B (zh) | 2016-02-26 | 2016-02-26 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105681663B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106385580A (zh) * | 2016-09-30 | 2017-02-08 | 杭州电子科技大学 | 基于图像灰度分布特征的视频抖动检测方法 |
CN107046640A (zh) * | 2017-02-23 | 2017-08-15 | 北京理工大学 | 一种基于帧间运动光滑性的无参考视频稳定质量评价方法 |
CN108204812A (zh) * | 2016-12-16 | 2018-06-26 | 中国航天科工飞航技术研究院 | 一种无人机速度估计方法 |
CN109697708A (zh) * | 2019-01-09 | 2019-04-30 | 山东数字人科技股份有限公司 | 一种序列图像去抖动的方法及系统 |
CN110248048A (zh) * | 2019-06-21 | 2019-09-17 | 苏宁云计算有限公司 | 一种视频抖动的检测方法及装置 |
CN110856014A (zh) * | 2019-11-05 | 2020-02-28 | 北京奇艺世纪科技有限公司 | 动态图像生成方法、装置、电子设备及存储介质 |
CN111145778A (zh) * | 2019-11-28 | 2020-05-12 | 科大讯飞股份有限公司 | 音频数据的处理方法、装置、电子设备及计算机存储介质 |
CN111193923A (zh) * | 2019-09-24 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 视频质量评估方法、装置、电子设备及计算机存储介质 |
CN111402379A (zh) * | 2020-01-09 | 2020-07-10 | 江苏艾佳家居用品有限公司 | 一种基于帧间抖动的平滑渲染方法 |
CN115047890A (zh) * | 2022-08-17 | 2022-09-13 | 北京大学 | 无人船控制方法、设备及计算机可读存储介质 |
WO2024055762A1 (zh) * | 2022-09-14 | 2024-03-21 | 支付宝(杭州)信息技术有限公司 | 一种视频抖动检测方法、装置以及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055884A (zh) * | 2009-11-09 | 2011-05-11 | 深圳市朗驰欣创科技有限公司 | 一种视频图像的稳像控制方法、系统及视频分析系统 |
US20120162451A1 (en) * | 2010-12-23 | 2012-06-28 | Erwin Sai Ki Liu | Digital image stabilization |
CN103106648A (zh) * | 2011-11-11 | 2013-05-15 | 株式会社理光 | 确定图像中投影区域的方法和设备 |
CN103455809A (zh) * | 2013-08-29 | 2013-12-18 | 方正国际软件有限公司 | 一种自动拍摄文档图像的方法及系统 |
CN103679750A (zh) * | 2013-11-25 | 2014-03-26 | 武汉东智科技有限公司 | 一种基于视频的摄像机抖动检测方法 |
CN104135597A (zh) * | 2014-07-04 | 2014-11-05 | 上海交通大学 | 一种视频抖动自动检测方法 |
CN104301712A (zh) * | 2014-08-25 | 2015-01-21 | 浙江工业大学 | 一种基于视频分析的监控摄像头抖动检测方法 |
CN104410855A (zh) * | 2014-11-05 | 2015-03-11 | 广州中国科学院先进技术研究所 | 一种监控视频的抖动检测方法 |
-
2016
- 2016-02-26 CN CN201610108473.2A patent/CN105681663B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055884A (zh) * | 2009-11-09 | 2011-05-11 | 深圳市朗驰欣创科技有限公司 | 一种视频图像的稳像控制方法、系统及视频分析系统 |
US20120162451A1 (en) * | 2010-12-23 | 2012-06-28 | Erwin Sai Ki Liu | Digital image stabilization |
CN103106648A (zh) * | 2011-11-11 | 2013-05-15 | 株式会社理光 | 确定图像中投影区域的方法和设备 |
CN103455809A (zh) * | 2013-08-29 | 2013-12-18 | 方正国际软件有限公司 | 一种自动拍摄文档图像的方法及系统 |
CN103679750A (zh) * | 2013-11-25 | 2014-03-26 | 武汉东智科技有限公司 | 一种基于视频的摄像机抖动检测方法 |
CN104135597A (zh) * | 2014-07-04 | 2014-11-05 | 上海交通大学 | 一种视频抖动自动检测方法 |
CN104301712A (zh) * | 2014-08-25 | 2015-01-21 | 浙江工业大学 | 一种基于视频分析的监控摄像头抖动检测方法 |
CN104410855A (zh) * | 2014-11-05 | 2015-03-11 | 广州中国科学院先进技术研究所 | 一种监控视频的抖动检测方法 |
Non-Patent Citations (1)
Title |
---|
朱娟娟: "电子稳像理论及其应用研究", 《中国博士学位论文全文数据库》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106385580A (zh) * | 2016-09-30 | 2017-02-08 | 杭州电子科技大学 | 基于图像灰度分布特征的视频抖动检测方法 |
CN106385580B (zh) * | 2016-09-30 | 2018-02-06 | 杭州电子科技大学 | 基于图像灰度分布特征的视频抖动检测方法 |
CN108204812A (zh) * | 2016-12-16 | 2018-06-26 | 中国航天科工飞航技术研究院 | 一种无人机速度估计方法 |
CN107046640A (zh) * | 2017-02-23 | 2017-08-15 | 北京理工大学 | 一种基于帧间运动光滑性的无参考视频稳定质量评价方法 |
CN109697708A (zh) * | 2019-01-09 | 2019-04-30 | 山东数字人科技股份有限公司 | 一种序列图像去抖动的方法及系统 |
CN109697708B (zh) * | 2019-01-09 | 2021-09-21 | 山东数字人科技股份有限公司 | 一种序列图像去抖动的方法及系统 |
CN110248048A (zh) * | 2019-06-21 | 2019-09-17 | 苏宁云计算有限公司 | 一种视频抖动的检测方法及装置 |
CN110248048B (zh) * | 2019-06-21 | 2021-11-09 | 苏宁云计算有限公司 | 一种视频抖动的检测方法及装置 |
CN111193923A (zh) * | 2019-09-24 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 视频质量评估方法、装置、电子设备及计算机存储介质 |
CN111193923B (zh) * | 2019-09-24 | 2022-06-21 | 腾讯科技(深圳)有限公司 | 视频质量评估方法、装置、电子设备及计算机存储介质 |
CN110856014A (zh) * | 2019-11-05 | 2020-02-28 | 北京奇艺世纪科技有限公司 | 动态图像生成方法、装置、电子设备及存储介质 |
CN111145778A (zh) * | 2019-11-28 | 2020-05-12 | 科大讯飞股份有限公司 | 音频数据的处理方法、装置、电子设备及计算机存储介质 |
CN111145778B (zh) * | 2019-11-28 | 2023-04-04 | 科大讯飞股份有限公司 | 音频数据的处理方法、装置、电子设备及计算机存储介质 |
CN111402379A (zh) * | 2020-01-09 | 2020-07-10 | 江苏艾佳家居用品有限公司 | 一种基于帧间抖动的平滑渲染方法 |
CN111402379B (zh) * | 2020-01-09 | 2022-08-12 | 江苏艾佳家居用品有限公司 | 一种基于帧间抖动的平滑渲染方法 |
CN115047890A (zh) * | 2022-08-17 | 2022-09-13 | 北京大学 | 无人船控制方法、设备及计算机可读存储介质 |
WO2024055762A1 (zh) * | 2022-09-14 | 2024-03-21 | 支付宝(杭州)信息技术有限公司 | 一种视频抖动检测方法、装置以及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105681663B (zh) | 2018-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105681663A (zh) | 一种基于帧间运动几何平滑性的视频抖动检测方法 | |
Wen et al. | Detection, tracking, and counting meets drones in crowds: A benchmark | |
CN107133969B (zh) | 一种基于背景反投影的移动平台运动目标检测方法 | |
Hossen et al. | A surveillance system based on motion detection and motion estimation using optical flow | |
CN104410855A (zh) | 一种监控视频的抖动检测方法 | |
CN102982537B (zh) | 一种检测场景变换的方法和系统 | |
CN111178161B (zh) | 一种基于fcos的车辆追踪方法及系统 | |
CN103810711A (zh) | 一种用于监控系统视频的关键帧提取方法及其系统 | |
CN105574891B (zh) | 检测图像中的运动目标的方法及系统 | |
CN103428409B (zh) | 一种基于固定场景的视频降噪处理方法及装置 | |
CN104717402B (zh) | 一种空时域联合噪声估计系统 | |
CN112561951B (zh) | 一种基于帧差绝对误差和sad的运动和亮度检测方法 | |
CN103945089A (zh) | 基于亮度闪烁修正及IP camera的动态目标检测方法 | |
CN105931270A (zh) | 基于运动轨迹分析的视频关键帧提取方法 | |
CN104123733B (zh) | 一种基于块匹配的运动检测及降低错误率的方法 | |
CN108615241B (zh) | 一种基于光流的快速人体姿态估计方法 | |
CN101557516A (zh) | 视频质量评估方法及装置 | |
Zhang et al. | Modeling long-and short-term temporal context for video object detection | |
CN102637295B (zh) | 一种快速图像电子稳定方法及装置 | |
CN101877135B (zh) | 一种基于背景重构的运动目标检测方法 | |
CN107358621A (zh) | 对象跟踪方法及装置 | |
CN103324906B (zh) | 一种遗留物检测的方法和设备 | |
CN103974068B (zh) | 一种基于内容的视频尺寸缩小的方法 | |
Srilekha et al. | A novel approach for detection and tracking of vehicles using Kalman filter | |
Lee et al. | Crowd behavior representation using motion influence matrix for anomaly detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |