CN111405140B - 一种基于目标跟踪的视频防抖方法 - Google Patents

一种基于目标跟踪的视频防抖方法 Download PDF

Info

Publication number
CN111405140B
CN111405140B CN202010191087.0A CN202010191087A CN111405140B CN 111405140 B CN111405140 B CN 111405140B CN 202010191087 A CN202010191087 A CN 202010191087A CN 111405140 B CN111405140 B CN 111405140B
Authority
CN
China
Prior art keywords
video
frame
tracking
target
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010191087.0A
Other languages
English (en)
Other versions
CN111405140A (zh
Inventor
邱飞岳
章国道
任鹏飞
刘苗
潘笑天
王丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010191087.0A priority Critical patent/CN111405140B/zh
Publication of CN111405140A publication Critical patent/CN111405140A/zh
Application granted granted Critical
Publication of CN111405140B publication Critical patent/CN111405140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种基于目标跟踪的视频防抖方法，属于视频序列自动检测技术领域。它包括如下步骤:步骤一、选择视频序列中的一个基本帧，在基本帧内视频中标记目标物体，获得该物体在基准帧中的坐标；步骤二、在基本帧上标记显示区域，获得标记bounding‑box集合；步骤三、将标记物体和视频序列送入跟踪算法，获得跟踪算法在每一帧中捕获到的目标图像坐标；步骤四、计算每一帧的显示区域；步骤五、判断跟踪结果是否可用。本发明能够在满足视频序列中的每一帧都存在同样一个不移动物体的条件下，在跟踪算法的基础上进行算法层面的视频防抖；且在避开机械防抖的成本因素牵绊的同时，还可以利用简单的人机交互快速获得视频防抖的效果。

Description

一种基于目标跟踪的视频防抖方法
技术领域
本发明属于视频序列自动检测技术领域，具体涉及一种基于目标跟踪的视频防抖方法。
背景技术
随着社会的发展，具有摄像功能的移动终端数量逐渐上升，终端摄像功能的相关技术日益增加；但是，现有的视频序列往往会由于摄像机及其载体的随机抖动而严重影响图像质量，随着人们对视频拍摄质量要求的不断提高，视频防抖已经成为现代稳像技术的重要发展方向之一。
视频防抖技术的应用目标在于消除摄像机的载体对视频序列的影响，视频防抖起初是机械设计的一个重要研究方向，而随着计算机视觉相关技术的发展，计算机视觉的一些图像算法也可以促进视频防抖技术的发展。
发明内容
针对现有技术中存在的上述问题，本发明的目的在于提供一种能够通过简单的人机交互，快速获得视频防抖效果的视频防抖方法。
本发明提供如下技术方案：一种基于目标跟踪的视频防抖方法，其特征在于包括如下步骤:
步骤一、选择视频序列中的一个基本帧，在基本帧内视频中标记目标物体，获得该物体在基准帧中的坐标；
步骤二、在基本帧上标记显示区域，获得标记bounding-box集合；
步骤三、将标记物体和视频序列送入跟踪算法，获得跟踪算法在每一帧中捕获到的目标图像坐标；
步骤四、根据步骤三中捕获到的目标图像坐标，计算每一帧的显示区域；
步骤五、根据步骤四中计算得到的每一帧显示区域，判断跟踪结果是否可用。
所述的一种基于目标跟踪的视频防抖方法，其特征在于所述步骤一中，目标物体为基本帧内视频中一直存在并且在现实世界中不移动的物体，目标物体坐标标记为(x0，y0)，基准帧分辨率为width×height。
所述的一种基于目标跟踪的视频防抖方法，其特征在于所述步骤二中显示区域为视频序列上截取下来的矩形区域，每一帧中的显示区域内容相同，所述bounding-box集合标记为B0，其中
Figure BDA0002415931370000021
所述的一种基于目标跟踪的视频防抖方法，其特征在于所述步骤三中目标的图像坐标标记为(xi，yi)，其中，i∈[1,N]，N为视频序列长度。
所述的一种基于目标跟踪的视频防抖方法，其特征在于所述步骤四中，每一帧的显示区域标记为Bi，通过以下公式计算Bi：
Figure BDA0002415931370000022
Figure BDA0002415931370000023
Figure BDA0002415931370000024
Figure BDA0002415931370000025
所述的一种基于目标跟踪的视频防抖方法，其特征在于所述步骤五中，根据如下公式判断跟踪结果是否可用：
Figure BDA0002415931370000026
其中，当g(Bi)为1时，跟踪结果可用；为g(Bi)为0时，跟踪结果不可用。
通过采用上述技术，与现有技术相比，本发明的有益效果如下：
本发明能够在满足视频序列中的每一帧都存在同样一个不移动物体的条件下，在跟踪算法的基础上进行算法层面的视频防抖；此外本发明避开机械防抖的成本因素牵绊的同时，还可以利用简单的人机交互获得视频防抖的效果，并且计算速度快。
附图说明
图1为本发明的基本流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
请参阅图1，一种基于目标跟踪的视频防抖方法，包括如下步骤:
步骤一：选择视频序列中的一个基本帧，在基本帧中选择视频中一直存在并且在现实世界中不移动的物体，标记该物体，获得该目标在基准帧中的坐标(x0,y0)，基准帧分辨率为width×height；
步骤二：在基本帧上标记显示区域，获得标记bounding-box集合B0，显示区域为视频序列上截取下来的矩形区域，视频防抖需要每一帧中的显示区域内容相同，其中
Figure BDA0002415931370000031
步骤三：将标记物体和视频序列送入跟踪算法，获得跟踪算法在每一帧中捕获到目标的图像坐标(xi,yi)，其中，i∈[1,N]，N为视频序列长度；
步骤四：根据如下公式，计算每一帧的显示区域Bi：
Figure BDA0002415931370000032
Figure BDA0002415931370000041
Figure BDA0002415931370000042
Figure BDA0002415931370000043
步骤五：根据如下公式判断跟踪结果是否可用：
Figure BDA0002415931370000044
其中，当g(Bi)为1时，跟踪结果可用，为0时，跟踪结果不可用。
本发明能够在满足视频序列中的每一帧都存在同样一个不移动物体的条件下，在跟踪算法的基础上进行算法层面的视频防抖，且能够利用简单的人机交互快速获得视频防抖的效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于目标跟踪的视频防抖方法，其特征在于包括如下步骤:
步骤一、选择视频序列中的一个基准帧，在基准帧内视频中标记目标物体，获得该物体在基准帧中的坐标，目标物体为基准帧内视频中一直存在并且在现实世界中不移动的物体，目标物体坐标标记为(x0,y0)，基准帧分辨率为width×height；
步骤二、在基准帧上标记显示区域，获得标记bounding-box集合，显示区域为视频序列上截取下来的矩形区域，每一帧中的显示区域内容相同，所述bounding-box集合标记为B0，其中
Figure FDA0003553158990000011
步骤三、将标记物体和视频序列送入跟踪算法，获得跟踪算法在每一帧中捕获到的目标的图像坐标，目标的图像坐标标记为(xi，yi)，其中，i∈[1,N]，N为视频序列长度；
步骤四、根据步骤三中捕获到的目标的图像坐标，计算每一帧的显示区域，每一帧的显示区域标记为Bi，通过以下公式计算Bi：
Figure FDA0003553158990000012
Figure FDA0003553158990000013
Figure FDA0003553158990000014
Figure FDA0003553158990000015
步骤五、根据步骤四中计算得到的每一帧显示区域，判断跟踪结果是否可用。
2.根据权利要求1所述的一种基于目标跟踪的视频防抖方法，其特征在于所述步骤五中，根据如下公式判断跟踪结果是否可用：
Figure FDA0003553158990000021
其中，当g(Bi)为1时，跟踪结果可用；为g(Bi)为0时，跟踪结果不可用。
CN202010191087.0A 2020-03-18 2020-03-18 一种基于目标跟踪的视频防抖方法 Active CN111405140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010191087.0A CN111405140B (zh) 2020-03-18 2020-03-18 一种基于目标跟踪的视频防抖方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010191087.0A CN111405140B (zh) 2020-03-18 2020-03-18 一种基于目标跟踪的视频防抖方法

Publications (2)

Publication Number Publication Date
CN111405140A CN111405140A (zh) 2020-07-10
CN111405140B true CN111405140B (zh) 2022-04-29

Family

ID=71430946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010191087.0A Active CN111405140B (zh) 2020-03-18 2020-03-18 一种基于目标跟踪的视频防抖方法

Country Status (1)

Country Link
CN (1) CN111405140B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915687B (zh) * 2020-07-13 2024-07-05 浙江工业大学 一种具有深度信息和颜色信息的背景提取方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
JP2003006649A (ja) * 2001-06-19 2003-01-10 Hitachi Kokusai Electric Inc 侵入物体追跡方法及び侵入物体監視装置
JP2004207884A (ja) * 2002-12-24 2004-07-22 Chuo Electronics Co Ltd フレームアウトしない追尾撮影方法
CN101656826A (zh) * 2008-08-21 2010-02-24 鸿富锦精密工业（深圳）有限公司 录影系统及其录影方法
US9390506B1 (en) * 2015-05-07 2016-07-12 Aricent Holdings Luxembourg S.A.R.L. Selective object filtering and tracking
CN108476289A (zh) * 2017-07-31 2018-08-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
CN109936697A (zh) * 2019-04-29 2019-06-25 佛山伊苏巨森科技有限公司 一种视频拍摄目标跟踪方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327893A1 (en) * 2008-06-25 2009-12-31 Paul Terry Coordinated video presentation methods and apparatus
JP5724346B2 (ja) * 2010-12-09 2015-05-27 ソニー株式会社 映像表示装置、映像表示システム、映像表示方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
JP2003006649A (ja) * 2001-06-19 2003-01-10 Hitachi Kokusai Electric Inc 侵入物体追跡方法及び侵入物体監視装置
JP2004207884A (ja) * 2002-12-24 2004-07-22 Chuo Electronics Co Ltd フレームアウトしない追尾撮影方法
CN101656826A (zh) * 2008-08-21 2010-02-24 鸿富锦精密工业（深圳）有限公司 录影系统及其录影方法
US9390506B1 (en) * 2015-05-07 2016-07-12 Aricent Holdings Luxembourg S.A.R.L. Selective object filtering and tracking
CN108476289A (zh) * 2017-07-31 2018-08-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
CN109936697A (zh) * 2019-04-29 2019-06-25 佛山伊苏巨森科技有限公司 一种视频拍摄目标跟踪方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Object Instance Search in Videos via Spatio-Temporal Trajectory Discovery";Jingjing Meng etc.;《IEEE Transactions on Multimedia》;20151113;第18卷(第1期);全文 *
"基于多粒度数据表示的目标检测与追踪";周以鹏;《中国优秀硕士学位论文全文数据库（电子期刊）》;20191215;全文 *

Also Published As

Publication number Publication date
CN111405140A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN109785291B (zh) 一种车道线自适应检测方法
US9092853B2 (en) Method for dynamically calibrating rotation offset in a camera system
US12026928B2 (en) Method and apparatus for detecting region of interest, electronic device, and readable storage medium
US10474935B2 (en) Method and device for target detection
CN115866394B (zh) 用于在第一镜头和第二镜头之间切换的方法和电子设备
US9946957B2 (en) Method, apparatus, computer program and system for image analysis
EP4105886A1 (en) Image processing method and apparatus, and device
CN106560840A (zh) 一种图像信息识别处理方法及装置
CN111405140B (zh) 一种基于目标跟踪的视频防抖方法
CN112534469A (zh) 图像检测方法、图像检测装置、图像检测设备及介质
TW201516965A (zh) 偵測多移動目標之方法
US8275191B2 (en) Image processing apparatus and method for generating coordination calibration points
TWI660310B (zh) 比對追蹤物件的方法及電子裝置
CN111654640B (zh) 曝光调整方法、装置及电子设备
CN109948605B (zh) 一种针对小目标的图片增强方法及装置
CN112702528B (zh) 视频防抖方法、装置及电子设备
US10860169B2 (en) Method, apparatus or computer program for user control of access to displayed content
CN111860161B (zh) 一种目标遮挡检测方法
CN115174878A (zh) 投影画面校正方法、装置和存储介质
TWI735959B (zh) 影像處理電路與方法
CN111860492B (zh) 一种车牌倾斜矫正方法、装置、计算机设备和存储介质
CN110418195B (zh) 一种基于最佳裁剪的实时视频缩略方法
CN112837285A (zh) 一种板面图像的边缘检测方法及装置
CN112085002A (zh) 人像分割方法、装置、存储介质及电子设备
CN113873095B (zh) 运动补偿方法和模块、芯片、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant