CN106530322B - 抖动视频中目标跟踪的方法 - Google Patents

抖动视频中目标跟踪的方法 Download PDF

Info

Publication number
CN106530322B
CN106530322B CN201611062445.8A CN201611062445A CN106530322B CN 106530322 B CN106530322 B CN 106530322B CN 201611062445 A CN201611062445 A CN 201611062445A CN 106530322 B CN106530322 B CN 106530322B
Authority
CN
China
Prior art keywords
block
frame
tracking
matching
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611062445.8A
Other languages
English (en)
Other versions
CN106530322A (zh
Inventor
操晓春
何军林
郑继龙
童学智
李雪威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201611062445.8A priority Critical patent/CN106530322B/zh
Publication of CN106530322A publication Critical patent/CN106530322A/zh
Application granted granted Critical
Publication of CN106530322B publication Critical patent/CN106530322B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于计算机视觉目标跟踪领域，针对现有跟踪算法在抖动视频中跟踪失败的情况，本发明旨在提出一种用于抖动视频下目标跟踪的改进算法。本发明采用的技术方案是，抖动视频中目标跟踪的方法，步骤如下：利用局部区域块搜索匹配算法，计算出目标物体在当前帧与上一帧的位置坐标偏差，然后将该偏差补偿至跟踪算法的检测区域，使得跟踪算法可以正确跟踪当前目标。本发明主要应用于计算机视觉目标跟踪场合。

Description

抖动视频中目标跟踪的方法
技术领域
本发明属于计算机视觉目标跟踪领域，特别涉及用于抖动视频中的目标跟踪的方法。
背景技术
随着科技的发展，无人机航拍越来越热门，而无人机航拍得到的视频很难避免的会产生各种由于无人机的平移、晃动等导致拍摄的视频具有严重的抖动情况。这些抖动现象会严重干扰对运动物体目标跟踪的结果。而目前很多跟踪算法，比如KCF(KernelizedCorrelation Filters，核相关滤波)跟踪算法等，在严重抖动的视频中均会出现跟踪失败的情况。原因是这些跟踪算法的跟踪原理是默认相邻帧目标物体运动位移小，因此只在当前帧中检测与上一帧物体位置相同的区域(由于认为目标物体运动位移小，因此相邻帧目标物体位置差别不大)。而在抖动比较严重的视频中，当前帧目标物体的位置很可能与上一帧该物体位置位移差很大，因此会导致这些跟踪算法无法正确跟踪运动目标。
发明内容
为克服现有技术的不足，针对现有跟踪算法在抖动视频中跟踪失败的情况，本发明旨在提出一种用于抖动视频下目标跟踪的改进算法。本发明采用的技术方案是，抖动视频中目标跟踪的方法，步骤如下：利用局部区域块搜索匹配算法，计算出目标物体在当前帧与上一帧的位置坐标偏差，然后将该偏差补偿至跟踪算法的检测区域，使得跟踪算法可以正确跟踪当前目标。
具体步骤进一步细化为：
(1)对于视频第一帧，由用户选择出需要跟踪的目标物体，得到目标物体的坐标范围(x0，y0，w，h)，该坐标分别表示目标物体所在的外接矩形的左上角横坐标x0与纵坐标y0，外接矩形沿着x轴方向的宽度w与沿着y轴方向的高度h；
(2)对于视频第二帧，首先进行块搜索匹配，如果目标物体比较小的话，在第一帧中选定目标物体区域作为匹配块Blocki，其中下标i表示帧序号，第一帧i＝0，第二帧i＝2，以此类推，如果目标物体比较大的话，则选择目标物体的一部分区域作为匹配块Blocki；设匹配块的长宽为M和N，由于视频帧序列之间存在相对运动，导致随后一系列视频中的块Blocki+1与前一帧的块Blocki的位置发生偏移，假设x，y方向上最大偏移量分别为dx与dy，则在视频当前帧中围绕Blocki选定一个(M+2dx)*(N+2dy)搜索区域，根据最小绝对误差准则，公式如下：
Figure BDA0001162756500000011
其中，MAD即为Minimum Absolute Difference，最小绝对误差，fk(s,t)和fk-1(s+i,t+j)分别表示当前帧和参考帧的灰度值，匹配块大小为M×N，s,t分别表示匹配块内的x和y方向坐标，i,j分别表示当前帧可能的匹配块与参考帧匹配块在x，y方向坐标差值。利用该准则在搜索区域中进行最小匹配搜索，得到最佳匹配块Block，然后计算Block与Blocki的坐标差(offsetX，offsetY)，得到偏差之后，跟踪算法在上一帧的检测区域加上该偏差得到新的检测区域，即将原来的检测区域在x方向和y方向分别平移offsetX和offsetY距离得到新的检测区域，然后跟踪算法在此区域上做计算得到精确的目标位置，接下来将该位置更新为用于下一帧块搜索匹配的Blocki+1；
(3)在接下的每一帧中，重复第二步的，即每次计算当前帧与上一帧的偏差，然后将该偏差补偿至跟踪算法上一帧的检测区域得到当前帧的检测区域，接着跟踪算法在此区域上做计算得到精确的目标位置，同时更新块Blocki+1，至此实现抖动视频中目标跟踪的功能。
本发明的特点及有益效果是：
本发明利用局部区域块搜索匹配算法，精确的求出跟踪目标区域抖动的分量，然后将该分量补偿至目标跟踪算法的检测区域，使得目标跟踪算法可以准确地跟踪目标。该算法对于大抖动视频中跟踪小目标的效果更显著。
附图说明：
图1：抖动视频中目标跟踪框架图；
图2：块搜索匹配算法图。
具体实施方式
本发明针对现有跟踪算法在抖动视频中跟踪失败的情况，提出一种用于抖动视频下目标跟踪的改进算法。本发明采用的技术方案是：利用局部区域块搜索匹配算法，计算出目标物体在当前帧与上一帧的位置坐标偏差，然后将该偏差补偿至跟踪算法的检测区域，使得跟踪算法可以正确跟踪当前目标。
本发明算法整体框架如图1所示，主要步骤如下：
(1)对于视频第一帧，由用户选择出需要跟踪的目标物体，得到目标物体的坐标范围(x0，y0，w，h)，该坐标分别表示目标物体所在的外接矩形的左上角横坐标x0与纵坐标y0，外接矩形沿着x轴方向的宽度w与沿着y轴方向的高度h。
(2)对于视频第二帧，首先进行块搜索匹配。如果目标物体比较小的话，在第一帧中选定目标物体区域作为匹配块Blocki(其中i表示帧序号，第一帧i＝0，第二帧i＝2，以此类推)，如果目标物体比较大的话，则可以选择目标物体的一部分区域作为匹配块Blocki(可以加快匹配速度)。设匹配块的长宽为M和N。由于视频帧序列之间存在相对运动，导致随后一系列视频中的块Blocki+1与前一帧的块Blocki的位置发生偏移，假设x，y方向上最大偏移量分别为dx与dy。则在视频当前帧中围绕Blocki选定一个(M+2dx)*(N+2dy)搜索区域，根据最小总绝对误差准则，公式如下：
Figure BDA0001162756500000021
其中，MAD即为Minimum Absolute Difference，最小绝对误差，fk(s,t)和fk-1(s+i,t+j)分别表示当前帧和参考帧的灰度值，匹配块大小为M×N，s,t分别表示匹配块内的x和y方向坐标，i,j分别表示当前帧可能的匹配块与参考帧匹配块在x，y方向坐标差值。利用该准则在搜索区域中进行最小匹配搜索，得到最佳匹配块Block，然后计算Block与Blocki的坐标差(offsetX，offsetY)。块搜索匹配算法如图2。得到偏差之后，跟踪算法在上一帧的检测区域加上该偏差得到新的检测区域(即将原来的检测区域在x方向和y方向分别平移offsetX和offsetY距离得到新的检测区域)，然后跟踪算法在此区域上做计算得到精确的目标位置。接下来将该位置更新为用于下一帧块搜索匹配的Blocki+1。
(3)在接下的每一帧中，重复第二步的，即每次计算当前帧与上一帧的偏差，然后将该偏差补偿至跟踪算法上一帧的检测区域得到当前帧的检测区域，接着跟踪算法在此区域上做计算得到精确的目标位置。同时更新块Blocki+1。
至此便实现抖动视频中目标跟踪的功能。
本发明提出抖动视频中目标跟踪的方法，下面结合具体实施方式对本发明作进一步的详细说明。
测试环境：Windows7 64位Microsoft Visual Studio 2015
首先从github上下载KCF跟踪算法源代码(KCF源代码地址：https://github.com/joaofaro/KCFcpp)，此算法在抖动视频中跟踪效果很差，经常会跟踪失败。在此程序上加入块搜索算法的函数代码，该函数输入参数为Mat类型的前一帧的匹配块Block和当前帧的块搜索区域，输出参数为x方向的偏移值offsetX和y方向的偏移值offsetY。然后在main.cpp文件中定位至update函数，原本该函数只有一个输入参数，即当前帧Mat类型数据。现在将update函数增加2个类型为整型的输入参数，分别为之前求得的x方向偏移值offsetX和y方向偏移值offsetY。接下来定位至update函数内部，在其函数内部将检测区域_roi的x与y分别加上偏移值offsetX和offsetY。跟踪算法的代码其他部分均不变。跟踪算法计算出精确的目标位置之后，将该位置更新为新的匹配块位置，用于下一帧的块搜索匹配。至此代码部分修改完毕。
接下来采集了几段无人机拍摄的视频，其视频抖动情况比较严重。经测试，修改后的跟踪算法在抖动严重的视频中跟踪效果均表现很好。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明请求保护范围内。

Claims (1)

1.一种抖动视频中目标跟踪的方法，其特征是，步骤如下：利用局部区域块搜索匹配算法，计算出目标物体在当前帧与上一帧的位置坐标偏差，然后将该偏差补偿至跟踪算法的检测区域，使得跟踪算法可以正确跟踪当前目标；具体步骤进一步细化为：
(1)对于视频第一帧，由用户选择出需要跟踪的目标物体，得到目标物体的坐标范围(x0，y0，w，h)，该坐标范围分别表示目标物体所在的外接矩形的左上角横坐标x0与纵坐标y0，外接矩形沿着x轴方向的宽度w与沿着y轴方向的高度h；
(2)对于视频第二帧，首先进行块搜索匹配，如果目标物体比较小的话，在第一帧中选定目标物体区域作为匹配块Blockl，其中下标l表示帧序号，第一帧l＝0，第二帧l＝1，以此类推，如果目标物体比较大的话，则选择目标物体的一部分区域作为匹配块Blockl；设匹配块的长宽为M和N，由于视频帧序列之间存在相对运动，导致随后一系列视频中的块Blockl+1与前一帧的块Blockl的位置发生偏移，假设x，y方向上最大偏移量分别为dx与dy，则在视频当前帧中围绕Blockl选定一个(M+2dx)*(N+2dy)搜索区域，根据最小绝对误差准则，公式如下：
Figure FDA0002224711490000011
其中，MAD即为Minimum Absolute Difference，最小绝对误差，fk(s,t)和fk-1(s+i,t+j)分别表示当前帧和参考帧的灰度值，匹配块大小为M×N，s,t分别表示匹配块内的x和y方向坐标，i,j分别表示当前帧可能的匹配块与参考帧匹配块在x，y方向坐标差值，利用该准则在搜索区域中进行最小匹配搜索，得到最佳匹配块Block，然后计算Block与Blockl的坐标差(offsetX，offsetY)，得到偏差之后，跟踪算法在上一帧的检测区域加上该偏差得到新的检测区域，即将原来的检测区域在x方向和y方向分别平移offsetX和offsetY距离得到新的检测区域，然后跟踪算法在此区域上做计算得到精确的目标位置，接下来将该位置更新为用于下一帧块搜索匹配的Blockl+1；
(3)在接下的每一帧中，重复第(2)步，即每次计算当前帧与上一帧的偏差，然后将该偏差补偿至跟踪算法上一帧的检测区域得到当前帧的检测区域，接着跟踪算法在此区域上做计算得到精确的目标位置，同时更新块Blockl+1，至此实现抖动视频中目标跟踪的功能。
CN201611062445.8A 2016-11-25 2016-11-25 抖动视频中目标跟踪的方法 Expired - Fee Related CN106530322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611062445.8A CN106530322B (zh) 2016-11-25 2016-11-25 抖动视频中目标跟踪的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611062445.8A CN106530322B (zh) 2016-11-25 2016-11-25 抖动视频中目标跟踪的方法

Publications (2)

Publication Number Publication Date
CN106530322A CN106530322A (zh) 2017-03-22
CN106530322B true CN106530322B (zh) 2020-04-17

Family

ID=58357506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611062445.8A Expired - Fee Related CN106530322B (zh) 2016-11-25 2016-11-25 抖动视频中目标跟踪的方法

Country Status (1)

Country Link
CN (1) CN106530322B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107404615B (zh) * 2017-06-29 2020-08-25 联想(北京)有限公司 图像录制方法及电子设备
CN108765464A (zh) * 2018-05-31 2018-11-06 山东工商学院 基于残差补偿的低秩重检测上下文长时跟踪方法及系统
CN111259907B (zh) * 2020-03-12 2024-03-12 Oppo广东移动通信有限公司 内容识别方法、装置以及电子设备
CN113643342B (zh) * 2020-04-27 2023-11-14 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112347955A (zh) * 2020-11-12 2021-02-09 上海影卓信息科技有限公司 视频中基于帧预测的物体快速识别方法、系统及介质
CN113538523B (zh) * 2021-09-17 2021-12-31 魔视智能科技(上海)有限公司 车位检测跟踪方法、电子设备及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7924317B2 (en) * 2008-03-12 2011-04-12 Aptina Imaging Corporation Method and apparatus for reducing motion blur in digital images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频的车辆运动检测和流量统计算法研究;乔鹏;《中国优秀硕士学位论文全文数据库》;20160415;正文第3-4,14-16页 *

Also Published As

Publication number Publication date
CN106530322A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106530322B (zh) 抖动视频中目标跟踪的方法
Zubizarreta et al. Direct sparse mapping
JP5952001B2 (ja) 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム
EP3023939B1 (en) Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation
US20070008312A1 (en) Method for determining camera position from two-dimensional images that form a panorama
JP6701930B2 (ja) オーサリング装置、オーサリング方法およびオーサリングプログラム
JP5499261B2 (ja) 画像処理装置
KR101703515B1 (ko) 영상의 표적 추적 장치 및 방법
CN110223380B (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
JPWO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2009133753A (ja) 画像処理装置及びその方法
CN111951325B (zh) 位姿跟踪方法、位姿跟踪装置及电子设备
CN103237156B (zh) 应用于电子稳像的改进块匹配算法
Tjahjadi et al. Precise wide baseline stereo image matching for compact digital cameras
EP3175312A2 (en) Video-assisted landing guidance system and method
CN110111389A (zh) 一种基于slam的移动增强现实跟踪注册方法和系统
JP2014216813A (ja) カメラ姿勢推定装置及びそのプログラム
KR101803340B1 (ko) 영상 기반 주행거리 측정 시스템 및 방법
CN107704814B (zh) 一种基于视频的振动目标监测方法
JP5267100B2 (ja) 運動推定装置及びプログラム
CN110647609B (zh) 视觉地图定位方法及系统
CN116883897A (zh) 一种低分辨率目标识别方法
Jurado et al. Inertial and imaging sensor fusion for image-aided navigation with affine distortion prediction
JP2008021210A (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
KR102173244B1 (ko) Surf 특징점 추적 기반 영상 안정화 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200417

Termination date: 20201125

CF01 Termination of patent right due to non-payment of annual fee