CN111383247A - 增强金字塔lk光流算法图像跟踪稳定性的方法 - Google Patents
增强金字塔lk光流算法图像跟踪稳定性的方法 Download PDFInfo
- Publication number
- CN111383247A CN111383247A CN201811640080.1A CN201811640080A CN111383247A CN 111383247 A CN111383247 A CN 111383247A CN 201811640080 A CN201811640080 A CN 201811640080A CN 111383247 A CN111383247 A CN 111383247A
- Authority
- CN
- China
- Prior art keywords
- image
- image feature
- feature point
- feature points
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 16
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 5
- 238000001914 filtration Methods 0.000 abstract 1
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种增强金字塔LK光流算法图像跟踪稳定性的方法,通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算,根据反向跟踪结果与原始图像特征点进行距离计算,过滤存在较大误差的图像特征点,仅保留跟踪准确度高的图像特征点,从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差,有效地提高了对待跟踪图像序列中目标主体跟踪的准确性,达到优化跟踪稳定性的目的。
Description
技术领域
本发明涉及计算机视觉与增强现实技术领域,具体涉及一种增强金字塔LK光流算法图像跟踪稳定性的方法。
背景技术
光流,是图像亮度的运动信息描述,具体是指由一个观察者(如眼睛、摄像头),在一个视角下,一个物体、表面、边缘和背景之间形成的明显移动,它评估了两幅图像之间的变形。在计算机图形图像学中,可以利用像素亮度的变化追踪光线移动的方向,从而确定物体运动方向,进而得到相机运动方向。
LK光流(Lucas-Kanade光流)算法,通过对观测量进行“灰度不变”假设和“某个窗口内的像素具有相同的运动”假设,利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法,从而能够在前后两帧图像中追踪到同一个点的位置移动。LK光流算法对于有噪声存在图像跟踪具有良好的鲁棒性,同时,LK光流算法在图像跟踪时受运动距离、环境光照变化等因素的影响,并不能保证每个特征点都被准确跟踪,未被准确跟踪的特征点会导致跟踪结果的计算误差。因此,如何解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差,提高基于金字塔LK光流算法图像跟踪的准确性,成为目前亟待解决的技术问题之一。
发明内容
为了解决上述技术问题至少之一,本发明的实施例提出了一种增强金字塔LK光流算法图像跟踪稳定性的方法,通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算,根据反向跟踪结果与原始图像特征点进行距离计算,过滤存在较大误差的图像特征点,从而解决光流跟踪过程中由于待跟踪目标较大幅度运动导致的特征点跟踪误差,有效地提高跟踪的准确性,达到优化跟踪稳定性的目的。
有鉴于此,根据本发明的实施例,本发明提供一种增强金字塔LK光流算法图像跟踪稳定性的方法,包括以下步骤:S101,在待跟踪图像序列的当前帧图像P1中,确定待跟踪目标的初始图像区域;S102,提取所述待跟踪目标的初始图像区域中的图像特征点,确定图像特征点集合M;S103,基于金字塔LK光流算法对所述图像特征点集合M中的所有图像特征点进行跟踪,在与所述当前帧图像P1相邻的下一帧图像P2中,确定所述图像特征点集合M中的每一图像特征点分别对应的图像特征点,得到图像特征点集合N;S104,基于金字塔LK光流算法对所述图像特征点集合N中的所有图像特征点进行反向跟踪,在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点,得到图像特征点集合M′;S105,在所述图像帧P1中,计算所述图像特征点集合M中的每一图像特征点,与所述图像特征点在所述图像特征点集合M′中对应的特征点之间的距离,得到距离集合D;S106,根据所述距离集合D中小于阈值T的距离值对应的所述图像特征点集合N中的图像特征点,确定所述待跟踪目标在所述图像帧P2中的图像特征点集合。
优选地,步骤S102中,图像特征点为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点及LBP特征点中的至少一个。
优选地,步骤S106之前,还包括:预设所述阈值T;或者,将所述距离集合D中的距离值以递增或递减的次序排序,得到距离值序列,选取所述距离值序列的中间值为所述阈值T。
优选地,步骤S106,具体为:根据所述预设阈值T,提取所述距离集合D中小于所述预设阈值T的距离值对应的所述图像特征点集合N中的图像特征点,得到所述待跟踪目标在所述图像帧P2中的图像特征点集合。
优选地,步骤S103,具体为:在所述待跟踪图像序列中,将所述图像帧P1与所述图像帧P2的位置进行互换;基于金字塔LK光流算法在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点,得到图像特征点集合M′。
优选地,所述待跟踪图像序列为灰度图像帧序列。
本发明提出的增强金字塔LK光流算法图像跟踪稳定性的方法,通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算,根据反向跟踪结果与原始图像特征点进行距离计算,过滤存在较大误差的图像特征点,从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差,有效地提高了对待跟踪图像序列中的待跟踪目标主体的跟踪准确性,达到优化跟踪稳定性的目的。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图:
图1是本发明实施例的增强金字塔LK光流算法图像跟踪稳定性方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本发明实施例的增强金字塔LK光流算法图像跟踪稳定性的方法,如图1所示,包括以下步骤:S101,在待跟踪图像序列的当前帧图像P1中,确定待跟踪目标的初始图像区域;S102,提取待跟踪目标的初始图像区域中的图像特征点,确定图像特征点集合M;S103,基于金字塔LK光流算法对图像特征点集合M中的所有图像特征点进行跟踪,在与当前帧图像P1相邻的下一帧图像P2中,确定图像特征点集合M中的每一图像特征点分别对应的图像特征点,得到图像特征点集合N;S104,基于金字塔LK光流算法对图像特征点集合N中的所有图像特征点进行反向跟踪,在图像帧P1中确定图像特征点集合N中每一图像特征点分别对应的图像特征点,得到图像特征点集合M′;S105,在图像帧P1中,计算图像特征点集合M中的每一图像特征点,与图像特征点在图像特征点集合M′中对应的特征点之间的距离,得到距离集合D;S106,根据距离集合D中小于阈值T的距离值对应的图像特征点集合N中的图像特征点,确定待跟踪目标在图像帧P2中的图像特征点集合。
在该技术方案中,在待跟踪图像序列的当前帧图像P1中,确定待跟踪目标主体在当前帧图像P1中的图像区域作为初始图像区域,其中,当前帧可以是待跟踪图像序列的初始帧。
进一步地,在待跟踪目标的初始图像区域中提取n个图像特征点,确定提取到的图像特征点在图像帧P1中的坐标,得到待跟踪目标的图像特征点集合M,M={m1,m2,...mi,...mn},i,n为自然数,i≤n。其中,图像特征点可以为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点或LBP特征点。
进一步地,根据待跟踪目标的图像特征点集合M,基于金字塔LK光流算法对图像特征点集合M中的所有图像特征点进行跟踪,在与所述当前帧图像P1相邻的下一帧图像P2中,确定所述图像特征点集合M中的每一图像特征点mi对应的图像特征点ni,得到图像特征点集合N,N={n1,n2,...ni,...nn},其中,i=1,2,...n。
进一步地,根据图像特征点集合N,基于金字塔LK光流算法对图像特征点集合N中的所有图像特征点进行反向跟踪,在图像帧P1中确定图像特征点集合N中每一图像特征点ni对应的图像特征点m′i,确定每个图像特征点m′i在图像帧P1中的坐标,得到图像特征点集合M′,M′={m′1,m′2,...m′i,...m′n}。
进一步地,在图像帧P1中,根据图像特征点集合M中的每一图像特征点mi的坐标与对应的图像特征点集合M′中图像特征点m′i的坐标,图像特征点mi与图像特征点m′i之间的欧式距离di,得到距离集合D,D={d1,d2,...di,...dn}。
进一步地,根据预设阈值T,提取距离集合D中所有小于预设阈值T的距离值dj对应的图像特征点集合N中的图像特征点nj,其中,j∈{1,2,...,n},得到待跟踪目标在图像帧P2中的图像特征点集合。
进一步地,依次对待跟踪图像序列中当前帧图像P1之后的每一图像帧执行以上步骤,从而完成对待跟踪目标的跟踪。
在上述技术方案中,步骤S106之前,还包括:预设阈值T;或者,将距离集合D中的距离值以递增或递减的次序排序,得到距离值序列,选取距离值序列的中间值作为所述阈值T。
在该技术方案中,可以预先设置阈值T,例如,根据待跟踪目标主体的图像复杂度,预先确定阈值T;或者,将距离集合D={d1,d2,...di,...dn}中的距离值以递增或递减的次序进行排序,得到距离值序列,选取距离值序列中的中间值为阈值T。具体地,令k=[n/2],即,根据距离值序列中包含的距离值数量n,令k为n/2的整数部分,若n为奇数,则选取距离值序列中的第k+1个距离值为阈值T,若n为偶数,则选取距离值序列中的第k个距离值为阈值T。
在上述技术方案中,步骤S103,具体为:在待跟踪图像序列中,将图像帧P1与图像帧P2的位置进行互换;基于金字塔LK光流算法在图像帧P1中确定图像特征点集合N中每一图像特征点ni对应的图像特征点m′i,得到图像特征点集合M′。
本发明实施例的增强金字塔LK光流算法图像跟踪稳定性的方法,通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算,根据反向跟踪结果与原始图像特征点进行距离计算,过滤存在较大误差的图像特征点,仅保留跟踪准确度高的图像特征点,从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差,有效地提高了对待跟踪图像序列中的待跟踪目标主体的跟踪准确性,达到优化跟踪稳定性的目的,适用于多种基于图像目标跟踪的应用场景,例如增强现实显示,可以使增强现实显示更加真实、稳定。
在本发明中,术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种增强金字塔LK光流算法图像跟踪稳定性的方法,其特征在于,包括以下步骤:
S101,在待跟踪图像序列的当前帧图像P1中,确定待跟踪目标的初始图像区域;
S102,提取所述待跟踪目标的初始图像区域中的图像特征点,确定图像特征点集合M;
S103,基于金字塔LK光流算法对所述图像特征点集合M中的所有图像特征点进行跟踪,在与所述当前帧图像P1相邻的下一帧图像P2中,确定所述图像特征点集合M中的每一图像特征点分别对应的图像特征点,得到图像特征点集合N;
S104,基于金字塔LK光流算法对所述图像特征点集合N中的所有图像特征点进行反向跟踪,在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点,得到图像特征点集合M';
S105,在所述图像帧P1中,计算所述图像特征点集合M中的每一图像特征点,与所述图像特征点在所述图像特征点集合M'中对应的特征点之间的距离,得到距离集合D;
S106,根据所述距离集合D中小于阈值T的距离值对应的所述图像特征点集合N中的图像特征点,确定所述待跟踪目标在所述图像帧P2中的图像特征点集合。
2.根据权利要求1所述的增强金字塔LK光流算法图像跟踪稳定性的方法,其特征在于,所述步骤S102中,所述图像特征点为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点及LBP特征点中的至少一个。
3.根据权利要求1或2所述的增强金字塔LK光流算法图像跟踪稳定性的方法,其特征在于,所述步骤S106之前,还包括:
预设所述阈值T;或者,
将所述距离集合D中的距离值以递增或递减的次序排序,得到距离值序列,选取所述距离值序列的中间值为所述阈值T。
4.根据权利要求3所述的增强金字塔LK光流算法图像跟踪稳定性的方法,其特征在于,所述步骤S106,具体为:
根据所述预设阈值T,提取所述距离集合D中小于所述预设阈值T的距离值对应的所述图像特征点集合N中的图像特征点,得到所述待跟踪目标在所述图像帧P2中的图像特征点集合。
5.根据权利要求4所述的增强金字塔LK光流算法图像跟踪稳定性的方法,其特征在于,所述步骤S103,具体为:
在所述待跟踪图像序列中,将所述图像帧P1与所述图像帧P2的位置进行互换;
基于金字塔LK光流算法在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点,得到图像特征点集合M'。
6.根据权利要求3所述的增强金字塔LK光流算法图像跟踪稳定性的方法,其特征在于,所述待跟踪图像序列为灰度图像帧序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811640080.1A CN111383247A (zh) | 2018-12-29 | 2018-12-29 | 增强金字塔lk光流算法图像跟踪稳定性的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811640080.1A CN111383247A (zh) | 2018-12-29 | 2018-12-29 | 增强金字塔lk光流算法图像跟踪稳定性的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111383247A true CN111383247A (zh) | 2020-07-07 |
Family
ID=71221034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811640080.1A Pending CN111383247A (zh) | 2018-12-29 | 2018-12-29 | 增强金字塔lk光流算法图像跟踪稳定性的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111383247A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991386A (zh) * | 2021-02-20 | 2021-06-18 | 浙江欣奕华智能科技有限公司 | 光流跟踪装置 |
CN117470248A (zh) * | 2023-12-27 | 2024-01-30 | 四川三江数智科技有限公司 | 一种移动机器人室内定位方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810692A (zh) * | 2012-11-08 | 2014-05-21 | 杭州海康威视数字技术股份有限公司 | 视频监控设备进行视频跟踪的方法及该视频监控设备 |
CN104376576A (zh) * | 2014-09-04 | 2015-02-25 | 华为技术有限公司 | 一种目标跟踪方法及装置 |
CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及系统 |
JP2016152027A (ja) * | 2015-02-19 | 2016-08-22 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
CN106203423A (zh) * | 2016-06-26 | 2016-12-07 | 广东外语外贸大学 | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 |
CN107248174A (zh) * | 2017-05-15 | 2017-10-13 | 西安电子科技大学 | 一种基于tld算法的目标跟踪方法 |
-
2018
- 2018-12-29 CN CN201811640080.1A patent/CN111383247A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810692A (zh) * | 2012-11-08 | 2014-05-21 | 杭州海康威视数字技术股份有限公司 | 视频监控设备进行视频跟踪的方法及该视频监控设备 |
CN104376576A (zh) * | 2014-09-04 | 2015-02-25 | 华为技术有限公司 | 一种目标跟踪方法及装置 |
JP2016152027A (ja) * | 2015-02-19 | 2016-08-22 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及系统 |
CN106203423A (zh) * | 2016-06-26 | 2016-12-07 | 广东外语外贸大学 | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 |
CN107248174A (zh) * | 2017-05-15 | 2017-10-13 | 西安电子科技大学 | 一种基于tld算法的目标跟踪方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991386A (zh) * | 2021-02-20 | 2021-06-18 | 浙江欣奕华智能科技有限公司 | 光流跟踪装置 |
CN117470248A (zh) * | 2023-12-27 | 2024-01-30 | 四川三江数智科技有限公司 | 一种移动机器人室内定位方法 |
CN117470248B (zh) * | 2023-12-27 | 2024-04-02 | 四川三江数智科技有限公司 | 一种移动机器人室内定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Robust video content alignment and compensation for rain removal in a cnn framework | |
Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
US10659773B2 (en) | Panoramic camera systems | |
CN109409366B (zh) | 基于角点检测的畸变图像校正方法及装置 | |
CN114731408B (zh) | 使用结构化神经网络进行视频帧插值的系统、设备和方法 | |
CN109712067B (zh) | 一种基于深度图像的虚拟视点绘制方法 | |
US8385630B2 (en) | System and method of processing stereo images | |
US9426444B2 (en) | Depth measurement quality enhancement | |
CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
CN108377374B (zh) | 用于产生与图像相关的深度信息的方法和系统 | |
CN111104943A (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
EP2966616B1 (en) | Method and apparatus for tracking superpixels between related images | |
CN102123244B (zh) | 用于视频去抖动的修复的方法和装置 | |
CN107403414B (zh) | 一种利于模糊核估计的图像区域选择方法和系统 | |
WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
Feng et al. | Fine-grained change detection of misaligned scenes with varied illuminations | |
Yuan et al. | A confidence prior for image dehazing | |
Jin et al. | Perspective fields for single image camera calibration | |
CN111383252A (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
JP2018195084A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
CN109325444A (zh) | 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法 | |
Pan et al. | Depth map completion by jointly exploiting blurry color images and sparse depth maps | |
Wang et al. | Joint framework for single image reconstruction and super-resolution with an event camera | |
CN111383247A (zh) | 增强金字塔lk光流算法图像跟踪稳定性的方法 | |
Liu et al. | Unsupervised optical flow estimation for differently exposed images in ldr domain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |