CN111383247A - 增强金字塔lk光流算法图像跟踪稳定性的方法 - Google Patents

增强金字塔lk光流算法图像跟踪稳定性的方法 Download PDF

Info

Publication number
CN111383247A
CN111383247A CN201811640080.1A CN201811640080A CN111383247A CN 111383247 A CN111383247 A CN 111383247A CN 201811640080 A CN201811640080 A CN 201811640080A CN 111383247 A CN111383247 A CN 111383247A
Authority
CN
China
Prior art keywords
image
image feature
feature point
feature points
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811640080.1A
Other languages
English (en)
Inventor
陈更
史凌波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Arhieason Co ltd
Original Assignee
Beijing Arhieason Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Arhieason Co ltd filed Critical Beijing Arhieason Co ltd
Priority to CN201811640080.1A priority Critical patent/CN111383247A/zh
Publication of CN111383247A publication Critical patent/CN111383247A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种增强金字塔LK光流算法图像跟踪稳定性的方法，通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算，根据反向跟踪结果与原始图像特征点进行距离计算，过滤存在较大误差的图像特征点，仅保留跟踪准确度高的图像特征点，从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差，有效地提高了对待跟踪图像序列中目标主体跟踪的准确性，达到优化跟踪稳定性的目的。

Description

增强金字塔LK光流算法图像跟踪稳定性的方法
技术领域
本发明涉及计算机视觉与增强现实技术领域，具体涉及一种增强金字塔LK光流算法图像跟踪稳定性的方法。
背景技术
光流，是图像亮度的运动信息描述，具体是指由一个观察者(如眼睛、摄像头)，在一个视角下，一个物体、表面、边缘和背景之间形成的明显移动，它评估了两幅图像之间的变形。在计算机图形图像学中，可以利用像素亮度的变化追踪光线移动的方向，从而确定物体运动方向，进而得到相机运动方向。
LK光流(Lucas-Kanade光流)算法，通过对观测量进行“灰度不变”假设和“某个窗口内的像素具有相同的运动”假设，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，从而能够在前后两帧图像中追踪到同一个点的位置移动。LK光流算法对于有噪声存在图像跟踪具有良好的鲁棒性，同时，LK光流算法在图像跟踪时受运动距离、环境光照变化等因素的影响，并不能保证每个特征点都被准确跟踪，未被准确跟踪的特征点会导致跟踪结果的计算误差。因此，如何解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差，提高基于金字塔LK光流算法图像跟踪的准确性，成为目前亟待解决的技术问题之一。
发明内容
为了解决上述技术问题至少之一，本发明的实施例提出了一种增强金字塔LK光流算法图像跟踪稳定性的方法，通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算，根据反向跟踪结果与原始图像特征点进行距离计算，过滤存在较大误差的图像特征点，从而解决光流跟踪过程中由于待跟踪目标较大幅度运动导致的特征点跟踪误差，有效地提高跟踪的准确性，达到优化跟踪稳定性的目的。
有鉴于此，根据本发明的实施例，本发明提供一种增强金字塔LK光流算法图像跟踪稳定性的方法，包括以下步骤：S101，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标的初始图像区域；S102，提取所述待跟踪目标的初始图像区域中的图像特征点，确定图像特征点集合M；S103，基于金字塔LK光流算法对所述图像特征点集合M中的所有图像特征点进行跟踪，在与所述当前帧图像P1相邻的下一帧图像P2中，确定所述图像特征点集合M中的每一图像特征点分别对应的图像特征点，得到图像特征点集合N；S104，基于金字塔LK光流算法对所述图像特征点集合N中的所有图像特征点进行反向跟踪，在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M′；S105，在所述图像帧P1中，计算所述图像特征点集合M中的每一图像特征点，与所述图像特征点在所述图像特征点集合M′中对应的特征点之间的距离，得到距离集合D；S106，根据所述距离集合D中小于阈值T的距离值对应的所述图像特征点集合N中的图像特征点，确定所述待跟踪目标在所述图像帧P2中的图像特征点集合。
优选地，步骤S102中，图像特征点为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点及LBP特征点中的至少一个。
优选地，步骤S106之前，还包括：预设所述阈值T；或者，将所述距离集合D中的距离值以递增或递减的次序排序，得到距离值序列，选取所述距离值序列的中间值为所述阈值T。
优选地，步骤S106，具体为：根据所述预设阈值T，提取所述距离集合D中小于所述预设阈值T的距离值对应的所述图像特征点集合N中的图像特征点，得到所述待跟踪目标在所述图像帧P2中的图像特征点集合。
优选地，步骤S103，具体为：在所述待跟踪图像序列中，将所述图像帧P1与所述图像帧P2的位置进行互换；基于金字塔LK光流算法在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M′。
优选地，所述待跟踪图像序列为灰度图像帧序列。
本发明提出的增强金字塔LK光流算法图像跟踪稳定性的方法，通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算，根据反向跟踪结果与原始图像特征点进行距离计算，过滤存在较大误差的图像特征点，从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差，有效地提高了对待跟踪图像序列中的待跟踪目标主体的跟踪准确性，达到优化跟踪稳定性的目的。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图：
图1是本发明实施例的增强金字塔LK光流算法图像跟踪稳定性方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本发明实施例的增强金字塔LK光流算法图像跟踪稳定性的方法，如图1所示，包括以下步骤：S101，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标的初始图像区域；S102，提取待跟踪目标的初始图像区域中的图像特征点，确定图像特征点集合M；S103，基于金字塔LK光流算法对图像特征点集合M中的所有图像特征点进行跟踪，在与当前帧图像P1相邻的下一帧图像P2中，确定图像特征点集合M中的每一图像特征点分别对应的图像特征点，得到图像特征点集合N；S104，基于金字塔LK光流算法对图像特征点集合N中的所有图像特征点进行反向跟踪，在图像帧P1中确定图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M′；S105，在图像帧P1中，计算图像特征点集合M中的每一图像特征点，与图像特征点在图像特征点集合M′中对应的特征点之间的距离，得到距离集合D；S106，根据距离集合D中小于阈值T的距离值对应的图像特征点集合N中的图像特征点，确定待跟踪目标在图像帧P2中的图像特征点集合。
在该技术方案中，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标主体在当前帧图像P1中的图像区域作为初始图像区域，其中，当前帧可以是待跟踪图像序列的初始帧。
进一步地，在待跟踪目标的初始图像区域中提取n个图像特征点，确定提取到的图像特征点在图像帧P1中的坐标，得到待跟踪目标的图像特征点集合M，M＝{m1，m2，...mi，...mn}，i，n为自然数，i≤n。其中，图像特征点可以为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点或LBP特征点。
进一步地，根据待跟踪目标的图像特征点集合M，基于金字塔LK光流算法对图像特征点集合M中的所有图像特征点进行跟踪，在与所述当前帧图像P1相邻的下一帧图像P2中，确定所述图像特征点集合M中的每一图像特征点mi对应的图像特征点ni，得到图像特征点集合N，N＝{n1，n2，...ni，...nn}，其中，i＝1，2，...n。
进一步地，根据图像特征点集合N，基于金字塔LK光流算法对图像特征点集合N中的所有图像特征点进行反向跟踪，在图像帧P1中确定图像特征点集合N中每一图像特征点ni对应的图像特征点m′i，确定每个图像特征点m′i在图像帧P1中的坐标，得到图像特征点集合M′，M′＝{m′1，m′2，...m′i，...m′n}。
进一步地，在图像帧P1中，根据图像特征点集合M中的每一图像特征点mi的坐标与对应的图像特征点集合M′中图像特征点m′i的坐标，图像特征点mi与图像特征点m′i之间的欧式距离di，得到距离集合D，D＝{d1，d2，...di，...dn}。
进一步地，根据预设阈值T，提取距离集合D中所有小于预设阈值T的距离值dj对应的图像特征点集合N中的图像特征点nj，其中，j∈{1，2，...，n}，得到待跟踪目标在图像帧P2中的图像特征点集合。
进一步地，依次对待跟踪图像序列中当前帧图像P1之后的每一图像帧执行以上步骤，从而完成对待跟踪目标的跟踪。
在上述技术方案中，步骤S106之前，还包括：预设阈值T；或者，将距离集合D中的距离值以递增或递减的次序排序，得到距离值序列，选取距离值序列的中间值作为所述阈值T。
在该技术方案中，可以预先设置阈值T，例如，根据待跟踪目标主体的图像复杂度，预先确定阈值T；或者，将距离集合D＝{d1，d2，...di，...dn}中的距离值以递增或递减的次序进行排序，得到距离值序列，选取距离值序列中的中间值为阈值T。具体地，令k＝[n/2]，即，根据距离值序列中包含的距离值数量n，令k为n/2的整数部分，若n为奇数，则选取距离值序列中的第k+1个距离值为阈值T，若n为偶数，则选取距离值序列中的第k个距离值为阈值T。
在上述技术方案中，步骤S103，具体为：在待跟踪图像序列中，将图像帧P1与图像帧P2的位置进行互换；基于金字塔LK光流算法在图像帧P1中确定图像特征点集合N中每一图像特征点ni对应的图像特征点m′i，得到图像特征点集合M′。
本发明实施例的增强金字塔LK光流算法图像跟踪稳定性的方法，通过将待跟踪图像帧序列中相邻的两帧图像依次进行正向和反向光流计算，根据反向跟踪结果与原始图像特征点进行距离计算，过滤存在较大误差的图像特征点，仅保留跟踪准确度高的图像特征点，从而解决光流跟踪过程中由于较大幅度运动导致的特征点跟踪误差，有效地提高了对待跟踪图像序列中的待跟踪目标主体的跟踪准确性，达到优化跟踪稳定性的目的，适用于多种基于图像目标跟踪的应用场景，例如增强现实显示，可以使增强现实显示更加真实、稳定。
在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，包括以下步骤：
S101，在待跟踪图像序列的当前帧图像P1中，确定待跟踪目标的初始图像区域；
S102，提取所述待跟踪目标的初始图像区域中的图像特征点，确定图像特征点集合M；
S103，基于金字塔LK光流算法对所述图像特征点集合M中的所有图像特征点进行跟踪，在与所述当前帧图像P1相邻的下一帧图像P2中，确定所述图像特征点集合M中的每一图像特征点分别对应的图像特征点，得到图像特征点集合N；
S104，基于金字塔LK光流算法对所述图像特征点集合N中的所有图像特征点进行反向跟踪，在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M'；
S105，在所述图像帧P1中，计算所述图像特征点集合M中的每一图像特征点，与所述图像特征点在所述图像特征点集合M'中对应的特征点之间的距离，得到距离集合D；
S106，根据所述距离集合D中小于阈值T的距离值对应的所述图像特征点集合N中的图像特征点，确定所述待跟踪目标在所述图像帧P2中的图像特征点集合。
2.根据权利要求1所述的增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，所述步骤S102中，所述图像特征点为SIFT特征点、SURF特征点、ORB特征点、HOG特征点、FAST特征点、BRISK特征点及LBP特征点中的至少一个。
3.根据权利要求1或2所述的增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，所述步骤S106之前，还包括：
预设所述阈值T；或者，
将所述距离集合D中的距离值以递增或递减的次序排序，得到距离值序列，选取所述距离值序列的中间值为所述阈值T。
4.根据权利要求3所述的增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，所述步骤S106，具体为：
根据所述预设阈值T，提取所述距离集合D中小于所述预设阈值T的距离值对应的所述图像特征点集合N中的图像特征点，得到所述待跟踪目标在所述图像帧P2中的图像特征点集合。
5.根据权利要求4所述的增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，所述步骤S103，具体为：
在所述待跟踪图像序列中，将所述图像帧P1与所述图像帧P2的位置进行互换；
基于金字塔LK光流算法在所述图像帧P1中确定所述图像特征点集合N中每一图像特征点分别对应的图像特征点，得到图像特征点集合M'。
6.根据权利要求3所述的增强金字塔LK光流算法图像跟踪稳定性的方法，其特征在于，所述待跟踪图像序列为灰度图像帧序列。
CN201811640080.1A 2018-12-29 2018-12-29 增强金字塔lk光流算法图像跟踪稳定性的方法 Pending CN111383247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811640080.1A CN111383247A (zh) 2018-12-29 2018-12-29 增强金字塔lk光流算法图像跟踪稳定性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811640080.1A CN111383247A (zh) 2018-12-29 2018-12-29 增强金字塔lk光流算法图像跟踪稳定性的方法

Publications (1)

Publication Number Publication Date
CN111383247A true CN111383247A (zh) 2020-07-07

Family

ID=71221034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811640080.1A Pending CN111383247A (zh) 2018-12-29 2018-12-29 增强金字塔lk光流算法图像跟踪稳定性的方法

Country Status (1)

Country Link
CN (1) CN111383247A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991386A (zh) * 2021-02-20 2021-06-18 浙江欣奕华智能科技有限公司 光流跟踪装置
CN117470248A (zh) * 2023-12-27 2024-01-30 四川三江数智科技有限公司 一种移动机器人室内定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810692A (zh) * 2012-11-08 2014-05-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
CN104376576A (zh) * 2014-09-04 2015-02-25 华为技术有限公司 一种目标跟踪方法及装置
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
JP2016152027A (ja) * 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN107248174A (zh) * 2017-05-15 2017-10-13 西安电子科技大学 一种基于tld算法的目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810692A (zh) * 2012-11-08 2014-05-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
CN104376576A (zh) * 2014-09-04 2015-02-25 华为技术有限公司 一种目标跟踪方法及装置
JP2016152027A (ja) * 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN107248174A (zh) * 2017-05-15 2017-10-13 西安电子科技大学 一种基于tld算法的目标跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991386A (zh) * 2021-02-20 2021-06-18 浙江欣奕华智能科技有限公司 光流跟踪装置
CN117470248A (zh) * 2023-12-27 2024-01-30 四川三江数智科技有限公司 一种移动机器人室内定位方法
CN117470248B (zh) * 2023-12-27 2024-04-02 四川三江数智科技有限公司 一种移动机器人室内定位方法

Similar Documents

Publication Publication Date Title
Zhang et al. Adversarial spatio-temporal learning for video deblurring
Chen et al. Robust video content alignment and compensation for rain removal in a cnn framework
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
US10659773B2 (en) Panoramic camera systems
CN109409366B (zh) 基于角点检测的畸变图像校正方法及装置
CN109712067B (zh) 一种基于深度图像的虚拟视点绘制方法
CN114731408B (zh) 使用结构化神经网络进行视频帧插值的系统、设备和方法
US8385630B2 (en) System and method of processing stereo images
US9426444B2 (en) Depth measurement quality enhancement
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
CN108377374B (zh) 用于产生与图像相关的深度信息的方法和系统
CN102123244B (zh) 用于视频去抖动的修复的方法和装置
EP2966616B1 (en) Method and apparatus for tracking superpixels between related images
Chengtao et al. A survey of image dehazing approaches
Yuan et al. A confidence prior for image dehazing
JPH10240945A (ja) 画像処理装置
JP2018195084A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
Pan et al. Depth map completion by jointly exploiting blurry color images and sparse depth maps
CN111383252A (zh) 多相机目标追踪方法、系统、装置及存储介质
Jin et al. Perspective fields for single image camera calibration
CN111383247A (zh) 增强金字塔lk光流算法图像跟踪稳定性的方法
Wang et al. Joint framework for single image reconstruction and super-resolution with an event camera
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Roxas et al. Real-time simultaneous 3D reconstruction and optical flow estimation
Liu et al. Unsupervised optical flow estimation for differently exposed images in LDR domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination