CN113744307A - 一种基于阈值动态调整的图像特征点跟踪方法和系统 - Google Patents
一种基于阈值动态调整的图像特征点跟踪方法和系统 Download PDFInfo
- Publication number
- CN113744307A CN113744307A CN202110901181.5A CN202110901181A CN113744307A CN 113744307 A CN113744307 A CN 113744307A CN 202110901181 A CN202110901181 A CN 202110901181A CN 113744307 A CN113744307 A CN 113744307A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- tracking
- feature point
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000000605 extraction Methods 0.000 claims abstract description 205
- 239000000284 extract Substances 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000033001 locomotion Effects 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 36
- 238000013519 translation Methods 0.000 claims description 22
- 230000003247 decreasing effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 229940060587 alpha e Drugs 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 abstract description 15
- 230000014616 translation Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- GIYXAJPCNFJEHY-UHFFFAOYSA-N N-methyl-3-phenyl-3-[4-(trifluoromethyl)phenoxy]-1-propanamine hydrochloride (1:1) Chemical compound Cl.C=1C=CC=CC=1C(CCNC)OC1=CC=C(C(F)(F)F)C=C1 GIYXAJPCNFJEHY-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于阈值动态调整的图像特征点跟踪方法和系统，将特征提取和特征跟踪看作两个相互依赖的过程，特征提取阶段提取出的特征点好坏会影响特征跟踪的结果，而特征跟踪的结果又会反馈到特征提取阶段用来调整特征提取时所需的关键参数；根据当前环境的情况来动态地调节特征点提取阈值，使得传统的特征提取方法在极端的光照环境下也能有效地提取到特征点。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种基于阈值动态调整的图像特征点跟踪方法和系统。
背景技术
直接法视觉SLAM(Simultaneous LocalizationAndMapping，即时定位与地图构建)能够利用图像上的大量的信息进行图像间的配准，更多的信息通常可以提供更多的约束，更有利于对问题的求解。然而，当图像数据存在大量噪声或是图像数据被扭曲时，如果不对图像进行适当的处理，如滤波、模糊、去畸变，则大量被利用的信息会是无效甚至错误的信息，这些信息反而会破坏系统的鲁棒性，对于直接法视觉SLAM来说就会导致错误的相机位姿估计。另一方面，直接法视觉SLAM的设计是基于前后图像光度一致的假设，这对数据本身提出了很高的要求，而在现实生活中，环境往往是多变的、复杂的，这就需要对数据做大量的预处理，如本发明实施例中提出的对图像光度参照一个参考图像进行调整。除了直接法视觉SLAM，另一种非常流行的视觉 SLAM框架是特征点法视觉SLAM。特征点法视觉SLAM利用特别设计的图像特征提取方法，对图像进行特征提取，再利用前后两帧图像上提取出来的特征进行特征匹配，最后利用得到的特征对应关系和多视角几何约束构造超定方程求解相机的位姿。相比直接法视觉SLAM，特征点法视觉SLAM舍去了图像上大量冗余信息，仅仅选取图像上最具有代表性的少量信息进行图像的配准，这在一定程度上减少了无效的图像信息对图像配准的干扰。同时，同一张图像上被提取出的特征在某种程度上可以描述这张图像的内容，因此每张图像上被提取的特征也可以保存下来，并在未来某一时刻被重新用来和时间轴上相距非常远的一帧图像进行匹配，这常常被用于视觉重定位。特征点法视觉SLAM因其受环境影响较小、天生支持视觉重定位技术等优势被广泛应用，因此讨论它的性能会如何被极端的光照条件所影响以及在这些极端的光照条件下如何更鲁棒地运行也非常必要。
特征点法视觉SLAM使用人工设计的特征来提取图像上具有局部区分度的像素。常用的图像特征点有Fast特征、Harris特征、ORB特征、SIFT 特征、SUFT特征。这其中，Fast特征和ORB特征对每个像素计算它和周围一圈像素的差异，若有足够多的连续的点和它差异较大，则把它当作一个图像特征点。这里对差异大小的判断是通过计算两个像素点之间像素值的差异大小，当像素值的差异大于某一个设定的阈值时，则认为这两个像素差异较大。Harris特征、SIFT特征、SUFT特征则是先用预先设计好的模板对图像进行卷积运算，得到图像对于该模板的响应图，再在响应图上找局部最大响应点，最后将这些局部最大响应点所对应在图像上的像素点作为图像的特征。局部最大响应点的选取往往也会设定一个最小响应阈值用来防止在弱纹理区域提取出错误的特征点。在特征提取后，需要找到两帧图像上提取出来的特征之间的对应关系。对于ORB特征、SIFT特征、 SUFT特征，它们在特征提取阶段会额外为每一个特征点计算特征描述子。 ORB特征使用BRIEF算法来计算特征描述子，它在特征点周围的一个固定区域内以一定的规则多次选取两个像素点进行比较，将比较的结果以0 或1的形式按顺序记录下来，最终形成一个二进制序列作为特征的描述子。而SIFT特征和SURF特征把特征点周围的一个固定区域等分成若干个子区域，对每个子区域中的每个像素计算梯度方向并生成梯度方向直方图，再把每个子区域得到的梯度方向直方图组合在一起作为特征点的特征描述子。有了特征描述子，特征之间可以直接用特征描述子来进行匹配，最简单的方法是使用合适的距离度量方法将其中一张图像上的某一个特征的描述子与另一张图像上每个特征的描述子进行比较，并将距离最小的那个特征作为匹配的特征。而Harris特征和SIFT特征本身并不会去额外计算每个特征的特征描述子，对于这样的特征可以使用光流法根据特征点本身的像素值和特征点周围的梯度分布进行特征跟踪来在另一张图像上找到对应的另一个特征。通常情况下，找到的所有特征对应关系中，会存在一些错误的匹配，为了过滤掉这些错误的匹配结果，使用RANSAC (Random Sample Consensus,随机抽样一致算法)算法在所有的特征对应关系中找到占大多数的一组对应关系，具体来说，首先确定一个模型，该模型包含了两帧图像中对应像素点之间的转换关系，有了这个模型之后，任取所有特征对应关系中的几组来求解这个模型，再统计剩下的所有特征对应关系中有多少支持这一模型，循环这个过程，最后找到能够满足最多特征对应关系的模型，同时支持这一模型的所有特征对应关系就认为是正确的匹配，而而剩下的一小部分不支持这一模型的特征对应关系则认为是错误的匹配，最终被丢弃。有了两帧图像之间的特征对应关系，就可以通过多视角几何提供的约束构造超定方程。相机从不同位置对同一目标的拍摄可以用图1来表示。图中Ol和Or代表两个相机的成像中心，点P代表三维空间中被拍摄的目标，三维点P与相机中心Ol的连线Pl，即成像过程中目标点投影到相机上的投影维点P与相机中心Ol的连线Pl，即成像过程中目标点投影到相机上的投影线，在图像上映射出一点pl,同理，三维点 P与相机中心Or的连线Pr在图像上映射出一点pr。总能找到一组空间旋转和平移把Pl转换到Pr,用公式表示为：
Pr＝R·(Pt-T) (1)
(Pl-T＝R-1 Pr＝RTPr (2)
其中，R和T分别表示空间中的旋转和平移。又由于Pl、Pr和T三个向量在同一个平面上，因此有以下约束：
(Pl-T)T·T×Pl＝0 (3)
即：
(RTPr)T·T×Pl＝0 (4)
其中：
将式(5)代入式(4)得：
Pr T·R·S·Pl＝0 (6)
把式中的R·S看作一个矩阵E，这个矩阵称为本质矩阵，可以看出这个本质矩阵E中包含了两帧图像间对应的相机在三维空间中的相对运动的所有信息。通常用小孔成像模型当作相机的成像模型：
pl＝KPl (7)
其中，
其中，fx和fy分别是相机在水平方向和垂直方向上的焦距，将式(7) 带入式(6)得：
pr TK-TEK-1 pl＝0 (9)
把式中的K-TEK-1看作一个矩阵F，这个矩阵称为基础矩阵。式(9) 建立了两帧图像之间的对于同一三维空间点的不同投影结果和相机运动的联系，因此可以被用在RANSAC算法中用于找到正确的特征对应关系。基础矩阵由于缺少平移用到的尺度信息，只有8个自由度，因此要通过式 (9)求解基础矩阵至少需要在两帧图像之间找到8组对应的像素点。通常为了保证解算的精度，总是选取多于8组对应额像素点来构造超定方程并进行求解。在解出基础矩阵后，通过下式计算出本质矩阵：
E＝KTFK (10)
得到本质矩阵后再通过奇异值分解恢复出两帧图像之间对应的相机在三维空间中的相对运动，即三维旋转和三维平移，其中三维平移和真实平移之间还存在一个未知的尺度关系。有了相机在三维空间中的运动信息之后，可以利用反投影的方式把图像上每个像素点都投影到三维空间中获得图像上的点对应在三维空间中的坐标。由于图像可能存在噪声，导致两帧图像之间的特征点对应结果并不是非常精确，并会降低估计出的相机在三维空间中的相对运动的准确度。为了进一步缩小估计误差，在计算出相机的初始的运动估计之后再通过三维投影的方法把前一帧图像上的所有匹配上的特征点通过三维投影的方式投影到另一帧图像上，并构造三维投影误差函数：
其中：
其中
表示图像上所有匹配上的特征点，∏c(·)表示把世界坐标系下的三维坐标投影到图像坐标系上，∏c-1(·)表示把图像坐标系上的二维坐标投影到世界坐标系下。用非线性优化方法微调相机在三维空间中的轨迹估计，使得所有特征点的投影误差最小。相比直接法根据三维空间中的一个点投影到前后两帧图像上会得到相同的像素值这一假设来构造反投影误差，通过最小化被投影的像素点的像素值和投影点的像素值的差异来找到相机在三维空间中的运动，特征点法由于在特征匹配阶段就找到了两帧图像之间像素点的对应关系，因此可以通过最小化投影点在图像上的坐标和被投影点所对应的另一张图像上的点的坐标来找到相机在三维空间中的运动。
可以看到，特征点法在优化相机的运动估计阶段是不会受到图像前后光度不一致说带来的影响的，也就是说在这个阶段它是不受光照变化影响的。然而光照变化并非对特征点法SLAM完全没有影响。特征点法SLAM 构造投影误差时其实是基于不同于直接法SLAM的另外一个假设，即两帧图像之间存在足够数量的特征点的匹配，并且匹配的结果是准确的。这就需要人工设计的特征提取方法在不同的光照条件下都能够提取到足够多的特征点，同时特征的匹配过程应当对光照变化是鲁棒的。然而大部分图像特征点在设计时并没有考虑极端光照条件的情况，比如昏暗的环境、过度曝光的图像、不断变化的光照条件等。在这些极端场景下，这些特征点提取方法往往无法提取到足够多的特征点，而针对这些极端场景进行特定的优化又很难兼顾不同场景的变化，也会降低非极端场景下特征点提取的质量。
发明内容
本发明实施例提供一种基于阈值动态调整的图像特征点跟踪方法和系统，以解决现有技术中图像特征点提取时并没有考虑极端光照条件的情况，比如昏暗的环境、过度曝光的图像、不断变化的光照条件等，导致无法提取到足够多的特征点，很难兼顾不同场景的变化，降低非极端场景下特征点提取的质量的问题。
第一方面，本发明实施例提供一种基于阈值动态调整的图像特征点跟踪方法，包括：
步骤S1、设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
步骤S2、基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
步骤S3、基于当前帧的特征点提取结果、特征点跟踪结果确定当前帧的特征点跟踪数量和特征点跟踪成功率；基于所述特征点跟踪数量与最大特征点跟踪数量、最小特征点跟踪数量的关系，以及所述特征点跟踪成功率与特征点跟踪成功率阈值的关系，根据特征点提取阈值增大倍率增大所述特征点提取阈值，或根据特征点提取阈值减小倍率减小所述特征点提取阈值，并将更新后的特征点提取阈值反馈至所述步骤S2，以进行下一帧图像的特征点提取和特征点跟踪。
作为优选的，所述步骤S1具体包括：
步骤S11、设定邻域窗口尺寸，计算邻域窗口在平移前后各个像素差值的平方和：
其中，p表示图像某一个像素点的坐标，d∈Ω表示邻域窗口中每个像素点的坐标相对于像素点p的坐标的偏移量，w(d)表示邻域窗口中对应偏移位置的权重值；I(p)表示图像上在像素点p处的像素值；
步骤S12、基于泰勒展开对I(p+d)进行一阶近似：
I(p+d)≈I(p)+Ix(p)*u+Iy(p)*v
其中，Ix和Iy分别是图像在水平方向和垂直方向上的图像梯度值，u和v 分别是水平方向和垂直方向上的偏移量；可得：
其中：
矩阵M的特征值两个特征值就决定了当前像素点是否是一个Harris特征点；使用下式直接计算特征响应：
R＝det(M)-k(trace(M))2
其中，det(·)表示矩阵的行列式，trace(·)表示矩阵的秩，k是一个常量；
步骤S13、对输入的第一帧图像计算每个像素点的特征响应值，再根据输入图像的尺寸设定子图像块的长和高，把图像均匀分成n*m个子图像块，在每个子图像块中选出局部最大的特征响应值，再对n*m个图像块的局部最大特征响应值进行排序，按照比例α∈(0,1)选取一个特征响应值Ri，使得在所有局部最大特征值中，α*n*m个值都小于Ri，而另外(1-α)*n*m个值都大于 Ri，并将这个特征响应值Ri作为初始的特征提取阈值；
基于图像尺寸及最大计算力设定特征点跟踪的最大特征点数量，并设定最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；设定像素移动最小距离。
作为优选的，所述步骤S2，并基于带畸变模型的金字塔流光法跟踪特征点具体包括：
建立光流跟踪特征点的目标函数为：
其中，前一帧图像上的一个像素点u＝[uxuy]，像素点u在二维图像平面上经过运动后对应后一帧图像上的点为v＝[ux+dxuy+dy]；x表示一个像素点坐标，Ω表示子图像快中的每个像素点；
把输入图像用图像金字塔生成从大到小不同尺寸的新图像，每一层图像由下一层图像经过降采样得到，用线性插值的方式生成一张图像长和高都减半的新图像；
从图像金字塔最高层图像开始进行特征点的跟踪，并把跟踪结果传递到下一层继续进行特征跟踪，对于每一层金字塔图像，对目标函数进行求解，令目标函数对所有自变量求导：
当各自变量都优化到最优点时有：
Doptimum＝[000000]
将目标函数的求导式展开得：
其中：
对式中的J(Ax+d)进行一阶泰勒展开来进行线性化：
J(Ax+d)≈J(x)+D*Δx
其中：
Δx＝[dxdydxxdxydyxdyy]
可得：
在雅可比矩阵D*中的所有矩阵元素都是图像J在某一像素点处的水平方向和垂直方向的导数，也即图像J在某一像素点处的水平方向梯度值和垂直方向梯度值，把图像J上的梯度值用对应位置上图像I的梯度值来替代，图像I的梯度值计算公式为：
式中，x,y分别表示图像的横坐标和纵坐标；在计算梯度时使用Sobel算子计算梯度，Sobel算子的数学形式为：
用Sobel算子计算得到的值需要进行归一化后才能作为某一像素点的梯度值；令目标函数的求导式等于零得：
其中：
得到自变量的调整值，再把调整值加到自变量的初始值上得到新的值；不断迭代计算自变量的调整值，并不断更新自变量的值，直到收敛；求解方程组得到各个自变量的更新量，并更新自变量：
不断迭代求解自变量的变化量，直到达到预设的收敛条件；在最底层的金字塔计算完成后，得到了最终需要求解的一组仿射变换参数和平移参数；基于仿射变换参数和平移参数为图像上的某一个特征点找到在下一帧图像上它的新的位置，即找到了匹配的特征点。
作为优选的，所述步骤S3具体包括：
若所述特征跟踪成功率不大于所述特征点跟踪成功率阈值，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、所述特征点跟踪数量大于所述最大特征点跟踪数量；则基于所述特征点提取阈值增大倍率增大所述特征点提取阈值；
若所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量大于所述最小特征点跟踪数量且不大于所述最大特征点跟踪数量，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量不大于所述最大特征点跟踪数量、特征点分布不均匀，则基于所述特征点提取阈值减小倍率减小所述特征点提取阈值。
作为优选的，所述步骤S3中，若根据基于所述特征点平均移动距离判断相机发生了运动具体包括：
若当前帧图像相对前一帧图像的所述特征点平均移动距离小于预设移动阈值，则判断对应相机未发生运动；
若当前帧图像相对前一帧图像的所述特征点平均移动距离不小于预设移动阈值，则判断对应相机发生运动。
作为优选的，所述步骤S3中，若根据基于所述特征点平均移动距离判断相机未发生运动，则当前时刻不调整特征提取阈值。
作为优选的，所述步骤S3中，特征跟踪成功率为：
上式中，nf表示在进行当前特征点跟踪前得到的特征点数量，包括上一时刻成功跟踪的特征点和当前时刻特征点提取到的新特征点；nt表示当前时刻成功跟踪到的特征点数量。
第二方面，本发明实施例提供一种基于阈值动态调整的图像特征点跟踪系统，包括：
初始化设定模块，设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
特征提取跟踪模块，基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
阈值动态调整模块，基于当前帧的特征点提取结果、特征点跟踪结果确定当前帧的特征点跟踪数量和特征点跟踪成功率；基于所述特征点跟踪数量与最大特征点跟踪数量、最小特征点跟踪数量的关系，以及所述特征点跟踪成功率与特征点跟踪成功率阈值的关系，根据特征点提取阈值增大倍率增大所述特征点提取阈值，或根据特征点提取阈值减小倍率减小所述特征点提取阈值，并将更新后的特征点提取阈值反馈至所述特征提取跟踪模块，以进行下一帧图像的特征点提取和特征点跟踪。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于阈值动态调整的图像特征点跟踪方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于阈值动态调整的图像特征点跟踪方法的步骤。
本发明实施例提供的一种基于阈值动态调整的图像特征点跟踪方法和系统，将特征提取和特征跟踪看作两个相互依赖的过程，特征提取阶段提取出的特征点好坏会影响特征跟踪的结果，而特征跟踪的结果又会反馈到特征提取阶段用来调整特征提取时所需的关键参数；根据当前环境的情况来动态地调节特征点提取阈值，使得传统的特征提取方法在极端的光照环境下也能有效地提取到特征点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的相机从不同位置对同一目标的拍摄的对极几何示意图；
图2为根据本发明实施例的基于阈值动态调整的图像特征点跟踪方法流程框图；
图3为根据本发明实施例的动态阈值调整方法的流程图；
图4为根据本发明实施例的特征点提取阈值的调整调节逻辑图；
图5为根据本发明实施例的测试数据中的图像和与之对应的在光照条件良好的情况下拍摄的图像；
图6为根据本发明实施例的特征点提取阈值图；
图7为根据本发明实施例的从第110帧到第115帧特征点提取示意图；
图8为根据本发明实施例的征点总数量、有效特征点数量和无效特征点数量图；
图9为根据本发明实施例的特征点跟踪情况示意图；
图10为根据本发明实施例的从第800帧到第860帧特征点提取阈值图和某些时刻的特征点分布示意图；
图11为根据本发明实施例的特征跟踪结果示意图；
图12为根据本发明实施例的从第1300帧到第1600帧的特征点提取阈值、所有特征点数量、无效特征点数量和选定时刻的特征提取示意图；
图13为根据本发明实施例的有效特征点数量图；
图14为根据本发明实施例的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
现有常用的图像特征点如Harris特征、Fast特征、ORB特征、SIFT特征、 SURF特征，在设计之初并没有将极端光照条件对图像产生的影响考虑进来，同时可以发现，无论是直接基于图像像素值来提取特征还是基于图像对特定模板的响应图来提取特征，都需要人为地设定阈值来区分特征点和非特征点。当前对这些特征提取方法的改进主要集中在提高特征提取时的计算效率、提高特征匹配的精度，而忽略了极端光照条件和光照变化情况中图像质量对特征提取的。
因此，本发明实施例提供一种基于阈值动态调整的图像特征点跟踪方法和系统，让特征点选取的标准可以实时地随场景的变化一起变化，保证在任何光照条件下、任何光照条件变化的过程中，都能提取到足够数量且有效的特征点。以下将通过多个实施例进行展开说明和介绍。
在传统的特征提取方法中，特征提取是一个独立的模块，它和之后的特征匹配是分离开的两个独立的过程。而在本方法中，将特征提取和特征跟踪看作两个相互依赖的过程，特征提取阶段提取出的特征点好坏会影响特征跟踪的结果，而特征跟踪的结果又会反馈到特征提取阶段用来调整特征提取时所需的关键参数。本发明实施例提出的动态阈值调整方法的流程图如2所示。该方法主要包含参数初始化、特征提取、特征跟踪、阈值调整4个步骤；
如图2和图3中所示，为根据本发明实施例提供一种基于阈值动态调整的图像特征点跟踪方法，可应用于图像的特征点提取中，包括：
步骤S1、设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
具体的，在参数初始化阶段设定系统中所用到的变量的初始状态，包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率、像素移动最小距离。这其中，特征点提取阈值即那些特征点提取方法所需要用来区分特征好坏的阈值，它所设定的初始值和所选用的特征提取方法有关。
以下以Harris特征检测方法来介绍整个动态阈值调整方法。Harris特征寻找图像上那些在两个方向上都存在较大像素值变化的像素点。对于给定图像和固定尺寸的邻域窗口，计算窗口在平移前后各个像素差值的平方和，也就是计算该领域窗口中像素值的自相关函数，用公式表示为：
其中，p表示图像某一个像素点的坐标，d∈Ω表示领域窗口中每个像素点的坐标相对于像素点p的坐标的偏移量，w(d)表示领域窗口中对应偏移位置的权重值。I(p)表示图像上在像素点p处的像素值。领域窗口中的权重值通常可以用均值函数模板或是高斯函数模板，相对于均值函数模板，高斯函数模板在中心区域的权重值会大于四周其它位置的权重值，更有利于精确定位提取出的特征的位置。再利用泰勒展开对I(p+d)进行一阶近似：
I(p+d)≈I(p)+Ix(p)*u+Iy(p)*v (14)
其中，Ix和Iy分别是图像在水平方向和垂直方向上的图像梯度值，u和v 分别是水平方向和垂直方向上的偏移量。将式(14)带入式(13)得：
其中：
矩阵M的特征值两个特征值就决定了当前像素点是否是一个Harris特征点。当两个特征值都较大时即为有效的特征角点，当一个特征值较大而另一个较小时则表示该像素点位于图像中某个物体的边缘上，当两个特征值都较小时则表示该点位于图像上的弱纹理区域。为了更快得根据矩阵M判断当前像素点是否是一个合格的特征角点，使用下式直接计算特征响应：
R＝det(M)-k(trace(M))2 (17)
其中，det(·)表示矩阵的行列式，trace(·)表示矩阵的秩，k是一个常量。当这个特征响应R大于某一个阈值时，就判定当前像素点是一个Harris特征点。可以看到Harris特征的特征响应没有明确的取值范围，因此在对Harris 特征点提取阈值进行设定时，需要根据当前图像上像素值的分布状况计算出一个合理的初始阈值。具体来说，在系统初始化时对输入的第一帧图像计算每个像素点的特征响应值，再根据输入图像的尺寸设定子图像块的长和高，把图像均匀分成n*m个子图像块，在每个子图像块中选出局部最大的特征响应值，再对n*m个图像块的局部最大特征响应值进行排序，按照一个比例α∈(0,1)选取一个特征响应值Ri，使得在所有局部最大特征值中，α*n*m个值都小于Ri，而另外(1-α)*n*m个值都大于Ri，并将这个特征响应值Ri作为初始的特征提取阈值。此初始值选取方法对于那些根据特征响应值的大小来提取特征的方法都适用，比如Harris特征。而对于Fast特征、ORB特征、SIFT 特征、SUFT特征这些根据局部的像素值差异或是特征响应值差异来提取特征的方法，可以在第一帧图像输入时先用前面提到的方法提取一遍Harris特征，由于这些特征提取方法都是寻找图像上的角点，因此可以把这些提取到的 Harris特征当作是可靠的角点，同时也应该被其它方法检测到。对于SIFT特征和SUFT特征，可以在这些Harris特征点的位置计算对应的特征响应值，并计算这些点的特征响应值和周围的特征响应值的差异，将每个点处计算得到的差异值取平均作为初始的特征提取阈值。对于FAST特征和ORB特征，则直接计算在这些Harris特征点的位置的像素值和周围像素值的差异，并把计算得到的所有差异取平均作为初始的特征提取阈值。最大特征点跟踪数量用来限制系统中在每帧之间持续跟踪的特征点的数量，因为当特征点在图像上分布的密度的超过一定的量，大量的特征点提供了冗余的信息，对后续求解相机位置提供的额外信息量非常少，同时对大量特征点在每一帧进行跟踪需要耗费大量的时间，无法满足系统实时性的要求，因此需要根据图像的尺寸和可用的算力合理地设定进行特征跟踪的最大特征点数量。相反如果用于特征跟踪的特征点数量太少，则意味着当前可能得到的匹配上的特征点数量会很少，这样对于后续估计相机的位姿所提供的约束太少，容易造成估计不准确，特别是在有限的匹配结果中存在误匹配的情况下，因此还需要设定最小特征点跟踪数量。在本发明实施例的实验中，最大特征点跟踪数量和最小特征点跟踪数量分别设定为300和30。由于本发明实施例提出的方法会动态地调整特征提取的阈值，而为了防止在相机没有运动的情况下不断对两帧相同的图像进行特征跟踪并随之不断调整阈值，造成在环境并没有变化的情况阈值在不断地变化，就需要设定像素移动最小距离，当根据特征点的跟踪结果发现像素点的移动小于设定的像素移动最小距离时，则说明相机和场景都没有运动，则此时不应该调整特征提取的阈值。
步骤S2、基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
在参数初始化完成后进行特征的提取，由于在初始化阶段对必要的参数选取了合理的初始值，在特征提取阶段就不会出现无法提取到特征点的情况，也不会出现提取到太密集的特征点的情况，另外也能保证提取到的特征基本均值分布在图像上，不会出现密集集中在某一块区域的情况，即保证了提取到足够数量的特征点，又保证了特征点的均匀分布。在特征跟踪阶段，本方法中使用带畸变模型的金字塔光流法进行特征的跟踪。对于前后两帧图像，在极小的相机三维运动和极短的时间内，可以认为前一帧图像上的像素点在二维平面上移动了一小段距离，并且像素值没有发生改变。在这样的假设下，可以把问题量化为对于前一帧图像上的一个像素点u＝[uxuy]，它在二维图像平面上经过运动后可以在后一帧图像上的点v＝[ux+dxuy+dy]处找到，另外由于相机的运动造成拍摄到的两帧图像之间存在仿射变形，因此再另外考虑一个仿射变化模型：
其中，dxx，dxy，dyx，dyy是图像仿射变形模型的四个参数。可以认为在一个局部图像块中的每一个像素都以相同的二维运动在图像平面上运动，因此可以建立光流跟踪特征点的目标函数为：
其中，x表示一个像素点坐标，Ω表示子图像快中的每个像素点。为了更精确地估计特征点在二维平面上的运动，把输入图像用图像金字塔生成从大到小不同尺寸的新图像，每一层图像由下一层图像经过降采样得到，降采样会把输入的图像用线性插值的方式生成一张图像长和高都减半的新图像。有了图像金字塔，就可以从最高层图像开始进行特征点的跟踪，并把跟踪结果传递到下一层继续进行特征跟踪，通过一层层地不断优化像素点在图像上的运动，最终由粗到精地估计出像素点在的二维图像平面上的运动。对于每一层金字塔图像，对目标方程，即式(19)，用优化方法进行求解，令目标函数对所有自变量求导：
在理想情况下，当各自变量都优化到最优点时有：
Doptimum＝[0 0 0 0 0 0] (21)
将式(20)展开得：
其中：
对式(22)中的J(Ax+d)进行一阶泰勒展开来进行线性化：
J(Ax+d)≈J(x)+D*Δx (24)
其中：
Δx＝[dxdydxxdxydyxdyy] (25)
再把式(24)代入式(22)得：
在雅可比矩阵D*中的所有矩阵元素都是图像J在某一像素点处的水平方向和垂直方向的导数，也即图像J在某一像素点处的水平方向梯度值和垂直方向梯度值。由于通常图像I和图像J之间存在一个极小的变化，因此可以近似地把图像J上的梯度值用对应位置上图像I的梯度值来替代。这样做的好处是在后续的计算过程中可以较少大量的计算量。图像I的梯度值计算公式为：
式(28)中，x,y分别表示图像的横坐标和纵坐标。为了防止噪声对梯度计算带来的影行，在计算梯度时使用Sobel算子计算梯度，Sobel算子的数学形式为：
用Sobel算子计算得到的值需要进行归一化后才能作为某一像素点的梯度值。为了求解一组仿射变换参数和平移参数使得目标函数的值最小，令式 5-26等于零得：
其中：
计算式(30)得到自变量的调整值，再把调整值加到自变量的初始值上得到新的值。不断迭代计算自变量的调整值，并不断更新自变量的值，直到收敛。在式(31)中可以看到由于方程左边的系数矩阵∑x∈ΩD*D*T中的值都只和图像I有关，而图像I是固定不变的，因此图像I上的梯度值是固定不变的，这使得方程左边的系数矩阵∑x∈ΩD*D*T在迭代开始是计算一次就可以了，节省了大量的计算时间。注意由于在迭代过程中在不断微调自变量，而J(x) 总是表示当前自变量下所对应的值，因此在方程右边的矩阵中I(x)-J(x)是随每次迭代而变化的，需要在每轮迭代中进行重新计算。求解方程组得到各个自变量的更新量，并更新自变量：
不断迭代求解自变量的变化量，直到达到某个预设的收敛条件，比如平移的更新量足够小，或是迭代次数达到了设定的上限等。由于使用了图像金字塔，则对自变量的求解会从最高层金字塔开始逐层求解。当需要将某一层金字塔下计算得到的仿射变换参数和平移参数传递到下一层金字塔继续进行计算时，由于仿射变换不受尺度的影响，而平移收到尺度的影响，因此仿射变换矩阵A不用变，而平移矩阵d需要乘上尺度，即扩大两倍。当在最底层的金字塔也计算完成后，就得到了最终需要求解的一组仿射变换参数和平移参数。有了这组参数，就可以为图像上的某一个特征点找到在下一帧图像上它的新的位置，即找到了匹配的特征点。注意对于图像上每一个特征点，都需要单独用上述光流法进行特征跟踪，因此需要跟踪的特征点数量会直接影响计算量。光流法跟踪特征点总能为任何一个特征点在另一帧图像上找到一个局部最优的匹配点，即使被跟踪的特征点是一个无意义的像素点，比如白墙上的一点，而这样的匹配结果通常是不准确的，所以为了剔除这些不准确的特征匹配结果，本方法中使用基于两点法的RANSAC算法进行快速的匹配结果筛选。
RANSAC算法的主要用处是通过迭代的方法从一组带有离群值的数据中估计出一个预设的数学模型的参数，同时它也能被用来找到给定数据中的离群值。它假设给定数据中的大部分数据是非离群值且都符合一个固定的数学模型，通过不断随机采样数据来估计数学模型的参数，再用其它的数据来验证模型的正确性，满足估计得到的模型的数据越多，则该模型正确的概率就越高。通常使用RANSAC算法过滤图像特征的错误匹配时，使用的模型是式 (10)，即每次迭代求解一个基础矩阵，由于基础矩阵有9个未知数，且矩阵有一个自由度，因此每次求解时至少需要用到8组匹配的特征点，这对特征点的数量和计算量都有一定的要求。在本方法中，为了提高RANSAC算法的计算速度并减少对特征点数量的依赖程度，使用基于两组匹配的特征点的 RANSAC算法，本发明实施例需要额外用到陀螺仪的运动信息。两帧当系统中存在陀螺仪时，只要系统发生运动，就可以得到系统在空间中三个维度的旋转量Δφ，Δθ，Δψ，他们各自对应的旋转矩阵可以表示为Rx(Δφ)，Ry(Δθ)， Rz(Δψ)，则前后两帧图像之间对应的相机在三维空间中的旋转矩阵可以表示为：
R＝Rx(Δφ)·Ry(Δθ)·Rz(Δψ) (35)
根据式(35)可以把其中一帧图像对应的相机方向转到和另一帧图像对应的相机方向上。于是两帧图像之间对应的相机相对运动只存在平移。通常情况下相机的参数都是已知的，因此在选择RANSAC算法需要的数学模型时可以选用本质矩阵E。本质矩阵由相机在三维空间中的平移和旋转组成：
E＝[T]×R (36)
其中：
其中Tx，Ty，Tz表示相机在三维空间中三个方向上的平移。当其中一帧图像对应的相机方向转到和另一帧图像对应的相机方向上后，相机在三维空间中的相对运动变为：
T＝ρ[sin(β)·cos(α)-sin(β)·sin(α)cos(β)]T (38)
R＝I3 (39)
其中，ρ表示三维空间中的平移T的模长，α，β分别表示两个角度，I3表示三维单位向量。将式(38)带入(36)将本质矩阵简化为：
可以看到，本质矩阵中只剩下了两个未知数，于是两帧图像之间存在的特征对应关系需要满足：
x1(y0·cos(β)+z0·sin(α)sin(β))-y2·(x0cos(β)-z0·cos(α)sin(β))-z2·(y0cos(α) sin(β)+x0·sin(α)sin(β))＝0 (41)
至少用两组匹配的特征点就可以解出α和β，并随之得到一组相机在三维空间中的相对运动和方向。根据这组信息将其它特征点通过三维投影的方式从一帧图像投影到另一帧图像上并计算反投影误差，并通过设定一个合理的阈值来区分这组匹配的特征点是否支持当前估计出的相机运动参数。在使用这种基于两组匹配的特征点的RANSAC方法时，每次随机取两组匹配的特征点，为了保证这两组匹配的特征点对于求解方程提供足够的信息量，设定一个距离阈值来保证这两组匹配的特征点之间有足够大间距，如果发现当前选取的两组匹配的特征点间距小于设定的距离阈值，则重新选取两组匹配的特征点。不断地重复执行随机选取两组匹配的特征点、求解相机的运动参数、验证其它匹配的特征点中有多少符合求解得到的相机运动参数。当达到迭代次数上限后，选取能够满足最多匹配的特征点的一组相机运动参数。同时额外增加一条约束，即系统的运动应该是连续的，由于在SLAM系统中往往以较高的帧率采集图像数据，因此在极短的时间内可以认为运动方向不会发生较大的改变。比较当前估计出的相机在空间中的运动方向是否和前一时刻估计出的运动方向，若差异大于预设的一个阈值，则跳过当前这组相机运动参数，并换下一组。同时根据选定的这组相机运动参数过滤掉不支持这组参数的特征跟踪结果。
步骤S3、基于当前帧与前一帧的特征点提取结果、特征点跟踪结果确定特征点平均移动距离、特征跟踪成功率、特征点跟踪数量；
若根据基于所述特征点平均移动距离判断相机发生了运动，且所述特征跟踪成功率满足第一预设条件，则基于所述特征点提取阈值增大倍率增大所述特征点提取阈值；
若根据基于所述特征点平均移动距离判断相机发生了运动，且所述特征跟踪成功率、特征点跟踪数量满足第二预设条件，则基于所述特征点提取阈值减小倍率减大所述特征点提取阈值。
其中，如图4中所示，所述第一预设条件为：所述特征跟踪成功率不大于所述特征点跟踪成功率阈值，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、所述特征点跟踪数量大于所述最大特征点跟踪数量；
所述第二预设条件为：所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量大于所述最小特征点跟踪数量且不大于所述最大特征点跟踪数量，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量不大于所述最大特征点跟踪数量、特征点分布不均匀。
当特征跟踪阶段完成后，进入阈值调整阶段。阈值调整阶段的主要目的是根据当前特征跟踪的结果来决定要如何调整特征提取阈值。首先检查当前成功跟踪的特征点在图像上的分布。将图像等分成2*2的4块区域，并分别在每个区域统计成功跟踪的特征点数量，若任何一块区域的特征点跟踪数量少于一个预设的阈值时，则认为当前依然被有效跟踪的特征分布不均匀。在本实中该阈值被设为5。接着根据在特征跟踪阶段计算得到的特征在图像平面上的平均移动距离来判断相机是否发生了运动，当平均移动距离小于2个像素时，认为相机相比前一时刻没有发生运动，则当前时刻不调整特征提取阈值。反之如果检测到相机发生了运动，则根据一系列条件来决定如何调整特征提取阈值。具体来说，首先用下式计算当前特征的跟踪成功率：
上式中，nf表示在进行当前特征点跟踪前得到的特征点数量，包括上一时刻成功跟踪的特征点和当前时刻特征点提取到的新特征点；nt表示当前时刻成功跟踪到的特征点数量。
如果当前的特征跟踪成功率小于特征点跟踪成功率阈值，说明在当前的所有特征点中有许多无意义的特征点，比如白墙上的点。这是由于当前的特征提取阈值太低导致在弱纹理区域的某些位置的特征响应值也达到了设定的阈值，因此应当增大特征提取的阈值。而如果当前的特征跟踪成功率大于特征点跟踪成功率阈值，这说明当前的特征点都是有效的，则进一步判断当前跟踪到的特征点数量是否大于最大特征点跟踪数量，如果大于，则说明当前场景中存在大量的纹理并且当前的特征提取阈值可以设定得相对较大。太密集的特征点所提供的信息存在大量冗余的成分，不会对提高相机位姿估计的精度有太大帮助，反而会降低计算的效率，因此此时也需要增大特征提取阈值。如果当前跟踪到的特征点数量小于最大特征点跟踪数量，则进一步判断当前跟踪到的特征点数量是否太少，跟踪到的特征点数量太少意味着得到的特征匹配结果太少，这样的估计相机位姿时无法提供足够多的约束，可能会导致估计的结果不够精确。因此如果发现当前跟踪到的特征点数量小于最小特征点跟踪数量，则需要降低特征提取阈值。另一方面，如果发现当前提取到的特征都集中在图像上的某个区域，这说明当前特征的分布不够均匀，而通常希望所能利用的特征均匀分布在图像上，这有利于提高相机位姿估计的精度，因此这种情况下也需要减小特征提取的阈值。对于以上所有规则，当需要提高特征提取的阈值时，让当前特征提取阈值乘上一个固定的倍率，即特征点提取阈值增大倍率，而当需要减小特征提取的阈值时，让当前特征点提取阈值乘上特征点提取阈值减小倍率，在本发明实施例中特征点提取阈值增大倍率、特征点提取阈值减小倍率分别设定为1.1和0.9，倍率的选取需要平衡阈值调整的速度和精度，由于通常相机采集图像的频率很高，图像信息的变化会比较平滑，因此这里选取较小的调整倍率。
为了验证本发明实施例提出的动态阈值调节方法的有效性，在一个室内场景中拍摄了一段环境光照条件较差的情况下的图像数据，数据的帧率为20 帧每秒。实验中使用Harris特征来进行图像特征提取，并使用金字塔光流法进行特征点的跟踪。在发明实施例在实验过程中计算Harris特征响应时对数值进行了尺度缩小。在初始时刻，特征提取阈值设定为600，这个数值会在系统运行过程中被不断调整。其它预先设定的参数还有最小特征点跟踪数量设定为30，特征点跟踪成功率设定为0.85，最大特征点跟踪数量设定为200，特征点提取阈值增大倍率和特征点提取阈值减小倍率分别被设定为1.1和 0.9，像素移动最小距离设定为1。整段视频中的场景包括有明显纹理的区域、白墙区域、光照不均匀区域，由于环境中光照条件较差，拍摄到的图像整体偏暗，对于传统的视觉SLAM算法是非常大的挑战。数据中的部分图像如图 5所示。
图中第一行是测试数据中的图像，第二行是在光照良好条件下在相似位置另外拍摄的对应位置图像。从图中可以看到，其中一些场景中原本存在一定的纹理信息，但由于较暗的环境导致相机在没有灯的场景中拍摄到的图像几乎呈现一片黑色，而在有灯的场景中拍摄到的图像存在局部明亮而四周较暗的情况，这样的数据非常考验视觉特征提取和跟踪的鲁棒性。在本实验中只测试了特征提取和匹配的性能，对于每一张输入图像都会对系统中存在的还处于可被跟踪状态的特征点在新的图像上用光流法进行特征跟踪，找到这些特征点在新的图像上的位置，再根据特征跟踪的结果对当前图像提取新的特征点。在遍历整个数据的过程中，系统中特征点提取阈值变化的情况如图 6所示。
从图中可以看到，在系统刚开始运行时，由于相机没有运动，所以特征点提取阈值并没有变化，而由于此时的特征点提取阈值较高，导致提取到的特征点数量非常少。当相机开始运动后，系统逐渐开始降低特征点提取阈值，从第60帧到第90帧内阈值快速下降到一个相对合理的范围内，而随着特征点提取阈值的减小，每一帧新的图像逐渐可以提取到特征点。由图中灰色折线所示，随着梯度的下降能够提取到的特征点数量也不断增加并在第110帧到第115帧之间迎来一个峰值。有图中第2条折线所示，随着每一帧图像能够提取到的特征点数量增加，系统中存在的可被有效跟踪到的特征点数量也随之增加，这也是特征点法SLAM真正需要的有效信息，即图像帧之间的特征点对应关系在增加。而在第110帧到第115帧之间虽然从图像中提取到了较多的特征点，但由于一大部分特征点都提取到了场景中运动的目标上，在特征跟踪阶段被过滤掉了，因此系统中存在的能被有效跟踪的特征点数量并没有随之增加。第110帧到第115帧特征点提取的情况如图7所示。图中灰色的圆点表示每一帧新提取出的特征点，这其中有很大一部分特征点落在了走动的人和一台晃动的笔记本电脑上。由于在对新的图像提取特征时，已经存在特征点的附近领域内都不会再去另外提取特征，因此从130帧往后可以看到系统中存在可以被跟踪到的特征点已经有一定的量并开始维持稳定，而图像提取到的特征点开始减小并维持在一个较低的水平。从整个序列中特征点提取阈值的变化可以看到随着环境的变化该阈值也在不断地变化，但由于环境始终处于一个较暗的情况下，因此该阈值也始终保持在一个较低的水平。在特征点提取阈值变化的整个过程中，在某几个时刻阈值也会提高到最低水平时的几十倍，在这些时刻，相机运动到了光照条件相对较好的环境中，而原本较低的特征点提取阈值会导致提取到的特征点变得非常多，另一方面也会增加提取到的无意义特征点的数量，这会导致跟踪率下降，这两个条件使得在这段时期特征点提取阈值被不断增大以符合当前的环境。从第2400帧到第2700帧系统中每个时刻拥有的特征点数量(上一时刻可被跟踪的特征点数量加新提取出的特征点数量)、在经过当前时刻的特征跟踪后存在的可被跟踪的特征点数量和被当前时刻被过滤的特征点数量如图8所示。可以看到在某些时刻特征点数量超过了设定的阈值，同时在每一时刻都存在一定数量的无效的特征点。在第2500帧、2600帧、2700帧时特征跟踪的情况如图9所示。其中每一行为一组图像，每组图像的左右两侧是连续的前后两帧图像。在左侧图像上展示了系统中存在的上一时刻的存在的有效的特征点，其中灰色的点表示在当前图像上这些点依然能被正确跟踪到。在右侧的图像上则展示了在当前图像上特征点跟踪的结果，在实际应用过程中可用绿色的线段表示正确跟踪的特征点轨迹，红色的线段表示错误的跟踪结果。这里显示的特征点跟踪结果还没有被RANSAC算法过滤过，在最终的特征跟踪结果中，矩形框中的特征点也会过滤掉，因为它们落在了一个移动的人身上。从图中可以看到，在环境光照条件相对较好的区域会提取出较多有效的特征点，而此时提高特征点提取阈值能在保证有足够数量的有效特征匹配的同时有效地防止过量的特征点被提取到。在某些时刻，场景呈现局部区域明亮且纹理丰富，而另外一些区域相对较暗。这种情况通常会发生在相机移动过程中从一个光照条件较好的区域向光照条件较差的区域移动的过程中。在测试数据中的第 800帧到第860帧也存在这样的情况，在这段时间内系统中特征点提取阈值的变化以及系统中存在的有效的特征点在图像上的分布情况如图10所示。从图中可以看到，在第800帧到第825帧之间环境中存在一片光照条件较好的区域，因此此时特征点提取阈值相对较高，特征点主要分布在图像上较亮的区域。由于图像上部区域较黑暗，因此在较高的特征提取阈值下无法提取到特征点。而为了使得提取的特征在图像上的分布更均匀，特征点提取阈值在不断地下降，从第830帧到第845帧可以看到，特征点的分布逐渐向较暗区域延申，在从较亮场景到较暗场景切换的过程中特征点可以始终均匀分布在整个图像上，不会出现特征点集中在一小块区域或是无法提取到特征点的情况。另一方面，特征提取阈值并没有下降到一个过于低的水平，从图中可以看到，即便特征提取阈值一直在下降，但在图像左侧的白墙区域始终没有提取到无效的特征点，特征点提取阈值的变化始终能保证能提取到足够特征点的同时保证特征点的质量，一些特征跟踪结果如图11所示。
对于视觉SLAM算法，弱纹理区域通常会使得算法无法提取到特征点，而由于本发明实施例提出的动态阈值调整方法在系统中存在的有效特征点数量较少时会不断降低特征提取阈值，因此新的挑战变为如何防止在无特征的场景中一味地降低特征点提取阈值。在图12中展示了从第1300帧到第1600 帧之间每一时刻的特征点提取阈值的、所有特征点的数量(上一时刻被有效跟踪到的特征点和当前帧新提取到的特征点)和无效的特征点数量。在这段时间内相机处于一个弱纹理的环境中，大部分区域是白墙。可以看到阈值虽然不断在波动，但始终保持在非常低的水平，而系统中存在的有效特征数量始终在零附近波动。在这种极端的环境下，轻微的阈值变化都会导致能够提取到的特征点数量产生巨大的变化。在图5-11中特别展示了从第1436帧到第1438帧提取特征的情况，可以看到在第1437帧时特征点提取阈值减小了一点，这导致了大量无效的特征点被提取了出来，这些特征点在特征跟踪阶段被过滤掉，这使得特征跟踪率非常小，因此阈值又被提高了一点，于是在下一帧图像上这些无效的特征点就没有再被提取出来。可以看到由于在弱纹理区域有效的特征数量非常少，这使得本发明实施例提出的方法会不断去尝试降低阈值来寻找可能存在的有效特征点，最终导致特征点提取阈值在小范围内震荡，并在某些时刻突然提取出大量的无效特征点。针对这一问题，可以通过在特征提取阈值处在非常低的水平时，人为地减少特征点提取阈值的变化频率或是调整的幅度。最后在图13中展示了在每一时刻系统中存在的有效特征点数量。可以看到，在这样的数据下系统依然能在大部分区域提取到足够数量的有效特征点，且特征点的数量基本维持在设定的最大特征点数量以内，而在那些弱纹理区域，系统也能够有效地识别出无效的特征点并将它们过滤掉。这一系统有效的运行也从侧面反映出，在那些极端光照条件下，即使原本存场景中存在的纹理在图像上的呈现对于人眼来说难以识别，但只要找到合适的特征响应阈值，就能够让计算机有效地区找到这些特征并加以利用。在实验中也尝试用最新的开源方法，ORB-SLAM3，在该数据上进行测试，该方法无法在这样的数据上提取到特征点，导致系统始终无法完成初始化并运行起来。
本发明实施例还提供一种基于阈值动态调整的图像特征点跟踪系统，基于上述各实施例中的基于阈值动态调整的图像特征点跟踪方法，包括：
初始化设定模块，设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
特征提取跟踪模块，基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
阈值动态调整模块，基于当前帧的特征点提取结果、特征点跟踪结果确定当前帧的特征点跟踪数量和特征点跟踪成功率；基于所述特征点跟踪数量与最大特征点跟踪数量、最小特征点跟踪数量的关系，以及所述特征点跟踪成功率与特征点跟踪成功率阈值的关系，根据特征点提取阈值增大倍率增大所述特征点提取阈值，或根据特征点提取阈值减小倍率减小所述特征点提取阈值，并将更新后的特征点提取阈值反馈至所述特征提取跟踪模块，以进行下一帧图像的特征点提取和特征点跟踪。
基于相同的构思，本发明实施例还提供了一种实体结构示意图，如图14 所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述基于阈值动态调整的图像特征点跟踪方法的步骤。例如包括：
步骤S1、设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
步骤S2、基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
步骤S3、基于当前帧的特征点提取结果、特征点跟踪结果确定当前帧的特征点跟踪数量和特征点跟踪成功率；基于所述特征点跟踪数量与最大特征点跟踪数量、最小特征点跟踪数量的关系，以及所述特征点跟踪成功率与特征点跟踪成功率阈值的关系，根据特征点提取阈值增大倍率增大所述特征点提取阈值，或根据特征点提取阈值减小倍率减小所述特征点提取阈值，并将更新后的特征点提取阈值反馈至所述步骤S2，以进行下一帧图像的特征点提取和特征点跟踪。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述基于阈值动态调整的图像特征点跟踪方法的步骤。例如包括：
步骤S1、设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
步骤S2、基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
步骤S3、基于当前帧的特征点提取结果、特征点跟踪结果确定当前帧的特征点跟踪数量和特征点跟踪成功率；基于所述特征点跟踪数量与最大特征点跟踪数量、最小特征点跟踪数量的关系，以及所述特征点跟踪成功率与特征点跟踪成功率阈值的关系，根据特征点提取阈值增大倍率增大所述特征点提取阈值，或根据特征点提取阈值减小倍率减小所述特征点提取阈值，并将更新后的特征点提取阈值反馈至所述步骤S2，以进行下一帧图像的特征点提取和特征点跟踪。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明实施例提供的一种基于阈值动态调整的图像特征点跟踪方法和系统，将特征提取和特征跟踪看作两个相互依赖的过程，特征提取阶段提取出的特征点好坏会影响特征跟踪的结果，而特征跟踪的结果又会反馈到特征提取阶段用来调整特征提取时所需的关键参数；根据当前环境的情况来动态地调节特征点提取阈值，使得传统的特征提取方法在极端的光照环境下也能有效地提取到特征点。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘 SolidStateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于阈值动态调整的图像特征点跟踪方法，其特征在于，包括：
步骤S1、设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
步骤S2、基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
步骤S3、基于当前帧的特征点提取结果、特征点跟踪结果确定当前帧的特征点跟踪数量和特征点跟踪成功率；基于所述特征点跟踪数量与最大特征点跟踪数量、最小特征点跟踪数量的关系，以及所述特征点跟踪成功率与特征点跟踪成功率阈值的关系，根据特征点提取阈值增大倍率增大所述特征点提取阈值，或根据特征点提取阈值减小倍率减小所述特征点提取阈值，并将更新后的特征点提取阈值反馈至所述步骤S2，以进行下一帧图像的特征点提取和特征点跟踪。
2.根据权利要求1所述的基于阈值动态调整的图像特征点跟踪方法，其特征在于，所述步骤S1具体包括：
步骤S11、设定邻域窗口尺寸，计算邻域窗口在平移前后各个像素差值的平方和：
其中，p表示图像某一个像素点的坐标，d∈Ω表示邻域窗口中每个像素点的坐标相对于像素点p的坐标的偏移量，w(d)表示邻域窗口中对应偏移位置的权重值；I(p)表示图像上在像素点p处的像素值；
步骤S12、基于泰勒展开对I(p+d)进行一阶近似：
I(p+d)≈I(p)+Ix(p)*u+Iy(p)*v
其中，Ix和Iy分别是图像在水平方向和垂直方向上的图像梯度值，u和v分别是水平方向和垂直方向上的偏移量；可得：
其中：
矩阵M的特征值两个特征值就决定了当前像素点是否是一个Harris特征点；使用下式直接计算特征响应：
R＝det(M)-k(trace(M))2
其中，det(·)表示矩阵的行列式，trace(·)表示矩阵的秩，k是一个常量；
步骤S13、对输入的第一帧图像计算每个像素点的特征响应值，再根据输入图像的尺寸设定子图像块的长和高，把图像均匀分成n*m个子图像块，在每个子图像块中选出局部最大的特征响应值，再对n*m个图像块的局部最大特征响应值进行排序，按照比例α∈(0,1)选取一个特征响应值Ri，使得在所有局部最大特征值中，α*n*m个值都小于Ri，而另外(1-α)*n*m个值都大于Ri，并将这个特征响应值Ri作为初始的特征提取阈值；
基于图像尺寸及最大计算力设定特征点跟踪的最大特征点数量，并设定最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；设定像素移动最小距离。
3.根据权利要求1所述的基于阈值动态调整的图像特征点跟踪方法，其特征在于，所述步骤S2，并基于带畸变模型的金字塔流光法跟踪特征点具体包括：
建立光流跟踪特征点的目标函数为：
其中，前一帧图像上的一个像素点u＝[uxuy]，像素点u在二维图像平面上经过运动后对应后一帧图像上的点为v＝[ux+dxuy+dy]；x表示一个像素点坐标，Ω表示子图像快中的每个像素点；
把输入图像用图像金字塔生成从大到小不同尺寸的新图像，每一层图像由下一层图像经过降采样得到，用线性插值的方式生成一张图像长和高都减半的新图像；
从图像金字塔最高层图像开始进行特征点的跟踪，并把跟踪结果传递到下一层继续进行特征跟踪，对于每一层金字塔图像，对目标函数进行求解，令目标函数对所有自变量求导：
当各自变量都优化到最优点时有：
Doptimum＝[000000]
将目标函数的求导式展开得：
其中：
对式中的J(Ax+d)进行一阶泰勒展开来进行线性化：
J(Ax+d)≈J(x)+D*Δx
其中：
Δx＝[dxdydxxdxydyxdyy]
可得：
在雅可比矩阵D*中的所有矩阵元素都是图像J在某一像素点处的水平方向和垂直方向的导数，也即图像J在某一像素点处的水平方向梯度值和垂直方向梯度值，把图像J上的梯度值用对应位置上图像I的梯度值来替代，图像I的梯度值计算公式为：
式中，x,y分别表示图像的横坐标和纵坐标；在计算梯度时使用Sobel算子计算梯度，Sobel算子的数学形式为：
用Sobel算子计算得到的值需要进行归一化后才能作为某一像素点的梯度值；令目标函数的求导式等于零得：
其中：
得到自变量的调整值，再把调整值加到自变量的初始值上得到新的值；不断迭代计算自变量的调整值，并不断更新自变量的值，直到收敛；求解方程组得到各个自变量的更新量，并更新自变量：
不断迭代求解自变量的变化量，直到达到预设的收敛条件；在最底层的金字塔计算完成后，得到了最终需要求解的一组仿射变换参数和平移参数；基于仿射变换参数和平移参数为图像上的某一个特征点找到在下一帧图像上它的新的位置，即找到了匹配的特征点。
4.根据权利要求1所述的基于阈值动态调整的图像特征点跟踪方法，其特征在于，所述步骤S3具体包括：
若所述特征跟踪成功率不大于所述特征点跟踪成功率阈值，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、所述特征点跟踪数量大于所述最大特征点跟踪数量；则基于所述特征点提取阈值增大倍率增大所述特征点提取阈值；
若所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量大于所述最小特征点跟踪数量且不大于所述最大特征点跟踪数量，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量不大于所述最大特征点跟踪数量、特征点分布不均匀，则基于所述特征点提取阈值减小倍率减小所述特征点提取阈值。
5.根据权利要求4所述的基于阈值动态调整的图像特征点跟踪方法，其特征在于，所述步骤S3中，若根据基于所述特征点平均移动距离判断相机发生了运动具体包括：
若当前帧图像相对前一帧图像的所述特征点平均移动距离小于预设移动阈值，则判断对应相机未发生运动；
若当前帧图像相对前一帧图像的所述特征点平均移动距离不小于预设移动阈值，则判断对应相机发生运动。
6.根据权利要求4所述的基于阈值动态调整的图像特征点跟踪方法，其特征在于，所述步骤S3中，若根据基于所述特征点平均移动距离判断相机未发生运动，则当前时刻不调整特征提取阈值。
7.根据权利要求4所述的基于阈值动态调整的图像特征点跟踪方法，其特征在于，所述步骤S3中，特征跟踪成功率为：
上式中，nf表示在进行当前特征点跟踪前得到的特征点数量，包括上一时刻成功跟踪的特征点和当前时刻特征点提取到的新特征点；nt表示当前时刻成功跟踪到的特征点数量。
8.一种基于阈值动态调整的图像特征点跟踪系统，其特征在于，包括：
初始化设定模块，设定初始的图像特征点提取参数，所述图像特征点提取参数包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值、特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；
特征提取跟踪模块，基于所述特征点提取阈值提取当前帧图像的特征点，并基于带畸变模型的金字塔流光法跟踪特征点；
阈值动态调整模块，基于当前帧的特征点提取结果、特征点跟踪结果确定当前帧的特征点跟踪数量和特征点跟踪成功率；基于所述特征点跟踪数量与最大特征点跟踪数量、最小特征点跟踪数量的关系，以及所述特征点跟踪成功率与特征点跟踪成功率阈值的关系，根据特征点提取阈值增大倍率增大所述特征点提取阈值，或根据特征点提取阈值减小倍率减小所述特征点提取阈值，并将更新后的特征点提取阈值反馈至所述特征提取跟踪模块，以进行下一帧图像的特征点提取和特征点跟踪。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于阈值动态调整的图像特征点跟踪方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于阈值动态调整的图像特征点跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110901181.5A CN113744307A (zh) | 2021-08-06 | 2021-08-06 | 一种基于阈值动态调整的图像特征点跟踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110901181.5A CN113744307A (zh) | 2021-08-06 | 2021-08-06 | 一种基于阈值动态调整的图像特征点跟踪方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113744307A true CN113744307A (zh) | 2021-12-03 |
Family
ID=78730304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110901181.5A Pending CN113744307A (zh) | 2021-08-06 | 2021-08-06 | 一种基于阈值动态调整的图像特征点跟踪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744307A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908475A (zh) * | 2023-03-09 | 2023-04-04 | 四川腾盾科技有限公司 | 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统 |
| CN116740477A (zh) * | 2023-08-16 | 2023-09-12 | 南昌航空大学 | 基于稀疏光流的动态像素点分布识别方法、系统及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟系统中航拍视频的快速自动拼接技术 |
| CN108731587A (zh) * | 2017-04-14 | 2018-11-02 | 中交遥感载荷（北京）科技有限公司 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
| CN109558815A (zh) * | 2018-11-16 | 2019-04-02 | 恒安嘉新（北京）科技股份公司 | 一种实时多人脸的检测及跟踪方法 |
| CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
| CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
| US20200226781A1 (en) * | 2019-01-11 | 2020-07-16 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image processing method and apparatus |
-
2021
- 2021-08-06 CN CN202110901181.5A patent/CN113744307A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟系统中航拍视频的快速自动拼接技术 |
| CN108731587A (zh) * | 2017-04-14 | 2018-11-02 | 中交遥感载荷（北京）科技有限公司 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
| CN109558815A (zh) * | 2018-11-16 | 2019-04-02 | 恒安嘉新（北京）科技股份公司 | 一种实时多人脸的检测及跟踪方法 |
| US20200226781A1 (en) * | 2019-01-11 | 2020-07-16 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image processing method and apparatus |
| CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
| CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908475A (zh) * | 2023-03-09 | 2023-04-04 | 四川腾盾科技有限公司 | 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统 |
| CN115908475B (zh) * | 2023-03-09 | 2023-05-19 | 四川腾盾科技有限公司 | 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统 |
| CN116740477A (zh) * | 2023-08-16 | 2023-09-12 | 南昌航空大学 | 基于稀疏光流的动态像素点分布识别方法、系统及设备 |
| CN116740477B (zh) * | 2023-08-16 | 2023-11-07 | 南昌航空大学 | 基于稀疏光流的动态像素点分布识别方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| WO2018219054A1 (zh) | 一种车牌识别方法、装置及系统 | |
| KR101333871B1 (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
| US8126206B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5197279B2 (ja) | コンピュータによって実施されるシーン内を移動している物体の３ｄ位置を追跡する方法 | |
| CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
| CN108345821B (zh) | 面部追踪方法及设备 | |
| US9767383B2 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
| CN109919971B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US20220172331A1 (en) | Image inpainting with geometric and photometric transformations | |
| US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
| KR20010080219A (ko) | 화상 처리 장치 및 화상 처리 방법 및, 기록 매체 | |
| CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
| CN113744307A (zh) | 一种基于阈值动态调整的图像特征点跟踪方法和系统 | |
| JP2011508323A (ja) | 不変の視覚場面及び物体の認識 | |
| CN113393505B (zh) | 图像配准方法、视觉定位方法及相关装置、设备 | |
| CN113409391A (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
| CN114998773A (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
| CN114638891A (zh) | 基于图像和点云融合的目标检测定位方法与系统 | |
| CN113947686A (zh) | 一种图像的特征点提取阈值动态调整方法和系统 | |
| Chen et al. | Multi-stage matching approach for mobile platform visual imagery | |
| KR20180014149A (ko) | 깊이 정보 생성 장치 및 방법 | |
| CN109741370B (zh) | 一种目标跟踪方法和装置 | |
| CN111951295A (zh) | 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备 | |
| CN111951178A (zh) | 显著提升图像质量的图像处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |