CN111354014B - 一种针对相机自动曝光的特征点跟踪方法 - Google Patents

Abstract

本发明公开了一种针对相机自动曝光的特征点跟踪方法，其特征在于，具体步骤如下：变换相机的曝光时间，并采集不同曝光时间下的图像帧序列；根据所采集的图像帧序列和对应的曝光时间，对相机的响应函数进行标定；获取图像帧序列当前图像帧中的目标特征点信息；根据相机的响应函数和辐照度不变性假设，确定跟踪特征点在下一帧图像中的位置信息。本发明提供了一种针对相机自动曝光的特征点跟踪方法，利用相机的响应函数，利用辐照度不变性对图像帧中的特征点进行逐帧跟踪，确定场景特征点在各图像帧中的位置信息，实现复杂光照情况下特征点的稳定跟踪。

Description

一种针对相机自动曝光的特征点跟踪方法

技术领域

本发明涉及计算机视觉技术领域，更具体的说是涉及一种针对相机自动 曝光的特征点跟踪方法。

背景技术

特征点跟踪技术是计算机视觉领域的核心课题之一，具有十分重要的意 义和广泛的实用价值。近年来，随着特征点跟踪技术的快速发展，对于算法 稳定性和适用性的要求也在日益增高。算法处理的场景越来越复杂，目标越 来越广泛，传统的算法已无法满足人们的要求。对于实际场景中的特征点跟 踪，相机自动曝光、场景切换时亮度变化较大的情况下，传统光流法的光度 不变性假设难以成立，此时的光流法容易发生跟踪丢失的情况。此外，当场 景中出现阳光、晴朗天空和人造强光照射的情况下，相机会自动调节曝光时间以平衡图像内灰度的分布，这也会导致特征点跟踪的丢失。

因此，如何提供一种在相机自动曝光和视场光照剧烈变化下目标跟踪的 特征点跟踪方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种针对相机自动曝光的特征点跟踪方法，利 用相机的响应函数，利用辐照度不变性对图像帧中的特征点进行逐帧跟踪， 确定场景特征点在各图像帧中的位置信息，实现复杂光照情况下特征点的稳 定跟踪。

为了实现上述目的，本发明提供如下技术方案：

一种针对相机自动曝光的特征点跟踪方法，具体步骤如下：

变换相机的曝光时间，并采集不同曝光时间下的图像帧序列；

根据所采集的图像帧序列和对应的曝光时间，对相机的响应函数进行标定； 获取图像帧序列当前图像帧中的目标特征点信息；

根据相机的响应函数和辐照度不变性假设，确定跟踪特征点在下一帧图像中 的位置信息。

优选的，一种针对相机自动曝光的特征点跟踪方法中，对相机的相应函 数进行标定的具体步骤包括：

在固定场景下采集相机响应函数标定所需的数据；

构建相机响应函数误差模型；

使用极大似然估计方法对响应函数进行求解。

优选的，一种针对相机自动曝光的特征点跟踪方法中获取图像帧序列当 前图像帧中的目标特征点信息的具体步骤包括：

预先选定特征点的阈值，在图像中进行FAST特征点提取，并计算特征点的 响应值；

对图像进行分块，按图像块分别对响应值较低的冗余特征点进行剔除。

优选的，一种针对相机自动曝光的特征点跟踪方法中根据相机的响应函 数和辐照度不变性假设，确定特征点在下一帧图像中的位置信息的步骤包括： 计算并保存响应函数的导数信息；

构建图像金字塔，计算金字塔下层特征点在上层中对应的位置；

根据辐照度不变性假设，在第k+1帧中确定与第k帧中目标特征点对应的跟 踪特征点。

优选的，一种针对相机自动曝光的特征点跟踪方法中剔除冗余特征点的 步骤包括：

对图像进行分块，统计每一块图像中成功跟踪的特征点数目；

选取指定阈值，在不含有特征点的图像块中进行特征提取，保证图像中整体 特征数量保持为m个；

针对特征数量大于指定数量m的图像块，按照特征点响应值对特征点进行排 序，剔除前m个特征点以外的特征点。

优选的，一种针对相机自动曝光的特征点跟踪方法中所述的构建图像金 字塔，计算金字塔下层特征点在上层中对应位置的步骤包括：

从原始图像开始，即从图像金字塔底层开始，递归地使用插值方法生成 长宽各缩减一半大小的上一层图像；

根据生成图像金字塔的方式，计算原图中需要跟踪的目标特征点所对应位于 上层图像中特征点的位置坐标。

优选的，一种针对相机自动曝光的特征点跟踪方法中所述的根据辐照度 不变性假设，在第k+1帧中确定与第k帧中目标特征点对应的跟踪特征点的 步骤包括：

针对金字塔顶层图像，将其特征点运动信息的初始估计值置零，根据辐照度 不变性假设，计算特征点的运动信息；

除顶层图像外，设置特征点运动信息的初始估计值为上一层计算对应特征点 的运动信息，并根据辐照度不变性假设，计算当前层中特征点的运动信息。

优选的，一种针对相机自动曝光的特征点跟踪方法中计算特征点的运动 信息的步骤包括：

针对目标特征点周围固定大小窗口内的像素点，计算其在x方向和y方向的 像素梯度值，并计算对应的辐照度变化量；

针对窗口内的像素点，分别构建对应于辐照度不变特性的等式，采用最小二 乘方法对特征点的运动信息进行求解。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种针 对相机自动曝光的特征点跟踪方法，利用相机的响应函数，利用辐照度不变 性对图像帧中的特征点进行逐帧跟踪，确定场景特征点在各图像帧中的位置 信息，实现复杂光照情况下特征点的稳定跟踪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的实施例1的特征点跟踪方法的流程图；

图2附图为本发明的实施例1的特征点跟踪方法的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种针对相机自动曝光的特征点跟踪方法，利用相 机的响应函数，利用辐照度不变性对图像帧中的特征点进行逐帧跟踪，确定 场景特征点在各图像帧中的位置信息，实现复杂光照情况下特征点的稳定跟 踪。

实施例1

本实施例提供了一种针对相机自动曝光的特征点跟踪方法，如图1所示， 本实施例所述方法包括：

步骤S101：对相机的响应函数进行标定；

相机成像得到的图像像素值受相机曝光时间的影响，因此为了减小相机 自动曝光模式下曝光时间变化对特征点跟踪的影响，首先需要通过标定得到 相机的响应函数，即得到场景辐照度、相机曝光时间和像素值之间的对应关 系。为了采集相机标定的数据，需要在特定场景下以不同曝光时间采集图像， 并保存图像和曝光时间信息，而且曝光时间对相机的曝光时间范围进行覆盖。

步骤S102：获取图像帧序列当前图像帧中的目标特征点信息；

为了对特征点进行跟踪，首先要确定当前图像帧中需要跟踪的特征点信 息，其常用方法是通过对目标点自身像素值和其周围像素值的比较结果得到 该点的响应值，并以响应值较大的像素点作为起始跟踪点。需要跟踪的特征 点主要包括上一帧成功跟踪的特征点和当前帧中补充的特征点，特征点信息 包括特征点的位置信息和响应值。

步骤S103：根据相机响应函数和辐照度不变性假设，确定跟踪特征点在 下一帧图像中的位置信息。

得到当前图像帧中的目标特征点信息后，根据辐照度不变性假设，以图 像金字塔方式逐帧对后续剩余图像帧进行特征点跟踪，确定图像帧中特征点 的位置信息和跟踪质量；在跟踪过程中，以图像分块统计方式对需要跟踪的 目标特征点进行管理，在特征点较少部分重新进行特征点检测并加入跟踪序 列；从第一帧开始对目标特征点进行逐帧管理和跟踪，直到图像帧序列最后 一帧图像，完成图像的帧间特征点跟踪，其原理图如图2所示。

本实施例方法对图像帧中的特征点进行逐帧跟踪，利用标定得到的相机 响应函数确定场景辐照度、曝光时间和图像像素值之间的关系，消除自动曝 光的影响，并利用辐照度不变性假设和图像金字塔方法实现特征点的稳定跟 踪。

具体的，步骤S101包括：

步骤S1011：在固定场景中采集相机响应函数标定所需数据；

步骤S1012：构建相机响应函数误差模型；

步骤S1013：使用极大似然估计的方法对响应函数进行求解。

其中，步骤S1011具体包括：

步骤S10111：选取合适的标定数据采集场景；

标定的目的是得到相机的响应函数，即得到场景辐照度、曝光时间和图 像像素的准确对应关系。标定的过程需要在同一场景中采集多组数据，为了 在标定数据中得到更多的有效信息，场景中的景物需要具有较大的辐照度范 围，并且相邻物体的辐照度区别不大，以保证在不同曝光时间下都能采集到 足够多的有效信息；

步骤S10112：逐渐改变相机的曝光时间，记录采集的图像数据以及和曝 光时间信息；

在同一场景下，逐渐改变相机的曝光时间，记录固定辐照度情况下曝光 时间与图像像素值的对应情况。为了使标定结果更加准确，相机曝光时间应 该以较小的间隔逐渐变化，其取值应尽可能均匀、密集地分布于相机曝光时 间的最小值和最大值区间内。

步骤S1013包括：

步骤S10131：针对S1012中构建的相机响应函数误差模型，求解场景辐 照度的极大似然估计解；

此处需要说明的是，由于场景中的实际辐照度位置，而实际操作中只需 关心场景辐照度、曝光时间和像素值的对应关系，在求解场景辐照度时，首 先以所有采集图像对应像素的平均值作为估计的初始值，然后再与步骤 S10132交替进行，进行辐照度和响应函数的迭代求解。

步骤S10132：针对S1012中构建的相机响应函数误差模型，求解响应函 数的极大似然估计解；

此处需要说明的是，由于图像像素的表示范围为离散的256位数据，为 了表示和计算的方便，本文采用非参数方法对响应函数进行估计，求解得到 一个256维表示响应函数的数组，并将各像素值对应的辐照度和曝光时间的 乘积也映射到[0,255]区间内。

步骤S10133：对求得的响应函数进行边界平滑处理；

考虑场景过曝和像素值有限的表示范围，对于响应函数中像素值为255 对应的纵坐标变量，采用相邻的数据进行插值，得到255处的像素对应值。 为保证响应函数的平滑性和单调递增特性，采用大小为3的窗口对响应函数 进行平滑处理。

步骤S102包括：

步骤S1021：选定阈值，提取图像中的目标特征点信息；

预先选定特征点提取的阈值，在图像中进行FAST特征点提取，并计算 特征点的响应值。

步骤S1022：对图像进行分块，按图像块分别对响应值较低的冗余特征点 进行剔除；

首先将图像均分成大小相同的网格，遍历各个网格，若上一帧成功跟踪 的特征点落在当前网格中，则当前网格中不添加新的特征点；若当前网格中 没有成功跟踪的特征点，且步骤S1021在当前网格中成功提取了特征点，则 选取响应值最大的特征点，加入跟踪序列；从跟踪序列中剔除跟踪失败的特 征点。

此处需要说明的是，为了保证图像帧跟踪过程中跟踪特征点的一致性， 从系统运行开始，需要对每一个新加入跟踪序列的特征点进行编号，编号的 顺序依次递增，被剔除特征点的序号将不再被使用。

步骤S103包括：

步骤S1031：计算并保存响应函数的导数信息；

由于后续计算中需要频繁使用响应函数的导数信息，所以本步骤中将响 应函数的导数提前计算并进行保存，以便进行后续的检索与提取。导数的计 算方法为取当前点左导数和右导数均值。

步骤S1032：构建图像金字塔，计算金字塔下层特征点在上层中对应的位 置；

其中，步骤S1032具体包括：

步骤S10321：从原始图像开始，即从图像金字塔底层开始，递归地使用 插值方法生成长宽各缩减一半大小的上一层图像；

为了实现特征点的稳定跟踪，采用图像金字塔方法在多尺度下进行特征 点运动的计算，金字塔的层数可以针对不同应用情况进行设置。为保证图像 金字塔上下层之间数据的一致性，本文使用高斯核对图像进行下采样，以生 成图像的上一层图像。

步骤S10322：根据生成图像金字塔的方式，计算原图中需要跟踪的目标 特征点位于上层图像中对应特征点的位置坐标。

当确定当前帧图像中需要跟踪的目标特征点时，根据图像金字塔中图像 像素点间的对应关系，计算所有目标特征点在上一层图像中的对应坐标，由 下而上递归计算到图像金字塔的顶层。为后续步骤提供特征跟踪的起始坐标。

步骤S1033：根据辐照度不变性假设，在第k+1帧中确定与第k帧中目标 特征点对应的跟踪特征点。

其中，步骤S1033具体包括：

步骤S10331：针对金字塔顶层图像，将其特征点运动信息的初始估计值 置零，根据辐照度不变性假设，计算特征点的运动信息；

步骤S10332：除顶层图像外，设置特征点运动信息的初始估计值为上一 层计算对应特征点的运动信息，并根据辐照度不变性假设，计算当前层中特 征点的运动信息。

由上述过程可知，在图像金字塔的顶层，特征点运动的初始值被设置为 [0,0]^T，根据特征点周围小窗口内的辐照度信息和像素信息构建最小二乘问题， 根据辐照度不变性对特征点的运动信息进行求解。除顶层外，在每一层特征 点跟踪过程中，采用上一层计算得到的信息作为当前层跟踪的初值，然后再 进行特征点运动信息的解算过程。

将上述过程迭代执行就能够实现相机自动曝光情况下图像帧之间特征点 的稳定跟踪。

实施例2

以下通过一个具体的场景对本发明进行说明。

(1)相机响应函数标定的具体步骤为：

①在同一场景中多次改变相机的曝光时间，采集一系列不同的图像，相 机成像模型为：

I(x)＝G(TB(x))

式中，x表示像素点在图像中的坐标；B表示像素点对应的辐照度；T表示曝 光时间；G表示相机的响应函数；I则表示图像中的像素值。采集标定数据的 过程中，由于场景中物体的辐照度B不变，各幅图像中的辐照度是相同的， 像素亮度值的差异由曝光时间T和响应函数G决定。

为方便书写，令U表示G的反函数，即U＝G^-1，则相机的成像模型可以 表示为：

U(I(x))＝TB(x)

②假设相机测量时受高斯白噪声的影响：

U(I(x))＝TB(x)+n_i,n_i～N(0,σ_i)

式中，N(0,σ_i)表示均值为0，方差为σ_i的高斯分布。

构建包含响应函数的误差项为：

式中，i表示图像集中的第i幅图像；第一个求和表示对图像集中的所有图像 进行求和，第二个则表示对图像中所有像素点进行求和；Ω表示一幅图像中 的所有像素点；I(x)表示像素的灰度值，取值范围为[0,255]。

③使用极大似然估计的方法对响应函数进行求解

实施例中采用非参数优化的方法，待求的函数U(k)对应于一个256维的 映射表，表示当k由0-255范围内取值时，相机传感器接收到的对应的实际辐 照度。

对于每一个k值和x值，U(k)和B(x)都是单独的优化变量，使用极大似然 法对中的变量求导并令其为零，可以得到二者的最优解为：

对U(k)和B(x)进行迭代求解即可得到相机响应函数逆函数U(k)的解。

(2)获取所述图像帧序列中当前图像帧中的目标的特征点信息的具体步 骤为：

①选定阈值，提取图像中的FAST特征点，并且计算出特征点对应的响 应值，其中选取像素点周围16个点与当前像素差值的均值作为其响应值。

②选取上一帧中成功跟踪的特征点，加入当前帧的跟踪队列中。本实例 中将图像分割成为20×20大小的图像块，若当前图像块中含有超过2个需要跟 踪的特征点，则不添加新的特征点；若当前图像块中不含有需要跟踪的特征 点，且①中提取的特征点有位于当前图像块的，选取响应值最大的特征点加 入到特征点跟踪的队列中。

③针对跟踪特征点数目超过2个的图像块，保留响应值最大的前两个特 征点，剔除其余特征点。

(3)根据相机响应函数和辐照度不变性假设，确定跟踪特征点在下一帧 图像中的位置信息的具体步骤包括：

①根据标定得到的相机响应函数的逆函数，计算其导数信息

并保存 到一个256维的数组中；

②令I₀表示原始图像，I₀作为图像金字塔中的最底层，其宽度和高度分别 表示为w₀和h₀；第j层图像及其宽度和高度分别表示为I_j、w_j和h_j。以每次边 长减半的方式构建图像金字塔，上层的像素值则由下层图像对应像素进行插 值得到：

式中，x和y表示像素在图像上的横坐标和纵坐标。

③计算金字塔下层特征点在上层中对应的特征点位置；

④根据辐照度不变性假设，在第k+1帧中确定与第k帧中目标特征点对 应的跟踪特征点；

与光流法中的光度不变性假设相比，本发明在引入相机响应函数的基础 上，在特征点跟踪中引入了辐照度不变性假设——即跟踪前后场景中的辐照 度不变；其他的假设与光流法相同，即假设帧间运动较小，且某像素点周围 小窗口内的像素都具有相同的运动形式。对点的辐照度进行一阶泰勒展开， 并舍去高阶小项，得：

假设运动前后同一点的辐照度不变，有：

两端除以Δt并移项，可以得到：

式中，

分别表示特征点在x方向和y方向的运动速度。

将相机的响应函数引入到场景辐照度的计算中，可以得到：

对辐照度在x方向求导，可以得到：

同理，辐照度在y方向的导数可以表示为：

式中，

和

为图像像素值在x方向和y方向上的导数，通过图像像素的差 分易得：

表示该点处辐照度的变化，有

于是有：

其简化表达公式为：

U_I(I_xu+I_yv)＝-TB_t

在一个3×3的小邻域内，通过区域内像素来估计特征点的速度矢量，可以 构建如下的代价函数：

令▽I(x,y)＝(I_x,I_y)^T，V＝(u,v)^T有：

对于窗口内的点，假设其运动矢量相同，为便于表述求解问题，将窗口内 各个像素的相关变量放进同一个矢量中去，有：

A＝[▽I(x₁,y₁),▽I(x₂,y₂),...,▽I(x_n,y_n)]^T

b＝-T[B_t(x₁,y₁,t),B_t(x₂,y₂,t),...,B_t(x_n,y_n,t)]^T

故求解特征点运动矢量的问题，可以写成求解线性方程的形式

AV＝b

解最小二乘问题，即最小化||AV-b||²可以得到。

A^TAV＝A^Tb

求解可得

V＝(A^TA)^-1A_b

本实例在运行过程中，采用上式对特征点在图像上的运动矢量进行估计。 在图像金字塔中，首先对顶层像素的运动矢量进行估计，然后将该层特征点 的运动矢量作为初值，继续计算A和b，并将实际运动矢量相对于初值的增量 作为求解内容，按照上述的方式进行求解。如此进行迭代的求解，可以计算 出原图中特征点的运动矢量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种针对相机自动曝光的特征点跟踪方法，其特征在于，具体步骤如下：

变换相机的曝光时间，并采集不同曝光时间下的图像帧序列；

根据所采集的图像帧序列和对应的曝光时间，对相机的响应函数进行标定；获取图像帧序列当前图像帧中的目标特征点信息；

根据相机的响应函数和辐照度不变性假设，确定跟踪特征点在下一帧图像中的位置信息；

根据相机的响应函数和辐照度不变性假设，确定跟踪特征点在下一帧图像中的位置信息的步骤包括：

计算并保存响应函数的导数信息；

构建图像金字塔，计算金字塔下层特征点在上层中对应的位置；

根据响应函数的导数信息和辐照度不变性假设，在第k+1帧中确定与第k帧中目标特征点对应的跟踪特征点；

构建图像金字塔，计算金字塔下层特征点在上层中对应位置的步骤包括：

从原始图像开始，即从图像金字塔底层开始，递归地使用插值方法生成长宽各缩减一半大小的上一层图像；

根据生成图像金字塔的方式，计算原图中需要跟踪的目标特征点所对应位于上层图像中特征点的位置坐标；

所述的根据辐照度不变性假设，在第k+1帧中确定与第k帧中目标特征点对应的跟踪特征点的步骤包括：

针对金字塔顶层图像，将其特征点运动信息的初始估计值置零，根据辐照度不变性假设，计算特征点的运动信息；

除顶层图像外，设置特征点运动信息的初始估计值为上一层计算对应特征点的运动信息，并根据辐照度不变性假设，计算当前层中特征点的运动信息；

计算特征点的运动信息的步骤包括：

针对目标特征点周围固定大小窗口内的像素点，计算其在x方向和y方向的像素梯度值，并计算对应的辐照度变化量；

针对窗口内的像素点，分别构建对应于辐照度不变特性的等式，采用最小二乘方法对特征点的运动信息进行求解。

2.根据权利要求1所述的一种针对相机自动曝光的特征点跟踪方法，其特征在于，对相机的响应 函数进行标定的具体步骤包括：

在固定场景下采集相机响应函数标定所需的数据；

构建相机响应函数误差模型；

使用极大似然估计方法对响应函数进行求解。

3.根据权利要求1所述的一种针对相机自动曝光的特征点跟踪方法，其特征在于，获取图像帧序列当前图像帧中的特征点信息的具体步骤包括：

预先选定提取目标特征点的阈值，在图像中进行FAST特征点提取，并计算目标特征点的响应值信息；

对图像进行分块，按图像块分别对响应值较低的冗余特征点进行剔除。

4.根据权利要求3所述的一种针对相机自动曝光的特征点跟踪方法，其特征在于，剔除冗余特征点的步骤包括：

对图像进行分块，统计每一块图像中成功跟踪的特征点数目；

选取指定阈值，在不含有特征点的图像块中进行特征提取，保证图像中整体特征数量保持为m个；

针对特征数量大于指定数量m的图像块，按照特征点响应值对特征点进行排序，剔除前m个特征点以外的特征点。

Images