CN107967691B - 一种视觉里程计算方法和装置 - Google Patents

Abstract

本发明实施例提供了一种视觉里程计算方法和装置，根据本发明实施例的方法包括：检测视频图像中帧图像的特征点；对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，其中，在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和/或，在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对。

Description

一种视觉里程计算方法和装置

技术领域

本申请涉及图像处理领域，并且具体涉及一种视觉里程计算方法和装置。

背景技术

视觉里程计算方法已被广泛应用于机器人及车辆导航领域，如智能汽车、无人机等，这种方法能够根据视觉信息测算运动的距离和方向，避免了传统里程计算方法中因轮式里程计的车轮打滑造成的测量错误，也避免了因传感器精度降低等因素造成的测量误差，提高了测量精度。

在当前常用的视觉里程计算方法中，往往在不同的应用场景下均采用相对固定的参数值来进行特征点检测和匹配，导致对所获取的特征点和特征点匹配对的数量以及匹配准确度都无法精确控制，大大增加了系统的运行时间，降低了系统计算的实用性。

因此，需要一种能够实时准确进行视觉里程计算的方法。

发明内容

根据本发明的一个方面，提供了一种视觉里程计算方法，包括：检测视频图像中帧图像的特征点；对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，其中，在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和/或，在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对。

根据本发明的另一方面，提供了一种视觉里程计算装置，包括：检测单元，配置为检测视频图像中帧图像的特征点；匹配单元，配置为对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，其中，匹配单元在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和/或，匹配单元在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对。

利用根据本发明上述方面的视觉里程计算方法和装置，能够利用与特征点和特征点匹配对有关系的相关参数的训练结果自适应地调节视频图像中帧图像的特征点和特征点匹配对的数量，以缩短系统的运行时间，增加计算的精确程度，实现实时准确的视觉里程计算。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。

图1示出本发明实施例中视觉里程计算方法的流程图；

图2示出本发明实施例中特征点的概率密度图；

图3示出本发明实施例中特征点匹配对的概率密度图；

图4示出本发明一个实施例视觉里程计算装置的框图；

图5示出本发明另一个实施例视觉里程计算装置的框图。

具体实施方式

下面将参照附图来描述根据本发明实施例的视觉里程计算方法和装置。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。

在本发明中，为了克服现有技术中的视觉里程计算方法采用固定参数值进行特征点检测和匹配所带来的运算效率低下，准确性不高的问题，发明人考虑在不同的应用场景下利用自适应的参数以调节视觉里程计算中的特征点和特征点匹配对的数量。因此，在本发明中，采用了神经网络的方法对与特征点相关的第一相关参数和与特征点匹配对相关的第二相关参数进行了神经网络训练。

具体地，首先，可以向神经网络输入一系列训练数据，这些训练数据可以是多帧的视频图像。随后，可以在给定的系统运行时间下通过实验获取特征点、特征点匹配对及第一相关参数、第二相关参数之间的各种关系。在经过神经网络训练获得上述训练结果之后，可以根据这些训练结果优化调节视觉里程计算中的特征点和/或特征点匹配对，以提高物体运动估计的精确度，减少系统的运行时间。

在此，参照图1描述根据本发明实施例的视觉里程计算方法。图1示出该视觉里程计算方法100的流程图。

如图1所示，在步骤S101中，检测视频图像中帧图像的特征点。可选地，可以首先获取视频图像，随后检测视频图像中每一帧图像的特征点。这里，视频图像可以是物体上配备的拍摄单元获取的视频图像，该视频图像用于从中获取物体的运动或移动距离。具体地，对每一帧图像的特征点均可表示为F＝{f_i,i＝1,...,K}，此处K表示这一帧图像中特征点的个数。当用于获取视频图像的相机为立体相机时，所述帧图像也可以分别包括左右两帧的图像。

另外，由于本发明实施例中的视觉里程计算方法可以针对视频图像中相邻两帧的图像的特征点进行匹配，因此，可选地，步骤S101中特征点的具体检测方式也可以为：获取视频图像；基于预定方式检测所获取的视频图像中相邻两帧图像的特征点。在本实施例中，特征点检测的预定方式可以包括例如SIFT特征、SURF特征、Harris角点等各种特征点检测方法。在检测特征点后，可以对所检测的特征点进行描述，所采用的方法可以包括例如灰度特征、梯度特征、视差信息等各种用于特征描述的方法。

在本实施例的步骤S102中，对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，其中，在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和/或，在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对。

具体地，首先需要根据给定的运行时间，利用训练数据训练并获取所述特征点与所述特征点匹配对之间、所述特征点与各第一相关参数之间以及所述特征点匹配对与各第二相关参数之间的关系。当然，训练过程可以在步骤S101的特征点检测步骤之前，也可以在此步骤之后。由于本实施例中系统的运行时间与所检测的特征点与匹配的特征点匹配对数量直接相关，因此，可以通过预先设定的系统运行时间采用神经网络的训练方法对系统运行时间、特征点、特征点匹配对、第一相关参数以及第二相关参数之间的关系进行训练，以减少系统的运行时间，提高计算效率。在详细的实施过程中，首先向神经网络输入预先获取的多帧视频图像作为训练数据。随后，在给定的系统运行时间下，通过实验获取系统运行时间T与特征点数量N_point、特征点匹配对数量N_corres之间的关系T＝g(N_point,N_corres)。针对给定的系统运行时间，特征点数量和与其对应的特征点匹配对的数量将都是已知的。特征点数量N_point与特征点匹配对数量N_corres之间的关系可以表示为N_corres＝g’(N_point)。此外，在特征点匹配之前，可以根据实验获取特征点数量N_point和与其相关的第一相关参数

之间的关系

此处m＝1,2，…,M，M代表与特征点数量有关的第一相关参数的个数，第一相关参数可以为诸如滤波窗口大小、非极大值抑制窗口大小等，例如在libviso视觉里程算法中，第一相关参数可以包括margin(留白)、nms_n(非极大值抑制窗口)等参数。通过确定第一相关参数和特征点的对应关系能够使得在实现里程计算的精准计算同时所需的特征点的数量尽量少，例如，当特征点比较多时，可以通过减小滤波窗口大小和非极大值抑制窗口大小来适当减少特征点的数量，并且根据所需的实现里程精准计算需要的最少的点进行里程计算。进一步地，在训练过程中检测到特征点并对其进行匹配之后，还可以通过实验获取特征点匹配对的数量N_corres和与其相关的第二相关参数

之间的关系

此处k＝1,2,…，K，K代表与特征点匹配对数量有关的第二相关参数的个数，第二相关参数可以为诸如物体速度、转角、路面高度或坡度之类的参数。此外，第二相关参数还可以在进行特征点匹配时影响两帧视频图像的重叠面积的任意参数。

在通过训练过程获得上述参数之间的关系之后，可以根据所检测的具有第一数量的特征点以及所述特征点与各第一相关参数之间的关系，将所述特征点的数量优化为第二数量，所述第二数量小于所述第一数量。也即利用训练结果对步骤S101中检测到的特征点的数量进行优化，稀疏特征点的数量，以控制系统的运行时间。

在优化过程中，可以根据用于表示所述特征点分布的特征点概率密度图对所述特征点进行优化。图2中示出了基于特征点的概率密度图。如图2所示，在步骤S101中所检测到的特征点可以在图像中被划分为具有i行j列的多个区域，其中在区域R_i,j中的特征点概率密度p_i,j的值可以表示为区域R_i,j中特征点的数量N(p_x)除以图像中所有特征点的数量N(all)：

考虑上述特征点的概率密度图的约束条件map(point)，可以将在训练过程中所获取的特征点数量与第一相关参数之间的关系表示为

其中，对特征点概率密度图的约束条件可以避免在本来特征点分布就已经较稀疏的图像位置处进一步过量减少特征点的数量，从而降低系统运算的准确度。由于一共具有M个与特征点相关的第一相关参数，每个第一相关参数在特征点优化中所占的权重不同，因此，优选地，可以调节各第一相关参数之间的权重，利用加权后的各第一相关参数对所述特征点进行优化。具体地，首先利用逆函数关系表示根据第一相关参数估计得到的特征点数量

随后通过解决如下优化问题得到各第一相关参数所占据的权重

并求得优化结果。也就是说，使得根据前述关系估计得到的特征点数量尽量接近于根据给定系统运行时间所求得的目标特征点数量。其中，

ω_m是参数

的权重，

α_m、β_m是参数

的限制条件，限制条件用于限制第一相关参数的合理取值范围，如当第一相关参数为间隔采样的采样率时，采样率的最大值将受到图像大小的限制，其最小值则会受到像素间隔和图像过滤条件的限制。在上述优化过程后，可以将步骤S101中所检测的特征点的数量从检测到的第一数量优化为小于第一数量的第二数量，并利用所述第二数量的特征点进行后续计算，以提高系统运算效率。

在对特征点的数量进行优化之后，可以利用调节后的特征点进行特征点匹配，当然，也可以直接对步骤S101检测到的特征点进行特征点匹配。特征点匹配所针对的是相邻两帧的帧图像的特征点。具体地，首先假设前一帧视频图像中的m个特征点集合表示为P_pre＝(p′₁,...,p′_i,...,p′_m)，其中p′_i＝(x′_i,y′_i，z′_i)，当前帧视频图像中的n个特征点集合表示为P_cur＝(p₁,...,p_j,...,p_n)，其中p_j＝(x_j,y_j，z_j)。则可以求得前一帧图像和当前帧图像中的特征点对的差异，表示为：df(m(p′_i,p_j))，其中m(p′_i,p_j)为特征点对，特征点对的差异一般利用特征点对之间的特征向量来表示。特征点匹配的方法在于选取特征点对之间的总差异最小的特征点对匹配结果，即

其中N<min(m,n)。

在获取特征点匹配对之后，还可以根据所匹配的具有第三数量的特征点匹配对以及所述特征点匹配对与各第二相关参数之间的关系，将所述特征点匹配对的数量优化为第四数量，所述第四数量小于所述第三数量。也即利用训练结果对特征点匹配对的数量进行优化，稀疏特征点匹配对的数量，以控制系统的运行时间。

在优化过程中，可以根据用于表示所述特征点匹配对分布的匹配对概率密度图对所述特征点进行优化。图3中示出了基于特征点匹配对的概率密度图。如图3所示，匹配得到的特征点匹配对可以在图像中被划分为与图2类似的具有i行j列的多个区域，其中在区域R_i,j中的匹配对概率密度p’_i,j的值可以表示为区域R_i,j中匹配对的数量除以图像中所有特征点匹配对N(all)的数量。

此处，在考虑匹配对概率密度分布时，还可以进一步考虑匹配对的权重的影响，以增加计算的准确度。匹配对的权重μ_x可以表示为：

其中，当与前一帧的历史信息相比，在当前帧的位于区域R_i,j中的特征点匹配对p_x属于inlier时，匹配对的权重μ_x最大，为1+C；而在当前帧的位于区域R_i,j中的特征点匹配对p_x属于outlier时，匹配对的权重μ_x最小，为1-C’，0<C,C’<1。在其他情况下，如当某个特征点匹配对第一次出现时，可赋予其权重为1。

本实施例中的特征点匹配对m(p′_i,p_j)属于inlier还是outlier的判定方式可以为：

其中thr为预设阈值，

为当前帧图像中的预测位置，其通过等式

获得，R、T分别为通过前一帧与当前帧匹配获得的历史信息求得的旋转矩阵和位移矩阵。

在确定了特征点匹配对的权重之后，则可以将区域R_i,j中的匹配对概率密度p’_i,j表示为区域R_i,j中具有不同权重μ_x的匹配对数量N_i,j的总和除以总匹配对数量N(all)：

考虑上述特征点匹配对的概率密度图的约束条件map(corres)，可以将在训练过程中所获取的特征点匹配对数量与第二相关参数之间的关系表示为

其中，对特征点匹配对概率密度图的约束条件可以避免在本来特征点匹配对分布就已经较稀疏的图像位置处进一步过量减少特征点匹配对的数量，从而降低系统运算的准确度。由于一共具有K个与特征点匹配对相关的第二相关参数，每个第二相关参数在优化中所占的权重不同，因此，优选地，可以调节各第二相关参数之间的权重，利用加权后的各第二相关参数对所述特征点匹配对进行优化。具体地，首先利用逆函数关系表示根据第二相关参数估计得到的特征点匹配对数量

随后通过解决如下优化问题得到各第二相关参数所占据的权重

并求得优化结果。也就是说，使得根据前述关系估计得到的特征点匹配对数量尽量接近根据给定系统运行时间所求得的目标特征点匹配对数量。其中，

ω′_k是参数

的权重，

δ_k、ε_k是参数

的限制条件，如当第二相关参数为车辆速度时，车辆速度的最大值将被算法的承受能力所限制。在上述优化过程后，可以将特征点匹配对的数量从第三数量优化为小于第三数量的第四数量，并利用所述第四数量的特征点匹配对进行后续计算，以提高系统运算效率。

在本发明实施例中，前述特征点和特征点匹配对的优化可以只取其一，也可以对特征点和特征点匹配对均进行优化。

在获得相邻两帧帧图像的特征点匹配对之后，就可以根据特征点匹配对计算运动估计矩阵，所述运动估计矩阵可以包括旋转矩阵R(3×3)和位移矩阵T(3×1)，以计算所述物体的旋转和位移。这里所用的运动估计方法可以基于四元数、RANSAC，也可以是常用的其他各种运动估计方法。

本发明实施例提供的视觉里程计算方法能够利用与特征点和特征点匹配对有关系的相关参数的训练结果自适应地调节视频图像中帧图像的特征点和特征点匹配对的数量，以缩短系统的运行时间，增加计算的精确程度，实现实时准确的视觉里程计算。

下面，参照图4来描述根据本发明实施例的视觉里程计算装置。图4示出了根据本发明实施例的视觉里程计算装置400的框图。如图4所示，视觉里程计算装置400包括检测单元410和匹配单元420。除了这两个单元以外，装置400还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的视觉里程计算装置400执行的下述操作的具体细节与在上文中参照图1-3描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。

图4中的视觉里程计算装置400的检测单元410配置为检测视频图像中帧图像的特征点。检测单元410可以首先获取视频图像，随后检测视频图像中每一帧图像的特征点。这里，视频图像可以是物体上配备的拍摄单元获取的视频图像，该视频图像用于从中获取物体的运动或移动距离。具体地，每一帧图像的特征点均可表示为F＝{f_i,i＝1,...,K}，此处K表示这一帧图像中特征点的个数。当检测单元410中用于获取视频图像的相机为立体相机时，所述帧图像也可以分别包括左右两帧的图像。

另外，检测单元410可以获取视频图像并基于预定方式检测所获取的视频图像中相邻两帧图像的特征点。在本实施例中，检测单元410进行特征点检测的预定方式可以包括例如SIFT特征、SURF特征、Harris角点等各种特征点检测方法。在检测单元410检测特征点后，可以对所检测的特征点进行描述，所采用的方法可以包括例如灰度特征、梯度特征、视差信息等各种用于特征描述的方法。

视觉里程计算装置400的匹配单元420配置为对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，其中，匹配单元420在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和/或，匹配单元420在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对。

具体地，视觉里程计算装置400还可以包括训练单元(未示出)配置为根据给定的运行时间，利用训练数据训练并获取所述特征点与所述特征点匹配对之间、所述特征点与各第一相关参数之间以及所述特征点匹配对与各第二相关参数之间的关系。当然，训练单元的训练过程可以在检测单元410检测特征点之前，也可以在此之后。由于本实施例中系统的运行时间与所检测的特征点与匹配的特征点匹配对数量直接相关，因此，训练单元可以通过预先设定的系统运行时间采用神经网络的训练方法对系统运行时间、特征点、特征点匹配对、第一相关参数以及第二相关参数之间的关系进行训练，以减少系统的运行时间，提高计算效率。具体地，训练单元首先向神经网络输入预先获取的多帧视频图像作为训练数据。随后，在给定的系统运行时间下，通过实验获取系统运行时间T与特征点数量N_point、特征点匹配对数量N_corres之间的关系T＝g(N_point,N_corres)。针对给定的系统运行时间，特征点数量和与其对应的特征点匹配对的数量将都是已知的。特征点数量N_point与特征点匹配对数量N_corres之间的关系可以表示为N_corres＝g’(N_point)。此外，在特征点匹配之前，训练单元可以根据实验获取特征点数量N_point和与其相关的第一相关参数

之间的关系

此处m＝1,2，…,M，M代表与特征点数量有关的第一相关参数的个数，第一相关参数可以为诸如滤波窗口大小、非极大值抑制窗口大小等，例如在libviso视觉里程算法中，第一相关参数可以包括margin(留白)、nms_n(非极大值抑制窗口)等参数。通过确定第一相关参数和特征点的对应关系能够使得在实现里程计算的精准计算同时所需的特征点的数量尽量少，例如，当特征点比较多时，可以通过减小滤波窗口大小和非极大值抑制窗口大小来适当减少特征点的数量，并且根据所需的实现里程精准计算需要的最少的点进行里程计算。进一步地，在训练过程中检测到特征点并对其进行匹配之后，训练单元还可以通过实验获取特征点匹配对的数量N_corres和与其相关的第二相关参数

之间的关系

此处k＝1,2,…，K，K代表与特征点匹配对数量有关的第二相关参数的个数，第二相关参数可以为诸如物体速度、转角、路面高度或坡度之类的参数。此外，第二相关参数还可以在进行特征点匹配时影响两帧视频图像的重叠面积的任意参数。

在训练单元获得上述参数之间的关系之后，匹配单元420可以根据所检测的具有第一数量的特征点以及所述特征点与各第一相关参数之间的关系，将所述特征点的数量优化为第二数量，所述第二数量小于所述第一数量。也即利用训练单元的训练结果对检测单元410检测到的特征点的数量进行优化，稀疏特征点的数量，以控制系统的运行时间。

在优化过程中，匹配单元420可以根据用于表示所述特征点分布的特征点概率密度图对所述特征点进行优化。图2中示出了基于特征点的概率密度图。如图2所示，检测单元410所检测到的特征点可以在图像中被划分为具有i行j列的多个区域，其中在区域R_i,j中的特征点概率密度p_i,j的值可以表示为区域R_i,j中特征点的数量N(p_x)除以图像中所有特征点的数量N(all)：

匹配单元420考虑上述特征点的概率密度图的约束条件map(point)，可以将在训练过程中所获取的特征点数量与第一相关参数之间的关系记为

其中，对特征点概率密度图的约束条件可以避免在本来特征点分布就已经较稀疏的图像位置处进一步过量减少特征点的数量，从而降低系统运算的准确度。由于一共具有M个与特征点相关的第一相关参数，每个第一相关参数在特征点优化中所占的权重不同，因此，优选地，匹配单元420可以调节各第一相关参数之间的权重，利用加权后的各第一相关参数对所述特征点进行优化。具体地，匹配单元420首先利用逆函数关系表示根据第一相关参数估计得到的特征点数量

随后通过解决如下优化问题得到各第一相关参数所占据的权重

并求得优化结果。也就是说，匹配单元420将使得根据前述关系估计得到的特征点数量尽量接近于根据给定系统运行时间所求得的目标特征点数量。其中，

ω_m是参数

的权重，

α_m、β_m是参数

的限制条件，限制条件用于限制第一相关参数的合理取值范围，限制条件用于限制第一相关参数的合理取值范围，如当第一相关参数为间隔采样的采样率时，采样率的最大值将受到图像大小的限制，其最小值则会受到像素间隔和图像过滤条件的限制。在上述优化过程后，匹配单元420可以将检测单元410所检测的特征点的数量从第一数量优化为小于第一数量的第二数量，并利用所述第二数量的特征点进行后续计算，以提高系统运算效率。

在对特征点的数量进行优化之后，匹配单元420可以利用调节后的特征点进行特征点匹配，当然，匹配单元420也可以直接对检测单元410检测到的特征点进行特征点匹配。匹配单元420进行特征点匹配所针对的是相邻两帧的帧图像的特征点。具体地，匹配单元420首先假设前一帧视频图像中的m个特征点集合表示为P_pre＝(p′₁,...,p′_i,...,p′_m)，其中p′_i＝(x′_i,y′_i，z′_i)，当前帧视频图像中的n个特征点集合表示为P_cur＝(p₁,...,p_j,...,p_n)，其中p_j＝(x_j,y_j，z′_j)。则可以求得前一帧图像和当前帧图像中的特征点对的差异，表示为：df(m(p′_i,p_j))，其中m(p′_i,p_j)为特征点对，特征点对的差异一般利用特征点对之间的特征向量来表示。匹配单元420进行特征点匹配时，需要选取特征点对之间的总差异最小的特征点对匹配结果，即

其中N<min(m,n)。

在匹配单元420获取特征点匹配对之后，还可以根据所匹配的具有第三数量的特征点匹配对以及所述特征点匹配对与各第二相关参数之间的关系，将所述特征点匹配对的数量优化为第四数量，所述第四数量小于所述第三数量。也即匹配单元420利用训练单元的训练结果对特征点匹配对的数量进行优化，稀疏特征点匹配对的数量，以控制系统的运行时间。

在优化过程中，匹配单元420可以根据用于表示所述特征点匹配对分布的匹配对概率密度图对所述特征点进行优化。图3中示出了基于特征点匹配对的概率密度图。如图3所示，匹配单元420匹配得到的特征点匹配对可以在图像中被划分为与图2类似的具有i行j列的多个区域，其中在区域R_i,j中的匹配对概率密度p’_i,j的值可以表示为区域R_i,j中匹配对的数量除以图像中所有特征点匹配对N(all)的数量。

此处，在考虑匹配对概率密度分布时，匹配单元420还可以进一步考虑匹配对的权重的影响，以增加计算的准确度。匹配单元420可以将匹配对的权重μ_x表示为：

其中，当与前一帧的历史信息相比，在当前帧的位于区域R_i,j中的特征点匹配对p_x属于inlier时，匹配对的权重μ_x最大，为1+C；而在当前帧的位于区域R_i,j中的特征点匹配对p_x属于outlier时，匹配对的权重μ_x最小，为1-C’，0<C,C’<1。在其他情况下，如当某个特征点匹配对第一次出现时，可赋予其权重为1。

本实施例中匹配单元420对特征点匹配对m(p′_i,p_j)属于inlier还是outlier利用如下方式判定：

其中thr为预设阈值，

为当前帧图像中的预测位置，其通过等式

获得，R、T分别为通过前一帧与当前帧匹配获得的历史信息求得的旋转矩阵和位移矩阵。

在匹配单元420确定了特征点匹配对的权重之后，则可以将区域R_i,j中的匹配对概率密度p’_i,j表示为区域R_i,j中具有不同权重μ_x的匹配对数量N_i,j的总和除以总匹配对数量N(all)：

考虑上述特征点匹配对的概率密度图的约束条件map(corres)，匹配单元420可以将在训练过程中所获取的特征点匹配对数量与第二相关参数之间的关系表示为

其中，对特征点匹配对概率密度图的约束条件可以避免在本来特征点匹配对分布就已经较稀疏的图像位置处进一步过量减少特征点匹配对的数量，从而降低系统运算的准确度。由于一共具有K个与特征点匹配对相关的第二相关参数，每个第二相关参数在优化中所占的权重不同，因此，优选地，匹配单元420可以调节各第二相关参数之间的权重，利用加权后的各第二相关参数对所述特征点匹配对进行优化。具体地，匹配单元420首先利用逆函数关系表示根据第二相关参数估计得到的特征点匹配对数量

随后通过解决如下优化问题得到各第二相关参数所占据的权重

并求得优化结果。也就是说，匹配单元420将使得根据前述关系估计得到的特征点匹配对数量尽量接近根据给定系统运行时间所求得的目标特征点匹配对数量。其中，

ω′_k是参数

的权重，

δ_k、ε_k是参数

的限制条件，如当第二相关参数为车辆速度时，车辆速度的最大值将被算法的承受能力所限制。在上述优化过程后，匹配单元420可以将特征点匹配对的数量从第三数量优化为小于第三数量的第四数量，并利用所述第四数量的特征点匹配对进行后续计算，以提高系统运算效率。

在本发明实施例中，匹配单元420对前述特征点和特征点匹配对的优化可以只取其一，也可以对特征点和特征点匹配对均进行优化。

本发明实施例的视觉里程计算装置400还可以包括估计单元(未示出)，配置为在获得相邻两帧帧图像的特征点匹配对之后，根据特征点匹配对计算运动估计矩阵，所述运动估计矩阵可以包括旋转矩阵R(3×3)和位移矩阵T(3×1)，以计算所述物体的旋转和位移。这里估计单元所用的运动估计方法可以基于四元数、RANSAC，也可以是常用的其他各种运动估计方法。

本发明实施例提供的视觉里程计算装置能够利用与特征点和特征点匹配对有关系的相关参数的训练结果自适应地调节视频图像中帧图像的特征点和特征点匹配对的数量，以缩短系统的运行时间，增加计算的精确程度，实现实时准确的视觉里程计算。

下面，参照图5来描述根据本发明实施例的视觉里程计算装置。图5示出了根据本发明实施例的视觉里程计算装置500的框图。如图5所示，该装置500可以是配备有摄像头的计算机或服务器。

如图5所示，视觉里程计算装置500包括一个或多个处理器510以及存储器520，当然，除此之外，视觉里程计算装置500还可能包括摄像头以及输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图5所示的视觉里程计算装置500的组件和结构只是示例性的，而非限制性的，根据需要，视觉里程计算装置500也可以具有其他组件和结构。

处理器510可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器中所存储的计算机程序指令以执行期望的功能，可以包括：检测视频图像中帧图像的特征点；对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，其中，在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和/或，在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对。

存储器520可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器510可以运行所述程序指令，以实现上文所述的本公开的实施例的视觉里程计算装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的视觉里程计算方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。

因此，通过使用上述实施例详细解释了本发明；然而，本领域技术人员应清楚本发明不限于在理解释的实施例。本发明在不背离由权利要求限定的本发明的范围的情况下可以被实现为校正的、修改的模式。因此，说明书的描述仅意图解释示例，并且不对本发明施加任何限制含义。

Claims (9)

1.一种视觉里程计算方法，包括：

检测视频图像中帧图像的特征点；

对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，

其中，在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和，

在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对；

其中，所述方法还包括：根据给定的运行时间，利用训练数据训练并获取所述特征点与所述特征点匹配对之间、所述特征点与各第一相关参数之间以及所述特征点匹配对与各第二相关参数之间的关系。

2.如权利要求1所述的方法，其中，所述检测视频图像中帧图像的特征点包括：

获取视频图像；

基于预定方式检测所获取的视频图像中相邻两帧图像的特征点。

3.如权利要求1所述的方法，其中，

所述根据训练过的相关参数对所述特征点进行调节还包括：根据所检测的具有第一数量的特征点以及所述特征点与各第一相关参数之间的关系，将所述特征点的数量优化为第二数量，所述第二数量小于所述第一数量；

所述根据训练过的相关参数对所述特征点匹配对进行调节还包括：根据所匹配的具有第三数量的特征点匹配对以及所述特征点匹配对与各第二相关参数之间的关系，将所述特征点匹配对的数量优化为第四数量，所述第四数量小于所述第三数量。

4.如权利要求3所述的方法，其中，

所述根据训练过的第一相关参数对所述特征点进行调节还包括：调节各第一相关参数之间的权重，利用加权后的各第一相关参数对所述特征点进行优化；

所述根据训练过的相关参数对所述特征点匹配对进行调节包括：调节各第二相关参数之间的权重，利用加权后的各第二相关参数对所述特征点匹配对进行优化。

5.如权利要求1所述的方法，其中，

所述根据训练过的第一相关参数对所述特征点进行调节还包括：根据用于表示所述特征点分布的特征点概率密度图对所述特征点进行优化；

所述根据训练过的第二相关参数对所述特征点匹配对进行调节还包括：根据表示所述特征点匹配对分布的匹配对概率密度图对所述特征点匹配对进行优化。

6.如权利要求5所述的方法，其中，

所述根据训练过的第二相关参数对所述特征点匹配对进行调节还包括：根据所述特征点匹配对的权重对所述特征点匹配对进行优化。

7.如权利要求1-6中任一项所述的方法，其中，所述方法还包括：

根据所获取的特征点匹配对计算运动估计矩阵，所述运动估计矩阵包括旋转矩阵和位移矩阵，以计算所述物体的旋转和位移。

8.一种视觉里程计算装置，包括：

检测单元，配置为检测视频图像中帧图像的特征点；

匹配单元，配置为对所述视频图像中相邻两帧的特征点进行匹配，获取特征点匹配对，以用于计算物体的运动，

其中，匹配单元在所述匹配之前根据训练过的第一相关参数对所述特征点进行调节，利用调节后的特征点进行匹配，获取所述特征点匹配对，和，

匹配单元在所述匹配之后根据训练过的第二相关参数对所述特征点匹配对进行调节，获取调节后的特征点匹配对；

其中，所述匹配单元根据给定的运行时间，利用训练数据训练并获取所述特征点与所述特征点匹配对之间、所述特征点与各第一相关参数之间以及所述特征点匹配对与各第二相关参数之间的关系。

9.如权利要求8所述的装置，其中，

所述装置还包括：训练单元，配置为根据给定的运行时间，利用训练数据训练并获取所述特征点与所述特征点匹配对之间、所述特征点与各第一相关参数之间以及所述特征点匹配对与各第二相关参数之间的关系；

所述匹配单元根据所检测的具有第一数量的特征点以及所述特征点与各第一相关参数之间的关系，将所述特征点的数量优化为第二数量，所述第二数量小于所述第一数量；根据所匹配的具有第三数量的特征点匹配对以及所述特征点匹配对与各第二相关参数之间的关系，将所述特征点匹配对的数量优化为第四数量，所述第四数量小于所述第三数量。

Images