CN106504265A - 运动估计优化方法、设备和系统 - Google Patents

Abstract

一种运动估计优化方法、设备和系统，该方法包括如下步骤：检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；匹配当前帧的特征点和先前帧的特征点；根据匹配结果来进行运动估计；根据运动估计的结果，来更新各个子特征的各自的加权系数；基于具有更新的加权系数的子特征，来进行优化的运动估计。

Description

运动估计优化方法、设备和系统

技术领域

本申请涉及数字图像处理、计算机视觉和模式识别领域，且更具体地，涉及可用于视觉里程计算的运动估计优化方法、设备和系统。

背景技术

基于运动估计的视觉里程计算算法可以通过分析机器人搭载的摄像机拍摄的画面来自动进行运动估计从而获取机器人的方位信息。该算法可以广泛使用在机器人领域，如智能汽车、无人机等。现在已经有不少相关的研究和产品，但是由于应用场景的多样性，使得该项研究仍极具挑战。

在当前常用算法中，首先提取并采用固定特征描述特征点，然而在实际中，系统将面临各种应用场景，预先固定的特征和参数可能不具备好的运行结果。

因此，需要一种可用于视觉里程计算的运动估计优化技术。

发明内容

根据本发明的一个方面，提供一种运动估计优化方法，包括如下步骤：检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；匹配当前帧的特征点和先前帧的特征点；根据匹配结果来进行运动估计；根据运动估计的结果，来更新各个子特征的各自的加权系数；

根据本发明的另一方面，提供一种运动估计优化设备，包括：检测装置，被配置为检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；匹配装置，被配置为匹配当前帧的特征点和先前帧的特征点；运动估计装置，被配置为根据匹配结果来进行运动估计；更新装置，被配置为根据运动估计的结果，来更新各个子特征的各自的加权系数；优化运动估计装置，被配置为基于具有更新的加权系数的子特征，来进行优化的运动估计。

根据本发明的再一方面，提供一种运动估计优化系统，包括：处理器；存储器，耦合于所述处理器，且在其中存储计算机可执行指令，用于在由所述处理器执行时进行如下步骤：检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；匹配当前帧的特征点和先前帧的特征点；根据匹配结果来进行运动估计；根据运动估计的结果，来更新各个子特征的各自的加权系数；基于具有更新的加权系数的子特征，来进行优化的运动估计。

本技术提出了一种有效的自适应学习视觉里程计算算法，该方法能够有效地应用与不同的场景。与传统方法相比，本技术采用一系列加权子特征描述特征点对并实时更新子特征权重。该方法能够依据当前场景选取最有效的特征描述特征点。另外，本技术同时包含优化模块，能够通过自适应学习结果优化运动估计。而且，本技术具有良好的鲁棒性和准确性。

附图说明

图1示出应用根据本发明的实施例的运动估计优化算法的硬件场景图。

图2示出根据本发明的实施例的运动估计优化算法200的简化示例模块图。

图3示出根据本发明的实施例的运动估计优化方法300的详细示例流程图。

图4示出根据本发明的实施例的运动估计优化方法中的特征点检测与描述的具体示例过程。

图5示出根据本发明的实施例的运动估计优化方法中的特征点匹配的具体示例过程。

图6示出根据本发明的实施例的运动估计优化方法中的自适应学习的具体示例过程。

图7示出根据本发明的实施例的运动估计优化方法中的优化运动估计结果的具体示例过程。

图8示出特征点的匹配对在优化过程期间的位置变化的示意图。

图9示出了根据本发明的实施例的运动估计优化设备的示例方框图。

图10示出了根据本发明的实施例的运动估计优化系统的示例方框图。

具体实施方式

现在将详细参照本技术的具体实施例，在附图中例示了本技术的例子。尽管将结合具体实施例描述本技术，但将理解，不是想要将本技术限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本技术的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本技术，下面结合附图和具体实施方式对本技术作进一步详细说明。

注意，接下来要介绍的示例仅是一个具体的例子，而不作为限制本技术的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本技术的构思来构造本说明书中未提到的更多实施例。

图1示出应用根据本发明的实施例的运动估计优化算法的硬件场景图。

如图1所示，由装载在移动机器人(智能车、无人机等)上的摄像机拍摄视频而获取视频帧。将视频输入到根据本发明的实施例的运动估计优化算法，从而获得运动估计优化结果。

在此，该摄像机可以是普通的单个摄像机以拍摄平面视频帧，也可以是双目摄像机以拍摄立体视频帧，还可以是其他摄像机、例如全向摄像机等。在拍摄平面视频帧的情况下，运动估计的结果可以是二维运动估计矩阵。而在拍摄立体视频帧的情况下，运动估计的结果可以是包括深度信息的三维运动估计矩阵。在全向摄像机拍摄360度全向视频帧的情况下，运动估计的结果可以是包括深度信息和角度信息的三维运动估计矩阵。

在以下描述中，举例地而非限制地采用双目摄像机以拍摄立体视频帧来描述示例的方法和步骤。

图2示出根据本发明的实施例的运动估计优化算法200的简化示例模块图。

如图2所示，模块210接收输入的视频帧。该视频帧图像可以由装载在移动机器人(智能车、无人机等)上的双目摄像机获取。

在模块210中，检测视频帧图像中的每个帧中的多个特征点，检测结果可以包含各个特征点的位置和特征描述。在此，特征点可以由一系列子特征的集合来描述，其中每个子特征具有自己的加权系数(或权重)。也就是说，利用一个特征的一系列子特征的加权和来作为该特征点的特征。

模块220是特征点匹配模块，该模块可以基于每个特征点的特征(即，子特征的加权和)，来匹配相邻的两帧之间的特征点对。所谓特征点对即为同一目标点在相邻两帧图像中所在的特征点的对。这是传统的运动估计过程中的已知的特征点匹配的过程。

在模块230中，根据匹配的特征点对，计算旋转矩阵和位移矩阵作为运动估计矩阵来表示摄像机的运动。可以使用任何已知的运动估计方法，例如基于四元数、随机抽样一致(RANdom SAmple Consensus，RANSAC)等。

模块240是自适应学习模块。该模块可以依据当前的运动估计结果实时更新用来描述特征点对的一系列子特征的各个加权系数。

模块250是优化模块，该模块可以依据自适应学习结果来优化运动估计矩阵，从而输出最终的优化的运动估计结果。

图3示出根据本发明的实施例的运动估计优化方法300的详细示例流程图。

如图3所示，根据本发明的实施例的运动估计优化方法300包括：步骤310，检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；步骤320，匹配当前帧的特征点和先前帧的特征点；步骤330，根据匹配结果来进行运动估计；步骤340根据运动估计的结果，来更新各个子特征的各自的加权系数；步骤350，基于具有更新的加权系数的子特征，来进行优化的运动估计。

如此，通过用各自具有各自的加权系数的多个子特征来描述视频帧中的所有特征点，使得为每个子特征分配权重或重要程度，并根据实时运动估计的结果来实时更新各个子特征的加权系数以调整各个子特征的权重或重要程度，从而利用更新的加权系数来得到调整后的重要程度以得到更优化的运动估计结果，能够使得更准确地估计摄像机的运动情况，从而可以进行多种应用。并且，随着视频帧的不断拍摄和更新与优化的不断进行，可以自适应地不断优化运动估计结果，从而自动地使得运动估计结果越来越接近于真实的运动情况。

图4示出根据本发明的实施例的运动估计优化方法中的特征点检测与描述模块240的特征点检测与描述步骤340的具体示例过程。

在步骤341中，接收输入的摄像机采集的连续的视频帧图像，并对每一个视频帧图像，检测多个特征点。在此，可以使用任何已知的或未来出现的用于特征点检测的方法，例如尺度不变特征变换(Scale-invariant featuretransform，SIFT)特征、加速稳健(Speeded Up Robust Features,SURF)特征、Harris角点等。

在步骤342中，用具有各自的加权系数ω_k的多个子特征f_k的集合作为特征F来描述每个特征点，其中F＝{ω_kf_k,i＝1,…,K}。在这里K表示子特征的个数。可以使用任何已知的或未来出现的用于特征描述的方法作为本申请中的子特征描述的方法，例如彩色特征、灰度特征、梯度特征、视差信息等等。

然后，输出特征点检测的位置和描述结果，包括每个视频帧中的每个特征点的位置和对应于每个特征点的具有各自的加权系数ω_k的多个子特征f_k的集合的特征F。

在此，为了进行稍后的特征点匹配，至少得到(优选地，相邻的)两个视频帧的特征点检测的位置和描述结果。

图5示出根据本发明的实施例的运动估计优化方法中的特征点匹配的具体示例过程。

特征点匹配的过程是为了在当前帧中找到先前帧中的特征点的当前位置，在先前帧中的物体(例如皮球)运动到当前帧中的什么位置处。也就是说，希望能找到两帧中的基本相同的特征点作为特征点匹配对。为了寻找基本相同的特征点，可以先用特征来描述各个特征点，然后通过比较找到具有基本相同的特征的特征点对作为匹配对。而在本申请中，利用一系列子特征及其加权系数来作为上述特征。如前所述，子特征可以包括灰度特征、彩色特征、梯度特征等等，在此不详述。

具体地，在步骤321中，接收输入的(优选地，相邻的)两个视频帧中的特征点检测和其描述的结果，如上所述，其包括了两个视频帧的每个特征点的位置和对应于每个特征点的具有各自的加权系数ω_k的多个子特征fk的集合的特征F。在步骤321中，基于特征点检测和其描述的结果，还计算两个视频帧之间的不同特征点对在特征上的差异。

在此，将前一帧视频图像中的第i个特征点表示p′_i为：

p′_i＝(x′_i,y′_i,z′_i) ……公式(1)

其中，x′_i表示该第i个特征点的x轴方向的坐标值，y′_i表示该第i个特征点的y轴方向的坐标值，z′_i表示该第i个特征点的z轴方向的坐标值。i是小于或等于m的正整数。m是正整数。在此例子中，该特征点是用三维表示的，当然这仅是示例，实际上也可以取决于摄像机的属性而采用其他维度来表示该特征点，在此不一一举例。

将当前帧视频图像中的第j个特征点p_j表示为：

p_j＝(x_j,y_j,z_j) ……公式(2)

其中，x_j表示该第j个特征点的x轴方向的坐标值，y_j表示该第j个特征点的y轴方向的坐标值，z_j表示该第j个特征点的z轴方向的坐标值。j是小于或等于n的正整数。n是正整数。

将前一帧中的特征点的集合P_pre和当前帧中的特征点的集合P_cur分别表示为：

P_pre＝(p′₁,…,p′_i,…,p′_m) ……公式(3)

P_cur＝(p₁,…,p_j,…,p_n) ……公式(4)

将两帧之间的特征点对(p′_i,p_j)的在特征上的差异df(m(p′_i,p_j))表示为：

……公式(5)

其中，如前所述，用多个(在此，为K个)子特征(具有各自的加权系数ω_k)来作为特征。特征点对在第k个子特征上的差异表示为df_k(m(p′_i,p_j))。k、K都是正整数。其中，m(p′_i,p_j)表示p′_i,p_j是一对匹配对。注意，df(m(p′_i,p_j))可以表示前一帧的特征点p′_i的特征的值与当前帧的特征点p_j的该特征的值的差。同理，df_k(m(p′_i,p_j))可以表示前一帧的特征点p′_i的第k个子特征的值与当前帧的特征点p_j的该第k个子特征的值的差。通过第k个子特征的加权系数ω_k来给第k个子特征分配权重或重要程度。

在此，

在步骤322中，依据得到的两帧之间的特征点对的差异，选取最优的特征点对的匹配结果。选取最优的特征点对的匹配结果的方法可以包括选取总差异最小的特征点对的匹配结果(因为如前所述，为了寻找具有基本相同的特征的特征点)，如以下公式所表述：

……公式(6)

其中，N表示匹配上的特征点对的数量。

当然，选取总差异最小的特征点对的方法不限于上述公式，而在其他实施例中也可以采用例如已知的最小均方差法、最小平均绝对值误差法等。

然后，输出特征点对的匹配结果，可以被表示为：

……公式(7)

在图2和图3所示的模块230和步骤330中，基于两帧之间的特征点对的匹配结果，可以通过当前帧的匹配的各个特征点与先前帧的匹配的各个特征点之间的相对旋转和位移来进行运动估计，以得到两帧之间的整体的旋转矩阵R和位移矩阵t。

在此，可以利用各种已知的运动估计算法来进行运动估计，常见的运动估计算法是已知的RANSAC、四元数方法等。由于基于两帧之间的匹配的特征点来估计运动矩阵(例如，在三维的情况下，包括旋转矩阵和位移矩阵)是视频处理的基础知识，因此以下仅简略描述运动估计算法的简单步骤，而不详述具体细节。

运动估计结果可以包括旋转矩阵(Rotation matrix)

以及平移矩阵(Translation vector)

通过两帧之间的特征点匹配对，可以求得最终的R,t值。已知有很多种方法，包括RANSAC、四元数方法等。举例来说：可以通过最小化投影误差求得R,t，如下公式表示。

在例如RANSAC策略下，每次选取n个点，采用高斯牛顿优化方法获得一组R,t，然后将这一结果带入到每一个匹配对中，得到最多适格匹配对(inlier)的即为最优R,t结果。

图6示出根据本发明的实施例的运动估计优化方法中的自适应学习的具体示例过程。

利用图5所述的方式选取特征的总差异最小的特征点对也可能包括错误的特征点对，因为由于噪声、光线、遮挡等原因，可能错误地导致不应该是匹配的特征点的特征之间的差异也小。因此，为了优化运动估计而得到更准确的运动估计结果，可以首先筛选较为正确的特征点对(作为适格匹配对)，而排除可能错误的特征点对。

具体地，在步骤341中，接收输入的相邻视频帧中的特征点匹配对以及运动估计的结果、运动估计矩阵(在该例子中，旋转矩阵R和位移矩阵t)，然后，依据接收的当前的运动估计结果、即运动估计矩阵来获取所有符合该当前的运动估计结果的特征点对，称为适格匹配对(或inliers)，否则为不适格匹配对(或outlier)。

具体地，在一个实施例中，关于每一对特征点对m(p′_i,p_j),对于(先前帧的)特征点p′_i，可以通过当前的运动估计结果(即旋转矩阵R和位移矩阵t)来预测其在当前帧中的位置

……公式(8)

通过如下公式来判断该特征点对m(p′_i,p_j)属于适格匹配对(或inliers)还是不适格匹配对(或outlier)(利用thr作为判断阈值)：

……公式(9)

其中，表示当前帧中的特征点的实际位置p_j与先前帧中的特征点p′_i在当前帧中的计算的位置之间的距离。在例如三维的情况下，该距离可以是空间上的距离。

也就是说，每对匹配对中的当前帧中的特征点的实际位置p_j与利用运动估计的结果而预测的先前帧中的特征点p′_i在当前帧中的计算的位置较近(小于一个距离阈值)，则表示该对匹配对更符合运动估计的结果。因此，通过筛选作为更符合运动估计的结果的匹配对作为适格匹配对，而排除了更不符合运动估计的结果的更可能是错误的匹配对，来进行后续的子特征的加权系数的更新，从而争取得到更为准确的更新结果。

在步骤342中,计算每一对适格匹配对(inlier)在每一个子特征上的差异。

例如，适格匹配对m(p′_i,p_j)在第k个子特征f_k上的差异可以被计算为：

……公式(10)

这里，

……公式(11)

上述公式是对适格匹配对中的先前帧的特征点p′_i的第k个子特征的第一值f_k(p′_i)和适格匹配对中的当前帧的特征点p_j的第k个子特征的第二值f_k(p_j)之间的差值df_k(m(p′_i,p_j))进行归一化，得到与该差值相关的上述差异。

如此，所有适格匹配对在第k个子特征f_k上的差异的集合M(P_pre,P_cur)可以被计算为：

……公式(12)

在步骤343中，计算每一个子特征的加权系数调整量，例如，第k个子特征f_k的加权系数调整量Δω_k为：

Δω_k(M(P_pre,P_cur))＝F(df_k(M(P_pre,P_cur))

……公式(13)

F(df_k(M(P_pre,P_cur))可以是各种函数。通常，F(df_k(M(P_pre,P_cur))可以被设置为使得如下的函数，即，使得所计算的差异df_k(M(P_pre,P_cur)越大，将加权系数ω_k调整为越小(即，Δω_k为绝对值越大的负数)，且所计算的差异df_k(M(P_pre,P_cur)越小，将加权系数ω_k调整为越大(即，Δω_k为绝对值越大的正数)。在本例子中，例如，可以设置但这仅是示例，在其他例子中，也可以设置为满足上述条件的其他函数。

在步骤344中，利用计算的调整量Δω_k，来将当前的第k个子特征的加权系数ω_k(t-1)调整为：

ω_k(t)＝ω_k(t-1)+Δω_k(M(P_pre,P_cur))

……公式(14)

如此，所计算的差异df_k(M(P_pre,P_cur)越大，将加权系数ω_k调整为越小，且所计算的差异df_k(M(P_pre,P_cur)越小，将加权系数ω_k调整为越大。

这是因为，通常认为适格匹配对中的两个特征点在子特征上的值应该是接近的、甚至是相同的，因为准确的匹配对应该表示的是同一物体，而同一物体在某一子特征上的值应该是相同或接近的，因此，如果针对适格的匹配对计算的某一子特征的值的差异越大，则认为该子特征越不适合描述该物体(或该匹配对中的两个特征点)，因此，该子特征的权重或重要程度应该越低，因此，将该子特征的加权系数调整为越小；而如果针对适格的匹配对计算的某一子特征的值的差异越小，则认为该子特征越适合描述该物体(或该匹配对中的两个特征点)，因此，该子特征的权重或重要程度应该越高，因此，将该子特征的加权系数调整为越大。

然后，输出自适应学习的结果(包括具体地，更新后的子特征的加权系数)。

如此，自适应地根据当前的运动估计结果来调整子特征的加权系数，可以使得子特征的加权系数不断地更准确地反映该子特征的权重或重要程度，从而随着视频帧的不断拍摄和运动估计的不断进行，可以自适应地调整得到更准确的子特征的加权系数，从而自动地使得利用各个子特征的加权和进行的运动估计的结果越来越接近于真实的运动情况。

图7示出根据本发明的实施例的运动估计优化方法中的优化运动估计结果的具体示例过程。

在步骤351中，接收输入的匹配得到的特征点对集合(详见步骤322)和自适应学习得到的更新后的子特征加权系数(详见步骤344)。然后，对匹配对m(p′_i,p_j)(在本例中，优选地，适格匹配对(inliers)),依据更新后的子特征加权系数来重新进行特征点匹配过程(详见步骤321和322)，从而调整p_j的匹配点p′_i的位置，得到优化后的匹配对m(p′_i,p_j)(如图8所示)。图8示出特征点的匹配对在优化过程期间的位置变化的示意图。

当然，图8仅示意地绘出了对先前帧中的匹配点p′_i的位置调整，但是，在其他例子中，也可以对当前帧中的匹配点p_j的位置进行调整。

在步骤352中，依据当前选择的适格匹配对(inliers)重新计算运动估计矩阵作为优化的运动估计结果。

如此，输出新的优化后的运动估计结果。

注意，在此，仅对适格匹配对进行上述优化操作，可以排除可能错误的匹配对的不良影响，而获得有优良的运动估计结果。

如此，通过用各自具有各自的加权系数的多个子特征来描述视频帧中的所有特征点，使得为每个子特征分配权重或重要程度，并根据实时运动估计的结果来实时更新各个子特征的加权系数以调整各个子特征的权重或重要程度，从而利用更新的加权系数来得到调整后的重要程度以得到更优化的运动估计结果，能够使得更准确地估计摄像机的运动情况，从而可以进行多种应用。并且，随着视频帧的不断拍摄和更新与优化的不断进行，可以自适应地不断更新和优化运动估计结果，从而自动地使得运动估计结果越来越接近于真实的运动情况。通过根据优化的匹配特征点对获得的重新进行的运动估计的结果，可以估计用于拍摄视频图像的摄像机的运动信息，进而估计搭载摄像机的无人机、车辆等的运动轨迹，以进行各种实际应用。

图9示出了根据本发明的实施例的运动估计优化设备900的示例方框图。

如图9所示的运动估计优化设备900包括：检测装置901，被配置为检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；匹配装置902，被配置为匹配当前帧的特征点和先前帧的特征点；运动估计装置903，被配置为根据匹配结果来进行运动估计；更新装置904，被配置为根据运动估计的结果，来更新各个子特征的各自的加权系数；优化运动估计装置905，被配置为基于具有更新的加权系数的子特征，来进行优化的运动估计。

在一个实施例中，所述更新装置904可以被配置为：根据运动估计的结果，选择符合该运动估计的结果的当前帧的特征点和先前帧的特征点的匹配对作为适格匹配对；计算所述适格匹配对在各个子特征上的差异；根据所计算的差异，确定各个子特征的加权系数的调整量；根据所述调整量，来更新各个子特征的各自的加权系数。

在一个实施例中，更新装置904进行的所述根据运动估计的结果，选择符合该运动估计的结果的当前帧的特征点和先前帧的特征点的匹配对作为适格匹配对的步骤可以包括：对于先前帧的特征点，根据该运动估计的结果来预测其在当前帧中的位置；计算所述预测的位置与当前帧的特征点的实际位置的距离；选择所计算的距离小于预定阈值的、当前帧的特征点和先前帧的特征点的匹配对作为适格匹配对。

在一个实施例中，更新装置904进行的所述计算所述适格匹配对在各个子特征上的差异的步骤可以包括：计算所述适格匹配对中的先前帧的特征点的子特征的第一值；计算所述适格匹配对中的当前帧的特征点的子特征的第二值；计算所述适格匹配对在各个子特征上的差异，其中，所述差异与第一值和第二值的差值相关。

在一个实施例中，更新装置904进行的所述根据所计算的差异，确定各个子特征的加权系数的调整量的步骤可以包括：确定加权系数的调整量，使得所计算的差异越大，将加权系数调整为越小，且所计算的差异越小，将加权系数调整为越大。

在一个实施例中，该设备900还可以根据优化的运动估计的结果，通过视觉里程计算，来估计用于拍摄视频图像的摄像机的运动信息。

在一个实施例中，视频图像可以是立体视频图像。

如此，通过用各自具有各自的加权系数的多个子特征来描述视频帧中的所有特征点，使得为每个子特征分配权重或重要程度，并根据实时运动估计的结果来实时更新各个子特征的加权系数以调整各个子特征的权重或重要程度，从而利用更新的加权系数来得到调整后的重要程度以得到更优化的运动估计结果，能够使得更准确地估计摄像机的运动情况，从而可以进行多种应用。并且，随着视频帧的不断拍摄和更新与优化的不断进行，可以自适应地不断更新和优化运动估计结果，从而自动地使得运动估计结果越来越接近于真实的运动情况。通过根据优化的匹配特征点对获得的重新进行的运动估计的结果，可以估计用于拍摄视频图像的摄像机的运动信息，进而估计搭载摄像机的无人机、车辆等的运动轨迹，以进行各种实际应用。

图10示出了根据本发明的实施例的运动估计优化系统1000的示例方框图。

运动估计优化系统1000可以包括处理器(H1)；存储器(H2)，耦合于所述处理器(H1)，且在其中存储计算机可执行指令，用于在由所述处理器执行时进行如图3所示的方法的步骤：检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；匹配当前帧的特征点和先前帧的特征点；根据匹配结果来进行运动估计；根据运动估计的结果，来更新各个子特征的各自的加权系数；基于具有更新的加权系数的子特征，来进行优化的运动估计。

处理器(H1)可以包括但不限于例如一个或者多个处理器或者或微处理器等。

存储器(H2)可以包括但不限于例如，随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、软碟、固态硬盘、可移动碟、CD-ROM、DVD-ROM、蓝光盘等。

除此之外，运动估计优化系统1000还可以包括数据总线(H3)、输入/输出(I/O)总线(H4)，显示器(H5)以及输入/输出设备(H6)(例如，键盘、鼠标、扬声器等)等。

处理器(H1)可以通过I/O总线(H4)经由有线或无线网络(未示出)与外部设备(H5、H6等)通信。

存储器(H2)还可以包括至少一个指令，在由处理器(H1)执行时实施本技术的各实施例的各个功能或方法的步骤。

存储器(H2)还可以存储至少一个计算机可执行指令，用于在由处理器(H1)执行时本技术所描述的实施例中的各个功能和/或方法的步骤。

当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本技术的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本技术的效果，这种合并和组合而成的实施例也被包括在本技术中，在此不一一描述这种合并和组合。

注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本技术的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本技术的范围内。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于硬件的电路、专用集成电路(ASIC)或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种运动估计优化方法，包括如下步骤：

检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；

匹配当前帧的特征点和先前帧的特征点；

根据匹配结果来进行运动估计；

根据运动估计的结果，来更新各个子特征的各自的加权系数；

基于具有更新的加权系数的子特征，来进行优化的运动估计。

2.根据权利要求1所述的方法，其中，所述根据运动估计的结果，来更新各个子特征的各自的加权系数的步骤包括：

根据运动估计的结果，选择符合该运动估计的结果的当前帧的特征点和先前帧的特征点的匹配对作为适格匹配对；

计算所述适格匹配对在各个子特征上的差异；

根据所计算的差异，确定各个子特征的加权系数的调整量；

根据所述调整量，来更新各个子特征的各自的加权系数。

3.根据权利要求2所述的方法，其中，所述根据运动估计的结果，选择符合该运动估计的结果的当前帧的特征点和先前帧的特征点的匹配对作为适格匹配对的步骤包括：

对于先前帧的特征点，根据该运动估计的结果来预测其在当前帧中的位置；

计算所述预测的位置与当前帧的特征点的实际位置的距离；

选择所计算的距离小于预定阈值的、当前帧的特征点和先前帧的特征点的匹配对作为适格匹配对。

4.根据权利要求2所述的方法，其中，所述计算所述适格匹配对在各个子特征上的差异的步骤包括：

计算所述适格匹配对中的先前帧的特征点的子特征的第一值；

计算所述适格匹配对中的当前帧的特征点的子特征的第二值；

计算所述适格匹配对在各个子特征上的差异，其中，所述差异与第一值和第二值的差值相关。

5.根据权利要求2所述的方法，其中，所述根据所计算的差异，确定各个子特征的加权系数的调整量的步骤包括：

确定加权系数的调整量，使得所计算的差异越大，将加权系数调整为越小，且所计算的差异越小，将加权系数调整为越大。

6.根据权利要求1所述的方法，其中，随着视频图像的连续帧的继续，自适应地进行运动估计的优化。

7.根据权利要求1所述的方法，还包括：

根据优化的运动估计的结果，通过视觉里程计算，来估计用于拍摄视频图像的摄像机的运动信息。

8.根据权利要求1所述的方法，其中，所述视频图像是立体视频图像。

9.一种运动估计优化设备，包括：

检测装置，被配置为检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；

匹配装置，被配置为匹配当前帧的特征点和先前帧的特征点；

运动估计装置，被配置为根据匹配结果来进行运动估计；

更新装置，被配置为根据运动估计的结果，来更新各个子特征的各自的加权系数；

优化运动估计装置，被配置为基于具有更新的加权系数的子特征，来进行优化的运动估计。

10.一种运动估计优化系统，包括：

处理器；

存储器，耦合于所述处理器，且在其中存储计算机可执行指令，用于在由所述处理器执行时进行如下步骤：

检测视频图像中的当前帧的特征点和先前帧的特征点，其中，特征点用多个子特征来描述，且每个子特征具有各自的加权系数；

匹配当前帧的特征点和先前帧的特征点；

根据匹配结果来进行运动估计；

根据运动估计的结果，来更新各个子特征的各自的加权系数；

基于具有更新的加权系数的子特征，来进行优化的运动估计。