CN110706257A - 有效特征点对的识别方法、相机状态的确定方法及装置 - Google Patents

Abstract

本发明提供了一种有效特征点对的识别方法、相机状态的确定方法及装置，该方法包括：获取待识别的多组初始特征点对；对于每组初始特征点对中的第一实际特征点，基于预先获取的目标相机的运动模型确定第二图像上与该第一实际特征点匹配的第二理论特征点；根据每个第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对；将除匹配错误的初始特征点对之外的其余初始特征点对确定为第一图像和第二图像之间的有效特征点对。本发明可以提高有效特征点对的识别准确率，有助于进一步提升相机运动估计的可靠性。

Description

有效特征点对的识别方法、相机状态的确定方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种有效特征点对的识别方法、相机状态的确定方法及装置。

背景技术

相机运动估计是机器视觉领域的重要基础，可以将相机运动估计应用于诸如视觉拼接系统、相机标定系统、视觉定位系统或SLAM(simultaneous localization andmapping，同步定位与建图)系统等多种应用系统中，上述应用系统的性能直接依赖于诸如相机位姿参数等相机运动估计结果。目前，在基于相机图像做相机运动估计时，通常是对相机采集到的相邻帧图像做特征匹配处理得到特征点对，进而在特征点对的基础上计算相机位姿参数等相机运动估计结果。

但是现有的特征匹配处理过程大多存在匹配错误的情况，导致得到的特征点对中存在一定量的错误特征点对，致使相机运动估计结果的可靠性较差，因此为了保障相机运动估计结果的可靠性，从特征点对中识别出有效特征点对至关重要。然而现有技术无法准确有效的从特征匹配处理得到的特征点对中识别出有效特征点对，在一定程度上影响了相机运动估计的可靠性。

发明内容

有鉴于此，本发明的目的在于提供一种有效特征点对的识别方法、相机状态的确定方法及装置，可以提高有效特征点对的识别准确率，有助于进一步提升相机运动估计的可靠性。

第一方面，本发明实施例提供了一种有效特征点对的识别方法，包括：获取待识别的多组初始特征点对；其中，所述初始特征点对是对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的；每组所述初始特征点对均包括所述第一图像的第一实际特征点以及所述第二图像的第二实际特征点；对于每组所述初始特征点对中的第一实际特征点，基于预先获取的所述目标相机的运动模型确定所述第二图像上与该第一实际特征点匹配的第二理论特征点；根据每个所述第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对；将除所述匹配错误的初始特征点对之外的其余所述初始特征点对确定为所述第一图像和所述第二图像之间的有效特征点对。

进一步，所述获取待识别的多组初始特征点对的步骤，包括：通过特征检测算法对所述第一图像和所述第二图像进行特征点检测，得到所述第一图像的多个第一实际特征点和所述第二图像的多个第二实际特征点；通过特征匹配算法对多个所述第一实际特征点和多个所述第二实际特征点进行特征匹配处理，得到多组匹配特征点对；将得到的所述多组匹配特征点对作为待识别的初始特征点对。

进一步，所述第一图像的采集时刻为第一时刻，所述第二图像的采集时刻为第二时刻；所述方法还包括：获取所述目标相机在所述第一时刻的第一实际相机位姿和第一运动状态参数；所述对于每组所述初始特征点对中的第一实际特征点，基于预先获取的所述目标相机的运动模型确定所述第二图像上与该第一实际特征点匹配的第二理论特征点的步骤，包括：根据预先获取的所述目标相机的运动模型、所述第一运动状态参数和所述第一实际相机位姿，确定所述目标相机在所述第二时刻的第二预估相机位姿；对于每组所述初始特征点对中的第一实际特征点，根据所述第二预估相机位姿确定所述第二图像上与该第一实际特征点匹配的第二理论特征点。

进一步，所述根据每个所述第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对的步骤，包括：对于每个所述第一实际特征点，判断该第一实际特征点对应的第二实际特征点与第二理论特征点之间的位置差值是否大于预设误差阈值，如果是，确定该第一实际特征点所在的初始特征点对匹配错误。

进一步，所述方法还包括：删除所述匹配错误的初始特征点对，保留所述有效特征点对。

第二方面，本发明实施例还提供一种相机状态的确定方法，包括：获取所述目标相机在第一时刻采集的第一图像和所述目标相机在第二时刻采集的第二图像；采用第一方面提供的任一项所述的方法，得到所述第一图像和所述第二图像之间的有效特征点对；基于所述有效特征点对确定所述目标相机在所述第二时刻的相机状态。

进一步，所述相机状态包括实际相机位姿；所述基于所述有效特征点对确定所述目标相机在所述第二时刻的相机状态的步骤，包括：基于所述有效特征点对以及预先获取的所述目标相机的成像模型，确定所述目标相机在所述第二时刻的实际相机位姿。

进一步，所述相机状态还包括相机运动参数；所述基于所述有效特征点确定所述目标相机在所述第二时刻的相机状态的步骤，还包括：根据所述有效特征点对、预先获取的所述目标相机的成像模型和所述目标相机在所述第二时刻的实际相机位姿，确定所述有效特征点对中第二实际特征点在所述第二图像中的世界坐标；根据所述有效特征点对中第二实际特征点在所述第二图像中的世界坐标以及预先获取的所述目标相机的运动模型，确定所述目标相机在所述第二时刻的相机运动参数。

第三方面，本发明实施例提供了一种有效特征点对的识别装置，包括：点对获取模块，用于获取待识别的多组初始特征点对；其中，所述初始特征点对是对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的；每组所述初始特征点对均包括所述第一图像的第一实际特征点以及所述第二图像的第二实际特征点；理论特征点确定模块，用于对于每组所述初始特征点对中的第一实际特征点，基于预先获取的所述目标相机的运动模型确定所述第二图像上与该第一实际特征点匹配的第二理论特征点；错误点对识别模块，用于根据每个所述第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对；有效点对确定模块，用于将除所述匹配错误的初始特征点对之外的其余所述初始特征点对确定为所述第一图像和所述第二图像之间的有效特征点对。

第四方面，本发明实施例提供了一种相机状态的确定装置，包括：图像获取模块，用于获取所述目标相机在第一时刻采集的第一图像和所述目标相机在第二时刻采集的第二图像；有效点对获取模块，用于采用第一方面提供的任一项所述的方法，得到所述第一图像和所述第二图像之间的有效特征点对；相机状态确定模块，用于基于所述有效特征点对确定所述目标相机在所述第二时刻的相机状态。

第五方面，本发明实施例提供了一种电子设备，包括处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供任一项所述的方法，或者执行如第二方面提供所述的方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面提供任一项所述的方法的步骤，或者执行上述第一方面提供任一项所述的方法的步骤。

本发明实施例提供的上述有效特征点对的识别方法及装置，通过获取对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的多组待识别的初始特征点对(每组初始特征点对均包括第一图像的第一实际特征点以及第二图像的第二实际特征点)，对于每组初始特征点对中的第一实际特征点，均基于预先获取的目标相机的运动模型确定第二图像上与该第一实际特征点匹配的第二理论特征点，从而基于每个第一实际特征点对应的第二实际特征点与理论特征点识别出匹配错误的初始特征点对，将识别得到的匹配错误的初始特征点对以外的初始特征点对确定为第一图像和第二图像之间的有效特征点对。上述方式基于目标相机的运动模型计算出与第一实际特征点匹配的第二理论特征点，第二理论特征点通常更符合目标相机的运动规律，可更准确地体现出第一图像中的第一实际特征点在第二图像中应该成像的位置，从而基于应该成像的第二理论特征点以及通过特征匹配得到的第二实际特征点可以更为准确地识别出匹配错误的特征点对，进而得到准确率较高的有效特征点对。

本发明实施例提供的上述相机状态的确定方法及装置，首先获取目标相机在第一时刻采集的第一图像和在第二时刻采集的第二图像，并基于上述有效特征点对的识别方法得到第一图像和第二图像之间的有效特征点对，最终基于有效特征点对确定该目标相机在第二时刻的相机状态。本发明实施例通过上述有效特征点对的识别方法可以得到第一图像和第二图像之间准确率较高的有效特征点对，进而采用准确率较高的有效特征点可以较为准确地确定出第二时刻的相机状态，有效提升了相机运动估计的可靠性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明实施例提供的一种有效特征点对的识别方法的流程示意图；

图3为本发明实施例提供的一种相机状态的确定方法的流程示意图；

图4为本发明实施例提供的另一种相机状态的确定方法的流程示意图；

图5为本发明实施例提供的一种相机状态的迭代更新示意图；

图6为本发明实施例提供的一种有效特征点对的识别装置的结构示意图；

图7为本发明实施例提供的一种相机状态的确定装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，诸如视觉拼接系统、相机标定系统、视觉定位系统、SLAM系统或多相机的全景相机等应用系统的性能表现依赖于相机运动估计的实时性、准确性、可靠性以及鲁棒性，相机运动估计得到的相机位姿参数会直接影响上述应用系统的运行结果。其中，视觉拼接系统可基于图像拼接技术和相机运动估计将多张有重叠部分的图像拼成一张无缝的全景图像或高分辨率图像；相机标定系统大多应用于配置有多摄像头的智能手机或全景相机等设备；视觉定位系统可应用于视觉机器人或自动驾驶车辆等；SLAM系统用于在机器人移动过程中，基于相机运动估计得到机器人的相机位姿以及绘制机器人当前所处场景的地图。

但是在将相机运动估计应用于实际场景中时，由于受光照条件、天气、相机运动类型、相机传感器信噪比水平等因素的影响，使得相机拍摄得到的相邻帧图像存在较大的质量变化，进而增加了特征匹配处理的难度，无论是基于稀疏特征匹配对相邻帧图像中的重叠区域的特征点进行匹配搜索，还是基于稠密光流匹配对相邻帧图像中所有特征点进行光流计算，得到的特征点对中仍然存在匹配错误的特征点对。针对上述特征匹配处理的固有缺陷，现有技术中提出一种随机采样一致性(RANSAC，Random Sample Consensus)技术对特征匹配处理得到特征点对进行匹配误差处理，但是RANSAC技术的使用条件较为苛刻，仅适用于错误特征点对在所有特征点对中所占比例较小，然而现有的特征匹配处理得到的特征点对难以满足这一使用条件，实际应用中特征匹配结果大多存在大量的错误特征点对，因此即使通过RANSAC技术对特征匹配处理得到的特征点对进行处理，仍无法得到准确率较高的有效特征点。

为了改善上述问题，本发明实施例提供了一种有效特征点对的识别方法、相机状态的确定方法及装置，该技术可应用于任何需要对有效特征点对进行识别或需要应用有效特征点对进行后续处理的场景，诸如应用于需要特征点对来计算相机位姿参数等相机运动估计场景，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的一种有效特征点对的识别方法、相机状态的确定方法及装置的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的有效特征点对的识别方法、相机状态的确定方法及装置的示例电子设备可以被实现为诸如相机、智能手机、平板电脑、计算机、视觉机器人等任何具有处理能力的设备上。

实施例二：

参见图2所示的一种有效特征点对的识别方法的流程示意图，该方法主要包括步骤S202至步骤S208：

步骤S202，获取待识别的多组初始特征点对。

初始特征点对是对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的，每组初始特征点对均包括第一图像的第一实际特征点以及第二图像的第二实际特征点。在一些实施方式中，第一图像和第二图像可以为目标相机先后采集的相邻帧图像，也可以为目标相机在按照预设间隔先后采集的图像，通过对第一图像和第二图像进行特征点匹配即可得到多组初始特征点对。例如对采集到的第一图像和第二图像依次进行特征提取处理、特征描述处理和特征匹配处理，从而得到多组初始特征点对，且每组初始特征点对均包括相匹配的第一图像中第一实际特征点和第二图像中第二实际特征点，其中，实际特征点也即通过特征提取处理提取得到的图像中真实存在的特征点。

步骤S204，对于每组初始特征点对中的第一实际特征点，基于预先获取的目标相机的运动模型确定第二图像上与该第一实际特征点匹配的第二理论特征点。

其中，运动模型可以理解为目标相机在移动过程中所依赖的运动规律，或理解为目标相机运动时所满足的物理模型，用于描述目标相机在一段时间内位移轨迹的变化，诸如机器人、车辆或拼接系统等应用系统中的运动模型指该应用系统中各相机间的相对位置变化，在实际应用中可基于目标相机的应用场景设置相应的运动模型，应用场景包括但不限于：1)固定相机支架的视频拼接系统；2)多相机的全景相机；3)手机多摄的相机标定系统；4)视觉机器人中的视觉定位系统；5)自动驾驶中视觉定位系统。可以理解的是，每种应用场景都对应有相应的相机运动模型，在具体实施时可以直接基于目标相机的应用场景获取相应的相机运动模型，也可以基于目标相机的应用场景确定目标相机在移动过程中的运动规律，从而建立相应的运动模型。可以理解的是，第二理论特征点并非是通过对第二图像进行特征提取处理得到的，而是基于理论计算得到的特征点。在一种实施方式中，基于预先获取的目标相机的运动模型预估出目标相机在采集第二图像时的相机位姿，并根据预估得到的相机位姿计算与第一实际特征点对应的第二理论特征点。

步骤S206，根据每个第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对。

考虑到经特征匹配处理得到的初始特征点对可能存在误差，也即初始特征点对中存在匹配错误的特征点对，因此需要对匹配错误的初始特征点对进行识别。在一种实施方式中，可以计算第二实际特征点与第二理论特征点之间的差值，若第二实际特征点与第二理论特征点之间的差值大于预设误差阈值，则将该第二实际特征点所属的初始特征点对确定为匹配错误的初始特征点对。

步骤S208，将除匹配错误的初始特征点对之外的其余初始特征点对确定为第一图像和第二图像之间的有效特征点对。

在识别出匹配错误的初始特征点对之后，将匹配错误的初始特征点对剔除，余下的初始特征点对即为有效特征点对。当然，有效特征点对也可以理解为差值小于预设误差阈值的第二实际特征点所属的初始特征点对。

本发明实施例提供的上述有效特征点对的识别方法，通过获取对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的多组待识别的初始特征点对(每组初始特征点对均包括第一图像的第一实际特征点以及第二图像的第二实际特征点)，对于每组初始特征点对中的第一实际特征点，均基于预先获取的目标相机的运动模型确定第二图像上与该第一实际特征点匹配的第二理论特征点，从而基于每个第一实际特征点对应的第二实际特征点与理论特征点识别出匹配错误的初始特征点对，将识别得到的匹配错误的初始特征点对以外的初始特征点对确定为第一图像和第二图像之间的有效特征点对。上述方式基于目标相机的运动模型计算出与第一实际特征点匹配的第二理论特征点，第二理论特征点通常更符合目标相机的运动规律，可更准确地体现出第一图像中的第一实际特征点在第二图像中应该成像的位置，从而基于应该成像的第二理论特征点以及通过特征匹配得到的第二实际特征点可以更为准确地识别出匹配错误的特征点对，进而得到准确率较高的有效特征点对。

为便于对上述步骤S202进行理解，本发明实施例提供了一种上述步骤S202的具体实现方式，参见如下步骤一至步骤三：

步骤一，通过特征检测算法对第一图像和第二图像进行特征点检测，得到第一图像的多个第一实际特征点和第二图像的多个第二实际特征点。在具体实现时，可以通过特征点检测算法分别检测第一图像和第二图像中的全局特征点和/或局部特征点，以得到第一图像的多个第一实际特征点和第二图像中的多个第二实际特征点。其中，特征检测算法可以包括诸如SURF(Speeded Up Robust Feature，加速稳健特征)算法、SIFT(ScaleInvariant Feature Transform，尺度不变特征转换)算法、ORB(Oriented FAST andRotated BRIEF)算法或FAST(Features from Accelerated Segment Test，角点检测)算法等，在实际应用中可灵活选择所需的特征检测算法对第一图像和第二图像进行特征检测点，本发明实施例对此不进行限制。

步骤二，通过特征匹配算法对多个第一实际特征点和多个第二实际特征点进行特征匹配处理，得到多组匹配特征点对。在一种实施方式中，可以对检测到的第一实际特征点和第二实际特征点进行特征描述处理，例如通过BREIF(Binary Robust IndependentElementary Features)算法进行第一实际特征点和第二实际特征点的特征描述处理，从而通过特征匹配算法在特征描述处理结果的基础上进行特征匹配，得到多组匹配特征点对。本发明实施例以通过SIFT算法匹配第一图像和第二图像的匹配特征点对为例进行说明，首先检测得到第一图像中的第一实际特征点和第二图像中的第二实际特征点，并通过Haar小波处理方法分别确定第一实际特征点和第二实际特征点的方向，基于确定的方向生成第一实际特征点的第一SURF特征描述符和第二实际特征点的第二SURF特征描述符，最终基于第一SURF特征描述符和第二SURF特征描述符匹配第一实际特征点和第二实际特征点。

步骤三，将得到的多组匹配特征点对作为待识别的初始特征点对。在具体实现时，可直接将通过上述步骤一至步骤二得到的匹配特征点对作为本发明实施例待识别的初始特征点对。

在具体实现时，上述第一图像的采集时刻为第一时刻，第二图像的采集时刻为第二时刻，其中，第一时刻与第二时刻可以为相邻的两个时刻，也可以为间隔预设时长的两个时刻。在执行对于每组初始特征点对中的第一实际特征点，基于预先获取的目标相机的运动模型确定第二图像上与该第一实际特征点匹配的第二理论特征点的步骤之前，还需要获取目标相机在第一时刻的第一实际相机位姿和第一运动状态参数，其中，相机位姿可以包括旋转角度参数和目标相机在相机坐标系下的位置坐标参数等，运动状态参数可以包括目标相机的角速度、移动速度以及目标相机在世界坐标系下的位置坐标参数。在一些实施方式中，可以基于现有的相机位姿估计方法获取第一实际相机位姿，例如正交迭代算法、加速正交迭代算法或特征点法等；也可以基于上述步骤S202至步骤S208得到的有效特征点对计算目标相机在第一时刻的第一实际相机位姿。在获取目标相机在第一时刻的第一实际相机位姿和第一运动状态参数的基础上，由于运动模型可以将目标相机的解空间压缩到多个子空间中，也即将目标相机的整段运动过程分解为多个子运动过程，因此本发明实施例结合目标相机的运动模型去除初始特征点对中的噪声和错误，筛选出可以真实反映目标相机运动的有效特征点对，具体可以按照如下步骤a至步骤b执行上述步骤S204：

步骤a，根据预先获取的目标相机的运动模型、第一运动状态参数和第一实际相机位姿，确定目标相机在第二时刻的第二预估相机位姿。在一种实施方式中，第二预估相机位姿等于第一实际相机位姿与相机位姿变化量的和值，相机位姿变化量可基于目标相机的运动模型和第一运动状态参数计算得到。例如，基于目标相机的运动模型和第一运动参数中的角速度计算目标相机在第一时刻和第二时刻的时间间隔内的角度变化量，进而得到第二预估相机位姿中的旋转角度参数等于第一实际相机位姿的旋转角度参数与角度变化量的和值；基于目标相机的运动模型和第一运动参数中的移动速度计算目标相机在上述时间间隔内的移动距离，并结合第一实际相机位姿中的位置坐标参数、上述第二预估相机位姿中的旋转角度参数以及移动距离，确定第二预估相机位姿中的位置坐标参数。

步骤b，对于每组初始特征点对中的第一实际特征点，根据第二预估相机位姿确定第二图像上与该第一实际特征点匹配的第二理论特征点。在具体实现时，可以根据第二预估相机位姿和第一实际特征点在第一图像中的第一坐标，计算出第一实际特征点在第二图像中对应的第二坐标，进而将第二坐标上的特征点作为与该第一实际特征点相匹配的第二理论特征点。

在一种实施方式中，可以按照如下方式执行上述步骤S206：对于每个第一实际特征点，判断该第一实际特征点对应的第二实际特征点与第二理论特征点之间的位置差值是否大于预设误差阈值，如果是，确定该第一实际特征点所在的初始特征点对匹配错误。例如，计算第二理论特征点在第二图像中的第二坐标以及第二实际特征点在第二图像中的第三坐标之间的位置差值，当位置差值大于预设误差阈值时即可认为该初始特征点对匹配错误。

在实际应用中，本发明实施例可以进一步删除匹配错误的初始特征点对，保留有效特征点对，以便基于保留的有效特征点对进行后续处理，诸如应用有效特征点对计算相机位姿参数等，提升相机运动估计的可靠性和鲁棒性，相应提升视觉拼接系统、相机标定系统、视觉定位系统、SLAM系统或多相机的全景相机等应用系统的性能。

实施例三：

在前述实施例二提供的有效特征点对的识别方法的基础上，本发明实施例还提供了一种相机状态的确定方法，参见图3所示的一种相机状态的确定方法的流程示意图，该方法主要包括步骤S302至步骤S306：

步骤S302，获取目标相机在第一时刻采集的第一图像和目标相机在第二时刻采集的第二图像。

在一些实施方式中，可以通过目标相机配置的摄像头采集第一时刻的第一图像和采集第二时刻的第二图像，其中，第一时刻和第二时刻可以为前后相邻的两个时刻，也可以为间隔预设时长的两个时刻。

步骤S304，获取得到第一图像和第二图像之间的有效特征点对。

获取第一图像和第二图像之间的有效特征点对的方式具体可以参见前述实施例二，在此不再赘述。

步骤S306，基于有效特征点对确定目标相机在第二时刻的相机状态。

其中，相机状态可以包括目标相机的实际相机位姿和相机运动参数。在一种实施方式中，可以获取目标相机的成像模型，根据有效特征点对和成像模型计算目标相机在第二时刻的实际相机位姿，再基于第二时刻的实际相机位姿，确定目标相机在第二时刻的相机运动参数；其中，目标相机的成像模型具体是指相机的光学成像几何模型，不同类型的相机的成像模型不同，诸如直角相机、鱼眼相机等，通常而言，每类相机都对应有相应的成像模型，在实际应用中可以直接获取目标相机的成像模型即可。

本发明实施例提供的上述相机状态的确定方法，首先获取目标相机在第一时刻采集的第一图像和在第二时刻采集的第二图像，并基于上述有效特征点对的识别方法得到第一图像和第二图像之间的有效特征点对，最终基于有效特征点对确定该目标相机在第二时刻的相机状态。本发明实施例通过上述有效特征点对的识别方法可以得到第一图像和第二图像之间准确率较高的有效特征点对，进而采用准确率较高的有效特征点可以较为准确地确定出第二时刻的相机状态，有效提升了相机运动估计的可靠性。

本发明实施例提供了一种上述步骤S306的具体实现方法，其中，上述相机状态包括实际相机位姿，在实际应用中，可以基于有效特征点对以及预先获取的目标相机的成像模型，确定目标相机在第二时刻的实际相机位姿。在一种实施方式中，基于成像模型确定有效特征点将中第一实际特征点和第二实际特征点投影至目标相机的成像平面上，得到第一实际特征点的第一投影坐标和第二实际特征点的第二投影坐标，进而在第一投影坐标和第二投影坐标之间的差值的基础上通过约束变换算法计算目标相机在第二时刻的实际相机位姿。

其中，上述相机状态还包括相机运动参数。在一种实施方式中，可以按照如下步骤1至步骤2执行基于有效特征点确定目标相机在第二时刻的相机状态：

步骤1，根据有效特征点对、预先获取的目标相机的成像模型和目标相机在第二时刻的实际相机位姿，确定有效特征点对中第二实际特征点在第二图像中的世界坐标。其中，目标相机涉及相机坐标系、图像坐标系和世界坐标系三种坐标系，在一种实施方式中，首先确定有效特征点对中第二实际特征点在第二图像中的图像坐标，基于目标相机的成像模型将第二实际特征点的图像坐标转换为相机坐标系下的相机坐标，进而基于目标相机在第二时刻的实际相机位姿将第二实际特征点的相机坐标转换为世界坐标系下的世界坐标。

步骤2，根据有效特征点对中第二实际特征点在第二图像中的世界坐标以及预先获取的目标相机的运动模型，确定目标相机在第二时刻的相机运动参数。在具体实现时，根据有效特征点对中第一实际特征点在第一图像的世界坐标和有效特征点对中第二实际特征点在第二图像的世界坐标的坐标差值，可以确定目标相机的移动距离和移动方向，且第一时刻与第二时刻之间的时间间隔已知、目标相机在第一时刻的位置坐标已知，因此可以计算出目标相机在第二时刻的角速度移动速度和位置坐标，得到目标相机在第二时刻的相机运动参数。

综上所述，本发明实施例采用上述有效特征点对的识别方法获取准确度较高的有效特征点对，因此在基于有效特征点对确定目标相机在第二时刻的相机状态时，可以有效提高相机状态的准确率。

实施例四：

在前述实施例二和实施例三的基础上，本发明实施例提供了另一种相机状态的确定方法，参见图4所示的另一种相机状态的确定方法的流程示意图，相机状态可以包括实际相机位姿和运动状态参数(也可称为相机运动参数)；该方法可以包括以下步骤：

步骤S402，估计T1时刻的实际相机位姿。在实际应用中，若T1时刻为目标相机的启动时刻，则可以基于目标相机的光心原点作为世界坐标系的原点，并设置启动时刻的运动状态参数和实际相机位姿；若T1时刻不是目标系统的启动时刻，则可以根据T1时刻的前一时刻T0的有效特征点对估计T1时刻的实际相机位姿。

步骤S404，获取目标相机的相机运动模型和在T1时刻的运动状态参数。

步骤S406，根据T1时刻的实际相机位姿、相机运动模型和T1时刻的运动状态参数预测T2时刻的预估相机位姿。

步骤S408，检测目标相机在T1时刻采集的第一图像中的第一场景特征点(也即，前述第一实际特征点)，根据T1时刻的实际相机位姿估计第一场景特征点对应的世界坐标。

步骤S410，根据T2时刻的预估相机位姿和第一场景特征点对应的世界坐标，预测第一场景特征点在T2时刻采集的第二图像中对应的像点(也即，前述第二理论特征点)。

步骤S412，匹配第一图像和第二图像中的初始特征点对，并获取预设误差阈值。其中，初始特征点对包括第一场景特征点以及与第一场景特征点相匹配的第二场景特征点(也即，前述第二实际特征点)。

步骤S414，根据第一场景特征点在T2时刻采集的第二图像中对应的像点和预设误差阈值，删除初始特征点对中的错误特征点对，得到有效特征点对。具体实现时，计算第一场景特征点对应的像点与初始特征点对中该第一场景特征点对应的第二场景特征点之间的位置差值，当位置差值大于预设误差阈值时，将该第一场景特征点对所在的初始特征点对删除，以得到有效特征点对。

步骤S416，基于有效特征点对估计T2时刻的实际相机位姿。在确定T2时刻的实际相机位姿后，可继续执行上述步骤S404至步骤S416计算T2时刻的下一时刻T3时刻的实际相机位姿，依次迭代出目标相机运动过程中每个时刻的实际相机位姿。

在图4的基础上，本发明实施例提供了一种应用前述相机状态的确定方法的具体示例，可参见图5所示的一种相机状态的迭代更新示意图，其中，T1时刻的有效特征点对与T1时刻带误差的初始特征点对和误差阈值相关，T1时刻实际相机位姿与T1时刻的有效特征点对相关，T1时刻的场景特征点及其世界坐标与T1时刻的有效特征点、相机成像模型和T1时刻的实际相机位姿相关，T2时刻的预估相机位姿与T1时刻的实际相机位姿、运动模型和T1时刻的运动状态参数相关，T2时刻的理论特征点集合与T1时刻的场景特征点和T2时刻的预估相机位姿相关。为便于对图5进行理解，本发明实施例以确定T1时刻的实际相机位姿和运动状态参数为例进行说明，具体可参见如下步骤1-步骤7：

步骤1，对T0时刻采集的图像与T1时刻采集的图像进行特征提取与匹配搜索，得到带有误差的T1时刻的初始特征点对。

步骤2，基于T1时刻的第二理论特征点集合和误差阈值，将T1时刻初始特征点对中的错误特征点对删除，得到T1时刻的有效特征点对。

步骤3，基于T1时刻的有效特征点对，计算T1时刻的实际相机位姿。

步骤4，基于相机成像模型和T1时刻的实际相机位姿，确定T1时刻的有效特征点对中T1时刻的场景特征点及T1时刻的场景特征点世界坐标。

步骤5，基于T1时刻的场景特征点的世界坐标和运动模型，确定T1时刻的运动状态参数。

步骤6，基于运动模型、T1时刻的运动状态参数以及T1时刻的实际相机位姿，确定T2时刻的预估相机位姿。

步骤7，基于T1时刻的场景特征点集合和T2时刻的预估相机位姿，确定T1时刻的场景特征点集合在T2时刻的理论特征点集合。进一步的，通过执行实施例四中的步骤1至步骤3，确定T2时刻的实际相机位姿；通过执行实施例四中的步骤4至步骤5，确定T2时刻的运动状态参数。本发明实施例可以通过迭代上述步骤1-步骤7确定目标相机运动过程中所有时刻的实际相机位姿和运动状态参数，直至目标相机停止工作。

综上所述，本发明实施例基于T0时刻的实际相机位姿预测T1时刻的预估相机位姿，并基于T1时刻的预估相机位姿计算T0时刻的实际特征点在T1时刻的理论特征点，通过结合预设的噪声阈值(也即，前述误差阈值)，计算T1时刻的理论特征点与T1时刻的实际特征点之间的位置差值，将位置差值大于噪声阈值的T1时刻的理论特征点所在的初始特征点对确定为偏离理论成像位置的无效点对(也即，前述错误特征点对)，并利用摒弃无效点对后的有效特征点对计算目标相机在T2时刻的实际相机位姿和运动状态参数，使确定的T2时刻的实际相机位姿和运动状态参数具有较高的准确性。

实施例五：

对于实施例二中所提供的有效特征点对的识别方法，本发明实施例提供了一种有效特征点对的识别装置，参见图6所示的一种有效特征点对的识别装置的结构示意图，该装置主要包括以下部分：

点对获取模块602，用于获取待识别的多组初始特征点对；其中，初始特征点对是对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的；每组初始特征点对均包括第一图像的第一实际特征点以及第二图像的第二实际特征点。

理论特征点确定模块604，用于对于每组初始特征点对中的第一实际特征点，基于预先获取的目标相机的运动模型确定第二图像上与该第一实际特征点匹配的第二理论特征点。

错误点对识别模块606，用于根据每个第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对。

有效点对确定模块608，用于将除匹配错误的初始特征点对之外的其余初始特征点对确定为第一图像和第二图像之间的有效特征点对。

本发明实施例基于目标相机的运动模型计算出与第一实际特征点匹配的第二理论特征点，第二理论特征点通常更符合目标相机的运动规律，可更准确地体现出第一图像中的第一实际特征点在第二图像中应该成像的位置，从而基于应该成像的第二理论特征点以及通过特征匹配得到的第二实际特征点可以更为准确地识别出匹配错误的特征点对，进而得到准确率较高的有效特征点对。

在一种实施方式中，上述点对获取模块602还用于：通过特征检测算法对第一图像和第二图像进行特征点检测，得到第一图像的多个第一实际特征点和第二图像的多个第二实际特征点；通过特征匹配算法对多个第一实际特征点和多个第二实际特征点进行特征匹配处理，得到多组匹配特征点对；将得到的多组匹配特征点对作为待识别的初始特征点对。

在一种实施方式中，上述第一图像的采集时刻为第一时刻，第二图像的采集时刻为第二时刻；上述有效特征点对的识别装置还包括第一获取模块，用于获取目标相机在第一时刻的第一实际相机位姿和第一运动状态参数。上述理论特征点确定模块604还用于：根据预先获取的目标相机的运动模型、第一运动状态参数和第一实际相机位姿，确定目标相机在第二时刻的第二预估相机位姿；对于每组初始特征点对中的第一实际特征点，根据第二预估相机位姿确定第二图像上与该第一实际特征点匹配的第二理论特征点。

在一种实施方式中，上述错误点对识别模块606还用于：对于每个第一实际特征点，判断该第一实际特征点对应的第二实际特征点与第二理论特征点之间的位置差值是否大于预设误差阈值，如果是，确定该第一实际特征点所在的初始特征点对匹配错误。

在一种实施方式中，上述有效特征点对的识别装置还包括点对处理模块，用于删除匹配错误的初始特征点对，保留有效特征点对。

对于实施例三中所提供的相机状态的确定方法，本发明实施例提供了一种相机状态的确定装置，参见图7所示的一种相机状态的确定装置的结构示意图，该装置主要包括以下部分：

图像获取模块702，用于获取目标相机在第一时刻采集的第一图像和目标相机在第二时刻采集的第二图像。

有效点对获取模块704，用于采用实施例四提供的任一项的方法，得到第一图像和第二图像之间的有效特征点对。

相机状态确定模块706，用于基于有效特征点对确定目标相机在第二时刻的相机状态。

本发明实施例通过上述有效特征点对的识别方法可以得到第一图像和第二图像之间准确率较高的有效特征点对，进而采用准确率较高的有效特征点可以较为准确地确定出第二时刻的相机状态，有效提升了相机运动估计的可靠性。

在一种实施方式中，相机状态包括实际相机位姿；上述相机状态确定模块706还用于：基于有效特征点对以及预先获取的目标相机的成像模型，确定目标相机在第二时刻的实际相机位姿。

在一种实施方式中，上述相机状态还包括相机运动参数；上述相机状态确定模块706还用于：根据有效特征点对、预先获取的目标相机的成像模型和目标相机在第二时刻的实际相机位姿，确定有效特征点对中第二实际特征点在第二图像中的世界坐标；根据有效特征点对中第二实际特征点在第二图像中的世界坐标以及预先获取的目标相机的运动模型，确定目标相机在第二时刻的相机运动参数。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例六：

本发明实施例所提供的有效特征点对的识别方法、相机状态的确定方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种有效特征点对的识别方法，其特征在于，包括：

获取待识别的多组初始特征点对；其中，所述初始特征点对是对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的；每组所述初始特征点对均包括所述第一图像的第一实际特征点以及所述第二图像的第二实际特征点；

对于每组所述初始特征点对中的第一实际特征点，基于预先获取的所述目标相机的运动模型确定所述第二图像上与该第一实际特征点匹配的第二理论特征点；

根据每个所述第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对；

将除所述匹配错误的初始特征点对之外的其余所述初始特征点对确定为所述第一图像和所述第二图像之间的有效特征点对。

2.根据权利要求1所述的方法，其特征在于，所述获取待识别的多组初始特征点对的步骤，包括：

通过特征检测算法对所述第一图像和所述第二图像进行特征点检测，得到所述第一图像的多个第一实际特征点和所述第二图像的多个第二实际特征点；

通过特征匹配算法对多个所述第一实际特征点和多个所述第二实际特征点进行特征匹配处理，得到多组匹配特征点对；

将得到的所述多组匹配特征点对作为待识别的初始特征点对。

3.根据权利要求1所述的方法，其特征在于，所述第一图像的采集时刻为第一时刻，所述第二图像的采集时刻为第二时刻；

所述方法还包括：获取所述目标相机在所述第一时刻的第一实际相机位姿和第一运动状态参数；

所述对于每组所述初始特征点对中的第一实际特征点，基于预先获取的所述目标相机的运动模型确定所述第二图像上与该第一实际特征点匹配的第二理论特征点的步骤，包括：

根据预先获取的所述目标相机的运动模型、所述第一运动状态参数和所述第一实际相机位姿，确定所述目标相机在所述第二时刻的第二预估相机位姿；

对于每组所述初始特征点对中的第一实际特征点，根据所述第二预估相机位姿确定所述第二图像上与该第一实际特征点匹配的第二理论特征点。

4.根据权利要求1所述的方法，其特征在于，所述根据每个所述第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对的步骤，包括：

对于每个所述第一实际特征点，判断该第一实际特征点对应的第二实际特征点与第二理论特征点之间的位置差值是否大于预设误差阈值，如果是，确定该第一实际特征点所在的初始特征点对匹配错误。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

删除所述匹配错误的初始特征点对，保留所述有效特征点对。

6.一种相机状态的确定方法，其特征在于，包括：

获取所述目标相机在第一时刻采集的第一图像和所述目标相机在第二时刻采集的第二图像；

采用权利要求1至5任一项所述的方法，得到所述第一图像和所述第二图像之间的有效特征点对；

基于所述有效特征点对确定所述目标相机在所述第二时刻的相机状态。

7.根据权利要求6所述的方法，其特征在于，所述相机状态包括实际相机位姿；

所述基于所述有效特征点对确定所述目标相机在所述第二时刻的相机状态的步骤，包括：

基于所述有效特征点对以及预先获取的所述目标相机的成像模型，确定所述目标相机在所述第二时刻的实际相机位姿。

8.根据权利要求7所述的方法，其特征在于，所述相机状态还包括相机运动参数；

所述基于所述有效特征点确定所述目标相机在所述第二时刻的相机状态的步骤，还包括：

根据所述有效特征点对、预先获取的所述目标相机的成像模型和所述目标相机在所述第二时刻的实际相机位姿，确定所述有效特征点对中第二实际特征点在所述第二图像中的世界坐标；

根据所述有效特征点对中第二实际特征点在所述第二图像中的世界坐标以及预先获取的所述目标相机的运动模型，确定所述目标相机在所述第二时刻的相机运动参数。

9.一种有效特征点对的识别装置，其特征在于，包括：

点对获取模块，用于获取待识别的多组初始特征点对；其中，所述初始特征点对是对目标相机先后采集的第一图像和第二图像进行特征点匹配得到的；每组所述初始特征点对均包括所述第一图像的第一实际特征点以及所述第二图像的第二实际特征点；

理论特征点确定模块，用于对于每组所述初始特征点对中的第一实际特征点，基于预先获取的所述目标相机的运动模型确定所述第二图像上与该第一实际特征点匹配的第二理论特征点；

错误点对识别模块，用于根据每个所述第一实际特征点对应的第二实际特征点与第二理论特征点，识别出匹配错误的初始特征点对；

有效点对确定模块，用于将除所述匹配错误的初始特征点对之外的其余所述初始特征点对确定为所述第一图像和所述第二图像之间的有效特征点对。

10.一种相机状态的确定装置，其特征在于，包括：

图像获取模块，用于获取所述目标相机在第一时刻采集的第一图像和所述目标相机在第二时刻采集的第二图像；

有效点对获取模块，用于采用权利要求1至5任一项所述的方法，得到所述第一图像和所述第二图像之间的有效特征点对；

相机状态确定模块，用于基于所述有效特征点对确定所述目标相机在所述第二时刻的相机状态。

11.一种电子设备，其特征在于，包括处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至5任一项所述的方法，或者执行如上述权利要求6-8任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法，或者执行上述权利要求6-8任一项所述的方法。

Images