CN114820798A - 一种标定器匹配方法及装置 - Google Patents

Abstract

本申请公开了一种标定器匹配方法及装置，获取双目相机采集的第一图像和第二图像，并提取两个图像中用于表征圆形标记物的特征点；将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；基于三维空间点筛选出第一图像与第二图像的匹配特征点，将产生匹配特征点对应的三维空间点确定为三维点；基于预设规则将三维点组成标定器，将标定器与标准标定器进行匹配，得到标定器的位姿信息。可见，该方法及装置通过三角化重建消除误匹配特征点，避免左右视图图像中的特征点匹配困难的问题，以准确的构建出三维点，实现稳定的低纹理标定器重建，进而准确确定标定器的位姿信息。

Description

一种标定器匹配方法及装置

技术领域

本申请涉及手术定位技术领域，尤其涉及一种标定器匹配方法及装置。

背景技术

在使用机器人进行手术时，需要光学跟踪系统对人体姿态进行定位和跟踪。目前的光学跟踪型手术机器人广泛使用双目红外相机定位标定器识别光学标志物，且为便于手术机器人能够感知标定器的位姿信息，需要通过双目相机采集标定器的左右视图图像，通过图像分析获得标定器的位姿信息，进而实现对手术目标的跟踪定位。

标定器通常由数个圆形标记物构成，在基于图像分析确定标定器位姿信息时，首先通过双目相机采集数个圆形标记物得到左右视图图像，然后分别从左右视图图像中提取用于表征圆形标记物的特征点。将左视图图像中的特征点与右视图图像中的特征点进行匹配，得到匹配的特征点，再利用匹配的特征点构建每个圆形标记物在双目相机所表征三维空间中的三维点，基于各个圆形标记物的三维点确定标定器的位姿信息。

但是，由于双目相机通常为红外相机，那么圆形标记物在所成图像中为较亮的白色区域，背景部分为很暗的黑色区域，导致可提取的纹理信息有限。那么在低纹理图像下，双目相机采集的左右视图图像中的特征点匹配困难，导致无法构建出三维点，进而无法准确确定标定器的位姿信息。

发明内容

本申请提供了一种标定器匹配方法及装置，以解决现有的方法无法准确确定标定器位姿信息的问题。

第一方面，本申请提供了一种标定器匹配方法，包括：

获取双目相机采集的第一图像和第二图像，所述第一图像和第二图像中均包括数个圆形标记物的图像；

提取所述第一图像中的特征点和所述第二图像中的特征点，所述特征点用于表征圆形标记物；

将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；

基于所述三维空间点筛选出第一图像与第二图像的匹配特征点，将产生所述匹配特征点对应的三维空间点确定为三维点，所述匹配特征点是指第一图像和第二图像中表征同一圆形标记物的特征点；

基于预设规则，将三维点组成标定器，将所述标定器与标准标定器进行匹配，得到标定器的位姿信息。

本申请一些实施例中，所述基于所述三维空间点筛选出第一图像与第二图像的匹配特征点，包括：

将所述三维空间点反投影至所述第一图像中，形成第一投影点，以及，将所述三维空间点反投影至第二图像中，形成第二投影点；

如果所述第一投影点与第一目标特征点相匹配，以及，所述第二投影点与第二目标特征点相匹配，则确定所述第一目标特征点和第二目标特征点为匹配特征点。

本申请一些实施例中，所述如果所述第一投影点与第一目标特征点相匹配，以及，所述第二投影点与第二目标特征点相匹配，则确定所述第一目标特征点和第二目标特征点为匹配特征点，包括：

计算所述第一投影点与所述第一目标特征点的第一重投影误差，以及，计算所述第二投影点与所述第二目标特征点的第二重投影误差；

将所述第一重投影误差与误差阈值进行对比，以及，将所述第二重投影误差与误差阈值进行对比；

如果所述第一重投影误差和第二重投影误差均小于或等于误差阈值，则确定所述三维空间点对应的第一目标特征点和第二目标特征点为匹配特征点；

如果所述第一重投影误差和第二重投影误差中的任一项大于误差阈值，则确定第一目标特征点和第二目标特征点不匹配。

本申请一些实施例中，所述方法还包括：在所述第一目标特征点和第二目标特征点不匹配时，按照预设匹配原则，在第一图像和第二图像中筛选出匹配特征点，所述预设匹配原则包括按照从左到右的顺序，依次遍历第一图像中的每一个特征点和第二图像中的每一个特征点，以在第二图像中选出与第一图像中的任一个特征点相匹配的特征点，并将所述第一图像和第二图像中不具有匹配关系的特征点均删除。

本申请一些实施例中，所述按照预设匹配原则，在第一图像和第二图像中筛选出匹配特征点，包括：

在所述第一目标特征点和第二目标特征点不匹配时，选取所述第二图像中的下一个特征点，并与所述第一目标特征点进行匹配验证；

如果在所述第二图像中均遍历不到与所述第一目标特征点匹配的特征点，则将所述第一目标特征点删除，并从所述第一图像中的下一个特征点与第二图像中的指定特征点再次进行遍历，其中，所述第二图像中的指定特征点是指第二图像中未与第一目标特征点具有匹配关系的特征点；

在遍历所述第二图像的特征点过程中，如果得到与第一目标特征点相匹配的第二目标特征点，则停止对第二图像的遍历，并从所述第一图像中匹配成功的下一个特征点与所述第二图像中匹配成功的下一个特征点进行遍历；

在所述第一图像的所有特征点和第二图像中的所有特征点均完成遍历后，停止匹配验证过程，将第一图像和第二图像中具有匹配关系的特征点确定为匹配特征点，将第一图像和第二图像中不具有匹配关系的特征点均删除。

本申请一些实施例中，在将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点之前，所述方法还包括：对所述第一图像和第二图像进行极线矫正处理，所述极线矫正处理用于将表征同一个圆形标记物的特征点在第一图像和第二图像中的位置转换至同一行。

本申请一些实施例中，在将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点之前，所述方法还包括：

在极线矫正处理后，获取所述第一图像中每一行上的特征点数量和所述第二图像中每一行上的特征点数量；

在同一行上，如果所述第一图像中对应的特征点数量与第二图像中对应的特征点数量不同，则基于同一行上所述第一图像中特征点和所述第二图像中特征点的位置关系，按照预设对比规则将所述第一图像和第二图像中经过特征点对比产生的多余特征点删除，以使得在同一行上第一图像中对应的特征点数量与第二图像中对应的特征点数量相同，并执行将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点的步骤。

本申请一些实施例中，所述基于预设规则，将三维点组成标定器，包括：

在三维空间中，将所述三维点中任意两者连接成线段；

计算每条线段的线段距离，以及，计算任意两条线段之间的角度；

获取标准标定器的标准线段距离和标准角度，如果指定三维点和关联三维点所形成的线段距离和角度同时满足标准线段距离和标准角度条件，则将所述指定三维点确定为目标三维点，所述关联三维点是指与指定三维点连接成线段的三维点；

基于所述目标三维点和对应的关联三维点，按照标准标定器约束规则，组成标定器。

本申请一些实施例中，所述将所述标定器与标准标定器进行匹配，得到标定器的位姿信息，包括：利用迭代就近点算法，对所述标定器和对应的标准标定器进行配准计算，得到标定器的位姿信息，所述标定器的位姿信息包括标定器的平移值和旋转值。

本申请一些实施例中，所述方法还包括：

在所述标准标定器对应多个标定器时，基于每个所述标定器的平移值和旋转值，计算每个标定器对应的标定器匹配误差；

筛选出产生标定器匹配误差最小对应的目标标定器，基于所述目标标定器的平移值和旋转值，确定所述标定器的位姿信息。

第二方面，本申请还提供了一种标定器匹配装置，包括：

数据获取模块，用于获取双目相机采集的第一图像和第二图像，所述第一图像和第二图像中均包括数个圆形标记物的图像；

特征点提取模块，用于提取所述第一图像中的特征点和所述第二图像中的特征点，所述特征点用于表征圆形标记物；

三维空间点重建模块，用于将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；

三维点确定模块，用于基于所述三维空间点筛选出第一图像与第二图像的匹配特征点，将产生所述匹配特征点对应的三维空间点确定为三维点，所述匹配特征点是指第一图像和第二图像中表征同一圆形标记物的特征点；

位姿信息确定模块，用于基于预设规则，将三维点组成标定器，将所述标定器与标准标定器进行匹配，得到标定器的位姿信息。

本申请实施例提供的一种标定器匹配方法及装置，获取双目相机采集的第一图像和第二图像，并提取两个图像中用于表征圆形标记物的特征点；将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；基于三维空间点筛选出第一图像与第二图像的匹配特征点，将产生匹配特征点对应的三维空间点确定为三维点；基于预设规则将三维点组成标定器，将标定器与标准标定器进行匹配，得到标定器的位姿信息。可见，该方法及装置通过三角化重建消除误匹配特征点，避免左右视图图像中的特征点匹配困难的问题，以准确的构建出三维点，实现稳定的低纹理标定器重建，进而准确确定标定器的位姿信息。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为标定器的结构示意图。

图2为本申请示例性实施例提供的标定器匹配方法的流程图。

图3为本申请示例性实施例提供的理想状态下极线匹配示意图。

图4为本申请示例性实施例提供的非理想状态下极线匹配示意图。

图5为本申请示例性实施例提供的筛选匹配特征点的方法流程图。

图6为本申请示例性实施例提供的确定匹配特征点的方法流程图。

图7为本申请示例性实施例提供的将三维点组成标定器的方法流程图。

图8为本申请示例性实施例提供的基于三维点组成标定器的示意图。

图9为本申请示例性实施例提供的双目相机采集图像的示意图。

图10为本申请示例性实施例提供的同一行上左右视图图像中的特征点数量不一致的示意图。

图11为本申请示例性实施例提供的标定器匹配装置的结构框图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

在一些实施例中，用于导航手术的标定器，安装于手术机器人的机械臂末端。在使用机器人进行手术时，利用双目红外相机采集标定器的左右视图图像，并通过图像分析获得标定器的位姿信息，以使得手术机器人的光学跟踪系统对人体姿态进行定位和跟踪，实现对手术目标的跟踪定位。

图1为标定器的结构示意图。标定器通常由数个圆形标记物构成。例如，如图1所示，标定器由4个圆形标记物构成，4个圆形标记物之间的相对位置确定。利用双目红外相机采集4个圆形标记物的左右视图图像，在进行图像分析时，分别确定每个圆形标记物在双目红外相机所表征的三维空间的三维点，再基于4个圆形标记物的三维点确定标定器的位姿信息。

为准确确定出标定器的位姿信息，本申请实施例提供一种标定器匹配方法，利用极线匹配方法，并通过重投影误差消除误匹配特征点，实现稳定的低纹理标定器重建，保证确定标定器的位姿信息的准确。

图2为本申请示例性实施例提供的标定器匹配方法的流程图。如图2所示，本申请实施例提供的标定器匹配方法，包括：

S1、获取双目相机采集的第一图像和第二图像。

其中，第一图像和第二图像中均包括数个圆形标记物的图像。

双目相机包括两个并排设置的相机，两个相机的镜头朝向相同。利用双目相机采集标定器，可以获得左视图图像和右视图图像，每个图像中均包括数个圆形标记物的图像。其中，第一图像为左视图图像和右视图图像中的一个，第二图像为左视图图像和右视图图像中的另一个。

S2、提取第一图像中的特征点和第二图像中的特征点。

其中，特征点用于表征圆形标记物。

分别对第一图像和第二图像进行特征点提取，可在第一图像中提取到至少一个特征点，以及，在第二图像中提取到至少一个特征点。在两个图像中提取的特征点中包括用于表征圆形标记物的特征点。

在一些实施例中，如果图像中还存在杂质目标的成像，例如，位于标定器周围的机械臂的前端部位、手术环境中的其他手术设施等的成像，那么在两个图像中提取的特征点中还包括表征杂质目标的特征点。其中，杂质目标是指双目相机采集范围内的除圆形标记物以外的其他物体。

S3、将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点。

其中，实现三角化重建所需的参数可以包括双目相机的投影矩阵和相机参数等。相机参数包括但不限于相机内参数、相机外参数。相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等；相机外参数是在世界坐标系中的参数，比如相机位置和姿态等。

在构建表征圆形标记物的三维点时，需保证第一图像中的特征点与第二图像中的特征点为匹配关系。因此，将第一图像中的特征点和第二图像中的特征点进行匹配，以确定出表征同一圆形标记物的匹配特征点。在进行特征点匹配时，通常可以将两个图像中的各个特征点按照由左到右的顺序依次进行匹配。

图3为本申请示例性实施例提供的理想状态下极线匹配示意图。如图3所示，在理想状态下，左视图图像中的特征点由左到右的顺序与右视图图像中的特征点由左到右的顺序一致，说明左右视图图像中的特征点从左到右具有一一对应关系，即左右视图图像中的各个特征点匹配。

但是，由于双目相机在采集标定器时，可能会采集到位于标定器周围的其他杂质目标，并且受到左右相机视角限制，左右视图图像中的特征点从左到右可能不是完全一一对应关系。

图4为本申请示例性实施例提供的非理想状态下极线匹配示意图。如图4所示，左视图图像中的左数第一个特征点和第二个特征点与右视图图像中的左数第一个特征点和第二个特征点并非对应关系，使得左视图图像中的左数第一个特征点和右视图图像中的左数第一个特征点不匹配，以及，左视图图像中的左数第二个特征点和右视图图像中的左数第二个特征点不匹配，进而导致特征点匹配时出现误匹配的情况。

为消除误匹配特征点，以筛选出表征圆形标记物的匹配特征点，本申请实施例利用计算重投影误差的方式，先基于第一图像中的第一目标特征点和第二图像中的第二目标特征点进行三角化重建，确定三维空间点。再基于三维空间点筛选出第一图像与第二图像的匹配特征点，则将产生匹配特征点对应的三维空间点确定为三维点。基于筛选出的三维点，可以保证后续确定标定器的位姿信息的准确性。

在一些实施例中，基于双目相机的投影矩阵和相机参数，将二维空间的第一图像的各个特征点和第二图像中的各个特征点以对应关系依次进行三角化重建，得到对应的三维空间点。理想状态下，每一个三维空间点均表征圆形标记物。但是，如果图像中存在杂质目标，则部分三维空间点表征的物体可能是杂质目标。

其中，图像的二维空间的原点可以位于图像左上角，X轴方向为从左到右的方向，Y轴方向为从上到下的方向。双目相机的三维空间是指双目相机的相机三维坐标系所在空间，相机坐标系的原点可以在双目相机的任一相机上，如以左相机光心为原点，X轴方向为两个相机所在水平方向，即两个相机的连线方向，Y轴方向为垂直方向，即双目相机到地面的方向，Z轴方向为双目相机到被拍摄物体的方向上，即相机镜头的轴线上。

S4、基于三维空间点筛选出第一图像与第二图像的匹配特征点，将产生匹配特征点对应的三维空间点确定为三维点。

本申请实施例将三维空间点分别反投影至第一图像和第二图像中，计算在各个图像中形成的重投影误差。将各个重投影误差与误差阈值进行对比，基于对比结果筛选出第一图像与第二图像的匹配特征点，匹配特征点是指第一图像和第二图像中表征同一圆形标记物的特征点。

图5为本申请示例性实施例提供的筛选匹配特征点的方法流程图。如图5所示，在一些实施例中，在执行步骤S4，即执行基于三维空间点筛选出第一图像与第二图像的匹配特征点的过程，包括：

S41、将三维空间点反投影至第一图像中，形成第一投影点，以及，将三维空间点反投影至第二图像中，形成第二投影点。

S42、如果所述第一投影点与第一目标特征点相匹配，以及，所述第二投影点与第二目标特征点相匹配，则确定所述第一目标特征点和第二目标特征点为匹配特征点。

示例性的，将第一图像中的特征点A1和第二图像中的特征点B1进行三角化重建，形成三维空间点C1。三维空间点C1表征物体X，物体X可能为圆形标记物，也可能为杂质目标。将三维空间点C1反投影至第一图像中，获得第一投影点A1’，将三维空间点C1反投影至第二图像中，获得第二投影点B1’。计算第一图像中的特征点A1与第一投影点A1’的第一重投影误差W1，以及，计算第二图像中的特征点B1与第二投影点B1’的第二重投影误差W2。

在一些实施例中，在计算重投影误差时，可以通过计算目标特征点与对应投影点之间的像素距离来确定，而两个点之间的像素距离可以根据两个点在二维图像中的像素坐标来计算。

例如，在计算第一重投影误差W1时，在二维空间的第一图像中，获得特征点A1的像素坐标P1(x1，y1)以及第一投影点A1’的像素坐标P1’(x1’，y1’)。基于P1(x1，y1)和P1’(x1’，y1’)，计算特征点A1与第一投影点A1’之间的线段距离H1，将线段距离H1作为第一重投影误差W1。需要说明的是，第二重投影误差的计算方式可参照此示例方法，不再赘述。

判断第一目标特征点和第二目标特征点产生的重投影误差与误差阈值的大小关系，以筛选出第一图像与第二图像的匹配特征点。如果该重投影误差大于误差阈值，即重投影误差过大，说明第一图像中的第一目标特征点和第二图像中的第二目标特征点不匹配；如果重投影误差小于或等于误差阈值，则说明第一图像中的第一目标特征点和第二图像中的第二目标特征点匹配，确定为匹配特征点。理想状态下，每一个匹配特征点均是指第一图像和第二图像中表征同一个圆形标记物的特征点。但是，如果图像中存在杂质目标，则部分匹配特征点可能是指第一图像和第二图像中表征同一个杂质目标的特征点。

图6为本申请示例性实施例提供的确定匹配特征点的方法流程图。如图6所示，在一些实施例中，在执行步骤S42，即执行如果第一投影点与第一目标特征点相匹配，以及，第二投影点与第二目标特征点相匹配，则确定第一目标特征点和第二目标特征点为匹配特征点的过程，包括：

S421、计算第一投影点与第一目标特征点的第一重投影误差，以及，计算第二投影点与第二目标特征点的第二重投影误差。

S422、将第一重投影误差与误差阈值进行对比，以及，将第二重投影误差与误差阈值进行对比。

S423、如果第一重投影误差和第二重投影误差均小于或等于误差阈值，则确定三维空间点对应的第一目标特征点和第二目标特征点为匹配特征点。

S424、如果第一重投影误差和第二重投影误差中的任一项大于误差阈值，则确定第一目标特征点和第二目标特征点不匹配。

其中，在重投影误差以像素距离来表示时，误差阈值可以为5-10个像素点形成的像素距离中的一个。

例如，在误差阈值为5个像素点形成的像素距离时，那么，在判断三维空间点C1对应的特征点A1和特征点B1是否匹配时，如果第一重投影误差W1和第二重投影误差W2均小于或等于5个像素点形成的像素距离，则确定特征点A1和特征点B1为匹配特征点。如果第一重投影误差W1和第二重投影误差W2中的任一项大于5个像素点形成的像素距离，则确定特征点A1和特征点B1不匹配。

在一些实施例中，在特征点A1和特征点B1不匹配时，为便于在第二图像中筛选出与第一图像中的特征点A1匹配的特征点，本申请实施例按照预设匹配原则，在第一图像和第二图像中筛选出匹配特征点。预设匹配原则可以采用暴力匹配方法，按照从左到右的顺序，依次遍历第一图像中的每一个特征点和第二图像中的每一个特征点，以在第二图像中选出与第一图像中的任一个特征点相匹配的特征点，并将第一图像和第二图像中不具有匹配关系的特征点均删除。

其中，预设匹配原则具体可以包括：如果第一目标特征点和第二目标特征点不匹配，则选取第二图像中的下一个特征点，再次与第一图像中的第一目标特征点进行匹配验证。如果在第二图像中均遍历不到与第一目标特征点匹配的特征点，则将第一目标特征点删除。并从第一图像中的下一个特征点与第二图像中的指定特征点再次进行遍历，其中，第二图像中的指定特征点是指未与第一目标特征点具有匹配关系的特征点。在遍历第二图像的特征点过程中，如果得到与第一目标特征点相匹配的第二目标特征点，则停止对第二图像的遍历；再从第一图像中匹配成功的下一个特征点与第二图像中匹配成功的下一个特征点进行遍历。在第一图像的所有特征点和第二图像中的所有特征点均完成遍历后，停止匹配验证过程，将第一图像和第二图像中具有匹配关系的特征点确定为匹配特征点，将第一图像和第二图像中不具有匹配关系的特征点均删除。

例如，在判断第一图像中的特征点A1和第二图像中的特征点B1是否匹配时，如果判断出特征点A1和特征点B1不匹配，则获取第二图像中的特征点B2，对第一图像中的特征点A1和第二图像中的特征点B2进行匹配验证。如果遍历第二图像中的所有特征点均找不到与第一图像中的特征点A1相匹配的特征点，则将第一图像中的特征点A1删除。接下来，选取第一图像中的特征点A2与第二图像中的特征点B1进行匹配验证。如果第一图像中的特征点A2与第二图像中的特征点B1匹配成功，则确定特征点A2与特征点B1为匹配特征点。接下来，获取第一图像中的特征点A3与第二图像中的特征点B2进行匹配验证。依此类推，在第一图像的所有特征点和第二图像中的所有特征点均完成遍历后，停止匹配验证过程。需要说明的是，匹配验证的过程即为前述实施例中步骤S3至步骤S4及相关方案的实现过程，此处不赘述。

也就是说，在第一图像和第二图像进行特征点匹配时，每基于一组特征点重建一个三维空间点就反投影一次，这样在反投影得到正确的三维点后，就停止左视图中该二维点与右视图中其他二维点的三维重建，并开始左视图中下一个二维点与右视图中下一个二维点的三维重建并反投影，以此类推，直到筛选出第一图像和第二图像中的所有匹配特征点。

本申请实施例先将两个图像中选取的特征点进行三角化三维重建，形成三维空间点。再将三维空间点反投影至各个图像中，以计算三维空间点在每个图像中产生的重投影误差。通过两次投影过程计算的重投影误差对两个图像中的特征点进行匹配验证，可以筛选出用于表征同一物体的匹配特征点，消除误匹配特征点。而该匹配特征点所对应的三维空间点即可确定为三维点，通过重建三维点可提高两个图像中的匹配特征点表征同一物体的准确性，进而保证后续确定标定器的位姿信息的准确。

S5、基于预设规则，将三维点组成标定器，将标定器与标准标定器进行匹配，得到标定器的位姿信息。

其中，预设规则可以包括按照组成标定器所需圆形标记物的目标数量，将三维点组成标定器。

在按照步骤S3和步骤S4所示方法筛选出多个三维点之后，将所有三维点按照组成标定器所需圆形标记物的目标数量，组成至少一个标定器。通过标定器匹配，计算组成的标定器与标准标定器间的旋转平移关系，以确定标定器的位姿信息。其中，标定器用于表征实时构建的标定器模型，标准标定器是指标定器在基准形态下的模型。

图7为本申请示例性实施例提供的将三维点组成标定器的方法流程图。如图7所示，在一些实施例中，基于预设规则，将三维点组成标定器的过程，包括：

S51、在三维空间中，将三维点中任意两者连接成线段。

S52、计算每条线段的线段距离，以及，计算任意两条线段之间的角度。

S53、获取标准标定器的标准线段距离和标准角度，如果指定三维点和关联三维点所形成的线段距离和角度同时满足标准线段距离和标准角度条件，则将所述指定三维点确定为目标三维点，关联三维点是指与指定三维点连接成线段的三维点。

S54、基于目标三维点和对应的关联三维点，按照标准标定器约束规则，组成标定器。

在理想状态下，如果双目相机采集的第一图像和第二图像中仅包括圆形标记物的图像，则本申请实施例所构建的所有三维点均为表征圆形标记物的三维点，即可组成一个标定器。但是，如果第一图像和第二图像中包括圆形标记物和杂质目标的图像，则本申请实施例所构建的所有三维点包括表征圆形标记物的三维点和表征杂质目标的三维点，即可组成数个标定器。

为准确基于三维点组成标定器，需对所有三维点进行去噪处理，将表征杂质目标的三维点删除，以基于表征圆形标记物的三维点组成标定器。因此，为便于构建标定器，需在数个三维点中筛选出可组成满足标准标定器需求的目标三维点，再基于目标三维点构建标定器。

三维点的筛选过程可等效于标定器匹配的过程，标定器匹配就是将实时构建的三维点组成的标定器与标准标定器进行匹配，即匹配标定器上的各个三维点与标准标定器在基准形态下的各点，以及，匹配标定器的各个点形成的线段间角度与标准标定器在基准形态下各个点形成的线段间角度。

在筛选目标三维点时，可同时进行点的匹配和线段间角度的匹配；或者，先进行点的匹配，筛选出满足点匹配的各点；再将筛选出的任意两点形成数条线段，以进行各条线段间角度的匹配。两种匹配原则可基于实际应用而定，此处不进行限定。

图8为本申请示例性实施例提供的基于三维点组成标定器的示意图。如图8所示，以同时进行点的匹配和线段间角度的匹配为例，在重建的数个三维点中，将任意两个三维点连接成线段。例如，若存在4个三维点D1-D4，在判断指定三维点D1是否为目标三维点时，则指定三维点D1和其他关联三维点(D2、D3、D4)可以形成三条线段，分别为点D1和点D2形成的线段为D1D2、点D1和点D3形成的线段为D1D3、点D1和点D4形成的线段为D1D4。计算每条线段的线段距离L1＝D1D2、L2＝D1D3、L3＝D1D4。计算线段D1D2与D1D3之间的角度α1，计算线段D1D3与D1D4之间的角度α2，计算线段D1D2与D1D4之间的角度α3。

将指定三维点D1形成的线段距离(L1、L2、L3)与标准标定器中点i所对应的标准线段距离L0_i进行匹配，以及，将指定三维点D1形成的角度(α1、α2、α3)与标准标定器中点i所对应的标准角度α0_i进行匹配。其中，标准标定器由4个圆形标记物构成时，对应存在四个点，则每个点会对应形成三条线段，得到三条线段距离，三条线段可形成三个角度。设定标准线段距离条件为距离误差阈值小于或等于2％，设定标准角度条件为角度误差阈值小于或等于2％。

如果指定三维点D1和关联三维点(D2、D3、D4)所对应的三条线段距离(L1、L2、L3)与标准标定器点A所对应的标准线段距离(L0_A1、L0_A2、L0_A3)产生的距离误差小于或等于2％，则确定指定三维点D1所对应的三条线段距离满足标准线段距离条件，反之则不满足标准线段距离条件。如果指定三维点D1和关联三维点(D2、D3、D4)所对应的三个角度(α1、α2、α3)与标准标定器中点A所对应的标准角度(α0_A1、α0_A2、α0_A3)产生的角度误差小于或等于2％，则确定指定三维点D1所对应的三个角度满足标准角度条件，反之则不满足标准角度条件。

因此，如果指定三维点D1所对应的三条线段距离和三个角度同时满足标准线段距离和标准角度条件，则将指定三维点D1确定为目标三维点。而由于标准标定器形成的线段距离和角度是唯一的，因此，在选出属于标定器的目标三维点后，基于目标三维点和对应的关联三维点组成的标定器即可确定，即三维点D1-D4可以按照标准标定器约束规则组成一个标定器。如果指定三维点D1和关联三维点所对应的三条线段和三个角度的其中一项不满足标准线段距离和标准角度条件，则将三维点D1确定为杂质点，将三维点D1删除。

在一些实施例中，在基于目标三维点构建出标定器后，即可将标定器与标准标定器进行匹配，得到标定器的位姿信息，该过程包括：利用迭代就近点算法，对标定器和对应的标准标定器进行配准计算，得到标定器的位姿信息，位姿信息包括标定器的平移值t和旋转值R。

其中，迭代就近点算法ICP(Iterative Closest Point)是指基于自由形态曲面的配准方法，ICP算法是基于数据配准法，利用最近点搜索法，从而解决基于自由形态曲面的一种算法。

在一些实施例中，在利用ICP算法进行标定器匹配时，对标定器中的点p_i(i＝1…n)，标准标定器中的点p_i’(i＝1…n)进行匹配计算，每个点是一个列向量。求标定器和标准标定器的中心，得到向量p_c，p_c’；并去掉中心，得到向量q_i，q_i’。

按照公式：

确定标定器的旋转值R。式中，R^*为正交矩阵。以及，按照公式：p_c＝Rp_c'+t，确定标定器的平移值t。

在一些实施例中，通常一个标准标定器对应一个标定器，那么如果出现一个标准标定器对应多个由4个三维点组成的标定器的情况，本申请实施例基于匹配误差最小的标定器，确定标定器的位姿信息。

本申请实施例提供的标定器匹配方法，还包括：在标准标定器对应多个标定器时，基于每个标定器的平移值和旋转值，计算每个标定器对应的标定器匹配误差。筛选出产生标定器匹配误差最小对应的目标标定器，基于目标标定器的平移值和旋转值，确定标定器的位姿信息。

按照公式：

计算每个标定器的标定器匹配误差。并选取产生最小标定器匹配误差的目标标定器，那么标定器的位姿信息包括目标标定器的平移值和旋转值。

图9为本申请示例性实施例提供的双目相机采集图像的示意图。如图9所示，在一些实施例中，双目相机采集的左右视图图像中各个圆形标记物成像(图9中标号1-4所示白色圆形物体)的相对位置关系与实际各个圆形标记物的相对位置关系相关。那么在进行三维点重建时，如果不加任何约束，左视图图像中的一个特征点在右视图图像中的对应点需要在右视图图像中遍历搜索，这使得搜索效率低下。

为提高遍历搜索效率，本申请实施例在执行步骤S2(提取特征点)之后和步骤S3(重建三维空间点)之前，对左右视图图像进行极线矫正处理。极线矫正的目的是将同一个三维点在左右视图图像中的位置转换在同一行上，这样可以将遍历搜索从二维降到一维，大大提高搜索效率。示例性的，本申请实施例可以使用OpenCV中的stereoRectify函数做极线矫正操作。

在一些实施例中，在步骤S3之前，即在将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点之前，本申请实施例提供的标定器匹配方法，还包括：对第一图像和第二图像进行极线矫正处理，极线矫正处理用于将表征同一个圆形标记物的特征点在第一图像和第二图像中的位置转换至同一行。

结合前述实施例中的步骤S2，在执行步骤S2的对第一图像和第二图像的特征点提取过程之后，再对第一图像和第二图像进行极线处理。经过极线矫正处理后，第一图像和第二图像中表征同一圆形标记物的特征点位于同一水平极线上，极线矫正处理后的第一图像和第二图像的效果图参见图4和图5所示内容。在对第一图像和第二图像完成极线矫正处理后，再进行后续步骤S3的重建三维空间点的过程。

在一些实施例中，在重建三维空间点，以基于特征点匹配筛选出三维点时，为建立三维空间点所需的第一图像中的第一目标特征点与第二图像中的第二目标特征点，均为位于同一行上的特征点。例如，基于同一行上的第一图像中的第一目标特征点与第二图像中的第二目标特征点，建立对应的三维空间点。再进行后续的反投影和重投影误差的计算以确定三维点，具体过程可参照前述实施例中步骤S3至步骤S4及相关步骤的内容，此处不赘述。

在一些实施例中，在基于预设匹配原则选取左右视图图像中的特征点重建三维空间点时，为第一图像中的第一目标特征点在第二图像中遍历匹配的特征点时，遍历范围为与第一目标特征点位于同一行上的第二图像中所有特征点，以提高搜索效率。具体过程可参照前述实施例中步骤S41-S42以及步骤S421-S424的相关内容，此处不赘述。

在一些实施例中，经过极线矫正处理后，左右视图图像中的行数理论上是一致的。但是由于相机标定的误差，表征同一物体的特征点在第一图像中的所处行数与第二图像中的所处行数不对应，使得第一图像和第二图像中在同一行上的特征点数量不一致，导致特征点搜索效率低下。因此，为保证特征点匹配的搜索效率，在得到相同行上的特征点后，按照不同的情况执行不同的策略。

在同一行上的第一图像中的特征点和第二图像中的特征点的数量一致时，说明左右视图图像中的特征点从左到右分别为对应的匹配点，那么可以按照顺序匹配，以进行后续的圆形标记物的三维点的重建。

在同一行上的第一图像中的特征点和第二图像中的特征点的数量不一致时，需要根据同一行上的特征点位置关系，将产生多余特征点的图像中去除掉多余特征点，使同一行上第一图像中的特征点和第二图像中的特征点的数量保持一致。

在一些实施例中，在将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点之前，本申请实施例提供的标定器匹配方法还包括：在极线矫正处理后，获取第一图像中每一行上的特征点数量和第二图像中每一行上的特征点数量。在同一行上，如果第一图像中对应的特征点数量与第二图像中对应的特征点数量不同，则基于同一行上第一图像中特征点和第二图像中特征点的位置关系，按照预设对比规则将第一图像和第二图像中经过特征点对比产生的多余特征点删除，以使得在同一行上第一图像中对应的特征点数量与第二图像中对应的特征点数量相同，并执行将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点的步骤。

其中，预设对比规则是指沿视图所处位置指示的方向开始删除特征点的策略。例如对于左视图图像，则从最左侧开始删除特征点；对于右视图图像，则从最右侧开始删除特征点。

图10为本申请示例性实施例提供的同一行上左右视图图像中的特征点数量不一致的示意图。如图10所示，在同一行(极线)上，如果左视图图像中的特征点数量(如4个)多于右视图图像中的特征点数量(如3个)，则从左视图图像中将最左边的特征点去除，直到同一行上第一图像中对应的特征点数量与第二图像中对应的特征点数量相同为止。去除的特征点数量为左视图图像中的特征点数量与右视图图像中的特征点数量的差值，例如，将左视图图像中的左数第一个特征点删除。

在同一行上，如果右视图图像中的特征点数量多于左视图图像中的特征点数量，则从右视图图像中将最右边的特征点去除，直到同一行上第一图像中对应的特征点数量与第二图像中对应的特征点数量相同为止。

在完成极线矫正处理和多余特征点去除后，便可执行后续的匹配方法。经过极线矫正处理和多余特征点去除处理，不仅能提高匹配速度，而且能够有效去除重建错误的三维点，保证后续标定器匹配算法的精度和效率。

本申请实施例提供的一种标定器匹配方法，获取双目相机采集的第一图像和第二图像，并提取两个图像中用于表征圆形标记物的特征点；将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；基于三维空间点筛选出第一图像与第二图像的匹配特征点，将产生匹配特征点对应的三维空间点确定为三维点；基于预设规则将三维点组成标定器，将标定器与标准标定器进行匹配，得到标定器的位姿信息。可见，该方法通过三角化重建消除误匹配特征点，避免左右视图图像中的特征点匹配困难的问题，以准确的构建出三维点，实现稳定的低纹理标定器重建，进而准确确定标定器的位姿信息。

图11为本申请示例性实施例提供的标定器匹配装置的结构框图。如图11所示，本申请实施例提供一种标定器匹配装置，包括：

数据获取模块10，用于获取双目相机采集的第一图像和第二图像，所述第一图像和第二图像中均包括数个圆形标记物的图像；

特征点提取模块20，用于提取所述第一图像中的特征点和所述第二图像中的特征点，所述特征点用于表征圆形标记物；

三维空间点重建模块30，用于将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；

三维点确定模块40，用于基于所述三维空间点筛选出第一图像与第二图像的匹配特征点，将产生所述匹配特征点对应的三维空间点确定为三维点，所述匹配特征点是指第一图像和第二图像中表征同一圆形标记物的特征点

位姿信息确定模块50，用于基于预设规则，将三维点组成标定器，将所述标定器与标准标定器进行匹配，得到标定器的位姿信息。

本申请实施例提供的一种标定器匹配方法及装置，获取双目相机采集的第一图像和第二图像，并提取两个图像中用于表征圆形标记物的特征点；将第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；基于三维空间点筛选出第一图像与第二图像的匹配特征点，将产生匹配特征点对应的三维空间点确定为三维点；基于预设规则将三维点组成标定器，将标定器与标准标定器进行匹配，得到标定器的位姿信息。可见，该方法及装置通过三角化重建消除误匹配特征点，避免左右视图图像中的特征点匹配困难的问题，以准确的构建出三维点，实现稳定的低纹理标定器重建，进而准确确定标定器的位姿信息。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于标定器匹配装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释本公开内容，从而使得本领域技术人员更好的使用所述实施方式。

Claims (11)

1.一种标定器匹配方法，其特征在于，包括：

获取采集的第一图像和第二图像，所述第一图像和第二图像中均包括数个圆形标记物的图像；

提取所述第一图像中的特征点和所述第二图像中的特征点，所述特征点用于表征圆形标记物；

将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；

基于所述三维空间点筛选出第一图像与第二图像的匹配特征点，将产生所述匹配特征点对应的三维空间点确定为三维点，所述匹配特征点是指第一图像和第二图像中表征同一圆形标记物的特征点；

基于预设规则，将三维点组成标定器，将所述标定器与标准标定器进行匹配，得到标定器的位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述三维空间点筛选出第一图像与第二图像的匹配特征点，包括：

将所述三维空间点反投影至所述第一图像中，形成第一投影点，以及，将所述三维空间点反投影至第二图像中，形成第二投影点；

如果所述第一投影点与第一目标特征点相匹配，以及，所述第二投影点与第二目标特征点相匹配，则确定所述第一目标特征点和第二目标特征点为匹配特征点。

3.根据权利要求2所述的方法，其特征在于，所述如果所述第一投影点与第一目标特征点相匹配，以及，所述第二投影点与第二目标特征点相匹配，则确定所述第一目标特征点和第二目标特征点为匹配特征点，包括：

计算所述第一投影点与所述第一目标特征点的第一重投影误差，以及，计算所述第二投影点与所述第二目标特征点的第二重投影误差；

将所述第一重投影误差与误差阈值进行对比，以及，将所述第二重投影误差与误差阈值进行对比；

如果所述第一重投影误差和第二重投影误差均小于或等于误差阈值，则确定所述三维空间点对应的第一目标特征点和第二目标特征点为匹配特征点；

如果所述第一重投影误差和第二重投影误差中的任一项大于误差阈值，则确定第一目标特征点和第二目标特征点不匹配。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述第一目标特征点和第二目标特征点不匹配时，按照预设匹配原则，在第一图像和第二图像中筛选出匹配特征点，所述预设匹配原则包括按照从左到右的顺序，依次遍历第一图像中的每一个特征点和第二图像中的每一个特征点，以在第二图像中选出与第一图像中的任一个特征点相匹配的特征点，并将所述第一图像和第二图像中不具有匹配关系的特征点均删除。

5.根据权利要求4所述的方法，其特征在于，所述按照预设匹配原则，在第一图像和第二图像中筛选出匹配特征点，包括：

在所述第一目标特征点和第二目标特征点不匹配时，选取所述第二图像中的下一个特征点，并与所述第一目标特征点进行匹配验证；

如果在所述第二图像中均遍历不到与所述第一目标特征点匹配的特征点，则将所述第一目标特征点删除，并从所述第一图像中的下一个特征点与第二图像中的指定特征点再次进行遍历，其中，所述第二图像中的指定特征点是指第二图像中未与第一目标特征点具有匹配关系的特征点；

在遍历所述第二图像的特征点过程中，如果得到与第一目标特征点相匹配的第二目标特征点，则停止对第二图像的遍历，并从所述第一图像中匹配成功的下一个特征点与所述第二图像中匹配成功的下一个特征点进行遍历；

在所述第一图像的所有特征点和第二图像中的所有特征点均完成遍历后，停止匹配验证过程，将第一图像和第二图像中具有匹配关系的特征点确定为匹配特征点，将第一图像和第二图像中不具有匹配关系的特征点均删除。

6.根据权利要求1所述的方法，其特征在于，在将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点之前，所述方法还包括：

对所述第一图像和第二图像进行极线矫正处理，所述极线矫正处理用于将表征同一个圆形标记物的特征点在第一图像和第二图像中的位置转换至同一行。

7.根据权利要求6所述的方法，其特征在于，在将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点之前，所述方法还包括：

在极线矫正处理后，获取所述第一图像中每一行上的特征点数量和所述第二图像中每一行上的特征点数量；

在同一行上，如果所述第一图像中对应的特征点数量与第二图像中对应的特征点数量不同，则基于同一行上所述第一图像中特征点和所述第二图像中特征点的位置关系，按照预设对比规则将所述第一图像和第二图像中经过特征点对比产生的多余特征点删除，以使得在同一行上第一图像中对应的特征点数量与第二图像中对应的特征点数量相同，并执行将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点的步骤。

8.根据权利要求1所述的方法，其特征在于，所述基于预设规则，将三维点组成标定器，包括：

在三维空间中，将所述三维点中任意两者连接成线段；

计算每条线段的线段距离，以及，计算任意两条线段之间的角度；

获取标准标定器的标准线段距离和标准角度，如果指定三维点和关联三维点所形成的线段距离和角度同时满足标准线段距离和标准角度条件，则将所述指定三维点确定为目标三维点，所述关联三维点是指与指定三维点连接成线段的三维点；

基于所述目标三维点和对应的关联三维点，按照标准标定器约束规则，组成标定器。

9.根据权利要求1所述的方法，其特征在于，所述将所述标定器与标准标定器进行匹配，得到标定器的位姿信息，包括：

利用迭代就近点算法，对所述标定器和对应的标准标定器进行配准计算，得到标定器的位姿信息，所述标定器的位姿信息包括标定器的平移值和旋转值。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在所述标准标定器对应多个标定器时，基于每个所述标定器的平移值和旋转值，计算每个标定器对应的标定器匹配误差；

筛选出产生标定器匹配误差最小对应的目标标定器，基于所述目标标定器的平移值和旋转值，确定所述标定器的位姿信息。

11.一种标定器匹配装置，其特征在于，包括：

数据获取模块，用于获取双目相机采集的第一图像和第二图像，所述第一图像和第二图像中均包括数个圆形标记物的图像；

特征点提取模块，用于提取所述第一图像中的特征点和所述第二图像中的特征点，所述特征点用于表征圆形标记物；

三维空间点重建模块，用于将所述第一图像中的第一目标特征点与第二图像中的第二目标特征点进行三角化重建，得到对应的三维空间点；

三维点确定模块，用于基于所述三维空间点筛选出第一图像与第二图像的匹配特征点，将产生所述匹配特征点对应的三维空间点确定为三维点，所述匹配特征点是指第一图像和第二图像中表征同一圆形标记物的特征点；

位姿信息确定模块，用于基于预设规则，将三维点组成标定器，将所述标定器与标准标定器进行匹配，得到标定器的位姿信息。

Images