CN113112546B - 基于三x组合标记的空间目标检测识别与位姿跟踪方法 - Google Patents

Abstract

本发明公开一种基于三X组合标记的空间目标检测识别与位姿跟踪方法，包括：A、按三X组合标记组合规划制作三X组合标记，将其粘贴于待用光学系统检测跟踪的空间目标物体上；B、在光学系统获取的双目图像中分别检测X角点，获得X角点的亚像素位置与边缘方向；C、利用三X角点组合标记的投影不变量，在双目图像中分别从检出X角点序列中检测三X角点组合标记的图像；D、将双目图像中的三X组合标记进行立体匹配，利用三角测量原理，确定三X组合标记的空间位置与姿态；E、与预先存储的三X组合标记尺寸信息进行匹配，识别三X组合标记的标签。应用本发明进行空间目标的识别与位姿跟踪，具有标记制作简单、约束少、检测率高、识别快的优点。

Description

基于三X组合标记的空间目标检测识别与位姿跟踪方法

技术领域

本发明涉及立体视觉测量领域，尤其涉及一种基于三X组合标记的空间目标检测识别与位姿跟踪方法，属于借助于人工标记对物体进行识别与测量的技术。

背景技术

基于双目或多目立体视觉的光学跟踪与位姿测量系统，一般通过确定物体上非共线的具有明确顺序三个点的空间位置来确定目标物体的明确空间位置和姿态(简称位姿)。在具有多个目标时，还需要对不同的目标进行区分识别。

人工标记图像特征明显，在位姿测量中多用来降低视觉特征检测与立体匹配的难度。如何设计制作简单易用的标记并能进行相应的快速检测识别，满足多目标检测识别与跟踪测量需求，是立体视觉技术的一个难点，目前相关的研究文献很少。

X角点标记被广泛应用于相机标定技术中，但传统的X角点检测方法只给出X角点的位置信息，没有X角点的方向信息。且单个X角点无法应用于物体的姿态测量。

Micron tracker双目视觉光学跟踪系统，利用3个X角点组合的标记实现对物体的位姿测量，但在实现时是先检测X角点的空间位置，然后通过标记点之间的空间距离将空间点分组测试并与预先学习的组合标记结构匹配来实现三X组合标记的检测识别。

在公开号为CN102095370A，名称为“三X组合标记的检测识别方法”发明专利中，利用图像Hessian矩阵检测X角点，并定义X角点的Hessian矩阵特征向量作为X角点的方向，提出的三X标记的制作规则与图像中三X组合标记相应检测识别方法。但该技术尚存在以下不足：(1)基于Hessian矩阵检测X角点，运算量大，算法实时性不高，角点误检测率高；(2)将Hessian矩阵特征向量作为X角点方向，其物理意义不明显，且方向受噪声影响较大，影响后续三X组合标记的检测与匹配；(3)三X标记组合规则约束较多，连通性约束给标记制作产生尺寸限制，限制应用性，并在检测过程中产生额外运算，影响系统的跟踪测量速度；(4)没有确定物体的空间位姿，也没有区分识别空间中实际的三X标记。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于三X组合标记的空间目标检测识别与位姿跟踪方法，针对现有面向可见光立体视觉目标跟踪测量技术的不足，提出了新的X角点检测方法和具有明确物理含义的方向定义；提出了新的三X组合标记的制作规则，去除了连通性限制，使三X组合标记的制作应用更加灵活，同时提高三X组合标记检测的效率。

为达到上述目的，本发明的技术方案是这样实现的：

基于三X组合标记的空间目标检测识别与位姿跟踪方法，包括：

A、按三X组合规则制作三X组合标记，将三X组合标记粘贴在待跟踪的目标上；所述的三X组合标记，满足如下条件：第一，数量性约束：由三个标准X角点组合而成；第二，相互位置约束：三个标准X角点共面但不共线；第三，正交性约束：向量AB与向量BC垂直正交；

B、利用双目立体相机系统获取包含三X组合标记的目标图像，设左眼图像为I_left，右眼图像为I_right；

C、在左眼图像和右眼图像中分别检测X角点的亚像素位置与规定的边缘方向；所述分别检测X角点，具有如下特性：第一，利用图像X角点周围环形采样序列具有4个台阶，4个对应的台阶点组成BW线和WB线；第二，检测的X角点在其小窗口邻域内具有较大的灰度差异；

D、在左、右眼图像中，分别根据三X角点的投影图像约束性质，由前一步骤中检测出的X角点的序列，检测三X组合标记并确定组合标记内三个X角点的顺序；得到的三X组合标记图像，具有如下特性：第一，图像中三X组合标记中A点在B点的WB线上，B点在A点的BW线上；同时B点在C点的WB线上，C点在B点的BW线上；第二，依据在线段AC上A点或C点的邻域灰度颜色来判定三X组合标记的类型；

E、在左、右眼图像中进行三X组合标记的立体匹配，由立体匹配确定三X组合标记的空间位置与姿态；所述进行三X组合标记立体匹配与确定其空间位置与姿态，具有如下特性：第一，立体匹配时利用左、右眼图像中匹配的三X组合标记，应当具有相同的标记类型；第二，立体匹配的左、右眼图像中的三X组合标记，三个匹配的角点顺序相同，且三个角点同时满足极线约束；第三，利用三角测量原理，重建三X组合标记中每个X角点的空间位置；

F、将前一步骤中检测出的三X组合标记的空间信息，与预先存储的三X组合标记进行匹配，识别出三X组合标记表示的目标；所述识别三X组合标记，具有如下特性：第一，三X组合标记的尺寸、类型信息及对应的标签，已经输入到信息库当中作为已注册标记；第二，将恢复的三X组合标记，尺寸信息、类型信息与信息库当中的纪录相匹配，寻找距离最小的且距离在误差阈值内的匹配作为其识别结果；如果存在未有匹配结果，显示为未注册对象。

其中，步骤A所述按三X组合规则制作三X组合标记，还包括：

A1、定义X角点的位置与方向的步骤；其中，所述X角点是由4个黑白相邻的小块组成的标记，BW线、WB线是正对X角点标记，以X角点为中心，按照逆时针方向定义发生跃变的边界线；规定WB线与BW线的交点为X角点的精确位置，WB线与BW线的方向为X角点规定的边缘方向；

A2、定义三X组合标记的组合规则的步骤；具体为：将三个标准X角点按照如下规则组合成一个三X组合标记；所述的组合规则为：

其一，三个X角点在同一个平面内；

其二，编号为角点A的第一个X角点的BW线与编号为角点B的第二个角点的WB线共线；第二个X角点的BW线与编号为角点C的第三个X角点的WB线共线。

其中，所述的三X组合标记，满足如下条件：

第一，数量性约束：由三个标准X角点组合而成；

第二，相互位置约束：三个标准X角点共面但不共线；

第三，正交性约束：向量AB与向量BC垂直正交。

其中，步骤C所述在左眼图像和右眼图像中分别检测X角点的亚像素位置与规定的边缘方向，具体包括：

C1、检测X角点的步骤；在对图像进行滤波处理后，从图像左上像素(r,r)开始，以间隔r行、r列方式对图像进行栅格式扫描；其中r为采样窗口半径，r小于X角点中心到边缘的像素距离；

C2、检测X角点边缘方向的步骤；具体为：检测A'、B'、C'和D'4个像素点的亚像素位置，记为A”、B”、C”和D”；如果A'对应Gradient梯度大于0，则令L_BW为过A”和C”的直线，L_WB为过B”和D”的直线；否则令L_WB为过A”和C”的直线，L_BW为过B”和D”的直线，L_BW和L_BW在图像中的方向即为X角点的边缘方向；

C3、检测X角点亚像素位置的步骤；具体为：由L_BW和L_BW计算出交点位置即为X角点的亚像素位置。

进一步地，步骤C1所述检测X角点的步骤，具体包括：以每个栅格扫描点为中心：

C11、进行方形窗口采样，设方形窗口边长为a＝2*r+1，采样像素共计8r个，逆时针顺序排成一列，计为Gray[8r]；

C12、统计Gray[8r]的平均像素灰度为

设置阈值

其中ΔG为调整灰度；

C13、将Gray[8r]进行阈值化操作，得到：

C14、计算Gray[8r]的梯度Gradient[8r]：

C15、Gradient[8r]中不为零的位置即为边缘位置，统计Gradient[8r]中所有边缘位置个数，如果边缘个数不为4，说明扫描窗口中不可能包含X角点，该扫描点处理结束，开始处理下一扫描点；如果边缘个数为4，说明扫描窗口中可能包含X角点，继续往下进行排除；

C16、记录Gradient[8r]中4个边缘对应的像素点依次为A、B、C、D；设L1为由A、C两点确定的直线，L2为B、D两点确定的直线；X_Candi为L1与L2相交的像素点；

C17、统计以X_Candi为中心的3*3窗口内邻域8像素的最大灰度与最小灰度之间差值，如果差值小于给定差值ΔG_center,则该点非X角点，结束该扫描点处理，处理下一扫描点；否则进行下一步操作；

C18、以X_Candi为中心，执行步骤C11～步骤C15的操作，记录4个台阶位置对应的像素为A'、B'、C'和D'。

其中，步骤D所述在左、右眼图像中检测三X角点组合标记具体包括如下步骤：

D1、在图像中检出的X角点集合中，依次取角点X_temp1，直到遍历完后结束；

D2、在X角点集合中依次检测除角点X_temp1之外是否有一X角点在其BW线上或WB线上；如果找到，记为X_temp2，执行下一步即步骤D3；否则，返回步骤D1；

D3、如果有一个角点X_temp2在其BW线或WB线上，检查X_temp1是否在角点X_temp2的WB线/BW线上；如果否，则跳过X_temp2，返回步骤D2；否则进入下一步即步骤D4；

D4、如果X_temp2在X_temp1的BW线上，则交换X_temp2和X_temp1；否则X_temp2在X_temp1的WB线上，保持不变；

D5、在X角点集合中，除了X_temp1和X_temp2之外，依次检测是否有角点X_temp3落在X_temp1的BW线上或者X_temp2的WB线上；如果有，则进入下一步即步骤D6，如果没有则返回步骤D1；

D6、如果角点X_temp3落在X_temp1的BW线上，则检查角点X_temp1是否落在X_temp3的WB线上；否则，角点X_temp3落在X_temp2的WB线上，则检查角点X_temp2是否落在X_temp3的BW线上；如果检查未通过，则跳过，返回步骤D5；如果检查通过，则进入下一步即步骤D7；

D7、如果角点X_temp3落在X_temp1的BW线上，同时角点X_temp1落在X_temp3的WB线上，则A＝X_temp3,B＝X_temp1,C＝X_temp2；否则，A＝X_temp1,B＝X_temp2,C＝X_temp3；

D8、将A、B、C三个X角点组合成三X组合标记TriX(A,B,C)，放入三X组合标记集合，依据在线段AC之上A点或C点的邻域灰度颜色来判定三X组合标记的类型：如为白色，则该三X组合标记为W类三X组合标记；如果为黑色，则该三X组合标记为B类三X组合标记；

D9、将A、B、C三个X角点从X角点集合中移除，返回步骤D1。

其中，步骤E所述在左、右眼图像中进行三X组合标记的立体匹配，具体包括：

E1、在左眼图像检出的三X组合标记中，依次取出三X组合标记TriX_temp1，直至遍历完后，进入步骤E7；

E2、在右眼图像中三X组合标记集合中，依次取出三X组合标记TriX_temp2，直至遍历完，返回步骤E1；

E3、检查TriX_temp2是否与TriX_temp1类型相同，如果相同进入下一步即步骤E14，否则返回步骤E2；

E4、检查TriX_temp2与TriX_temp1的三个角点，是否都满足极线约束关系，如果都满足则进入下一步即步骤E5，否则返回步骤E2；

E5、TriX_temp1与TriX_temp2的是匹配的组合标记，组合成立体匹配<TriX_temp1，TriX_temp2>放入立体匹配集合中；

E6、TriX_temp1与TriX_temp2的分别从左右眼图像三X组合标记集合中移除，返回步骤E1。

其中，步骤E所述由立体匹配确定三X组合标记的空间位置与姿态的过程，具体为：

设以左眼相机坐标系为世界坐标系下的左眼相机的投影矩阵，经相机标定为P_left，右眼相机的投影矩阵，经相机标定为P_right；由三X组合标记立体匹配集合{<TriX_left，TriX_right>}，对其中的每一个立体匹配<TriX_left，TriX_right>，由对应的角点匹配<A_left，A_right><B_left，B_right>和<C_left，C_right>，基于三角测量原理，结合左右眼标定投影矩阵，确定对应标记点A、B、C的空间坐标。

其中，所述步骤F包括：

F1、将空间三X角点组合标记预先存储的步骤，具体为：将步骤A中制作的三X组合标记，将其{Type，|AB|，|BC|}预先存储入数据表，并将与对应的物体作标记或标签标注；

F2、空间三X角点组合标记的识别的步骤；具体为：将步骤E中检测出的三X组合标记的{Type，|AB|，|BC|}与数据表中的预先存储的三X组合标记逐一比对，计算向量[Type，|AB|，|BC|]距离，其中距离小于给定阈值且距离最小，其对应的物体或标签即为该三X组合标记代表的具体对象。

本发明的基于三X组合标记的空间目标检测识别与位姿跟踪方法，具有如下有益效果：

本发明方法提出了新的X角点检测技术和具有明确物理含义的方向定义，提出了新的三X组合标记的制作规则，消除了连通性限制，使三X组合标记的制作应用更加灵活，同时还提高了三X组合标记检测的效率。将本发明应用于光学测量系统中的目标检测跟踪与位姿测量技术中，具有标记制作简单、约束少、检测率高、识别快的优点。

附图说明

图1为本发明实施例中X角点标记定义示意图；

图2为本发明实施例中三X组合标记的组合规则示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明基于三X组合标记的空间目标检测识别与位姿跟踪方法作进一步详细的说明。

本发明实施例中提出的面向可见光立体视觉目标跟踪测量的三X组合标记的检测识别技术，定义了三X组合标记组合规则，提出了图像中三X组合标记的检测识别、三X组合标记的立体匹配以及空间三X组合标记的识别技术。

本发明的基于三X组合标记的空间目标检测识别与位姿跟踪方法，主要包括如下步骤：

步骤11：按三X组合规则制作三X组合标记，将三X组合标记粘贴在待跟踪的目标上。

上述步骤11具体包括：

步骤111：定义X角点的位置与方向的步骤。

如图1所示，所述X角点是由4个黑白相邻的小块组成的标记，其中BW线、WB线是正对X角点标记，以X角点为中心，按照逆时针方向定义发生跃变的边界线。由黑色区域(斜线阴影)跃变到白色区域(点阴影)的边界，称为BW(Black-to-White)线，而由白色区域跃变到黑色区域的边界，称为WB(White-to-Black)线。规定WB线与BW线的交点为X角点的精确位置，WB线与BW线的方向为X角点规定的边缘方向。

步骤112：定义三X组合标记的组合规则的步骤。

如图2所示，将三个标准X角点按照如下规则组合成一个三X组合标记：

(1)三个X角点在同一个平面内；

(2)第一个X角点(编号为角点A)的BW线与第二个角点(编号为角点B)的WB线共线；第二个X角点的BW线与第三个X角点(编号为角点C)的WB线共线。

在实施例中，将制作好的三X组合标记，即三X组合标记的{Type，|AB|，|BC|}预先存储入系统数据信息表，并将与对应的物体作标记或标签标注。

本发明中，按照上述步骤11制作的三X组合标记，具有以下特性：

第一，数量性约束：由三个标准X角点组合而成；

第二，相互位置约束：三个标准X角点共面但不共线；其中第一个X角点(编号为角点A)的BW线与第二个角点(编号为角点B)的WB线共线，第二个X角点的BW线与第三个角点(编号为角点C)的WB线共线

第三，正交性约束：向量AB与向量BC垂直正交。

步骤12：利用双目立体相机系统获取包含三X组合标记的目标图像，设左眼图像为I_left，右眼图像为I_right。

在实施例中，选择双目立体相机系统BumbleBee2，以左眼相机坐标系为世界坐标系下的左眼相机的投影矩阵经相机标定为P_left，右眼相机的投影矩阵经相机标定为P_right。利用双目立体相机系统BumbleBee2获取包含三X组合标记的目标图像，设左眼图像为I_left，右眼图像为I_right。

步骤13：在左眼图像和右眼图像中分别检测X角点的亚像素位置与规定的边缘方向。具体包括：

步骤131：检测X角点的步骤。在对图像进行滤波处理后，从图像左上像素(r,r)开始，以间隔r行、r列方式对图像进行栅格式扫描。其中r为采样窗口半径，r小于X角点中心到边缘的像素距离。

实施例中，具体是对图像I_left和I_right进行高斯平滑滤波处理后分别进行X角点的位置与方向检测。

以每个栅格扫描点为中心，所述步骤131具体包括如下步骤：

步骤1311：进行方形窗口采样。方形窗口边长为a＝2*r+1。采样像素共计8r个，逆时针顺序排成一列，计为Gray[8r]。

实施例中，设r＝5。从图像左上像素(r,r)开始，以间隔r行、r列方式对图像进行栅格式扫描。对每个扫描点，以扫描点为中心，进行方形窗口采样，方形窗口边长为a＝2*r+1＝11pixels。采样像素共计40个，逆时针顺序排成一列，计为Gray[40]。

步骤1312：统计Gray[8r]的平均像素灰度为

设置阈值

其中ΔG为调整灰度。

这里，设置调整灰度ΔG＝30。统计Gray[40]的平均像素灰度为

设置阈值G_Threshold＝G+ΔG。

步骤1313：将Gray[8r]进行阈值化操作：

本实施例中，将Gray[40]进行阈值化操作：

步骤1314：计算Gray[8r]的梯度Gradient[8r]：

本实施例中，计算Gray[40]的梯度Gradient[40]：

步骤1315：Gradient[8r]中不为零的位置即为边缘位置。统计Gradient[8r]中所有边缘位置个数，如果边缘个数不为4，说明扫描窗口中不可能包含X角点，该扫描点处理结束，开始处理下一扫描点。如果边缘个数为4，说明扫描窗口中可能包含X角点，继续往下进行排除。

在本实施例中，统计Gradient[40]中所有边缘位置个数，其中边缘个数为4的是X角点候选栅格点。

步骤1316：记录Gradient[8r]中4个边缘对应的像素点依次为A、B、C、D。设L1为由A、C两点确定的直线，L2为B、D两点确定的直线。X_Candi为L1与L2相交的像素点。

这里，对于X角点候选栅格点，记录Gradient[40]中4个边缘对应的像素点为依次A、B、C、D。设L1为由A、C两点确定的直线，L2为B、D两点确定的直线。X_Candi为L1与L2相交的像素点。

步骤1317：统计以X_Candi为中心的3*3窗口内邻域8像素的最大灰度与最小灰度之间差值，如果差值小于给定差值ΔG_center,则该点非X角点，结束该扫描点处理，处理下一扫描点。否则进行下一步操作。

在本实施例中，设定阈值ΔG_center＝30，统计以X_Candi为中心的3*3窗口内邻域8像素的最大灰度与最小灰度之间差值，如果差值小于给定差值ΔG_center,则该点非X角点，结束该扫描点处理，处理下一扫描点。否则进行下一步操作。

步骤1318：以X_Candi为中心，执行步骤1311～步骤1315的操作，记录4个台阶位置对应的像素为A'、B'、C'和D'。

步骤132：检测X角点边缘方向的步骤。

检测A'、B'、C'和D'4个像素点的亚像素位置，记为A”、B”、C”和D”。

如果A'对应Gradient梯度大于0，则令L_BW为过A”和C”的直线，L_WB为过B”和D”的直线；否则令L_WB为过A”和C”的直线，L_BW为过B”和D”的直线。L_BW和L_BW在图像中的方向即为X角点的边缘方向。

步骤133：检测X角点亚像素位置的步骤。具体为：由L_BW和L_BW计算出交点位置即为X角点的亚像素位置。

按上述步骤13进行X角点检测，具有以下特性：

第一，利用图像X角点周围环形采样序列具有4个台阶，4个对应的台阶点组成BW线和WB线。其中X角点的亚像素位置为BW线与WB线的交点，X角点的方向为BW线和WB线的直线方向；

第二，检测的X角点在其小窗口邻域内具有较大的灰度差异。

步骤14：在左、右眼图像中，分别根据三X角点的投影图像约束性质，由步骤13中检测出的X角点的序列，检测三X组合标记并确定组合标记内三个X角点的顺序。

其中，步骤14所述在左、右眼图像中检测三X角点组合标记，具体包括：

步骤141：在图像中检出的X角点集合中，依次取角点X_temp1，直到遍历完后结束。

步骤142：在X角点集合中依次检测除角点X_temp1之外是否有一X角点在其BW线上或WB线上；如果找到，记为X_temp2，进入下一步；否则，返回步骤141。

步骤143：如果有一个角点X_temp2在其BW线或WB线上，检查X_temp1是否在角点X_temp2的WB线/BW线上；如果否，则跳过X_temp2，返回步骤142；否则进入下一步即步骤144。

步骤144：如果X_temp2在X_temp1的BW线上，则交换X_temp2和X_temp1；否则X_temp2在X_temp1的WB线上，保持不变。

步骤145：在X角点集合中，除了X_temp1和X_temp2之外，依次检测是否有角点X_temp3落在X_temp1的BW线上或者X_temp2的WB线上；如果有，则进入下一步即步骤146，如果没有则返回步骤141。

步骤146：如果角点X_temp3落在X_temp1的BW线上，则检查角点X_temp1是否落在X_temp3的WB线上；否则，角点X_temp3落在X_temp2的WB线上，则检查角点X_temp2是否落在X_temp3的BW线上；如果检查不通过，则跳过，返回步骤145；如果检查通过，则进入下一步即步骤147。

步骤147：如果角点X_temp3落在X_temp1的BW线上，同时角点X_temp1落在X_temp3的WB线上，则A＝X_temp3,B＝X_temp1,C＝X_temp2；否则，A＝X_temp1,B＝X_temp2,C＝X_temp3。

步骤148：将A、B、C三个X角点组合成三X组合标记TriX(A,B,C)，放入三X组合标记集合，依据在线段AC之上A点或C点的邻域灰度颜色来判定三X组合标记的类型：如为白色，则该三X组合标记为W(白色)类三X组合标记；如果为黑色，则该三X组合标记为B(黑色)类三X组合标记。

步骤149：将A、B、C三个X角点从X角点集合中移除，返回步骤141。

利用上述步骤14进行三X组合标记图像，具有如下特性：

第一，利用图像中三X组合标记中A点在B点的WB线上，B点在A点的BW线上；同时B点在C点的WB线上，C点在B点的BW线上；

第二，依据在线段AC上A点或C点的邻域灰度颜色来判定三X组合标记的类型：如为白色，则该三X组合标记为W(白色)类三X组合标记；如果为黑色，则该三X组合标记为B(黑色)类三X组合标记。

步骤15：在左、右眼图像中进行三X组合标记的立体匹配，由立体匹配确定三X组合标记的空间位置与姿态。具体包括：

步骤151：左右眼图像中三X角点组合标记的立体匹配的步骤。具体包括：

步骤1511：在左眼图像检出的三X组合标记中，依次取出三X组合标记TriX_temp1，直至遍历完后，进入步骤1517。

步骤1512：在右眼图像中三X组合标记集合中，依次取出三X组合标记TriX_temp2，直至遍历完，返回步骤1511。

步骤1513：检查TriX_temp2是否与TriX_temp1类型相同，如果相同进入下一步即步骤1514，否则返回步骤1512。

步骤1514：检查TriX_temp2与TriX_temp1的三个角点，是否都满足极线约束关系，如果都满足则进入下一步即步骤1515，否则返回步骤1512。

步骤1515：TriX_temp1与TriX_temp2的是匹配的组合标记，组合成立体匹配<TriX_temp1，TriX_temp2>放入立体匹配集合中。

步骤1516：TriX_temp1与TriX_temp2的分别从左右眼图像三X组合标记集合中移除，返回步骤1511。

步骤152：确定三X组合标记的空间位置与姿态的步骤。

假设以左眼相机坐标系为世界坐标系下的左眼相机的投影矩阵，经相机标定为P_left，右眼相机的投影矩阵，经相机标定为P_right。

由三X组合标记立体匹配集合{<TriX_left，TriX_right>}，对其中的每一个立体匹配<TriX_left，TriX_right>，由对应的角点匹配<A_left，A_right><B_left，B_right>和<C_left，C_right>，基于三角测量原理，结合左右眼标定投影矩阵，确定对应标记点A、B、C的空间坐标。

利用步骤15进行三X组合标记立体匹配与空间定位，具有如下特性：

第一，立体匹配时利用了左、右眼图像中匹配的三X组合标记，应当具有相同的标记类型(即同为W类或同为B类)；

第二，立体匹配的左、右眼图像中的三X组合标记，三个匹配的角点顺序相同，且三个角点同时满足极线约束；

第三，利用三角测量原理，重建三X组合标记中每个X角点(即角点A、B、C)的空间位置。三X组合标记的空间位置由B点的空间位置代表，BA代表X轴，BC代表Y轴。

步骤16：将步骤15中检测出的三X组合标记的空间信息，与预先存储的三X组合标记进行匹配，识别出三X组合标记表示的目标。

所述步骤16具体包括：

步骤161：将空间三X角点组合标记预先存储的步骤。

具体为：步骤11中制作的三X组合标记，将其{Type，|AB|，|BC|}预先存储入数据表，并将与对应的物体作标记或标签标注。

步骤162：空间三X角点组合标记的识别的步骤。

具体为：将步骤15中检测出的三X组合标记的{Type，|AB|，|BC|}与数据表中的预先存储的三X组合标记逐一比对，计算向量[Type，|AB|，|BC|]距离，其中距离小于给定阈值且距离最小，其对应的物体或标签即为该三X组合标记代表的具体对象。

利用步骤16进行三X组合标记识别，具有如下特性：

第一，三X组合标记的尺寸、类型信息及对应的标签，已经输入到信息库当中作为已注册标记；

第二，将恢复的三X组合标记，将尺寸信息、类型信息与信息库当中的纪录相匹配，寻找距离最小的且距离在误差阈值内的匹配作为其识别结果；如果存在未有匹配结果，显示为未注册对象。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，包括：

A、按三X组合规则制作三X组合标记，将三X组合标记粘贴在待跟踪的目标上；所述的三X组合标记，满足如下条件：第一，数量性约束：由三个标准X角点组合而成；第二，相互位置约束：三个标准X角点共面但不共线；第三，正交性约束：向量AB与向量BC垂直正交；

B、利用双目立体相机系统获取包含三X组合标记的目标图像，设左眼图像为I_left，右眼图像为I_right；

C、在左眼图像和右眼图像中分别检测X角点的亚像素位置与规定的边缘方向；所述分别检测X角点，具有如下特性：第一，利用图像X角点周围环形采样序列具有4个台阶，4个对应的台阶点组成BW线和WB线；第二，检测的X角点在其小窗口邻域内具有较大的灰度差异；

D、在左、右眼图像中，分别根据三X角点的投影图像约束性质，由前一步骤中检测出的X角点的序列，检测三X组合标记并确定组合标记内三个X角点的顺序；得到的三X组合标记图像，具有如下特性：第一，图像中三X组合标记中A点在B点的WB线上，B点在A点的BW线上；同时B点在C点的WB线上，C点在B点的BW线上；第二，依据在线段AC上A点或C点的邻域灰度颜色来判定三X组合标记的类型；

E、在左、右眼图像中进行三X组合标记的立体匹配，由立体匹配确定三X组合标记的空间位置与姿态；所述进行三X组合标记立体匹配与确定其空间位置与姿态，具有如下特性：第一，立体匹配时利用左、右眼图像中匹配的三X组合标记，应当具有相同的标记类型；第二，立体匹配的左、右眼图像中的三X组合标记，三个匹配的角点顺序相同，且三个角点同时满足极线约束；第三，利用三角测量原理，重建三X组合标记中每个X角点的空间位置；

F、将前一步骤中检测出的三X组合标记的空间信息，与预先存储的三X组合标记进行匹配，识别出三X组合标记表示的目标，具有如下特性：第一，三X组合标记的尺寸、类型信息及对应的标签，已经输入到信息库当中作为已注册标记；第二，将恢复的三X组合标记，尺寸信息、类型信息与信息库当中的纪录相匹配，寻找距离最小的且距离在误差阈值内的匹配作为其识别结果；如果存在未有匹配结果，显示为未注册对象。

2.根据权利要求1所述基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，步骤A所述按三X组合规则制作三X组合标记，还包括：

A1、定义X角点的位置与方向的步骤；其中，所述X角点是由4个黑白相邻的小块组成的标记，BW线、WB线是正对X角点标记，以X角点为中心，按照逆时针方向定义发生跃变的边界线；规定WB线与BW线的交点为X角点的精确位置，WB线与BW线的方向为X角点规定的边缘方向；

A2、定义三X组合标记的组合规则的步骤；具体为：将三个标准X角点按照如下规则组合成一个三X组合标记；所述的组合规则为：

其一，三个X角点在同一个平面内；

其二，编号为角点A的第一个X角点的BW线与编号为角点B的第二个角点的WB线共线；第二个X角点的BW线与编号为角点C的第三个X角点的WB线共线。

3.根据权利要求1所述基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，步骤C所述在左眼图像和右眼图像中分别检测X角点的亚像素位置与规定的边缘方向，具体包括：

C1、检测X角点的步骤；在对图像进行滤波处理后，从图像左上像素(r,r)开始，以间隔r行、r列方式对图像进行栅格式扫描；其中r为采样窗口半径，r小于X角点中心到边缘的像素距离；

C2、检测X角点边缘方向的步骤；具体为：检测A'、B'、C'和D'4个像素点的亚像素位置，记为A”、B”、C”和D”；如果A'对应Gradient梯度大于0，则令L_BW为过A”和C”的直线，L_WB为过B”和D”的直线；否则令L_WB为过A”和C”的直线，L_BW为过B”和D”的直线，L_BW和L_BW在图像中的方向即为X角点的边缘方向；

C3、检测X角点亚像素位置的步骤；具体为：由L_BW和L_BW计算出交点位置即为X角点的亚像素位置。

4.根据权利要求3所述基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，步骤C1所述检测X角点的步骤，具体包括：以每个栅格扫描点为中心：

C11、进行方形窗口采样，设方形窗口边长为a＝2*r+1，采样像素共计8r个，逆时针顺序排成一列，计为Gray[8r]；

C12、统计Gray[8r]的平均像素灰度为

设置阈值

其中ΔG为调整灰度；

C13、将Gray[8r]进行阈值化操作，得到：

C14、计算Gray[8r]的梯度Gradient[8r]：

C15、Gradient[8r]中不为零的位置即为边缘位置，统计Gradient[8r]中所有边缘位置个数，如果边缘个数不为4，说明扫描窗口中不可能包含X角点，该扫描点处理结束，开始处理下一扫描点；如果边缘个数为4，继续往下进行排除；

C16、记录Gradient[8r]中4个边缘对应的像素点依次为A、B、C、D；设L1为由A、C两点确定的直线，L2为B、D两点确定的直线；X_Candi为L1与L2相交的像素点；

C17、统计以X_Candi为中心的3*3窗口内邻域8像素的最大灰度与最小灰度之间差值，如果差值小于给定差值ΔG_center,则该点非X角点，结束该扫描点处理，处理下一扫描点；否则进行下一步操作；

C18、以X_Candi为中心，执行步骤C11～步骤C15的操作，记录4个台阶位置对应的像素为A'、B'、C'和D'。

5.根据权利要求1所述基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，步骤D所述在左、右眼图像中检测三X角点组合标记具体包括如下步骤：

D1、在图像中检出的X角点集合中，依次取角点X_temp1，直到遍历完后结束；

D2、在X角点集合中依次检测除角点X_temp1之外是否有一X角点在其BW线上或WB线上；如果找到，记为X_temp2，执行下一步即步骤D3；否则，返回步骤D1；

D3、如果有一个角点X_temp2在其BW线或WB线上，检查X_temp1是否在角点X_temp2的WB线/BW线上；如果否，则跳过X_temp2，返回步骤D2；否则进入下一步即步骤D4；

D4、如果X_temp2在X_temp1的BW线上，则交换X_temp2和X_temp1；否则X_temp2在X_temp1的WB线上，保持不变；

D5、在X角点集合中，除了X_temp1和X_temp2之外，依次检测是否有角点X_temp3落在X_temp1的BW线上或者X_temp2的WB线上；如果有，则进入下一步即步骤D6，如果没有则返回步骤D1；

D6、如果角点X_temp3落在X_temp1的BW线上，则检查角点X_temp1是否落在X_temp3的WB线上；否则，角点X_temp3落在X_temp2的WB线上，则检查角点X_temp2是否落在X_temp3的BW线上；如果检查未通过，则跳过，返回步骤D5；如果检查通过，则进入下一步即步骤D7；

D7、如果角点X_temp3落在X_temp1的BW线上，同时角点X_temp1落在X_temp3的WB线上，则A＝X_temp3,B＝X_temp1,C＝X_temp2；否则，A＝X_temp1,B＝X_temp2,C＝X_temp3；

D8、将A、B、C三个X角点组合成三X组合标记TriX(A,B,C)，放入三X组合标记集合，依据在线段AC之上A点或C点的邻域灰度颜色来判定三X组合标记的类型：如为白色，则该三X组合标记为W类三X组合标记；如果为黑色，则该三X组合标记为B类三X组合标记；

D9、将A、B、C三个X角点从X角点集合中移除，返回步骤D1。

6.根据权利要求1所述基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，步骤E所述在左、右眼图像中进行三X组合标记的立体匹配，具体包括：

E1、在左眼图像检出的三X组合标记中，依次取出三X组合标记TriX_temp1，直至遍历完后，进入步骤E7；

E2、在右眼图像中三X组合标记集合中，依次取出三X组合标记TriX_temp2，直至遍历完，返回步骤E1；

E3、检查TriX_temp2是否与TriX_temp1类型相同，如果相同进入下一步即步骤E14，否则返回步骤E2；

E4、检查TriX_temp2与TriX_temp1的三个角点，是否都满足极线约束关系，如果都满足则进入下一步即步骤E5，否则返回步骤E2；

E5、TriX_temp1与TriX_temp2的是匹配的组合标记，组合成立体匹配<TriX_temp1，TriX_temp2>放入立体匹配集合中；

E6、TriX_temp1与TriX_temp2的分别从左右眼图像三X组合标记集合中移除，返回步骤E1。

7.根据权利要求1所述基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，步骤E所述由立体匹配确定三X组合标记的空间位置与姿态的过程，具体为：

设以左眼相机坐标系为世界坐标系下的左眼相机的投影矩阵，经相机标定为P_left，右眼相机的投影矩阵，经相机标定为P_right；由三X组合标记立体匹配集合{<TriX_left，TriX_right>}，对其中的每一个立体匹配<TriX_left，TriX_right>，由对应的角点匹配<A_left，A_right><B_left，B_right>和<C_left，C_right>，基于三角测量原理，结合左右眼标定投影矩阵，确定对应标记点A、B、C的空间坐标。

8.根据权利要求1所述基于三X组合标记的空间目标检测识别与位姿跟踪方法，其特征在于，所述步骤F包括：

F1、将空间三X角点组合标记预先存储的步骤，具体为：将步骤A中制作的三X组合标记，将其{Type，|AB|，|BC|}预先存储入数据表，并将与对应的物体作标记或标签标注；

F2、空间三X角点组合标记的识别的步骤；具体为：将步骤E中检测出的三X组合标记的{Type，|AB|，|BC|}与数据表中的预先存储的三X组合标记逐一比对，计算向量[Type，|AB|，|BC|]距离，其中距离小于给定阈值且距离最小，其对应的物体或标签即为该三X组合标记代表的具体对象。

Images