CN111932565A - 一种多靶标识别跟踪解算方法 - Google Patents

Abstract

本发明涉及一种多靶标识别跟踪解算方法，包括以下步骤：安装靶标，左右相机采集图像，定位靶标感兴趣区域；在靶标感兴趣区域内提取左右两个靶标的标志点；根据极线约束与单应性变换，匹配左右图像靶标点；记录本次跟踪识别得到的靶标标志点图像坐标；三坐标计量靶标点云Q，双目视觉重建靶标三维点云P，遍历点云P与点云Q，各自随机取出3点构成空间三角形，通过比较是否是全等三角形，实现点云P与点云Q对应点的匹配；根据重建点云与靶标点云对应结果，解算靶标的相对姿态矩阵。本发明可实现多个靶标的实时跟踪识别解算，定位精度高，提供了一种适用于多个靶标工作系统的靶标识别解算的新途径。

Description

一种多靶标识别跟踪解算方法

技术领域

本发明涉及自动化装配领域，具体地说是一种多靶标识别跟踪解算方法。

背景技术

在航空航天的对接装配项目中，都需要解算空间中对接目标的相对位姿，传递调节量至调节机构，实现自动化装配。转接靶标是通过转接结构与被测物体刚性连接，带有明确检测特征的靶标。转接靶标能够主动或者被动地提供空间中不同物体的相对位姿和相对运动信息，被广泛应用于航空航天的自动化对接装配系统，其中转接靶标的测量精度、实时性，测量系统的自动化程度，对于装配效率至关重要。上海大学的姚立洲等人在对接位置放置基准光学靶标，通过激光跟踪仪测量每个靶标点的实际位置，解算靶标相对位姿，由于激光跟踪仪每次测量只能获得一个靶标点的坐标，因此无法实现实时跟踪测量解算，且成本较高操作繁琐。北京航空航天大学的赵树磊等人提出使用基于TOF相机的识别在对接位置的转接靶标，解算相对姿态，但TOF相机获取的深度值存在边角畸变和精度偏移的问题，不适用于高精度三维重建场景。

发明内容

针对现有技术存在上述不足之处，本发明要解决的技术问题是提供一种多靶标识别跟踪解算方法，实时跟踪并区分视场内的多个靶标，解算相对姿态。本方法提出一种多靶标识别跟踪解算方法，应用于基于双目视觉的舱段对接系统，并联平台作为装配机构，靶标转接面是圆弧结构与靶标平面垂直，转接靶标通过转接面与舱段端面通过定位销和定位孔连接，靶标平面面向相机。双目视觉跟踪识别转接靶标，解算对接面相对姿态，传递调整量给并联平台，实现自动化高精度对接过程。在满足舱段对接精度和可靠性要求的情况下，提高了装配效率及质量。

本发明为实现上述目的所采用的技术方案是：一种多靶标识别跟踪解算方法，包括以下步骤：

S1：面向靶标的左、右相机分别采集含有靶标的左、右图像，在左、右图像上分别定位靶标的感兴趣区域；

S2：分别在左、右图像的感兴趣区域内，提取靶标的标志点；

S3：根据极线约束与单应性变换，匹配左、右图像中靶标的标志点坐标，得到匹配点对的集合，分割无序的匹配点对为对应于左、右图像的左靶标标志点匹配点对、对应于左、右图像的右靶标标志点匹配点对；

S4：通过三坐标计量得到左、右靶标标志点三维点云分别为Q1、Q2，根据左、右靶标标志点匹配点，双目重建左、右靶标标志点三维点云分别为P1、P2，通过点云P1与点云Q1对应点、点云P2与点云Q2对应点的匹配，实现左、右靶标的双目重建三维点云与三坐标计量的三维点云的对应；

S5：根据左、右靶标的双目重建点云与三坐标计量的点云的对应结果，分别解算左、右靶标与相机的变换关系，从而得到左、右靶标的相对姿态矩阵。

所述面向靶标的左、右相机分别采集含有靶标的左、右图像，在左、右图像上分别定位靶标的感兴趣区域，包括以下步骤：

设定搜索窗口的边长尺寸大于对应的靶标边长尺寸；

在搜索窗口内采用canny检测出所有椭圆，并采用最小二乘拟合椭圆中心坐标；统计搜索窗口内检测的椭圆个数，如果椭圆个数小于标志点个数N，则当前搜索窗口不包含靶标，搜索窗口移动设定步长，并返回在搜索窗口内采用canny检测出所有椭圆步骤；否则，判断椭圆的分布，并更新搜索窗口；

将更新后的搜索窗口分别遍历左、右图像，在左、右图像内对包含靶标的搜索窗口取并集，保留搜索窗口内容，其他区域像素灰度值全部置0，实现左、右图像内靶标的感兴趣区域的确定。

所述靶标上有N个标志点，分布关系为：有一组共线的n1个点，两组共线的n2个点，其中共线n2个点与共线n1个点的公共点是靶标坐标原点O；n1>n2，且n1+n2+n2＝N；共线的n1个点所在直线与一条共线的n2个点所在直线垂直。

所述判断椭圆的分布，并更新搜索窗口，包括以下步骤：

f.遍历搜索窗口内检测到的椭圆，统计在搜索窗口内的椭圆个数，如果椭圆个数小于N个，则当前搜索窗口不包含靶标板；如果不小于N个，执行b；

g.查找一组共线n1个点，即n1个点中所有相邻两个点间距、任意两个间距差小于阈值；如果不存在，则当前搜索窗口不包含靶标；若存在，执行c；

h.取共线n1个点的首尾点作为候选靶标坐标原点，搜索是否存在其他(n2-1)个点与候选靶标坐标原点共线，且与共线n1个点拟合的直线垂直；若不存在，则当前搜索窗口不包含靶标；若存在，则该候选靶标坐标原点为靶标坐标原点，执行d；

i.共线的n1个点形成的线段、其他(n2-1)个点与靶标坐标原点形成的线段，分别构成矩形的相邻两条边，相邻两条边的三个端点依次作为矩形的三个顶点A、O、B坐标，其中靶标坐标原点为O；获取矩形对角线交点C坐标，以及对角线AB的距离，得到矩形余下的顶点D的坐标，对ABOD的坐标进行行列排序，得到包含N个椭圆的包围矩形；将ABOD的坐标均沿对角线方向向外延伸设定像素距离，得到新顶点A1、B1、O1、D1，得到完全包含N个椭圆的包围矩形；执行e；

j.根据获得的包含N个椭圆即标志点的包围矩形，将当前搜索窗口尺寸更新为包围矩形尺寸。

所述分别在左、右图像的感兴趣区域内，提取靶标的标志点，包括：

分别对左、右图像的靶标感兴趣区域进行以下处理：

1)采用Canny算子提取左、右图像的靶标感兴趣区域内的边缘；

2)求取满足如下条件的椭圆区域；

椭圆边缘L长度满足：L_down≤L≤L_up，L_down为阈值下限，L_up为阈值上限；椭圆长短半轴比满足：(a/b)≤r_axis，r_axis为长轴与短轴的比值阈值，其中，a为长半轴，b为短半轴；

椭圆圆度比满足：(Area/max∧2*pi)>r_circularity,r_circularity为椭圆圆度的比值阈值，其中Area为椭圆面积，max为圆心到椭圆边缘最大距离。

3)采用最小二乘方法对椭圆进行拟合，获取椭圆圆心坐标；

4)以椭圆圆心坐标为中心，取完全包含椭圆的矩形框作为感兴趣区域ROI，在ROI内识别椭圆亚像素边缘；

5)采用最小二乘方法对椭圆亚像素边缘进行拟合，获取圆心坐标，即标志点的图像坐标。

所述根据极线约束与单应性变换，匹配左、右图像中靶标的标志点坐标，得到匹配点对的集合，分割无序的匹配点对为对应于左、右图像的左靶标标志点匹配点对、对应于左、右图像的右靶标标志点匹配点对，包括以下步骤：

获取左、右图像中各自的2N个标志点坐标；将左图像的标志点坐标与右图像的标志点坐标进行对极线匹配，得到候选点对；

遍历候选点对，每次任意选择4组点并得到相应的单应矩阵H，要求这4组点在左右图像上均不共线；

遍历计算得到的所有单应矩阵，左图像的某标志点坐标经某单应矩阵H得到的结果，若与右图像的某标志点坐标的像素距离小于设定值，则左图像的所述标志点坐标与右图像的所述标志点坐标为正确匹配；遍历去除掉已经正确匹配过的左右图像的标志点，获得所有匹配点对，构成匹配点对的集合U；

遍历U，每次从U中任意选择4个匹配点对，并得到相应的单应性变换H’，要求这4个匹配点对在左右图像上均不共线，而且在左右图像上的像素距离均不小于设定值；

左图像的N个标志点坐标经某单应矩阵H’得到的结果，与右图像的N个标志点坐标的像素距离小于设定阈值，则左图像标志点和右图像标志点匹配成功，停止遍历，并将集合U中，左图像N个标志点与匹配成功的右图像N个标志点一一对应，构成N组匹配标志点对，并将此N组匹配标志点对的集合作为U1，其余的匹配标志点对的集合作为U2；实现了左靶标标志点和右靶标标志点在左、右图像上的图像坐标的区分配对；

分别计算U1、U2中匹配标志点对对应的左图像的像素点的重心坐标p₁、p₂，分别获取p₁、p₂在左图像内的位置，若p₁的x坐标小于p₂的x坐标，则U1为左靶标标志点匹配点对集合，U2为右靶标标志点匹配点对集合；否则，U1为右靶标标志点匹配点对集合，U2为左靶标标志点匹配点对集合。

7.根据权利要求1所述的一种多靶标识别跟踪解算方法，其特征在于，步骤S3后且S4前，执行以下步骤：

保存左、右图像的靶标标志点坐标；

在动态图像的获取中，取单个完全包围标志点的矩形框作为局部ROI，在局部ROI内识别标志点的中心坐标。

所述通过三坐标计量得到左、右靶标标志点三维点云分别为Q1、Q2，根据左、右靶标标志点匹配点，双目重建左、右靶标标志点三维坐标分别为P1、P2，通过点云P1与点云Q1对应点、点云P2与点云Q2对应点的匹配，实现左、右靶标的双目重建点云与三坐标计量的点的对应，包括以下步骤：

通过三坐标计量得到左、右靶标标志点点云分别为Q1、Q2，并获取各个靶标的自身坐标系；

遍历双目重建得到的左靶标标志点的三维坐标点云P1，任取3个不在同一直线的空间点构成三角形A，从点云Q1中任取3个不在同一直线的空间点构成三角形B，一旦A与B是全等且不是等边、等腰三角形，则确定这3个点的对应顺序即完成这3个点的匹配，直至点云Q1的点全部在点云P1中找到对应点生成新的点云P_q1，点云P_q1是对点云P1的重排列使之与点云Q1的点一一对应；

遍历双目重建得到的右靶标标志点的三维坐标点云P2，任取3个不在同一直线的空间点构成三角形A’，从点云Q2中任取3个不在同一直线的空间点构成三角形B’，一旦A’与B’是全等且不是等边、等腰三角形，则确定这3个点的对应顺序即完成这3个点的匹配，直至点云Q2的点全部在点云P2中找到对应点生成新的点云P_q2，点云P_q2是对点云P2的重排列使之与点云Q2的点一一对应。

所述根据各自靶标的双目重建点云与三坐标计量的点的对应结果，分别解算各自靶标与相机的变换关系，从而解算靶标的相对姿态矩阵，包括：

通过SVD分解求取左、右靶标坐标系分别与相机坐标系的变换矩阵T1、T2，关系如下：

P1＝T1*Q1

P2＝T2*Q2

求取两个靶标的相对姿态矩阵Tobj，即点云Q1与点云Q2的相对姿态：

Tobj＝(T1)^-1*T2。

本发明具有以下有益效果及优点：

1.本发明方法为多个转接靶标跟踪识别解算提供了一种新的技术手段，测量精度高、能够实时跟踪测量靶标，实时获取转接靶标相对位姿态。

2.本发明方法仅基于双目系统与光源，成本较低，测量过程自动化，操作简单方便。

3.本发明方法也可用于其他飞机、机车等对接装配系统的多个转接靶标跟踪识别解算，具有较好的普适性和推广价值。

附图说明

图1本发明方法流程图；

图2a本发明方法采用的靶标设计图；

图2b本发明方法采用的靶标的标志点几何分布说明图；

图2c本发明方法搜索靶标板感兴趣区域过程示意图；

图3a本发明方法中的实际采集图像；.

图3b本发明方法中的搜索靶标板感兴趣区域结果图；

图4本发明方法中的双目视觉重建原理图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图3a所示，两个靶标分别设于放置于固定架车、并联平台的两个对接舱段对接面上，其中并联平台上的对接舱段作为调节移动端。两个靶标并列设置，且两个靶标平面与各自的对接舱轴线平行。

如图1所示，本发明一种多靶标识别跟踪解算方法包括如下步骤：

安装靶标，左右相机采集图像(包含两个靶标)，在左右图像上自动定位靶标板的感兴趣区域；

左右图像分别在各自靶标板感兴趣区域内提取筛选各自图像上的左右两个转接靶标的标志点；

根据极线约束与单应性变换，匹配左右图像的靶标标志点坐标，得到匹配点对的集合，并分割无序的匹配点对为左靶标匹配点对、右靶标匹配点对；

保存本次跟踪识别得到的左右图像的左右靶标标志点图像坐标，下次跟踪识别时，根据本次保存的图像坐标，取包围单个标志点的局部ROI，在局部ROI内识别标志点的中心坐标并保存；

三坐标计量左右靶标标志点点云Q1、Q2，根据左右靶标匹配点，双目重建左右靶标标志点三维坐标P1、P2，遍历点云P1与点云Q1，各自随机取出3点构成空间三角形，通过比较是否是全等三角形，实现点云P1与点云Q1对应点的匹配，遍历点云P2与点云Q2，重复进行该过程，从而实现各自靶标的双目重建点云与三坐标计量的点的对应；

根据各自靶标的双目重建点云与三坐标计量的点云的对应结果，分别解算各自靶标与相机的变换关系，从而解算靶标的相对姿态矩阵。

以下就图1中的几个关键步骤作详细说明：

1.在图像内搜索靶标板的感兴趣区域：

根据靶标板边长在图像内所占像素大小为宽为600-750个像素大小，高为750-850个像素大小，因此选择850*950像素大小的矩形框作为搜索窗口，像素坐标(10,10)作为搜索起点，移动步长为30，方便实现图像的全覆盖。

在搜索窗口内canny粗定位粗筛选所有可能的椭圆，并最小二乘拟合椭圆中心坐标。如图2a、图2b，靶标有10个标志点，分布关系为：有一组共线的4点，两组共线的3点，其中共线3点与共线4点的公共点是靶标板的坐标原点O。

统计搜索框内检测的椭圆个数，如果小于10，则当前搜索窗口不包含靶标板，搜索向下进行。

当检测椭圆个数大于等于10时，判断椭圆点的分布，步骤如下：

a.找到符合要求的一组共线4点，即点间距大致相同，排除存在干扰点满足共线4点的特殊情况，如果不存在共线4点，则当前搜索窗口不包含靶标板；

b.在满足a条件下，取共线4点的首尾点作为候选靶标坐标原点，搜索是否存在其他两点与候选坐标原点共线，且与共线4点拟合直线垂直，若搜索失败，则当前搜索窗口不包含靶标板；

c.在满足b条件下，根据矩形的对角线相等且平分，如图2c，已知矩形的三个顶点A、B、O坐标，可计算出对角线交点C坐标、对角线AB的距离，则可计算理论上矩形余下的顶点D的坐标，对ABOD的坐标进行行列排序，可以得到理论上包含10个椭圆靶标点的包围矩形。为了确定得到可以完全包围靶标点的包围矩形，ABOD的坐标均沿外侧45度方向扩展150个像素，得到新顶点A1、B1、O1、D1，得到完全包含10个椭圆靶标点的包围矩形，遍历搜索窗口内检测到的椭圆，统计在包围矩形内的椭圆个数，如果小于10个，则当前搜索窗口不包含靶标板；

d.在满足c条件下，已获得包含靶标点10个椭圆的包围矩形，当前搜索窗口从默认的800*900像素更新为包围矩形大小。

图像遍历，对满足要求的搜索框取并集，实现图像内靶标板的感兴趣区域的确定，搜索结果如图3a、图3b。

2.在靶标板感兴趣区域内提取筛选左右两个转接靶标的标志点：

对左右相机图像确定的靶标板感兴趣区域均进行以下a、b、c、d、e步骤处理：

a.采用Canny算子提取图像边缘；

b.求取满足如下条件的椭圆区域；

椭圆边缘L长度满足：L_down≤L≤L_up，L_down为阈值下限，L_up为阈值上限；椭圆长短半轴比满足：(a/b)≤r_axis，r_axis为长轴与短轴的比值阈值，其中，a为长半轴，b为短半轴；

椭圆圆度比满足：(Area/max∧2*pi)>r_circularity,r_circularity为椭圆圆度的比值阈值，其中Area为椭圆面积，max为圆心到椭圆边缘最大距离。

c.采用最小二乘方法对椭圆进行拟合，计算圆心坐标；

d.以标志点椭圆圆心坐标为中心，取完全包含标志点的矩形框作为感兴趣区域ROI，在ROI内识别标志点亚像素边缘；

e.采用最小二乘方法对标志点亚像素边缘进行拟合，计算圆心坐标，即标志点的精确图像坐标。

3.根据极线约束与单应性变换，匹配左右图像的转接靶标的标志点：

设p₂为右图像中的任一点，L_1eft为p₂在左图像中对应的对极线，则p₂在左图像中的匹配点p₁应位于L_left上，则p₁与p₂是一对匹配点。

由于极线约束可能存在误匹配的情况，因此通过极线约束匹配的点对只能作为候选点对。由于转接靶标标志点处于同一平面上，双目视觉系统可抽象为同一相机在不同的位姿得到同一平面的靶标图像，这两个平面之间存在单应性变换。

通过匹配点计算单应矩阵，两图像点p₁(x₁,y₁)与p₂(x₂,y₂)是一对匹配点，单应矩阵为H，则有：

p₂＝Hp₁ (1)

展开得到：

可做如下变换：

另h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,H₃₃)^T，h单应矩阵H矩阵拉直后的列向量，单应矩阵H是其次矩阵，上式可改写为：

其中，

一对匹配点可以得到上式，其中H有8个未知量，即至少4对匹配点(任意3点不共线)可解算出单应矩阵H。

遍历极线约束匹配得到的候选点对，从中任意选择4组点，计算相应的单应矩阵，要求这4组点在左右图像上均不共线。

左相机靶标点某点坐标经过某单应变换，应该与右相机靶标点某坐标对应。遍历计算得到的单应矩阵，当所有靶标点一一对应，则左右相机的靶标标志点完成正确匹配，得到匹配点对的集合U＝{(p₁,q₁),…,(p_i,q_i),…(p_n,q_n)}，(p_i,q_i)是一对匹配点，p_i是第i个匹配点对中左相机下的靶标坐标，q_i是第i个匹配点对中右相机下的靶标坐标，i＝1,2…20。n表示匹配点对个数，为20。

由于左右靶标合计20个靶标点，而匹配点对是无序的，需要正确区分出左右靶标各自对应的10个靶标点匹配点对。

遍历U，从U中任意选择4个匹配点对，要求这4个匹配点对对应的左、右图像的像素点不在一条直线上，同时在左右图像上的像素点间的像素距离不小于550，计算单应性变换H，再次遍历U，计算匹配点对对应的左图像的像素点经过H的变换与右图像的像素点距离小于5个像素的数量，如果数量是10个，则停止遍历，实现匹配点对的集合U分割成两个集合U1、U2，分别包含10个匹配点对，U1＝{(p₁,q₁),…,(p_i,q_i),…(p₁₀,q₁₀)}，i＝1,2…10，U2＝{(p₁,q₁),…,(p_i,q_i),…(p₁₀,q₁₀)}，i＝1,2…10。

由于视场内靶标是成左右分布的，分别计算U1、U2中匹配标志点对对应的左图像的像素点的重心坐标p₁、p₂，分别获取p₁、p₂在左图像内的位置，若p₁的x坐标小于p₂的x坐标，则U1为左靶标标志点匹配点对集合，U2为右靶标标志点匹配点对集合；否则，U1为右靶标标志点匹配点对集合，U2为左靶标标志点匹配点对集合。

4.保存本次跟踪识别得到的靶标标志点图像坐标，为下次跟踪识别提供信息：

因为转接靶标工作系统是连续测量系统，需要保证测量解算的效率，因此通过在整幅图像确定局部ROI的方法，减小运算量，提高效率。

保存本次跟踪识别得到的左右图像的靶标标志点椭圆圆心图像坐标。下次跟踪识别时，以上次的保存结果为几何中心，取包围单个标志点椭圆的矩形框作为局部ROI，在局部ROI内识别标志点椭圆的中心坐标，保存结果为下次跟踪识别提供信息。

5.三坐标计量左右靶标标志点点云Q1、Q2，根据左右靶标匹配点，双目重建左右靶标标志点三维坐标P1、P2，遍历点云P1与点云Q1，各自随机取出3点构成空间三角形，通过比较是否是全等三角形，实现点云P1与点云Q1对应点的匹配，遍历点云P2与点云Q2，重复进行该过程，从而实现各自靶标的双目重建点云与三坐标计量的点的对应：

三坐标计量两个靶标标志点点云Q1、Q2，构建各个靶标的自身坐标系。双目重建得到的两个靶标标志点的三维坐标点云P1、P2。如图4所示，通过空间任意点p在左右图像成点p1、p2的坐标、基线距离B、相机内外参，能够重建p的三维坐标。

遍历三维点云P1，任取3个不在同一直线的空间点构成三角形A，从点云Q1中任取3个不在同一直线的空间点构成三角形B，一旦A与B是全等且不是等边三角形，则可确定这3个点的对应顺序即完成这3个点的匹配，同时点云P1、Q1去掉已经匹配的3个点。重复进行，直至点云Q1的点全部在点云P1中找到对应点生成新的点云P_q1，点云P_q1是对点云P1的重排列使之与点云Q1的点一一对应。

同样的过程，完成点云Q2在点云P2中找到对应点生成新的点云P_q2。

6.根据各自靶标的双目重建点云与三坐标计量的点的对应结果，分别解算各自靶标与相机的变换关系，从而解算靶标的相对姿态矩阵：

通过点云P_q1与Q1匹配，点云P_q2与Q2匹配的关系，通过SVD(奇异值分解)分解计算各自靶标坐标系与相机坐标系的变换矩阵T1、T2，关系如下：

P1＝T1*Q1 (7)

P2＝T2*Q2 (8)

则可计算两个靶标的相对姿态矩阵Tobj，即点云Q1与点云Q2的相对姿态。

Tobj＝(T1)^-1*T2 (9)

得到两个靶标的相对姿态矩阵，即获得两个靶标的相对姿态，将相对姿态矩阵分解成旋转矩阵与平移矩阵，同时把旋转矩阵换算成欧拉角，共同发送至并联平台调节机构，用于控制移动端完成调节，实现两个舱体的对接。

综上所述，本发明方法提供了一种多个转接靶标实时跟踪识别解算方法，能够广泛应用与多转接靶标工作场景。

Claims (9)

1.一种多靶标识别跟踪解算方法，其特征在于，包括以下步骤：

S1：面向靶标的左、右相机分别采集含有靶标的左、右图像，在左、右图像上分别定位靶标的感兴趣区域；

S2：分别在左、右图像的感兴趣区域内，提取靶标的标志点；

S3：根据极线约束与单应性变换，匹配左、右图像中靶标的标志点坐标，得到匹配点对的集合，分割无序的匹配点对为对应于左、右图像的左靶标标志点匹配点对、对应于左、右图像的右靶标标志点匹配点对；

S4：通过三坐标计量得到左、右靶标标志点三维点云分别为Q1、Q2，根据左、右靶标标志点匹配点，双目重建左、右靶标标志点三维点云分别为P1、P2，通过点云P1与点云Q1对应点、点云P2与点云Q2对应点的匹配，实现左、右靶标的双目重建三维点云与三坐标计量的三维点云的对应；

S5：根据左、右靶标的双目重建点云与三坐标计量的点云的对应结果，分别解算左、右靶标与相机的变换关系，从而得到左、右靶标的相对姿态矩阵。

2.根据权利要求1所述的一种多靶标识别跟踪解算方法，其特征在于，所述面向靶标的左、右相机分别采集含有靶标的左、右图像，在左、右图像上分别定位靶标的感兴趣区域，包括以下步骤：

设定搜索窗口的边长尺寸大于对应的靶标边长尺寸；

在搜索窗口内采用canny检测出所有椭圆，并采用最小二乘拟合椭圆中心坐标；统计搜索窗口内检测的椭圆个数，如果椭圆个数小于标志点个数N，则当前搜索窗口不包含靶标，搜索窗口移动设定步长，并返回在搜索窗口内采用canny检测出所有椭圆步骤；否则，判断椭圆的分布，并更新搜索窗口；

将更新后的搜索窗口分别遍历左、右图像，在左、右图像内对包含靶标的搜索窗口取并集，保留搜索窗口内容，其他区域像素灰度值全部置0，实现左、右图像内靶标的感兴趣区域的确定。

3.根据权利要求2所述的一种多靶标识别跟踪解算方法，其特征在于，所述靶标上有N个标志点，分布关系为：有一组共线的n1个点，两组共线的n2个点，其中共线n2个点与共线n1个点的公共点是靶标坐标原点O；n1>n2，且n1+n2+n2＝N；共线的n1个点所在直线与一条共线的n2个点所在直线垂直。

4.根据权利要求2所述的一种多靶标识别跟踪解算方法，其特征在于，所述判断椭圆的分布，并更新搜索窗口，包括以下步骤：

a.遍历搜索窗口内检测到的椭圆，统计在搜索窗口内的椭圆个数，如果椭圆个数小于N个，则当前搜索窗口不包含靶标板；如果不小于N个，执行b；

b.查找一组共线n1个点，即n1个点中所有相邻两个点间距、任意两个间距差小于阈值；如果不存在，则当前搜索窗口不包含靶标；若存在，执行c；

c.取共线n1个点的首尾点作为候选靶标坐标原点，搜索是否存在其他(n2-1)个点与候选靶标坐标原点共线，且与共线n1个点拟合的直线垂直；若不存在，则当前搜索窗口不包含靶标；若存在，则该候选靶标坐标原点为靶标坐标原点，执行d；

d.共线的n1个点形成的线段、其他(n2-1)个点与靶标坐标原点形成的线段，分别构成矩形的相邻两条边，相邻两条边的三个端点依次作为矩形的三个顶点A、O、B坐标，其中靶标坐标原点为O；获取矩形对角线交点C坐标，以及对角线AB的距离，得到矩形余下的顶点D的坐标，对ABOD的坐标进行行列排序，得到包含N个椭圆的包围矩形；将ABOD的坐标均沿对角线方向向外延伸设定像素距离，得到新顶点A1、B1、O1、D1，得到完全包含N个椭圆的包围矩形；执行e；

e.根据获得的包含N个椭圆即标志点的包围矩形，将当前搜索窗口尺寸更新为包围矩形尺寸。

5.根据权利要求1所述的一种多靶标识别跟踪解算方法，其特征在于，所述分别在左、右图像的感兴趣区域内，提取靶标的标志点，包括：

分别对左、右图像的靶标感兴趣区域进行以下处理：

1)采用Canny算子提取左、右图像的靶标感兴趣区域内的边缘；

2)求取满足如下条件的椭圆区域；

椭圆边缘L长度满足：L_down≤L≤L_up，L_down为阈值下限，L_up为阈值上限；椭圆长短半轴比满足：(a/b)≤r_axis，r_axis为长轴与短轴的比值阈值，其中，a为长半轴，b为短半轴；

椭圆圆度比满足：(Area/max∧2*pi)>r_circularity,r_circularity为椭圆圆度的比值阈值，其中Area为椭圆面积，max为圆心到椭圆边缘最大距离。

3)采用最小二乘方法对椭圆进行拟合，获取椭圆圆心坐标；

4)以椭圆圆心坐标为中心，取完全包含椭圆的矩形框作为感兴趣区域ROI，在ROI内识别椭圆亚像素边缘；

5)采用最小二乘方法对椭圆亚像素边缘进行拟合，获取圆心坐标，即标志点的图像坐标。

6.根据权利要求1所述的一种多靶标识别跟踪解算方法，其特征在于，所述根据极线约束与单应性变换，匹配左、右图像中靶标的标志点坐标，得到匹配点对的集合，分割无序的匹配点对为对应于左、右图像的左靶标标志点匹配点对、对应于左、右图像的右靶标标志点匹配点对，包括以下步骤：

获取左、右图像中各自的2N个标志点坐标；将左图像的标志点坐标与右图像的标志点坐标进行对极线匹配，得到候选点对；

遍历候选点对，每次任意选择4组点并得到相应的单应矩阵H，要求这4组点在左右图像上均不共线；

遍历计算得到的所有单应矩阵，左图像的某标志点坐标经某单应矩阵H得到的结果，若与右图像的某标志点坐标的像素距离小于设定值，则左图像的所述标志点坐标与右图像的所述标志点坐标为正确匹配；遍历去除掉已经正确匹配过的左右图像的标志点，获得所有匹配点对，构成匹配点对的集合U；

遍历U，每次从U中任意选择4个匹配点对，并得到相应的单应性变换H’，要求这4个匹配点对在左右图像上均不共线，而且在左右图像上的像素距离均不小于设定值；

左图像的N个标志点坐标经某单应矩阵H’得到的结果，与右图像的N个标志点坐标的像素距离小于设定阈值，则左图像标志点和右图像标志点匹配成功，停止遍历，并将集合U中，左图像N个标志点与匹配成功的右图像N个标志点一一对应，构成N组匹配标志点对，并将此N组匹配标志点对的集合作为U1，其余的匹配标志点对的集合作为U2；实现了左靶标标志点和右靶标标志点在左、右图像上的图像坐标的区分配对；

分别计算U1、U2中匹配标志点对对应的左图像的像素点的重心坐标p₁、p₂，分别获取p₁、p₂在左图像内的位置，若p₁的x坐标小于p₂的x坐标，则U1为左靶标标志点匹配点对集合，U2为右靶标标志点匹配点对集合；否则，U1为右靶标标志点匹配点对集合，U2为左靶标标志点匹配点对集合。

7.根据权利要求1所述的一种多靶标识别跟踪解算方法，其特征在于，步骤S3后且S4前，执行以下步骤：

保存左、右图像的靶标标志点坐标；

在动态图像的获取中，取单个完全包围标志点的矩形框作为局部ROI，在局部ROI内识别标志点的中心坐标。

8.根据权利要求1所述的一种多靶标识别跟踪解算方法，其特征在于，所述通过三坐标计量得到左、右靶标标志点三维点云分别为Q1、Q2，根据左、右靶标标志点匹配点，双目重建左、右靶标标志点三维坐标分别为P1、P2，通过点云P1与点云Q1对应点、点云P2与点云Q2对应点的匹配，实现左、右靶标的双目重建点云与三坐标计量的点的对应，包括以下步骤：

通过三坐标计量得到左、右靶标标志点点云分别为Q1、Q2，并获取各个靶标的自身坐标系；

遍历双目重建得到的左靶标标志点的三维坐标点云P1，任取3个不在同一直线的空间点构成三角形A，从点云Q1中任取3个不在同一直线的空间点构成三角形B，一旦A与B是全等且不是等边、等腰三角形，则确定这3个点的对应顺序即完成这3个点的匹配，直至点云Q1的点全部在点云P1中找到对应点生成新的点云P_q1，点云P_q1是对点云P1的重排列使之与点云Q1的点一一对应；

遍历双目重建得到的右靶标标志点的三维坐标点云P2，任取3个不在同一直线的空间点构成三角形A’，从点云Q2中任取3个不在同一直线的空间点构成三角形B’，一旦A’与B’是全等且不是等边、等腰三角形，则确定这3个点的对应顺序即完成这3个点的匹配，直至点云Q2的点全部在点云P2中找到对应点生成新的点云P_q2，点云P_q2是对点云P2的重排列使之与点云Q2的点一一对应。

9.根据权利要求1所述的一种多靶标识别跟踪解算方法，其特征在于，所述根据各自靶标的双目重建点云与三坐标计量的点的对应结果，分别解算各自靶标与相机的变换关系，从而解算靶标的相对姿态矩阵，包括：

通过SVD分解求取左、右靶标坐标系分别与相机坐标系的变换矩阵T1、T2，关系如下：

P1＝T1*Q1

P2＝T2*Q2

求取两个靶标的相对姿态矩阵Tobj，即点云Q1与点云Q2的相对姿态：

Tobj＝(T1)^-1*T2。

Images