CN111815679B - 一种基于双目相机的空间目标特征点丢失期间轨迹预测方法 - Google Patents

Abstract

本发明公开了一种基于双目相机的空间目标特征点丢失期间轨迹预测方法，包括：S100，调整相机与目标的位置和姿态进行图像采样；S200，对图像进行预处理；S300：对目标区域进行特征点识别；S400，进行双目相机左右图像特征点匹配；S500，在后续图像中对选定特征点进行跟踪；S600，若发现特征点丢失，回溯到丢失前图像帧，与当前帧进行特征点匹配；S700，计算n个特征点前后两个时刻在相机坐标系空间位置；S800，计算特征点丢失前后两个时刻之间目标的相对姿态；S900，计算丢失特征点丢失前在相机坐标系空间位置，通过相对姿态和可见特征点位置预测丢失特征点位置。该方法通过双目相机测量原理，对丢失或遮蔽期间的空间目标特征点轨迹进行预测。

Description

一种基于双目相机的空间目标特征点丢失期间轨迹预测方法

技术领域

本发明属于空间目标运动状态辨识技术领域，涉及一种通过双目相机测量原理，预测空间目标特征点丢失期间的轨迹预测方法。

背景技术

在基于视觉相机的空间目标测量中，基于特征点的测量是目前普遍采用的方法，该方法利用相机的几何特征，通过获取特征点在图像平面的位置估计目标物体的位置、速度、姿态、转速等运动状态。但是，由于目标的旋转、光照等条件的出现，最初辨识和跟踪的特征点可能丢失，或者特征点丢失后重新出现在图像中仍然难以确定是之前跟踪的特征点。对于短暂丢失的特征点，目前可以通过估值过程中的容错机制避免其对估值过程的影响。然而，对于因目标旋转而产生的特征点遮蔽带来长时间特征点丢失，目前还没有特别理想的解决方案。

由于基于特征点的估值方法分为基于模型(model-based)的方法和无模型(modelfree)方法。基于模型的方法可以采用模型匹配方法获得特征点在本体坐标系的位置。对于这一类方法而言，主要利用特征点与其本体坐标系的关系进行估值，因此，在已跟踪特征点丢失后，可以采用重新获取新的特征点代替原有特征点的方法避免特征点丢失对估值过程的影响。而无模型方法大多需要对固定特征点进行跟踪。

发明内容

为解决现有技术存在的问题，本发明的目的在于提供一种基于双目相机的空间目标特征点丢失期间轨迹预测方法，该方法通过双目相机测量原理，对丢失或遮蔽期间的空间目标特征点轨迹进行预测，解决基于特征点的目标状态估计过程中遇到的特征点丢失或遮蔽问题。

为了实现上述任务，本发明采取如下的技术解决方案：

一种基于双目相机的空间目标特征点丢失期间轨迹预测方法，包括以下步骤：

S100，调整双目相机与目标的位置和姿态，使目标靠近相机视场中心区域，进行图像采样；

S200，对图像进行预处理，使目标与图像背景分离；

S300：对目标区域进行特征点识别；

S400，进行双目相机左右图像特征点匹配，确定估计过程所需特征点；

S500，在后续图像中对选定特征点进行跟踪；

S600，若发现特征点丢失，回溯到丢失前图像帧，并与当前帧进行特征点匹配，在前后2组图像帧中寻找4个非线性相关特征点；

S700，计算4个特征点前后两个时刻在相机坐标系空间位置；

S800，计算特征点丢失前后两个时刻之间目标的相对姿态；

S900，计算丢失特征点丢失前在相机坐标系空间位置，通过相对姿态和可见特征点位置预测丢失特征点位置；

S1000，在特征点长时间丢失情况下，如果丢失前图像帧与当前图像帧之间匹配的特征点个数不满足要求，则选择时间相近的图像帧计算相对姿态矩阵，使用上一帧中计算出的预测的丢失特征点位置，预测当前帧丢失特征点位置；

S1100，若发现特征点未丢失，转入S500～S900，直到估值过程结束。

优选的，S700中计算特征点在相机坐标系空间位置，具体包括以下步骤：

根据投影相机原理，特征点在参考坐标系3D位置P与图像平面位置p之间存在如下关系：

p＝CP (1)

C为相机参数矩阵；

C＝K[R|-R_C] (2)

其中，R为相机在参考坐标系姿态矩阵，R_C为相机光心到参考坐标轴位移，K为相机内参,与相机焦距(f_x，f_y)、主点坐标(x₀y₀)和畸变扭曲参数s关系如下：

当左右相机相对位置固定后，相机参数矩阵C为确定的已知量；

以左相机焦点为原点，X轴和Y轴与左相机平面X、Y轴平行，Z轴通过原点垂直于成像平面建立相机坐标系；

对空间中任一点P，其在相机坐标系位置用[x y z]^T表示，该点在左右两个相机平面的投影分别为(u₁,v₁)和(u₂,v₂)，则在相机坐标系中的空间位置P通过求解下式计算：

C、C'分别为左右相机参数矩阵。

优选的，S800中计算特征点丢失前后两个时刻之间目标的相对姿态，具体包括以下步骤：

基于相机坐标系与目标本体坐标系关系，用P_i和ρ_i分别表示特征点i在目标本体坐标系和相机坐标系位置，q_tc表示目标相对相机坐标系姿态四元素，R(q_tc)为姿态矩阵，ρ₀表示目标质心在相机坐标系位置，则：

ρ_i＝R(q_tc)P_i+ρ₀ (5)

假定在某一时刻t识别了目标物体上的两个特征点i和j,通过上式得到：

(6)(7)两式相减得：

同理，对于时刻t′，有：

从(8)(9)两式推出：

用

表示时刻t到t'相对姿态矩阵，另

令：

对于4个非相关特征点i,j,k,l之间的向量组成的矩阵用

表示为：

由公式(10)推出：

公式(14)说明，如果在两个时刻t和t'，同时探测到4个非相关的特征点，则通过(14)求解

优选的，S900中通过相对姿态和可见特征点位置预测丢失特征点位置，具体包括以下步骤：

如果在t时刻跟踪到特征点m的位置，而t'时刻特征点m丢失，则通过下式对t'时刻特征点m在相机坐标系的空间位置进行预测：

然后，通过下式预测特征点m在左右相机平面的位置[u₁,v₁]^(t′)和[u₂,v₂]^(t′)

与现有技术相比，本发明具有以下优点：

本发明轨迹预测方法通过丢失或遮蔽期间特征点轨迹预测，可以获得目标跟踪期间完整的特征点轨迹，从而避免目标状态估计过程不会因特征点长时间丢失而失效，也不会因特征点短时间丢失而延长收敛时间。这对于目标的状态估计非常重要。

附图说明

图1为相机坐标系定义示意图；

图2为双目视觉测量原理示意图；

图3为相机坐标与目标本体参考系关系示意图；

图4为实测值与预测值比较结果图；

图5为对旋转目标固定点进行跟踪和预测的仿真图像轨迹。

具体实施方式

本发明提出的特征点预测方法采用如下步骤应用于基于特征点的目标状态估计过程，假定采用滤波方法进行状态估值：

1)调整相机与目标的位置和姿态，尽量使目标靠近相机视场中心区域，开始进行图像采样；

2)对图像进行预处理，把目标与图像背景分离；

3)对目标区域进行特征点识别；

4)进行双目相机左右图像特征点匹配，确定估计过程所需特征点；

5)在后续图像中对选定特征点进行跟踪；特征点位置作为滤波估值方法的输入；

6)若发现特征点丢失，回溯到丢失前图像帧，与当前帧进行特征点匹配，在前后2组图像帧中寻找4个非线性相关特征点；

7)计算4个特征点在相机坐标系空间位置；

8)计算两个时刻之间的相对姿态；

9)计算丢失特征点丢失前在相机坐标系空间位置，通过相对姿态和可见特征点位置预测丢失特征点位置；将预测结果送入滤波器；

10)在特征点长时间丢失情况下，如果丢失前图像帧与当前图像帧之间匹配的特征点个数不满足要求，则选择时间相近的图像帧计算相对姿态矩阵，使用上一帧中计算出的预测的丢失特征点位置，预测当前帧丢失特征点位置。

11)若发现特征点未丢失，转入5)，直到估值过程结束。

本发明通过双目相机测量原理，对丢失或遮蔽期间的空间目标特征点轨迹进行预测。该方法适用于基于模型的方法和无模型方法。

下面结合附图和具体实施对本发明部分内容做进一步详细说明。

根据投影相机原理，特征点在参考坐标系3D位置P与图像平面位置p之间存在如下关系：

p＝CP (1)

C为相机参数矩阵；

C＝K[R|-R_C] (2)

其中，R为相机在参考坐标系姿态矩阵，R_C为相机光心到参考坐标轴位移，K为相机内参,与相机焦距(f_x，f_y)、主点坐标(x₀y₀)和畸变扭曲参数s关系如下：

当左右相机相对位置固定后，相机参数矩阵C为确定的已知量。

如图1，以左相机焦点(COP)为原点，X轴和Y轴与左相机平面X、Y轴平行，Z轴通过原点垂直于成像平面建立相机坐标系。双目相机测量原理如图2所示，对空间中任一点P，其在相机坐标系位置用[x y z]^T表示，该点在左右两个相机平面的投影分别为(u₁,v₁)和(u₂,v₂)，则在相机坐标系中的空间位置P通过求解下式计算：

C、C'分别为左右相机参数矩阵。

而相机坐标系与目标本体坐标系关系可用图3表示。用P_i和ρ_i分别表示特征点i在目标本体坐标系和相机坐标系位置,q_tc表示目标相对相机坐标系姿态四元素,R(q_tc)为姿态矩阵，ρ₀表示目标质心在相机坐标系位置，则：

ρ_i＝R(q_tc)P_i+ρ₀ (5)假定在某一时刻t我们识别了目标物体上的两个特征点i和j，通过上式得到：

(6)(7)两式相减：

同理，在时刻t′，有：

从(8)(9)两式可以推出：

用

表示时刻t到t'相对姿态矩阵，另

令：

对于4个非相关特征点i,j,k,l,它们之间的向量组成的矩阵用

表示为：

由公式(10)可以推出：

公式(13)说明，如果在两个时刻t和t'，同时探测到4个非相关的特征点，则可以通过(13)求解

如果在t时刻跟踪到特征点m的位置，而t'时刻特征点m丢失，则可以通过下式对t'时刻特征点m在相机坐标系空间位置进行计算：

然后，通过下式预测特征点m在左右相机平面的位置[u₁,v₁]^(t′)和[u₂,v₂]^(t′)

以下结合具体实施试验和仿真对本发明进行详细说明。

本实施例，采用转台固定目标，以每秒10度的转速匀速旋转，采用双目相机对旋转目标拍摄视频。对80帧连续图像进行处理，选择5个特征点进行跟踪，其中1个用于预测，4个用于计算两个时刻之间的相对姿态矩阵。通过采用本发明描述的预测方法预测特征点在左右相机平面的位置，左相机平面实测值与预测值比较结果见图4。

可以看出该方法预测的特征点位置与实际位置几乎一致。该方法可用于特征点丢失期间的轨迹预测。

如图5所示，显示了对旋转目标固定点进行跟踪和预测的仿真图像轨迹，过程包括以下步骤：

初始跟踪特征点，其轨迹为绿色(图5右上部分)；

然后特征点旋转到背面，目标丢失，对其进行预测，预测轨迹用红色表示(图5下部分“＊”段)；

经过半个周期，特征点随目标旋转出现在图像中，跟踪轨迹用蓝色表示(图5左上部分)。

可以看出本发明的方法获得目标跟踪期间完整的特征点轨迹，从而避免目标状态估计过程不会因特征点长时间丢失而失效，也不会因特征点短时间丢失而延长收敛时间。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，A，B或C中的至少一项(个)，可以表示：A，B，C，“A和B”，“A和C”，“B和C”，或“A和B和C”，其中A，B，C可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (4)

1.一种基于双目相机的空间目标特征点丢失期间轨迹预测方法，其特征在于，包括以下步骤：

S100，调整双目相机与目标的位置和姿态，使目标靠近相机视场中心区域，进行图像采样；

S200，对图像进行预处理，使目标与图像背景分离；

S300：对目标区域进行特征点识别；

S400，进行双目相机左右图像特征点匹配，确定估计过程所需特征点；

S500，在后续图像中对选定特征点进行跟踪；

S600，若发现特征点丢失，回溯到丢失前图像帧，并与当前帧进行特征点匹配，在前后2组图像帧中寻找4个非线性相关特征点；

S700，计算4个特征点前后两个时刻在相机坐标系空间位置；

S800，计算特征点丢失前后两个时刻之间目标的相对姿态；

S900，计算丢失特征点丢失前在相机坐标系空间位置，通过相对姿态和可见特征点位置预测丢失特征点位置；

S1000，在特征点长时间丢失情况下，如果丢失前图像帧与当前图像帧之间匹配的特征点个数不满足要求，则选择时间相近的图像帧计算相对姿态矩阵，使用上一帧中计算出的预测的丢失特征点位置，预测当前帧丢失特征点位置；

S1100，若发现特征点未丢失，转入S500～S900，直到估计过程结束。

2.根据权利要求1所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法，其特征在于，S700中计算特征点在相机坐标系空间位置，具体包括以下步骤：

根据投影相机原理，特征点P在参考坐标系3D位置B与图像平面位置p之间存在如下关系：

p＝CB (1)

C为相机参数矩阵；

C＝K[R|-R_C] (2)

其中，R为相机在参考坐标系姿态矩阵，R_C为相机光心到参考坐标轴位移，K为相机内参，与相机焦距(f_x，f_y)、主点坐标(x₀，y₀)和畸变扭曲参数s关系如下：

当左右相机相对位置固定后，相机参数矩阵C为确定的已知量；

以左相机焦点为原点，X轴和Y轴与左相机平面X、Y轴平行，Z轴通过原点垂直于成像平面建立相机坐标系；

对空间中任一点P，其在相机坐标系位置用[x y z]^T表示，该点在左右两个相机平面投影点的坐标分别为(u₁，v₁)和(u₂，v₂)，则特征点P在相机坐标系中的空间位置通过求解下式计算：

C、C′分别为左右相机参数矩阵。

3.根据权利要求2所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法，其特征在于，S800中计算特征点丢失前后两个时刻之间目标的相对姿态，具体包括以下步骤：

基于相机坐标系与目标本体坐标系关系，用B_i和ρ_i分别表示特征点i在目标本体坐标系和相机坐标系位置，q_tc表示目标相对相机坐标系姿态四元素，R(q_tc)为姿态矩阵，ρ₀表示目标质心在相机坐标系位置，则：

ρ_i= R(q_tc)B_i+ρ₀ (5)

假定在某一时刻t识别了目标物体上的两个特征点i和j,通过上式得到：

(6)(7)两式相减得：

同理，对于时刻t′，有：

从(8)(9)两式推出：

用

表示时刻t到t'相对姿态矩阵，另

令：

对于4个非相关特征点i,j,k,l之间的向量组成的矩阵用Φ表示,t时刻向量矩阵可表示为：

由公式(10)推出时刻t到t'相对姿态矩阵：

公式(14)说明，如果在两个时刻t和t'，同时探测到4个非相关的特征点，则通过(14)求解

4.根据权利要求3所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法，其特征在于，S900中通过相对姿态和可见特征点位置预测丢失特征点位置，具体包括以下步骤：

如果在t时刻跟踪到特征点m的位置，而t'时刻特征点m丢失，则通过下式对t'时刻特征点m在相机坐标系的空间位置进行预测：

然后，通过下式预测特征点m在左右相机平面的位置

和

Images