CN115953427A

CN115953427A - 一种小样本训练的动态目标实时跟踪方法及装置

Info

Publication number: CN115953427A
Application number: CN202211611909.1A
Authority: CN
Inventors: 高帅华; 张兴国; 张迪; 张建花; 王创海; 胡国星
Original assignee: Chinese Flight Test Establishment
Current assignee: Chinese Flight Test Establishment
Priority date: 2022-12-14
Filing date: 2022-12-14
Publication date: 2023-04-11

Abstract

本申请提供一种小样本训练的动态目标实时跟踪方法及装置，属于机载光电测量技术领域，本发明将动态视觉传感器和RGB相机传感器结合在一起，动态视觉传感器能够适应高动态变化光照，因此能够抵抗空中光照变化带来的跟踪干扰；引入目标跟踪异常判断机制，当判断为目标跟踪异常时，采用目标卡尔曼运动方程的卡尔曼滤波机制对目标预测跟踪，有效解决了跟踪错误问题。本发明的动态目标实时跟踪方法的训练样本少，跟踪效果好，对硬件资源要求低、成本低，可为飞行试验提供有力支撑。

Description

一种小样本训练的动态目标实时跟踪方法及装置

技术领域

本申请属于机载光电测量技术领域，尤其涉及一种小样本训练的动态目标实时跟踪方法及装置。

背景技术

动态目标实时跟踪是飞行试验中安全监控和目标位姿计算的基础。近年来，在飞行试验中得到了大量应用。

目前，动态目标实时跟踪主要有传统图像处理跟踪方法和基于深度学习跟踪方法。传统图像跟踪方法复杂，计算冗余，跟踪效果和速度一般，目前在飞行试验中应用较少；深度学习跟踪方法效果好，但是其需要海量的样本进行训练，对硬件资源要求较高，训练周期又长，导致训练成本很高。对某些飞行试验本身架次少，周期又紧的科目，该类跟踪方法不能够满足飞行试验的要求。另外，一些重点风险科目对跟踪的实时性和稳定性要求也越来高。

因此，对某些飞行试验科目来讲，迫切需要一种训练样本少、跟踪效果好且对硬件资源要求小的方法。

发明内容

为了解决相关技术中目标跟踪时训练样本多、对硬件资源要求高、成本高的问题，本发明提供一种小样本训练的动态目标实时跟踪方法及装置，所述技术方案如下：

第一方面，提供一种小样本训练的动态目标实时跟踪方法，所述方法包括：

基于预设的n个尺度因子生成目标图像对应的n个尺度图像，每个尺度图像对应一个尺度因子，n为3到15之间的任一奇数，目标图像包括点云数据和RGB色彩数据；

采用高斯核函数对n个尺度图像分别进行卷积计算，得到n个值，将该n个值中最大值对应的尺度图像的尺度因子作为跟踪模板的最佳尺度；

采用高斯核函数对第一尺度图像进行卷积计算，得到响应峰值图；第一尺度图像是n个值中最大值对应的尺度图像；

基于响应峰值图得到异常跟踪图像；

确定异常跟踪图像的预测值，并将异常跟踪图像的异常值更改为预测值。

进一步地，在基于预设的n个尺度因子生成目标图像对应的n个尺度图像之前，所述方法还包括：

获取动态视觉传感器的第一目标跟踪图像数据和RGB相机传感器的第二目标跟踪图像数据；

采用SIFT算子将第一目标跟踪图像数据和第二目标跟踪图像数据进行匹配和融合，得到目标图像。

将动态视觉传感器和RGB相机传感器结合在一起，动态视觉传感器能够适应高动态变化光照，因此能够抵抗空中光照变化带来的跟踪干扰。

可选地，基于响应峰值图得到异常跟踪图像，包括：采用数理统计参数对响应峰值图进行数理统计分析，确定异常跟踪图像，数理统计参数包括平均值、标准差。

可选地，采用数理统计参数对响应峰值图进行数理统计分析，确定异常跟踪图像，包括：

将当前帧的响应峰值与当前帧前一段周期内峰值集合的数理统计参数进行比较；

若当前帧的响应峰值C_cur满足C_cur<μ-λσ时，确定对应的图像为异常跟踪图像，μ为当前帧前一段周期内峰值的平均值，σ为当前帧前一段周期内峰值的标准差；λ取3；

其中，平均值μ，标准差σ的计算公式为：

式中，{C_i|i＝1,2,...,n}为当前帧前一段周期内峰值集合，n为帧数。

可选地，基于预设的n个尺度因子生成目标图像对应的n个尺度图像，包括：

基于预设的n个尺度因子采用双线性内插方式生成目标图像对应的n个尺度图像。

可选地，确定异常跟踪图像的预测值，包括：

采用预先构建的目标卡尔曼运动方程确定异常跟踪图像的预测值。

引入目标跟踪异常判断机制，当判断为目标跟踪异常时，采用目标卡尔曼运动方程的卡尔曼滤波机制对目标预测跟踪，有效解决了跟踪错误问题。

第二方面，提供一种小样本训练的动态目标实时跟踪装置，包括：

生成模块，用于基于预设的n个尺度因子生成目标图像对应的n个尺度图像，每个尺度图像对应一个尺度因子，n为3到15之间的任一奇数，目标图像包括点云数据和RGB色彩数据；

计算模块，用于：

基于响应峰值图得到异常跟踪图像；

纠正模块，用于确定异常跟踪图像的预测值，并将异常跟踪图像的异常值更改为预测值。

进一步地，所述装置还包括：

获取模块，用于获取动态视觉传感器的第一目标跟踪图像数据和RGB相机传感器的第二目标跟踪图像数据；

匹配模块，用于采用SIFT算子将第一目标跟踪图像数据和第二目标跟踪图像数据进行匹配和融合，得到目标图像。

可选地，计算模块，具体用于：

采用数理统计参数对响应峰值图进行数理统计分析，确定异常跟踪图像，数理统计参数包括平均值、标准差。

第三方面，提供一种小样本训练的动态目标实时跟踪系统，包括：动态视觉传感器，RGB相机传感器，以及第二方面任一所述的小样本训练的动态目标实时跟踪装置。

本发明提供的一种小样本训练的动态目标实时跟踪方法、装置及系统，基于预设的n个尺度因子生成目标图像对应的n个尺度图像，目标图像包括点云数据和RGB色彩数据；采用高斯核函数对n个尺度图像分别进行卷积计算，得到n个值，将该n个值中最大值对应的尺度图像的尺度因子作为跟踪模板的最佳尺度；采用高斯核函数对第一尺度图像进行卷积计算，得到响应峰值图；基于响应峰值图得到异常跟踪图像；最后确定异常跟踪图像的预测值，并将异常跟踪图像的异常值更改为预测值；由于采用高斯核函数跟踪，所以所需训练样本少，跟踪速度快，跟踪效果好，且对硬件资源要求低、成本低。

附图说明

图1是本发明提供的一种小样本训练的动态目标实时跟踪方法流程示意图；

图2是本发明提供的小样本训练动态目标实时跟踪示意图；

图3是本发明提供的动态视觉传感器和RGB相机传感器数据融合示意图；

图4是本发明提供的跟踪模板最佳尺度确定示意图；

图5是本发明提供的跟踪异常判断和纠正流程示意图。

具体实施方式

下面通过具体的实施方式和附图对本申请作进一步详细说明。

本发明提供一种小样本训练的动态目标实时跟踪方法，请参见图1，该方法包括如下步骤：

步骤1、获取动态视觉传感器的第一目标跟踪图像数据和RGB相机传感器的第二目标跟踪图像数据。

动态视觉传感器能够应对光线过明和过暗变化，获取的图像数据不受光照变化影响。因此，本申请将动态视觉传感器和RGB相机传感器结合使用。

步骤2、采用SIFT算子将第一目标跟踪图像数据和第二目标跟踪图像数据进行匹配和融合，得到目标图像。

目标图像包括点云数据和RGB色彩数据。

将第一目标跟踪图像数据和第二目标跟踪图像数据进行匹配和融合，有效解决了光照变换带来的目标跟踪错误问题。

步骤3、基于预设的n个尺度因子采用双线性内插方式生成目标图像对应的n个尺度图像，每个尺度图像对应一个尺度因子。其中，n为3到15之间的任一奇数。

尺度因子的取值范围可根据首帧和末帧的尺度比得到。

步骤4、采用高斯核函数对n个尺度图像分别进行卷积计算，得到n个值，将该n个值中最大值对应的尺度图像的尺度因子作为跟踪模板的最佳尺度。

步骤4的计算过程都是在频率域内进行，因此，计算量增加不大。

步骤5、采用高斯核函数对第一尺度图像进行卷积计算，得到响应峰值图。

第一尺度图像是n个值中最大值对应的尺度图像。高斯核函数跟踪具有对样本需求少、跟踪速度快的优点。

步骤6、采用数理统计参数对响应峰值图进行数理统计分析，确定异常跟踪图像。

数理统计参数可以包括平均值、标准差等。

步骤7、采用预先构建的目标卡尔曼运动方程对异常跟踪图像的值进行预测，得到预测值，并将异常跟踪图像的异常值更改为预测值，以达到纠正异常跟踪图像的目的。

本发明将动态视觉传感器和RGB相机传感器结合在一起，动态视觉传感器能够适应高动态变化光照，因此能够抵抗空中光照变化带来的跟踪干扰；本发明还引入目标跟踪异常判断机制，当判断为目标跟踪异常时，采用目标卡尔曼运动方程的卡尔曼滤波机制对目标预测跟踪，有效解决了跟踪错误问题。本发明的动态目标实时跟踪方法的训练样本少，跟踪效果好，对硬件资源要求低、成本低，为飞行试验提供有力支撑。

本发明另一实施例还提供一种小样本训练的动态目标实时跟踪方法，请参见图2，该方法包括如下步骤：

步骤10、获取动态视觉传感器的第一目标跟踪图像数据和RGB相机传感器的第二目标跟踪图像数据。

步骤20、采用SIFT算子将第一目标跟踪图像数据和第二目标跟踪图像数据进行匹配和融合，得到目标图像。

本发明中，硬件方面，将动态视觉传感器和RGB相机传感器融合到一起，利用基于SIFT算子的影像匹配技术，将动态视觉传感器的第一目标跟踪图像数据和RGB相机传感器的第二目标跟踪图像数据融合到一起，实现了对光照变化的抵抗，如图3所示。关于数据融合的过程可参考相关技术，在此不再赘述。

融合后的图像数据既具有图形特征直观、信息量大的特点，还具有动态视觉数据的高采样率、对光照变化不敏感的优点。当光照变化时，动态视觉传感器数据能够有效地补充影像数据的不足，从而减少跟踪数据的丢失。

步骤30、基于预设的7个尺度因子采用双线性内插方式生成目标图像对应的7个尺度图像，每个尺度图像对应一个尺度因子。采用高斯核函数对7个尺度图像分别进行卷积计算，得到7个值。将该7个值中最大值对应的尺度图像的尺度因子作为跟踪模板的最佳尺度。

预设7个尺度因子，可以有效提高跟踪效果，同时可避免计算量过大。

示例地，预设的7个尺度因子可以是：

{0.853,0.861,0.882,1.215,0.993,1.123,1.236}。

本发明中，软件方面，由于高斯核函数跟踪对样本需求少，同时，相关计算都是在频率域内，所以算法速度特别快，跟踪速度快，所以本发明利用对样本需求少、跟踪速度快的高斯核函数跟踪为基础，确定跟踪模板的最佳尺度，并引入目标跟踪异常判断机制。

为了确定跟踪模板的最佳尺度，请参见图4，本发明对每一帧图像数据设定7个尺度因子，采用双线性内插方式生成7个尺度图像，形成尺度池。高斯核函数与7个尺度图像分别做卷积计算，最终取最大值对应的尺度图像的尺度因子作为跟踪模板的最佳尺度。该确定过程可极大地消除尺度缩放引起的跟踪异常。

步骤40、采用高斯核函数对7个值中最大值对应的尺度图像进行卷积计算，得到响应峰值图；采用数理统计参数对响应峰值图进行数理统计分析，确定对应的图像为异常跟踪图像；采用预先构建的目标卡尔曼运动方程对异常跟踪图像的值进行预测，得到预测值，并将异常跟踪图像的异常值更改为预测值。

本发明引入目标跟踪异常判断机制，当目标跟踪异常时，引入卡尔曼滤波机制跟踪并预测目标的位置。

确定跟踪图像是否异常时，对于响应峰值图，可以用当前帧的响应峰值与当前帧前一段周期内峰值集合的数理统计参数进行比较；若当前帧的响应峰值C_cur满足C_cur<μ-λσ时，确定对应的图像为异常跟踪图像。其中，μ为当前帧前一段周期内峰值的平均值，σ为当前帧前一段周期内峰值的标准差；为防止过度拟合，λ取3。

其中，平均值μ，标准差σ的计算公式为：

式中，{C_ii＝1,2,...,n}为当前帧前一段周期内峰值集合，n为帧数。

请参见图5，确定了跟踪图像异常后，为纠正异常跟踪图像，采用预先构建的目标卡尔曼运动方程对异常跟踪图像的值进行预测，得到预测值，并将异常跟踪图像的异常值更改为预测值，提高目标跟踪效果。目标卡尔曼运动方程的卡尔曼滤波是一种线性递归滤波器，其采用误差协方差矩阵对状态变量进行预测，再利用观测值和卡尔曼增益校正预测值，最终得到最优解。

具体地，选取目标跟踪方框的中心为跟踪的特征点，卡尔曼滤波器的状态变量为目标方框的中心坐标p_x(k)和p_y(k)，设该中心点在x轴和y轴上的速度v_x(k)和v_y(k)为另外两个特征变量，构成状态变量

卡尔曼滤波分为2个步骤：预测和校正。预测过程如下：

预测时，计算状态变量和误差协方差：

校正时，计算卡尔曼增益，计算最优观测，修正误差协方差：

其中，初始值u_k为方差为1的高斯白噪声，协方差矩阵Q,R和H均为单位矩阵。

为前一帧状态变量，

为预测值，P_k-1为上一状态变量值的协方差，P_k,k-1为状态变量预测值的协方差，A,B为状态估计矩阵，H为观测矩阵，Q,R分别为其协方差矩阵。

本发明一实施例还提供一种小样本训练的动态目标实时跟踪装置，该装置包括：

计算模块，用于：

基于响应峰值图得到异常跟踪图像；

进一步地，该装置还可包括：

可选地，计算模块，具体用于：

其中，各模块的具体工作过程可参考上述方法实施例中各步骤过程。

本发明又一实施例提供一种小样本训练的动态目标实时跟踪系统，该系统包括：本发明实施例提供的小样本训练的动态目标实时跟踪装置，动态视觉传感器，以及RGB相机传感器。

以上仅表达了本申请的实施方式，其描述较为具体和详细，但且不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。另外，本发明未详尽部分均为常规技术。