CN117314975A - 低算力环境下基于模型推理的跟踪目标丢失再捕获方法 - Google Patents

Abstract

本发明公开了低算力环境下基于模型推理的跟踪目标丢失再捕获方法，涉及视频跟踪领域。包括：输入图像帧，并记录目标历史帧位置和瞬时速度；跟踪丢失时，根据历史帧数据采用卡尔曼滤波预测目标运动轨迹；将整个图像帧区域等分为多个子区域，并根据卡尔曼滤波结果划分子区域优先级；训练小型yolov5n检测模型，使用双线程按照优先级从大到小的顺序，将各个子区域图像输入到yolov5n检测模型进行推理，直到检测到目标的位置；根据目标在子区域中的坐标和目标所在区域编号，反算目标在整个图像帧区域中的坐标，完成捕获；利用小型yolov5n检测模型的检测结果更新卡尔曼滤波的参数。本发明通过减少捕获时的运算量，在算力较低的情况下，能快速的重新捕获丢失的跟踪目标。

Description

低算力环境下基于模型推理的跟踪目标丢失再捕获方法

技术领域

本发明涉及视频跟踪领域，具体涉及低算力环境下基于模型推理的跟踪目标丢失再捕获方法。

背景技术

目标跟踪及丢失再捕获任务中，需要在给定的图像序列的第一帧中获取目标的尺寸和位置信息，然后能够从接下来的图像序列中精确地定位并追踪目标，并在尽可能长的时间内预测目标在图像序列中的运动路径和状态。当跟踪目标丢失以后，需要在尽量短的时间内重新捕获目标，而重新捕获目标往往需要较大的运算量。因此，在低算力情况下，重新捕获通常需要较长时间，找到一种快捷的捕获方式具有重要的意义。

发明内容

本发明的目的在于克服现有技术的不足，提供一种低算力环境下基于模型推理的跟踪目标丢失再捕获方法。

本发明的目的是通过以下技术方案来实现的：

低算力环境下基于模型推理的跟踪目标丢失再捕获方法，包括以下步骤：

S1：输入图像帧，并记录目标历史帧位置和瞬时速度；

S2：跟踪丢失时，根据历史帧数据采用卡尔曼滤波预测目标运动轨迹；

S3：将整个图像帧区域等分为多个子区域，并根据卡尔曼滤波结果划分子区域优先级；

S4：训练小型yolov5n检测模型，使用双线程按照优先级从大到小的顺序，将各个子区域图像输入到yolov5n检测模型进行推理，直到检测到目标的位置；

S5：根据目标在子区域中的坐标和目标所在区域编号，反算目标在整个图像帧区域中的坐标，完成捕获；

S6：利用小型yolov5n检测模型的检测结果更新卡尔曼滤波的参数。

进一步地，所述的小型yolov5n检测模型的输入分辨率为划分后子区域图像分辨率的一半。

进一步地，所述的步骤S2具体包括：

S201：设目标初始位置为，目标瞬时速度/>为0，则目标初始状态为：

S202：设当前帧为第k帧，上一帧为第k-1帧，计算当前帧的先验状态估计值和先验误差协方差矩阵/>：

其中A为状态转移矩阵，Q为过程噪声协方差矩阵，为上一帧的后验状态值，P _k-1为上一帧的后验误差协方差矩阵；

S203：若跟踪未丢失，记录当前跟踪位置， 计算瞬时速度：

使用跟踪结果作为卡尔曼滤波的观测值：

S204：迭代并更新状态估计矩阵和后验误差协方差矩阵/>：

其中，H为状态观测矩阵，P为误差协方差矩阵，R为观测噪声协方差矩阵。

进一步地，所述的步骤S3的过程具体为：分别计算目标运动轨迹的预测点到各子区域中心点距离，按照距离越短优先级越高的原则划分区域优先级。

进一步地，所述的步骤S4中，所述的双线程具体为：设划分后的四个子区域按优先级从高到低排序为第一至第四子区域，将第一和第三子区域划分为一组，第二和第四子区域划分为另一组，将第一和第二子区域通过两个线程并行计算，第一和第二子区域并行计算完成后，再将第三和第四子区域通过相同的两个线程并行计算。

进一步地，步骤S3中所述的将整个图像帧区域等分为多个子区域具体为将整个跟踪的图像帧区域等分为四个大小相同的正方形区域。

进一步地，步骤S5中所述的反算目标在整个图像帧区域中的坐标通过以下公式：

其中，（x, y）为目标在子区域中的坐标，n为目标所在区域编号，p、q分别为划分子区域的长和宽。

进一步地，步骤S6具体过程包括：

S601：根据小型yolov5n检测模型检测到的当前目标位置，计算当前目标的瞬时速度；

S602：将当前检测到的目标位置和瞬时速度作为卡尔曼滤波的观测值；

S603：更新卡尔曼滤波中的状态估计矩阵和后验误差协方差矩阵/>。

本发明的有益效果是：

1）分割图像后所需检测网络分辨率变小，推理所需时间减少。

2）理想情况下，只需要进行一次推理可得到目标位置，大幅缩短捕获时间；最坏情况下，需进行4次256x256的模型推理，在双线程情况下，每个线程需进行2次256x256的模型推理。256x256模型推理速度约等于512x512模型的2.5倍，通过增加可接受范围内的CPU消耗，从而弥补AI芯片算力不足的问题，使得推理时间略小于单次512x512模型。

附图说明

图1为一个实施例提供的低算力环境下基于模型推理的跟踪目标丢失再捕获方法的流程图；

图2为一个实施例提供的低算力环境下基于模型推理的跟踪目标丢失再捕获方法的子区域划分示意图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1-图2，本发明提供一种技术方案：

低算力环境下基于模型推理的跟踪目标丢失再捕获方法，如图1所示，包括以下步骤：

S1：输入图像帧，并记录目标历史帧位置和瞬时速度。

本实施例中，输入图像帧分辨率为1024x1024，设每帧中目标的坐标为，目标的瞬时速度为/>。

S2：跟踪丢失时，根据历史帧数据采用卡尔曼滤波预测目标运动轨迹；具体包括：

S201：设目标初始位置为，目标瞬时速度/>为0，则目标初始状态为：

S202：设当前帧为第k帧，上一帧为第k-1帧，计算当前帧的先验状态估计值和先验误差协方差矩阵/>：

其中,为状态转移矩阵，/>为过程噪声协方差矩阵，/>为上一帧的后验状态值，P _k-1为上一帧的后验误差协方差矩阵；误差协方差矩阵

。

S203：若跟踪未丢失，记录当前跟踪位置， 计算瞬时速度：

使用跟踪结果作为卡尔曼滤波的观测值：

S204：迭代并更新状态估计矩阵和后验误差协方差矩阵/>：

其中，为状态观测矩阵，/>为误差协方差矩阵，/>为观测噪声协方差矩阵。

S3：将整个图像帧区域等分为多个子区域，并根据卡尔曼滤波结果划分子区域优先级。

将整个图像帧区域等分为多个子区域具体为将整个跟踪的图像帧区域等分为四个大小相同的正方形区域。本实施例中，将整个跟踪区域划分为4个四个大小相同的正方形子区域，每个区域分辨率为512x512，如图2所示。

进一步地，所述的步骤S3的过程具体为：分别计算目标运动轨迹的预测点到各子区域中心点距离，按照距离越短优先级越高的原则划分区域优先级。本实施例中，设优先级为1-4，1为最高。

S4：训练小型yolov5n检测模型，使用双线程按照优先级从大到小的顺序，将各个子区域图像输入到yolov5n检测模型进行推理，直到检测到目标的位置。

本实施例中，所述的小型yolov5n检测模型的输入分辨率为划分后子区域图像分辨率的一半，小型yolov5n检测模型的输入分辨率具体为256x256。

所述的步骤S4中，所述的双线程具体为：设划分后的四个子区域按优先级从高到低排序为第一至第四子区域，将第一和第三子区域划分为一组，第二和第四子区域划分为另一组，将第一和第二子区域通过两个线程并行计算，第一和第二子区域并行计算完成后，再将第三和第四子区域通过相同的两个线程并行计算。

S5：根据目标在子区域中的坐标和目标所在区域编号，反算目标在整个图像帧区域中的坐标，完成捕获；反算目标在整个图像帧区域中的坐标通过以下公式：

其中，（x, y）为目标在子区域中的坐标，n为目标所在区域编号，p、q分别为划分子区域的长和宽。

S6：利用小型yolov5n检测模型的检测结果更新卡尔曼滤波的参数；具体过程包括：

S601：根据小型yolov5n检测模型检测到的当前目标位置，计算当前目标的瞬时速度；

S602：将当前检测到的目标位置和瞬时速度作为卡尔曼滤波的观测值；

S603：更新卡尔曼滤波中的状态估计矩阵和后验误差协方差矩阵/>。

本发明通过对检测区域进行划分，分割图像后基于模型推理所需检测网络分辨率变小，推理所需时间减少；理想情况下，只需要进行一次推理可得到目标位置，大幅缩短捕获时间，最坏情况下，需进行4次256x256的模型推理，在双线程情况下，每个线程需进行2次256x256的模型推理。经测试256x256模型推理速度约等于512x512模型的2.5倍。通过增加可接受范围内的CPU消耗，从而弥补AI芯片算力不足的问题，使得推理时间略小于单次512x512模型，设512x512模型单次推理时间为v _p ：

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于，包括以下步骤：

S1：输入图像帧，并记录目标历史帧位置和瞬时速度；

S2：跟踪丢失时，根据历史帧数据采用卡尔曼滤波预测目标运动轨迹；

S3：将整个图像帧区域等分为多个子区域，并根据卡尔曼滤波结果划分子区域优先级；

S4：训练小型yolov5n检测模型，使用双线程按照优先级从大到小的顺序，将各个子区域图像输入到yolov5n检测模型进行推理，直到检测到目标的位置；

S5：根据目标在子区域中的坐标和目标所在区域编号，反算目标在整个图像帧区域中的坐标，完成捕获；

S6：利用小型yolov5n检测模型的检测结果更新卡尔曼滤波的参数。

2.根据权利要求1所述的低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于：所述的小型yolov5n检测模型的输入分辨率为划分后子区域图像分辨率的一半。

3.根据权利要求1所述的低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于：所述的步骤S2具体包括：

S201：设目标初始位置为，目标瞬时速度/>为0，则目标初始状态为：

S202：设当前帧为第k帧，上一帧为第k-1帧，计算当前帧的先验状态估计值 和先验误差协方差矩阵/>：

其中A为状态转移矩阵，Q为过程噪声协方差矩阵，为上一帧的后验状态值，P _k-1为上一帧的后验误差协方差矩阵；

S203：若跟踪未丢失，记录当前跟踪位置， 计算瞬时速度：

使用跟踪结果作为卡尔曼滤波的观测值：

S204：迭代并更新状态估计矩阵和后验误差协方差矩阵/>：

其中，H为状态观测矩阵，P为误差协方差矩阵，R为观测噪声协方差矩阵。

4.根据权利要求3所述的低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于：所述的步骤S3的过程具体为：分别计算目标运动轨迹的预测点到各子区域中心点距离，按照距离越短优先级越高的原则划分区域优先级。

5.根据权利要求1所述的低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于：步骤S3中所述的将整个图像帧区域等分为多个子区域具体为将整个跟踪的图像帧区域等分为四个大小相同的正方形区域。

6.根据权利要求5所述的低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于：所述的步骤S4中，所述的双线程具体为：设划分后的四个子区域按优先级从高到低排序为第一至第四子区域，将第一和第三子区域划分为一组，第二和第四子区域划分为另一组，将第一和第二子区域通过两个线程并行计算，第一和第二子区域并行计算完成后，再将第三和第四子区域通过相同的两个线程并行计算。

7.根据权利要求6所述的低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于：步骤S5中所述的反算目标在整个图像帧区域中的坐标通过以下公式：

其中，（x,y）为目标在子区域中的坐标，n为目标所在区域编号，p、q分别为划分子区域的长和宽。

8.根据权利要求3所述的低算力环境下基于模型推理的跟踪目标丢失再捕获方法，其特征在于：步骤S6具体过程包括：

S601：根据小型yolov5n检测模型检测到的当前目标位置，计算当前目标的瞬时速度；

S602：将当前检测到的目标位置和瞬时速度作为卡尔曼滤波的观测值；

S603：更新卡尔曼滤波中的状态估计矩阵和后验误差协方差矩阵/>。