CN111209837B - 一种目标追踪方法和装置 - Google Patents

Abstract

本发明实施例提供的一种目标追踪方法和装置，获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量；若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。根据缩放系数和平移量计算出当前帧目标所在的位置和目标大小，增加了缩放计算模块，针对有缩放的场景，可以更稳定的追踪目标；性能较高，可能更快追踪目标，满足高帧率的需求；增加置信度判定策略，减少漂移情况。

Description

一种目标追踪方法和装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种目标追踪方法和装置。

背景技术

目标跟踪是视觉领域一个重要的研究方向，随着深度学习的普及，性能越来越成为制约的因素。目标跟踪是一项融合图像处理、模式识别、人工智能及自动控制等多种不同技术的综合性应用技术，广泛应用于各种领域中。目标跟踪是指对图像序列中的运动目标或是特征单一的物体进行检测、识别和跟踪，通过获取目标的位置、速度等参数或是目标的形状和颜色等特征，对其进一步处理，从而实现对运动目标物的准确跟踪。

在目标跟踪的研究领域中，众多学者提出了大量的跟踪方法，在这些跟踪方法中，往往采用跟踪框来对跟踪目标进行跟踪，但在跟踪框对跟踪目标进行跟踪的过程中，由于跟踪目标是运动的，跟踪目标在视频图像中的大小和位置会随着时间而发生变化，当跟踪目标在视频图像中的大小较小或较大时，现有技术中的跟踪框容易丢失正在跟踪的跟踪目标，从而降低了目标跟踪的准确性。

为了不损失深度学习的精度，一种既稳定又高校的追踪算法是必须的。目前还没有一种算法能够适用于所有的应用场景，也没有一种算法可以同时满足稳定性和时效性的要求，所以目标跟踪技术仍然是一个具有挑战性的课题。高帧率要求下，长期跟踪过程中目标出现较大缩放时出现的追踪不稳定，追踪框不准确的问题。同样数据源，同样硬件配置环境下，使用MOSS追踪需要2ms，但是稳定差，使用CSRT稳定性较好，但是追踪需要100ms。

发明内容

本发明实施例提供一种目标追踪方法和装置，用以解决现有技术中高帧率要求下，长期跟踪过程中目标出现较大缩放时出现的追踪不稳定，追踪框不准确的问题。

第一方面，本发明实施例提供一种目标追踪方法，包括：

获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量；

若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

进一步，获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量前，还包括：

选取第一帧图像，并进行追踪目标检测，得到追踪目标的位置，大小和属性信息，初始化追踪器，并提取第一帧图像中的第一感兴趣区域ROI。

进一步，并提取第一帧图像中的第一感兴趣区域ROI后，还包括：

选取当前帧图像，基于追踪器初始值选取当前帧图像中相同位置出的第二感兴趣区域ROI。

进一步，获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量，具体包括：

获取第一ROI和第二ROI的幅度谱相关运算的第一最大值对应的对数极坐标的平移量；基于对数极坐标的平移量得到缩放系数；

基于所述缩放系数将当前帧图像缩放到和第一帧图像同比例尺下，对缩放后的当前帧图像和第一帧图像做相关运算，找出第二最大值，基于所述第二最大值获取当前帧图像和第一帧图像的相对平移量。

进一步，获取第一ROI和第二ROI的幅度谱相关运算的第一最大值对应的对数极坐标的平移量，具体包括：

对第一ROI和第二ROI做傅里叶变换，并提取傅里叶变换结果的幅度谱，对两个转为对数极坐标的幅度谱做相关运算，提取相关运算的第一最大值对应的对数极坐标的平移量。

进一步，基于对数极坐标的平移量得到缩放系数，具体包括：

基于对数极坐标平移量角度方向上的变化得到旋转量，基于对数极坐标平移量半径方向取指数幂得到缩放系数。

进一步，所述目标追踪方法还包括：

若判断获知追踪目标的平移量超过追踪目标大小设定比例阈值，和/或追踪时间大于设定时间阈值，则重新进行追踪目标检测。

第二方面，本发明实施例提供一种目标追踪装置，包括：

第一模块，用于获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量；

第二模块，用于若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述目标追踪方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述目标追踪方法的步骤。

本发明实施例提供的目标追踪方法和装置，利用YOLO V3算法对目标进行识别，利用目标识别的结果初始化追踪器，利用旋转缩放不变性计算前后两帧图像的缩放系数，利用缩放系数将图像缩放到同尺度下，利用相位相关性计算前后两帧图像的平移量，根据缩放系数和平移量计算出当前帧目标所在的位置和目标大小，增加了缩放计算模块，针对有缩放的场景，可以更稳定的追踪目标；性能较高，可能更快追踪目标，满足高帧率的需求；增加置信度判定策略，减少漂移情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的目标追踪方法流程框图；

图2为根据本发明实施例的一种电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在目标跟踪的研究领域中，众多学者提出了大量的跟踪方法，在这些跟踪方法中，往往采用跟踪框来对跟踪目标进行跟踪，但在跟踪框对跟踪目标进行跟踪的过程中，由于跟踪目标是运动的，跟踪目标在视频图像中的大小和位置会随着时间而发生变化，当跟踪目标在视频图像中的大小较小或较大时，现有技术中的跟踪框容易丢失正在跟踪的跟踪目标，从而降低了目标跟踪的准确性。

如何提高检测的性能，除了硬件升级，追踪算法是提升性能的一个重要手段。为了不损失深度学习的精度，一种既稳定又高校的追踪算法是必须的。目前还没有一种算法能够适用于所有的应用场景，也没有一种算法可以同时满足稳定性和时效性的要求，所以目标跟踪技术仍然是一个具有挑战性的课题。高帧率要求下，长期跟踪过程中目标出现较大缩放时出现的追踪不稳定，追踪框不准确的问题。同样数据源，同样硬件配置环境下，使用MOSS追踪需要2ms，但是稳定差，使用CSRT稳定性较好，但是追踪需要100ms。

因此，本发明实施例提出一种目标追踪方法和装置，利用YOLO V3对目标进行识别，利用目标识别的结果初始化追踪器，利用旋转缩放不变性计算前后两帧图像的缩放系数，利用缩放系数将图像缩放到同尺度下，利用相位相关性计算前后两帧图像的平移量，根据缩放系数和平移量计算出当前帧目标所在的位置和目标大小，增加了缩放计算模块，针对有缩放的场景，可以更稳定的追踪目标；性能较高，可能更快追踪目标，满足高帧率的需求；增加置信度判定策略，减少漂移情况。以下将通过多个实施例进行展开说明和介绍。

图1为根据本发明实施例的目标追踪方法流程框图，如图1所示，该目标追踪方法包括：

获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量；

若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

在本实施例中，作为一种优选的实施方式，利用相位相关性计算前后两帧图像的平移量，根据缩放系数和平移量计算出当前帧目标所在的位置和目标大小，增加了缩放计算模块，针对有缩放的场景，可以更稳定的追踪目标；性能较高，可能更快追踪目标，满足高帧率的需求；增加置信度判定策略，减少漂移情况。

在上述实施例的基础上，获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量前，还包括：

选取第一帧图像，并基于YOLO V3算法进行追踪目标检测，得到追踪目标的位置，大小和属性信息，初始化追踪器，并提取第一帧图像中的第一感兴趣区域ROI。

在本实施例中，作为一种优选的实施方式，获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量前，还包括：

步骤1：选取第一帧图像，并基于YOLO V3算法进行追踪目标检测，得到追踪目标的位置，大小和属性信息；

步骤2：根据第一帧图像的检测结果初始化追踪器，并提取第一帧图像中的第一感兴趣区域ROI。

在图像处理领域，感兴趣区域(Region Of Interest，ROI)是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定你想读的目标，可以减少处理时间，增加精度。

在上述各实施例的基础上，并提取第一帧图像中的第一感兴趣区域ROI后，还包括：

选取当前帧图像，基于追踪器初始值选取当前帧图像中相同位置出的第二感兴趣区域ROI。

在本实施例中，作为一种优选的实施方式，还包括：

步骤3：选取当前帧，并根据追踪器初始值选取相同位置的第二ROI。

在上述各实施例的基础上，获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量，具体包括：

获取第一ROI和第二ROI的幅度谱相关运算的第一最大值对应的对数极坐标的平移量；基于对数极坐标的平移量得到缩放系数；

基于所述缩放系数将当前帧图像缩放到和第一帧图像同比例尺下，对缩放后的当前帧图像和第一帧图像做相关运算，找出第二最大值，基于所述第二最大值获取当前帧图像和第一帧图像的相对平移量。

在本实施例中，作为一种优选的实施方式，包括：

步骤4：对第一ROI和第二ROI做傅里叶变换，并提取傅里叶变换结果的幅度谱；

步骤5：将幅度谱转换到极坐标，并对半径方向取log；

步骤6：对两个转为对数极坐标的幅度谱做相关运算，提取相关运算的第一最大值对应的对数极坐标的平移量。

在上述各实施例的基础上，基于对数极坐标的平移量得到缩放系数，具体包括：

基于对数极坐标平移量角度方向上的变化得到旋转量，基于对数极坐标平移量半径方向取指数幂得到缩放系数。

在本实施例中，作为一种优选的实施方式，还包括：

步骤7：根据对数极坐标的平移量，角度方向即为图像的旋转量，对半径方向取指数幂即为缩放系数。

在上述各实施例的基础上，基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，具体为：

步骤8：基于所述缩放系数将当前帧图像缩放到和第一帧图像同比例尺下，对缩放后的当前帧图像和第一帧图像做相关运算，找出第二最大值，基于所述第二最大值获取当前帧图像和第一帧图像的相对平移量。

步骤9：根据追踪器的初始位置，当前帧图像相对第一帧图像的平移量以及缩放系数求出当前帧图像追踪目标可能位置及大小。

步骤10：追踪过程，重复步骤3-9；在步骤8中需要对平移量做一定的判断。

步骤11：步骤10中的判断条件为：a:相关运算的第一最大值为当前计算值的一个置信度，该置信度必须大于一定的阈值(第一预设阈值)；b:当前帧图像计算的平移量相对于前一帧图像计算出的平移量差值必须小于一定的阈值(第二预设阈值)。必须同时满足以上两个条件才认为计算出的结果时可信的，否则使用前一帧图像的目标位置大小作为当前帧的结果；

在上述各实施例的基础上，还包括：

若判断获知追踪目标的平移量超过追踪目标大小设定比例阈值，和/或追踪时间大于设定时间阈值，则重新进行追踪目标检测，重新步骤1至步骤11。

本发明实施例还提供一种目标追踪装置，基于上述各实施例中的目标追踪方法，包括：

第一模块，用于获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量；

第二模块，用于若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

本发明实施例提供了本发明实施例提供了一种电子设备，如图2所示，该服务器可以包括：处理器(processor)201、通信接口(CommunicationsInterface)202、存储器(memory)203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信。处理器201可以调用存储器203中的逻辑指令，以执行上述各实施例提供的目标追踪方法，例如包括：获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量，若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的目标追踪方法，例如包括：获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量，若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

综上所述，本发明实施例提供的一种目标追踪方法和装置，利用YOLOV3对目标进行识别，利用目标识别的结果初始化追踪器，利用旋转缩放不变性计算前后两帧图像的缩放系数，利用缩放系数将图像缩放到同尺度下，利用相位相关性计算前后两帧图像的平移量，根据缩放系数和平移量计算出当前帧目标所在的位置和目标大小，增加了缩放计算模块，针对有缩放的场景，可以更稳定的追踪目标；性能较高，可能更快追踪目标，满足高帧率的需求；增加置信度判定策略，减少漂移情况。

需要说明的是，本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种目标追踪方法，其特征在于，包括：

选取第一帧图像，并进行追踪目标检测，得到追踪目标的位置，大小和属性信息，初始化追踪器，并提取第一帧图像中的第一感兴趣区域ROI；选取当前帧图像，基于追踪器初始值选取当前帧图像中相同位置出的第二感兴趣区域ROI；

获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量；获取第一ROI和第二ROI的幅度谱相关运算的第一最大值对应的对数极坐标的平移量；基于对数极坐标的平移量得到缩放系数；基于所述缩放系数将当前帧图像缩放到和第一帧图像同比例尺下，对缩放后的当前帧图像和第一帧图像做相关运算，找出第二最大值，基于所述第二最大值获取当前帧图像和第一帧图像的相对平移量；

若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

2.根据权利要求1所述的目标追踪方法，其特征在于，获取第一ROI和第二ROI的幅度谱相关运算的第一最大值对应的对数极坐标的平移量，具体包括：

对第一ROI和第二ROI做傅里叶变换，并提取傅里叶变换结果的幅度谱，对两个转为对数极坐标的幅度谱做相关运算，提取相关运算的第一最大值对应的对数极坐标的平移量。

3.根据权利要求1所述的目标追踪方法，其特征在于，基于对数极坐标的平移量得到缩放系数，具体包括：

基于对数极坐标平移量角度方向上的变化得到旋转量，基于对数极坐标平移量半径方向取指数幂得到缩放系数。

4.根据权利要求1所述的目标追踪方法，其特征在于，还包括：

若判断获知追踪目标的平移量超过追踪目标大小设定比例阈值，和/或追踪时间大于设定时间阈值，则重新进行追踪目标检测。

5.一种目标追踪装置，其特征在于，包括

第一模块，用于选取第一帧图像，并进行追踪目标检测，得到追踪目标的位置，大小和属性信息，初始化追踪器，并提取第一帧图像中的第一感兴趣区域ROI；选取当前帧图像，基于追踪器初始值选取当前帧图像中相同位置出的第二感兴趣区域ROI；获取追踪目标第一帧图像和当前帧图像的缩放系数和平移量；获取第一ROI和第二ROI的幅度谱相关运算的第一最大值对应的对数极坐标的平移量；基于对数极坐标的平移量得到缩放系数；基于所述缩放系数将当前帧图像缩放到和第一帧图像同比例尺下，对缩放后的当前帧图像和第一帧图像做相关运算，找出第二最大值，基于所述第二最大值获取当前帧图像和第一帧图像的相对平移量；

第二模块，用于若判断获知当前帧图像和第一帧图像的相关运算的第二最大值大于第一预设阈值，且当前帧图像与前一帧图像的平移量差值小于第二预设阈值，则基于所述缩放系数和所述平移量得到当前帧图像中追踪目标所在位置和大小，否则以当前帧图像的前一帧图像的追踪目标位置大小作为当前帧图像的结果。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述目标追踪方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述目标追踪方法的步骤。

Images