CN112446333B - 基于重检测的球类目标跟踪方法及系统 - Google Patents

Abstract

本公开提出了基于重检测的球类目标跟踪方法及系统，包括如下步骤：初始化构建的跟踪器、验证器和检测器，获得位置黑名单；获取检测图像输入至跟踪器，采用目标跟踪算法识别输出预测的目标球位置；将跟踪器的输出传输至验证器，采用视觉跟踪算法对跟踪器的输出进行打分，打分合格执行下一帧图像的检测，否则执行下一步；采用目标检测算法进行全局检测，将全局检测结果过滤黑名单位置后获得目标球的位置。本公开采用跟踪、验证及全局检测相融合的方法进行多次检测，同时能够在篮球被遮挡以及出境之后进行篮球检测，可以快速准确的检测到出境后或被遮挡后的目标篮球进行重新定位，提高了目标跟踪的准确性。

Description

基于重检测的球类目标跟踪方法及系统

技术领域

本公开涉及目标跟踪以及球类视频跟踪相关技术领域，具体的说，是涉及基于重检测的球类目标跟踪方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

目标跟踪技术一直是计算机视觉研究领域中非常重要且具有挑战性的任务，在安防监控、人机交互、军事侦察等诸多方面都有着广泛的应用前景。目标的不定向运动改变了目标以及背景的外观模式，光照变化，遮挡，快速运动以及相机的运动都使目标跟踪任务变得更加的困难。

发明人发现，虽然目标跟踪近些年已经有了大量的研究进展，但是目标遮挡以及频繁的出入镜目标的检测，仍然是跟踪任务中的一项较大的挑战。同时，对于体育视频的球类跟踪任务来说，球类目标较小，会频繁的出现遮挡问题，常规的跟踪算法性能会严重下降。

发明内容

本公开为了解决上述问题，提出了基于重检测的球类目标跟踪方法及系统，针对球类跟踪提出的基于重检测的篮球视频跟踪方法，采用跟踪、验证及全局检测相融合的方法进行多次检测，同时，能够在篮球被遮挡以及出境之后进行篮球检测，当篮球再次出现的时候，篮球检测器可以快速准确的检测到目标篮球进行重新定位，从而可以使得跟踪算法能够继续正常执行，提高了目标跟踪的准确性。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了基于重检测的球类目标跟踪方法，包括如下步骤：

初始化构建的跟踪器、验证器和检测器，获得位置黑名单；

获取检测图像输入至跟踪器，采用目标跟踪算法识别输出预测的目标球位置；

将跟踪器的输出传输至验证器，采用视觉跟踪算法对跟踪器的输出进行打分，打分合格执行下一帧图像的检测，否则执行下一步；

采用目标检测算法进行全局检测，将全局检测结果过滤黑名单位置后获得目标球的位置。

一个或多个实施例提供了基于重检测的球类目标跟踪系统，包括：

第一初始化模块：被配置为用于初始化构建的跟踪器、验证器和检测器，获得位置黑名单；

跟踪模块；被配置为用于获取检测图像输入至跟踪器，采用目标跟踪算法识别输出预测的目标球位置；

验证模块：被配置为用于验证将跟踪器的输出传输至验证器，采用视觉跟踪算法对跟踪器的输出进行打分，打分合格执行下一帧图像的检测，否则转到全局检测模块；

全局检测模块：被配置为用于采用目标检测算法进行全局检测，将全局检测结果过滤黑名单位置后获得目标球的位置。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：

(1)本公开同时设置了跟踪器、验证器和检测器，首先通过跟踪器和验证器采用跟踪算法进行跟踪和验证，对于跟踪结果进行验证不符合要求后采用目标检测算法进行全局检测，确定目标球的位置，融合了目标跟踪算法、视觉跟踪算法和目标检测算法对目标球进行识别和检测，提高了识别的准确度，本实施例针对球类的跟踪，所提出的基于重检测的篮球视频跟踪方法相比现有的解决方案，识别的准确度有显著的提升。

(2)本公开考虑到场边篮球在检测器进行全局检测时的干扰，提出了先检测所有球并将其他非目标球设置位置黑名单，用来改进全局检测时会错误检测到干扰球或非目标球的问题，进一步提高了跟踪效果。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是本公开实施例1的方法的流程图；

图2是本公开实施例1的方法应用框架示意图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

实施例1

球类目标跟踪包括篮球、足球、排球等，本实施例以篮球为例进行说明。

在一个或多个实施方式中公开的技术方案中，如图1所示，基于重检测的球类目标跟踪方法，包括：

步骤1、使用第一帧初始化构建的跟踪器、验证器和检测器，获得位置黑名单；

步骤2、获取后续图像输入至跟踪器，跟踪器采用目标跟踪算法识别输出预测的目标球位置；

步骤3、验证器采用视觉跟踪算法对跟踪器的输出进行打分，打分合格执行下一帧图像的检测，即执行步骤2，否则启动检测器采用目标检测算法进行全局检测，将全局检测结果过滤黑名单位置后获得目标球的位置。

具体的，本实施例中检测器初始化用于设定非目标篮球的位置为黑名单位置，检测器采用目标检测算法进行全局的检测过程中，通过初始化时设置的黑名单位置，过滤场边其他的干扰篮球，识别目标篮球的位置。

本实施例同时设置了跟踪器、验证器和检测器，首先通过跟踪器和验证器采用跟踪算法进行跟踪和验证，对于跟踪结果进行验证不符合要求后采用目标检测算法进行全局检测，确定目标篮球的位置，融合了目标跟踪算法、视觉跟踪算法和目标检测算法对目标篮球进行识别和检测，提高了识别的准确度，本实施例针对篮球跟踪任务，所提出的基于重检测的篮球视频跟踪方法相比现有的解决方案，识别的准确度有显著的提升。

进一步的技术方案，检测过程中，针对篮球被遮挡或者出境情况下，还包括如下步骤：

步骤4、当前帧检测图像中未检测到目标篮球，将上一帧图像中目标篮球的位置设置为目前篮球的位置；

步骤5、当再次检测到目标篮球后，初始化跟踪器，进行下一帧图像的跟踪检测，即为循环执行步骤2-3。

其中，当前帧检测图像中未检测到目标篮球的情况包括篮球被遮挡或者是篮球出镜。

本实施例针对长时间的篮球跟踪中会频繁的出现完全遮挡以及出境问题，率先尝试将篮球检测器整合到跟踪流程中，可以有效的缓解完全遮挡以及出境之后再出现跟踪器无法跟踪到篮球的问题，提高了篮球跟踪的准确率。

步骤1中，可选的，跟踪器和验证器的初始化为：采用卷积神经网络学习目标的外观模型，本实施例中，目标即为目标篮球，可以选择第一帧图像作为用于初始化的图像，输入至卷积网络进行识别获得目标篮球的外观模型。

可选的，验证器采用RTMDNet算法进行识别，验证器具体为RTMDNet算法模型。

可选的，跟踪器：采用Dimp目标跟踪算法，跟踪器具体为Dimp目标跟踪模型。

检测器的初始化，用于实现检测整个球场的篮球，具体的，初始化方法为：将球场上除目标篮球外的其他球的位置设置为黑名单位置，具体的，可以如下：

步骤1-1确定目标篮球的初始位置；

步骤1-2获取用于初始化的检测图像，输入至检测器识别检测区域所有篮球及其位置；

具体的，本实施例中，可以将待检测区域的第一帧图像作为用于初始化的图像。检测器进行检测获得检测结果，即为检测区域所有篮球及其位置。

本实施例中，目标跟踪算法的定义在给定视频第一帧目标所在位置的情况下用算法定位出后续帧中目标位置。目标篮球是给定的，偏移指的是目标篮球的坐标和黑名单中篮球坐标的位置偏差。

步骤1-3，计算检测区域内其他篮球位置与目标篮球的初始位置的偏移量，超出设定的范围，将该篮球的位置设置为黑名单。

本实施例中，开始比赛的时刻图像作为第一帧图像，可以人为的指定一个篮球作为目标篮球，将检测器检测到的篮球位置与目标篮球的位置进行比较，如果检测到的篮球和目标篮球位置偏移量很小则检测到的是目标篮球，超过一定的范围比如100可以视为其他干扰篮球，即黑名单位置。

本实施例考虑到场边篮球在检测器进行全局检测时的干扰，提出了先检测出所有篮球并将其他非目标篮球设置位置黑名单，用来改进全局检测时会错误检测到其他篮球的问题，进一步提高了跟踪效果。

进一步的，检测器的输入是一张图片，输出是图片中存在的篮球的包围框的坐标，包括包围框的左上角和右下角坐标表示。

还包括检测器训练的步骤，篮球检测器的训练过程如下：

步骤11、获取篮球检测数据集；

具体的，数据集的建立方法为：通过对若干室内室外球场若干视角篮球视频的采集获得检测数据集图片，进行挑选和标注，获得包含篮球的包围框坐标的大量的篮球标注数据。本实施例的数据集建立过程中的图像采集可以确保数据的多样性。

步骤12将数据集划分为训练集和测试集；

具体的，对篮球数据集按照一定比例的划分成训练集和测试集并且编写相关代码，形成了可以用于训练和测试的篮球数据集；

步骤13，设置目标检测算法中的长宽比及尺寸参数，将数据集的数据输入至Faster-RCNN网络进行训练，获得Faster-RCNN网络的配置参数。

本实施例的检测器具体为Faster-RCNN网络，网络可以包括依次连接的特征提取层、RPN层、ROI pooling层以及分类和回归层。训练过程中通过针对性的调整训练参数和策略，获得Faster-RCNN网络的最优配置参数，获得训练后的检测器。

设置检测器的目标检测算法中的长宽比及尺寸参数具体的将检测算法中的长宽比都设置为1，同时根据篮球的大小设置检测算法中的尺寸参数。

本实施例中，针对篮球跟踪，收集篮球数据集，训练篮球检测器，相对于通用检测器本实施例的检测器对于篮球检测更加准确。

本实施例的具体的适用场景如图2所示，为篮球场篮球的目标识别过程。

本实施例设置了进行全局检测的检测器，以及设置干扰球黑名单，在跟踪结果得分低于设置的阈值时，其通过全局的篮球检测获得场上所有的篮球位置，并将其中属于干扰球的结果剔除，返回目标篮球的检测位置。在目标被遮挡或者出境之后再次出现时，将此时的目标位置对跟踪器进行再次的初始化，从而可以使得跟踪器在目标被遮挡或者出境之后再次出现时能够准确的跟踪到目标篮球，本实施例针对现有技术在篮球被遮挡或者出境之后再出现无法正确跟踪的问题，所提出的球类重或再检测方法能够在有效解决，相比现有方法获得了非常显著的跟踪准确度提升。

实施例2

本实施例提供基于重检测的球类目标跟踪系统，包括：

初始化模块：被配置为用于初始化构建的跟踪器、验证器和检测器，获得位置黑名单；

跟踪模块；被配置为用于获取检测图像输入至跟踪器，采用目标跟踪算法识别输出预测的目标球位置；

验证模块：被配置为用于验证将跟踪器的输出传输至验证器，采用视觉跟踪算法对跟踪器的输出进行打分，打分合格执行下一帧图像的检测，否则转到全局检测模块；

全局检测模块：被配置为用于采用目标检测算法进行全局检测，将全局检测结果过滤黑名单位置后获得目标球的位置。

进一步的还包括：

设置模块：被配置为用于当前帧检测图像未检测到目标篮球，将上一帧图像中目标篮球的位置设置为目前篮球的位置；

第二初始化模块：被配置为用于当目标篮球出镜或遮挡后再次检测到目标篮球后，初始化跟踪器，进行下一帧图像的跟踪检测。

实施例3

本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。

实施例4

本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。

本公开所提出的电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.基于重检测的球类目标跟踪方法，其特征是，包括如下步骤：

初始化构建的跟踪器、验证器和检测器，获得位置黑名单；其中，检测器的初始化，将球场上除目标篮球外的其他球的位置设置为黑名单位置；具体为：

确定目标篮球的初始位置；获取用于初始化的检测图像，输入至检测器识别检测区域所有篮球及其位置；计算检测区域内其他篮球位置与目标篮球的初始位置的偏移量，超出设定的范围，将该篮球的位置设置为黑名单；

获取检测图像输入至跟踪器，采用目标跟踪算法识别输出预测的目标篮球位置；

将跟踪器的输出传输至验证器，采用视觉跟踪算法对跟踪器的输出进行打分，打分合格执行下一帧图像的检测，否则执行下一步；

采用目标检测算法进行全局检测，将全局检测结果过滤黑名单位置后获得目标篮球的位置。

2.如权利要求1所述的基于重检测的球类目标跟踪方法，其特征是：还包括如下步骤：

当前帧检测图像未检测到目标篮球，将上一帧图像中目标篮球的位置设置为目前篮球的位置；

当再次检测到目标篮球后，初始化跟踪器，进行下一帧图像的跟踪检测。

3.如权利要求1所述的基于重检测的球类目标跟踪方法，其特征是：跟踪器和验证器的初始化为：采用卷积神经网络学习目标的外观模型。

4.如权利要求1所述的基于重检测的球类目标跟踪方法，其特征是：验证器采用RTMDNet算法进行识别；跟踪器采用Dimp目标跟踪算法。

5.如权利要求1所述的基于重检测的球类目标跟踪方法，其特征是：还包括检测器训练的步骤，检测器的训练过程如下：

获取目标球类的检测数据集；

将数据集划分为训练集和测试集；

设置目标检测算法中的长宽比及尺寸参数，将数据集的数据输入至Faster-RCNN网络进行训练，获得Faster-RCNN网络的配置参数。

6.如权利要求1所述的基于重检测的球类目标跟踪方法，其特征是：

检测数据集的建立方法为：采集若干室内室外球场的若干视角视频，获得检测数据集图片，进行挑选和标注，获得包含篮球的包围框坐标的球标注数据；

检测器具体为Faster-RCNN网络，网络可以包括依次连接的特征提取层、RPN层、ROIpooling层以及分类和回归层；

设置检测器的目标检测算法中的长宽比为1，根据篮球的大小设置检测算法中的尺寸参数。

7.基于重检测的球类目标跟踪系统，其特征是，包括：

第一初始化模块：被配置为用于初始化构建的跟踪器、验证器和检测器，获得位置黑名单；其中，检测器的初始化，将球场上除目标篮球外的其他球的位置设置为黑名单位置；具体为：确定目标篮球的初始位置；获取用于初始化的检测图像，输入至检测器识别检测区域所有篮球及其位置；计算检测区域内其他篮球位置与目标篮球的初始位置的偏移量，超出设定的范围，将该篮球的位置设置为黑名单；

跟踪模块；被配置为用于获取检测图像输入至跟踪器，采用目标跟踪算法识别输出预测的目标篮球位置；

验证模块：被配置为用于验证将跟踪器的输出传输至验证器，采用视觉跟踪算法对跟踪器的输出进行打分，打分合格执行下一帧图像的检测，否则转到全局检测模块；

全局检测模块：被配置为用于采用目标检测算法进行全局检测，将全局检测结果过滤黑名单位置后获得目标篮球的位置。

8.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项方法所述的步骤。

9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项方法所述的步骤。

Images