CN110532893A - 电竞小地图图像中的图标检测方法 - Google Patents

Abstract

本发明公开一种电竞小地图中的图标检测方法。其实现方案是：逐帧采集线下或线上视频中当前帧的电竞图像；截取当前帧的电竞图像中包含图标信息的小地图图像，作为待检测样本；将待检测的包含图标信息的电竞小地图图像输入到目标检测模型，得到所有可能的预测框的类别概率和位置，再对所有可能的预测框的类别概率和位置进行筛选产生最终待检测样本中的图标类别和位置。本发明能实现电竞小地图图像中图标信息的实时采集和精准检测，可用于电竞小地图图像中图标信息的轨迹行为分析。

Description

电竞小地图图像中的图标检测方法

技术领域

本发明属于图像处理领域，更进一步涉及一种图标检测方法，可用于电竞小地图图像中图标的轨迹行为分析。

背景技术

电竞是一种通过电子比赛达到“竞技”层面的体育项目。电子竞技运动就是利用电子设备作为运动器械进行的人与人之间的智力对抗运动。通过运动，可以锻炼和提高参与者的思维能力、反应能力、心眼四肢协调能力和意志力，培养团队精神。

电竞小地图是召唤师峡谷地图的缩略版，电竞小地图是用来观察整局比赛走向的重要组成部分，同时也是防范打野入侵的最有效工具。

目前，电子竞技过程小地图中数据由于存在即时性，数据难以被后期利用的问题，因而对电竞小地图图像中数据实时记录并保存已成为迫切的需求。为了满足这种需求现有绝大多数方法提供了电竞小地图图像赛后数据的查询与展示功能，但是现有的方法无法呈现电竞过程中小地图图像的数据变化趋势。因此，通过计算机视觉技术实时获取电竞过程中小地图图像的图标信息，可有效地保证电竞小地图图像中图标信息的可读性和利用率。

国网安徽省电力有限公司检修分公司在其申请的专利文献“室外施工人员智能视频跟踪算法”(公开号：CN109657575A，申请号：201811482771.3，申请日：2018年12月05日)中公开了一种室外施工人员智能视频跟踪算法。该方法的步骤包括：S1：摄像机采集室外现场施工场景的工作图像，并根据采集的工作图像对施工人员相对位置进行人工标定；S2：采用基于深度学习的Yolo目标检测算法对步骤S1标定完成的图像数据集进行机器训练；S3：通过采用训练完毕的算法模型，对室外施工场景中的给定区域进行检测，追踪给定区域的施工人员及其运动轨迹；S4：根据步骤S3获取的跟定区域施工人员的运动轨迹，计算施工人员是否在给定区域内，进而判断是否规范作业。该方法步骤简单，能够大大提高室外施工现场的监控精度和效率，对施工人员进行连续的监控保证能够实时追踪不会丢失目标，有效监控施工人员的作业全过程。但是，该方法的不足之处是，基于深度学习的Yolo目标检测算法不适用于小目标检测，无法保证电竞小地图图像中图标信息检测的精确度。

东南大学在其申请的专利文献“一种基于SVM多分类算法的卫星导航干扰类型识别方法”(公开号：CN109359523A，申请号：201811037642.3，申请日：2018年9月6日)中公开了一种基于SVM多分类算法的卫星导航干扰类型识别方法。该方法的步骤包括：通过给定的具有不同特征的样本，寻找一个超平面对样本进行分类，进一步将该分类模型应用到未知样本类别的新样本中，且所述样本类型为三类或以上。在此过程中，首先将接收到的卫星导航信号经滤波等处理提取出能反映干扰信号特征的量，并将对应干扰类型进行标记。接着将样本输入SVM多分类器中进行学习，得到最优分类器。当新的干扰信号特征向量进入分类器时，将自动进行分类。该方法自动识别多类型干扰，且提高了干扰识别的效率和准确度。但是该方法的不足之处是，不适用于高达100多个目标的多分类任务，即不适用于电竞过程中小地图图像中图标的分类。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种电竞小地图图像中的图标检测方法，以提高对电竞小地图图像中图标信息的检测准确率和适用性，方便对电竞过程中小地图图像中图标信息的查看与利用。

本发明的技术方案是，采集线上线下电竞视频数据中的每帧电竞图像，截取电竞图像中包含图标信息的小地图图像，利用目标检测模型对小地图图像进行检测，检测出小地图图像中图标信息的类别与位置，具体步骤包括如下：

(1)逐帧采集线下或线上视频中当前帧的电竞图像；

(2)截取当前帧的电竞图像中包含图标信息的小地图图像，作为待检测样本；

(3)采用目标检测模型从待检测样本中检测图标信息的类别与位置。

本发明与现有技术相比具有以下优点：

第一，本发明由于使用计算机视觉识别方法获取电竞小地图图像中图标信息，克服了现有技术中基于深度学习的Yolo目标检测算法不适用于小目标检测，无法实现电竞小地图中图标的检测与识别的缺点，使得本发明的方法能够实现电竞小地图图像中小目标的检测。

第二，本发明由于使用深度学习目标检测框架，检测电竞小地图中的图标信息，克服了现有技术中SVM多分类器不适用于高达100多个目标的多分类任务的缺点，使得本发明的方法能够实现电竞小地图图像中多目标的检测。

附图说明

图1为本发明的实现总流程图；

图2为本发明中非极大值抑制方法的子流程图。

具体实施措施

下面结合附图对本发明的实施例做进一步的详细描述。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

参照图1，本发明给出如下两种实施例。

实施例1

步骤1，逐帧采集线下视频中当前帧的电竞图像，利用视频编解码工具ffmpeg从本地电竞视频文件中逐帧采集当前帧的电竞图像。

步骤2，截取当前帧的电竞图像中包含图标信息的整个小地图图像。

步骤3，制作训练样本集和验证样本集。

制作训练样本集和验证样本集的现有方法有手动标注数据集方法和编写程序的数据标注方法，本实施例采用但不限于编写程序的数据标注方法，其具体步骤如下：

3.1)从历史电竞图像截取包含图标信息的小地图图像，每种图标至少包含一幅小地图图像，截取所有图标；

3.2)随机选取若干个(例如，≤10)截取的图标，并随机放置在空白的一幅小地图图像中，记录该图标在小地图图像中的类别与位置，完成一幅样本的制作；

3.3)重复(3.2)，制作至少300幅样本，将这300幅样本中至少70％的样本组成训练样本集，剩余的样本组成验证样本集。

步骤4，将训练样本集和验证样本集输入YOLOv3目标检测框架进行训练，得到训练好的YOLOv3目标检测模型。

4.1)设置训练超参和网络参数，其包括网络训练初始学习率、学习策略、初始输入图片大小、通道数、最大训练迭代步数、色彩饱和度、旋转角度、曝光率、色调变换；

4.2)将训练样本集和验证样本集输入到YOLOv3目标检测框架进行迭代训练；

4.3)训练过程中，实时计算YOLOv3目标检测模型在验证样本集上的损失函数值，若验证样本集上的损失函数值出现上升趋势，停止训练，否则，训练到最大训练迭代步数，停止训练；

4.4)保存当前的YOLOv3权重文件，得到训练好的YOLOv3目标检测模型。

步骤5，利用训练好的YOLOv3目标检测模型，对待检测样本检测。

5.1)将待检测样本输入到训练好的YOLOv3目标检测模型中，经过该模型中的75层卷积层得到特征图；

5.2)利用该模型中的logistic激活函数对5.1)得到的特征图中位置(x,y)、类别概率进行激活，输出所有可能的预测框的类别概率与位置；

5.3)对所有可能的预测框的类别概率和位置进行筛选，输出待检测样本的最终图标信息类别与位置：

可选地，参照图2，本步骤的具体步骤如下：

第1步，设置一个分类器得分的阈值Q、一个重叠面积的阈值T和一个空的输出列表；

第2步，遍历所有候选框，过滤掉分类器得分小于分类器得分阈值Q的候选框，将剩余的候选框添加到输出列表；

第3步，从输出列表中找到分类器得分最大的候选框，将其从输出列表中移除，输出待检测样本中一个包含类别与位置信息的图标预测框；

第4步，计算输出列表中剩余的候选框与第3步中分类器得分最大候选框的重叠面积S_i，并将该重叠面积S_i与其阈值T的大小进行比较：

若S_i＞T，将该候选框从输出列表中移除，否则，将该候选框继续保留在输出列表中；

第5步，重复执行第3步至第4步，直到输出列表为空。

实施例2

步骤一，逐帧采集线上视频中当前帧的电竞图像，可选地，截取屏幕从网络电竞直播或电竞客户端视频中采集当前帧的电竞图像，备选的，也可利用网络爬虫从全网络的电竞视频文件中采集当前帧的电竞图像。

步骤二，截取当前帧的电竞图像中包含图标信息的整个小地图图像。

步骤三，制作训练样本集和验证样本集。

本步骤的具体实现与实施例1的步骤3相同。

步骤四，将训练样本集和验证样本集输入RefineDet目标检测框架进行训练。

首先，设置训练超参和网络参数，如网络训练初始学习率、学习策略、初始输入图片大小、通道数、最大训练迭代步数、色彩饱和度、旋转角度、曝光率、色调变换；

然后，将训练样本集和验证样本集输入RefineDet目标检测框架进行迭代训练；在训练过程中，实时计算RefineDet目标检测模型在验证样本集上的损失函数值，若验证样本集上的损失函数值出现上升趋势，停止训练，否则，训练到最大训练迭代步数，停止训练；

最后，保存当前的RefineDet权重文件，得到训练好的高检测速率的RefineDet目标检测模型。

步骤五，利用训练好的RefineDet目标检测模型，对待检测样本检测。

第一步，将待检测样本输入到训练好的RefineDet目标检测模型中；

第二步，对输入到训练好的RefineDet目标检测模型中的待检测样本进行前向计算输出所有可能的预测框的类别概率和位置；

第三步，对所有可能的预测框的类别概率和位置进行筛选，输出待检测样本的最终图标信息类别与位置：

本步的具体实现与实施例1的步骤(5.3)相同。

以上描述仅是本发明的两个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理，结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变在本发明的权利要求保护范围之内。

Claims (6)

1.一种电竞小地图图像中的图标检测方法，其特征在于，包括如下：

(1)逐帧采集线下或线上视频中当前帧的电竞图像；

(2)截取当前帧的电竞图像中包含图标信息的小地图图像，作为待检测样本；

(3)采用目标检测模型从待检测样本中检测图标信息的类别与位置。

2.根据权利要求1所述的方法，其特征在于，(1)中逐帧采集线下视频流中当前帧的电竞图像，是利用视频编解码工具从本地电竞视频文件中逐帧采集当前帧的电竞图像。

3.根据权利要求1所述的方法，其特征在于，(1)中逐帧采集线上视频流中当前帧的电竞图像，是通过截取屏幕从网络电竞直播视频中采集当前帧的电竞图像或利用网络爬虫从全网络的电竞视频文件中采集当前帧的电竞图像。

4.根据权利要求1所述的方法，其特征在于，(3)中采用目标检测模型从待检测样本中检测图标信息的类别与位置，其实现如下：

(3a)输入到训练好的目标检测模型中的待检测样本，经过该模型中若干层卷积层得到特征图，这些特征图经过激活函数输出所有可能的预测框的类别概率与位置；

(3b)对所有可能的预测框的类别概率和位置进行筛选，输出待检测样本的最终图标信息类别与位置。

5.根据权利要求4所述的方法，其特征在于，(3a)中训练好的目标检测模型，其实现如下：

(3a1)从历史电竞图像中截取出至少300幅包含图标信息的小地图图像，作为样本集，并将样本集中至少70％作为训练样本集，剩余作为验证样本集；

(3a2)设置训练超参和网络参数，将训练样本集和验证样本集输入到目标检测框架进行迭代训练；

(3a3)训练过程中，实时计算目标检测模型在验证样本集上的损失函数值，若验证样本集上的损失函数值出现上升趋势，停止训练，否则训练到最大训练迭代步数；

(3a4)保存当前的权重文件，得到训练好的目标检测模型。

6.根据权利要求4所述的方法，其特征在于，步骤(3b)中对所有可能的预测框的类别概率和位置进行筛选，具体步骤如下：

(3b1)设置一个分类器得分的阈值Q、一个重叠面积的阈值T和一个空的输出列表；

(3b2)遍历所有候选框，过滤掉分类器得分小于分类器得分阈值Q的候选框，并将剩余的候选框添加到输出列表中；

(3b3)从输出列表中找到分类器得分最大的候选框，将其从输出列表中移除，输出待检测样本中一个包含类别与位置信息的图标预测框；

(3b4)计算输出列表中剩余的候选框与(3b3)中分类器得分最大候选框的重叠面积S_i，并将该重叠面积S_i与设定的阈值T进行比较：

若S_i＞T，将该候选框从输出列表中移除，否则，将该候选框继续保留在输出列表中；

(3b5)重复执行步骤(3b3)～(3b4)，直到输出列表为空。