CN111814642A - 一种电竞赛事数据的识别方法及系统 - Google Patents
一种电竞赛事数据的识别方法及系统 Download PDFInfo
- Publication number
- CN111814642A CN111814642A CN202010616759.8A CN202010616759A CN111814642A CN 111814642 A CN111814642 A CN 111814642A CN 202010616759 A CN202010616759 A CN 202010616759A CN 111814642 A CN111814642 A CN 111814642A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- identifying
- identification
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 30
- 238000007781 pre-processing Methods 0.000 claims description 26
- 238000013480 data collection Methods 0.000 claims description 15
- 125000004122 cyclic group Chemical group 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013479 data entry Methods 0.000 abstract description 7
- 230000001419 dependent effect Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 102100032202 Cornulin Human genes 0.000 description 2
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/635—Overlay text, e.g. embedded captions in a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据识别技术领域，公开了一种电竞赛事数据的识别方法，包括步骤：S1、对直播画面中的图像缩放或者填充后进行识别，进入步骤S2；S2、通过识别规则对某一布局模式的数据类型进行识别，进入步骤S3；S3、针对每个识别规则指定的布局模式调用对应的识别模型提取图像中的信息，并将每一帧的信息进行分类整合，完成整个识别流程。解决目前电竞赛事数据录入技术中依赖人的识别判断准确性差，识别的数据类型种类单一的问题。
Description
技术领域
本发明涉及数据识别技术领域，具体而言，涉及一种电竞赛事数据的识别方法及系统。
背景技术
针对于提供电竞游戏服务项目的客户端而言，为了提高用户的观看体验，通常为用户展示电竞游戏的电竞数据。例如：在为用户提供电竞游戏直播时，客户端为用户提供当前比分、比赛时间，或者，某个玩家的击杀、助攻和死亡数等电竞数据。基于这些电竞数据的显示前，都需要经过数据的采集，识别和处理最后再显示。现有技术中采用的采集和识别技术如下：
基于人工处理、Excel表格的电竞赛事数据录入技术，这种技术依赖人工记录赛事数据，依赖人的判断，在准确性上难以保证，而且在变化频次较快或者变化较多的数据难以做到实时跟踪修改，往往只能在比赛结束之后再进行统计。
基于接口的电竞赛事数据录入技术，需要依赖相关项目游戏厂商对游戏进行数据开发，并由赛事方提供接口授权，这种方法不具有通用性，对于单个项目有一定的研发周期和成本，且接口本身存在延迟和失效的可能性，很容易影响到赛事数据的采集和计算流程。
现有技术中的缺陷在于，1、基于人工处理、Excel表格的电竞赛事数据录入技术，这种技术依赖人工记录赛事数据，依赖人的识别判断，在准确性上难以保证；2、基于接口的电竞赛事数据录入技术，这种方法不具有通用性，识别过程中，识别的数据类型种类单一。
发明内容
本发明的主要目的在于提供一种电竞赛事数据的识别方法及系统，以解决目前电竞赛事数据录入技术中依赖人的识别判断准确性差，识别的数据类型种类单一的问题。
为了实现上述目的，本发明提供了如下技术：
一种电竞赛事数据的识别方法，包括步骤：
S1、对直播画面中的图像缩放或者填充后进行识别，进入步骤S2；
S2、通过识别规则对某一布局模式的数据类型进行识别，进入步骤S3；
S3、针对每个识别规则指定的布局模式调用对应的识别模型提取图像中的信息，并将每一帧的信息进行分类整合，完成整个识别流程。
进一步地，还包括步骤，S4、对当前帧中包含的已识别的信息进行上报和存储。
进一步地，步骤S2中，每一个布局模式，均有相对应的一组识别规则。
进一步地，在步骤S2中，根据布局模式，截取直播画面的图片。
进一步地，步骤S2中识别模型包括多种数据类型对应的识别模型，所述数据类型包括单字符类、多字符类、头像类和检测类。
进一步地，若数据类型为单字符类，通过识别规则对某一布局模式的数据类型进行识别包括：，识别一个单字符图像特征的数组，依次对每个图像进行识别，返回字符，单字符识别采用的LeNet-5模型。
进一步地，若数据类型为多字符类，通过识别规则对某一布局模式的数据类型进行识别包括：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本的识别。
进一步地，若数据类型为头像类和检测类，通过识别规则对某一布局模式的数据类型进行识别包括：二分类模型。
一种电竞赛事数据的识别系统，包括运营后台数据库、上报模块、识别模块和截图模块；
运营后台数据库，用于赛事数据识别系统与维护人员交互的模块，存储电竞赛事图像数据；
上报模块，用于每一帧的数据在经过整理和初步清洗之后提供上报接口，同时存储数据；
识别模块，用于对多种类别的特征数据进行识别，识别模块包括多种数据类型识别的子模块：单字符类识别模块、多字符类识别模块、头像类识别模块和检测类识别模块；
单字符类识别模块：用于识别一个单字符图像特征的数组，依次对每个图像进行识别；
多字符类识别模块：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本或者多字符图像的识别；
头像类识别模块和检测类识别模块：采用二分类模型，对头像类和检测类图像的识别；
截图模块，用于从运营后台数据库中按照指定频率实时地对赛事屏幕进行截图。
进一步地，还包括：任务调度模块、截图模块和图像预处理模块；
任务调度模块，用于控制整个系统数据收集任务，该数据收集任务过程控制截图模块完成；
截图模块，用于接收任务调度模块传递的布局模式信号，截图模块按照指定频率实时地对屏幕进行截图；
图像预处理模块，用于接收截图模块获取的图像数据，进行图像预处理。
与现有技术相比较，本发明能够带来如下技术效果：
解决目前电竞赛事数据录入技术中依赖人的识别判断准确性差，识别的数据类型种类单一的问题。
1、通过卷积神经网络模型和循环神经网络模型快速准确地识别赛事画面中的信息。
2、经过上报和存储的数据在进行进一步的清洗和计算之后，可以实时地呈现给观众，也可以留存用作更深层次的数据分析。
3、通过图中的运营后台可以人工录入布局模式和识别规则的数据，也可以对不同的模型做样本标注和模型测试的工作，这样整个数据流会形成闭环，大幅减少人工成本，人工只需要录入基础的信息，就能够自动化智能化地进行赛事数据识别和收集了。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，使得本发明的其它特征、目的和优点变得更明显。本发明的示意性实施例附图及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明一种电竞赛事数据的识别方法的流程图；
图2是本发明一种电竞赛事数据的识别方法的多字符类识别的网络架构图；
图3是本发明一种电竞赛事数据的识别方法的头像类识别的网络架构图；
图4是本发明一种电竞赛事数据的识别方法的图像预处理流程图；
图5是本发明一种电竞赛事数据的识别系统的工作流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
实施例1
如图1、4和5所示，一种电竞赛事数据的识别方法，包括步骤：
S1、对直播画面中的图像缩放或者填充后进行识别，进入步骤S2；需要将不同尺寸的图像缩放或填充至识别模块能够接受的尺寸，并转成初始特征数组(多个特征数据的组合)，这些特征数据就能被识别模块识别。
S2、通过识别规则对某一布局模式的数据类型进行识别，进入步骤S3；每一个布局模式，均有相对应的一组识别规则。根据布局模式，截取直播画面的图片。步骤S2中识别模型包括多种数据类型对应的识别模型，所述数据类型包括单字符类、多字符类、头像类和检测类。
S3、针对每个识别规则指定的布局模式调用对应的识别模型提取图像中的信息，并将每一帧的信息进行分类整合，完成整个识别流程。
S4、对当前帧中包含的已识别的信息进行上报和存储。
进一步地，若数据类型为单字符类，通过识别规则对某一布局模式的数据类型进行识别包括：，识别一个单字符图像特征的数组，依次对每个图像进行识别，返回字符，单字符识别采用的LeNet-5模型。
进一步地，若数据类型为多字符类，通过识别规则对某一布局模式的数据类型进行识别包括：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本的识别。
若数据类型为头像类和检测类，通过识别规则对某一布局模式的数据类型进行识别包括：二分类模型。
一种电竞赛事数据的识别系统，包括运营后台数据库、上报模块、识别模块和截图模块；
运营后台数据库，用于赛事数据识别系统与维护人员交互的模块，存储电竞赛事图像数据；
上报模块，用于每一帧的数据在经过整理和初步清洗之后提供上报接口，同时存储数据；
识别模块，用于对多种类别的特征数据进行识别，识别模块包括多种数据类型识别的子模块：单字符类识别模块、多字符类识别模块、头像类识别模块和检测类识别模块；
单字符类识别模块：用于识别一个单字符图像特征的数组，依次对每个图像进行识别；
多字符类识别模块：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本或者多字符图像的识别；
头像类识别模块和检测类识别模块：采用二分类模型，对头像类和检测类图像的识别；
截图模块，用于从运营后台数据库中按照指定频率实时地对赛事屏幕进行截图。
进一步地，还包括：任务调度模块、截图模块和图像预处理模块；
任务调度模块，用于控制整个系统数据收集任务，该数据收集任务过程控制截图模块完成；数据收集任务由任务调度模块控制，当比赛开始时，任务模块会调起工作进程，工作进程会获取需要处理的布局模式，然后从数据库中获取该布局模式对应的识别规则，之后将通过截图模块获得直播流或者OB界面的实时帧图像，获得图像之后会根据识别规则对图像进行区域性截取并进行预处理，这一步将会得到用于识别的数据，然后会调用识别模块对这些基础数据进行识别，提取其中的信息，最后，这些识别出来的信息将会在工作进程中进行整合，然后进行相关的上报和存储，完成整个识别流程。经过上报和存储的数据在进行进一步的清洗和计算之后，可以实时地呈现给观众，也可以留存用作更深层次的数据分析。
截图模块，用于接收任务调度模块传递的布局模式信号，截图模块按照指定频率实时地对屏幕进行截图；截图模块通过接收任务调度模块传递的布局模式ID，再通过这个id在数据库中获取该布局模式的详细信息。
图像预处理模块，用于接收截图模块获取的图像数据，进行图像预处理。
图像预处理步骤包括：
S01、根据布局模式从数据库获取对应模式的规则，然后根据规则对于图像数据进行操作；
S02、根据识别规则的输出类型对区域图像进行处理，对图像特征进行降维，进入步骤S03；
S03、根据设定的识别类型，过每一列图像在水平方向上的投影的程度对行文本图像进行切割，切割成单字符图像；
S04、进行预设规则指定的预处理回调操作；
S05、将不同尺寸的图像缩放或填充至识别规则能处理的尺寸，并转成初始设定数组。
实施例2
如图1、2、4和5所示，一种电竞赛事数据的识别方法，包括步骤：
S1、对直播画面中的图像缩放或者填充后进行识别，进入步骤S2；需要将不同尺寸的图像缩放或填充至识别模块能够接受的尺寸，并转成初始特征数组(多个特征数据的组合)，这些特征数据就能被识别模块识别。
S2、通过识别规则对某一布局模式的数据类型进行识别，进入步骤S3；每一个布局模式，均有相对应的一组识别规则。根据布局模式，截取直播画面的图片。步骤S2中识别模型包括多种数据类型对应的识别模型，所述数据类型包括单字符类、多字符类、头像类和检测类。
S3、针对每个识别规则指定的布局模式调用对应的识别模型提取图像中的信息，并将每一帧的信息进行分类整合，完成整个识别流程。
S4、对当前帧中包含的已识别的信息进行上报和存储。
进一步地，若数据类型为单字符类，通过识别规则对某一布局模式的数据类型进行识别包括：，识别一个单字符图像特征的数组，依次对每个图像进行识别，返回字符，单字符识别采用的LeNet-5模型。它是一个基于两层卷积操作的神经网络，能够很好地支持单字符识别的场景。
进一步地，数据类型为多字符类，通过识别规则对某一布局模式的数据类型进行识别包括：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本的识别。单字符的识别效果严重依赖于预处理中切割的效果，在直播或者ob界面截图中，存在画质不稳定的可能性，同时，游戏画面中的文字可能并不是以纯色为底，前景色与背景色很难区分是经常出现的情况，以上这些问题都会导致基于单字符的切割失效，这个时候可以采用单行文本多字符端到端的识别，该项技术主要借助循环卷积神经网络(CRNN)，网络架构如图3所示。
若数据类型为头像类和检测类，通过识别规则对某一布局模式的数据类型进行识别包括：二分类模型。
一种电竞赛事数据的识别系统，包括运营后台数据库、上报模块、识别模块和截图模块；
运营后台数据库，用于赛事数据识别系统与维护人员交互的模块，存储电竞赛事图像数据；
上报模块，用于每一帧的数据在经过整理和初步清洗之后提供上报接口，同时存储数据；
识别模块，用于对多种类别的特征数据进行识别，识别模块包括多种数据类型识别的子模块：单字符类识别模块、多字符类识别模块、头像类识别模块和检测类识别模块；
单字符类识别模块：用于识别一个单字符图像特征的数组，依次对每个图像进行识别；
多字符类识别模块：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本或者多字符图像的识别；
头像类识别模块和检测类识别模块：采用二分类模型，对头像类和检测类图像的识别；
截图模块，用于从运营后台数据库中按照指定频率实时地对赛事屏幕进行截图。
进一步地，还包括：任务调度模块、截图模块和图像预处理模块；
任务调度模块，用于控制整个系统数据收集任务，该数据收集任务过程控制截图模块完成；数据收集任务由任务调度模块控制，当比赛开始时，任务模块会调起工作进程，工作进程会获取需要处理的布局模式，然后从数据库中获取该布局模式对应的识别规则，之后将通过截图模块获得直播流或者OB界面的实时帧图像，获得图像之后会根据识别规则对图像进行区域性截取并进行预处理，这一步将会得到用于识别的数据，然后会调用识别模块对这些基础数据进行识别，提取其中的信息，最后，这些识别出来的信息将会在工作进程中进行整合，然后进行相关的上报和存储，完成整个识别流程。经过上报和存储的数据在进行进一步的清洗和计算之后，可以实时地呈现给观众，也可以留存用作更深层次的数据分析。
截图模块，用于接收任务调度模块传递的布局模式信号，截图模块按照指定频率实时地对屏幕进行截图；截图模块通过接收任务调度模块传递的布局模式ID，再通过这个id在数据库中获取该布局模式的详细信息。
图像预处理模块，用于接收截图模块获取的图像数据，进行图像预处理。
图像预处理步骤包括：
S01、根据布局模式从数据库获取对应模式的规则，然后根据规则对于图像数据进行操作；
S02、根据识别规则的输出类型对区域图像进行处理，对图像特征进行降维，进入步骤S03；
S03、根据设定的识别类型，过每一列图像在水平方向上的投影的程度对行文本图像进行切割，切割成单字符图像；
S04、进行预设规则指定的预处理回调操作；
S05、将不同尺寸的图像缩放或填充至识别规则能处理的尺寸，并转成初始设定数组。
实施例3
如图1、2、3、4和5所示，一种电竞赛事数据的识别方法，包括步骤：
S1、对直播画面中的图像缩放或者填充后进行识别，进入步骤S2；需要将不同尺寸的图像缩放或填充至识别模块能够接受的尺寸，并转成初始特征数组(多个特征数据的组合)，这些特征数据就能被识别模块识别。
S2、通过识别规则对某一布局模式的数据类型进行识别，进入步骤S3；每一个布局模式，均有相对应的一组识别规则。根据布局模式，截取直播画面的图片。步骤S2中识别模型包括多种数据类型对应的识别模型，所述数据类型包括单字符类、多字符类、头像类和检测类。
S3、针对每个识别规则指定的布局模式调用对应的识别模型提取图像中的信息，并将每一帧的信息进行分类整合，完成整个识别流程。
S4、对当前帧中包含的已识别的信息进行上报和存储。
进一步地，若数据类型为单字符类，通过识别规则对某一布局模式的数据类型进行识别包括：，识别一个单字符图像特征的数组，依次对每个图像进行识别，返回字符，单字符识别采用的LeNet-5模型。它是一个基于两层卷积操作的神经网络，能够很好地支持单字符识别的场景。
进一步地，数据类型为多字符类，通过识别规则对某一布局模式的数据类型进行识别包括：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本的识别。单字符的识别效果严重依赖于预处理中切割的效果，在直播或者ob界面截图中，存在画质不稳定的可能性，同时，游戏画面中的文字可能并不是以纯色为底，前景色与背景色很难区分是经常出现的情况，以上这些问题都会导致基于单字符的切割失效，这个时候可以采用单行文本多字符端到端的识别，该项技术主要借助循环卷积神经网络(CRNN)，网络架构如图3所示。
若数据类型为头像类和检测类，通过识别规则对某一布局模式的数据类型进行识别包括：二分类模型。
如图3所示，头像类：传统的头像识别可以将这个问题抽象成一个多分类问题，但是电竞赛事版本变动比较快，经常在版本之间会出现头像的新增和变更，如果设计一个多分类的模型，那么每次版本更新就需要重新训练模型，所以我们将设计了一个二分类模型，输入为头像A和头像B，输出为头像A和B是否是同一头像，头像识别网络的结构相对复杂，首先，输入会通过一个多层卷积编码器，该编码器会把图像编码成128维的特征向量，作为该头像特有的“FaceID”，通过相同的解码器得到的两个头像图片的编码信息可以在合并之后进行全连接并输出最后的结果。
检测类：电竞比赛的事件或者相应的布局信息一般会在直播画面的特定位置展示，具有一定的特征，可以通过检测这部分区域实现对应事件或是布局是否出现的信息，事件检测可以抽象成一个二分类问题，输入是直播流特定位置的图像数据，输出是当前有事件发生的概率，通过卷积神经网络建模训练之后，能够成功地对直播画面进行检测。
更进一步地，检测类的规则也可以结合其他规则，通过设置仅当检测规则通过时某些规则才会生效，可以实现更复杂的识别逻辑，也可以为单个任务设置结束规则，当这个规则的检测通过时，任务调度模块会对停止整个赛事数据提取任务。
一种电竞赛事数据的识别系统，包括运营后台数据库、上报模块、识别模块和截图模块；
运营后台数据库，用于赛事数据识别系统与维护人员交互的模块，存储电竞赛事图像数据；运营后台是赛事数据收集系统与维护人员交互的模块，通过运营后台系统维护人员可以将人类的知识有效地传达给自动化系统，例如定义布局模式、定义规则、选择识别种类、选择识别候选集、进行样本标注等等行为，人类知识将直接传达给自动化系统，帮助自动化系统更高效地进行学习和处理，对于维护人员来说，运营后台是一个事半功倍的工具，很多场景下，只需要一次配置工作，就能达到远超人工数据收集的效率和准确性。
上报模块，用于每一帧的数据在经过整理和初步清洗之后提供上报接口，同时存储数据；上报模块可以进行更深度的数据计算，也可以将数据存储下来，支持长期的数据分析需求。
识别模块，用于对多种类别的特征数据进行识别，识别模块包括多种数据类型识别的子模块：单字符类识别模块、多字符类识别模块、头像类识别模块和检测类识别模块；
单字符类识别模块：用于识别一个单字符图像特征的数组，依次对每个图像进行识别；
多字符类识别模块：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本或者多字符图像的识别；
头像类识别模块和检测类识别模块：采用二分类模型，对头像类和检测类图像的识别；
截图模块，用于从运营后台数据库中按照指定频率实时地对赛事屏幕进行截图。
进一步地，还包括：任务调度模块、截图模块和图像预处理模块；
任务调度模块，用于控制整个系统数据收集任务，该数据收集任务过程控制截图模块完成；数据收集任务由任务调度模块控制，当比赛开始时，任务模块会调起工作进程，工作进程会获取需要处理的布局模式，然后从数据库中获取该布局模式对应的识别规则，之后将通过截图模块获得直播流或者OB界面的实时帧图像，获得图像之后会根据识别规则对图像进行区域性截取并进行预处理，这一步将会得到用于识别的数据，然后会调用识别模块对这些基础数据进行识别，提取其中的信息，最后，这些识别出来的信息将会在工作进程中进行整合，然后进行相关的上报和存储，完成整个识别流程。经过上报和存储的数据在进行进一步的清洗和计算之后，可以实时地呈现给观众，也可以留存用作更深层次的数据分析。
截图模块，用于接收任务调度模块传递的布局模式信号，截图模块按照指定频率实时地对屏幕进行截图；截图模块通过接收任务调度模块传递的布局模式ID，再通过这个id在数据库中获取该布局模式的详细信息。
图像预处理模块，用于接收截图模块获取的图像数据，进行图像预处理。
图像预处理步骤包括：
S01、根据布局模式从数据库获取对应模式的规则，然后根据规则对于图像数据进行操作；
S02、根据识别规则的输出类型对区域图像进行处理，对图像特征进行降维，进入步骤S03；
S03、根据设定的识别类型，过每一列图像在水平方向上的投影的程度对行文本图像进行切割，切割成单字符图像；
S04、进行预设规则指定的预处理回调操作；
S05、将不同尺寸的图像缩放或填充至识别规则能处理的尺寸，并转成初始设定数组。
与现有技术相比较，本发明能够带来如下技术效果：
解决目前电竞赛事数据录入技术中依赖人的识别判断准确性差，识别的数据类型种类单一的问题。
1、通过卷积神经网络模型和循环神经网络模型快速准确地识别赛事画面中的信息。
2、经过上报和存储的数据在进行进一步的清洗和计算之后，可以实时地呈现给观众，也可以留存用作更深层次的数据分析。
3、通过图中的运营后台可以人工录入布局模式和识别规则的数据，也可以对不同的模型做样本标注和模型测试的工作，这样整个数据流会形成闭环，大幅减少人工成本，人工只需要录入基础的信息，就能够自动化智能化地进行赛事数据识别和收集了。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种电竞赛事数据的识别方法，其特征在于，包括步骤：
S1、对直播画面中的图像缩放或者填充后进行识别，进入步骤S2；
S2、通过识别规则对某一布局模式的数据类型进行识别，进入步骤S3；
S3、针对每个识别规则指定的布局模式调用对应的识别模型提取图像中的信息，并将每一帧的信息进行分类整合，完成整个识别流程。
2.如权利要求1所述的一种电竞赛事数据的识别方法，其特征在于，还包括步骤，S4、对当前帧中包含的已识别的信息进行上报和存储。
3.如权利要求1或2所述的一种电竞赛事数据的识别方法，其特征在于，步骤S2中，每一个布局模式，均有相对应的一组识别规则。
4.如权利要求3所述的一种电竞赛事数据的识别方法，其特征在于，在步骤S2中，根据布局模式，截取直播画面的图片。
5.如权利要求1或4所述的一种电竞赛事数据的识别方法，其特征在于，步骤S2中识别模型包括多种数据类型对应的识别模型，所述数据类型包括单字符类、多字符类、头像类和检测类。
6.如权利要求5所述的一种电竞赛事数据的识别方法，其特征在于，若数据类型为单字符类，通过识别规则对某一布局模式的数据类型进行识别包括：识别一个单字符图像特征的数组，依次对每个图像进行识别，返回字符，单字符识别采用的LeNet-5模型。
7.如权利要求5所述的一种电竞赛事数据的识别方法，其特征在于，若数据类型为多字符类，通过识别规则对某一布局模式的数据类型进行识别包括：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本的识别。
8.如权利要求5所述的一种电竞赛事数据的识别方法，其特征在于，若数据类型为头像类和检测类，通过识别规则对某一布局模式的数据类型进行识别包括：二分类模型。
9.一种电竞赛事数据的识别系统，其特征在于，包括运营后台数据库、上报模块、识别模块和截图模块；
运营后台数据库，用于赛事数据识别系统与维护人员交互的模块，存储电竞赛事图像数据；
上报模块，用于每一帧的数据在经过整理和初步清洗之后提供上报接口，同时存储数据；
识别模块，用于对多种类别的特征数据进行识别，识别模块包括多种数据类型识别的子模块：单字符类识别模块、多字符类识别模块、头像类识别模块和检测类识别模块；
单字符类识别模块：用于识别一个单字符图像特征的数组，依次对每个图像进行识别；
多字符类识别模块：采用的循环卷积神经网络模型，通过对结果的整合处理得到任意长的单行文本或者多字符图像的识别；
头像类识别模块和检测类识别模块：采用二分类模型，对头像类和检测类图像的识别；
截图模块，用于从运营后台数据库中按照指定频率实时地对赛事屏幕进行截图。
10.如权利要求9所述的一种电竞赛事数据的识别系统，其特征在于，还包括：
任务调度模块，用于控制整个系统数据收集任务，该数据收集任务过程控制截图模块完成；
截图模块，用于接收任务调度模块传递的布局模式信号，截图模块按照指定频率实时地对屏幕进行截图；
图像预处理模块，用于接收截图模块获取的图像数据，进行图像预处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010616759.8A CN111814642A (zh) | 2020-06-30 | 2020-06-30 | 一种电竞赛事数据的识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010616759.8A CN111814642A (zh) | 2020-06-30 | 2020-06-30 | 一种电竞赛事数据的识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111814642A true CN111814642A (zh) | 2020-10-23 |
Family
ID=72855264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010616759.8A Pending CN111814642A (zh) | 2020-06-30 | 2020-06-30 | 一种电竞赛事数据的识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814642A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583443A (zh) * | 2018-11-15 | 2019-04-05 | 四川长虹电器股份有限公司 | 一种基于文字识别的视频内容判断方法 |
| CN110025956A (zh) * | 2019-04-24 | 2019-07-19 | 杭州威佩网络科技有限公司 | 一种电竞数据推送方法、装置及服务器 |
| US20190354763A1 (en) * | 2018-05-18 | 2019-11-21 | Thuuz, Inc. | Video processing for enabling sports highlights generation |
| CN110533026A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于计算机视觉的电竞图像数字与图标信息获取方法 |
| CN110737714A (zh) * | 2019-10-18 | 2020-01-31 | 西安电子科技大学 | 基于计算机视觉的电竞数据可视化系统及方法 |
| CN110781881A (zh) * | 2019-09-10 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种视频中的赛事比分识别方法、装置、设备及存储介质 |
| CN111147891A (zh) * | 2019-12-31 | 2020-05-12 | 杭州威佩网络科技有限公司 | 视频画面中对象的信息的获取方法、装置及设备 |
-
2020
- 2020-06-30 CN CN202010616759.8A patent/CN111814642A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190354763A1 (en) * | 2018-05-18 | 2019-11-21 | Thuuz, Inc. | Video processing for enabling sports highlights generation |
| CN109583443A (zh) * | 2018-11-15 | 2019-04-05 | 四川长虹电器股份有限公司 | 一种基于文字识别的视频内容判断方法 |
| CN110025956A (zh) * | 2019-04-24 | 2019-07-19 | 杭州威佩网络科技有限公司 | 一种电竞数据推送方法、装置及服务器 |
| CN110533026A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于计算机视觉的电竞图像数字与图标信息获取方法 |
| CN110781881A (zh) * | 2019-09-10 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种视频中的赛事比分识别方法、装置、设备及存储介质 |
| CN110737714A (zh) * | 2019-10-18 | 2020-01-31 | 西安电子科技大学 | 基于计算机视觉的电竞数据可视化系统及方法 |
| CN111147891A (zh) * | 2019-12-31 | 2020-05-12 | 杭州威佩网络科技有限公司 | 视频画面中对象的信息的获取方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826538B (zh) | 一种用于电力营业厅的异常离岗识别系统 | |
| CN107105310B (zh) | 一种视频直播中人物形象替换方法、装置和一种录播系统 | |
| CN110298231B (zh) | 一种用于篮球比赛视频进球判定的方法及系统 | |
| US9141184B2 (en) | Person detection system | |
| Liu et al. | Pose-guided R-CNN for jersey number recognition in sports | |
| CN111061898A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN107654406B (zh) | 风扇送风控制设备、风扇送风控制方法及装置 | |
| US11176679B2 (en) | Person segmentations for background replacements | |
| CN109559362B (zh) | 一种图像主体脸部替换方法及装置 | |
| CN109978805A (zh) | 拍照处理方法、装置、移动终端以及存储介质 | |
| CN111429341B (zh) | 一种视频处理方法、设备及计算机可读存储介质 | |
| JP7502570B2 (ja) | 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体 | |
| CN110856039A (zh) | 视频处理方法及装置、存储介质 | |
| CN111161295A (zh) | 一种菜品图像背景剥离方法 | |
| CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
| JP2023543640A (ja) | 酒ラベル識別方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体 | |
| CN114550067A (zh) | 一种体育赛事自动直播与导播方法、装置、设备及存储介质 | |
| CN113869115A (zh) | 一种人脸图像处理的方法及系统 | |
| CN110728604B (zh) | 一种分析方法及装置 | |
| CN110662001B (zh) | 一种视频投影显示方法、装置及存储介质 | |
| CN111814642A (zh) | 一种电竞赛事数据的识别方法及系统 | |
| CN112183235A (zh) | 针对运动场所进行视频采集的自动控制方法 | |
| CN116682048A (zh) | 一种羽毛球发球高度的违规检测方法及装置 | |
| CN114550069B (zh) | 一种基于深度学习的仔猪乳头计数方法 | |
| CN110956093A (zh) | 基于大数据的模型识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |