CN110737714A - 基于计算机视觉的电竞数据可视化系统及方法 - Google Patents
基于计算机视觉的电竞数据可视化系统及方法 Download PDFInfo
- Publication number
- CN110737714A CN110737714A CN201910993212.7A CN201910993212A CN110737714A CN 110737714 A CN110737714 A CN 110737714A CN 201910993212 A CN201910993212 A CN 201910993212A CN 110737714 A CN110737714 A CN 110737714A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- icon
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013079 data visualisation Methods 0.000 title claims abstract description 23
- 238000007418 data mining Methods 0.000 claims abstract description 36
- 238000013500 data storage Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 22
- 238000009877 rendering Methods 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 13
- 230000005611 electricity Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000005065 mining Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 2
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 230000009193 crawling Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910000906 Bronze Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000010974 bronze Substances 0.000 description 1
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于计算机视觉的电竞数据可视化系统及方法，系统包括图像获取模块、计算机视觉识别模块、数据挖掘模块、数据存储模块和数据呈现模块。本发明方法的步骤为：图像获取模块获取电竞图像、计算机视觉识别模块识别电竞图像中文字信息、图标信息和图标位置信息、数据挖掘模块挖掘电竞图像中数据的潜在信息、数据存储模块存储电竞数据、数据呈现模块调取电竞数据，进行图形渲染并呈现。本发明的系统不需要人工通过请求输入和查询请求采集数据，使得系统结构更加简单。本发明的方法能够实现图像中文字信息、图标信息和图标位置的实时采集，并且能够挖掘图像中数据的深层潜在信息。
Description
技术领域
本发明属于计算机技术领域，更进一步涉及计算机图形学和图像处理技术领域中的一种基于计算机视觉的电竞数据可视化系统及方法。本发明可用于对电子竞技过程中实时获取的数据，进行数据挖掘和图形化展示。
背景技术
目前电子竞技过程中的数据存在即时性，缺少时间维度，不利于理解和预测，如何将电竞数据结果清晰，易懂的展示给用户成为了迫切的需求。为了满足这种需求绝大多数系统或工具提供了电竞赛后数据的查询与展示功能。目前绝大多数数据可视化系统很难同时满足：实时的数据展示，即可以实时的用可视化的方式展示数据变化情况；实时可变维度的数据展示，即可以在系统中实时的切换维度观察数据变化。因此，通过计算机视觉技术获取电子竞技过程中实时数据，支持深度学习的数据挖掘与可视化系统提供了电竞数据实时多维度展示的可能，有效地保证了电竞数据可读性和利用率。
成都四方伟业软件股份有限公司在其申请的专利文献“一种搜索引擎结果数据可视化展示方法及系统”(公开号：CN1072特定626特定B，申请号：201710448370.特定，申请日：2017年06月14日)中公开了一种搜索引擎结果数据可视化展示方法及系统。该系统包括请求输入模块、请求查询模块、基于请求输入模块、请求查询模块提供的关键词检索数据采集模块、数据处理模块、图形渲染模块和数据呈现模块。该系统可同时满足实时数据展示、实时可变维度的数据展示。但是，该系统仍然存在的不足之处是，由于数据采集模块需要人工通过请求输入模块的关键词输入和请求查询模块的查询请求后进行数据采集，无法实现自动地数据采集，不适于电子竞技过程中数据的获取，无法实现电竞数据的可视化。该方法的步骤包括：首先构建实时数据流，通过与搜索引擎关联，搜索引擎完成实时数据索引；构建数据源与搜索引擎的连接，搜索引擎完成与数据源之间异步的数据采集过程；然后对用户输入的关键字利用NLP技术进行解析，对选择的数据呈现维度、统计指标进行查询语句转化；最后将查询结果集转化为用于表示计算机图形的数据结构，通过GPU进行图形渲染，呈现在浏览器上面。该方法可基于关键词全文检索的数据查询，支持NLP(自然语言处理)处理的关键字搜索；海量的数据检索均在特定S秒内返回，支持的数据规模达到PB级，上百亿条的数据量。但是，该方法仍然存在的不足之处是，数据采集过程完全依赖于搜索引擎内容，无法实现电竞图像中数据的获取。
苏州青铜时代数据科技有限公司在其申请的专利文献“一种城市数据可视化系统及其构建方法”(公开号：CN109033396A，申请号：201810864813.3，申请日：2018年08月01日)中公开了一种城市数据可视化系统及其构建方法。该系统包括数据收集模块，数据提取模块，信息完善模块，信息处理模块，库构建模块，实现了企业城市数据的解读过程流程化、规范化，提高了解读结果的准确性和完整性。但是，该系统仍然存在的不足之处是，库构建模块过于复杂，需要大量的城市数据，构建成本高。该方法的步骤包括：通过GPS、摄像头和/或传感器设备采集数据信息，编写网络爬虫从全网获取相关数据资源；将所述数据资源进行分析分解，对数据资源进行脱敏并提取所需相关信息，形成数据用户资源包；建立城市数据解读数据库。但是该方法仍然存在的不足之处是，该方法的数据采集与解读过程过于冗余无法满足实时性，不适用于电子竞技过程中实时数据的获取。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于计算机视觉的电竞数据可视化系统及方法，本发明可用于电竞图像中数据的提取与呈现，通过图像获取模块和计算机视觉识别技术，实时识别图像中的文字信息，图标信息和图标位置信息，克服了电竞数据无法实时获取的问题，实现了电竞图像中数据的获取与电竞数据的可视化。
实现本发明目的的思路是，用户通过图像获取模块逐帧采集线下或者线上视频流中的一帧电竞图像，并截取包含文字信息和图标信息的图像传输至计算机视觉识别模块，计算机视觉识别模块将图像中的文字信息与图标信息检测识别得到电竞数据，实现了电竞数据的实时获取，数据挖掘模块挖掘潜在的数据；并一同传输至数据存储模块，用于数据呈现模块的检索和图形渲染并展示。
本发明的系统包括图像获取模块、计算机视觉识别模块、数据挖掘模块、数据存储模块和数据呈现模块；所述图像获取模块与计算机视觉识别模块相连；所述计算机视觉识别模块分别与数据存储模块和数据挖掘模块相连；所述数据存储模块分别与计算机视觉识别模块与数据挖掘模块相连；所述数据呈现模块与数据存储模块相连；其中：
所述图像获取模块，用于从实时采集的一帧电竞图像中，截取显示数字信息或图标信息的所有区域，组成信息区域图像
所述计算机视觉识别模块，用于提取信息区域图像的特征向量，根据图像特征向量使用机器学习分类模型对信息区域图像进行分类，检测出信息区域图像中的文字信息或图标信息；用于根据目标检测网络模型，检测包含图标信息的信息区域图像，获得信息区域图像中图标信息和图标位置信息；
所述数据挖掘模块，用于对从信息区域图像中检测到的电竞数据进行数据挖掘，提取到数据中潜在信息数据；
所述数据存储模块，用于对检测到的文字信息、图标信息、图标位置信息和挖掘到的潜在信息数据进行缓存，用于网络传输协议的调取电竞数据和电竞数据的备份；
所述数据呈现模块，用于根据网络传输协议实时调取计算机存储设备中最新缓存的一条数据利用显示器显示渲染后的图形；用于根据网络传输协议实时调取计算机存储设备中备份的整场比赛的所有数据，并对其进行图形渲染，利用显示器显示渲染后的图形。
本发明的方法的具体步骤如下：
步骤1，截取信息区域图像：
图像获取模块从实时采集的一帧电竞图像中，截取显示数字信息或图标信息的所有区域，组成信息区域图像；
步骤2，检测信息区域图像中的文字信息和图标信息：
计算机视觉识别模块提取信息区域图像的特征向量，根据图像特征向量使用机器学习分类模型对信息区域图像进行分类，检测出信息区域图像中的文字信息或图标信息
步骤3，检测信息区域图像中图标信息和图标位置信息：
计算机视觉识别模块采用目标检测网络模型，检测包含图标信息的信息区域图像，获得信息区域图像中图标信息和图标位置信息；
步骤4，挖掘电竞数据：
数据挖掘模块对从信息区域图像中检测到的电竞数据进行数据挖掘，提取到数据中潜在信息数据；
步骤5，存储电竞数据：
数据存储模块利用计算机存储设备对检测到的文字信息、图标信息、图标位置信息和挖掘到的潜在信息数据进行缓存，用于网络传输协议的调取电竞数据和电竞数据的备份；
步骤6，显示电竞数据：
数据存储模块根据网络传输协议实时调取计算机存储设备中最新缓存的一条数据，将该数据进行图形渲染，利用显示器显示渲染后的图形；
数据呈现模块根据网络传输协议实时调取计算机存储设备中备份的整场比赛的所有数据，并对其进行图形渲染，利用显示器显示渲染后的图形。
本发明与现有技术相比具有以下优点：
第一，由于本发明的系统中图像获取模块与计算机视觉识别模块相连，计算机视觉识别模块识别图像获取模块中的包含文字信息区域和图标信息区域的图像中的文字信息，图标信息和图标的位置信息，克服了现有技术中需要人工通过请求输入模块的关键词输入和请求查询模块的查询请求后进行数据采集的缺点，使得本发明的系统结构更加简单，同时减少了数据采集过程的复杂性。
第二，由于本发明的方法分别使用机器学习分类模型和目标检测网络模型，分别获取图像中文字信息、图标信息和图标位置信息，克服了现有技术中的方法完全依赖于搜索引擎内容，无法实现图像中数据的获取的缺点，使得本发明的方法能够实现电竞图像中信息的采集，增加了电竞数据采集的实时性。
第三，由于本发明的方法使用数据挖掘算法，对从信息区域图像中检测到的电竞数据进行数据挖掘，提取到数据中潜在信息数据，克服了现有技术中的方法完全依赖于搜索引擎内容，无法实现数据中潜在信息的获取的缺点，使得本发明的方法能够获取深层潜在信息，提高了电竞数据的利用价值。
附图说明
图1为本发明系统的方框图；
图2为本发明方法的流程图；
图3为本发明的电竞数据显示图。
具体实施措施
下面结合附图对本发明做进一步的详细描述。
参照附图1，对本发明的系统做进一步的详细描述。
本发明的系统包括图像获取模块、计算机视觉识别模块、数据挖掘模块、数据存储模块和数据呈现模块。所述图像获取模块与计算机视觉识别模块相连；所述计算机视觉识别模块分别与数据存储模块和数据挖掘模块相连；所述数据存储模块分别与计算机视觉识别模块与数据挖掘模块相连；所述数据呈现模块与数据存储模块相连。其中：
所述图像获取模块，用于截取信息区域图像，实时采集线下或者线上视频中的一帧电竞图像，分别截取每帧电竞图像中所有包含文字信息区域图像、图标信息区域的图像，组成信息区域图像。
所述计算机视觉识别模块，用于识别电竞图像中的文字信息、图标信息和图标位置信息；检测信息区域图像中的文字信息和图标信息；将包含文字信息区域图像变换为标准大小的图像，得到特征提取标准图像；利用特征向量提取方法，提取特征提取标准图像的特征向量；利用机器学习分类算法，得到训练好的机器学习分类模型；将特征提取标准图像的特征向量输入到训练好的机器学习模型进行分类，得到图像中的文字信息和图标信息类别，所述文字信息包括数字和字母，所述图标信息包括人物图像和技能图标等；识别信息区域图像中的图标位置信息；利用目标检测网络，得到训练好的目标检测模型；将截取的每帧电竞图像中的图标信息区域图像输入到训练好的目标检测模型进行检测，输出图像中的图标信息和图标位置信息。
所述数据挖掘模块，采用数据挖掘算法，对从信息区域图像中检测到的电竞数据进行数据挖掘，提取到数据中潜在信息数据；通过训练数据挖掘算法，得到训练好的数据挖掘模型；将识别的文字信息，图标信息和图标位置信息输入训练好的数据挖掘模型进行数据挖掘，输出从电竞数据中挖掘到的潜在信息。
所述数据存储模块，用于存储电竞数据；将文字信息、图标信息、图标位置信息和挖掘的电竞数据存储到云服务器或本地存储设备上的关系型数据库，也可将文字信息、图标信息、挖掘的电竞数据存储到云服务器上的非关系型数据库。
所述数据呈现模块，用于呈现电竞数据；通过浏览器前端实时调用数据库数据，利用图形渲染引擎进行图形渲染，在显示器设备上进行展示；通过可视化客户端实时订阅来自计算机视觉识别模块和数据挖掘模块的数据，利用图形渲染引擎进行图形渲染，并在显示器设备进行展示。
参照附图2，对本发明方法的具体步骤做进一步的详细描述。
步骤1，截取信息区域图像：
从实时采集的一帧电竞图像中，截取显示文字信息或图标信息的所有区域，组成信息区域图像；
所述的实时采集的一帧电竞图像是指，利用视频编解码工具，从本地电竞视频文件中所采集的一帧图像和通过屏幕从电竞客户端视频流中实时截取的一帧图像或采用网络爬虫技术从全网络电竞直播视频流中实时采集的一帧图像；
所述的显示文字信息或图标信息的所有区域，是指在电竞图像中固定位置处显示有文字信息与图标信息的所有区域。
步骤2，检测信息区域图像中的文字信息和图标信息。
利用下式，提取信息区域图像的特征向量：
第一步，在信息区域图像中，以至少1个像素点的步长分别沿从左到右、从上到下方向共选取至少4个子网格图像；
第二步，提取信息区域图像中的每个子网格图像中心位置处像素点的特征；
第三步，将每个子网格中心位置处的像素点的特征组成该信息区域图像的特征向量。
本发明提取信息区域图像的特征向量的方法，可采用方向梯度直方图HOG特征提取方法、尺度不变特征转换SIFT算法、ORB特征算法、局部二值模式LBP算法和特征模板HAAR特征提取算法提取，也可通过神经网络构建特征提取网络层，提取信息区域图像的特征向量；
采用机器学习分类模型根据图像特征向量对信息区域图像进行分类，获得信息区域图像中的文字信息或图标信息。
所述的机器学习分类模型的具体步骤如下:
第1步，从历史电竞图像集中截取包含文字信息区域的至少1000幅图像。
第2步，将1000幅图像中的所有图像组成训练样本集。
第3步，从训练样本集中选取一个未选过的样本图像。
第4步，提取所选样本图像的特征向量。
第5步，判断是否选完训练样本集中所有的样本，若是，则执行第六步，否则，执行第三步。
第6步，将训练样本集中每个样本的特征向量输入到机器学习中，对机器学习进行至少100次迭代训练，得到训练好的机器学习分类模型。
将特征提取信息区域图像的特征向量输入到训练好的机器学习分类模型进行分类，得到图像中的文字信息类别和图标信息类别，所述文字信息包括数字和字母，所述图标信息包括电竞中电竞人物头像，使用道具和技能等，本发明的机器学习分类模型采用支撑矢量机SVM分类算法，也可通过其他分类算法如贝叶斯，决策树，KNN算法，逻辑回归算法，或者通过神经网络构建分类网络层建立机器学习分类模型。
步骤3，检测信息区域图像中图标信息和图标位置信息。
采用目标检测网络模型，检测包含图标信息的信息区域图像，获得信息区域图像中图标信息和图标位置信息。
所述的目标检测网络模型的具体步骤如下：
第1步，从历史电竞图像集中截取至少10000幅包含图标信息区域的图像，组成样本图像集，将样本图像集中的90％的图像组成训练样本集，剩余的10％的图像组成验证样本集。
第2步，将训练集样本和验证样本集输入至目标检测网络进行迭代训练，当验证样本集上的损失函数值出现上升趋势时，停止训练，保存当前权重文件，得到训练好的目标检测模型。
第3步，将截取的每帧电竞图像中的图标信息区域图像输入到训练好的目标检测模型进行检测，输出图像中的图标信息类别合图标位置信息，本发明目标检测模型采用YOLOv3目标检测框架，也可通过其他目标检测方法或框架如，faster空间金字塔池化卷积网络R-CNN，单层多目标检测网络SSD，YOLOv2和YOLO目标检测网络结构构建目标检测模型。
步骤4，挖掘电竞数据。
采用数据挖掘算法，对从信息区域图像中检测到的文字信息，图标信息和图标位置信息进行数据挖掘，提取到数据中潜在信息数据；
所述数据挖掘算法的具体步骤如下：
第1步，利用网络爬虫技术，从全网络爬取包含图标信息类别及其竞赛结果的历史电竞数据至少2000条，组成训练样本集。
第2步，将训练样本集中所有样本输入到决策树中进行至少100次迭代训练，得到训练好的数据挖掘模型。
将识别的图标信息类别输入训练好的数据挖掘模型进行数据挖掘，输出挖掘到的电竞数据中潜在信息。本发明的数据挖掘模型采用梯度提升决策树，也可通过其他数据挖掘算法如相关性分析，KNN分类，长短时记忆LSTM网络，指数平滑法、ARIMA算法等构建数据挖掘模型。
步骤5，存储电竞数据。
利用计算机存储设备对检测到的文字信息、图标信息、图标位置信息和挖掘到的潜在信息数据进行存储；
计算机存储设备以逗号分隔值CSV数据格式将文字信息、图标信息、图标位置信息和挖掘的电竞数据存储到云服务器上的关系型数据库，以JS对象简谱JSON数据格式将文字信息、图标信息、图标位置信息和挖掘的电竞数据存储到云服务器上的非关系型数据库。除本发明用到的这些存储设备，软盘、硬盘、固态内存等设备也可实现，除本发明用到的存储格式，其他存储格式比如文本格式TXT，图表文件格式Excel，可扩展标记语言XML也可以作为电竞数据的存储格式进行存储。
步骤6，呈现电竞数据。
根据网络传输协议实时调取计算机存储设备中最新缓存的一条数据，将该数据进行图形渲染，利用显示器显示渲染后的图形；
根据网络传输协议实时调取计算机存储设备中备份的整场比赛的所有数据，并对其进行图形渲染，利用显示器显示渲染后的图形；
所述显示器设备是指可显示的可用区域；
所述的图形渲染是指，以曲线图、柱状图、热力图、折线图、散点图、雷达图等形式展示数据。结合图3，电竞数据显示区中的电竞数据展示区对电竞比赛过程的数据用曲线图，柱状图和热力图进行图形渲染，实现电竞数据的图像化显示；英雄行为信息展示区对电竞比赛过程中人物信息进行图形化渲染和显示，胜率预测区对电竞中双方获胜概率利用横向柱状图图形渲染和显示；智能提示、问答和交互区对文本数据进行渲染和显示。
本发明利用显示器设备对存储的电竞数据对渲染后的图形显示，有以下两种显示模式：直播模式和复盘模式。直播模式是指对正在直播的电竞比赛进行数据可视化，显示的数据图形随着电竞比赛过程不断动态刷新，呈现动态变化效果；复盘模式是指对已经结束的电竞比赛进行数据可视化，利用显示器设备的图形渲染引擎进行对已经结束的电竞比赛的整场比赛数据进行图形渲染和显示，可通过计算机输入设备和手势操作对展示的内容在时间、空间、电竞人物和数据密度等参数进行自定义设置。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理，结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变在本发明的权利要求保护范围之内。
Claims (9)
1.一种基于计算机视觉的电竞数据可视化系统，其特征在于，包括图像获取模块，计算机视觉识别模块、数据挖掘模块、数据存储模块和数据呈现模块；所述图像获取模块与计算机视觉识别模块相连；所述计算机视觉识别模块分别与数据存储模块和数据挖掘模块相连；所述数据存储模块分别与计算机视觉识别模块与数据挖掘模块相连；所述数据呈现模块与数据存储模块相连；其中：
所述图像获取模块，用于从实时采集的一帧电竞图像中，截取显示数字信息或图标信息的所有区域，组成信息区域图像；
所述计算机视觉识别模块，用于提取信息区域图像的特征向量，根据图像特征向量使用机器学习分类模型对信息区域图像进行分类，检测出信息区域图像中的文字信息或图标信息；用于根据目标检测网络模型，检测包含图标信息的信息区域图像，获得信息区域图像中图标信息和图标位置信息；
所述数据挖掘模块，用于对从信息区域图像中检测到的电竞数据进行数据挖掘，提取到数据中潜在信息数据；
所述数据存储模块，用于对检测到的文字信息、图标信息、图标位置信息和挖掘到的潜在信息数据进行缓存，用于网络传输协议的调取电竞数据和电竞数据的备份；
所述数据呈现模块，用于根据网络传输协议实时调取计算机存储设备中最新缓存的一条数据利用显示器显示渲染后的图形；用于根据网络传输协议实时调取计算机存储设备中备份的整场比赛的所有数据，并对其进行图形渲染，利用显示器显示渲染后的图形。
2.一种基于计算机视觉的电竞数据可视化方法，其特征在于，包括以下步骤：
步骤1，截取信息区域图像：
图像获取模块从实时采集的一帧电竞图像中，截取显示数字信息或图标信息的所有区域，组成信息区域图像；
步骤2，检测信息区域图像中的文字信息和图标信息：
计算机视觉识别模块提取信息区域图像的特征向量，根据图像特征向量使用机器学习分类模型对信息区域图像进行分类，检测出信息区域图像中的文字信息或图标信息
步骤3，检测信息区域图像中图标信息和图标位置信息：
计算机视觉识别模块采用目标检测网络模型，检测包含图标信息的信息区域图像，获得信息区域图像中图标信息和图标位置信息；
步骤4，挖掘电竞数据：
数据挖掘模块对从信息区域图像中检测到的电竞数据进行数据挖掘，提取到数据中潜在信息数据；
步骤5，存储电竞数据：
数据存储模块利用计算机存储设备对检测到的文字信息、图标信息、图标位置信息和挖掘到的潜在信息数据进行缓存，用于网络传输协议的调取电竞数据和电竞数据的备份；
步骤6，显示电竞数据：
数据存储模块根据网络传输协议实时调取计算机存储设备中最新缓存的一条数据，将该数据进行图形渲染，利用显示器显示渲染后的图形；
数据呈现模块根据网络传输协议实时调取计算机存储设备中备份的整场比赛的所有数据，并对其进行图形渲染，利用显示器显示渲染后的图形。
3.根据权利要求2所述的基于计算机视觉的电竞数据可视化方法，其特征在于，步骤1中所述实时采集的一帧电竞图像是指，利用视频编解码工具，从本地电竞视频文件中采集一帧图像；通过截取屏幕从电竞客户端视频中实时截取的一帧图像或者采用网络爬虫技术从网络电竞直播视频流中实时采集一帧图像。
4.根据权利要求2所述的基于计算机视觉的电竞数据可视化方法，其特征在于，步骤2中所述的提取信息区域图像的特征向量的具体步骤如下：
第一步，在信息区域图像中，以至少1个像素点的步长分别沿从左到右、从上到下方向共选取至少4个子网格图像；
第二步，提取信息区域图像中的每个子网格图像中心位置处像素点的特征；
第三步，将每个子网格中心位置处的像素点的特征组成该信息区域图像的特征向量。
5.根据权利要求2所述的基于计算机视觉的电竞数据可视化方法，其特征在于，步骤2中所述机器学习分类模型的具体步骤如下：
第一步，从历史电竞图像中截取出包含文字信息区域或图标信息区域的图像集，每个数字至少包含50幅图像，将图像集中70％的图像组成训练样本集，剩余图像组成测试样本集；
第二步，将训练集样本输入至机器学习分类算法进行至少100次迭代训练，训练停止后得到训练好的机器学习分类模型；
第三步，将提取出的信息区域图像的特征向量输入到训练好的机器学习分类模型，得到图像的类别。
6.根据权利要求2所述的基于计算机视觉的电竞数据可视化方法，其特征在于，步骤3中所述目标检测网络模型的具体步骤如下：
第一步，从历史电竞图像集中截取大量包含图标信息区域的图像，将所有图像中的一部分图像组成训练样本集，剩余的图像组成验证样本集；
第二步，将训练集样本和验证样本集输入至目标检测网络进行迭代训练，当验证样本集上的损失函数值出现上升趋势时，停止训练，保存当前权重文件，得到训练好的目标检测模型；
第三步，将截取出的包含图标的图像输入训练好的目标检测模型，输出图像中图标类别与位置，获取到图像中图标的类别与位置信息。
7.根据权利要求2所述的基于计算机视觉的电竞数据可视化方法，其特征在于，步骤4中所述数据挖掘算法的具体步骤如下：
第一步，利用网络爬虫技术，从全网络爬取历史电竞数据，组成训练样本集；
第二步，将训练样本集中所有样本输入到数据挖掘算法中进行迭代训练，得到训练好的数据挖掘模型；
第三步，将获取到的文字信息，图标信息和图标位置信息输入数据挖掘模型，得到潜在的数据信息。
8.根据权利要求2所述的基于计算机视觉的电竞数据可视化方法，其特征在于，步骤5中所述的存储电竞数据是指，以将文字信息、图标信息、图标位置信息和挖掘的电竞数据存储到云服务器上的关系型数据库，或将文字信息、图标信息、图标位置信息和挖掘的电竞数据存储到云服务器上的非关系型数据库。
9.根据权利要求2所述的基于计算机视觉的电竞数据可视化方法，其特征在于，步骤6中所述的将该数据进行图形渲染是指，将电竞数据以曲线图、柱状图、热力图、折线图、散点图、雷达图等图形形式展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910993212.7A CN110737714A (zh) | 2019-10-18 | 2019-10-18 | 基于计算机视觉的电竞数据可视化系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910993212.7A CN110737714A (zh) | 2019-10-18 | 2019-10-18 | 基于计算机视觉的电竞数据可视化系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110737714A true CN110737714A (zh) | 2020-01-31 |
Family
ID=69269285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910993212.7A Pending CN110737714A (zh) | 2019-10-18 | 2019-10-18 | 基于计算机视觉的电竞数据可视化系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110737714A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929727A (zh) * | 2020-02-12 | 2020-03-27 | 成都数联铭品科技有限公司 | 图像标注方法及装置、文字检测方法及系统、电子设备 |
| CN111814642A (zh) * | 2020-06-30 | 2020-10-23 | 北京玩在一起科技有限公司 | 一种电竞赛事数据的识别方法及系统 |
| CN112163476A (zh) * | 2020-09-16 | 2021-01-01 | 汕头市同行网络科技有限公司 | 一种基于图像识别的电竞比赛赛况数据获取方法 |
| WO2021169101A1 (zh) * | 2020-02-28 | 2021-09-02 | 平安国际智慧城市科技股份有限公司 | 医疗影像识别模型生成方法、装置、计算机设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764141A (zh) * | 2018-05-25 | 2018-11-06 | 广州虎牙信息科技有限公司 | 一种游戏场景描述方法、装置、设备及其存储介质 |
| CN109360589A (zh) * | 2018-10-25 | 2019-02-19 | 天水师范学院 | 一种体育赛事数据统计方法及系统 |
| CN110025956A (zh) * | 2019-04-24 | 2019-07-19 | 杭州威佩网络科技有限公司 | 一种电竞数据推送方法、装置及服务器 |
| CN110298231A (zh) * | 2019-05-10 | 2019-10-01 | 新华智云科技有限公司 | 一种用于篮球比赛视频进球判定的方法及系统 |
-
2019
- 2019-10-18 CN CN201910993212.7A patent/CN110737714A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764141A (zh) * | 2018-05-25 | 2018-11-06 | 广州虎牙信息科技有限公司 | 一种游戏场景描述方法、装置、设备及其存储介质 |
| CN109360589A (zh) * | 2018-10-25 | 2019-02-19 | 天水师范学院 | 一种体育赛事数据统计方法及系统 |
| CN110025956A (zh) * | 2019-04-24 | 2019-07-19 | 杭州威佩网络科技有限公司 | 一种电竞数据推送方法、装置及服务器 |
| CN110298231A (zh) * | 2019-05-10 | 2019-10-01 | 新华智云科技有限公司 | 一种用于篮球比赛视频进球判定的方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929727A (zh) * | 2020-02-12 | 2020-03-27 | 成都数联铭品科技有限公司 | 图像标注方法及装置、文字检测方法及系统、电子设备 |
| WO2021169101A1 (zh) * | 2020-02-28 | 2021-09-02 | 平安国际智慧城市科技股份有限公司 | 医疗影像识别模型生成方法、装置、计算机设备和介质 |
| CN111814642A (zh) * | 2020-06-30 | 2020-10-23 | 北京玩在一起科技有限公司 | 一种电竞赛事数据的识别方法及系统 |
| CN112163476A (zh) * | 2020-09-16 | 2021-01-01 | 汕头市同行网络科技有限公司 | 一种基于图像识别的电竞比赛赛况数据获取方法 |
| CN112163476B (zh) * | 2020-09-16 | 2023-12-19 | 汕头市同行网络科技有限公司 | 一种基于图像识别的电竞比赛赛况数据获取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110737714A (zh) | 基于计算机视觉的电竞数据可视化系统及方法 | |
| JP6397144B2 (ja) | 画像からの事業発見 | |
| JP6005837B2 (ja) | 画像解析装置、画像解析システム、画像解析方法 | |
| CN110446063B (zh) | 视频封面的生成方法、装置及电子设备 | |
| CN109726712A (zh) | 文字识别方法、装置及存储介质、服务器 | |
| CN111191695A (zh) | 一种基于深度学习的网站图片篡改检测方法 | |
| CN109690471B (zh) | 使用取向元数据的媒体渲染 | |
| CN111209897B (zh) | 视频处理的方法、装置和存储介质 | |
| CN111754541A (zh) | 目标跟踪方法、装置、设备及可读存储介质 | |
| WO2023020005A1 (zh) | 神经网络模型的训练方法、图像检索方法、设备和介质 | |
| CN112132197A (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
| US11681409B2 (en) | Systems and methods for augmented or mixed reality writing | |
| US20150016668A1 (en) | Settlement mapping systems | |
| WO2022089170A1 (zh) | 字幕区域识别方法、装置、设备及存储介质 | |
| CN106127222B (zh) | 一种基于视觉的字符串相似度计算方法及相似性判断方法 | |
| US10936472B2 (en) | Screen recording preparation method for evaluating software usability | |
| CN113766330A (zh) | 基于视频生成推荐信息的方法和装置 | |
| CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
| CN112131121B (zh) | 用户界面的模糊检测方法、装置、电子设备和存储介质 | |
| CN113343779A (zh) | 环境异常检测方法、装置、计算机设备和存储介质 | |
| WO2022237117A1 (zh) | 交互式电子白板的触摸控制方法、系统和可读介质 | |
| CN113204636A (zh) | 基于知识图谱的用户动态个性化画像方法 | |
| GB2574431A (en) | Systems and method for automated boxing data collection and analytics platform | |
| CN103227810B (zh) | 一种在网络监控中识别远程桌面语义的方法、装置和系统 | |
| CN111199172A (zh) | 基于终端录屏的处理方法及装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211027 Address after: 710071 Taibai South Road, Yanta District, Xi'an, Shaanxi Province, No. 2 Applicant after: XIDIAN University Applicant after: Shaanxi radio and television ruiwan Culture Development Co.,Ltd. Address before: 710071 No. 2 Taibai South Road, Shaanxi, Xi'an Applicant before: XIDIAN University |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200131 |