CN113521745B - Fps游戏的ai模型训练架构的数据存储方法、装置和设备 - Google Patents

Fps游戏的ai模型训练架构的数据存储方法、装置和设备 Download PDF

Info

Publication number
CN113521745B
CN113521745B CN202110670873.3A CN202110670873A CN113521745B CN 113521745 B CN113521745 B CN 113521745B CN 202110670873 A CN202110670873 A CN 202110670873A CN 113521745 B CN113521745 B CN 113521745B
Authority
CN
China
Prior art keywords
data
training
model
storage
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110670873.3A
Other languages
English (en)
Other versions
CN113521745A (zh
Inventor
刘舟
徐键滨
吴梓辉
徐雅
王理平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Sanqi Jiyao Network Technology Co ltd
Original Assignee
Guangzhou Sanqi Jiyao Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Sanqi Jiyao Network Technology Co ltd filed Critical Guangzhou Sanqi Jiyao Network Technology Co ltd
Priority to CN202110670873.3A priority Critical patent/CN113521745B/zh
Publication of CN113521745A publication Critical patent/CN113521745A/zh
Application granted granted Critical
Publication of CN113521745B publication Critical patent/CN113521745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076—Shooting

Abstract

本发明公开了一种FPS游戏的AI模型训练架构的数据存储方法，包括：获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据；获取训练数据的数据类型；其中，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据；针对所述训练数据的数据类型获取对应的存储方式；根据所述训练数据对应的存储方式将所述训练数据存储。本发明公开了一种FPS游戏的AI模型训练架构的数据存储装置、一种FPS游戏的AI模型训练架构的数据存储设备和一种计算机可读存储介质。采用本发明实施例，能够针对不同类型数据采用不同的存储方式，提高FPS游戏的AI模型训练架构的训练效率。

Description

FPS游戏的AI模型训练架构的数据存储方法、装置和设备
技术领域
本发明涉及数据存储领域，尤其涉及一种FPS游戏的AI模型训练架构的数据存储方法、装置、设备和存储介质。
背景技术
随着电子竞技行业的逐步发展，第一人称视觉类射击游戏(First-personshootinggame，FPS)越来越受到广泛的关注。对于FPS游戏而言，为保证用户在游戏过程中的良好体验，往往需要构建AI模型并对其进行训练，从而使得该AI模型能够良好地应用在FPS游戏中。AI模型的训练需要构建AI模型训练架构来完成，现有技术中在构建FPS游戏的AI模型训练架构时，只有一个存储器用来存储数据，因此在训练AI模型时需要将训练时产生的各种进程产生的数据采用统一的存储方式并存放在相同的一个存储器中，无法针对不同进程产生的数据采用不同的存储方式，而采用统一存储方式的做法容易导致存储进程的堵塞，进而降低FPS游戏的AI模型训练架构训练AI模型的效率。
发明内容
本发明实施例的目的是提供一种FPS游戏的AI模型训练架构的数据存储方法、装置、设备和存储介质，能够针对不同类型的训练数据采用不同的存储方式，提高FPS游戏的AI模型训练架构的训练效率。
为实现上述目的，本发明实施例提供了一种FPS游戏的AI模型训练架构的数据存储方法，包括：
获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据；
获取所述训练数据的数据类型；其中，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据；
针对所述训练数据的数据类型获取对应的存储方式；
根据所述训练数据对应的存储方式将所述训练数据存储。
作为上述方案的改进，所述训练数据包括样本数据、模型文件数据、模型文件名称数据、日志数据和模型评估数据；其中，所述模型文件数据为所述大内存数据，所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据为所述小内存数据。
作为上述方案的改进，所述FPS游戏的AI模型训练架构中的存储模块包括第一存储单元和第二存储单元；则，所述针对所述训练数据的数据类型获取对应的存储方式，包括：
当所述训练数据为大内存数据时，所述存储方式为将所述大内存数据写入所述第一存储单元；
当所述训练数据为小内存数据时，所述存储方式为将所述小内存数据写入所述第二存储单元。
作为上述方案的改进，所述第一存储单元为存储桶，所述第二存储单元为kafka数据库。
作为上述方案的改进，所述FPS游戏的AI模型训练架构包括：
环境交互模块，用于输出所述样本数据；
数据存储模块，用于存储所述训练数据；
训练模块，用于从所述存储模块中获取所述样本数据，并根据所述样本数据对所述FPS游戏的AI模型进行训练，以更新所述FPS游戏的AI模型；
测试模块，用于每间隔预设时间段获取所述FPS游戏的AI模型，并对所述FPS游戏的AI模型进行模型效果评估。
为实现上述目的，本发明实施例还提供了一种FPS游戏的AI模型训练架构的数据存储装置，包括：
训练数据获取模块，用于获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据；
数据类型获取模块，用于获取获取所述训练数据的数据类型；其中，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据；
存储方式获取模块，用于针对所述训练数据的数据类型获取对应的存储方式；
存储模块，用于根据所述训练数据对应的存储方式将所述训练数据存储。
作为上述方案的改进，所述训练数据包括样本数据、模型文件数据、模型文件名称数据、日志数据和模型评估数据；其中，所述模型文件数据为所述大内存数据，所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据为所述小内存数据。
作为上述方案的改进，所述FPS游戏的AI模型训练架构中的存储模块包括第一存储单元和第二存储单元；则，所述存储方式获取模块用于：
当所述训练数据为大内存数据时，所述存储方式为将所述大内存数据写入所述第一存储单元；
当所述训练数据为小内存数据时，所述存储方式为将所述小内存数据写入所述第二存储单元。
为实现上述目的，本发明实施例还提供了一种FPS游戏的AI模型训练架构的数据存储设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的FPS游戏的AI模型训练架构的数据存储方法。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的FPS游戏的AI模型训练架构的数据存储方法。
相比于现有技术，本发明实施例所述的FPS游戏的AI模型训练架构的数据存储方法、装置、设备和存储介质，在获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据后，判断所述训练数据的数据类型是大内存数据还是小内存数据，然后针对不同数据类型的数据采用不同的存储方式，最后根据所述存储方式将所述训练数据存储，能够针对不同类型的训练数据采用不同的存储方式，避免出现FPS游戏的AI模型训练架构在训练FPS游戏的AI模型过程中产生进程堵塞问题，能够提高FPS游戏的AI模型训练架构的训练效率。
附图说明
图1是本发明实施例提供的一种FPS游戏的AI模型训练架构的数据存储方法的流程图；
图2是本发明实施例提供的FPS游戏的AI模型训练架构的框架示意图；
图3是本发明实施例提供的FPS游戏的AI模型训练架构的数据存储装置的结构框图；
图4是本发明实施例提供的一种FPS游戏的AI模型训练架构的数据存储设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例所述的FPS游戏的AI模型训练架构的数据存储方法的流程图，所述FPS游戏的AI模型训练架构的数据存储方法包括：
S1、获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据；
S2、获取所述训练数据的数据类型；
S3、针对所述训练数据的数据类型获取对应的存储方式；
S4、根据所述训练数据对应的存储方式将所述训练数据存储。
值得说明的是，所述FPS游戏的AI模型训练架构为预先构建的，在所述FPS游戏的AI模型训练架构构建完成后，需要对所述FPS游戏的AI模型进行训练以完成FPS游戏的AI模型的更新，所述FPS游戏的AI模型能够根据用户在游戏中的动作生成对应的游戏操作。参见图2，所述FPS游戏的AI模型训练架构包括：
环境交互模块10，用于输出所述样本数据；
数据存储模块20，用于存储所述训练数据；
训练模块30，用于从所述存储模块中获取所述样本数据，并根据所述样本数据对所述FPS游戏的AI模型进行训练，以更新所述FPS游戏的AI模型；
测试模块40，用于每间隔预设时间段获取所述FPS游戏的AI模型，并对所述FPS游戏的AI模型进行模型效果评估。
所述环境交互模块10包括Agent(智能主体)、Env(环境变量)和Data Process(数据处理)。Agent是一种主动对象，类似于对象(Object)、部件(Component)、进程(Process)的概念，特别地，Agent作为一个软件实体，可以用来体现用户的意图与爱好，作为用户与系统的接口，这类Agent在软件系统中代表用户，通常可以称为“接口Agent”；Env用于被动的接受服务器端的环境变量并把它们转换为数组元素；Data Process用于对样本数据进行数据处理，比如格式转换、数据筛选等处理。
进一步地，Agent和单一的游戏环境交互生成数据的过程耗时较长，因此，在训练所述FPS游戏的AI模型的过程中首先需要构建加速环境，然后利用ray的分布式功能，采用ps架构对模型训练进行加速，使模型可以并行训练。同时将FPS游戏环境封装成包，可以在多机多进程上运行游戏环境，在训练过程中初始化多个进程的Agent模型，使同一Agent模型同时和多个环境进行交互。
示例性的，加速环境构建过程包括：使用dockerfile定制镜像，编写相关的启动脚本，然后Kubernetes接入云商集群及本地集群环境，进行应用编排，按需启动数个容器执行任务，并且可实时扩展规模。模型加速过程包括：在分布式框架ray的基础上，创建ray集群环境，通过ray的remote方法拉起多个进程进行模型训练，并在主进程上进行参数的汇总处理、广播以及传送到存储桶的操作。
所述数据存储模块20包括第一存储单元和第二存储单元，所述第一存储单元为存储桶，所述第二存储单元为kafka数据库。存储桶提供了一个简单Web服务接口，可用于随时在Web上的任何位置存储和检索任何数量的数据，此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的数据存储基础设施。kafka数据库与SQL数据库不同，大多数数据库用于按需查找和对存储数据的更改，kafka数据库不进行查找，它所做的是连续转换-即流处理，kafka数据库的一个用途是定义定制的业务级度量，这些度量是实时计算的，可以对其进行监视和警报，就像处理CPU负载一样，kafka数据库的另一个用途是在kafka数据库中定义应用程序的正确性概念，并检查它在生产中运行时是否满足这个要求，kafka数据库允许从应用程序生成的原始事件流中定义自定义度量，无论它们是记录事件、数据库更新还是其他类型。
所述训练模块30包括Data Process(数据处理)和Model Update(模型更新)，DataProcess用于对样本数据进行训练，Model Update用于更新训练后的模型文件，所述模型文件即为训练后的FPS游戏的AI模型。
所述测试模块40用于模型的效果评估，通过定时获取模型文件，并将Agent和环境交互，记录评估指标(比如多局对战reward、平均kill、平均dead)随着训练的变化情况。
具体地，在步骤S1中，获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据，所述训练数据包括样本数据、模型文件数据、模型文件名称数据、日志数据和模型评估数据。
示例性的，所述样本数据为输入所述FPS游戏的AI模型训练架构中对所述FPS游戏的AI模型进行训练的数据，比如所述样本数据包括当前环境状态数据、环境返回的reward数据、动作数据、以及输入动作后环境返回的状态数据；所述模型文件数据为更新后的所述FPS游戏的AI模型；所述模型文件名称数据为所述FPS游戏的AI模型在更新并压缩后的压缩文件名称，用于区分训练过程中产生(不断更新)的多个FPS游戏的AI模型；所述日志数据为记录脚本运行情况的数据；所述模型评估数据指模型测试时产生的reward均值、得分均值、最大得分、最小得分等数据。
具体地，在步骤S2中，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据。所述存储阈值可以根据所述模型文件的大小进行设置。具体地，所述模型文件数据为所述大内存数据，所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据为所述小内存数据。
具体地，在步骤S3中，所述针对所述训练数据的数据类型获取对应的存储方式，包括步骤S31～S32：
S31、当所述训练数据为大内存数据时，所述存储方式为将所述大内存数据写入所述第一存储单元；
S31、当所述训练数据为小内存数据时，所述存储方式为将所述小内存数据写入所述第二存储单元。
示例性的，单条的所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据的内存较小，将kafka数据库作为存储交互样本数据的媒介，逐条写入数据到kafka数据库，模型训练进程从kafka读取数据进行训练。所述模型文件数据内存较大，利用存储桶存储模型文件，模型训练固定轮次后上传新的模型文件到存储桶，存储桶更新模型文件，同时将新的模型文件名称写入kafka，环境交互进程订阅kafka消息，收到新消息后判断消息内容为更新模型，则下载新的模型文件，从而完成模型文件从模型训练模块到环境交互模块(多个进程)的更新传输。
具体地，在步骤S4中，根据所述训练数据对应的存储方式将所述训练数据存储。
相比于现有技术，本发明实施例所述的FPS游戏的AI模型训练架构的数据存储方法，在获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据后，判断所述训练数据的数据类型是大内存数据还是小内存数据，然后针对不同数据类型的数据采用不同的存储方式，最后根据所述存储方式将所述训练数据存储，能够针对不同类型的训练数据采用不同的存储方式，避免出现FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生进程堵塞问题，能够提高FPS游戏的AI模型训练架构的训练效率。
参见图3，图3是本发明实施例提供的FPS游戏的AI模型训练架构的数据存储装置100的结构框图，所述FPS游戏的AI模型训练架构的数据存储装置100包括：
训练数据获取模块101，用于获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据；
数据类型获取模块102，用于获取获取所述训练数据的数据类型；其中，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据；
存储方式获取模块103，用于针对所述训练数据的数据类型获取对应的存储方式；
存储模块104，用于根据所述训练数据对应的存储方式将所述训练数据存储。
值得说明的是，所述FPS游戏的AI模型训练架构为预先构建的，在所述FPS游戏的AI模型训练架构构建完成后，需要对所述FPS游戏的AI模型进行训练以完成FPS游戏的AI模型的更新，所述FPS游戏的AI模型能够根据用户在游戏中的动作生成对应的游戏操作。所述FPS游戏的AI模型训练架构包括：
环境交互模块，用于输出所述样本数据；
数据存储模块，用于存储所述训练数据；
训练模块，用于从所述存储模块中获取所述样本数据，并根据所述样本数据对所述FPS游戏的AI模型进行训练，以更新所述FPS游戏的AI模型；
测试模块，用于每间隔预设时间段获取所述FPS游戏的AI模型，并对所述FPS游戏的AI模型进行模型效果评估。
所述环境交互模块包括Agent(智能主体)、Env(环境变量)和Data Process(数据处理)。Agent是一种主动对象，类似于对象(Object)、部件(Component)、进程(Process)的概念，特别地，Agent作为一个软件实体，可以用来体现用户的意图与爱好，作为用户与系统的接口，这类Agent在软件系统中代表用户，通常可以称为“接口Agent”；Env用于被动的接受服务器端的环境变量并把它们转换为数组元素；Data Process用于对样本数据进行数据处理，比如格式转换、数据筛选等处理。
进一步地，Agent和单一的游戏环境交互生成数据的过程耗时较长，因此，在训练所述FPS游戏的AI模型的过程中首先需要构建加速环境，然后利用ray的分布式功能，采用ps架构对模型训练进行加速，使模型可以并行训练。同时将FPS游戏环境封装成包，可以在多机多进程上运行游戏环境，在训练过程中初始化多个进程的Agent模型，使同一Agent模型同时和多个环境进行交互。
示例性的，加速环境构建过程包括：使用dockerfile定制镜像，编写相关的启动脚本，然后Kubernetes接入云商集群及本地集群环境，进行应用编排，按需启动数个容器执行任务，并且可实时扩展规模。模型加速过程包括：在分布式框架ray的基础上，创建ray集群环境，通过ray的remote方法拉起多个进程进行模型训练，并在主进程上进行参数的汇总处理、广播以及传送到存储桶的操作。
所述数据存储模块包括第一存储单元和第二存储单元，所述第一存储单元为存储桶，所述第二存储单元为kafka数据库。存储桶提供了一个简单Web服务接口，可用于随时在Web上的任何位置存储和检索任何数量的数据，此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的数据存储基础设施。kafka数据库与SQL数据库不同，大多数数据库用于按需查找和对存储数据的更改，kafka数据库不进行查找，它所做的是连续转换-即流处理，kafka数据库的一个用途是定义定制的业务级度量，这些度量是实时计算的，可以对其进行监视和警报，就像处理CPU负载一样，kafka数据库的另一个用途是在kafka数据库中定义应用程序的正确性概念，并检查它在生产中运行时是否满足这个要求，kafka数据库允许从应用程序生成的原始事件流中定义自定义度量，无论它们是记录事件、数据库更新还是其他类型。
所述训练模块包括Data Process(数据处理)和Model Update(模型更新)，DataProcess用于对样本数据进行训练，Model Update用于更新训练后的模型文件，所述模型文件即为训练后的FPS游戏的AI模型。
所述测试模块用于模型的效果评估，通过定时获取模型文件，并将Agent和环境交互，记录评估指标(比如多局对战reward、平均kill、平均dead)随着训练的变化情况。
具体地，所述训练数据获取模块101获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据，所述训练数据包括样本数据、模型文件数据、模型文件名称数据、日志数据和模型评估数据。
示例性的，所述样本数据为输入所述FPS游戏的AI模型训练架构中对所述FPS游戏的AI模型进行训练的数据，比如所述样本数据包括当前环境状态数据、环境返回的reward数据、动作数据、以及输入动作后环境返回的状态数据；所述模型文件数据为更新后的所述FPS游戏的AI模型；所述模型文件名称数据为所述FPS游戏的AI模型在更新并压缩后的压缩文件名称，用于区分训练过程中产生(不断更新)的多个FPS游戏的AI模型；所述日志数据为记录脚本运行情况的数据；所述模型评估数据指模型测试时产生的reward均值、得分均值、最大得分、最小得分等数据。
具体地，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据。所述存储阈值可以根据所述模型文件的大小进行设置。具体地，所述模型文件数据为所述大内存数据，所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据为所述小内存数据。
具体地，所述存储方式获取模块103用于：
当所述训练数据为大内存数据时，所述存储方式为将所述大内存数据写入所述第一存储单元；
当所述训练数据为小内存数据时，所述存储方式为将所述小内存数据写入所述第二存储单元。
示例性的，单条的所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据的内存较小，将kafka数据库作为存储交互样本数据的媒介，逐条写入数据到kafka数据库，模型训练进程从kafka读取数据进行训练。所述模型文件数据内存较大，利用存储桶存储模型文件，模型训练固定轮次后上传新的模型文件到存储桶，存储桶更新模型文件，同时将新的模型文件名称写入kafka，环境交互进程订阅kafka消息，收到新消息后判断消息内容为更新模型，则下载新的模型文件，从而完成模型文件从模型训练模块到环境交互模块(多个进程)的更新传输。
相比于现有技术，本发明实施例所述的FPS游戏的AI模型训练架构的数据存储装置100，在获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据后，判断所述训练数据的数据类型是大内存数据还是小内存数据，然后针对不同数据类型的数据采用不同的存储方式，最后根据所述存储方式将所述训练数据存储，能够针对不同类型的训练数据采用不同的存储方式，避免出现FPS游戏的AI模型训练架构在训练FPS游戏的AI模型过程中产生进程堵塞问题，能够提高FPS游戏的AI模型训练架构的训练效率。
参见图4，图4是本发明实施例提供的一种FPS游戏的AI模型训练架构的数据存储设备200的结构框图。所述FPS游戏的AI模型训练架构的数据存储设备200包括：处理器201、存储器202以及存储在所述存储器202中并可在所述处理器201上运行的计算机程序。所述处理器201执行所述计算机程序时实现上述各个FPS游戏的AI模型训练架构的数据存储方法实施例中的步骤。或者，所述处理器201执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器202中，并由所述处理器201执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述FPS游戏的AI模型训练架构的数据存储设备200中的执行过程。
所述FPS游戏的AI模型训练架构的数据存储设备200可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述FPS游戏的AI模型训练架构的数据存储设备200可包括，但不仅限于，处理器201、存储器202。本领域技术人员可以理解，所述示意图仅仅是FPS游戏的AI模型训练架构的数据存储设备200的示例，并不构成对FPS游戏的AI模型训练架构的数据存储设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述FPS游戏的AI模型训练架构的数据存储设备200还可以包括输入输出设备、网络接入设备、总线等。
所称处理器201可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器201是所述FPS游戏的AI模型训练架构的数据存储设备200的控制中心，利用各种接口和线路连接整个FPS游戏的AI模型训练架构的数据存储设备200的各个部分。
所述存储器202可用于存储所述计算机程序和/或模块，所述处理器201通过运行或执行存储在所述存储器202内的计算机程序和/或模块，以及调用存储在存储器202内的数据，实现所述FPS游戏的AI模型训练架构的数据存储设备200的各种功能。所述存储器202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述FPS游戏的AI模型训练架构的数据存储设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器201执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种FPS游戏的AI模型训练架构的数据存储方法，其特征在于，包括：
获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据；
获取所述训练数据的数据类型；其中，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据；
针对所述训练数据的数据类型获取对应的存储方式；
根据所述训练数据对应的存储方式将所述训练数据存储；
所述FPS游戏的AI模型训练架构中的存储模块包括第一存储单元和第二存储单元；则，所述针对所述训练数据的数据类型获取对应的存储方式，包括：
当所述训练数据为大内存数据时，所述存储方式为将所述大内存数据写入所述第一存储单元；
当所述训练数据为小内存数据时，所述存储方式为将所述小内存数据写入所述第二存储单元。
2.如权利要求1所述的FPS游戏的AI模型训练架构的数据存储方法，其特征在于，所述训练数据包括样本数据、模型文件数据、模型文件名称数据、日志数据和模型评估数据；其中，所述模型文件数据为所述大内存数据，所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据为所述小内存数据。
3.如权利要求1所述的FPS游戏的AI模型训练架构的数据存储方法，其特征在于，所述第一存储单元为存储桶，所述第二存储单元为kafka数据库。
4.如权利要求1所述的FPS游戏的AI模型训练架构的数据存储方法，其特征在于，所述FPS游戏的AI模型训练架构包括：
环境交互模块，用于输出样本数据；
数据存储模块，用于存储所述训练数据；
训练模块，用于从所述存储模块中获取所述样本数据，并根据所述样本数据对所述FPS游戏的AI模型进行训练，以更新所述FPS游戏的AI模型；
测试模块，用于每间隔预设时间段获取所述FPS游戏的AI模型，并对所述FPS游戏的AI模型进行模型效果评估。
5.一种FPS游戏的AI模型训练架构的数据存储装置，其特征在于，包括：
训练数据获取模块，用于获取FPS游戏的AI模型训练架构在训练FPS游戏的AI模型的过程中产生的训练数据；
数据类型获取模块，用于获取获取所述训练数据的数据类型；其中，所述数据类型包括：单条数据占用存储空间大于预设的存储阈值的大内存数据以及单条数据占用存储空间小于或等于所述存储阈值的小内存数据；
存储方式获取模块，用于针对所述训练数据的数据类型获取对应的存储方式；
存储模块，用于根据所述训练数据对应的存储方式将所述训练数据存储；
其中，所述FPS游戏的AI模型训练架构中的存储模块包括第一存储单元和第二存储单元；则，所述存储方式获取模块用于：
当所述训练数据为大内存数据时，所述存储方式为将所述大内存数据写入所述第一存储单元；
当所述训练数据为小内存数据时，所述存储方式为将所述小内存数据写入所述第二存储单元。
6.如权利要求5所述的FPS游戏的AI模型训练架构的数据存储装置，其特征在于，所述训练数据包括样本数据、模型文件数据、模型文件名称数据、日志数据和模型评估数据；其中，所述模型文件数据为所述大内存数据，所述样本数据、所述模型文件名称数据、所述日志数据和所述模型评估数据为所述小内存数据。
7.如权利要求5所述的FPS游戏的AI模型训练架构的数据存储装置，其特征在于，所述FPS游戏的AI模型训练架构中的存储模块包括第一存储单元和第二存储单元；则，所述存储方式获取模块用于：
当所述训练数据为大内存数据时，所述存储方式为将所述大内存数据写入所述第一存储单元；
当所述训练数据为小内存数据时，所述存储方式为将所述小内存数据写入所述第二存储单元。
8.一种FPS游戏的AI模型训练架构的数据存储设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的FPS游戏的AI模型训练架构的数据存储方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的FPS游戏的AI模型训练架构的数据存储方法。
CN202110670873.3A 2021-06-17 2021-06-17 Fps游戏的ai模型训练架构的数据存储方法、装置和设备 Active CN113521745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110670873.3A CN113521745B (zh) 2021-06-17 2021-06-17 Fps游戏的ai模型训练架构的数据存储方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110670873.3A CN113521745B (zh) 2021-06-17 2021-06-17 Fps游戏的ai模型训练架构的数据存储方法、装置和设备

Publications (2)

Publication Number Publication Date
CN113521745A CN113521745A (zh) 2021-10-22
CN113521745B true CN113521745B (zh) 2024-01-09

Family

ID=78096141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110670873.3A Active CN113521745B (zh) 2021-06-17 2021-06-17 Fps游戏的ai模型训练架构的数据存储方法、装置和设备

Country Status (1)

Country Link
CN (1) CN113521745B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880432A (zh) * 2012-09-29 2013-01-16 邹粤林 利用数据有限寿命提高闪存芯片写入速度的方法、系统及其控制器
CN106502793A (zh) * 2016-10-21 2017-03-15 搜游网络科技(北京)有限公司 一种游戏资源的调配方法和设备
CN106547471A (zh) * 2015-09-17 2017-03-29 北京国双科技有限公司 非关系型数据库的扩展方法和装置
CN109271253A (zh) * 2018-09-14 2019-01-25 北京智明星通科技股份有限公司 一种资源调配方法、装置及系统
CN110502479A (zh) * 2019-08-26 2019-11-26 重庆邮电大学 一种基于hdfs的海量医疗小文件分布式存储方法
CN111258965A (zh) * 2020-01-10 2020-06-09 北京猎豹移动科技有限公司 一种数据获取方法、装置、电子设备及存储介质
CN111603768A (zh) * 2020-05-27 2020-09-01 网易（杭州）网络有限公司 一种游戏地图的存储、游戏地图的显示方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202014898A (zh) * 2018-10-04 2020-04-16 宏碁股份有限公司 電腦系統、其遊戲載入方法及電腦程式產品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880432A (zh) * 2012-09-29 2013-01-16 邹粤林 利用数据有限寿命提高闪存芯片写入速度的方法、系统及其控制器
CN106547471A (zh) * 2015-09-17 2017-03-29 北京国双科技有限公司 非关系型数据库的扩展方法和装置
CN106502793A (zh) * 2016-10-21 2017-03-15 搜游网络科技(北京)有限公司 一种游戏资源的调配方法和设备
CN109271253A (zh) * 2018-09-14 2019-01-25 北京智明星通科技股份有限公司 一种资源调配方法、装置及系统
CN110502479A (zh) * 2019-08-26 2019-11-26 重庆邮电大学 一种基于hdfs的海量医疗小文件分布式存储方法
CN111258965A (zh) * 2020-01-10 2020-06-09 北京猎豹移动科技有限公司 一种数据获取方法、装置、电子设备及存储介质
CN111603768A (zh) * 2020-05-27 2020-09-01 网易（杭州）网络有限公司 一种游戏地图的存储、游戏地图的显示方法及装置

Also Published As

Publication number Publication date
CN113521745A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN108721898B (zh) 帧率的确定方法和装置、存储介质、电子装置
US11829286B2 (en) Video game testing and automation framework
CN104317649A (zh) 终端应用程序app的处理方法、装置及终端
CN101140515A (zh) 软件机器人设备
US9421470B2 (en) Player model
WO2018145527A1 (zh) 跨平台交互方法、装置、程序及介质
CN112783793B (zh) 自动化接口测试系统及方法
CN111694644A (zh) 基于机器人操作系统的消息处理方法、装置及计算机设备
CN108579095A (zh) 游戏中的社交关系推荐方法、装置和计算机可读存储介质
CN105512910A (zh) 一种目标用户筛选方法和装置
CN113518250A (zh) 一种多媒体数据处理方法、装置、设备及可读存储介质
CN112418259A (zh) 一种基于直播过程中用户行为的实时规则的配置方法、计算机设备及可读存储介质
CN108939535B (zh) 虚拟场景的音效控制方法及装置、存储介质、电子设备
US20230073381A1 (en) Method and apparatus for processing data
CN115510454A (zh) 游戏测试方法、装置、电子设备及存储介质
CN108762757B (zh) 直播间平台业务快速开发框架及方法、服务器及介质
CN113521745B (zh) Fps游戏的ai模型训练架构的数据存储方法、装置和设备
CN112860579A (zh) 业务测试方法、装置、存储介质及设备
CN112084044A (zh) 系统中事件处理方法及相关装置
CN113268324A (zh) 一种任务调度方法及装置、存储介质、计算机设备
CN113973060A (zh) 一种物联网模拟方法、装置、系统及存储介质
CN109985387A (zh) 自动化测试方法和装置
CN113521746A (zh) Fps游戏的ai模型训练方法、装置、系统和设备
CN111562982B (zh) 请求数据的处理方法及装置、计算机可读存储介质、电子设备
CN113392011A (zh) 一种链路分段性能测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant