CN112870716A - 游戏数据处理方法、装置、存储介质与电子设备 - Google Patents

游戏数据处理方法、装置、存储介质与电子设备 Download PDF

Info

Publication number
CN112870716A
CN112870716A CN202110145674.0A CN202110145674A CN112870716A CN 112870716 A CN112870716 A CN 112870716A CN 202110145674 A CN202110145674 A CN 202110145674A CN 112870716 A CN112870716 A CN 112870716A
Authority
CN
China
Prior art keywords
decision
data
game
prediction
game state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110145674.0A
Other languages
English (en)
Other versions
CN112870716B (zh
Inventor
蔡康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110145674.0A priority Critical patent/CN112870716B/zh
Publication of CN112870716A publication Critical patent/CN112870716A/zh
Application granted granted Critical
Publication of CN112870716B publication Critical patent/CN112870716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供一种游戏数据处理方法、装置、存储介质与电子设备，涉及数据处理技术领域。其中，所述游戏数据处理方法包括：获取多个采样时刻的游戏状态数据以及所述游戏状态数据对应的决策标签；采用游戏决策模型对所述游戏状态数据进行处理，确定游戏角色的决策预测数据；将所述游戏角色在所述游戏状态数据对应的采样时刻的所在位置与所述决策预测数据对应的决策目的位置之间的距离，确定为所述决策预测数据对应的决策距离；根据所述决策标签、所述决策预测数据以及所述决策距离，更新所述游戏决策模型。本公开缓解了由于采样的数据不平衡导致的过拟合问题。

Description

游戏数据处理方法、装置、存储介质与电子设备
技术领域
本公开涉及数据处理技术领域，尤其涉及一种游戏数据处理方法、游戏数据处理装置、计算机可读存储介质与电子设备。
背景技术
在MOBA(Multiplayer Online Battle Arena，多人在线战术竞技)、动作、射击等类型的游戏设计中，通常需要模拟游戏玩家进行游戏决策。例如在游戏人机对战、玩家挂机等情况下，根据游戏作战状态模拟玩家的决策对游戏角色进行控制。由于游戏环境复杂、游戏角色多样、游戏规则繁多等各类原因，难以直接设置规则来模拟玩家进行游戏决策。
目前，通常采用强化学习模型和监督学习模型(例如，卷积神经网络模型)进行游戏决策，但是这两种方法，可能会由于采样的游戏状态数据不平衡导致决策结果出现过拟合现象，以至于所模拟的游戏决策存在诸多不合理，表现上并不智能，无法给玩家带来较好的体验。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种游戏数据处理方法、游戏数据处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决相关技术中由于采样的数据不平衡导致的过拟合问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种游戏数据处理方法，包括：获取多个采样时刻的游戏状态数据以及所述游戏状态数据对应的决策标签；采用游戏决策模型对所述游戏状态数据进行处理，确定游戏角色的决策预测数据；将所述游戏角色在所述游戏状态数据对应的采样时刻的所在位置与所述决策预测数据对应的决策目的位置之间的距离，确定为所述决策预测数据对应的决策距离；根据所述决策标签、所述决策预测数据以及所述决策距离，更新所述游戏决策模型。
在本公开的一种示例性实施例中，所述游戏状态数据包括第一输入特征数据；所述获取多个采样时刻的游戏状态数据，包括：在多个采样时刻，从游戏地图中提取所述第一输入特征数据。
在本公开的一种示例性实施例中，所述在多个采样时刻，从游戏地图中提取所述第一输入特征数据，包括：提取游戏中的单位特征信息以及所述单位特征信息所对应的地图位置信息；根据所述单位特征信息以及所述单位特征信息所对应的地图位置信息，确定第一输入特征数据。
在本公开的一种示例性实施例中，所述游戏状态数据包括第二输入特征数据；所述获取多个采样时刻的游戏状态数据，还包括：在多个采样时刻，提取游戏中的全局信息，得到所述第二输入特征数据。
在本公开的一种示例性实施例中，所述游戏决策模型包括：第一子模型、第二子模型和第三子模型；所述采用游戏决策模型对所述游戏状态数据进行处理，确定游戏角色的决策预测数据，包括：通过所述第一子模型对所述第一输入特征数据进行处理，确定第一中间特征数据；通过所述第二子模型对所述第二输入特征数据进行处理，确定第二中间特征数据；通过所述第三子模型对所述第一中间特征数据和所述第二中间特征数据进行处理，确定所述游戏角色的决策预测数据。
在本公开的一种示例性实施例中，所述第一子模型包括卷积层和池化层。
在本公开的一种示例性实施例中，所述第二子模型包括全连接层。
在本公开的一种示例性实施例中，所述第三子模型包括拼接层，用于拼接所述第一中间特征数据和所述第二中间特征数据。
在本公开的一种示例性实施例中，所述根据所述决策标签、所述决策预测数据以及所述决策距离，更新所述游戏决策模型，包括：将所述决策标签、所述决策预测数据以及所述决策距离代入损失函数，得到所述决策预测数据对应的损失值；根据所述损失值，更新所述游戏决策模型。
在本公开的一种示例性实施例中，所述损失函数为：
Figure BDA0002930150380000031
其中，Loss为所述预测决策数据对应的损失值，d为所述决策距离，dmax为最大决策距离，pi为所述预测决策数据的概率值。
在本公开的一种示例性实施例中，所述方法还包括：当满足预设条件时，确定完成对所述游戏决策模型的更新；所述预设条件包括以下至少一条：所述预测决策数据对应的损失值小于第一预设阈值；所述游戏决策模型的更新次数大于第二预设阈值；所述预测决策数据对应的损失值在相邻两次更新中的减小幅度小于第三预设阈值。
根据本公开的第二方面，提供一种游戏数据处理装置，包括：数据获取模块，用于获取多个采样时刻的游戏状态数据以及所述游戏状态数据对应的决策标签；第一确定模块，用于采用游戏决策模型对所述游戏状态数据进行处理，确定游戏角色的决策预测数据；第二确定模块，用于将所述游戏角色在所述游戏状态数据对应的采样时刻的所在位置与所述决策预测数据对应的决策目的位置之间的距离，确定为所述决策预测数据对应的决策距离；模型更新模块，用于根据所述决策标签、所述决策预测数据以及所述决策距离，更新所述游戏决策模型。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述游戏数据处理方法。
根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述游戏数据处理方法。
本公开的技术方案具有以下有益效果：
上述游戏数据处理过程中，采用游戏决策模型对游戏状态数据进行处理，确定游戏角色的决策预测数据，将游戏角色在游戏状态数据对应的采样时刻的所在位置与决策预测数据对应的决策目的位置之间的距离，确定为决策预测数据对应的决策距离，根据游戏状态数据对应的决策标签、决策预测数据以及决策距离，更新游戏决策模型。在训练游戏决策模型的过程中，增加了决策距离，从而调整了不同距离的决策预测数据对于模型参数的更新力度，能够改善采样不平衡导致的游戏决策模型过拟合，从而提高游戏决策模型的准确度，以便于在实际应用中实现高质量决策。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种游戏数据处理方法的流程图；
图2示出本示例性实施方式中一种提取第一输入特征数据的流程图；
图3示出本示例性实施方式中一种采用游戏决策模型处理游戏数据的实例图；
图4示出本示例性实施方式中一种确定游戏角色的决策预测数据的流程图；
图5示出本示例性实施方式中一种更新游戏决策模型的流程图；
图6示出本示例性实施方式中一种游戏数据处理装置的结构框图；
图7示出本示例性实施方式中一种用于实现上述方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本文中，“第一”、“第二”等是对特定对象的标记，而并非限定对象的数量或次序。
相关技术中，通常采用强化学习模型进行游戏决策，或利用单一的卷积神经网络模型来模拟玩家的游戏策略。但是这两种方法可能存在以下问题：所采用的强化学习模型需要进行多次迭代，计算开销非常大，而且还需要人工定义反馈值并根据处理结果不断进行调整；所采用的单一的卷积神经网络模型，可能导致神经网络模型陷入信息缺失和过拟合问题。此外，相关技术中所采用的这两种方法，当采样的游戏状态数据不均衡时，即使进行了大量的训练，仍然会出现过拟合现象，以至于所模拟的游戏决策存在诸多不合理，表现上并不智能，无法给玩家带来较好的体验。
鉴于上述一个或多个问题，本公开的示例性实施方式提供一种游戏数据处理方法，该处理方法可应用于对人机对战中的机器人进行决策，实现智能化机器人，或者在玩家启用挂机/自动控制功能时进行决策等游戏场景中。
图1示出了本示例性实施方式中游戏数据处理方法的示意性流程，包括以下步骤S110至S140：
步骤S110，获取多个采样时刻的游戏状态数据以及游戏状态数据对应的决策标签；
步骤S120，采用游戏决策模型对游戏状态数据进行处理，确定游戏角色的决策预测数据；
步骤S130，将游戏角色在游戏状态数据对应的采样时刻的所在位置与决策预测数据对应的决策目的位置之间的距离，确定为决策预测数据对应的决策距离；
步骤S140，根据决策标签、决策预测数据以及决策距离，更新游戏决策模型。
上述游戏数据处理过程中，采用游戏决策模型对游戏状态数据进行处理，确定游戏角色的决策预测数据，将游戏角色在游戏状态数据对应的采样时刻的所在位置与决策预测数据对应的决策目的位置之间的距离，确定为决策预测数据对应的决策距离，根据游戏状态数据对应的决策标签、决策预测数据以及决策距离，更新游戏决策模型。在训练游戏决策模型的过程中，增加了决策距离，从而调整了不同距离的决策预测数据对于模型参数的更新力度，能够改善采样不平衡导致的游戏决策模型过拟合，从而提高游戏决策模型的准确度，以便于在实际应用中实现高质量决策。
下面分别对图1中的每个步骤进行具体说明。
步骤S110，获取多个采样时刻的游戏状态数据以及游戏状态数据对应的决策标签。
游戏状态数据指的是在游戏进行过程中所表现出来的状态特征，例如各游戏角色的血量、各游戏角色的等级、游戏进行的时间等数据。游戏状态数据对应的决策标签指的是在该游戏状态下为游戏角色设置的行为决策标签，例如在游戏角色血量低于5％时，设置该状态下游戏角色的决策标签为回泉水补给。
在一种可选的实施方式中，游戏状态数据可以包括第一输入特征数据；获取多个采样时刻的游戏状态数据时，可以在多个采样时刻，从游戏地图中提取第一输入特征数据。
第一输入特征数据指的是游戏决策模型的第一类输入数据，可以从游戏地图中进行提取。所提取的第一输入特征数据可以包括游戏地图中如下单位特征类型的相关数据：游戏角色、防御塔、野怪、士兵等单位特征类型。该过程从游戏地图中提取第一输入特征数据，以便后续针对游戏地图中的状态数据进行数据处理，获取到最终的决策预测数据。
在一种可选的实施方式中，如图2所示，可以通过以下步骤S210至S220，在多个采样时刻，从游戏地图中提取第一输入特征数据：
步骤S210，提取游戏中的单位特征信息以及单位特征信息所对应的地图位置信息。
该过程将游戏地图划分成多个单位图像，单位图像包含了各单位类型所对应的单位特征信息，单位类型可以包括游戏角色、防御塔、野怪、士兵等单位特征类型，单位特征信息可例如游戏角色装备、野怪血量、士兵血量等信息。单位特征信息所对应的地图位置信息可以是单位特征信息在游戏地图中所对应的单位图像，以及单位特征信息在单位图像中所在的具体位置信息。
步骤S220，根据单位特征信息以及单位特征信息所对应的地图位置信息，确定第一输入特征数据。
可以将上述包含单位特征信息以及单位特征对应的地图位置信息的单位图像，以图3所示的图像格子形式进行输入。可以将单位图像的尺寸进行格式化处理后，形成具有特定格式的的第一输入特征数据，以作为游戏决策模型的第一类输入数据。图3所示的地图信息输入的图像格子包含了游戏角色血量、角色装备、角色等级、防御塔血量等图像格子，每个图像格子对应了不同的单位特征信息。其中，图像格子中的角色血量×10表示的是该图像格子包含了10个游戏角色血量的单位特征信息，角色装备×10表示的是该图像格子包含了10个游戏角色装备的单位特征信息，角色等级×10表示的是该图像格子包含了10个游戏角色等级的单位特征信息，防御塔血量×2表示的是该图像格子包含了2个防御塔血量的单位特征信息，等等。图3中地图信息输入所对应的图像格子上方的B×26×26×40，表示的是第一类输入数据的格式信息，其中B表示的是一次游戏数据处理过程中所处理的游戏状态数据的数据量，通常是2的指数幂，比如32、64、128等，B后面的数字表示输入的单位图像的尺寸信息，分别表示图像的长宽尺寸以及图像的通道数。需要说明的是，图3中的地图信息输入图像的尺寸格式只是示例性的说明，在实际应用中，可以由开发人员自行根据需求，将单位图像的尺寸进行设定。
上述图2所示的从游戏地图中确定第一输入特征数据的步骤中，引入单位特征信息所对应的地图位置信息，以便进一步确定决策预测数据和游戏决策距离。
在一种可选的实施方式中，游戏状态数据还可以包括第二输入特征数据；获取多个采样时刻的游戏状态数据时，还可以在多个采样时刻，提取游戏中的全局信息，得到第二输入特征数据。
第二输入特征数据指的是游戏决策模型的第二类输入数据，可以从游戏的全局信息中进行提取。全局信息指的是与游戏进行状态相关的属性信息，可以包括无法从地图中直接提取到的信息，例如游戏进行的时间、游戏角色血量的变化值、参与对战的游戏角色血量的最低值等数据信息，可以将提取的游戏中的全局信息作为第二输入特征数据。上述过程将两种类型的数据，第一输入特征数据和第二输入特征数据，分别进行提取，以作为游戏状态数据。该过程兼顾了游戏中的全局信息的重要性，避免了后续游戏决策模型在数据处理过程中造成的信息缺失和过拟合，提高决策预测数据的准确性。
步骤S120，采用游戏决策模型对游戏状态数据进行处理，确定游戏角色的决策预测数据。
游戏决策模型是用于模拟玩家针对游戏角色进行行为决策的模型，该模型可以包括两种类型数据的输入，一种是第一输入特征数据，另一种是第二输入特征数据，最终输出的是决策预测数据。该游戏决策模型可以对游戏状态数据进行批处理，以提高处理效率。
在一种可选的实施方式中，在采用游戏决策模型对游戏状态数据进行处理确定游戏角色的决策预测数据之前，可以采用正态分布初始化游戏决策模型中的参数。
对游戏决策模型中的参数进行初始化可以加快游戏决策模型梯度下降收敛的速度，并且尽量的使其收敛于全局最优。
在一种可选的实施方式中，游戏决策模型可以包括：第一子模型、第二子模型和第三子模型；采用游戏决策模型对游戏状态数据进行处理，确定游戏角色的决策预测数据，可以通过如图4所示的步骤进行实现，具体包括以下步骤S410至S430：
步骤S410，通过第一子模型对第一输入特征数据进行处理，确定第一中间特征数据。
将第一输入特征数据作为游戏决策模型中第一子模型的输入数据。这里的第一中间特征数据指的是第一子模型对第一输入特征数据进行处理后的输出数据。
在一种可选的实施方式中，第一子模型包括卷积层和池化层，用于对第一输入特征数据进行卷积和池化处理，输出第一中间特征数据，可以是采用卷积神经网络的模型。如图3所示的Conv和Max pooling是对地图信息输入中的单位特征信息以及单位特征对应的地图位置信息进行的卷积和池化处理，得到维度为B×1024的第一中间特征数据。Conv和Max pooling后面的数字表示执行相应操作的次数，Conv上方的32×5×5×40/64×5×5×32和Max pooling上方的2×2分别表示卷积和池化的维度。通过池化来降低卷积层输出图像数据的维度，有效减少网络参数的同时还可以防止过拟合现象。
需要说明的是，图3中的两次卷积和和池化操作只是实例性的说明，在实际执行过程中，执行卷积和池化的次数可以根据实际需求进行设定，与第一子模型的结构设置有关。
步骤S420，通过第二子模型对第二输入特征数据进行处理，确定第二中间特征数据。
将第二输入特征数据作为游戏决策模型中第二子模型的输入数据。这里的第二中间特征数据指的是第二子模型对第二输入特征数据进行处理后的输出数据。
第二子模型可以包括全连接层。在对第二输入特征数据进行处理时，可以将该全连接层作为第二子模型的最后一层，经过全连接层输出第二中间特征数据。如图3所示，将维度为B×24的关键属性输入数据作为第二输入特征数据输入全连接层，得到特征维度为B×64的第二中间特征数据。
步骤S430，通过第三子模型对第一中间特征数据和第二中间特征数据进行处理，确定游戏角色的决策预测数据。
游戏角色的决策数据指的是为游戏角色所做的行为预测，例如：去打野、去击杀小兵、回泉水补给等。将第一中间特征数据和第二中间特征数据作为第三子模型的输入，将游戏角色的决策预测数据作为第三子模型的输出。
在一种可选的实施方式中，第三子模型包括拼接层，用于拼接第一中间特征数据和第二中间特征数据。
上述过程中的拼接为特征向量的拼接，比如第一中间特征数据构成的特征向量为(a,b,c)，第二中间特征数据构成的特征向量为(d,e,f)，可以直接拼接为(a,b,c,d,e,f)。如图3中的将第一中间特征数据和第二中间特征数据进行特征融合，拼接成了维度更高的特征。
在一种可选的实施方式中，第三子模型包括拼接层还包括中间层以及Softmax层，步骤S430还可以通过以下方式进行实现：
通过拼接层对第一中间特征数据和第二中间特征数据进行处理，得到拼接特征数据；通过中间层以及Softmax层对拼接特征数据进行处理，输出预测决策数据。
如图3中，将B×1024维度的第一中间特征数据和B×64维度的第二中间特征数据进行特征融合，拼接成了B×1088维度的拼接特征数据，拼接特征数据经过中间层的处理，将维度为B×1088的拼接特征数据抽象到B×128维度，再经过Softmax层对数据进行归一化，将模型输出转成维度为B×36的概率分布。例如存在三种游戏决策行为，打野、击杀小兵、回泉水补给，Softmax的输出向量存在三个节点，每个节点对应一个概率值，分别对应打野、击杀小兵、回泉水补给，Softmax的输出向量为(0.2,0.5,0.3)，分别代表游戏角色打野概率0.2、击杀小兵概率0.5、回泉水补给概率0.3，通常最后选择概率值最大的节点作为最终决策，也就是最终输出的预测行为决策为击杀小兵。
图4所示的步骤中，一方面，可以保留第一子模型(例如采用卷积神经网络的模型)中局部感受野、权重共享和降采样三种策略，降低了模型的复杂度，节省了大量的计算资源，同时对于游戏单位图像的平移、旋转、尺寸缩放等形式的变换还具备不变性的优点；另一方面，对第二输入特征数据的处理兼顾了游戏中的全局信息的重要性，避免了后续在数据处理过程中造成的信息缺失和过拟合问题，使得预测结果更加准确。
步骤S130，将游戏角色在游戏状态数据对应的采样时刻的所在位置与决策预测数据对应的决策目的位置之间的距离，确定为决策预测数据对应的决策距离。
决策距离是地图中游戏角色位置与决策目标所在地的距离。例如，游戏角色需要去下路击杀小兵，那么决策距离就是游戏角色从所在位置到下路兵线的距离。
步骤S140，根据决策标签、决策预测数据以及决策距离，更新游戏决策模型。
在一种可选的实施方式中，步骤S140，还可以通过如图5所示的步骤来更新游戏决策模型，具体包括以下步骤S510至S520。
步骤S510，将决策标签、决策预测数据以及决策距离代入损失函数，得到决策预测数据对应的损失值。
该决策预测数据对应的损失值指的是决策标签和决策预测数据之间的误差度。例如存在三种游戏决策行为，打野、击杀小兵、回泉水补给，决策标签为去打野，而模型预测结果为击杀小兵，决策预测结果与决策标签之间存在着误差，可以用误差函数的损失值来进行描述。
在一种可选的实施方式中，可以将损失函数确定为：
Figure BDA0002930150380000111
其中，Loss为预测决策数据对应的损失值，d为决策距离，dmax为最大决策距离，pi为预测决策数据的概率值。
以MOBA游戏地图为例，这里的dmax可以为游戏地图对角线的距离。将决策距离作为损失函数的权重惩罚，以便实现游戏决策模型的更新。
步骤S520，根据损失值，更新游戏决策模型。
基于损失值，可以采用反向传播算法，去更新游戏决策模型。将游戏决策模型的输出通过中间层逐层向模型输入层进行反向传播，将误差分摊给各层的所有单元，根据各层单元的误差信号修正各层单元的参数值，以达到更新游戏决策模型的目的。
在一种可选的实施方式中，当满足预设条件时，确定完成对游戏决策模型的更新；预设条件包括以下至少一条：
预测决策数据对应的损失值小于第一预设阈值；
游戏决策模型的更新次数大于第二预设阈值；
预测决策数据对应的损失值在相邻两次更新中的减小幅度小于第三预设阈值。
需要说明的是，完成游戏决策模型的更新的指标可以根据预测结果的精度需求以及计算开销等方面的因素，进行综合考虑，设置合适的更新指标。
上述图5所示的步骤中，基于决策距离构造损失函数，可以缓解由于游戏状态数据不平衡导致的模型过拟合问题，进而提升游戏决策的准确性。
本公开的示例性实施方式还提供一种游戏数据处理装置，如图6所示，该游戏数据处理装置600可以包括：
数据获取模块610，用于获取多个采样时刻的游戏状态数据以及游戏状态数据对应的决策标签；
第一确定模块620，用于采用游戏决策模型对游戏状态数据进行处理，确定游戏角色的决策预测数据；
第二确定模块630，用于将游戏角色在游戏状态数据对应的采样时刻的所在位置与决策预测数据对应的决策目的位置之间的距离，确定为决策预测数据对应的决策距离；
模型更新模块640，用于根据决策标签、决策预测数据以及决策距离，更新游戏决策模型。
在一种可选的实施方式中，当游戏状态数据包括第一输入特征数据时，数据获取模块610，还包括：第一提取子模块，用于在多个采样时刻，从游戏地图中提取第一输入特征数据。
在一种可选的实施方式中，第一提取子模块，被配置为：提取游戏中的单位特征信息以及单位特征信息所对应的地图位置信息；根据单位特征信息以及单位特征信息所对应的地图位置信息，确定第一输入特征数据。
在一种可选的实施方式中，当游戏状态数据包括第二输入特征数据时；数据获取模块610，还包括：第二提取子模块，用于在多个采样时刻，提取游戏中的全局信息，得到第二输入特征数据。
在一种可选的实施方式中，游戏决策模型包括：第一子模型、第二子模型和第三子模型；第一确定模块620，被配置为：通过第一子模型对第一输入特征数据进行处理，确定第一中间特征数据；通过第二子模型对第二输入特征数据进行处理，确定第二中间特征数据；通过第三子模型对第一中间特征数据和第二中间特征数据进行处理，确定游戏角色的决策预测数据。
在一种可选的实施方式中，该游戏数据处理装置600中的第一子模型包括卷积层和池化层。
在一种可选的实施方式中，该游戏数据处理装置600中的第二子模型包括全连接层。
在一种可选的实施方式中，该游戏数据处理装置600中的第三子模型包括拼接层，用于拼接第一中间特征数据和第二中间特征数据。
在一种可选的实施方式中，模型更新模块640，被配置为：将决策标签、决策预测数据以及决策距离代入损失函数，得到决策预测数据对应的损失值；根据损失值，更新游戏决策模型。
在一种可选的实施方式中，模型更新模块640中的损失函数为：
Figure BDA0002930150380000131
其中，Loss为预测决策数据对应的损失值，d为决策距离，dmax为最大决策距离，pi为预测决策数据的概率值。
在一种可选的实施方式中，该游戏数据处理装置600，还包括完成更新模块，被配置为：当满足预设条件时，确定完成对游戏决策模型的更新；预设条件包括以下至少一条：预测决策数据对应的损失值小于第一预设阈值；游戏决策模型的更新次数大于第二预设阈值；预测决策数据对应的损失值在相邻两次更新中的减小幅度小于第三预设阈值。
上述游戏数据处理装置600中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述游戏数据处理方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本公开的示例性实施方式还提供了一种能够实现上述游戏数据处理方法的电子设备。下面参照图7来描述根据本公开的这种示例性实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。
如图7所示，电子设备700可以以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730和显示单元740。
存储单元720存储有程序代码，程序代码可以被处理单元710执行，使得处理单元710执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元710可以执行图1、图2、图4和图5中任意一个或多个方法步骤。
存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)721和/或高速缓存存储单元722，还可以进一步包括只读存储单元(ROM)723。
存储单元720还可以包括具有一组(至少一个)程序模块725的程序/实用工具724，这样的程序模块725包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (14)

1.一种游戏数据处理方法，其特征在于，包括：
获取多个采样时刻的游戏状态数据以及所述游戏状态数据对应的决策标签；
采用游戏决策模型对所述游戏状态数据进行处理，确定游戏角色的决策预测数据；
将所述游戏角色在所述游戏状态数据对应的采样时刻的所在位置与所述决策预测数据对应的决策目的位置之间的距离，确定为所述决策预测数据对应的决策距离；
根据所述决策标签、所述决策预测数据以及所述决策距离，更新所述游戏决策模型。
2.根据权利要求1所述的方法，其特征在于，所述游戏状态数据包括第一输入特征数据；所述获取多个采样时刻的游戏状态数据，包括：
在多个采样时刻，从游戏地图中提取所述第一输入特征数据。
3.根据权利要求2所述的方法，其特征在于，所述在多个采样时刻，从游戏地图中提取所述第一输入特征数据，包括：
提取游戏中的单位特征信息以及所述单位特征信息所对应的地图位置信息；
根据所述单位特征信息以及所述单位特征信息所对应的地图位置信息，确定第一输入特征数据。
4.根据权利要求2所述的方法，其特征在于，所述游戏状态数据包括第二输入特征数据；所述获取多个采样时刻的游戏状态数据，还包括：
在多个采样时刻，提取游戏中的全局信息，得到所述第二输入特征数据。
5.根据权利要求4所述的方法，其特征在于，所述游戏决策模型包括：第一子模型、第二子模型和第三子模型；
所述采用游戏决策模型对所述游戏状态数据进行处理，确定游戏角色的决策预测数据，包括：
通过所述第一子模型对所述第一输入特征数据进行处理，确定第一中间特征数据；
通过所述第二子模型对所述第二输入特征数据进行处理，确定第二中间特征数据；
通过所述第三子模型对所述第一中间特征数据和所述第二中间特征数据进行处理，确定所述游戏角色的决策预测数据。
6.根据权利要求5所述的方法，其特征在于，所述第一子模型包括卷积层和池化层。
7.根据权利要求5所述的方法其特征在于，所述第二子模型包括全连接层。
8.根据权利要求5所述的方法其特征在于，所述第三子模型包括拼接层，用于拼接所述第一中间特征数据和所述第二中间特征数据。
9.根据权利要求1所述的方法，其特征在于，所述根据所述决策标签、所述决策预测数据以及所述决策距离，更新所述游戏决策模型，包括：
将所述决策标签、所述决策预测数据以及所述决策距离代入损失函数，得到所述决策预测数据对应的损失值；
根据所述损失值，更新所述游戏决策模型。
10.根据权利要求9所述的方法，其特征在于，所述损失函数为：
Figure FDA0002930150370000021
其中，Loss为所述预测决策数据对应的损失值，d为所述决策距离，dmax为最大决策距离，pi为所述预测决策数据的概率值。
11.根据权利要求9所述的方法，其特征在于，所述方法，还包括：
当满足预设条件时，确定完成对所述游戏决策模型的更新；
所述预设条件包括以下至少一条：
所述预测决策数据对应的损失值小于第一预设阈值；
所述游戏决策模型的更新次数大于第二预设阈值；
所述预测决策数据对应的损失值在相邻两次更新中的减小幅度小于第三预设阈值。
12.一种游戏数据处理装置，其特征在于，包括：
数据获取模块，用于获取多个采样时刻的游戏状态数据以及所述游戏状态数据对应的决策标签；
第一确定模块，用于采用游戏决策模型对所述游戏状态数据进行处理，确定游戏角色的决策预测数据；
第二确定模块，用于将所述游戏角色在所述游戏状态数据对应的采样时刻的所在位置与所述决策预测数据对应的决策目的位置之间的距离，确定为所述决策预测数据对应的决策距离；
模型更新模块，用于根据所述决策标签、所述决策预测数据以及所述决策距离，更新所述游戏决策模型。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的方法。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至11任一项所述的方法。
CN202110145674.0A 2021-02-02 2021-02-02 游戏数据处理方法、装置、存储介质与电子设备 Active CN112870716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145674.0A CN112870716B (zh) 2021-02-02 2021-02-02 游戏数据处理方法、装置、存储介质与电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145674.0A CN112870716B (zh) 2021-02-02 2021-02-02 游戏数据处理方法、装置、存储介质与电子设备

Publications (2)

Publication Number Publication Date
CN112870716A true CN112870716A (zh) 2021-06-01
CN112870716B CN112870716B (zh) 2024-06-07

Family

ID=76056758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145674.0A Active CN112870716B (zh) 2021-02-02 2021-02-02 游戏数据处理方法、装置、存储介质与电子设备

Country Status (1)

Country Link
CN (1) CN112870716B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170087474A1 (en) * 2015-09-30 2017-03-30 Sports Maximization Inc. System for generating scenarios to evaluate their analytical ability on the scenarios raised during the virtual game
CN109908591A (zh) * 2019-03-19 2019-06-21 网易（杭州）网络有限公司 一种虚拟对象的决策方法、模型构建方法和装置
CN110064205A (zh) * 2019-04-24 2019-07-30 腾讯科技（深圳）有限公司 用于游戏的数据处理方法、设备和介质
CN110585732A (zh) * 2019-09-12 2019-12-20 腾讯科技（深圳）有限公司 一种操牌信息确定方法、装置、服务器及存储介质
CN111450534A (zh) * 2020-03-31 2020-07-28 腾讯科技（深圳）有限公司 一种标签预测模型的训练方法、标签预测的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170087474A1 (en) * 2015-09-30 2017-03-30 Sports Maximization Inc. System for generating scenarios to evaluate their analytical ability on the scenarios raised during the virtual game
CN109908591A (zh) * 2019-03-19 2019-06-21 网易（杭州）网络有限公司 一种虚拟对象的决策方法、模型构建方法和装置
CN110064205A (zh) * 2019-04-24 2019-07-30 腾讯科技（深圳）有限公司 用于游戏的数据处理方法、设备和介质
CN110585732A (zh) * 2019-09-12 2019-12-20 腾讯科技（深圳）有限公司 一种操牌信息确定方法、装置、服务器及存储介质
CN111450534A (zh) * 2020-03-31 2020-07-28 腾讯科技（深圳）有限公司 一种标签预测模型的训练方法、标签预测的方法及装置

Also Published As

Publication number Publication date
CN112870716B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN109621422B (zh) 电子棋牌决策模型训练方法及装置、策略生成方法及装置
US20220176248A1 (en) Information processing method and apparatus, computer readable storage medium, and electronic device
CN111632379B (zh) 游戏角色行为控制方法、装置、存储介质及电子设备
CN112329948B (zh) 一种多智能体策略预测方法及装置
CN114139637B (zh) 多智能体信息融合方法、装置、电子设备及可读存储介质
CN111666919B (zh) 一种对象识别方法、装置、计算机设备和存储介质
CN112232086A (zh) 一种语义识别方法、装置、计算机设备及存储介质
CN115115914B (zh) 信息识别方法、装置以及计算机可读存储介质
CN111282272B (zh) 信息处理方法、计算机可读介质及电子设备
CN112434791A (zh) 多智能体强对抗仿真方法、装置及电子设备
CN114404975B (zh) 决策模型的训练方法、装置、设备、存储介质及程序产品
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
CN113230650B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN114528387A (zh) 基于对话流自举的深度学习对话策略模型构建方法和系统
CN112274935B (zh) Ai模型训练方法、使用方法、计算机设备及存储介质
CN113705402A (zh) 视频行为预测方法、系统、电子设备及存储介质
CN116570929A (zh) 游戏智能体确定、游戏运行方法、装置、介质和电子设备
WO2022127603A1 (zh) 一种模型处理方法及相关装置
US11704980B2 (en) Method, apparatus, and computer storage medium for outputting virtual application object
CN112870716B (zh) 游戏数据处理方法、装置、存储介质与电子设备
CN112052386B (zh) 信息推荐方法、装置和存储介质
CN111443806B (zh) 交互任务的控制方法、装置、电子设备及存储介质
CN113240118A (zh) 优势估计方法、装置、电子设备和存储介质
CN115671733A (zh) 虚拟对象的行为预测方法、装置、存储介质与电子设备
CN114118400A (zh) 一种基于专注网络的集群对抗方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant