CN110879730A - 自动调整游戏配置的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种自动调整游戏配置的方法、装置、电子设备及存储介质，所述方法包括：每过预设时间周期，获取游戏终端在所述时间周期内的运行状态；将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态确定使得所述游戏终端的预期运行表现最佳的配置调整动作；基于所述配置调整动作，对所述游戏终端的游戏配置进行调整。本发明实施例能够提高游戏配置的合理度。

Description

自动调整游戏配置的方法、装置、电子设备及存储介质

技术领域

本发明涉及机器学习领域，具体涉及一种对自动调整游戏配置的方法、装置、电子设备及存储介质。

背景技术

随着电子游戏行业的发展，电子游戏的用户数量越来越多。如何在用户游玩电子游戏时，为用户尽量带来优质的游戏体验是游戏服务中重要的一环。具体的，优质的游戏体验包括但不限于：高平均帧率，从而保证画面的流畅；高贴图精细度，从而保证画面细节的丰富度；游戏终端的低温度，从而降低游戏终端的寿命损耗。游戏体验的优质与否，则直接取决于对游戏终端的游戏配置是否足够合理。

现有技术中，是通过对大量游戏终端的游戏配置进行统计，进而选择出最广泛的游戏配置进行推荐、调整。但现实情况中，由于影响因素的多样、多变，会导致最广泛的游戏配置并不能适应多样、多变的影响因素，从而导致诸如游戏配置对游戏终端造成巨大负担、游戏配置无法完全发挥游戏终端性能的情况的发生，游戏配置合理度低。

发明内容

本发明的一个目的在于提出一种自动调整游戏配置的方法、装置、电子设备及存储介质，能够提高游戏配置的合理度。

根据本发明实施例的一方面，公开了一种自动调整游戏配置的方法，所述方法包括：

每过预设时间周期，获取游戏终端在所述时间周期内的运行状态；

将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态确定使得所述游戏终端的预期运行表现最佳的配置调整动作；

基于所述配置调整动作，对所述游戏终端的游戏配置进行调整。

根据本发明实施例的一方面，公开了一种自动调整游戏配置的装置，所述装置包括：

第一获取模块，配置为每过预设时间周期，获取游戏终端在所述时间周期内的运行状态；

第二获取模块，配置为将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态预估使得所述游戏终端的预期运行表现最佳的配置调整动作；

调整模块，配置为基于所述配置调整动作，对所述游戏终端的游戏配置进行调整。

根据本发明实施例的一方面，公开了一种自动调整游戏配置的电子设备，包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行以上权利要求中的任一个所述的方法。

根据本发明实施例的一方面，公开了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行以上权利要求中的任一个所述的方法。

本发明实施例通过使用预训练的机器学习模型，定期根据游戏终端的运行状态，输出能够使得游戏终端的预期运行表现最佳的配置调整动作。进而基于机器学习模型输出的配置调整动作，对游戏终端的游戏配置进行调整，从而使得无论有着怎样的影响因素(游戏终端类型不同、游戏类型不同、游戏场景发生变化)，游戏终端的整体运行表现能尽量保持最佳，提高了游戏配置调整的合理度。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参考附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1A示出了根据本发明一个实施例的自动调整游戏配置所应用的体系构架。

图1B示出了根据本发明一个实施例的自动调整游戏配置所应用的体系构架。

图1C示出了根据本发明一个实施例的自动调整游戏配置所应用的体系构架。

图2示出了根据本发明一个实施例的自动调整游戏配置的方法的流程图。

图3示出了根据本发明一个实施例的机器学习模型的神经网络的大致结构组成。

图4示出了根据本发明一个实施例的机器学习模型在每一时间周期的训练过程的流程图。

图5示出了根据本发明一个实施例的自动调整游戏配置的装置的方框图。

图6示出了根据本发明一个实施例的自动调整游戏配置的电子设备的硬件结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本发明的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面首先参考图1A-1C描述本发明实施例应用的体系构架。

图1A示出了本发明一实施例的体系构架。该实施例中，自动调整游戏配置的执行主体为游戏终端10。游戏终端10内的运行状态监控进程对游戏进程的运行状态进行监控，例如：对游戏进程所处的游戏场景、游戏进程内的阴影效果、游戏进程的实时帧率、游戏进程的贴图精细度进行监控。同时，运行状态监控进程对游戏终端的硬件运行状态进行监控，例如：对游戏终端的温度、游戏终端的CPU使用率、游戏终端的GPU使用率进行监控。游戏进程的运行状态与游戏终端的硬件运行状态均属于游戏终端的运行状态。

游戏终端10内的游戏配置调整进程可以定期从运行状态监控进程处获取游戏终端的运行状态，进而根据本发明提供的方法获取预训练的机器学习模型输出的配置调整动作，进而根据该配置调整动作向游戏进程发送游戏配置调整指令，从而调整游戏进程的游戏配置。

该实施例的优点在于，由游戏终端作为执行主体，降低了对硬件条件、网络条件的要求，提高了应用的便捷度。

需要说明的是，当落实到软件层面的应用时，运行状态监控进程与游戏配置调整进程可以集成在同一软件程序中，作为该软件程序的不同模块分别行使对应的功能。

图1B示出了本发明一实施例的体系构架。该实施例中，自动调整游戏配置的执行主体为云端服务器20。游戏终端10内的运行状态监控进程对游戏进程的运行状态进行监控，同时对游戏终端的硬件运行状态进行监控。游戏进程的运行状态与游戏终端的硬件运行状态均属于游戏终端的运行状态。

云端服务器20内的游戏配置调整进程可以定期从运行状态监控进程处获取游戏终端的运行状态，进而根据本发明提供的方法获取预训练的机器学习模型输出的配置调整动作，进而根据该配置调整动作向游戏进程发送游戏配置调整指令，从而调整游戏进程的游戏配置。

该实施例的优点在于，由云端服务器作为执行主体，提高了执行主体的计算能力，同时能够更为及时地对执行主体的方法进行完善更新。

需要说明的是，当落实到软件层面的应用时，运行状态监控进程与游戏配置调整进程可以集成在同一软件程序中，作为该软件程序的不同模块分别行使对应的功能。更具体的，位于云端服务器20中的游戏配置进程可以作为Master主进程；位于游戏终端10中的运行状态监控进程作为游戏配置调整进程在游戏终端10上的延伸——agent代理进程，为游戏配置调整进程提供相应的服务。

图1C示出了本发明一实施例的体系构架。该实施例中，自动调整游戏配置的执行主体为外部移动终端20。游戏终端10内的运行状态监控进程对游戏进程的运行状态进行监控，同时对游戏终端的硬件运行状态进行监控。游戏进程的运行状态与游戏终端的硬件运行状态均属于游戏终端的运行状态。

外部移动终端20内的游戏配置调整进程可以定期从运行状态监控进程处获取游戏终端的运行状态，进而根据本发明提供的方法获取预训练的机器学习模型输出的配置调整动作，进而根据该配置调整动作向游戏进程发送游戏配置调整指令，从而调整游戏进程的游戏配置。

需要说明的是，当落实到软件层面的应用时，运行状态监控进程与游戏配置调整进程可以集成在同一软件中，作为该软件的不同模块分别行使对应的功能。更具体的，位于外部移动终端20中的游戏配置进程可以作为Master主进程；位于游戏终端10中的运行状态监控进程作为游戏配置调整进程在游戏终端10上的延伸——agent代理进程，为游戏配置调整进程提供相应的服务。

在一实施例中，所述外部移动终端20通过硬件数据接口(例如：充电接口、USB接口)与游戏终端10连接。连接完成后，外部移动终端20启动游戏配置调整进程，并于游戏终端内安装启动运行状态监控进程，进而在此基础上对游戏终端10内的游戏进程进行监控、自动调整游戏配置。

当外部移动终端20与游戏终端10在硬件数据接口的连接断开后，外部移动终端20内的游戏配置调整进程终止，游戏终端10内的运行状态监控进程被清除。直到外部移动终端20与游戏终端10再次通过硬件数据接口连接，再对游戏终端10内的游戏进程进行监控、自动调整游戏配置。

在一实施例中，外部移动终端20可以与云端服务器建立连接，进而更新其中的软件程序，以适应游戏终端10的更迭以及游戏进程的增添、游戏进程版本的更新。

该实施例的优点在于，由外部移动终端作为执行主体，可通过对外部移动终端进行硬件层面上的加密，使得本发明实施例的执行过程处于封闭环境内，提高了执行过程的安全性。

需要说明的是，图1A-1C所示的体系构架只是示例性的说明，不应对本发明的功能和使用范围造成限制。

需要说明的是，图1A-1C中进程间的单向箭头仅仅是为了展示自动调整游戏配置时，进程间的主要交互过程，并不代表进程间的所有交互只能按照图中所示的单向箭头进行。

下面对本发明实施例的具体实施过程进行详细描述。

参考图2所示，本发明提供了一种自动调整游戏配置的方法，包括：

步骤310、每过预设时间周期，获取游戏终端在所述时间周期内的运行状态；

步骤320、将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态预估使得所述游戏终端的预期运行表现最佳的配置调整动作；

步骤330、基于所述配置调整动作，对所述游戏终端的游戏配置进行调整。

游戏终端是指运行着游戏进程的终端。游戏终端包括但不限于：运行着游戏进程的手机、个人电脑。

配置调整动作是指用来指示如何调整游戏配置的动作指令。例如，配置调整动作可以为：阴影效果降低一个级别、贴图精细度提升一个级别。

本发明实施例中，执行主体定期获取游戏终端的运行状态，进而将获取到的运行状态输入预训练的机器学习模型，获取该机器学习模型输出的配置调整动作，进而在此基础上对游戏终端的游戏配置进行调整，以使得游戏终端的运行表现能动态持续地尽量保持效果最佳，提高了游戏配置调整的合理度。

下面对本发明实施例的各步骤分别进行详细描述。

在步骤310中，每过预设时间周期，获取游戏终端在所述时间周期内的运行状态。

本发明实施例中，执行主体实时监控游戏终端的运行状态；并定期统计、获取游戏终端的运行状态，以在此基础上对游戏终端的运行效果进行评估，进而确定如何调整游戏配置，能够使得游戏终端的预期运行表现最佳。具体的，是由预训练的机器学习模型对游戏终端的运行效果进行评估，进而确定如何调整游戏配置，能够使得游戏终端的预期运行表现最佳。

在一实施例中，执行主体为游戏终端。游戏终端在游戏进程启动运行后，每过预设时间周期获取游戏终端在该时间周期内的运行状态。例如：每过2分钟获取游戏终端在这两分钟内的运行状态。

在一实施例中，执行主体为云端服务器。云端服务器与游戏终端连接后，且游戏终端启动运行游戏进程后，每过预设时间周期获取游戏终端在该时间周期内的运行状态。

在一实施例中，执行主体为外部移动终端。外部移动终端与游戏终端连接后，且游戏终端启动运行游戏进程后，每过预设时间周期获取游戏终端在该时间周期内的运行状态。

可以理解的，为了确定如何调整游戏配置，除了考虑这两方面：一方面是游戏终端的硬件表现如何——温度、CPU的使用率；另一方面是游戏终端中游戏进程的表现如何——平均帧率、贴图精细度。还需要将当前时间游戏终端的游戏配置考虑进去。相应的，本发明实施例中，获取的游戏终端的运行状态，主要可以分为三方面：游戏终端的游戏配置、游戏终端的硬件运行状态、游戏终端中游戏进程的运行状态。

在一实施例中，游戏终端在所述时间周期内的运行状态包括但不限于：游戏终端的游戏配置、游戏终端的温度、游戏终端的CPU使用率、所述游戏终端的GPU使用率、游戏终端的贴图精细度、游戏终端在所述时间周期内的平均帧率。

该实施例中，可以理解的，根据实际需求，所获取的游戏终端的运行状态还可以包括游戏场景、技能特效，在此不再赘述。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

下面对获取配置调整动作的过程进行详细描述。

在步骤320中，将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态预估使得所述游戏终端的预期运行表现最佳的配置调整动作。

本发明实施例中，获取到游戏终端的运行状态后，将该运行状态输入预训练的机器学习模型，由该机器学习模型根据预训练的机器学习模型参数，对该运行状态进行判断，确定如何调整游戏配置可以使得游戏终端的预期运行表现最佳，进而输出相应的配置调整动作。从而使得执行主体能够根据该配置调整动作对游戏配置进行调整。

基于的，本发明实施例的机器学习模型是基于强化学习训练得到的，能够根据输入的状态(即，游戏终端的运行状态)，确定执行哪一动作(即，配置调整动作)，可以使得预期收益(即，游戏终端的预期运行表现)最大。

下面描述在将运行状态输入机器学习模型之前，对运行状态进行映射处理的详细过程。

获取到的运行状态(例如：游戏终端的温度为35度、平均帧率为45帧、阴影效果为“高”)不便于直接输入机器学习模型，因此，在将运行状态输入预训练的机器学习模型之前，要将运行状态处理为方便机器学习模型直接处理的向量形式。

在一实施例中，在将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作之前，包括：将所述运行状态中每个属性按照预设映射规则，分别映射为对应的向量。

该实施例中，针对运行状态中的每个属性，预先设置相应的映射规则，使得运行状态中的每个属性均可以被映射为对应的向量。

具体的，对于数值型的属性，按照其所在的数值范围，将其均匀映射到0～1的范围内。例如：温度的数值范围为(30，50)。若运行状态中的温度为40度，则温度被映射为0.5。

对于类别型的属性，预先对每一类别进行编码，预先得到每一类别对应的向量。例如：阴影效果有三种类别——“低”、“中”、“高”，预先对其进行编码，预先得到阴影效果为“低”对应的向量为【1，0，0】、阴影效果为“中”对应的向量为【0，1，0】、阴影效果为“高”对应的向量为【0，0，1】。若运行状态中的阴影效果为“低”，则阴影效果被映射为【1，0，0】。

该实施例中，将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，包括：将所述向量输入所述机器学习模型，获取所述机器学习模型输出的配置调整动作。

该实施例中，将运行状态中的每个属性映射为对应的向量后，将这些向量输入机器学习模型，由机器学习模型对这些向量进行处理，进而输出配置调整动作。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

在一实施例中，图3示出了机器学习模型的神经网络的大致结构：运行状态有n个属性，每个属性相应的被映射为向量，并分别作为神经网络输入层的一个节点输入机器学习模型；进而经过神经网络隐藏层x个节点的处理后，于神经网络输出层输出m个节点。相应的，这m个节点可以按照预设规则映射为对应的配置调整动作，从而使得机器学习模型能够根据输入的运行状态，输出配置调整动作。

需要说明的是，由于该实施例中神经网络的结构属于通用的现有技术，故在此不再赘述。

下面对基于深度强化学习DQN的机器学习模型的训练过程进行详细描述。

在一实施例中，机器学习模型通过以下方法进行训练：

在每轮迭代训练过程中，每过预设时间周期，获取游戏终端在所述时间周期内的运行状态s；

将所述运行状态s输入所述机器学习模型，使得所述机器学习模型根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a；

基于所述配置调整动作a，对所述游戏终端的游戏配置进行调整；

获取调整了游戏配置的所述游戏终端在下一时间周期的运行状态s’；

基于所述运行状态s’，计算所述游戏终端在所述下一时间周期内的运行表现分数r；

基于所述运行表现分数r，对所述机器学习模型进行更新；

若所述运行状态s’达到预设条件，终止本轮迭代训练，直到迭代轮数达到预设轮数阈值。

该实施例中，对机器学习模型的训练的主要思路为：首先，预设配置调整动作集以供机器学习模型从中选择配置调整动作a。配置调整动作集中包括各个配置调整动作a——例如提升阴影效果、降低阴影效果、提升贴图精细度、降低贴图精细度。

其次，训练过程中，将一时间周期内游戏终端的运行状态s输入机器学习模型，使得机器学习模型根据运行状态s选择配置调整动作a，进而对游戏终端的游戏配置进行调整。从而游戏终端的运行状态将会发生改变，在下一时间周期由运行状态s变为运行状态s’。进而根据运行状态s’对游戏终端在下一时间周期的运行表现进行评分，得到游戏终端在下一时间周期内的运行表现分数r。基于运行表现分数r对机器学习模型进行更新。

更具体的，机器学习模型根据运行状态s选择配置调整动作a，指的是机器学习模型基于机器学习模型参数根据运行状态s选择配置调整动作a；基于运行表现分数r对机器学习模型进行更新，指的是基于运行表现分数r对机器学习模型的机器学习模型参数进行更新，得到新的机器学习模型参数。

机器学习模型的训练要进行T轮的迭代，T轮迭代结束后，机器学习模型的预训练结束。其中，T的选择，可以根据对机器学习模型的需求预先自行确定。每轮迭代的终止条件为：运行状态s’达到预设条件。例如：运行状态s’中的游戏终端的温度超过预设温度阈值、或者运行状态s’中的游戏终端的平均帧率低于预设帧率阈值。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

简要的，关于该实例中机器学习模型的训练的主要思路，可以参照图4所示的一实施例中机器学习模型在每一时间周期的训练流程图：机器学习模型获取游戏进程的运行状态(当前的配置、温度、在过去一段时间的平均帧率、CPU使用率、GPU使用率、游戏场景)，进而选择配置调整动作；根据配置调整动作，对游戏进程的游戏配置进行调整(提升/降低贴图精细度、提升/降低阴影效果、增加/减少技能特效)；根据配置变动后的各方面表现(温度、平均帧率、贴图精细度)综合计算运行表现分数，作为机器学习模型的奖励，进而对机器学习模型进行更新。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

在一实施例中，使得所述机器学习模型根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a，包括：使得所述机器学习模型基于预设贪婪算法，根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a。

该实施例中，机器学习模型在选择配置调整动作a时，是基于贪婪算法进行选择的。例如：以概率e(大于0，小于1)，在配置调整动作集中随机选择出一配置调整动作作为配置调整动作a；以概率(1-e)，将配置调整动作集中能够使得预期收益(即，游戏模型的预期运行表现)最大的配置调整动作作为配置调整动作a。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

在一实施例中，基于所述运行状态s’，计算所述游戏终端在所述下一时间周期内的运行表现分数r，包括：

基于预设评分规则，分别计算所述运行状态s’中的各属性对应的分数；

基于对各属性预先分配的权重，将各属性对应的分数的加权和确定为所述游戏终端在所述下一时间周期内的运行表现分数r。

该实施例中，针对各属性，预设相应的评分规则，得到各属性的分数。在计算运行表现分数r时，是对各属性的分数进行加权得到的。

在一实施例中，对于数值型的、且数值与正向影响成正比的属性(例如：平均帧率)，将其均匀映射到0～1的范围后的数值乘以100所得到的数值确定为其对应的分数；对于数值型的、且数值与正向影响成反比的属性(例如：温度)，将其均匀映射到0～1的范围后的数值与1的差值、乘以100所得到的数值确定为其对应的分数；对于类别型的属性，根据其所处类别的级别，预先分配对应级别的分数。

例如：若平均帧率被均匀映射后的数值为0.6，则其对应的分数为60；若温度被均匀映射后的数值为0.6，其与1的差值为0.4，则其对应的分数为40；对于三种类别的阴影效果——“低”、“中”、“高”，预先分配的对应分数分别为——30、60、100，若阴影效果为“中”，则其对应的分数为60。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

在一实施例中，预先对各属性分配相应的权重。对各属性的分数进行加权，得到运行表现分数r。

例如：为温度、CPU使用率分配的权重均为1；为平均帧率、阴影效果分配的权重均为2。温度对应的分数为60；CPU使用率对应的分数为70；平均帧率对应的分数为60；阴影效果对应的分数为100。则运行表现分数r为60+70+60×2+100×2＝450。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

在一实施例中，基于所述运行表现分数r，对所述机器学习模型进行更新，包括：

将<s,a,s’,r>作为一经验样本，加入所述机器学习模型的经验池中；

从所述经验池中随机选取预定数目个经验样本；

基于所述预定数目个经验样本，计算所述机器学习模型的损失函数；

基于所述损失函数，对所述机器学习模型进行更新。

经验样本是指一组能够反映出“执行动作-状态转移-反馈”的数据样本，以供机器学习模型能够从中“学习到经验”。具体到该实施例中，经验样本为<一时间周期游戏终端的运行状态，配置调整动作，下一时间周期游戏终端的运行状态，下一时间周期游戏终端的运行表现分数>，即<s,a,s’,r>。

该实施例中，机器学习模型的经验池中存储着从过去的训练过程中得到的每一个经验样本。通过前述说明可知，训练过程中，每过一周期便会产生一个经验样本。随着训练的进行，经验池中经验样本的积累将越来越丰富。对机器学习模型的更新，便是基于经验样本对机器学习模型进行更新。

具体的，从经验池中选取出预定数目个经验样本，计算机器学习模型的损失函数，进而基于损失函数，对机器学习模型进行更新。可以理解的，机器学习模型所做出的预测，与真实情况会存在一定差距。而损失函数便是用来衡量模型预测值与真实值的差距大小的。因此，通过计算损失函数，即可在其基础上对机器学习模型进行更新，使得更新后的机器学习模型能够更为精准地进行预测，使得预测值能够更为贴近真实值。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

通过以上有关机器学习模型的说明可见，除了基于DQN对机器学习模型进行训练，还可以基于double DQN对机器学习模型进行训练。只要是基于强化学习得到的机器学习模型，都可以在一定程度上实现基于DQN对机器学习模型进行训练所能达到的效果。关于此部分内容，均可在现有技术中得到解释，故在此不再赘述。

在一实施例中，在将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作之前，包括：获取对所述游戏终端的运行状态预设的偏好属性。

该实施例中，用户可以自行预先设置对游戏终端的运行状态的偏好属性。例如：偏好高帧率、偏好高贴图精细度。相应的，机器学习模型在输出配置调整动作时，将优先考虑用户预先设置的偏好属性，使得输出的配置调整动作，在能够满足用户的偏好属性的前提下，尽量提高游戏模型的整体运行效果。例如：用户预先设置偏好高帧率(不低于60帧)。则机器学习模型在输出配置调整动作时，将优先保证调整后的游戏配置能够使得游戏进程的平均帧率不低于60帧。在此基础上，再综合考虑如何调整游戏配置使得“温度尽量低”与“贴图精细度尽量高”间的平衡，从而使得游戏终端的整体运行效果最佳。

该实施例中，基于所述运行状态s’，计算所述游戏终端在所述下一时间周期内的运行表现分数r，包括：基于所述运行状态s’以及所述偏好属性，计算所述游戏终端在所述下一时间周期内的运行表现分数r。

该实施例中，实现“机器学习模型在输出配置调整动作时，将优先考虑用户预先设置的偏好属性”这一功能的基础在于：在对机器学习模型进行训练时，引入相应的偏好机制。具体的，在机器学习模型训练过程中的反馈环节，即，计算游戏终端在下一时间周期内的运行表现分数r的环节，引入相应的偏好机制。在计算游戏终端在下一时间周期内的运行表现分数r时，相应地提高偏好属性的权重，从而使得机器学习模型更“重视”偏好属性，进而使得训练完成后的机器学习模型在投入使用后优先考虑对应的偏好属性。

例如：在未引入偏好机制的情况下，在计算游戏终端在下一时间周期内的运行表现分数r时：为温度、CPU使用率分配的权重均为1；为平均帧率、阴影效果、贴图精细度分配的权重均为2。

若引入的偏好机制为“偏好低温度”，则在计算游戏终端在下一时间周期内的运行表现分数r时：为CPU使用率分配的权重为1；为平均帧率、阴影效果、贴图精细度分配的权重均为2；为温度分配的权重为5。

若引入的偏好机制为“偏好高帧率”，则在计算游戏终端在下一时间周期内的运行表现分数r时：为温度、CPU使用率分配的权重均为1；为阴影效果、贴图精细度分配的权重均为2；为平均帧率分配的权重为5。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

下面对本发明实施例的整体过程进行示例性描述，以示例性地完整展现本发明在实际应用中的表现。

在一实施例中，本发明所提供的方法集成为一软件程序组件，并被用户以补丁的形式安装在其手机的游戏A内。用户启动游戏A，在游戏A的启动界面，出现偏好属性选择界面。用户于偏好属性选择界面选择“偏好高帧率”后，进入游戏A游玩。在游玩过程中，游戏的平均帧率始终不低于60帧(符合高帧率的标准)：当游戏场景较为简单、贴图数较少时，自动提升游戏的贴图精细度、阴影效果；当游戏场景变得复杂、贴图数较多时，自动降低游戏的贴图精细度、阴影效果。同时，手机的温度尽管存在较大起伏，但并未存在过高的现象。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

在一实施例中，本发明所提供的方法集成为一软件程序，并被用户独立地安装在其手机内。用户启动该软件程序，于该软件程序的偏好属性选择界面选择“偏好高贴图精细度”后，通过该软件程序启动游戏A，并进入游戏A游玩。在游玩过程中，游戏的贴图精细度始终保持在“高”：当游戏场景较为简单、贴图数较少时，自动提升游戏的阴影效果；当游戏场景变得复杂、贴图数较多时，自动降低游戏的阴影效果。同时，手机的温度尽管存在较大起伏，但并未存在过高的现象；手机的帧率尽管存在掉帧以及一定起伏，但并未存在频繁掉帧以及平均帧率过低的现象。

该实施例中，用户于手机退出游戏A后，于该软件程序的偏好属性选择界面选择“偏好高帧率”，进而通过该软件程序启动游戏B，并进入游戏B游玩。在游玩过程中，游戏的平均帧率始终不低于60帧(符合高帧率的标准)：当游戏场景较为简单、贴图数较少时，自动提升游戏的贴图精细度、阴影效果；当游戏场景变得复杂、贴图数较多时，自动降低游戏的贴图精细度、阴影效果。同时，手机的温度尽管存在较大起伏，但并未存在过高的现象。

该实施例的优点在于，针对不同类型的游戏都能够合理地调整游戏配置。

需要说明的是，该实施例只是示例性的说明，不应对本发明的功能和使用范围造成限制。

根据本发明一实施例，如图5所示，还提供了一种自动调整游戏配置的装置，所述装置包括：

第一获取模块410，配置为每过预设时间周期，获取游戏终端在所述时间周期内的运行状态；

第二获取模块420，配置为将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态预估使得所述游戏终端的预期运行表现最佳的配置调整动作；

调整模块430，配置为基于所述配置调整动作，对所述游戏终端的游戏配置进行调整。

在本发明的一示例性实施例中，所述装置通过以下配置对所述机器学习模型进行训练：

第一运行状态获取模块，配置为在每轮迭代训练过程中，每过预设时间周期，获取游戏终端在所述时间周期内的运行状态s；

输入模块，配置为将所述运行状态s输入所述机器学习模型，使得所述机器学习模型根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a；

调整训练模块，配置为基于所述配置调整动作a，对所述游戏终端的游戏配置进行调整；

第二运行状态获取模块，配置为获取调整了游戏配置的所述游戏终端在下一时间周期的运行状态s’；

第一计算模块，配置为基于所述运行状态s’，计算所述游戏终端在所述下一时间周期内的运行表现分数r；

更新模块，配置为基于所述运行表现分数r，对所述机器学习模型进行更新；

终止判断模块，配置为若所述运行状态s’达到预设条件，终止本轮迭代训练，直到迭代轮数达到预设轮数阈值。

在本发明的一示例性实施例中，输入模块配置为：使得所述机器学习模型基于预设贪婪算法，根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a。

在本发明的一示例性实施例中，更新模块配置为：

将<s,a,s’,r>作为一经验样本，加入所述机器学习模型的经验池中；

从所述经验池中随机选取预定数目个经验样本；

基于所述预定数目个经验样本，计算所述机器学习模型的损失函数；

基于所述损失函数，对所述机器学习模型进行更新。

在本发明的一示例性实施例中，所述装置包括：映射模块，配置为将所述运行状态中每个属性按照预设映射规则，分别映射为对应的向量；所述第二获取模块配置为：将所述向量输入所述机器学习模型，获取所述机器学习模型输出的配置调整动作。

在本发明的一示例性实施例中，所述装置包括：偏好获取模块，配置为获取对所述游戏终端的运行状态预设的偏好属性；所述第一计算模块配置为：基于所述运行状态s’以及所述偏好属性，计算所述游戏终端在所述下一时间周期内的运行表现分数r。

在本发明的一示例性实施例中，所述游戏终端在所述时间周期内的运行状态包括但不限于以下属性：所述游戏终端的游戏配置、所述游戏终端的温度、所述游戏终端的CPU使用率、所述游戏终端的GPU使用率、所述游戏终端在所述时间周期内的平均帧率。

下面参考图6来描述根据本发明实施例的执行主体500。图6显示的执行主体500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，执行主体500以通用计算设备的形式表现。执行主体500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图2中所示的各个步骤。

存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。

存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

执行主体500也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该执行主体500交互的设备通信，和/或与使得该执行主体500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，执行主体500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与执行主体500的其它模块通信。应当明白，尽管图中未示出，可以结合执行主体500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAI D系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。

在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。

根据本发明的一个实施例，还提供了一种配置为实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RGM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写配置为执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如JGvG、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(KGN)或广域网(WGN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了配置为动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种自动调整游戏配置的方法，其特征在于，所述方法包括：

每过预设时间周期，获取游戏终端在所述时间周期内的运行状态；

将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态预估使得所述游戏终端的预期运行表现最佳的配置调整动作；

基于所述配置调整动作，对所述游戏终端的游戏配置进行调整。

2.根据权利要求1所述的方法，其特征在于，所述机器学习模型通过以下方法进行训练：

在每轮迭代训练过程中，每过预设时间周期，获取游戏终端在所述时间周期内的运行状态s；

将所述运行状态s输入所述机器学习模型，使得所述机器学习模型根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a；

基于所述配置调整动作a，对所述游戏终端的游戏配置进行调整；

获取调整了游戏配置的所述游戏终端在下一时间周期的运行状态s’；

基于所述运行状态s’，计算所述游戏终端在所述下一时间周期内的运行表现分数r；

基于所述运行表现分数r，对所述机器学习模型进行更新；

若所述运行状态s’达到预设条件，终止本轮迭代训练，直到迭代轮数达到预设轮数阈值。

3.根据权利要求2所述的方法，其特征在于，使得所述机器学习模型根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a，包括：使得所述机器学习模型基于预设贪婪算法，根据所述运行状态s从预设的配置调整动作集中选择配置调整动作a。

4.根据权利要求2所述的方法，其特征在于，基于所述运行表现分数r，对所述机器学习模型进行更新，包括：

将<s,a,s’,r>作为一经验样本，加入所述机器学习模型的经验池中；

从所述经验池中随机选取预定数目个经验样本；

基于所述预定数目个经验样本，计算所述机器学习模型的损失函数；

基于所述损失函数，对所述机器学习模型进行更新。

5.根据权利要求1所述的方法，其特征在于，在将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作之前，包括：将所述运行状态中每个属性按照预设映射规则，分别映射为对应的向量；

将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，包括：将所述向量输入所述机器学习模型，获取所述机器学习模型输出的配置调整动作。

6.根据权利要求1所述的方法，其特征在于，在将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作之前，包括：获取对所述游戏终端的运行状态预设的偏好属性；

基于所述运行状态s’，计算所述游戏终端在所述下一时间周期内的运行表现分数r，包括：基于所述运行状态s’以及所述偏好属性，计算所述游戏终端在所述下一时间周期内的运行表现分数r。

7.根据权利要求1所述的方法，其特征在于，所述游戏终端在所述时间周期内的运行状态包括但不限于：所述游戏终端的游戏配置、所述游戏终端的温度、所述游戏终端的CPU使用率、所述游戏终端的GPU使用率、所述游戏终端的贴图精细度、所述游戏终端在所述时间周期内的平均帧率。

8.一种自动调整游戏配置的装置，其特征在于，所述装置包括：

第一获取模块，配置为每过预设时间周期，获取游戏终端在所述时间周期内的运行状态；

第二获取模块，配置为将所述运行状态输入预训练的机器学习模型，获取所述机器学习模型输出的配置调整动作，其中，所述机器学习模型能够根据所述运行状态预估使得所述游戏终端的预期运行表现最佳的配置调整动作；

调整模块，配置为基于所述配置调整动作，对所述游戏终端的游戏配置进行调整。

9.一种自动调整游戏配置的电子设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1-7中的任一个所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-7中的任一个所述的方法。

Images