CN112827176B - 一种游戏关卡生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种游戏关卡生成方法、装置、电子设备及存储介质，其中，该方法包括：确定目标隐变量，以及待生成的目标关卡的关卡属性；将目标隐变量和关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；其中，关卡属性用于：控制关卡生成模型输出与关卡属性相匹配的输出结果；基于输出结果，生成目标关卡。该方式中的关卡属性用于控制关卡生成模型输出与关卡属性相匹配的输出结果，因而可以得到具有特定属性的游戏关卡，无需通过搜索的方式得到相应的关卡，提高了关卡生成效率，同时可以满足游戏的各类关卡的生成需求。

Description

一种游戏关卡生成方法、装置、电子设备及存储介质

技术领域

本发明涉及游戏技术领域，尤其是涉及一种游戏关卡生成方法、装置、电子设备及存储介质。

背景技术

一些游戏中设置有大量的游戏关卡，每个游戏关卡的内容不同，而且游戏关卡还具有特定的关卡类型、排布等属性。游戏关卡通常由游戏策划人员手动设计并测试，然后再基于测试结果调整游戏关卡，因而一个游戏关卡的生成需要花费大量的时间。为了自动生成游戏关卡，相关技术中，可以从隐变量空间中搜索得到隐变量，然后将该隐变量输入至训练完成的GAN网络中，输出游戏关卡。由于隐变量属于噪声数据，因而可以控制GAN网络输出各种内容的游戏关卡，但基于噪声数据难以控制GAN网络生成具有特定属性的游戏关卡，难以满足游戏的关卡生成需求。

发明内容

有鉴于此，本发明的目的在于提供一种游戏关卡生成方法、装置、电子设备及存储介质，以得到具有特定属性的游戏关卡，满足游戏的各类关卡的生成需求。

第一方面，本发明实施例提供了一种游戏关卡生成方法，方法包括：确定目标隐变量，以及待生成的目标关卡的关卡属性；将所述目标隐变量和所述关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；其中，所述关卡属性用于：控制所述关卡生成模型输出与所述关卡属性相匹配的输出结果；基于所述输出结果，生成所述目标关卡。

上述目标隐变量包括：随机生成的噪声数据。每个目标隐变量用于控制关卡生成模型输出一个输出结果；当需要输出多个输出结果时，目标隐变量用于控制多个输出结果中，至少两个输出结果不同。

上述关卡属性包括：关卡类型，和/或目标关卡中可操作对象的排布方式。

上述如果关卡属性包括目标关卡中可操作对象的排布方式，排布方式具体包括：可操作对象仅呈竖直对称排布；可操作对象仅呈水平对称排布；可操作对象既呈竖直对称又呈水平对称排布；可操作对象的排布不具有对称性。

上述关卡生成模型通过下述方式训练得到：确定训练隐变量、样本关卡以及样本关卡的关卡属性；将训练隐变量和样本关卡的关卡属性，输入至预设的生成器中，得到训练输出结果；将训练输出结果和样本关卡输入至预设的判别器中，通过判别器基于样本关卡确定训练输出结果的真假，以及训练输出结果对应的关卡是否符合样本关卡的关卡属性，得到判别结果；基于判别结果更新生成器和判别器的参数，直至生成器和判别器收敛，将更新后的生成器确定为关卡生成模型。

上述确定训练隐变量、样本关卡以及样本关卡的关卡属性的步骤之前，方法还包括：从样本关卡集合中随机抽取得到样本关卡；将训练隐变量和样本关卡的关卡属性，输入至预设的生成器中，得到训练输出结果的步骤之后，方法还包括：判断训练输出结果对应的关卡是否符合预设的游戏规则，如果符合，将训练输出结果对应的关卡保存至样本关卡集合中。

上述基于输出结果，生成目标关卡的步骤，包括：基于输出结果，得到目标关卡的关卡地图；基于关卡地图，生成目标关卡。

上述输出结果包括输出矩阵；输出矩阵中的每个位置点中包括：指示位置点上的可操作对象的对象类型的数据。

上述基于输出结果，得到目标关卡的关卡地图的步骤，包括：针对每个位置点上的数据执行argmax操作，得到输出矩阵对应的中间矩阵；中间矩阵中的每个位置上包括：位置点上设置的可操作对象的对象类型；将中间矩阵裁剪至预设尺度，得到目标关卡的关卡地图。

上述输出结果包括输出矩阵；输出矩阵中的每个位置点中包括：指示位置点上的可操作对象的对象类型的一维矩阵；上述基于输出结果，生成目标关卡的步骤，包括：针对每个位置点上的矩阵执行argmax操作，得到输出矩阵对应的中间矩阵；中间矩阵中的每个位置上包括：位置点上设置的可操作对象的对象类型；将中间矩阵裁剪至预设尺度，得到目标关卡的关卡地图；基于关卡地图，生成目标关卡。

上述基于关卡地图，生成目标关卡的步骤，包括：确定关卡地图是否符合预设的游戏规则；如果符合游戏规则，根据关卡属性和目标关卡的最大可操作步骤量，生成目标关卡的关卡目标；其中，关卡目标包括：通关所需的得分，或者通关所需的收集物数量；将关卡地图和关卡目标确定为目标关卡。

上述基于输出结果，生成目标关卡的步骤之后，方法还包括：通过预先训练完成的评估模型对目标关卡执行指定次数的通关操作，得到针对目标关卡的通关结果；其中，通关结果包括：通关成功率和/或通关得分的分布信息；基于通关结果确定目标关卡的通关难度。

上述通关操作包括：获取目标关卡的当前状态；其中，当前状态包括当前关卡地图、剩余可操作步骤量、关卡目标的完成程度以及当前可执行动作；将当前状态输入至评估模型中，以通过评估模型从当前可执行动作中确定待执行的目标动作；通过预设的奖赏函数更新执行目标动作后目标关卡的当前状态；继续执行获取目标关卡的当前状态的步骤，直至目标关卡通关成功或者剩余可操作步骤量为零。

第二方面，本发明实施例提供了一种游戏关卡生成装置，装置包括：数据确定模块，用于确定目标隐变量，以及待生成的目标关卡的关卡属性；结果输出模块，用于将所述目标隐变量和所述关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；其中，所述关卡属性用于：控制所述关卡生成模型输出与所述关卡属性相匹配的输出结果；关卡生成模块，用于基于所述输出结果，生成所述目标关卡。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述游戏关卡生成方法。

第四方面，本发明实施例提供了一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述游戏关卡生成方法。

本发明实施例带来了以下有益效果：

上述游戏关卡生成方法、装置、电子设备及存储介质，将目标隐变量和待生成的目标关卡的关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；然后基于该输出结果，生成目标关卡。该方式中的关卡属性用于控制关卡生成模型输出与关卡属性相匹配的输出结果，因而可以得到具有特定属性的游戏关卡，无需通过搜索的方式得到相应的关卡，提高了关卡生成效率，同时可以满足游戏的各类关卡的生成需求。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种生成游戏关卡的方式的示意图；

图2为本发明实施例提供的一种游戏关卡生成方法的流程图；

图3为本发明实施例提供的一种可操作对象的排布方式的示意图；

图4为本发明实施例提供的一种GAN网络的示意图；

图5为本发明实施例提供的一种关卡生成模型的训练方式示意图；

图6为本发明实施例提供的一种评估模型执行一次通关操作的流程图；

图7为本发明实施例提供的一种通过深度强化学习的方式评估游戏关卡的难度的示意图；

图8为本发明实施例提供的一种游戏关卡生成装置的结构示意图；

图9为本发明实施例提供的一种电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，图1示出了相关技术中的一种生成游戏关卡的方式。在初始状态下，可以从隐变量空间中搜索得到一隐变量(Latent vactor)，将该隐变量输入至预先训练好的生成器(Traned Generator)中，输出生成的游戏关卡(Generate levels)，模拟操作该游戏关卡(simulations of game)并评估该游戏关卡的难度(Evaluation)；为了生成难度不断增加的游戏关卡，使用CMA-ES(Covariance Matrix Adaptation EvolutionaryStrategies，协方差矩阵自适应进化策略)等进化算法，在隐变量空间中搜索得到合适的隐变量，即LVE(Latent Variable Evolve，隐变量进化)方法；从而生成难度不断增加的游戏关卡，其中，游戏关卡难度通常根据关卡在测试过程中需要操作或跳跃的次数评估。

上述方式中，隐变量属于噪声数据，隐变量输入至生成器后，不能确定输出的游戏关卡具有特定的属性，难以满足游戏的关卡生成需求。基于上述问题，本发明实施例提供一种游戏关卡生成方法、装置、电子设备及存储介质，可以用于自动化地生成各类游戏的游戏关卡，例如，可以应用于三消类游戏等消除类游戏，或其他包含大量游戏关卡的游戏中。

首先，参见图2所示的一种游戏关卡生成方法的流程图，该方法包括如下步骤：

步骤S202，确定目标隐变量，以及待生成的目标关卡的关卡属性；

该目标隐变量可以从隐变量空间中获得，也可以通过算法生成。本实施例中，除了向关卡生成模型输入该目标隐变量之外，还输入关卡属性，因而无需从隐变量空间中搜索合适的隐变量，基于此，本实施例可以随机生成隐变量，将生成的隐变量确定为目标隐变量。这种随机生成隐变量的方式可以大幅减少生成游戏关卡的耗时。

一种具体的实现方式中，上述目标隐变量包括随机生成的噪声数据，该目标隐变量也可以称为隐变量噪声；每个目标隐变量用于控制关卡生成模型输出一个输出结果；当需要输出多个输出结果时，目标隐变量用于控制多个输出结果中，至少两个输出结果不同。

由于目标隐变量具有随机性，该目标隐变量可以用于控制关卡生成模型输出不断变化的输出结果，从而使最终生成的目标关卡也在不断变化，避免生成的多个目标关卡之间出现较多的雷同。同样是因为目标因变量为随机生成的噪声数据，该目标隐变量难以控制关卡生成模型输出属于符合特定条件的输出结果，从而生成符合特定条件的目标关卡，但在消除类游戏或其他特定游戏中，往往需要生成的目标关卡满足特定条件，例如，该特定条件可以为特定的关卡类型，关卡中各个对象的排布方式为特定方式等；为了能够生成满足特定条件的目标关卡，本实施例中将目标隐变量和待生成的目标关卡的关卡属性共同输入至关卡生成模型中。在生成该目标关卡之前，目标关卡的关卡属性可以由游戏策划人员预先指定，具体的，关卡属性可以包括关卡类型，和/或目标关卡中可操作对象的排布方式。通过将目标隐变量和关卡属性输入至关卡生成模型，可以使输出的输出结果受到目标隐变量的控制不断变化，同时使输出的输出结果与关卡属性相匹配。例如，当多次执行上述步骤S202-S206，且每次的关卡属性都相同时，可以得到在同一关卡属性下，多个不同的输出结果，从而得到同一关卡属性下，多个不同的目标关卡。

消除类游戏中，玩家游戏过程中主要是将一定量相同的游戏元素，如水果、宝石、动物头像、积木麻将牌等，使它们彼此相邻配对消除来获胜。通常是将三个同样的元素配对消除，所以此类又称为“三消游戏”。

消除类游戏的界面主要是一推看起来混乱排列的游戏元素，这起源于20世纪80年代后期的一些游戏如俄罗斯方块，消除类游戏在2000年开始随着益智类游戏在互联网的传播流行起来，尤其是宝石迷阵系列游戏。

可选的，关卡属性可以同时包括关卡类型和目标关卡中可操作对象的排布方式，也可以仅包括关卡类型或目标关卡中可操作对象的排布方式中的一种。其中的关卡类型可以基于游戏的实际需求进行划分，例如按照不同的游戏目标划分。以一个特定的消除类游戏为例，关卡类型可以分为分数关卡、礼盒关卡和小鸟关卡；其中，在分数关卡中，玩家通过消除操作达到一定的分数标准，即可认为该玩家通过该关卡；在礼盒关卡中，关卡中排布有多个礼盒，玩家通过消除操作收集礼盒，当收集礼盒数量满足预设的数量要求时，即可认为该玩家通过该关卡；在小鸟关卡中，关卡中排布有多个小鸟，玩家通过消除操作移动小鸟的位置，当小鸟移动到地图底部时收集该小鸟，当收集小鸟数量满足预设的数量要求时，即可认为该玩家通过该关卡。

目标关卡中可操作对象的排布方式中，可操作对象可以理解为玩家可以执行移动操作或其他操作的对象；在消除类游戏中，可操作对象具体为消除块。在目标关卡的关卡地图中，通常排布有多个可操作性对象，并且可操作对象的对象类型也包括多种，不同对象类型的可操作对象的位置发生变化时，可操作对象的排布方式也发生变化。可操作对象的排布方式可以理解为多种可操作对象之间的位置分布规律。

以对称性为例，目标关卡中可操作对象的排布方式可以包括下述四种：可操作对象仅呈竖直对称排布；可操作对象仅呈水平对称排布；可操作对象既呈竖直对称又呈水平对称排布；可操作对象的排布不具有对称性。图3以消除类游戏作为示例，可操作对象为消除块，一种形状的消除块对应一种可操作对象；图3左侧图的关卡中，可操作对象呈竖直对称排布，虚线为对称中心线；图3中间图的关卡中，可操作对象呈水平对称排布，虚线为对称中心线；图3右侧图的关卡中，可操作对象呈竖直对称又呈水平对称排布，虚线为对称中心线。

步骤S204，将目标隐变量和关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；其中，关卡属性用于：控制关卡生成模型输出与关卡属性相匹配的输出结果；

关卡生成模型在训练过程中，需要向关卡生成模型中输入样本关卡属性，从而使关卡生成模型学习该样本关卡属性，并输出与样本关卡属性相匹配的输出结果。在大多情况下，当关卡生成模型训练完成后，输入目标隐变量和关卡属性后，关卡生成模型即可输出具有该关卡属性的输出结果，这是由于关卡生成模型在训练过程中，已经学习了关卡属性与输出结果之间的因果关系，当关卡属性输入至关卡生成模型后，该关卡属性可以控制关卡生成模型输出与关卡属性相匹配的输出结果。需要说明的是，通过输入关卡属性，可以提高关卡生成模型输出与关卡属性匹配的输出结果的概率，但由于关卡生成模型的训练结果的准确率可能达不到100％正确，因而在较小的概率下，依然存在将关卡属性输入至关卡生成模型，其输出结果与关卡属性不匹配的情况，即此时关卡属性控制关卡生成模型输出与关卡属性相匹配的输出结果时，控制失败。

步骤S206，基于输出结果，生成目标关卡。

在大多情况下，输出结果的格式受到关卡生成模型内部结构的限制，往往不能直接输出目标关卡。因而在该步骤中，可能需要对输出结果进行降维、调整尺度、argmax等计算操作，从而得到最终的目标关卡。此外，还需要对目标关卡配置关卡目标、操作步数限制等，得到完整的目标关卡。

上述游戏关卡生成方法，将目标隐变量和待生成的目标关卡的关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；然后基于该输出结果，生成目标关卡。该方式中的关卡属性用于控制关卡生成模型输出与关卡属性相匹配的输出结果，因而可以得到具有特定属性的游戏关卡，无需通过搜索的方式得到相应的关卡，提高了关卡生成效率，同时可以满足游戏的各类关卡的生成需求。

下述实施例具体描述关卡生成模型的训练方式，共包括步骤30-步骤36：

步骤30，确定训练隐变量、样本关卡以及该样本关卡的关卡属性；

训练隐变量可以从隐变量空间中获得，也可以通过算法生成。该训练隐变量可以随机生成，无需搜索合适的训练隐变量。样本关卡是真实的游戏关卡，可以预先收集多个真实的游戏关卡，组成样本关卡集合，每次训练时，从该样本关卡集合中随机抽取得到样本关卡。每个样本关卡携带有标签，该标签中包含该样本关卡的属性。可以预先设置多种关卡属性，每种关卡属性具有多种属性值。仅作为示例，关卡属性可以包括前述关卡类型和可操作性对象的排布方式，对于关卡类型，可以设置三种不同的类型；对于可操作对象的排布方式，可以设置三种不同的排布方式。

步骤32，将训练隐变量和样本关卡的关卡属性，输入至预设的生成器中，得到训练输出结果；

关卡属性可以编码为矩阵或向量的形式，以便于输入至生成器中。关卡生成模型的训练可以通过GAN(Generative Adversarial Networks，生成对抗网络)网络实现，图4作为一个GAN网络的示例，图4中所示为CGAN(Conditional Generative AdversarialNetworks，条件生成对抗网络)网络。该网络包括生成器和判别器。上述训练隐变量可以为32维的向量，关卡属性可以为3维的第一向量和2维的第二向量，第一向量用于表示关卡类型，第二向量用于表示可操作对象的排布方式。训练隐变量对应的向量和关卡属性对应的向量经拼接后得到拼接向量，该拼接向量输入至生成器中，该生成器中包括多层级的计算层，拼接向量经多层级的计算层计算的过程中，数据的维度在不断变化，最终由生成器输出训练输出结果。

样本关卡中的关卡地图往往具有相对固定的大小，且关卡地图中的每个位置点的可操作对象的对象类型也有多种，作为示例，设置关卡地图的大小为9*9共81个位置点，且每个位置点上的对象类型为15种对象类型种的一种，此时，该样本关卡可以采用9*9*15的稀疏矩阵表示，每个位置点对应一个15维度的向量，即每个位置点对应一个one-hot形式的编码。另外，由于GAN网络的输入输出数据一般为16的整数倍，所以，需要对样本关卡对应的系数矩阵进行补零处理，例如，可以扩展成16*16*15的稀疏矩阵。样本关卡的关卡属性，也可以编码为多为的向量。

步骤34，将训练输出结果和样本关卡输入至预设的判别器中，通过判别器基于样本关卡确定训练输出结果的真假，以及训练输出结果对应的关卡是否符合上述样本关卡的关卡属性，得到判别结果；

判别器基于样本关卡，判断训练输出结果对应的关卡是真实的游戏关卡，还是假的游戏关卡，同时判别器还识别出训练输出结果对应的关卡的关卡属性，并判断是否符合上述训练关卡所需的关卡属性。

继续参考图4，判别器中也包括多层级的计算层，对训练输出结果和样本经多层级的计算后，可以首先输出训练输出结果的真假、训练输出结果对应的关卡的可操作对象的排布方式(图4中以对称性作为示例)、以及训练输出结果对应的关卡的关卡类型，然后再判断练输出结果对应的关卡是否符合上述训练关卡所需的关卡属性。

步骤36，基于判别结果更新生成器和判别器的参数，直至生成器和判别器收敛，将更新后的生成器确定为关卡生成模型。

为了进一步理解本实施例中关卡生成模型的训练方式，首先参见图5所示的相关技术中关卡生成模型的训练方式示意图，隐变量(Gaussion noise)输入至生成器(Generator)，输出生成的关卡(Generated samples)，真实的关卡(Real samples)和生成的关卡共同输入至判别器(Discriminator)中，由判别器输出生成的关卡的真假，然后再基于判别结果训练生成器和判别器的参数。

对比图4，本实施例的关卡生成模型的训练方式中，生成器的输入不仅包括隐变量，还包括待生成关卡的关卡属性；并且判别器的输出不仅包括生成的关卡的真假，还包括生成的关卡是否与待生成关卡的关卡属性相匹配的判别结果，因而，本实施例中训练得到的关卡生成模型具有基于输入的关卡属性生成相匹配的关卡的功能，使得生成的游戏关卡与实际的游戏设计需求相匹配。

另外，每训练一次关卡生成模型，需要从样本关卡集合中抽取一个样本关卡，由于真实的游戏关卡收集起来较为困难，因而样本关卡集合中的样本关卡数量有限，基于有限的样本关卡训练关卡生成模型，容易造成模型的过拟合。为了避免该问题，在每次训练关卡生成模型时，判断生成器的训练输出结果对应的关卡是否符合预设的游戏规则，如果符合，将训练输出结果对应的关卡保存至样本关卡集合中。上述游戏规则可以根据具体的游戏设置，例如，对于三消类游戏，训练输出结果对应的关卡中不能存在三个相邻的相同消除块，会导致消除块自动消除，当然，还可以设置其他游戏规则。上述方式也可以成为Bootstrap方法，对于合法的关卡，作为新的训练数据加入到关卡集合中。通过该方式可以丰富样本关卡集合中样本关卡的数量，避免关卡生成模型过拟合，提高关卡生成模型的性能。

下述实施例继续说明基于关卡生成模型的输出结果生成目标关卡的具体实现方式。关卡生成模型的输出结果通常为矩阵的形式，此时，该输出结果包括输出矩阵，该输出矩阵包括多个位置点，每个位置点中包括：指示位置点上的可操作对象的对象类型的数据，该数据也可以为矩阵的形式，例如一维矩阵。仅作为示例，假如关卡生成模型的输入矩阵为16*16*15的尺度，则该关卡生成模型的输出矩阵通常也是16*16*15的尺度，该输出矩阵共包括16*16共256个位置点，每个位置点上的一维矩阵的长度为15。说明可操作对象的对象类型一共为15个，该一维矩阵中每个数值指示了该位置点上的可操作对象为每个对象类型的概率。

首先，基于关卡输出模型的输出结果，得到目标关卡的关卡地图。关卡地图是目标关卡的重要内容。具体的，可以针对每个位置点上的数据执行argmax操作，得到输出矩阵对应的中间矩阵；中间矩阵中的每个位置上包括：位置点上设置的可操作对象的对象类型；通过执行argmax操作，可以将上述一维矩阵中最大概率值对应的对象类型，确定为该位置点上的可操作对象的对象类型。因而上述中间矩阵中的每个位置点对应了具体的对象类型，因而该中间矩阵的宽度和高度与输出矩阵均相同，但每个位置点上的通道数，由输出矩阵的多通道转换成了单通道。

考虑到上述输出矩阵的尺度与游戏关卡所需要的尺度不同，通过输出矩阵得到中间矩阵后，还需要对中间矩阵进行裁剪处理，将中间矩阵裁剪至预设尺度后，即可得到目标关卡的关卡地图；基于该关卡地图，就可以生成目标关卡。例如，假如中间矩阵的尺度为16*16*1，而目标关卡所需的预设尺度为9*9*1，此时，就需要将中间矩阵尺度裁剪为9*9*1。

关卡地图是游戏关卡的重要组成部分，但为了得到完整的游戏关卡，需要基于关卡地图生成目标关卡。具体的，确定关卡地图是否符合预设的游戏规则；如果符合游戏规则，根据关卡属性和目标关卡的最大可操作步骤量，生成目标关卡的关卡目标；其中，该关卡目标包括：通关所需的得分，或者通关所需的收集物数量；将关卡地图和关卡目标确定为目标关卡。

上述游戏规则可以根据具体的游戏设置，例如，对于三消类游戏，训练输出结果对应的关卡中不能存在三个相邻的相同消除块，会导致消除块自动消除，当然，还可以设置其他游戏规则。如果关卡地图符合游戏规则，说明该关卡地图为合法有效的地图。目标关卡的最大可操作步骤量，可以人工设置也可以随机生成。上述关卡目标具体可以根据关卡属性中的关卡类型确定，例如，对于消除类游戏，当关卡类型为分数关卡时，该关卡目标为通关所需的得分，当玩家通过消除操作达到该得分时，即可认为该玩家通过该关卡；当关卡类型为礼盒关卡时，该关卡目标为通关所需的收集物数量，玩家通过消除操作收集礼盒，当收集礼盒数量满足要求时，即可认为该玩家通过该关卡。

在大多数的游戏中，游戏关卡通常需要由易到难进行排列，既玩家先通关简单的游戏关卡，然后逐步升级，再通关困难的游戏关卡。基于此，生成游戏关卡后，需要对生成的关卡进行难度评估，以便于合理的排列关卡之间的通关顺序。

具体的，在生成目标关卡之后，通过预先训练完成的评估模型对目标关卡执行指定次数的通关操作，得到针对目标关卡的通关结果；其中，通关结果包括：通关成功率和/或通关得分的分布信息；基于该通关结果确定目标关卡的通关难度。

上述评估模型可以理解为一个虚拟玩家，指定次数可以预先设置，例如1000次，通常，指定次数越高，其通关结果越可以准确地反映关卡的难度，因而得到的目标关卡的通关难度也就越准确。一次通关操作可以理解为从开始操作该目标关卡直至通关成功或失败之间所有的操作。经反复试验，通过上述评估模型反复操作目标关卡得到的通关结果，与真实玩家操作目标关卡的到的通关结果非常接近。

上述通关结果可以通关包括通关成功率和通关得分的分布信息，也可以仅包括通关成功率或通关得分的分布信息中的一种。通关成功率可以为通关成功的次数与上述指定次数的比值。通关得分的分布信息中可以包括每个得分对应的通关操作的次数，或每个分数段对应的通关操作的次数。

参见图6，上述评估模型执行一次通关操作的步骤，具体可以包括下述步骤；

步骤S602，获取目标关卡的当前状态；其中，该当前状态包括当前关卡地图、剩余可操作步骤量、关卡目标的完成程度以及当前可执行动作；

在初始状态下，玩家没有针对目标关卡进行操作，当前关卡地图中可操作对象的排布，就是关卡生成模型输出的目标关卡中的可操作对象的排布；剩余可操作步骤量，既目标关卡配置的最大可操作步骤量；关卡目标的完成程度既关卡目标本身；当前可执行动作包括当前玩家可以操作的可操作对象，以及该可操作对象的操作方式；以消除类游戏为例，当前可执行动作包括当前玩家可以移动的消除块，以及该消除块移动后到达的目标位置。

步骤S604，将当前状态输入至评估模型中，以通过评估模型从当前可执行动作中确定待执行的目标动作；

该评估模型需要预先训练。以消除类游戏为例，相关技术中可以使用搜索方法(如A*算法)或深度强化学习的方式评估游戏关卡的难度，参见图7所示的深度强化学习的方式评估游戏关卡的难度的示意图，首先将关卡表示成4个9x9大小的矩阵，即强化学习的状态输入，分别表示关卡中各个位置的消除块、消除块是否可移动、是否有阻挡、消除块颜色。强化学习的动作定义为从5个不同策略中选择一个，作为这一步的执行策略。当关卡任务成功完成时，奖赏函数(Reward)被设为1；当失败时则设为-1，该方式使用A2C(AdvantageActor-Critic，优化的策略函数-评价函数)作为强化学习算法，进行策略的训练。但是强化学习方式的泛化性较差，当环境(一个关卡可以理解为一个环境)发生改变时，原本学习到的策略效果可能就会变得较差，而每次从头训练一个强化学习模型是非常耗费时间的，所以强化学习并不适合关卡生成的场景，因为生成器会不断生成全新的关卡。

本实施例中，可以采用元强化学习(meta-reinforcement learning)模型作为评估模型的初始模型进行训练，该初始模型可以采用MAML(Model Agnostic Meta-Learning，模型无关的元学习)方式训练，该初始模型可以是任意适用于离散动作空间的算法。通过元强化学习模型训练得到评估模型，相比于深度强化学习模型，泛化性更强，更加适合关卡生成的场景。

步骤S606，通过预设的奖赏函数更新执行目标动作后目标关卡的当前状态；继续执行获取目标关卡的当前状态的步骤，直至目标关卡通关成功或者剩余可操作步骤量为零。

这里的奖赏函数主要用于评估执行上述目标动作后带来的效果，返回时是一个实数值。

通过上述方式不断重复游戏的关卡生成和关卡评估步骤，可以自动地生成大量不同难度的游戏关卡，从而能够辅助游戏策划进行关卡设计，节省游戏策划设计关卡的时间，同时大量不同的关卡能够提高玩法的丰富度和玩家的体验。

对应于上述方法实施例，参见图8所示的一种游戏关卡生成装置的结构示意图，该装置包括：

数据确定模块80，用于确定目标隐变量，以及待生成的目标关卡的关卡属性；

结果输出模块82，用于将目标隐变量和关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；其中，关卡属性用于：控制关卡生成模型输出与关卡属性相匹配的输出结果；

关卡生成模块84，用于基于输出结果，生成目标关卡。

上述游戏关卡生成装置，将目标隐变量和待生成的目标关卡的关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；然后基于该输出结果，生成目标关卡。该方式中的关卡属性用于控制关卡生成模型输出与关卡属性相匹配的输出结果，因而可以得到具有特定属性的游戏关卡，无需通过搜索的方式得到相应的关卡，提高了关卡生成效率，同时可以满足游戏的各类关卡的生成需求。

上述目标隐变量包括：随机生成的噪声数据；每个目标隐变量用于控制关卡生成模型输出一个输出结果；当需要输出多个输出结果时，目标隐变量用于控制多个输出结果中，至少两个输出结果不同。

上述关卡属性包括：关卡类型，和/或目标关卡中可操作对象的排布方式。

如果关卡属性包括目标关卡中可操作对象的排布方式，排布方式具体包括：可操作对象仅呈竖直对称排布；可操作对象仅呈水平对称排布；可操作对象既呈竖直对称又呈水平对称排布；可操作对象的排布不具有对称性。

上述装置还包括模型训练模块，用于通过下述方式训练关卡生成模型：确定训练隐变量、样本关卡以及样本关卡的关卡属性；将训练隐变量和样本关卡的关卡属性，输入至预设的生成器中，得到训练输出结果；将训练输出结果和样本关卡输入至预设的判别器中，通过判别器基于样本关卡确定训练输出结果的真假，以及训练输出结果对应的关卡是否符合样本关卡的关卡属性，得到判别结果；基于判别结果更新生成器和判别器的参数，直至生成器和判别器收敛，将更新后的生成器确定为关卡生成模型。

上述装置还包括关卡抽取模块，用于从样本关卡集合中随机抽取得到样本关卡；上述装置还包括关卡保存模块，用于判断训练输出结果对应的关卡是否符合预设的游戏规则，如果符合，将训练输出结果对应的关卡保存至样本关卡集合中。

上述关卡生成模块，还用于：基于输出结果，得到目标关卡的关卡地图；基于关卡地图，生成目标关卡。

上述输出结果包括输出矩阵；输出矩阵中的每个位置点中包括：指示位置点上的可操作对象的对象类型的一维数据。

上述关卡生成模块还用于：针对每个位置点上的数据执行argmax操作，得到输出矩阵对应的中间矩阵；中间矩阵中的每个位置上包括：位置点上设置的可操作对象的对象类型；将中间矩阵裁剪至预设尺度，得到目标关卡的关卡地图；基于关卡地图，生成目标关卡。

上述关卡生成模块还用于：确定关卡地图是否符合预设的游戏规则；如果符合游戏规则，根据关卡属性和目标关卡的最大可操作步骤量，生成目标关卡的关卡目标；其中，关卡目标包括：通关所需的得分，或者通关所需的收集物数量；将关卡地图和关卡目标确定为目标关卡。

上述装置还包括：难度确定模块，用于通过预先训练完成的评估模型对目标关卡执行指定次数的通关操作，得到针对目标关卡的通关结果；其中，通关结果包括：通关成功率和/或通关得分的分布信息；基于通关结果确定目标关卡的通关难度。

上述通关操作包括：获取目标关卡的当前状态；其中，当前状态包括当前关卡地图、剩余可操作步骤量、关卡目标的完成程度以及当前可执行动作；将当前状态输入至评估模型中，以通过评估模型从当前可执行动作中确定待执行的目标动作；通过预设的奖赏函数更新执行目标动作后目标关卡的当前状态；继续执行获取目标关卡的当前状态的步骤，直至目标关卡通关成功或者剩余可操作步骤量为零。

上述数据确定模块还用于：随机生成隐变量，将生成的隐变量确定为目标隐变量。

本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述游戏关卡生成方法。该电子设备可以服务器，也可以是终端设备。

参见图9所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的机器可执行指令，该处理器100执行机器可执行指令以实现上述游戏关卡生成方法。

进一步地，图9所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。

其中，存储器101可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。

本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述游戏关卡生成方法。

本发明实施例所提供的游戏关卡生成方法、装置、电子设备及存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种消除类游戏关卡生成方法，其特征在于，所述方法包括：

确定目标隐变量，以及待生成的目标关卡的关卡属性；

将所述目标隐变量和所述关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；其中，所述关卡属性用于：控制所述关卡生成模型输出与所述关卡属性相匹配的输出结果；所述关卡属性包括：所述目标关卡中可操作对象的排布方式；所述排布方式具体包括：所述可操作对象仅呈竖直对称排布；所述可操作对象仅呈水平对称排布；所述可操作对象既呈竖直对称又呈水平对称排布；所述可操作对象的排布不具有对称性；

基于所述输出结果，生成所述目标关卡；

所述关卡生成模型通过下述方式训练得到：

确定训练隐变量、样本关卡以及所述样本关卡的关卡属性；

将所述训练隐变量和所述样本关卡的关卡属性，输入至预设的生成器中，得到训练输出结果；

将所述训练输出结果和所述样本关卡输入至预设的判别器中，通过所述判别器基于所述样本关卡确定所述训练输出结果的真假，以及所述训练输出结果对应的关卡是否符合所述样本关卡的关卡属性，得到判别结果；

基于所述判别结果更新所述生成器和所述判别器的参数，直至所述生成器和所述判别器收敛，将更新后的所述生成器确定为所述关卡生成模型。

2.根据权利要求1所述的方法，其特征在于，所述目标隐变量包括：随机生成的噪声数据；

每个目标隐变量用于控制所述关卡生成模型输出一个所述输出结果；当需要输出多个所述输出结果时，所述目标隐变量用于控制多个所述输出结果中，至少两个所述输出结果不同。

3.根据权利要求1所述的方法，其特征在于，所述关卡属性包括：关卡类型。

4.根据权利要求1所述的方法，其特征在于，确定训练隐变量、样本关卡以及所述样本关卡的关卡属性的步骤之前，所述方法还包括：从样本关卡集合中随机抽取得到样本关卡；

所述将所述训练隐变量和所述样本关卡的关卡属性，输入至预设的生成器中，得到训练输出结果的步骤之后，所述方法还包括：判断所述训练输出结果对应的关卡是否符合预设的游戏规则，如果符合，将所述训练输出结果对应的关卡保存至所述样本关卡集合中。

5.根据权利要求1所述的方法，其特征在于，基于所述输出结果，生成所述目标关卡的步骤，包括：

基于所述输出结果，得到所述目标关卡的关卡地图；

基于所述关卡地图，生成所述目标关卡。

6.根据权利要求5所述的方法，其特征在于，所述输出结果包括输出矩阵；所述输出矩阵中的每个位置点中包括：指示所述位置点上的可操作对象的对象类型的数据。

7.根据权利要求6所述的方法，其特征在于，基于所述输出结果，得到所述目标关卡的关卡地图的步骤，包括：

针对每个所述位置点上的数据执行argmax操作，得到所述输出矩阵对应的中间矩阵；所述中间矩阵中的每个所述位置上包括：所述位置点上设置的可操作对象的对象类型；

将所述中间矩阵裁剪至预设尺度，得到所述目标关卡的关卡地图。

8.根据权利要求5所述的方法，其特征在于，基于所述关卡地图，生成所述目标关卡的步骤，包括：

确定所述关卡地图是否符合预设的游戏规则；

如果符合所述游戏规则，根据所述关卡属性和所述目标关卡的最大可操作步骤量，生成所述目标关卡的关卡目标；其中，所述关卡目标包括：通关所需的得分，或者通关所需的收集物数量；

将所述关卡地图和所述关卡目标确定为所述目标关卡。

9.根据权利要求1所述的方法，其特征在于，基于所述输出结果，生成所述目标关卡的步骤之后，所述方法还包括：

通过预先训练完成的评估模型对所述目标关卡执行指定次数的通关操作，得到针对所述目标关卡的通关结果；其中，所述通关结果包括：通关成功率和/或通关得分的分布信息；

基于所述通关结果确定所述目标关卡的通关难度。

10.根据权利要求9所述的方法，其特征在于，所述通关操作包括：

获取所述目标关卡的当前状态；其中，所述当前状态包括当前关卡地图、剩余可操作步骤量、关卡目标的完成程度以及当前可执行动作；

将所述当前状态输入至所述评估模型中，以通过所述评估模型从所述当前可执行动作中确定待执行的目标动作；

通过预设的奖赏函数更新执行所述目标动作后所述目标关卡的当前状态；继续执行获取所述目标关卡的当前状态的步骤，直至所述目标关卡通关成功或者所述剩余可操作步骤量为零。

11.一种消除类游戏关卡生成装置，其特征在于，所述装置包括：

数据确定模块，用于确定目标隐变量，以及待生成的目标关卡的关卡属性；

结果输出模块，用于将所述目标隐变量和所述关卡属性输入至预先训练完成的关卡生成模型中，得到输出结果；其中，所述关卡属性用于：控制所述关卡生成模型输出与所述关卡属性相匹配的输出结果；所述关卡属性包括：所述目标关卡中可操作对象的排布方式；所述排布方式具体包括：所述可操作对象仅呈竖直对称排布；所述可操作对象仅呈水平对称排布；所述可操作对象既呈竖直对称又呈水平对称排布；所述可操作对象的排布不具有对称性；

关卡生成模块，用于基于所述输出结果，生成所述目标关卡；

模型训练模块，用于通过下述方式训练关卡生成模型：

确定训练隐变量、样本关卡以及所述样本关卡的关卡属性；

将所述训练隐变量和所述样本关卡的关卡属性，输入至预设的生成器中，得到训练输出结果；

将所述训练输出结果和所述样本关卡输入至预设的判别器中，通过所述判别器基于所述样本关卡确定所述训练输出结果的真假，以及所述训练输出结果对应的关卡是否符合所述样本关卡的关卡属性，得到判别结果；

基于所述判别结果更新所述生成器和所述判别器的参数，直至所述生成器和所述判别器收敛，将更新后的所述生成器确定为所述关卡生成模型。

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-10任一项所述的消除类游戏关卡生成方法。

13.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-10任一项所述的消除类游戏关卡生成方法。

Images