CN112948240A - 游戏的回归测试方法、装置、设备及存储介质 - Google Patents

游戏的回归测试方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112948240A
CN112948240A CN202110167481.5A CN202110167481A CN112948240A CN 112948240 A CN112948240 A CN 112948240A CN 202110167481 A CN202110167481 A CN 202110167481A CN 112948240 A CN112948240 A CN 112948240A
Authority
CN
China
Prior art keywords
action
state information
combat
tested
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110167481.5A
Other languages
English (en)
Inventor
王蒙
陈赢峰
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110167481.5A priority Critical patent/CN112948240A/zh
Publication of CN112948240A publication Critical patent/CN112948240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请提供一种游戏的回归测试方法、装置、设备及存储介质,涉及回归测试技术领域。该方法包括:获取待测试战斗场景中的战斗状态信息;根据所述战斗状态信息,从预先配置的所述待测试战斗场景的配置表中,获取所述战斗状态信息对应的动作触发条件和第一执行动作,其中,所述配置表包括至少一个战斗状态信息对应的动作触发条件,和所述动作触发条件对应的第一执行动作;在所述战斗状态信息满足所述动作触发条件时,控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,以根据所述第一执行动作进行回归测试。相对于现有技术,避免了现有技术中回归测试需要较大的人力成本和协调成本,从而造成回归测试效率太低的问题。

Description

游戏的回归测试方法、装置、设备及存储介质
技术领域
本申请涉及回归测试技术领域,具体而言,涉及一种游戏的回归测试方法、装置、设备及存储介质。
背景技术
副本是当前多人角色扮演类游戏的一个重要组成部分,击败副本中的首领一般都会给玩家带来丰厚的回报,因此也是玩家们日常游戏过程中体验最多的玩法之一。另一方面,由于游戏的迭代过程十分迅速,一般每周都会有版本更新,因此其对于回归测试的需求和要求都很高。
现有技术中一般直接由多名测试人员组队,操作游戏中的角色,与副本中的首领进行战斗,通过自行控制角色的行为来完成各种测试项目。
但是这样的测试方式,由于是由测试人员手动操作角色进行测试的,因此测试结果会受到测试人员的游戏水平的影响。此外这种测试方式需要在同一时间占用多名测试人员,需要较大的人力成本和协调成本。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种游戏的回归测试方法、装置、设备及存储介质,以解决现有技术中回归测试需要较大的人力成本和协调成本,从而造成回归测试效率太低的问题。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请一实施例提供了一种游戏的回归测试方法,所述方法包括:
获取待测试战斗场景中的战斗状态信息;
根据所述战斗状态信息,从预先配置的所述待测试战斗场景的配置表中,获取所述战斗状态信息对应的动作触发条件和第一执行动作,其中,所述配置表包括至少一个战斗状态信息对应的动作触发条件,和所述动作触发条件对应的第一执行动作;
在所述战斗状态信息满足所述动作触发条件时,控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,以根据所述第一执行动作进行回归测试。
可选地,所述配置表还包括:所述第一执行动作的第一动作参数;所述控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,包括:
控制所述目标游戏角色在所述待测试战斗场景中,采用所述第一动作参数,执行所述第一执行动作。
可选地,所述配置表中不存在所述战斗状态信息对应的动作触发条件,则所述方法还包括:
根据所述战斗状态信息,采用预先训练的所述待测试战斗场景的动作预测模型进行处理,得到所述战斗状态信息对应的第二执行动作;所述动作预测模型为预先采用所述待测试战斗场景中的历史战斗状态信息和所述历史战斗状态信息对应的执行动作进行训练得到的模型;
控制所述目标游戏角色在所述待测试战斗场景中执行所述第二执行动作,以根据所述第二执行动作进行回归测试。
可选地,所述根据所述战斗状态信息,采用预先训练的所述待测试战斗场景的动作预测模型进行处理,得到所述战斗状态信息对应的第二执行动作,包括:
根据所述战斗状态信息,采用所述动作预测模型进行处理,得到所述第二执行动作以及所述第二执行动作的第二动作参数;其中,所述动作预测模型为预先采用所述待测试战斗场景中的样本战斗状态信息、所述样本战斗状态信息对应的执行动作,以及所述样本战斗状态信息对应的执行动作参数进行训练,得到的模型;
所述控制目标游戏角色在所述待测试战斗场景中执行所述第二执行动作,包括:
控制所述目标游戏角色在所述待测试战斗场景中,采用所述第二动作参数,执行所述第二执行动作。
可选地,所述方法还包括:
获取所述待测试战斗场景中执行所述第二执行动作之后的反馈奖励值;
根据所述反馈奖励值,更新所述动作预测模型中的参数,直至基于更新后的动作预测模型输出的执行动作得到的反馈奖励值达到预设的最大奖励值。
可选地,所述获取所述待测试战斗场景中执行所述第二执行动作之后的反馈奖励值包括:
获取所述待测试战斗场景中执行所述第二执行动作之后,目标战斗对象的反馈状态信息;
根据所述反馈状态信息,得到所述反馈奖励值。
可选地,所述获取待测试战斗场景中的战斗状态信息,包括:
通过所述待测试战斗场景对应的预设状态接口获取所述战斗状态信息。
可选地,所述控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,包括:
根据所述第一执行动作,调用所述待测试战斗场景对应的动作执行接口,以控制所述目标游戏角色在所述待测试战斗场景中执行所述第一执行动作。
可选地,所述战斗状态信息包括:所述目标游戏角色的状态信息,和所述待测试战斗场景中目标战斗对象的状态信息。
可选地,所述目标游戏角色的状态信息包括:所述目标游戏角色的能量值、和/或,所述目标游戏角色在所述待测试战斗场景中的位置;
所述目标战斗对象的状态信息包括:所述目标战斗对象的能量值、和/或,所述目标战斗对象在所述待测试战斗场景中的位置。
可选地,所述根据所述战斗状态信息,从预先配置的所述待测试战斗场景的配置表中,获取所述战斗状态信息对应的动作触发条件和第一执行动作之前,该方法还包括:
根据对预设配置表模板的配置操作,确定所述待测试战斗场景的配置表。
第二方面,本申请另一实施例提供了一种游戏战斗场景的回归测试装置,所述装置包括:获取模块和控制模块,其中:
所述获取模块,用于获取待测试战斗场景中的战斗状态信息;根据所述战斗状态信息,从预先配置的所述待测试战斗场景的配置表中,获取所述战斗状态信息对应的动作触发条件和第一执行动作,其中,所述配置表包括至少一个战斗状态信息对应的动作触发条件,和所述动作触发条件对应的第一执行动作;
所述控制模块,用于若所述战斗状态信息满足所述动作触发条件,则控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,以根据所述第一执行动作进行回归测试。
可选地,所述配置表还包括:所述第一执行动作的第一动作参数;所述控制模块,具体用于控制所述目标游戏角色在所述待测试战斗场景中,采用所述第一动作参数,执行所述第一执行动作。
可选地,所述获取模块,具体用于根据所述战斗状态信息,采用预先训练的所述待测试战斗场景的动作预测模型进行处理,得到所述战斗状态信息对应的第二执行动作;所述动作预测模型为预先采用所述待测试战斗场景中的历史战斗状态信息和所述历史战斗状态信息对应的执行动作进行训练得到的模型;
所述控制模块,具体用于控制所述目标游戏角色在所述待测试战斗场景中执行所述第二执行动作,以根据所述第二执行动作进行回归测试。
可选地,所述获取模块,用于根据所述战斗状态信息,采用所述动作预测模型进行处理,得到所述第二执行动作以及所述第二执行动作的第二动作参数;其中,所述动作预测模型为预先采用所述待测试战斗场景中的样本战斗状态信息、所述样本战斗状态信息对应的执行动作,以及所述样本战斗状态信息对应的执行动作参数进行训练,得到的模型;
所述控制模块,具体用于控制所述目标游戏角色在所述待测试战斗场景中,采用所述第二动作参数,执行所述第二执行动作。
可选地,所述装置还包括:更新模块,其中:
所述获取模块,具体用于获取所述待测试战斗场景中执行所述第二执行动作之后的反馈奖励值;
所述更新模块,具体用于根据所述反馈奖励值,更新所述动作预测模型中的参数,直至基于更新后的动作预测模型输出的执行动作得到的反馈奖励值达到预设的最大奖励值。
可选地,所述获取模块,具体用于获取所述待测试战斗场景中执行所述第二执行动作之后,目标战斗对象的反馈状态信息;根据所述反馈状态信息,得到所述反馈奖励值。
可选地,所述获取模块,具体用于通过所述待测试战斗场景对应的预设状态接口获取所述战斗状态信息。
所述控制模块,具体用于通过所述待测试战斗场景对应的预设状态接口获取所述战斗状态信息。
可选地,所述装置还包括:确定模块,用于根据对预设配置表模板的配置操作,确定所述待测试战斗场景的配置表。
第三方面,本申请另一实施例提供了一种游戏战斗场景的回归测试设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当游戏战斗场景的回归测试设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如上述第一方面任一所述方法的步骤。
第四方面,本申请另一实施例提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。
本申请的有益效果是:采用本申请提供的游戏的回归测试方法,在获取待测试战斗场景中战斗状态信息后,可以从预先配置的待测试战斗场景对应的配置表中,获取战斗状态信息对应的动作触发条件和第一执行动作,并在战斗状态信息满足动作触发条件时,控制目标游戏角色在待测试战斗场景中执行第一执行动作,以根据第一执行动作进行回归测试,这样的回归测试方式可以根据待检测场景的配置表,确定战斗状态信息对应的动作触发条件,并在战斗状态满足动作触发条件的情况下,触发目标游戏角色执行第一执行操作,从而可以实现回归测试的自动化检测,无需较大的人力成本,提高了回归测试的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的游戏的回归测试方法的流程示意图;
图2为本申请另一实施例提供的游戏的回归测试方法的流程示意图;
图3为本申请另一实施例提供的游戏的回归测试方法的流程示意图;
图4为本申请另一实施例提供的游戏的回归测试方法的流程示意图;
图5为本申请一实施例提供的游戏战斗场景的回归测试架构的结构示意图;
图6为本申请一实施例提供的游戏战斗场景的回归测试装置的结构示意图;
图7为本申请另一实施例提供的游戏战斗场景的回归测试装置的结构示意图;
图8为本申请一实施例提供的游戏战斗场景的回归测试设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
为方便对本申请实施例的理解,下述对本申请涉及的部分名词进行解释说明:
副本:游戏中的一种独立场景,在该场景被创建后,游戏玩家在登陆该游戏后进入的场景。主要为玩家带来装备、道具、游戏资源的产出,满足玩家的游戏进程。一般来说,游戏玩家需要在副本中与特定的非游戏玩家控制角色进行战斗并尝试将其击败以获取相应奖励。
副本战斗:在副本中发生的战斗,参加战斗的多方会攻击其他敌对方并尝试击败对手。
回归测试:回归测试是指修改了代码后,重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误的测试过程或方法。
本申请实施例所提供的游戏的回归测试方法,可在对游戏应用的版本更新之前,特别是游戏中战斗场景的游戏代码存在更新或者变更,又或者在游戏中增加新的战斗场景的情况下的版本更新之前,可对待更新版本的游戏应用中待测试战斗场景进行回归测试,以保证线上版本更新后的游戏中该待测试战斗场景的游戏战斗体验。
如下结合多个具体的应用示例,对本申请实施例所提供的一种游戏的回归测试方法进行解释说明。图1为本申请一实施例提供的一种游戏的回归测试方法的流程示意图,如图1所示,该方法包括:
S101:获取待测试战斗场景中的战斗状态信息。
其中,待测试战斗场景例如可以为副本战斗场景,也可以为游戏角色之间的战斗场景,具体战斗场景包括的场景范围可以根据用户需要灵活调整,并不以上述实施例给出的为限。
示例地,在一些可能的实施例中,战斗状态信息可以为在游戏环境服务器,和/或,客户端中获取的,例如可以通过待测试战斗场景对应的预设状态接口在游戏环境服务器中获取的战斗状态信息战斗状态信息是指战斗场景中存在的与动作决策相关的各项信息,例如可以包括:目标游戏角色的状态信息,和待测试战斗场景中目标战斗对象的状态信息,状态信息例如可以为血量信息、法术能量信息和位置信息等,还可以包括一些战斗场景内的其他信息,例如战斗场景中的地上是否包括陷阱、或可拾取物品等,具体状态信息包括的内容可以根据用户需要灵活调整,并不以上述实施例给出的为限。
举例说明,例如在本申请的一个实施例中,目标游戏角色的状态信息可以包括:目标游戏角色的能量值、和/或,目标游戏角色在待测试战斗场景中的位置;其中,目标游戏角色的能量值例如可以包括目标游戏角色的血量值、法术能量值等。
S102:根据战斗状态信息,从预先配置的待测试战斗场景的配置表中,获取战斗状态信息对应的动作触发条件和第一执行动作。
在本申请的一个实施例中,配置表的生成方式可以为:根据对预设配置表模板的配置操作,确定待测试战斗场景的配置表,预设配置表模板为预先提供的配置模板,预设配置表模板中包括多个模块化的配置表模板,用户可以通过对多个模块化的配置表模板中的至少一个配置表模板的填写操作,实现动作触发条件的快速配置;例如用户可以按照配置要求对预设配置表模板中的内容进行填写,填写完成后即可生成待测试战斗场景的配置表,相对于现有技术中对每个待测试场景中的每个战斗目标的动作触发条件进行配置的方式,本申请提供的配置表的生成方法可以极大地提高配置表的生成效率,降低配置过程中的人力成本和时间成本。
其中,不同的待测试战斗场景的配置表可能不同,每个待测试战斗场景均有自己对应的配置表,其中,所述配置表包括至少一个战斗状态信息对应的所述动作触发条件,和动作触发条件对应的第一执行动作。动作触发条件即为战斗状态信息需要满足什么条件的情况下才会满足动作触发条件,在本申请的一个实施例中,配置人员例如可以从已经完成模块化汇总的条件集合中选择待测试战斗场景的动作触发条件加入至配置表中。
可选地,在本申请的一个实施例中,配置表例如可以为excel、json等多种文件形式,具体配置表的文件形式可以根据用户需要灵活调整,本申请在此不做任何限制。
在获取该动作触发条件的情况下,可确定获取的战斗状态信息是否满足该动作触发条件。在战斗状态信息满足动作触发条件时,执行S103。
S103:在战斗状态信息满足动作触发条件时,控制目标游戏角色在待测试战斗场景中执行第一执行动作,以根据第一执行动作进行回归测试。
在本申请的实施例中,根据第一执行动作进行回归测试用于验证修改后的代码是否引入了错误,导致其他代码产生错误,例如在对某个待测试战斗场景中的虚拟战斗角色Boss进行测试,在代码修改前,目标游戏角色战胜boss的概率为50%,修改代码后经过回归测试发现目标游戏角色战胜boss的概率为10%,则说明修改后的代码可能存在问题;而若修改代码后经过回归测试发现目标游戏角色战胜boss的概率仍为50%,则说明此次修改代码不存在问题。
可选地,在本申请的一个实施例中,一些第一执行动作为目标游戏角色可以直接执行的,例如逃跑动作等,目标游戏角色在获取到该类第一执行动作,可以直接执行;在一些可能的实施例中,一些第一执行动作为需要执行参数的动作,此时配置表还可以包括:第一执行动作的第一动作参数;例如法术攻击动作时,对应的第一动作参数例如可以为采用多种法术攻击动作中的具体目标法术攻击动作;或物理攻击动作时对应攻击多种类型的目标战斗对象中的哪种类型的目标战斗对象;则第一动作的执行方式可以为:控制目标游戏角色在待测试战斗场景中,采用第一动作参数,执行第一执行动作。
可选地,第一执行动作的第一动作参数例如可以为:目标战斗对象的类型信息、状态信息或能量临界值信息,其中,目标战队对象的类型信息例如可以为:法术伤害形战斗对象、物理伤害形战斗对象等;状态信息例如可以为技能状态信息、血量状态信息或道具加成状态信息等;能量的临界值信息例如可以为:目标游戏角色的血量小于预设血量临界值时,对应逃跑动作;或目标游戏角色和目标战斗角色之间的血量比例小于预设比例临界值时,目标游戏角色对应逃跑动作,大于或等于预设比例临界值时,目标游戏角色的对应继续战斗动作等;具体第一动作参数包括的内容可以根据用户需要灵活调整,并不以上述实施例给出的为限制。
在一些可能的实施例中,在动作触发条件满足的情况下,一个动作触发条件可能对应多个第一执行动作,但各第一执行动作可能包含有对应的优先级,则可以根据各第一执行动作的优先级,在多个第一执行动作中确定一个目标第一执行动作并执行。
举例说明,例如游戏战斗场景内当前包括目标战斗目对象和目标战斗随从对象,此时在动作触发条件A满足的情况下,动作触发条件A可能对应躲避动作和攻击目标战斗随从对象动作,并且躲避动作的优先级高于攻击目标战斗随从对象动作,此时在确定目标游戏角色还存在躲避技能的情况下,优先执行躲避动作,若目标游戏角色不存在躲避技能,则执行攻击目标战斗随从对象动作;应当理解上述实施例仅为示例性说明,具体优先级的设置方式和执行方式可以根据用户需要灵活调整,并不以上述实施例给出的为限。
采用本申请提供的游戏的回归测试方法,在获取待测试战斗场景中的战斗状态信息后,可以从预先配置的待测试战斗场景对应的配置表中,获取战斗状态信息对应的动作触发条件和第一执行动作,并在战斗状态信息满足动作触发条件时,控制目标游戏角色在待测试战斗场景中执行第一执行动作,以根据第一执行动作进行回归测试,这样的回归测试方式可以根据待检测场景的配置表,确定战斗状态信息对应的动作触发条件,并在战斗状态满足动作触发条件的情况下,触发目标游戏角色执行第一执行操作,从而可以实现回归测试的自动化检测,无需较大的人力成本,提高了回归测试的效率。
可选地,在上述实施例的基础上,本申请实施例还可提供一种游戏的回归测试方法,如下结合附图对上述方法的实现过程进行示例说明。图2为本申请另一实施例提供的一种游戏的回归测试方法的流程示意图,如图2所示,若配置表中不存在所述战斗状态信息对应的动作触发条件,则S101之后,该方法还包括:
S104:根据战斗状态信息,采用预先训练的待测试战斗场景的动作预测模型进行处理,得到战斗状态信息对应的第二执行动作。
动作预测模型为预先采用待测试战斗场景中的历史战斗状态信息和历史战斗状态信息对应的执行动作进行训练得到的模型。该预先训练的动作预测模型可作为智能体,其可基于输入的战斗状态信息,输出对应的执行动作,即该第二执行动作。
可选地,在本申请的另一实施例中,采用预先训练的待测试战斗场景的动作预测模型进行处理的触发方式也可以为:在配置表中存在战斗状态信息对应的动作触发条件,并且可以根据动作触发条件确定第一执行动作,但是第一执行动作为需要第一执行参数的动作,且通过配置表无法确定第一执行动作对应的具体执行参数时,此时S101之后也对应执行S104,即根据动作预测模型确定具体执行参数,从而根据配置表和动作预测模型之间的配合,实现执行动作的确定。
S105:控制目标游戏角色在待测试战斗场景中执行第二执行动作,以根据第二执行动作进行回归测试。
可选地,在上述实施例的基础上,本申请实施例还可提供一种游戏的回归测试方法,如下结合附图对上述方法中执行第二执行动作的实现过程进行示例说明。图3为本申请另一实施例提供的一种游戏的回归测试方法的流程示意图,如图3所示,S104可包括:
S106:根据战斗状态信息,采用动作预测模型进行处理,得到第二执行动作以及第二执行动作的第二动作参数。
其中第二动作的执行参数例如可以为第二执行动作的具体参数,例如第二执行动作为躲避动作时,第二动作参数例如可以包括:躲避方向、躲避距离和躲避时长等,应当理解上述实施例仅为示例性说明,具体第二动作参数包括的内容可以根据用户需要灵活调整,本申请在此不做任何限制。
其中,动作预测模型为预先采用待测试战斗场景中的样本战斗状态信息、样本战斗状态信息对应的执行动作,以及样本战斗状态信息对应的执行动作参数进行训练,得到的模型。
对应的,S105可包括:
S107:控制目标游戏角色在待测试战斗场景中,采用第二动作参数,执行第二执行动作。
可选地,在上述实施例的基础上,本申请实施例还可提供一种游戏的回归测试方法,如下结合附图对上述方法的实现过程进行示例说明。图4为本申请另一实施例提供的一种游戏的回归测试方法的流程示意图,如图4所示,S107之后,还可以包括:
S108:获取待测试战斗场景中执行第二执行动作之后的反馈奖励值。
可选地,在本申请的一个实施例中,例如可以在训练动作预测模型之前,先为动作预测模型中预先输入给定的多个“状态-动作”数据对,使得动作预测模型可以在某些给定的战斗状态信息输入的情况下,确定需要输出的第二执行动作,在本申请的一个实施例中,例如可以预先收集游戏玩家在相应的战斗场景中的数据对作为预设数据对,从而通过预设数据对实现战斗状态信息和第二执行动作之间的对应关系的设置,为各战斗状态信息配置对应的至少一个第二执行动作。
例如当战斗状态信息指示当前目标游戏角色正在与目标战斗角色处于战斗过程中时,则第二执行动作例如可以包括:物理攻击动作、躲避动作(或防御动作)、法术攻击动作、逃跑动作、治疗动作等;具体第二执行动作可能包括的内容和执行方式可以根据用户需要灵活调整,并不以上述实施例给出的为限。
示例地,在本申请的一个实施例中,例如可以获取待测试战斗场景中执行第二执行动作之后,目标战斗对象的反馈状态信息;根据反馈状态信息,得到反馈奖励值。
举例说明:例如当前场景为目标游戏角色正在与目标战斗角色进行战斗,其中目标战斗角色为目标游戏角色的敌对角色,若目标游戏角色在执行完第二执行操作后,目标游戏角色被击杀,则可以确定反馈奖励值为负值,例如可以为-10;若目标游戏角色在执行完第二执行操作后,目标游戏角色的血量减少,则可以确定反馈奖励值为负值,例如可以为-2;若目标游戏角色在执行完第二执行操作后,目标战斗角色的血量减少,则可以确定反馈奖励值为正值,例如可以为2;若目标游戏角色在执行完第二执行操作后,目标战斗角色被击杀,则可以反馈奖励值为正值,例如可以为10;应当理解上述实施例仅为示例性说明,具体反馈奖励值的反馈具体数值和反馈方式可以根据用户需要和具体的游戏环境进行灵活调整,并不以上述实施例给出的为限。
S109:根据反馈奖励值,更新动作预测模型中的参数,直至基于更新后的动作预测模型输出的执行动作得到的反馈奖励值达到预设的最大奖励值。
这样的设置方式可以根据不同的战斗状态信息确定不同的第二执行动作,并且根据不同的第二执行动作对应的反馈奖励值对动作预测模型中的参数进行更新,从而将动作参数一同进行自动学习,实现了动作预测模型的自动学习和训练,学习结束后,将学习得到的动作预测模型进行保存,以便于后续使用。
在本申请的一个实施例中,例如可以基于更新后的动作预测模型输出的执行动作序列在整场战斗中得到的累计反馈奖励值达到预设的最大奖励值。
应当理解,若后续应用过程中战斗场景的代码进行了更新并已确定对战斗过程会产生影响,则只需要根据更新后的战斗场景对动作预测模型、配置表、预设状态接口和预设动作接口中的全部或部分进行更新即可。
可选地,在本申请的一个实施例中,在执行本申请提供的方法之前,需要预先配置状态接口和执行接口,执行接口用于调用执行动作对应的参数,控制目标游戏角色在游戏环境服务器内执行该执行动作,其中执行动作例如可以为战斗场景中的目标游戏玩家执行的,会产生某种效果的行为,例如:增加自身血量、减少自身血量、减少目标战斗对象血量、增加目标战斗对象血量、击杀目标战斗对象或造成目标游戏玩家被击杀等效果,执行动作包括但不限于移动动作、攻击动作、释放技能动作、拾取物品动作或使用物品动作等,执行动作的执行方式例如可以通过预设执行接口,在副本战斗场景下执行对应第一执行动作或第二执行动作。
图5为本申请一实施例提供的游戏战斗场景的回归测试架构的结构示意图,如图5所示,本申请提供的游戏战斗场景的回归测试家中可以包括:预设配置表和预设动作预测模型,其中,配置表为游戏开发人员预先配置的,预设动作预测模型为根据上述训练方法训练得到的,配置表和预设动作预测模型均可通过预设配置状态接口获取待测试战斗场景中的战斗状态信息,随后配置表和/或预设动作预测模型根据战斗状态信息,获取目标游戏角色对应的执行动作参数,并根据预设执行接口执行该执行动作参数,以控制目标游戏角色执行该执行动作参数对应的执行动作,至此完成游戏战斗场景的回归测试。
其中,若战斗状态信息满足动作触发条件,则根据配置表获取对应的第一执行动作,并发送第一执行动作参数至预设执行接口;若配置表中不存在战斗状态信息对应的动作触发条件,或配置表中存在战斗状态信息对应的动作触发条件和第一执行动作,但第一执行动作需要执行参数但配置表中不存在具体的执行参数,则根据预设动作预测模型确定第二执行动作参数至预设执行接口;从而在获取到战斗状态信息后,可以根据配置表和预设动作预测模型之间的配合确定对应的执行动作参数,实现了游戏战斗场景回归的自动检测。
可选地,在本申请的一个实施例中,待检测战斗场景的配置表中配置的例如可以是较为宏观的,比较容易得到的配置信息,例如可以在战斗信息满足动作触发条件的情况下,确定需要执行的第一执行动作对应的类别,例如当前第一执行动作对应的攻击目标战斗对象中的“头目”还是“小兵”、或当前第一执行动作为执行攻击动作还是躲避动作;但是对于一些较为细节的动作,比如使用躲避技能时具体如何躲避,目标游戏玩家需要向哪个方向躲避、躲避多远的距离或躲避时常等参数,由于这些参数无法通过配置表确定,因此需要通过动作预测模型以学习的形式来确定,从而实现对绝大部分的战斗状态信息均可以通过本申请提供的回归测试方法,确定对应的动作执行参数。
采用本申请提供的游戏的回归测试方法,通过战斗场景的配置表和预设动作预测模型之间的相互配合来控制游戏战斗场景中的目标游戏角色,可以实现对绝大部分游戏战斗场景的回归测试实现自动化回归测试,无需占用大量的测试人员,可以极大地降低游戏战斗场景回归测试所需要的人力成本,并且由于本申请提供的游戏的回归测试方法可以通过配置表来进行动作触发条件的快速配置,所有的配置项被模块化为配置表中的填写项,测试人员只需要按照一定规则对模板配置表进行填写,就可以完成针对游戏战斗场景中各个目标战斗角色的动作触发条件的接入。
此外,采用本申请提供的游戏场景战斗的回归测试方法,相比于传统的针对每个目标战斗角色手工编写脚本的方式,本申请提出的通过配置表对配置信息进行接入的方式可以极大地降低测试人员将各个游戏战斗场景中的目标游戏战斗角色接入到回归测试框架中的成本。此外在后期维护方面,由于本申请引入了自动学习的预设动作预测模型,对于游戏中的代码发生变化导致游戏战斗场景的流程或机制发生变化时,可以通过自动学习的方式让预设动作预测模型先自行对修改后的游戏战斗场景进行适配,在无法完成自动适配的情况下,再通过修改动作触发条件的方式进行修改。通过上述自动学习的过程也可以降低后期的维护成本。
下述结合附图对本申请所提供的游戏战斗场景的回归测试装置进行解释说明,该游戏战斗场景的回归测试装置可执行上述图1-图5任一游戏的回归测试方法,其具体实现以及有益效果参照上述,如下不再赘述。
图6为本申请一实施例提供的游戏战斗场景的回归测试装置的结构示意图,如图6所示,该装置包括:获取模块201和控制模块202,其中:
获取模块201,用于获取待测试战斗场景中的战斗状态信息;根据战斗状态信息,从预先配置的待测试战斗场景的配置表中,获取战斗状态信息对应的动作触发条件和第一执行动作,其中,配置表包括至少一个战斗状态信息对应的动作触发条件,和动作触发条件对应的第一执行动作,以根据所述第一执行动作进行回归测试;
控制模块202,用于若战斗状态信息满足动作触发条件,则控制目标游戏角色在待测试战斗场景中执行第一执行动作。
可选地,配置表还包括:第一执行动作的第一动作参数;控制模块202,具体用于控制目标游戏角色在待测试战斗场景中,采用第一动作参数,执行第一执行动作。
可选地,获取模块201,具体用于根据战斗状态信息,采用预先训练的待测试战斗场景的动作预测模型进行处理,得到战斗状态信息对应的第二执行动作;动作预测模型为预先采用待测试战斗场景中的历史战斗状态信息和历史战斗状态信息对应的执行动作进行训练得到的模型;
控制模块202,具体用于控制目标游戏角色在待测试战斗场景中执行第二执行动作。
可选地,获取模块201,用于根据战斗状态信息,采用动作预测模型进行处理,得到第二执行动作以及第二执行动作的第二动作参数;其中,动作预测模型为预先采用待测试战斗场景中的样本战斗状态信息、样本战斗状态信息对应的执行动作,以及样本战斗状态信息对应的执行动作参数进行训练,得到的模型;
控制模块202,具体用于控制目标游戏角色在待测试战斗场景中,采用第二动作参数,执行第二执行动作,以根据第二执行动作进行回归测试。
图7为本申请一实施例提供的游戏战斗场景的回归测试装置的结构示意图,如图7所示,该装置还包括:更新模块203,其中:
获取模块201,具体用于获取待测试战斗场景中执行第二执行动作之后的反馈奖励值。
更新模块203,具体用于根据反馈奖励值,更新动作预测模型中的参数,直至基于更新后的动作预测模型输出的执行动作得到的反馈奖励值达到预设的最大奖励值。
可选地,获取模块201,具体用于获取待测试战斗场景中执行第二执行动作之后,目标战斗对象的反馈状态信息;根据反馈状态信息,得到反馈奖励值。
可选地,获取模块201,具体用于通过待测试战斗场景对应的预设状态接口获取战斗状态信息。
控制模块202,具体用于通过待测试战斗场景对应的预设状态接口获取战斗状态信息。
如图7所示,该装置还包括:确定模块204,用于根据对预设配置表模板的配置操作,确定待测试战斗场景的配置表。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图8为本申请一实施例提供的游戏战斗场景的回归测试设备的结构示意图,该游戏战斗场景的回归测试设备可以为游戏环境服务器或战斗场景回归测试服务器,本申请在此不做任何限制,该设备可以包括:处理器501、存储介质502和总线503。
处理器501用于存储程序,处理器501调用存储介质502存储的程序,以执行上述图1-图5对应的方法实施例。具体实现方式和技术效果类似,这里不再赘述。
可选地,本申请还提供一种程序产品,例如存储介质,该存储介质上存储有计算机程序,包括程序,该程序在被处理器运行时执行上述方法对应的实施例。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种游戏的回归测试方法,其特征在于,所述方法包括:
获取待测试战斗场景中的战斗状态信息;
根据所述战斗状态信息,从预先配置的所述待测试战斗场景的配置表中,获取所述战斗状态信息对应的动作触发条件和第一执行动作;其中,所述配置表包括至少一个战斗状态信息对应的动作触发条件,和所述动作触发条件对应的第一执行动作;
在所述战斗状态信息满足所述动作触发条件时,控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,以根据所述第一执行动作进行回归测试。
2.如权利要求1所述的回归测试方法,其特征在于,所述配置表还包括:所述第一执行动作的第一动作参数;所述控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,包括:
控制所述目标游戏角色在所述待测试战斗场景中,采用所述第一动作参数,执行所述第一执行动作。
3.如权利要求1所述的回归测试方法,其特征在于,所述配置表中不存在所述战斗状态信息对应的动作触发条件,则所述方法还包括:
根据所述战斗状态信息,采用预先训练的所述待测试战斗场景的动作预测模型进行处理,得到所述战斗状态信息对应的第二执行动作;所述动作预测模型为预先采用所述待测试战斗场景中的历史战斗状态信息,和所述历史战斗状态信息对应的执行动作进行训练得到的模型;
控制所述目标游戏角色在所述待测试战斗场景中执行所述第二执行动作,以根据所述第二执行动作进行回归测试。
4.如权利要求3所述的回归测试方法,其特征在于,所述根据所述战斗状态信息,采用预先训练的所述待测试战斗场景的动作预测模型进行处理,得到所述战斗状态信息对应的第二执行动作,包括:
根据所述战斗状态信息,采用所述动作预测模型进行处理,得到所述第二执行动作以及所述第二执行动作的第二动作参数;其中,所述动作预测模型为预先采用所述待测试战斗场景中的样本战斗状态信息、所述样本战斗状态信息对应的执行动作,以及所述样本战斗状态信息对应的执行动作参数进行训练,得到的模型;
所述控制目标游戏角色在所述待测试战斗场景中执行所述第二执行动作,包括:
控制所述目标游戏角色在所述待测试战斗场景中,采用所述第二动作参数,执行所述第二执行动作。
5.如权利要求3所述回归测试方法,其特征在于,所述方法还包括:
获取所述待测试战斗场景中执行所述第二执行动作之后的反馈奖励值;
根据所述反馈奖励值,更新所述动作预测模型中的参数,直至基于更新后的动作预测模型输出的执行动作得到的反馈奖励值达到预设的最大奖励值。
6.如权利要求5所述的回归测试方法,其特征在于,所述获取所述待测试战斗场景中执行所述第二执行动作之后的反馈奖励值包括:
获取所述待测试战斗场景中执行所述第二执行动作之后,目标战斗对象的反馈状态信息;
根据所述反馈状态信息,得到所述反馈奖励值。
7.如权利要求1所述的回归测试方法,其特征在于,所述获取待测试战斗场景中的战斗状态信息,包括:
通过所述待测试战斗场景对应的预设状态接口获取所述战斗状态信息。
8.如权利要求1所述的回归测试方法,其特征在于,所述控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,包括:
根据所述第一执行动作,调用所述待测试战斗场景对应的动作执行接口,以控制所述目标游戏角色在所述待测试战斗场景中执行所述第一执行动作。
9.如权利要求1所述的回归测试方法,其特征在于,所述战斗状态信息包括:所述目标游戏角色的状态信息,和所述待测试战斗场景中目标战斗对象的状态信息。
10.如权利要求9所述的回归测试方法,其特征在于,所述目标游戏角色的状态信息包括:所述目标游戏角色的能量值、和/或,所述目标游戏角色在所述待测试战斗场景中的位置;
所述目标战斗对象的状态信息包括:所述目标战斗对象的能量值、和/或,所述目标战斗对象在所述待测试战斗场景中的位置。
11.如权利要求1-10任一项所述的回归测试方法,其特征在于,所述根据所述战斗状态信息,从预先配置的所述待测试战斗场景的配置表中,获取所述战斗状态信息对应的动作触发条件和第一执行动作之前,该方法还包括:
根据对预设配置表模板的配置操作,确定所述待测试战斗场景的配置表。
12.一种游戏的回归测试装置,其特征在于,所述装置包括:获取模块和控制模块,其中:
所述获取模块,用于获取待测试战斗场景中的战斗状态信息;根据所述战斗状态信息,从预先配置的所述待测试战斗场景的配置表中,获取所述战斗状态信息对应的动作触发条件和第一执行动作,其中,所述配置表包括至少一个战斗状态信息对应的动作触发条件,和所述动作触发条件对应的第一执行动作;
所述控制模块,用于在所述战斗状态信息满足所述动作触发条件时,控制目标游戏角色在所述待测试战斗场景中执行所述第一执行动作,以根据所述第一执行动作进行回归测试。
13.一种游戏战斗场景的回归测试设备,其特征在于,所述设备包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述游戏战斗场景的回归测试设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行上述权利要求1-11任一项所述的方法。
14.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述权利要求1-11任一项所述的方法。
CN202110167481.5A 2021-02-04 2021-02-04 游戏的回归测试方法、装置、设备及存储介质 Pending CN112948240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110167481.5A CN112948240A (zh) 2021-02-04 2021-02-04 游戏的回归测试方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110167481.5A CN112948240A (zh) 2021-02-04 2021-02-04 游戏的回归测试方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112948240A true CN112948240A (zh) 2021-06-11

Family

ID=76243073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110167481.5A Pending CN112948240A (zh) 2021-02-04 2021-02-04 游戏的回归测试方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112948240A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116036612A (zh) * 2023-01-28 2023-05-02 深圳市人马互动科技有限公司 基于游戏的老玩家召回方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102799A (zh) * 2013-04-01 2014-10-15 腾讯科技(深圳)有限公司 游戏数据测试方法及测试装置
CN109460361A (zh) * 2018-11-02 2019-03-12 腾讯科技(成都)有限公司 性能测试方法和装置、存储介质及电子装置
CN109815155A (zh) * 2019-02-26 2019-05-28 网易(杭州)网络有限公司 一种游戏测试的方法及装置、电子设备、存储介质
US20190184286A1 (en) * 2016-09-30 2019-06-20 Tencent Technology (Shenzhen) Company Limited Method and device for generating character behaviors in game and storage medium
CN110141859A (zh) * 2019-05-28 2019-08-20 腾讯科技(深圳)有限公司 虚拟对象控制方法、装置、终端及存储介质
CN110262964A (zh) * 2019-05-21 2019-09-20 深圳壹账通智能科技有限公司 测试方法、装置、设备及计算机可读存储介质
CN111249734A (zh) * 2020-01-09 2020-06-09 网易(杭州)网络有限公司 一种数据处理方法、装置、计算机设备及存储介质
WO2020224361A1 (zh) * 2019-05-05 2020-11-12 腾讯科技(深圳)有限公司 动作执行方法和装置、存储介质及电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102799A (zh) * 2013-04-01 2014-10-15 腾讯科技(深圳)有限公司 游戏数据测试方法及测试装置
US20190184286A1 (en) * 2016-09-30 2019-06-20 Tencent Technology (Shenzhen) Company Limited Method and device for generating character behaviors in game and storage medium
CN109460361A (zh) * 2018-11-02 2019-03-12 腾讯科技(成都)有限公司 性能测试方法和装置、存储介质及电子装置
CN109815155A (zh) * 2019-02-26 2019-05-28 网易(杭州)网络有限公司 一种游戏测试的方法及装置、电子设备、存储介质
WO2020224361A1 (zh) * 2019-05-05 2020-11-12 腾讯科技(深圳)有限公司 动作执行方法和装置、存储介质及电子装置
CN110262964A (zh) * 2019-05-21 2019-09-20 深圳壹账通智能科技有限公司 测试方法、装置、设备及计算机可读存储介质
CN110141859A (zh) * 2019-05-28 2019-08-20 腾讯科技(深圳)有限公司 虚拟对象控制方法、装置、终端及存储介质
CN111249734A (zh) * 2020-01-09 2020-06-09 网易(杭州)网络有限公司 一种数据处理方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116036612A (zh) * 2023-01-28 2023-05-02 深圳市人马互动科技有限公司 基于游戏的老玩家召回方法及相关装置

Similar Documents

Publication Publication Date Title
KR102348015B1 (ko) 캐릭터 구성 방법 및 장치, 저장 매체 및 전자 장치
CN112169339A (zh) 用于在视频游戏中模仿玩家玩游戏的定制的模型
JP7121014B2 (ja) ユーザ分析システムおよび方法
CN111744201A (zh) 视频游戏中的自动玩家控制接管
CN111274151B (zh) 一种游戏测试的方法、相关装置以及存储介质
CN111494959B (zh) 游戏操控方法、装置、电子设备及计算机可读存储介质
CN110134375B (zh) 游戏角色行为的控制方法、装置及可读存储介质
WO2015043271A1 (en) Method and system for implementing artificial intelligence
CN110639208B (zh) 交互式任务的控制方法、装置、存储介质和计算机设备
CN111035932A (zh) 游戏副本处理方法、装置、电子设备及存储介质
CN113262481A (zh) 游戏中的互动方法、装置、设备及存储介质
CN112948240A (zh) 游戏的回归测试方法、装置、设备及存储介质
CN111450533A (zh) 虚拟场景中的虚拟对象控制方法、装置、终端及存储介质
CN110941485A (zh) 游戏任务的运行方法、装置及电子终端
Chentsov et al. Monte Carlo tree search modification for computer games
US11786818B2 (en) Autoplayers for filling and testing online games
US20230078340A1 (en) Virtual object control method and apparatus, electronic device, storage medium, and computer program product
US20120088586A1 (en) Linkable and extensible virtual characters
CN111389011A (zh) 一种游戏模型训练方法、装置、电子设备及介质
US20220370917A1 (en) Allocation method and apparatus for virtual reward resources, electronic device, computer-readable storage medium, and computer program product
CN111330282A (zh) 一种确定出牌候选项的方法及装置
Kayakoku et al. A novel behavioral strategy for RoboCode platform based on deep Q-learning
CN111389010B (zh) 虚拟机器人训练方法、装置、电子设备和介质
Machado et al. A method for generating emergent behaviors using machine learning to strategy games
Esfahani et al. Nexus2D Team Description Paper

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination