CN111282272A

CN111282272A - 信息处理方法、计算机可读介质及电子设备

Info

Publication number: CN111282272A
Application number: CN202010080576.9A
Authority: CN
Inventors: 申俊峰
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-02-05
Filing date: 2020-02-05
Publication date: 2020-06-16
Anticipated expiration: 2040-02-05
Also published as: CN111282272B

Abstract

本公开属于人工智能技术领域，并涉及机器学习技术，具体涉及一种信息处理方法、计算机可读介质及电子设备。本公开实施例中的信息处理方法包括：确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制游戏行为主体与行为交互对象进行行为交互的行为模型；创建与游戏行为主体相对应的模拟行为主体以及与行为交互对象相对应的模拟交互对象，并创建包括模拟行为主体和模拟交互对象的模拟游戏；通过行为模型控制模拟行为主体与模拟交互对象进行行为交互，以得到模拟游戏中形成的模拟游戏反馈信息；根据模拟游戏反馈信息训练行为模型，以更新行为模型的模型参数。该方法可以提高模型训练速度，降低模型训练的资源消耗。

Description

信息处理方法、计算机可读介质及电子设备

技术领域

本公开涉及人工智能技术领域，并涉及机器学习技术。具体而言，本公开涉及一种信息处理方法、信息处理装置计算机可读介质以及电子设备。

背景技术

在电子游戏中通过配置能够模仿人类游戏行为的游戏AI(ArtificialIntelligence，人工智能)，可以作为虚拟玩家参与到游戏进程中与真实的游戏用户进行互动，也可以帮助用户理解游戏规则或者在游戏过程中为用户提供游戏决策建议，另外还可以用于对电子游戏进行自动化测试。

为了获得符合预期的游戏AI，一般需要花费大量的时间运行游戏以便采集游戏数据，进而利用采集到的游戏数据对游戏AI进行训练和优化。然而，这种训练和优化方式不仅耗费了大量的时间成本和计算资源，而且由于样本数据的限制而难以获得理想的优化效果。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种信息处理方法、信息处理装置、计算机可读介质以及电子设备，进而至少在一定程度上克服相关技术中存在的训练数据获取困难、训练成本高、训练效果差等技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供一种信息处理方法，该方法包括：

确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制所述游戏行为主体与所述行为交互对象进行行为交互的行为模型；

创建与所述游戏行为主体相对应的模拟行为主体以及与所述行为交互对象相对应的模拟交互对象，并创建包括所述模拟行为主体和所述模拟交互对象的模拟游戏；

通过所述行为模型控制所述模拟行为主体与所述模拟交互对象进行行为交互，以得到所述模拟游戏中形成的模拟游戏反馈信息；

根据所述模拟游戏反馈信息训练所述行为模型，以更新所述行为模型的模型参数。

根据本公开实施例的一个方面，提供一种信息处理装置，该装置包括：

第一模型获取模块，被配置为确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制所述游戏行为主体与所述行为交互对象进行行为交互的行为模型；

模拟游戏创建模块，被配置为创建与所述游戏行为主体相对应的模拟行为主体以及与所述行为交互对象相对应的模拟交互对象，并创建包括所述模拟行为主体和所述模拟交互对象的模拟游戏；

反馈信息获取模块，被配置为通过所述行为模型控制所述模拟行为主体与所述模拟交互对象进行行为交互，以得到所述模拟游戏中形成的模拟游戏反馈信息；

模型参数更新模块，被配置为根据所述模拟游戏反馈信息训练所述行为模型，以更新所述行为模型的模型参数。

在本公开的一些实施例中，基于以上技术方案，模拟游戏创建模块包括：

速度获取单元，被配置为获取所述游戏行为主体与所述行为交互对象在所述游戏中进行行为交互的行为交互速度；

游戏创建单元，被配置为基于所述行为交互速度创建包括所述模拟行为主体和所述模拟交互对象的模拟游戏；

速度增大单元，被配置为将所述模拟行为主体和所述模拟交互对象在所述模拟游戏中的行为交互速度增大至目标速度。

在本公开的一些实施例中，基于以上技术方案，所述信息处理装置还包括：

分布数量获取模块，被配置为获取所述行为交互对象在所述游戏的各帧游戏画面中的平均分布数量；

分布数量增加模块，被配置为增加所述模拟交互对象在所述模拟游戏的各帧游戏画面中的分布数量，以使所述分布数量大于所述平均分布数量。

间隔距离获取模块，被配置为获取相邻两个行为交互对象在所述游戏的各帧游戏画面中的平均间隔距离；

间隔距离减小模块，被配置为减小相邻两个模拟交互对象在所述模拟游戏的各帧游戏画面中的间隔距离，以使所述间隔距离小于所述平均间隔距离。

在本公开的一些实施例中，基于以上技术方案，所述反馈信息获取模块包括：

状态信息获取单元，被配置为获取所述模拟游戏中的当前游戏状态信息；

行为信息获取单元，被配置为通过所述行为模型对所述当前游戏状态信息进行映射处理，以得到当前游戏行为信息；

模拟行为交互单元，被配置为根据所述当前游戏行为信息控制所述模拟行为主体与所述模拟交互对象进行行为交互，以得到行为交互结果；

激励信息获取单元，被配置为获取与所述行为交互结果相对应的当前行为激励信息，并获取所述模拟游戏中的下一游戏状态信息；

信息关联单元，被配置为对所述当前游戏状态信息、所述当前游戏行为信息、所述当前行为激励信息以及所述下一游戏状态信息进行关联以得到模拟游戏反馈信息。

在本公开的一些实施例中，基于以上技术方案，所述状态信息获取单元包括：

游戏图像采集子单元，被配置为确定所述模拟游戏的当前帧游戏画面，并对所述当前帧游戏画面进行图像采集以得到当前游戏图像；

像素值调节子单元，被配置为对所述当前游戏图像进行对象识别，并根据对象识别结果调整所述当前游戏图像中各个像素点的像素值；

图像特征提取子单元，被配置为对调整像素值后的当前游戏图像进行特征提取以得到当前游戏状态信息。

在本公开的一些实施例中，基于以上技术方案，所述游戏图像采集子单元包括：

相机获取子单元，被配置为获取所述模拟游戏中的图像采集相机；

位置调整子单元，被配置为随机调整所述图像采集相机的图像采集位置；

图像采集子单元，被配置为通过调整图像采集位置后的所述图像采集相机获取所述当前帧游戏画面的当前游戏图像。

在本公开的一些实施例中，基于以上技术方案，所述像素值调节子单元包括：

第一调整子单元，被配置为根据对象识别结果确定所述当前游戏图像中的模拟游戏背景，并将所述模拟游戏背景所在像素点的像素值调整为第一像素值；

第二调整子单元，被配置为根据对象识别结果确定所述当前游戏图像中的模拟行为主体，并将所述模拟行为主体所在像素点的像素值调整为第二像素值；

第三调整子单元，被配置为根据对象识别结果确定所述当前游戏图像中的模拟交互对象以及所述模拟交互对象的对象类型，并将所述模拟交互对象所在像素点的像素值调整为与所述对象类型相对应的第三像素值。

在本公开的一些实施例中，基于以上技术方案，所述行为信息获取单元包括：

信息输入子单元，被配置为将所述当前游戏状态信息输入所述行为模型；其中，所述行为模型用于对至少两种候选游戏行为进行行为预测；

映射处理子单元，被配置为通过所述行为模型对所述当前游戏状态信息进行映射处理以预测每种所述候选游戏行为的行为价值信息；

行为选取子单元，被配置为根据所述行为价值信息选取一种候选游戏行为作为当前游戏行为，并获取所述当前游戏行为的当前游戏行为信息。

在本公开的一些实施例中，基于以上技术方案，所述行为选取子单元包括：

概率确定子单元，被配置为分别确定随机行为选取策略和高价值行为选取策略的选取概率；

策略确定子单元，被配置为根据所述选取概率确定用于选取当前游戏行为的当前选取策略；

第一选取子单元，被配置为若所述当前选取策略为随机行为选取策略，则从所述至少两种候选游戏行为中随机选取一种候选游戏行为作为当前游戏行为；

第二选取子单元，被配置为若所述当前选取策略为高价值行为选取策略，则从所述至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为当前游戏行为。

在本公开的一些实施例中，基于以上技术方案，所述激励信息获取单元包括：

主体状态确定子单元，被配置为根据所述行为交互结果确定所述模拟行为主体的主体状态信息；

状态分数确定子单元，被配置为确定与所述主体状态信息相关联的状态分数，并将所述状态分数作为与所述行为交互结果相对应的当前行为激励信息。

在本公开的一些实施例中，基于以上技术方案，所述模拟游戏反馈信息包括具有关联关系的当前游戏状态信息、当前游戏行为信息、当前行为激励信息以及下一游戏状态信息；所述模型参数更新模块包括：

实际行为价值获取单元，被配置为通过所述行为模型对所述当前游戏状态信息进行映射处理以得到与所述当前游戏行为信息相对应的实际行为价值信息；

预测行为价值获取单元，被配置为通过所述行为模型对所述下一游戏状态信息进行映射处理以得到与所述下一游戏状态信息相对应的预测行为价值信息；

损失误差确定单元，被配置为根据所述当前行为激励信息、所述实际行为价值信息以及所述预测行为价值信息确定损失误差；

模型参数更新单元，被配置为根据所述损失误差更新所述行为模型的模型参数。

根据本公开的一个方面，提供另一种信息处理方法，该方法包括：

确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制所述游戏行为主体与所述行为交互对象进行行为交互的行为模型；其中，所述行为模型是在与所述游戏相对应的模拟游戏中训练得到的；

获取所述游戏的当前游戏状态信息，并将所述当前游戏状态信息输入至所述行为模型中；

通过所述行为模型对所述当前游戏状态信息进行映射处理以得到至少两种候选游戏行为的行为价值信息；

根据所述行为价值信息选取一种候选游戏行为，并基于所述候选游戏行为控制所述游戏行为主体与所述行为交互对象进行行为交互。

根据本公开的一个方面，提供另一种信息处理装置，该装置包括：

第二模型获取模块，被配置为确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制所述游戏行为主体与所述行为交互对象进行行为交互的行为模型；其中，所述行为模型是在与所述游戏相对应的模拟游戏中训练得到的；

游戏状态获取模块，被配置为获取所述游戏的当前游戏状态信息，并将所述当前游戏状态信息输入至所述行为模型中；

行为价值获取模块，被配置为通过所述行为模型对所述当前游戏状态信息进行映射处理以得到至少两种候选游戏行为的行为价值信息；

行为交互模块，被配置为根据所述行为价值信息选取一种候选游戏行为，并基于所述候选游戏行为控制所述游戏行为主体与所述行为交互对象进行行为交互。

根据本公开实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的方法。

根据本公开实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的方法。

在本公开实施例提供的技术方案中，通过创建与真实游戏环境相对应的模拟游戏环境，可以在模拟游戏环境中对用于控制游戏中游戏行为的行为模型进行训练，并且可以将训练好的行为模型再应用到真实游戏环境中。这种模型训练方法不仅可以提高模型训练速度，降低模型训练的资源消耗，而且可以通过环境调参提高模型的泛化能力，使行为模型具有更广泛的普遍适用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性地示出了应用本公开技术方案的示例性系统架构示意图。

图2A示出了真实游戏环境的用户界面示意图。

图2B示出了与图2A中真实游戏环境相对应的模拟游戏环境示意图。

图3A示意性地示出了利用模拟游戏环境进行AI模型训练的原理示意图。

图3B示意性地示出了训练得到的AI模型在真实游戏环境中的应用原理示意图。

图4示意性地示出了本公开一些实施例中用于训练行为模型的信息处理方法的步骤流程图。

图5示意性地示出了本公开一些实施例中获得模拟游戏反馈信息的步骤流程图。

图6示意性地示出了本公开一些实施例中获取当前游戏状态信息的步骤流程图。

图7示意性地示出了在一模拟游戏环境中调整相机前后的对象变化示意图。

图8示意性地示出了本公开一些实施例中根据当前环境状态确定当前游戏行为的步骤流程图。

图9示意性地示出了本公开在一应用场景中对跑酷游戏的行为动作进行决策的原理示意图。

图10示意性地示出了本公开一些实施例中基于ε-greedy策略选取当前游戏行为的步骤流程图。

图11示意性地示出了以模拟游戏反馈信息作为训练样本进行模型训练的步骤流程图。

图12示意性地示出了本公开一些实施例中用于游戏行为交互的信息处理方法的步骤流程图。

图13示意性地示出了在一应用场景中基于游戏行为交互方法实现AI自动化的原理示意图。

图14A示出了在一应用场景中采集游戏图像的效果示意图。

图14B示出了在一应用场景中进行触屏操作转化的效果示意图。

图15示意性地示出了在本公开一些实施例中用于行为模型训练的信息处理装置的结构框图。

图16示意性地示出了本公开一些实施例中用于在游戏中进行行为交互的信息处理装置的组成框图。

图17示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本领域的相关技术中，基于人工智能技术在电子游戏中配置游戏AI已经成为电子游戏行业的普遍做法。例如，游戏AI可以在游戏教学环节为用户提供游戏规则的教学和指引，也可以作为虚拟玩家实现人机对战，另外还可以用于对游戏进行自动化测试等等。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换言之，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

强化学习(Reinforcement Learning)，又称激励励学习或增强学习，是一种解决智能机器人或者智能体(agent)在环境中决策问题的算法。强化学习的训练涉及到agent和环境的交互，在交互过程中环境反馈激励(reward)给agent，agent根据环境反馈的reward来优化自身的策略。

强化学习的训练通常需要agent大量地与环境进行交互，产生训练的样本。而在接入真实游戏环境进行训练的过程中，由于游戏运行速度的限制，agent和真实环境的交互效率极低，产生样本的速度严重受限，这就造成接入真实游戏环境进行强化学习AI模型训练需要耗费大量时间，通常需要几十个小时的时间才能完成一个场景的AI模型的训练。有鉴于此，本公开技术方案提供了基于模拟环境的深度强化学习AI模型训练方法。首先构建一个简单的模拟游戏环境，然后在模拟游戏环境中训练AI模型，最后将AI模型应用到真实游戏环境中。

如图1所示，系统架构100可以包括客户端110、网络120和服务端130。客户端110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种终端设备。服务端130可以包括网络服务器、应用服务器、数据库服务器等各种服务器设备。网络120可以是能够在客户端110和服务端130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路、无线通信链路等等。

根据实现需要，本公开实施例中的系统架构可以具有任意数目的客户端、网络和服务端。例如，服务端130可以是由多个服务器设备组成的服务器群组。另外，本公开实施例提供的技术方案可以应用于客户端110，也可以应用于服务端130，或者可以由客户端110和服务端130共同实施，本公开对此不做特殊限定。

举例而言，在客户端110上可以运行一款游戏，该游戏内主要可以包括游戏行为主体和行为交互对象两种游戏元素，游戏行为主体通过执行游戏行为可以与行为交互对象进行行为交互。游戏行为主体、行为交互对象以及游戏内的游戏环境背景等游戏元素共同组成该游戏的真实游戏环境。本公开可以在服务端130创建与该游戏相对应的模拟游戏在模拟游戏内包括有多种模拟游戏元素，例如与游戏行为主体相对应的模拟行为主体、与行为交互对象相对应的模拟交互对象以及与游戏环境背景相对应的模拟环境背景等等。模拟行为主体、模拟交互对象以及模拟环境背景等模拟游戏元素共同组成该模拟游戏的模拟游戏环境。通过在模拟游戏环境内进行AI模型训练可以获得能够在原游戏内控制游戏行为主体执行游戏行为的行为模型。

以一款“跑酷”类游戏为例，图2A示出了真实游戏环境的用户界面示意图。如图2A中所示，在真实游戏环境中包括有作为游戏角色的能够执行游戏行为的游戏行为主体210以及可以与游戏行为主体210进行互动的行为交互对象220。用户利用界面上提供的虚拟控件230可以在游戏行为主体210不断向前奔跑的过程控制其做出“跳跃”、“下蹲”、“站起”等行为动作，行为交互对象220可以包括“地板”、“斜坡”等可供游戏行为主体210踩踏的奔跑平台，也可以包括“柱子”、“墙壁”等阻挡游戏行为主体210继续向前奔跑的障碍物。

图2B示出了与图2A中真实游戏环境相对应的模拟游戏环境示意图。该模拟游戏环境可以由用于进行模型训练的服务器进行构建。由图2A与图2B的对比可知，游戏行为主体210对应一游戏角色，而模拟行为主体240是用于模拟该游戏角色的具有规则几何形状的立方体结构。与之相应地，模拟游戏内的各个模拟交互对象250采用类似的立方体结构对真实游戏环境中的游戏交互对象220进行模拟。在模拟游戏环境中仅需要很少的计算资源便可以获得与真实游戏环境中相同的游戏行为执行效果，因此可以提高模型训练效率，降低模型训练成本。

图3A示意性地示出了利用模拟游戏环境进行AI模型训练的原理示意图。如图3A所示，基于神经网络建立的AI模型310可以持续地对模拟游戏环境320进行特征提取，对提取到的特征进行计算后可以再向模拟游戏环境320输出行为决策。基于行为决策在模拟游戏环境320执行相应的游戏行为后，又会影响模拟游戏环境320的环境状态，如此循环往复可以不断优化AI模型的模型参数。对AI模型进行的训练可以采用DQN(Deep Q-Learning)、PPO(Proximal Policy Optimization)、A2C(Advantage-Actor-Critic)等各种强化学习算法，训练完成后对AI模型进行保存可以得到模型参数文件330。

训练得到的AI模型可以应用到实际的真实游戏环境中进行AI自动化。图3B示意性地示出了训练得到的AI模型在真实游戏环境中的应用原理示意图。如图3B所示，通过神经网络基础架构加载模型参数文件330可以得到用于在真实游戏环境340中生成游戏行为的AI模型310，提取真实游戏环境340的特征数据输入至AI模型310后，可以由AI模型310进行游戏行为决策，以生成在真实游戏环境340中执行的游戏行为，进而控制真实游戏环境中的游戏行为主体根据环境状态自动化地做出“下蹲”、“站起”、“跳跃”等各种行为动作。如果在真实游戏环境中进行AI模型训练，每一帧游戏画面都需要完整地进行渲染，游戏内的所有游戏元素也都需要进行完整地加载，该训练过程也相当于游戏的真实运行过程，不仅训练效率低下，而且需要消耗大量的计算资源。本公开技术方案通过在服务器上创建模拟游戏，仅需要对模拟行为主体和模拟交互对象进行渲染，而且模拟行为主体和模拟交互对象具有结构简单的特点，可以极大地提高训练效率并降低计算资源的消耗。

下面结合具体实施方式对本公开提供的游戏行为生成模型的训练方法、游戏行为生成模型的训练装置、基于人工智能的游戏行为生成方法、基于人工智能的游戏行为生成装置、计算机可读介质以及电子设备做出详细说明。以下各个实施方式主要以“跑酷”类游戏为例进行说明，但本公开并不限于此。

图4示意性地示出了本公开一些实施例中用于训练行为模型的信息处理方法的步骤流程图。如图4所示，该方法主要可以包括以下步骤：

步骤S410.确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制所述游戏行为主体与所述行为交互对象进行行为交互的行为模型。

在游戏的真实游戏环境中包括有各种不同类型的环境元素，例如可以包括能够基于游戏行为产生行为交互的人物对象、物体对象等，另外也可以包括既不会受游戏行为影响也不会对游戏行为执行效果产生影响的其他元素，如环境背景、人物服装配饰、物体的表面装饰物等等。本步骤可以在真实游戏环境中确定能够对游戏行为的行为交互产生影响的游戏行为主体(如人物角色)以及行为交互对象(如地板、墙壁等)。行为模型可以控制游戏行为主体执行游戏行为，进而与行为交互对象进行行为交互，实现游戏AI的自动化行为决策。

步骤S420.创建与游戏行为主体相对应的模拟行为主体以及与行为交互对象相对应的模拟交互对象，并创建包括模拟行为主体和模拟交互对象的模拟游戏。

根据游戏行为主体在游戏中能够执行的游戏行为，可以创建一个与之对应的模拟行为主体，模拟行为主体能够执行相同的游戏行为。例如，在跑酷类游戏中，作为游戏行为主体的人物角色可以做出跳跃、下蹲、站起等行为动作，而模拟行为主体也可以做出相同的行为动作。在一些可选的实施方式中，本步骤可以先确定将游戏行为主体完全包容在内的包围盒(bounding box)，再创建与该包围盒具有相同结构的模拟行为主体。包围盒是用体积稍大且形状简单的几何体来近似代替复杂的几何对象，以便降低计算资源的消耗。与模拟行为主体的创建方式相类似的，本步骤可以创建与行为交互对象相对应的模拟交互对象，进而可以创建包括模拟行为主体和模拟交互对象的模拟游戏。步骤S430.通过行为模型控制模拟行为主体与模拟交互对象进行行为交互，以得到模拟游戏中形成的模拟游戏反馈信息。

在模拟游戏中，通过行为模型可以控制模拟行为主体与模拟交互对象进行行为交互。根据模拟行为主体与模拟交互对象的行为交互结果可以获得基于模拟游戏形成的模拟游戏反馈信息，模拟游戏反馈信息可以包括在模拟游戏中进行行为交互前以及行为交互后的游戏状态信息，还可以包括对行为交互效果的评价信息。例如，游戏状态信息可以是游戏画面的图像信息。行为交互效果的评价信息可以是根据模拟行为主体的状态而做出的游戏行为好坏的评价，例如在跑酷类游戏的模拟游戏中，如果模拟行为主体通过跳跃或者下蹲而成功地躲避障碍物，可以形成正面的评价信息；如果模拟行为主体被障碍物阻挡而无法继续前进，可以形成负面的评价信息。

步骤S440.根据模拟游戏反馈信息训练行为模型，以更新行为模型的模型参数。

通过持续运行模拟游戏，可以不断获得模拟行为主体与模拟交互对象进行行为交互形成的模拟游戏反馈信息，以这些模拟游戏反馈信息作为训练样本对行为模型进行训练，可以对行为模型的模型参数做出更新，以实现对行为模型决策能力的优化。举例而言，当模拟行为主体面对一作为障碍物的模拟交互对象时，行为模型控制模拟行为主体做出跳跃动作，导致模拟行为主体与模拟交互对象发生碰撞而无法继续前进，此时形成的模拟游戏反馈信息中可以包括对跳跃动作的负面评价信息。基于这一负面评价信息对行为模型的模型参数做出更新后，可以降低跳跃动作的选取概率，当模拟行为主体再次面对同样的障碍物时可以做出除跳跃动作之外的其他游戏动作(如下蹲动作)，从而成功地躲避障碍物。

在本公开实施例提供的信息处理方法中，通过创建与真实游戏环境相对应的模拟游戏环境，可以在模拟游戏环境中对行为模型进行训练，并且可以将训练好的行为模型再应用到真实游戏环境中。这种模型训练方法不仅可以提高模型训练速度，降低模型训练的资源消耗，而且可以通过环境调参提高模型的泛化能力，使游戏中的行为模型具有更广泛的普遍适用性。

在本公开的一些实施例中，在创建模拟游戏环境时，可以调整游戏引擎的参数以便对模拟游戏环境的运行速度进行加速(可以加速到真实游戏环境的数十倍甚至百倍速度运行)，从而极大提高环境交互效率。模拟游戏的运行速度可以包括模拟行为主体和模拟交互对象进行行为交互的行为交互速度。具体而言，本公开实施例可以首先获取游戏行为主体与行为交互对象在游戏中进行行为交互的行为交互速度，然后基于该行为交互速度创建包括模拟行为主体和模拟交互对象的模拟游戏，再将模拟行为主体和模拟交互对象在模拟游戏中的行为交互速度增大至目标速度。如果目标速度是原本行为交互速度的10倍，那么在真实游戏环境中，游戏行为主体前进特定距离需要1秒，而在模拟游戏环境中模拟行为主体前进相同距离只需要0.1秒。通过加快游戏运行速度，能够快速地产生大量的训练样本，进而加快AI模型的训练速度。以跑酷类游戏为例，在真实游戏环境中需要几十个小时才能完成的训练，在模拟游戏环境中仅需1～2小时即可完成。

针对模拟游戏环境中创建的模拟交互对象，可以进行适度调整，构建出相对更复杂的环境。具体而言，在创建模拟游戏之后，本公开实施例还可以调整模拟交互对象在模拟游戏环境中的分布数量和分布位置以增大模拟游戏环境的环境复杂度。针对模拟交互对象的分布数量，首先获取行为交互对象在游戏的各帧游戏画面中的平均分布数量，然后增加模拟交互对象在模拟游戏的各帧游戏画面的中的分布数量，使得该分布数量大于平均分布数量。例如游戏内行为交互对象在各游戏画面中的平均分布数量为3个，可以将模拟交互对象在模拟游戏的各帧游戏画面中的分布数量增大为4个。针对模拟交互对象的分布位置，首先获取相邻两个行为交互对象在游戏的各帧游戏画面中的平均间隔距离，然后减小相邻两个模拟交互对象在模拟游戏的各帧游戏画面中的间隔距离，以使间隔距离小于平均间隔距离。增加模拟交互对象的分布数量并减小间隔距离，可以提高模拟游戏环境的环境复杂度。通过提高模拟游戏环境的环境复杂度，可以使训练出的AI模型具有更好的泛化能力。

除了构建模拟游戏环境之外，在游戏引擎中可以配置用于控制模拟游戏环境的API接口，通过API接口采用远程过程调用协议(Remote Procedure Call Protocol，RPC)或者其他通信方式与模拟游戏环境进行交互。API接口主要有以下接口：

(1)Env._init_()→object

用于创建模拟游戏中的模拟行为主体和模拟交互对象。

(2)Env.reset()→None

用于重置模拟游戏环境。

(3)Env.step(action)→state,reward

用于通过行为模型控制模拟游戏环境中的模拟行为主体执行游戏动作，运行一个样本采集步骤或者模型训练步骤。输入要执行的游戏动作action，返回执行游戏动作后的环境状态state和反馈的行为激励reward。

(4)Env.close()

用于关闭销毁模拟游戏环境。

利用模拟游戏环境可以获得游戏运行过程中进行游戏行为交互时的模拟游戏反馈信息。图5示意性地示出了本公开一些实施例中获得模拟游戏反馈信息的步骤流程图。如图5所示，在以上各实施例的基础上，步骤S430.通过行为模型控制模拟行为主体与模拟交互对象进行行为交互，以得到模拟游戏中形成的模拟游戏反馈信息，可以包括以下步骤：

步骤S510.获取模拟游戏中的当前游戏状态信息。

在模拟游戏环境中运行游戏时，可以通过实时监测的方式获取模拟游戏环境中当前时刻下的当前游戏状态信息state，当前游戏状态信息state可以采用模拟游戏环境中运行游戏的视觉图像特征或者数据向量特征等形式进行表征。

步骤S520.通过行为模型对当前游戏状态信息进行映射处理，以得到当前游戏行为信息。

将当前游戏状态信息state输入至行为模型中，行为模型可以对其进行映射处理以得到游戏行为预测信息，例如行为模型可以采用具有多个全连接层的神经网络对当前游戏状态信息逐层进行特征映射，最终映射得到游戏行为预测信息。游戏行为预测信息可以是不同游戏行为的预测概率或者预测分数等信息。基于游戏行为预测信息可以从多种游戏行为中选取一种游戏行为作为当前游戏行为，并获取当前游戏行为信息action。以跑酷类游戏为例，行为模型可以经过特征映射得到跳跃动作、下蹲动作、站起动作等多种游戏行为的游戏行为预测信息。在当前游戏状态下，游戏角色面对一处障碍物，那么用户希望行为模型能够生成对应于“跳跃”动作的游戏行为，从而控制游戏角色越过障碍物继续向前奔跑。对于不同训练程度的模型而言，在面对相同的当前游戏状态时，可能生成不同类型的符合用户预期或者不符合用户预期的当前游戏行为。

步骤S530.根据当前游戏行为信息控制模拟行为主体与模拟交互对象进行行为交互，以得到行为交互结果。

基于步骤S520中确定的当前游戏行为信息，本步骤可以控制模拟行为主体与模拟交互对象进行行为交互，从而得到行为交互结果。其中，行为交互结果可以包括模拟行为主体的主体状态，例如在跑酷类游戏中，模拟行为主体对应的游戏角色在与模拟游戏环境中的各种模拟交互对象进行行为交互后可以出现继续奔跑前进、被障碍物阻挡而停止前进或者游戏角色死亡等多种主体状态。步骤S540.获取与行为交互结果相对应的当前行为激励信息，并获取模拟游戏中的下一游戏状态信息。

根据步骤S530中获得的行为交互结果，可以确定与之对应的当前行为激励信息reward，当前行为激励信息reward用于衡量当前行为交互结果符合用户预期的程度高低。符合用户预期的好的行为交互结果可以给予正向的行为激励，而不符合用户预期的坏的行为交互结果可以给予反向的行为激励。在一些可选的实施方式中，本步骤可以获取用于执行当前游戏行为的模拟行为主体的主体状态信息；然后确定与主体状态信息相关联的状态分数，并将状态分数作为当前行为激励信息reward。举例而言，在跑酷类游戏中，如果游戏角色保持前进，可以给予分值为0.1的当前行为激励信息；如果游戏角色被障碍物阻挡，可以给予分值为-0.1的当前行为激励信息；如果游戏角色死亡，可以给予-1.0的当前行为激励信息。在完成当前游戏行为的行为交互后，可以继续获取下一游戏状态信息，行为模型基于下一游戏状态信息又可以映射处理得到下一游戏行为信息，进而获得下一行为激励信息。如此循环往复可以不断产生用于训练行为模型的样本数据。

步骤S550.对当前游戏状态信息、当前游戏行为信息、当前行为激励信息以及下一游戏状态信息进行关联以得到模拟游戏反馈信息。

将以上步骤中获取到的相关信息进行关联后即得到模拟游戏反馈信息，进行信息关联的方式可以是将各个信息按照预设的排列顺序进行组合以形成一信息队列。例如，该信息队列可以表示为(s,a,r,s’)，其中s表示当前游戏状态信息state，a表示当前游戏行为信息action，r表示当前行为激励信息reward，s’表示下一游戏状态信息state。在模拟游戏环境中每一次游戏行为的行为交互都会产生一条模拟游戏反馈信息，采集这些模拟游戏反馈信息即组成用于训练行为模型的训练样本集S。

下面对游戏状态和游戏行为的确定方式做出详细说明。

图6示意性地示出了本公开一些实施例中获取当前游戏状态信息的步骤流程图。如图6所示，在以上各实施例的基础上，步骤S510.获取模拟游戏中的当前游戏状态信息，可以包括以下步骤：

步骤S610.确定模拟游戏的当前帧游戏画面，并对当前帧游戏画面进行图像采集以得到当前游戏图像。

在模拟游戏中可以配置一虚拟的图像采集相机，该图像采集相机可以从指定的图像采集位置和图像采集角度对模拟游戏的当前帧游戏画面进行图像采集。为了尽可能多的获取训练样本，本步骤可以先随机调整图像采集相机的图像采集位置，然后通过调整图像采集位置后的图像采集相机获取当前帧游戏画面的当前游戏图像。通过适度地随机调节图像采集相机上下、左右、远近位置，可以获得在图像内容上具有一定变化的当前游戏图像。如此一来，可以在同一模拟游戏环境中产生更加丰富多样的训练样本，使得训练出的AI模型具有更好的泛化性。图7示意性地示出了在模拟游戏环境中调整相机前后的对象变化示意图。如图7所示，通过调整图像采集相机，可以使模拟行为主体710以及模拟交互对象720在当前游戏图像中的位置和大小发生一定程度的变化。

步骤S620.对当前游戏图像进行对象识别，并根据对象识别结果调整当前游戏图像中各个像素点的像素值。

通过对当前游戏图像进行对象识别可以确定其中包括的模拟行为主体、模拟交互对象、模拟游戏背景等多种模拟游戏元素，根据对象识别结果可以对不同模拟游戏元素对应的像素点进行像素值调节。例如，将模拟游戏背景所在像素点的像素值调整为第一像素值，将模拟行为主体所在像素点的像素值调整为第二像素值，将模拟交互对象所在像素点的像素值调整为与对象类型相对应的第三像素值。通过像素值调节，可以简化当前游戏图像，摒除色彩差异等无关信息的干扰，提高特征提取的有效性和可靠性。举例而言，在一应用场景中，可以将游戏角色所在位置的像素值调整为150，将地板所在位置的像素值调整为255，将障碍物所在位置的像素值调整为100，将道具所在位置的像素值调整为220。

步骤S630.对调整像素值后的当前游戏图像进行特征提取以得到当前游戏状态信息。

本步骤可以通过卷积神经网络或者其他特征提取模型对当前游戏图像进行特征提取，经过特征提取后即得到当前游戏状态信息。例如，通过卷积神经网络中依次连接的多个卷积层对当前游戏图像进行卷积处理可以逐渐深入地提取当前游戏图像的深层特征，在每个卷积层之后，还可以通过池化层进行池化处理以压缩数据，减少参数量。

图8示意性地示出了本公开一些实施例中根据当前环境状态确定当前游戏行为的步骤流程图。如图8所示，在以上各实施例的基础上，步骤S520.通过行为模型对当前游戏状态信息进行映射处理，以得到当前游戏行为信息，可以包括以下步骤：

步骤S810.将当前游戏状态信息输入行为模型；其中，行为模型用于对至少两种候选游戏行为进行行为预测。

步骤S820.通过行为模型对当前游戏状态信息进行映射处理以预测每种候选游戏行为的行为价值信息。

步骤S830.根据行为价值信息选取一种候选游戏行为作为当前游戏行为，并获取当前游戏行为的当前游戏行为信息。

本公开实施例利用待训练的行为模型对当前游戏状态进行估计，从而决策得到一当前游戏行为。图9示意性地示出了本公开在一应用场景中对跑酷游戏的行为动作进行决策的原理示意图。如图9所示，首先将当前游戏状态信息输入到基于神经网络的行为模型中，通过神经网络进行特征映射后，可以输出得到四种不同行为动作的行为价值，即对应于“跳跃”动作的跳跃动作价值、对应于“下蹲”动作的下蹲动作价值、对应于“站起”动作的站起动作价值以及对应于“无动作”的无动作价值。

在确定各种游戏行为对应的行为价值后，可以采用不同的行为选取策略确定当前游戏行为。图10示意性地示出了本公开一些实施例中基于ε-greedy策略选取当前游戏行为的步骤流程图。如图10所示，在以上各实施例的基础上，步骤S830.根据行为价值选取一种游戏行为作为当前游戏行为，并在模拟游戏环境中执行当前游戏行为，可以包括以下步骤：

步骤S1010.分别确定随机行为选取策略和高价值行为选取策略的选取概率。

随机行为选取策略和高价值行为选取策略是两种不同的游戏行为选取策略。其中，随机行为选取策略指的是按照随机选取的方式从多种候选游戏行为中选取一种作为当前游戏行为。高价值行为选取策略指的是从多种候选游戏行为中选取行为价值最高的一种作为当前游戏行为。如果随机行为选取策略的选取概率为ε，那么高价值行为选取策略的选取概率可以相应确定为1-ε。

步骤S1020.根据选取概率确定用于选取当前游戏行为的当前选取策略。

每次在选取当前游戏行为前，可以先按照选取概率确定一种当前选取策略。例如，当ε取值为0.1时，有10％的概率采用随机行为选取策略作为当前选取策略，而有90％的概率采用高价值行为选取策略作为当前选取策略。又例如，当ε取值为0.01时，有1％的概率采用随机行为选取策略作为当前选取策略，而有99％的概率采用高价值行为选取策略作为当前选取策略。

步骤S1030.若当前选取策略为随机行为选取策略，则从至少两种候选游戏行为中随机选取一种候选游戏行为作为当前游戏行为。

如果当前选取策略为随机行为选取策略，那么本步骤可以采用等概率随机选取的方式在下蹲、站起、跳跃、无动作等多种候选游戏行为中随机选取一种候选游戏行为作为当前游戏行为。

步骤S1040.若当前选取策略为高价值行为选取策略，则从至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为当前游戏行为。

如果当前选取策略为高价值行为选取策略，那么本步骤将选取行为价值最高的一个游戏行为作为当前游戏行为。例如，在某一应用场景下，跳跃动作价值、下蹲动作价值、站起动作价值以及无动作价值分别被确定为5.0、10.0、-4.0和0.0，那么本步骤可以选取行为价值最高的下蹲动作作为当前游戏行为。

以模拟游戏反馈信息作为训练样本组成的训练样本集S可以对行为模型进行训练。在一些可选的实施方式中，作为训练样本的模拟游戏反馈信息可以包括具有关联关系的当前游戏状态信息、当前游戏行为信息、当前行为激励信息以及下一游戏状态信息。图11示意性地示出了以模拟游戏反馈信息作为训练样本进行模型训练的步骤流程图。如图11所示，在以上各实施例的基础上，步骤S440.根据模拟游戏反馈信息训练行为模型，以更新行为模型的模型参数，可以包括以下步骤：

步骤S1110.通过行为模型对当前游戏状态信息进行映射处理以得到与当前游戏行为信息相对应的实际行为价值信息。

将当前游戏状态信息s输入至行为模型中，经过特征映射后，可以由行为模型输出得到与当前游戏行为a相对应的实际行为价值信息Q(s,a)。

步骤S1120.通过行为模型对下一游戏状态信息进行映射处理以得到与下一游戏状态信息相对应的预测行为价值信息。

将下一游戏状态信息s’输入至行为模型中，经过特征映射后，可以得到多种候选游戏行为对应的行为价值，然后从中选取一个最高的行为价值作为与下一游戏状态信息s’相对应的预测行为价值信息max_aQ(s’,a)。

步骤S1130.根据当前行为激励信息、实际行为价值信息以及预测行为价值信息确定损失误差。

利用预设的损失函数可以对当前行为激励信息r、实际行为价值信息Q(s,a)以及预测行为价值信息max_aQ(s’,a)进行计算得到损失误差。例如可以采用如下损失函数Loss：

Loss＝(r+γ*max_aQ(s’,a)-Q(s,a))²

其中，γ为折扣系数，用于调节预测行为价值信息在当前时刻价值估计中的重要程度占比，例如γ可以取值为0.99。

步骤S1140.根据损失误差更新行为模型的模型参数。

利用损失函数计算得到的损失误差可以在神经网络中进行反向传播，以计算神经网络中各个模型参数w(即神经网络的网络参数)对应的误差梯度

然后利用如下公式对当前的模型参数w进行更新以得到更新后的模型参数w’：

其中，η为梯度下降算法中进行参数更新的学习率(learning rate)，可以根据实际训练需要在不同训练阶段动态配置不同的学习率，例如以取值1.0、0.1、0.01、0.001等等。

本公开实施例中进行模型训练可以采用批量梯度下降(Batch GradientDescent)、随机梯度下降(Stochastic Gradient Descent)或者小批量梯度下降(Mini-Batch Gradient Descent)等各种不同的梯度下降算法，本公开对此不做特殊限定。

在模拟游戏环境中训练得到的行为模型可以应用于真实游戏环境中用以控制游戏中的游戏行为主体和行为交互对象进行行为交互，图12示意性地示出了本公开一些实施例中用于游戏行为交互的信息处理方法的步骤流程图。如图12所示，该方法主要可以包括以下步骤：

步骤S1210.确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制游戏行为主体与行为交互对象进行行为交互的行为模型；其中，行为模型是在与游戏相对应的模拟游戏中训练得到的；具体训练方法可以参考本公开以上各实施例。

步骤S1220.获取游戏的当前游戏状态信息，并将当前游戏状态信息输入至行为模型中。

步骤S1230.通过行为模型对当前游戏状态信息进行映射处理以得到至少两种候选游戏行为的行为价值信息。

步骤S1240.根据行为价值信息选取一种候选游戏行为，并基于候选游戏行为控制游戏行为主体与行为交互对象进行行为交互。

如图13所示，通过加载在模拟游戏环境中训练得到的模型参数1310，可以完成对行为模型1320中DQN算法的初始化。

在终端设备1330上运行游戏时，行为模型1320可以实时地对游戏画面进行图像采集并对实时采集到的游戏图像进行特征提取。特征提取的方式应当与模拟游戏环境中的训练过程保持一致，亦即忽略游戏图像中的环境背景等无关元素，而仅对与游戏行为相关的部分进行特征提取。例如，图14A示出了在一应用场景中采集游戏图像的效果示意图，在对其进行特征提取时，仅考虑游戏对象1410所在的区域。

将提取到的特征输入至DQN算法的神经网络中，可以对游戏行为作出决策，选取“跳跃”、“下蹲”、“站起”、“无动作”等行为动作的其中一个。行为模型1320可以将选取的动作转化为触屏操作并在终端设备1330上执行相应的触屏操作。图14B示出了在一应用场景中进行触屏操作转化的效果示意图。如图14B所示，“跳跃”动作可以转化为触屏点击跳跃按钮1420，“下蹲”动作可以转化为触屏下压下蹲按钮1430，“站起”动作可以转化为触屏松开下蹲按钮1430，“无动作”则表示不需要执行任何触屏操作。

本公开实施例提供的基于模拟游戏环境的深度强化学习AI模型训练，通过加速环境的运行速度，加快样本生成速度，可以大幅缩短模型的训练时间。在使用模拟游戏环境训练过程中，通过动态调节一些环境的参数，让环境有适当变化，训练的模型有更好的泛化性。模型训练完成后，接入到真实游戏环境中，使用同样的特征输入，可应用于游戏的AI自动化。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的游戏行为生成模型的训练以及基于人工智能的游戏行为生成方法。对于本公开装置实施例中未披露的细节，请参照本公开上述相关方法的实施例。

图15示意性地示出了在本公开一些实施例中用于行为模型训练的信息处理装置的结构框图。如图15所示，信息处理装置1500主要可以包括：

第一模型获取模块1510，被配置为确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制游戏行为主体与行为交互对象进行行为交互的行为模型；

模拟游戏创建模块1520，被配置为创建与游戏行为主体相对应的模拟行为主体以及与行为交互对象相对应的模拟交互对象，并创建包括模拟行为主体和模拟交互对象的模拟游戏；

反馈信息获取模块1530，被配置为通过行为模型控制模拟行为主体与模拟交互对象进行行为交互，以得到模拟游戏中形成的模拟游戏反馈信息；

模型参数更新模块1540，被配置为根据模拟游戏反馈信息训练行为模型，以更新行为模型的模型参数。

在本公开的一些实施例中，基于以上各实施例，模拟游戏创建模块包括：

速度获取单元，被配置为获取游戏行为主体与行为交互对象在游戏中进行行为交互的行为交互速度；

游戏创建单元，被配置为基于行为交互速度创建包括模拟行为主体和模拟交互对象的模拟游戏；

速度增大单元，被配置为将模拟行为主体和模拟交互对象在模拟游戏中的行为交互速度增大至目标速度。

在本公开的一些实施例中，基于以上各实施例，信息处理装置还包括：

分布数量获取模块，被配置为获取行为交互对象在游戏的各帧游戏画面中的平均分布数量；

分布数量增加模块，被配置为增加模拟交互对象在模拟游戏的各帧游戏画面中的分布数量，以使分布数量大于平均分布数量。

间隔距离获取模块，被配置为获取相邻两个行为交互对象在游戏的各帧游戏画面中的平均间隔距离；

间隔距离减小模块，被配置为减小相邻两个模拟交互对象在模拟游戏的各帧游戏画面中的间隔距离，以使间隔距离小于平均间隔距离。

在本公开的一些实施例中，基于以上各实施例，反馈信息获取模块包括：

状态信息获取单元，被配置为获取模拟游戏中的当前游戏状态信息；

行为信息获取单元，被配置为通过行为模型对当前游戏状态信息进行映射处理，以得到当前游戏行为信息；

模拟行为交互单元，被配置为根据当前游戏行为信息控制模拟行为主体与模拟交互对象进行行为交互，以得到行为交互结果；

激励信息获取单元，被配置为获取与行为交互结果相对应的当前行为激励信息，并获取模拟游戏中的下一游戏状态信息；

信息关联单元，被配置为对当前游戏状态信息、当前游戏行为信息、当前行为激励信息以及下一游戏状态信息进行关联以得到模拟游戏反馈信息。

在本公开的一些实施例中，基于以上各实施例，状态信息获取单元包括：

游戏图像采集子单元，被配置为确定模拟游戏的当前帧游戏画面，并对当前帧游戏画面进行图像采集以得到当前游戏图像；

像素值调节子单元，被配置为对当前游戏图像进行对象识别，并根据对象识别结果调整当前游戏图像中各个像素点的像素值；

在本公开的一些实施例中，基于以上各实施例，游戏图像采集子单元包括：

相机获取子单元，被配置为获取模拟游戏中的图像采集相机；

位置调整子单元，被配置为随机调整图像采集相机的图像采集位置；

图像采集子单元，被配置为通过调整图像采集位置后的图像采集相机获取当前帧游戏画面的当前游戏图像。

在本公开的一些实施例中，基于以上各实施例，像素值调节子单元包括：

第一调整子单元，被配置为根据对象识别结果确定当前游戏图像中的模拟游戏背景，并将模拟游戏背景所在像素点的像素值调整为第一像素值；

第二调整子单元，被配置为根据对象识别结果确定当前游戏图像中的模拟行为主体，并将模拟行为主体所在像素点的像素值调整为第二像素值；

第三调整子单元，被配置为根据对象识别结果确定当前游戏图像中的模拟交互对象以及模拟交互对象的对象类型，并将模拟交互对象所在像素点的像素值调整为与对象类型相对应的第三像素值。

在本公开的一些实施例中，基于以上各实施例，行为信息获取单元包括：

信息输入子单元，被配置为将当前游戏状态信息输入行为模型；其中，行为模型用于对至少两种候选游戏行为进行行为预测；

映射处理子单元，被配置为通过行为模型对当前游戏状态信息进行映射处理以预测每种候选游戏行为的行为价值信息；

行为选取子单元，被配置为根据行为价值信息选取一种候选游戏行为作为当前游戏行为，并获取当前游戏行为的当前游戏行为信息。

在本公开的一些实施例中，基于以上各实施例，行为选取子单元包括：

策略确定子单元，被配置为根据选取概率确定用于选取当前游戏行为的当前选取策略；

第一选取子单元，被配置为若当前选取策略为随机行为选取策略，则从至少两种候选游戏行为中随机选取一种候选游戏行为作为当前游戏行为；

第二选取子单元，被配置为若当前选取策略为高价值行为选取策略，则从至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为当前游戏行为。

在本公开的一些实施例中，基于以上各实施例，激励信息获取单元包括：

主体状态确定子单元，被配置为根据行为交互结果确定模拟行为主体的主体状态信息；

状态分数确定子单元，被配置为确定与主体状态信息相关联的状态分数，并将状态分数作为与行为交互结果相对应的当前行为激励信息。

在本公开的一些实施例中，基于以上各实施例，模拟游戏反馈信息包括具有关联关系的当前游戏状态信息、当前游戏行为信息、当前行为激励信息以及下一游戏状态信息；模型参数更新模块包括：

实际行为价值获取单元，被配置为通过行为模型对当前游戏状态信息进行映射处理以得到与当前游戏行为信息相对应的实际行为价值信息；

预测行为价值获取单元，被配置为通过行为模型对下一游戏状态信息进行映射处理以得到与下一游戏状态信息相对应的预测行为价值信息；

损失误差确定单元，被配置为根据当前行为激励信息、实际行为价值信息以及预测行为价值信息确定损失误差；

模型参数更新单元，被配置为根据损失误差更新行为模型的模型参数。

图16示意性地示出了本公开一些实施例中用于在游戏中进行行为交互的信息处理装置的组成框图。如图16所示，信息处理装置1600主要可以包括：

第二模型获取模块1610，被配置为确定游戏中的游戏行为主体以及行为交互对象，并获取用于控制游戏行为主体与行为交互对象进行行为交互的行为模型；其中，行为模型是在与游戏相对应的模拟游戏中训练得到的；

游戏状态获取模块1620，被配置为获取游戏的当前游戏状态信息，并将当前游戏状态信息输入至行为模型中；

行为价值获取模块1630，被配置为通过行为模型对当前游戏状态信息进行映射处理以得到至少两种候选游戏行为的行为价值信息；

行为交互模块1640，被配置为根据行为价值信息选取一种候选游戏行为，并基于候选游戏行为控制游戏行为主体与行为交互对象进行行为交互。

本公开各实施例中提供的游戏行为生成模型的训练装置以及基于人工智能的游戏行为生成装置的具体细节已经在对应的方法实施例中进行了详细的描述，因此此处不再赘述。

需要说明的是，图17示出的电子设备的计算机系统1700仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图17所示，计算机系统1700包括中央处理单元(Central Processing Unit，CPU)1701，其可以根据存储在只读存储器(Read-Only Memory，ROM)1702中的程序或者从存储部分1708加载到随机访问存储器(Random Access Memory，RAM)1703中的程序而执行各种适当的动作和处理。在RAM 1703中，还存储有系统操作所需的各种程序和数据。CPU1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(Input/Output，I/O)接口1705也连接至总线1704。

以下部件连接至I/O接口1705：包括键盘、鼠标等的输入部分1706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1707；包括硬盘等的存储部分1708；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至I/O接口1705。可拆卸介质1711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1710上，以便于从其上读出的计算机程序根据需要被安装入存储部分1708。

特别地，根据本公开的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1709从网络上被下载和安装，和/或从可拆卸介质1711被安装。在该计算机程序被中央处理单元(CPU)1701执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种信息处理方法，其特征在于，包括：

2.根据权利要求1所述的信息处理方法，其特征在于，所述创建包括所述模拟行为主体和所述模拟交互对象的模拟游戏，包括：

获取所述游戏行为主体与所述行为交互对象在所述游戏中进行行为交互的行为交互速度；

基于所述行为交互速度创建包括所述模拟行为主体和所述模拟交互对象的模拟游戏；

将所述模拟行为主体和所述模拟交互对象在所述模拟游戏中的行为交互速度增大至目标速度。

3.根据权利要求1所述的信息处理方法，其特征在于，在创建包括所述模拟行为主体和所述模拟交互对象的模拟游戏之后，所述方法还包括：

获取所述行为交互对象在所述游戏的各帧游戏画面中的平均分布数量；

增加所述模拟交互对象在所述模拟游戏的各帧游戏画面中的分布数量，以使所述分布数量大于所述平均分布数量。

4.根据权利要求1所述的信息处理方法，其特征在于，在创建包括所述模拟行为主体和所述模拟交互对象的模拟游戏之后，所述方法还包括：

获取相邻两个行为交互对象在所述游戏的各帧游戏画面中的平均间隔距离；

减小相邻两个模拟交互对象在所述模拟游戏的各帧游戏画面中的间隔距离，以使所述间隔距离小于所述平均间隔距离。

5.根据权利要求1所述的信息处理方法，其特征在于，所述通过所述行为模型控制所述模拟行为主体与所述模拟交互对象进行行为交互，以得到所述模拟游戏中形成的模拟游戏反馈信息，包括：

获取所述模拟游戏中的当前游戏状态信息；

通过所述行为模型对所述当前游戏状态信息进行映射处理，以得到当前游戏行为信息；

根据所述当前游戏行为信息控制所述模拟行为主体与所述模拟交互对象进行行为交互，以得到行为交互结果；

获取与所述行为交互结果相对应的当前行为激励信息，并获取所述模拟游戏中的下一游戏状态信息；

对所述当前游戏状态信息、所述当前游戏行为信息、所述当前行为激励信息以及所述下一游戏状态信息进行关联以得到模拟游戏反馈信息。

6.根据权利要求5所述的信息处理方法，其特征在于，所述获取所述模拟游戏中的当前游戏状态信息，包括：

确定所述模拟游戏的当前帧游戏画面，并对所述当前帧游戏画面进行图像采集以得到当前游戏图像；

对所述当前游戏图像进行对象识别，并根据对象识别结果调整所述当前游戏图像中各个像素点的像素值；

对调整像素值后的当前游戏图像进行特征提取以得到当前游戏状态信息。

7.根据权利要求6所述的信息处理方法，其特征在于，所述对所述当前帧游戏画面进行图像采集以得到当前游戏图像，包括：

获取所述模拟游戏中的图像采集相机；

随机调整所述图像采集相机的图像采集位置；

通过调整图像采集位置后的所述图像采集相机获取所述当前帧游戏画面的当前游戏图像。

8.根据权利要求6所述的信息处理方法，其特征在于，所述根据对象识别结果调整所述当前游戏图像中各个像素点的像素值，包括：

根据对象识别结果确定所述当前游戏图像中的模拟游戏背景，并将所述模拟游戏背景所在像素点的像素值调整为第一像素值；

根据对象识别结果确定所述当前游戏图像中的模拟行为主体，并将所述模拟行为主体所在像素点的像素值调整为第二像素值；

根据对象识别结果确定所述当前游戏图像中的模拟交互对象以及所述模拟交互对象的对象类型，并将所述模拟交互对象所在像素点的像素值调整为与所述对象类型相对应的第三像素值。

9.根据权利要求5所述的信息处理方法，其特征在于，所述通过所述行为模型对所述当前游戏状态信息进行映射处理，以得到当前游戏行为信息，包括：

将所述当前游戏状态信息输入所述行为模型；其中，所述行为模型用于对至少两种候选游戏行为进行行为预测；

通过所述行为模型对所述当前游戏状态信息进行映射处理以预测每种所述候选游戏行为的行为价值信息；

根据所述行为价值信息选取一种候选游戏行为作为当前游戏行为，并获取所述当前游戏行为的当前游戏行为信息。

10.根据权利要求9所述的信息处理方法，其特征在于，所述根据所述行为价值信息选取一种候选游戏行为作为当前游戏行为，包括：

分别确定随机行为选取策略和高价值行为选取策略的选取概率；

根据所述选取概率确定用于选取当前游戏行为的当前选取策略；

若所述当前选取策略为随机行为选取策略，则从所述至少两种候选游戏行为中随机选取一种候选游戏行为作为当前游戏行为；

若所述当前选取策略为高价值行为选取策略，则从所述至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为当前游戏行为。

11.根据权利要求5所述的信息处理方法，其特征在于，所述获取与所述行为交互结果相对应的当前行为激励信息，包括：

根据所述行为交互结果确定所述模拟行为主体的主体状态信息；

确定与所述主体状态信息相关联的状态分数，并将所述状态分数作为与所述行为交互结果相对应的当前行为激励信息。

12.根据权利要求1所述的信息处理方法，其特征在于，所述模拟游戏反馈信息包括具有关联关系的当前游戏状态信息、当前游戏行为信息、当前行为激励信息以及下一游戏状态信息；所述根据所述模拟游戏反馈信息训练所述行为模型，以更新所述行为模型的模型参数，包括：

通过所述行为模型对所述当前游戏状态信息进行映射处理以得到与所述当前游戏行为信息相对应的实际行为价值信息；

通过所述行为模型对所述下一游戏状态信息进行映射处理以得到与所述下一游戏状态信息相对应的预测行为价值信息；

根据所述当前行为激励信息、所述实际行为价值信息以及所述预测行为价值信息确定损失误差；

根据所述损失误差更新所述行为模型的模型参数。

13.一种信息处理方法，其特征在于，包括：

14.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至13中任意一项所述的信息处理方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至13中任意一项所述的信息处理方法。