CN116966574A - 非玩家角色的交互处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种非玩家角色的交互处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质；方法包括：获取虚拟场景中的非玩家角色的角色设定信息和模型信息；基于角色设定信息和模型信息生成非玩家角色的角色模型表征；获取虚拟场景中的玩家角色与非玩家角色之间的交互信息；基于角色模型表征和交互信息，确定非玩家角色的情绪特征参数；基于所述情绪特征参数生成交互文本，并基于交互文本生成非玩家角色的外观特征参数；基于外观特征参数，控制非玩家角色进行交互响应。通过本申请，能够提升非玩家角色的交互响应的真实性。

Description

非玩家角色的交互处理方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术，尤其涉及一种非玩家角色的交互处理方法、装置、电子设备及存储介质。

背景技术

在目前游戏中，非玩家角色(NPC，Non-Player Character)承担了引导玩家行为、推进游戏进程，是助力玩家深入体验游戏、融入游戏世界的关键因素之一。在现代游戏设计中，除开角色外形设计和模型制作外，非玩家角色的内在性格、交流反馈、表情动作、语音语调等都依赖人工制作脚本、策略，非玩家角色对于玩家的交互十分生硬和固定。人工对非玩家角色的交互进行设置，需要消耗极大的人力物力。

相关技术中，暂无较好的方式能够提升非玩家角色的交互响应的真实性，并降低非玩家角色的交互响应所需的成本。

发明内容

本申请实施例提供一种非玩家角色的交互处理方法、装置、电子设备及计算机可读存储介质、计算机程序产品，能够节约获取交互相应所需的资源，并提升非玩家角色的交互响应的真实性。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种非玩家角色的交互处理方法，所述方法包括：

获取虚拟场景中的非玩家角色的角色设定信息和模型信息；

基于所述角色设定信息和所述模型信息生成所述非玩家角色的角色模型表征；

获取所述虚拟场景中的玩家角色与所述非玩家角色之间的交互信息；

基于所述角色模型表征和所述交互信息，确定所述非玩家角色的情绪特征参数；

基于所述情绪特征参数生成交互文本，并基于所述交互文本生成所述非玩家角色的外观特征参数；

基于所述外观特征参数，控制所述非玩家角色进行交互响应。

本申请实施例提供一种非玩家角色的交互处理装置，包括：

角色表征模块，用于获取虚拟场景中的非玩家角色的角色设定信息和模型信息；

所述角色表征模块，用于基于所述角色设定信息和所述模型信息生成所述非玩家角色的角色模型表征；

情绪分类模块，用于获取所述虚拟场景中的玩家角色与所述非玩家角色之间的交互信息；

所述情绪分类模块，用于基于所述角色模型表征和所述交互信息，确定所述非玩家角色的情绪特征参数；

交互响应模块，用于基于所述情绪特征参数生成交互文本，并基于所述交互文本生成所述非玩家角色的外观特征参数；

所述交互响应模块，用于基于所述外观特征参数，控制所述非玩家角色进行交互响应。

本申请实施例提供一种电子设备，所述电子设备包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的非玩家角色的交互处理方法。

本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于被处理器执行时，实现本申请实施例提供的非玩家角色的交互处理方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的非玩家角色的交互处理方法。

本申请实施例具有以下有益效果：

通过将非玩家角色的角色设定信息和模型信息转换为角色模型表征，基于角色模型表征和交互信息确定非玩家角色针对交互所响应的外观特征参数，使得不同的非玩家角色所响应的情绪特征参数与其角色设定信息和模型信息相关联，非玩家角色的交互响应更符合其角色设定信息和模型信息，提升了交互响应的真实性。通过情绪特征参数生成交互文本，并基于交互文本确定外观特征参数，使得非玩家角色的交互响应包括对话、模型不同模态的响应行为，使得非玩家角色的响应更生动，提升虚拟场景的真实性。通过人工智能方式生成非玩家角色的情绪特征参数、交互文本、外观特征参数，节约了设置非玩家角色的交互响应所需的成本、计算资源。

附图说明

图1是本申请实施例提供的非玩家角色的交互处理方法的应用模式示意图；

图2是本申请实施例提供的电子设备的结构示意图；

图3A至图3F是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；

图4是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；

图5A和图5B是本申请实施例提供的虚拟场景的示意图；

图6是本申请实施例提供的非玩家角色的交互处理系统的示意图；

图7A是本申请实施例提供的情绪预测模型的结构示意图；

图7B是本申请实施例提供的表情动作预测模型的结构示意图；

图8A至图8C是本申请实施例提供的人机交互界面的示意图；

图9是本申请实施例提供的人机交互界面的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

需要指出，本申请书中相关数据收集处理(例如：玩家角色与非玩家角色之间的交互信息)在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)大型语言模型(Large Language Models，LLM)：简称为语言模型，能够处理和生成自然语言的机器学习模型，例如基于变换器的双向编码器(Bidirectional EncoderRepresentation from Transformers，BERT)模型，生成预训练模型(Generate Pre-Training Model，GPT)模型。语言模型的预测任务可以包括文本分类、完型填空、问答、简历评价等。

2)生成式预训练模型(General Pre-Training，GPT)：是基于信息转换器(Transformer)的生成模型，通常用于生成文本内容。

3)响应于：用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

4)虚拟场景：是应用程序在终端设备上运行时显示(或提供)的场景。该虚拟场景可以是对真实世界的仿真环境，也可以是半仿真半虚构的虚拟环境，还可以是纯虚构的虚拟环境。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种，本申请实施例对虚拟场景的维度不加以限定。例如，虚拟场景可以包括天空、陆地、海洋等，该陆地可以包括沙漠、城市等环境元素，玩家可以控制玩家角色在该虚拟场景中进行移动。

5)玩家角色(Player-Controlled Character，PCC)：指游戏中由玩家操控的角色，玩家角色可以是虚拟场景中的一个虚拟的用于代表玩家的虚拟形象，例如虚拟人物、虚拟动物、动漫人物等，玩家角色在虚拟场景中具有自身的形状和体积，占据虚拟场景中的一部分空间。

6)非玩家角色(Non-Player Character，NPC)：指游戏中不受玩家控制的角色，NPC一般由计算机的人工智能控制，是拥有自身行为模式的角色。可以分为剧情NPC、战斗NPC和服务NPC等，有时也会有兼具多种功能的NPC，其中，剧情NPC及服务NPC通常不属于可攻击对象，或者属于可攻击对象但不主动攻击。此外，某些NPC会掉落道具，可以为玩家提供一些游戏信息，或触发剧情。

7)埋点：将文本对应的每个字符与情绪分类、情绪强度关联的操作，或者将文本对应的语言音频中每个字符对应的音频的时间信息与情绪分类、情绪强度关联的操作。

8)情绪类型，情绪是一系列主观认知经验的通称，是人对客观事物的态度体验以及相应的行为反应，情绪类型是人对客观事物的反应对应的类型，例如：开心、悲伤、惊讶、愤怒等。本申请实施例中非玩家角色的情绪是通过控制非玩家角色对真实人类的情绪进行模拟得到的。

9)情绪强度，情绪强度是将情绪表现程度量化的参数，不同情绪强度对应的行为的强度不同，例如：情绪类型为开心，开心对应的情绪强度的取值范围是0至1，开心对应的动作(或者行为)包括：微笑、大笑等。大笑对应的情绪强度大于微笑。

相关技术中，游戏虚拟场景中，非玩家角色承担了引导玩家行为、推进游戏进程，是助力玩家深入体验游戏、融入游戏世界的关键因素之一。在现代游戏设计中，除开角色外形设计和模型制作外，非玩家角色的内在性格、交流反馈、表情动作、语音语调等都依赖人工制作脚本、策略，消耗了极大的人力物力，且非玩家角色对于玩家的交互十分生硬和固定。

本申请实施例提供一种非玩家角色的交互处理方法、非玩家角色的交互处理装置、电子设备和计算机可读存储介质及计算机程序产品，能够节约获取交互相应所需的资源，并提升非玩家角色的交互响应的真实性。

下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)、车载终端、虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备等各种类型的用户终端)，也可以实施为服务器。下面，将说明设备实施为终端设备或服务器时示例性应用。

参考图1，图1是本申请实施例提供的非玩家角色的交互处理方法的应用模式示意图；示例的，图1中涉及服务器200、网络300及终端设备400、数据库500。终端设备400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。

在一些实施例中，服务器200可以是游戏服务器，终端设备400是玩家所使用的终端设备，数据库500是游戏数据库，存储有非玩家角色的角色设定信息和模型信息，以下结合上文举例进行说明。

示例的，玩家通过终端设备400控制玩家角色在虚拟场景中与非玩家角色进行交互，服务器200调用本申请实施例提供的非玩家角色的交互处理方法，基于角色设定信息和模型信息确定非玩家角色的角色模型表征，基于交互信息、非玩家角色的角色模型表征生成非玩家角色的情绪特征参数，基于情绪特征参数生成交互文本，基于交互文本确定外观特征参数，并基于外观特征参数控制非玩家角色执行交互响应，将非玩家角色执行交互响应的图像数据发送至终端设备400，以使玩家可以观看到玩家角色与非玩家角色进行交互的画面。

在一些实施例中，针对终端设备400和服务器200协同实施的方案，主要涉及两种游戏模式，分别为本地游戏模式和云游戏模式，其中，本地游戏模式是指终端设备和服务器协同运行游戏处理逻辑，玩家在终端设备中输入的操作指令，部分由终端设备运行游戏逻辑处理，另一部分由服务器运行游戏逻辑处理，并且，服务器运行的游戏逻辑处理往往更复杂，需要消耗更多的算力；云游戏模式是指完全由服务器运行游戏逻辑处理，并由云端服务器将游戏场景数据渲染为音视频流，并通过网络传输至终端设备显示。终端设备只需要拥有基本的流媒体播放能力与获取玩家的操作指令并发送给服务器的能力。

本申请实施例可以通过人工智能(Artificial Intelligence，AI)实现，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例可以通过数据库技术实现，数据库(Database)，简而言之可视为电子化的文件柜存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

数据库管理系统(Database Management System，DBMS)是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML(Extensible Markup Language，即可扩展标记语言)；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如结构化查询语言(Structured Query Language，SQL)、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。

本申请实施例，还可以通过云技术实现，云技术(Cloud Technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，将来每个物品都有可能存在自己的哈希编码识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

在一些实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。电子设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。

在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的非玩家角色的交互处理方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如游戏APP或者即时通信APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。

参见图2，图2是本申请实施例提供的电子设备的结构示意图，电子设备可以是图1中的服务器200，图2所示的服务器200包括：至少一个处理器410、存储器450、至少一个网络接口420。服务器200中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(Digital Signal Processor，DSP)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器450中的非玩家角色的交互处理装置455，其可以是程序和插件等形式的软件，包括以下软件模块：角色表征模块4551、情绪分类模块4552、交互响应模块4553。这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的非玩家角色的交互处理方法。

下面，说明本申请实施例提供的非玩家角色的交互处理方法，如前，实现本申请实施例的非玩家角色的交互处理方法的电子设备可以是终端、服务器，又或者是二者的结合。因此下文中不再重复说明各个步骤的执行主体。

参见图3A，图3A是本申请实施例提供的非玩家角色的交互处理方法的流程示意图，将结合图3A示出的步骤进行说明。

在步骤301中，获取虚拟场景中的非玩家角色的角色设定信息和模型信息。

示例的，假设虚拟场景是游戏场景，则角色设定信息一般是游戏策划人员针对非玩家角色撰写的文本信息，角色设定信息包括以下参数：人物的年龄、性别、非玩家角色的角色性格、在虚拟场景中的重要性、非玩家角色在虚拟场景中的角色地位。模型信息包括以下参数：模型形象参数、模型坐标参数。

示例的，模型形象参数是指非玩家角色的模型的穿着以及形态，例如：模型形象参数包括：非玩家角色的模型形象模拟真实人类，穿着虚拟场景中预配置的衣服。模型坐标参数包括非玩家角色的模型中每个部分在虚拟场景中所处的位置。

在步骤302中，基于角色设定信息和模型信息生成非玩家角色的角色模型表征。

示例的，角色模型表征是特征向量形式的，可以将角色设定信息和模型信息分别转换为向量形式，并将转换得到的向量拼接得到角色模型表征。

在一些实施例中，参考图3B，图3B是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；图3A中的步骤302可以通过图3B中的步骤3021至步骤3023实现，以下具体说明。

在步骤3021中，对角色设定信息中的每项参数组合得到的向量进行归一化，得到角色设定特征向量。

示例的，角色设定信息一般是游戏策划人员撰写的文本，将角色设定信息的文本中每个字符转换为对应的词向量，可以通过词向量模型实现，例如Word2vec模型，对每个字符的词向量组合得到的向量进行归一化，得到角色设定特征向量。

在步骤3022中，对模型信息中的每项参数组合得到的向量进行归一化，得到模型特征向量。

示例的，模型信息包括以下参数：模型形象参数、模型坐标参数。模型形象参数可以是非玩家角色的角色模型在虚拟场景中所穿着的预配置部件的标识、穿戴部位的编号，预配置部件包括非玩家角色的衣服、鞋子、装饰物等。穿戴部位包括：头、身体、脚部、手部等。模型坐标参数是非玩家角色的角色模型的每个部分在虚拟场景中的坐标值。

作为将模型信息中每项参数组合为向量示例，假设，角色模型的中心在虚拟场景的坐标是(10，20，50)，穿戴3号鞋子，5号衣服，例如：每项参数组合得到的向量为(x10，y20，z50，shoes3，clothing5)，对该向量进行归一化处理，得到模型特征向量。

在步骤3023中，将角色设定特征向量、模型特征向量拼接为非玩家角色的角色模型表征。

示例的，角色模型表征以向量形式表征，拼接的方式可以是将角色设定特征向量、模型特征向量组合为一个完整的角色模型表征，或者，分别将角色设定特征向量、模型特征向量与预配置的权重值相乘，再将相乘得到的向量拼接为角色模型表征。

本申请实施例中，通过结合角色设定信息、模型信息获取角色模型表征，使得基于角色模型表征确定的交互响应与非玩家角色的角色设定以及模型信息相互关联，提升交互响应的真实感，通过将角色设定信息、模型信息转换为特征向量形式，便于与玩家角色的交互信息进行融合，提升计算效率。

继续参考图3A，在步骤303中，获取虚拟场景中的玩家角色与非玩家角色之间的交互信息。

示例的，交互信息的类型包括：对话信息与操作行为信息。对话信息可以是文本形式的，操作行为信息可以是操作行为的标识、操作行为的描述文本。

在一些实施例中，步骤303可以通过以下方式实现：获取以下信息至少之一：虚拟场景中的玩家角色针对非玩家角色的操作行为信息，虚拟场景中的玩家角色与非玩家角色之间的对话信息；将对话信息与操作行为信息至少之一作为交互信息。

示例的，操作行为信息可以是操作行为对应的文本，玩家角色针对非玩家角色的操作行为信息的文本例如：“玩家角色进入非玩家角色周围的预设范围”、“玩家角色向非玩家角色执行标识为1的互动行为”，其中，互动行为的类型例如：问好、告别、肢体接触等。对话信息可以是玩家角色与非玩家角色之间的对话文本。

示例的，将对话信息与操作行为信息至少之一作为交互信息，也即，对话信息与操作行为信息可以均作为交互信息，或者将二者之一作为交互信息。

在步骤304中，基于角色模型表征和交互信息，确定非玩家角色的情绪特征参数。

示例的，情绪是一系列主观认知经验的通称，是人对客观事物的态度体验以及相应的行为反应，情绪特征参数是控制非玩家角色模拟真实人类情绪的参数，情绪特征参数包括：情绪类型和情绪强度，情绪类型指非玩家角色模拟真实人类的情绪类型，情绪类型例如：开心、悲伤、生气、惊讶等，情绪强度是将情绪表现程度量化的参数，例如：开心的程度、生气的程度等。基于角色模型表征和交互信息，确定非玩家角色的情绪特征参数，也即，模拟出该角色模型表征的非玩家角色，针对交互信息所反馈的情绪，并将情绪量化为情绪特征参数。

在一些实施例中，参考图3C，图3C是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；图3A中的步骤304可以通过图3C中的步骤3041至步骤3044实现，以下具体说明。

在步骤3041中，对交互信息的文本进行编码，得到第一编码向量，对角色模型表征进行编码，得到第二编码向量。

示例的，编码通过情绪预测模型的第一语言模型实现，下文的情绪类型分类通过情绪预测模型的第一分类器实现，情绪强度分类通过情绪预测模型的第二分类器实现。第一语言模型可以是预训练语言模型(例如bert模型)。编码可以通过预训练语言模型中的编码器实现，编码器将文本中每个字符转换为对应的特征值，将每个特征值组合为第一编码向量。

参考图7A，图7A是本申请实施例提供的情绪预测模型的结构示意图；情绪预测模型701A包括第一语言模型702A、第一分类器703A、第二分类器704A。第一分类器703A、第二分类器704A共用一个第一语言模型702A的输出结果，第一分类器703A、第二分类器704A的分类功能不同。

示例的，角色模型表征以特征向量形式表征，也可以将角色模型表征直接作为第二编码向量。

在步骤3042中，拼接第一编码向量和第二编码向量，得到第一拼接向量。

示例的，向量之间的拼接方式参考步骤3023，此处不再赘述。

在步骤3043中，对第一拼接向量进行情绪类型分类，得到非玩家角色属于每种预配置情绪类型的概率，并选取概率最高的预配置情绪类型作为非玩家角色的情绪类型。

示例的，情绪类型包括：高兴、惊讶、悲伤、中性、厌恶、恐惧、愤怒。

在步骤3044中，对第一拼接向量进行情绪强度分类，得到非玩家角色属于每种预配置情绪强度的概率，并选取概率最高的预配置情绪强度作为非玩家角色的情绪强度。

示例的，情绪强度的取值范围是1至0，其中，1的强度最高。本申请实施例中以每个情绪强度之间距离0.1，包括0.1至1十个不同的情绪强度类型为例进行说明。

本申请实施例中，通过角色模型表征和交互信息预测情绪强度、情绪类型，将真实场景中的人类的情绪量化，使得非玩家角色能够模拟真实场景中的人类情绪，提升非玩家角色的交互响应的真实程度。

继续参考图3A，在步骤305中，基于所述情绪特征参数生成交互文本。

示例的，交互文本是每个字符携带情绪类型和情绪强度的对话文本，用于作为非玩家角色响应玩家角色的文本。对话文本可以基于交互信息生成。

在一些实施例中，参考图3D，图3D是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；图3A中的步骤305可以通过图3D中的步骤3051至步骤3053实现，以下具体说明。

在步骤3051中，基于角色模型表征和交互信息的文本进行文本预测，得到非玩家角色的对话文本。

示例的，将角色模型表征和交互信息的文本编码，得到对应的特征向量，基于特征向量预测预设词表中每个词作为对话文本的内容的概率，得到用于响应交互信息的对话文本。

在一些实施例中，参考图3E，图3E是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；图3D中的步骤3051可以通过图3E中的步骤30511至步骤30514实现，以下具体说明。

在步骤30511中，对交互信息的文本进行编码，得到第一编码向量，对角色模型表征对应的角色设定信息的文本进行编码，得到第四编码向量。

示例的，文本预测通过表情动作预测模型的第二语言模型实现，下文的针对表情类型的分类通过表情动作预测模型的第三分类器实现，针对动作类型的分类通过表情动作预测模型的第四分类器实现；第二语言模型可以是生成式预训练模型(GPT，General Pre-Training)：是基于信息转换器(Transformer)的生成模型，通常用于生成文本内容。

参考图7B，图7B是本申请实施例提供的表情动作预测模型的结构示意图；表情动作预测模型701B包括第二语言模型702B、第三分类器703B、第四分类器704B。第三分类器703B、第四分类器704B共用一个第二语言模型702B的输出结果，第三分类器703B、第四分类器704B的分类功能不同。

在步骤30512中，拼接第一编码向量和第四编码向量，得到第二拼接向量。

示例的，向量之间的拼接方式参考步骤3023，此处不再赘述。

在步骤30513中，基于第二拼接向量和预设词表执行多个层次的概率预测，得到预设词表中每个字符在对话文本中的每个位置的出现概率。

这里，层次的数量与对话文本的字符数量相同。

例如：预先配置非玩家角色的对话文本的最大字符数量为N，N是正整数，则最多执行N次概率预测，第1次概率预测的过程可以是：第三分类器基于第二拼接向量预测预设词表中的每个字符在对话文本中的第一个位置的出现概率。

在步骤30514中，根据每个层次的概率预测的执行顺序，将每次概率预测得到的最高出现概率的字符组合为非玩家角色的对话文本。

示例的，选取第1次概率预测得到最高出现概率对应的字符，选取第2次概率预测得到最高出现概率对应的字符，依次类推，直至选取第N次概率预测得到最高出现概率对应的字符，将每个选到的字符根据概率预测的执行顺序组合为非玩家角色的对话文本。

继续参考图3D，在步骤3052中，获取对话文本的每个字符对应的时间戳。

示例的，每个字符对应的时间戳可以是预先配置的，例如：每个字符对应的预设时长相等，获取文本的总时长，并根据字符在文本中的先后顺序对字符分配先后的时间戳，预设时长可以是0.5秒，则文本中第一个字对应的预设时长是0秒至0.5秒。再例如：每个字符根据词性分配对应的预设时长，其中，感叹词对应的预设时长大于实体词的预设时长，将每个字符依次对应的预设时长相加得到文本的总时长，并根据字符在文本中的先后顺序对字符分配先后的时间戳。

在步骤3053中，根据预配置的映射关系表，将每个字符对应的时间戳与对应的情绪类型和情绪强度组合为交互文本。

这里，映射关系表包括以下参数之间的映射关系：情绪类型、情绪类型对应的情绪强度、情绪类型的持续时长。

示例的，交互文本是携带情绪类型和情绪强度的对话文本。根据预测得到每个情绪类型的顺序，将每个情绪类型对应的持续时长依次组合，得到每个情绪类型的作用时间段，将对话文本对应的时间与每个情绪类型的作用时间段匹配，得到每个字符对应的时间戳关联的情绪类型。

参图8C，图8C是本申请实施例提供的人机交互界面的示意图；人机交互界面808展示了交互文本“我真的没有想到，你竟然做出如此过分的事情”的埋点信息，交互文本整体对应的动作是惊讶动作，“我真的没有想到”对应惊讶表情(惊讶情绪类型)，强度0.8；“你竟然做出”对应愤怒表情(愤怒情绪类型)，强度0.4，“如此过分的事情”对应恐惧表情(恐惧情绪类型)，强度0.6。

继续参考图3A，在步骤306中，基于交互文本生成非玩家角色的外观特征参数。

示例的，外观特征参数是用于控制非玩家角色的模型在虚拟场景中一切可视化行为的参数，可视化行为包括：非玩家角色的模型的动作或者表情。外观特征参数包括：表情参数、动作参数。表情参数用于控制非玩家角色的脸部进行动作，以形成模拟真实人类的表情。动作参数用于控制非玩家角色的躯体进行动作，以控制非玩家角色在虚拟场景中进行运动。交互文本是携带情绪类型和情绪强度的对话文本，可以将针对情绪类型预配置的表情参数作为非玩家角色的表情参数，将针对情绪强度预配置的动作参数作为非玩家角色的动作参数。

在一些实施例中，表情参数、动作参数与情绪特征参数(情绪类型、情绪强度)之间存在映射关系，可以根据交互文本、映射关系确定非玩家角色的表情参数和动作参数。

在一些实施例中，参考图3F，图3F是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；图3A中的步骤306可以通过图3F中的步骤3061至步骤3064实现，以下具体说明。

在步骤3061中，对交互文本中每个字符执行以下处理：对字符、字符关联的情绪类型和情绪强度进行编码，得到字符的第三编码向量。

示例的，编码可以通过上文的语言模型实现，例如bert模型，将字符对应的情绪表征为特征向量。

在步骤3062中，确定每个第三编码向量所属的表情类型，并将表情类型的预配置表情参数作为字符的表情参数。

示例的，可以通过分类器预测每个第三编码向量属于不同表情类型的概率，选取概率最高的表情类型作为第三编码向量所属的表情类型，并将概率最高的表情类型的预配置表情参数作为字符的表情参数。

在一些实施例中，假设表情类型的名称与情绪类型匹配，则可以直接将名称匹配的表情类型的预配置表情参数作为字符的表情参数。例如：情绪类型是恐惧，表情类型是恐惧表情。

在步骤3063中，确定每个第三编码向量所属的动作类型，并将动作类型的预配置动作参数作为字符的动作参数。

示例的，可以通过分类器预测每个第三编码向量属于不同动作类型的概率，选取概率最高的动作类型作为第三编码向量所属的动作类型，并将概率最高的动作类型的预配置动作参数作为字符的动作参数。

在一些实施例中，假设动作类型的名称与情绪类型匹配，则可以直接将名称匹配的动作类型的预配置动作参数作为字符的动作参数。例如：情绪类型是恐惧，动作类型是恐惧的动作。

在步骤3064中，根据每个字符在交互文本中的顺序，将每个字符对应的表情参数和动作参数组合为非玩家角色的表情参数和动作参数。

示例的，非玩家角色的表情参数和动作参数可以通过参数的映射关系表存储。例如：交互文本为“我真的没有想到”，映射关系包括交互文本中每个字、每个字对应的表情参数和动作参数。

继续参考图3A，在步骤307中，基于外观特征参数，控制非玩家角色进行交互响应。

示例的，交互响应包括非玩家角色的动作、表情、非玩家角色的交互文本。

在一些实施例中，步骤307可以通过以下方式实现：根据表情参数驱动非玩家角色在虚拟场景中的角色模型的面部执行表情响应；根据动作参数驱动非玩家角色在虚拟场景中的角色模型执行动作响应。

示例的，可以将表情参数、动作参数输入到虚拟场景对应的虚拟引擎中，以使非玩家角色在虚拟场景中的角色模型执行动作响应。参考图5A，图5A是本申请实施例提供的虚拟场景的示意图；图5A对应玩家一侧的人机交互界面，玩家角色502和非玩家角色501交互，非玩家角色501响应动作、表情、交互文本503，虚拟场景中显示非玩家角色501响应的动作、表情、交互文本503。参考图9，图9是本申请实施例提供的人机交互界面的示意图。人机交互界面901是虚拟场景的开发侧的人机交互界面。人机交互界面901中可以基于上文的动作参数、表情参数向技术人员展示非玩家角色所响应的交互动画902，技术人员可以对交互动画902进行评估，以确定是否可以应用在实际游戏中供玩家体验。

在一些实施例中，参考图4，图4是本申请实施例提供的非玩家角色的交互处理方法的流程示意图；在图3A中的步骤305之后，执行图4中的步骤308至步骤311，以下具体说明。

在步骤308中，获取交互文本中每个字符关联的参考音频数据。

示例的，数据库中存储有每个字符关联的参考音频数据，可以基于字符在数据库中检索到字符关联的参考音频数据。假设字符是中文字符，则参考音频数据可以是字符的中文普通话发音的音频数据。

在步骤309中，基于情绪特征参数，调整每个字符关联的参考音频数据对应的音频参数，得到每个字符的调整后音频数据。

这里，音频参数包括以下至少一项：音色、音调、播放速度、所叠加的音轨数量。情绪特征参数包括情绪类型和情绪强度。

示例的，通过调整音频参数可以使得调整后音频数据相较于原始的参考音频数据具有以下至少一种效果：变速(调整播放速度)、音调变化(调整音调)、音色变化(调整音色)。

示例的，将参考音频数据的音轨数量增多，并将其中至少一个音频相较于原始音频进行延迟，原始的参考音频数据和延迟的参考音频数据的声音叠加播放处理，根据延迟时间的不同，可分别产生合唱、回音等音效。

在步骤310中，获取在音轨中每两个字符音频数据之间的停顿时长。

示例的，停顿时长可以是相等的，或者根据字符的关联的情绪类型、情绪强度分配不同的停顿时长。

在步骤311中，根据交互文本中每个字符的顺序、每个停顿时长，组合每个字符的调整后音频数据，得到交互文本的调整后音频数据。

参图8A，图8A是本申请实施例提供的人机交互界面的示意图；人机交互界面803包括交互文本801，人机交互界面803是针对交互文本801的音频数据进行参数调整的界面，可以通过参数调整控件802中的每个控件对交互文本801“欢迎您的到来，用户，我是你的智能服务”中每个字符的对应的音频数据的参数进行调整。参数调整控件802包括：插入停顿、设置延迟、局部变速、局部变调、设定发音、朗读规则。

在一些实施例中，服务器和终端设备协同实现本申请实施例的非玩家角色的交互处理方法，图1中的服务器200将交互文本的语音音频数据发送至显示虚拟场景的终端设备400；终端设备400响应于基于外观特征参数，控制非玩家角色进行交互响应，终端设备同步播放交互文本对应的语音音频数据。

参考图5B，图5B是本申请实施例提供的虚拟场景的示意图；玩家角色502进入非玩家角色505周围的预设范围，非玩家角色505响应动作、表情、交互文本504“你在找什么？”，虚拟场景中显示非玩家角色505响应的动作、表情、交互文本504，用户的终端设备播放交互文本504对应的音频数据。

在一些实施例中，在步骤304之前，可以通过以下方式训练情绪预测模型：获取第一训练样本集合，其中，每个第一训练样本包括：非玩家角色的样本角色模型表征和样本交互信息以及实际情绪标签，实际情绪标签包括：实际情绪类型和实际情绪强度；基于第一训练样本集合调用初始化的情绪预测模型进行分类，得到非玩家角色的预测情绪标签，其中，预测情绪标签包括：预测情绪类型和预测情绪强度；基于预测情绪标签与实际情绪标签之间的差异，确定初始化的情绪预测模型的第一损失函数；基于第一损失函数更新初始化的情绪预测模型的参数，得到训练后的情绪预测模型。

示例的，第一损失函数可以是交叉熵损失函数、相对熵损失函数，更新参数的方式可以是反向传播。

继续参考图7A，训练过程中，分别对第一分类器703A、第二分类器704A进行训练，可以通过以下方式实现：基于实际情绪类型、预测情绪类型之间的差异确定第一分类器703A的损失函数，基于第一分类器703A的损失函数对第一分类器703A进行参数更新。基于实际情绪强度、预测情绪强度之间的差异确定第二分类器704A的损失函数，基于第二分类器704A的损失函数对第二分类器704A进行参数更新。

在一些实施例中，在步骤306之前，可以通过以下方式训练表情动作预测模型：获取第二训练样本集合，其中，每个第二训练样本包括：多个样本交互信息、以及每个样本交互信息的实际响应标签，实际响应标签包括：实际动作类型和实际表情类型；基于第二训练样本集合调用初始化的表情动作预测模型进行分类，得到每个样本交互信息的预测响应标签，其中，预测响应标签包括：预测动作类型和预测表情类型；基于预测响应标签与实际响应标签之间的差异，确定初始化的情绪预测模型的第二损失函数；基于第二损失函数更新初始化的表情动作预测模型的参数，得到训练后的表情动作预测模型。

示例的，第二损失函数可以是交叉熵损失函数、相对熵损失函数，更新参数的方式可以是反向传播。

继续参考图7B，训练过程中，分别对第三分类器703B、第四分类器704B进行训练，可以通过以下方式实现：基于实际表情类型、预测表情类型之间的差异确定第三分类器703B的损失函数，基于第三分类器703B的损失函数对第三分类器703B进行参数更新。基于实际动作类型、预测动作类型之间的差异确定第四分类器704B的损失函数，基于第四分类器704B的损失函数对第四分类器704B进行参数更新。

通过将非玩家角色的角色设定信息和模型信息转换为角色模型表征，基于角色模型表征和交互信息确定非玩家角色针对交互所响应的情绪类型，使得不同的非玩家角色所响应的情绪类型、情绪强度与其角色设定信息和模型信息相关联，非玩家角色的交互响应更符合其角色设定信息和模型信息，提升了交互响应的真实性。通过情绪类型和情绪强度生成交互文本，并基于交互文本确定表情参数和动作参数，使得非玩家角色的交互响应包括对话、动作、表情不同模态的响应行为，使得非玩家角色的响应更生动，提升虚拟场景的真实性。通过人工智能方式生成非玩家角色的情绪分类、文本生成、表情参数和动作参数，节约了设置非玩家角色的交互响应所需的成本、计算资源。

下面，将说明本申请实施例非玩家角色的交互处理方法在一个实际的应用场景中的示例性应用。

在目前的游戏中，非玩家角色承担了引导玩家行为、推进游戏进程，是助力玩家深入体验游戏、融入游戏世界的关键因素之一。在现代游戏设计中，除开角色外形设计和模型制作外，非玩家角色的内在性格、交流反馈、表情动作、语音语调等都依赖人工制作脚本、策略，非玩家角色对于玩家的交互十分生硬和固定。非玩家角色的交互响应制作包括以下流程：由脚本策划负责撰写非玩家角色人物脚本，设计人物性格，规定人物说话内容等文字脚本，并且预设对话触发条件。在这之后，程序员通过人物脚本，对非玩家角色的各种动作、对话、表情设计交互触发决策树，玩家只有触发之后才会有相关的行为变化。这类方案动作、对话、表情预先配置的，工程量巨大，且对于玩家的真实感不高。现有技术中，非玩家角色行为决策树，通过脚本策划预设的各种条件，由玩家行为触发产生反馈。如果要模拟出逼真的行为模式，需要一颗无比庞大的行为决策树，这将花费不小的工作量。由模型师负责设计人物动作、表情等模型行为。由配音员对人物文字脚本进行配音。

制作非玩家角色的交互相应的这一系列工作费时费力，并且设计出的非玩家角色交互模式单一，响应方式单一，长期来看这会大大降低玩家对于游戏虚拟场景的观感，降低游戏虚拟场景的真实感。

在本申请实施例的非玩家角色的交互处理方法中，本申请实施例将性格合成、文字脚本、语音合成、动作预测、标签预测等方面整合到一起。通过多个可靠的模型的相互配合，对以上模块进行自动化生成，并整合成一个完整非玩家角色。基于本申请实施例的非玩家角色的交互处理方法控制的非玩家角色，具有极高智能性，能够对玩家的交互进行实时、非脚本的响应，且在交互中自动对动作、表情进行控制，并合成带有当前对话情绪的语音，极大提高玩家的真实感。

参考图6，图6是本申请实施例提供的非玩家角色的交互处理系统的示意图；将结合图6中的模块以及步骤进行解释说明。非玩家角色的交互处理系统包括：人物基础模型层601、情绪模型层602、对话交互层603、动作交互层603、驱动层604。在一些实施例中，非玩家角色在虚拟场景中的人物模型可以是3D模型、2D模型，本申请实施例中以3D模型为例进行说明。

人物基础模型层601，基于非玩家角色设定脚本、非玩家角色3D模型，执行步骤S611对非玩家角色进行人物建模，得到人物模型表征。

示例的，人物基础模型层601的输入内容包括：由脚本策划拟定好的非玩家角色人物设定脚本及非玩家角色人物3D模型。通过将非玩家角色的人物设定脚本、3D模型的参数进行建模表征，得到特征向量形式的人物模型表征。将人物模型表征和玩家输入的交互信息共同输入情绪模型层602。

在一些实施例中，人物设定脚本包括非玩家角色的属性参数，例如：人物的年龄、性别、性格、在游戏中的重要性和人物在该世界观下的角色地位等因素。非玩家角色人物3D模型的参数包括模型的外观参数。基于人物设定脚本及非玩家角色人物3D模型调用Word2vec模型(用来产生词向量的相关模型)，生成向量形式的人物模型表征。向量形式便于和玩家交互信息融合，并输入情绪模型层进行后续预测算法的执行。

情绪模型层602，基于人物模型表征、玩家交互信息，执行步骤S612调用情绪预测模型预测，得到情绪分类、情绪强度。

示例的，通过情绪模型层602对非玩家角色交互情绪进行情绪分类、情绪强度回归预测。情绪模型层602通过调用情绪预测模型对人物模型表征、玩家交互信息进行编码以及分类，得到情绪分类、情绪强度。情绪预测模型包括预训练语言模型(例如bert模型)、分类器。预训练语言模型用于对人物模型表征、玩家交互信息编码、解码，分类器用于执行针对特征向量的分类。参考图7A，图7A是本申请实施例提供的情绪预测模型的结构示意图；情绪预测模型701A包括第一语言模型702A、第一分类器703A、第二分类器704A。

情绪预测模型的训练样本包括：样本场景信息、样本人物模型表征、样本交互信息、样本的实际情绪分类、情绪强度；其中，样本场景信息包括：对话发生的时间、地点等信息，样本人物模型表征至少包括：参与交互的非玩家角色的性格相关的描述，样本交互信息包括：历史对话信息，包含上轮说话人和说话内容。

在一些实施例中，情绪预测模型可以是极限学习机(Extreme Learning Machine，ELM)或“超限学习机”是一类基于前馈神经网络(Feedforward Neuron Network，FNN)构建的机器学习系统或方法，适用于监督学习和非监督学习问题。训练后，能够具备对人物模型表征、玩家交互信息进行分类，得到非玩家角色与玩家交互信息关联的情绪分类、情绪强度。

对话交互层603，基于情绪分类、情绪强度、玩家交互信息，执行步骤S613生成交互文本，得到带有情绪化表达的非玩家角色交互对话语音。

示例的，对话交互层603将情绪模型层602的输出结果与玩家交互信息融合，生成交互文本。交互文本是带有情绪分类、强度打点的文本数据，基于交互文本调用语音生成模型，生成带有情绪化表达的非玩家角色的交互对话语音。

对话交互层603承担对话、语音生成的任务，通过交互文本生成、语音情绪埋点，得到带有情绪化表达的交互语音。参图8A，图8A是本申请实施例提供的人机交互界面的示意图；人机交互界面803包括交互文本801，人机交互界面803是针对交互文本801进行埋点的界面，可以通过参数调整控件802中的每个控件对交互文本801“欢迎您的到来，用户，我是你的智能服务”中每个字符的对应的音频数据的参数进行调整。参数调整控件802包括：插入停顿、设置延迟、局部变速、局部变调、设定发音、朗读规则。

在一些实施例中，交互文本生成通过以下方式实现：收集的大量小说对话文本数据，训练文本生成模型，基于玩家交互信息调用训练完成的文本生成模型，得到能够准确表达当前非玩家角色场景的交互文本信息。文本生成模型可以是生成式预训练模型(GPT，General Pre-Training)，是基于信息转换器(Transformer)的生成模型，通常用于生成文本内容。训练模型的数据集可以是通用对话数据集(例如：Wudao Corpus-Dialog)。参考图7B，图7B是本申请实施例提供的表情动作预测模型的结构示意图；表情动作预测模型701B包括第二语言模型702B、第三分类器703B、第四分类器704B。

在一些实施例中，语音情绪埋点通过以下方式实现：通过本申请实施例人工标注的情绪埋点数据(包括预配置的每个字符关联的情绪分类、情绪强度)，再输入交互文本中逐词对交互文本进行情绪埋点(也即，将情绪埋点数据与文本中每个字符关联)，并且根据情绪埋点数据对每个字符的语音数据自动插入停顿、延迟、变速等信息，文本对应的语音中的“埋点”通过时间戳信息表征，将每个字符的语音数据组合为交互文本的语音数据。

示例的，对话文本通过语音模块播放出来，语音相应的时间戳信息是埋点，埋点信息包括：情绪分类、情绪强度，结合语音数据的埋点信息就可以在恰当的位置进行动作演绎和表情强度控制。

动作交互层604，基于交互对话语音、玩家交互信息，执行步骤S614动作分类、动作参数生成，得到动作轨配置参数；以及执行步骤S615表情分类、表情参数生成，得到表情轨配置参数。

示例的，动作交互层604结合玩家交互信息、交互对话语音，通过表情、动作预测分类模型，计算出最适合当下场景的非玩家角色人物表情、动作。参图8B，图8B是本申请实施例提供的人机交互界面的示意图；人机交互界面804包括表情类型806、表情强度805的调整控件、动作类型807的示意图，人机交互界面804是预设的表情类型、表情强度、动作类型的示例图。表情强度805的取值区间为0至1，表情类型806包括：中性、高兴、惊讶、悲伤、厌恶、怀疑、恐惧、愤怒。

本申请实施例基于每个字符的埋点信息预测非玩家角色表情、动作。通过本申请实施例的大量调研和数据收集，本申请实施例归纳了大量的动作、表情作为预设动作、表情，预测玩家交互信息、交互对话语音所属的预设动作类型以及预设表情类型，将预测得到的动作、表情作为最适合当下场景的非玩家角色人物表情、动作。

在一些实施例中，预测表情类型、预测动作类型可以通过以下方式实现：基于玩家交互信息、交互对话语音，调用表情动作预测模型进行分类，得到非玩家角色对应的人物表情、动作。

表情动作预测模型包括分类器以及预训练语言模型(例如bert模型)，表情动作预测模型的训练样本包括：样本交互文本、玩家交互信息、非玩家角色的人物表征、非玩家角色在当前场景下的实际表情和动作。例如：样本交互文本为：“你好，有什么可以帮助您？”，“我需要定一个房间。”，非玩家角色的人物表征以性格为例，非玩家角色的人物性格为性格急躁。预设的动作类型包括：坐着、凝视、疾走，实际动作为凝视。将样本输入初始化的表情动作预测模型进行预测，得到预测动作，确定预测动作的标签与实际动作标签之间的差异，基于差异确定损失函数对表情动作预测模型的参数进行调整，得到训练后的表情动作预测模型。

驱动层605，基于动作轨配置参数、表情轨配置参数，执行步骤S616驱动非玩家角色模型进行交互。

示例的，将表情轨配置参数、动作轨配置参数、语音数据输入到驱动层605，驱动非玩家角色的3D模型对玩家角色的交互做出反应。

驱动层605可以通过虚拟引擎4(Unreal Engine 4)实现。虚拟引擎4提供了游戏开发者需要的大量的核心技术、数据生成工具和基础支持，通过生成的表情轨配置参数、动作轨配置参数、语音数据对非玩家角色的人物模型进行细粒度驱动，使玩家得到真实地游戏体验。参图8C，图8C是本申请实施例提供的人机交互界面的示意图；人机交互界面808展示了交互文本“我真的没有想到，你竟然做出如此过分的事情”的埋点信息，交互文本整体对应的动作是惊讶动作，“我真的没有想到”对应惊讶表情，强度0.8；“你竟然做出”对应愤怒表情，强度0.4，“如此过分的事情”对应恐惧表情，强度0.6。

参考图9，图9是本申请实施例提供的人机交互界面的示意图。人机交互界面901是虚拟场景的开发侧的人机交互界面。人机交互界面901中可以基于上文图8A至图8C中配置的动作参数、表情参数向技术人员展示非玩家角色所响应的交互动画902，技术人员可以对交互动画902进行评估，以确定是否可以应用在实际游戏中供玩家体验。

本申请实施例，解决了非玩家角色的交互策略问题、行为设计问题、文本语音情绪化表达问题。通过非玩家角色人物建模，并利用建模对非玩家角色行为进行驱动，通过提取人工人物设计脚本表征，让模型能够认识、了解非玩家角色的人物信息，并且基于这类信息对玩家输入交互信息进行反馈。提高了在大型游戏中的非玩家角色设计效率，简化了设计流程，对于非玩家角色的交互策略实现了完全的自动化。并且本申请实施例生成的非玩家角色交互行为具有低重复性、非固定性等特征，能够给与玩家最真实的体验。

本申请实施例提供的非玩家角色的交互处理方法具有以下效果：

1、拟定好的非玩家角色人物设定脚本及非玩家角色人物3D模型，通过脚本对非玩家角色人物进行建模表征，基于神经网络模型，根据人物设定建立非玩家角色性格等特征，节约了设置非玩家角色所需的计算资源。

2、人物模型表征结合玩家交互信息，预测当前非玩家角色应该给出什么样的情绪，并且对情绪强度进行回归，依据文字描述，对基础人物3D模型进行微调，例如在不同场景下人物3D模型的不同变化，提升了非玩家角色的真实性。

3、带有情绪埋点的情绪化表达交互信息，在埋点处预测非玩家角色表情、动作，通过神经网络，对玩家的交互进行智能分析，对交互内容如对话、动作、情感、表情等进行多维度生成，使得非玩家角色与玩家之间的交互更灵活，更真实。

4、较传统游戏非玩家角色设计，极大提高了设计效率、非玩家角色智能程度，极大降低了工程量。

下面继续说明本申请实施例提供的非玩家角色的交互处理装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的非玩家角色的交互处理装置455中的软件模块可以包括：角色表征模块4551，用于获取虚拟场景中的非玩家角色的角色设定信息和模型信息；角色表征模块4551，用于基于角色设定信息和模型信息生成非玩家角色的角色模型表征；情绪分类模块4552，用于获取虚拟场景中的玩家角色与非玩家角色之间的交互信息；情绪分类模块4552，用于基于角色模型表征和交互信息，确定非玩家角色的情绪特征参数；交互响应模块4553，用于基于所述情绪特征参数生成交互文本，并基于交互文本生成非玩家角色的外观特征参数；交互响应模块4553，用于基于外观特征参数，控制非玩家角色进行交互响应。

在一些实施例中，角色表征模块4551，用于对角色设定信息中的每项参数组合得到的向量进行归一化，得到角色设定特征向量，其中，角色设定信息包括以下参数：非玩家角色的角色性格、在虚拟场景中的重要性、非玩家角色在虚拟场景中的角色地位；对模型信息中的每项参数组合得到的向量进行归一化，得到模型特征向量，其中，模型信息包括以下参数：模型形象参数、模型坐标参数；将角色设定特征向量、模型特征向量拼接为非玩家角色的角色模型表征。

在一些实施例中，情绪分类模块4552，用于获取以下信息至少之一：虚拟场景中的玩家角色针对非玩家角色的操作行为信息，虚拟场景中的玩家角色与非玩家角色之间的对话信息；将对话信息与操作行为信息至少之一作为交互信息。

在一些实施例中，情绪分类模块4552，用于对交互信息的文本进行编码，得到第一编码向量，对角色模型表征进行编码，得到第二编码向量；拼接第一编码向量和第二编码向量，得到第一拼接向量；对第一拼接向量进行情绪类型分类，得到非玩家角色属于每种预配置情绪类型的概率，并选取概率最高的预配置情绪类型作为非玩家角色的情绪类型；对第一拼接向量进行情绪强度分类，得到非玩家角色属于每种预配置情绪强度的概率，并选取概率最高的预配置情绪强度作为非玩家角色的情绪强度。

在一些实施例中，编码通过情绪预测模型的第一语言模型实现，情绪类型分类通过情绪预测模型的第一分类器实现，情绪强度分类通过情绪预测模型的第二分类器实现；情绪分类模块4552，用于在基于角色模型表征和交互信息，确定非玩家角色的情绪特征参数之前，获取第一训练样本集合，其中，每个第一训练样本包括：非玩家角色的样本角色模型表征和样本交互信息以及实际情绪标签，实际情绪标签包括：实际情绪类型和实际情绪强度；基于第一训练样本集合调用初始化的情绪预测模型进行分类，得到非玩家角色的预测情绪标签，其中，预测情绪标签包括：预测情绪类型和预测情绪强度；基于预测情绪标签与实际情绪标签之间的差异，确定初始化的情绪预测模型的第一损失函数；基于第一损失函数更新初始化的情绪预测模型的参数，得到训练后的情绪预测模型。

在一些实施例中，交互响应模块4553，用于基于角色模型表征和交互信息的文本进行文本预测，得到非玩家角色的对话文本；获取对话文本的每个字符对应的时间戳；根据预配置的映射关系表，将每个字符对应的时间戳与对应的情绪类型和情绪强度组合为交互文本，其中，映射关系表包括以下参数之间的映射关系：情绪类型、情绪类型对应的情绪强度、情绪类型的持续时长。

在一些实施例中，交互响应模块4553，用于对交互信息的文本进行编码，得到第一编码向量，对角色模型表征对应的角色设定信息的文本进行编码，得到第四编码向量；拼接第一编码向量和第四编码向量，得到第二拼接向量；基于第二拼接向量和预设词表执行多个层次的概率预测，得到预设词表中每个字符在对话文本中的每个位置的出现概率，其中，层次的数量与对话文本的字符数量相同；根据每个层次的概率预测的执行顺序，将每次概率预测得到的最高出现概率的字符组合为非玩家角色的对话文本。

在一些实施例中，交互响应模块4553，用于对交互文本中每个字符执行以下处理：对字符、字符关联的情绪类型和情绪强度进行编码，得到字符的第三编码向量；确定每个第三编码向量所属的表情类型，并将表情类型的预配置表情参数作为字符的表情参数；确定每个第三编码向量所属的动作类型，并将动作类型的预配置动作参数作为字符的动作参数；根据每个字符在交互文本中的顺序，将每个字符对应的表情参数和动作参数组合为非玩家角色的表情参数和动作参数。

在一些实施例中，文本预测通过表情动作预测模型的第二语言模型实现，针对表情类型的分类通过表情动作预测模型的第三分类器实现，针对动作类型的分类通过表情动作预测模型的第四分类器实现；交互响应模块4553，用于在基于交互文本生成非玩家角色的外观特征参数之前，获取第二训练样本集合，其中，每个第二训练样本包括：多个样本交互信息、以及每个样本交互信息的实际响应标签，实际响应标签包括：实际动作类型和实际表情类型；基于第二训练样本集合调用初始化的表情动作预测模型进行分类，得到每个样本交互信息的预测响应标签，其中，预测响应标签包括：预测动作类型和预测表情类型；基于预测响应标签与实际响应标签之间的差异，确定初始化的情绪预测模型的第二损失函数；基于第二损失函数更新初始化的表情动作预测模型的参数，得到训练后的表情动作预测模型。

在一些实施例中，交互响应模块4553，用于根据表情参数驱动非玩家角色在虚拟场景中的角色模型的面部执行表情响应；根据动作参数驱动非玩家角色在虚拟场景中的角色模型执行动作响应。

在一些实施例中，交互响应模块4553，用于在基于所述情绪特征参数生成交互文本之后，获取交互文本中每个字符关联的参考音频数据；基于情绪类型和情绪强度，调整每个字符关联的参考音频数据对应的音频参数，得到每个字符的调整后音频数据，其中，音频参数包括以下至少一项：音色、音调、播放速度、所叠加的音轨数量；获取在音轨中每两个字符音频数据之间的停顿时长；根据交互文本中每个字符的顺序、每个停顿时长，组合每个字符的调整后音频数据，得到交互文本的调整后音频数据。

在一些实施例中，交互响应模块4553，用于将交互文本的语音音频数据发送至显示虚拟场景的终端设备；响应于基于外观特征参数，控制非玩家角色进行交互响应，终端设备同步播放交互文本对应的语音音频数据。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机可执行指令，该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令，处理器执行该计算机可执行指令，使得该电子设备执行本申请实施例上述的非玩家角色的交互处理方法。

本申请实施例提供一种存储有计算机可执行指令的计算机可读存储介质，其中存储有计算机可执行指令或者计算机程序，当计算机可执行指令或者计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的非玩家角色的交互处理方法，例如，如图3A示出的非玩家角色的交互处理方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperText Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。

综上所述，通过本申请实施例通过将非玩家角色的角色设定信息和模型信息转换为角色模型表征，基于角色模型表征和交互信息确定非玩家角色针对交互所响应的情绪类型，使得不同的非玩家角色所响应的情绪类型、情绪强度与其角色设定信息和模型信息相关联，非玩家角色的交互响应更符合其角色设定信息和模型信息，提升了交互响应的真实性。通过情绪类型和情绪强度生成交互文本，并基于交互文本确定表情参数和动作参数，使得非玩家角色的交互响应包括对话、动作、表情不同模态的响应行为，使得非玩家角色的响应更生动，提升虚拟场景的真实性。通过人工智能方式生成非玩家角色的情绪分类、文本生成、表情参数和动作参数，节约了设置非玩家角色的交互响应所需的成本、计算资源。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (16)

1.一种非玩家角色的交互处理方法，其特征在于，所述方法包括：

获取虚拟场景中的非玩家角色的角色设定信息和模型信息；

基于所述角色设定信息和所述模型信息生成所述非玩家角色的角色模型表征；

获取所述虚拟场景中的玩家角色与所述非玩家角色之间的交互信息；

基于所述角色模型表征和所述交互信息，确定所述非玩家角色的情绪特征参数；

基于所述情绪特征参数生成交互文本，并基于所述交互文本生成所述非玩家角色的外观特征参数；

基于所述外观特征参数，控制所述非玩家角色进行交互响应。

2.根据权利要求1所述的方法，其特征在于，所述基于所述角色设定信息和所述模型信息生成所述非玩家角色的角色模型表征，包括：

对所述角色设定信息中的每项参数组合得到的向量进行归一化，得到角色设定特征向量，其中，所述角色设定信息包括以下参数：所述非玩家角色的角色性格、在所述虚拟场景中的重要性、所述非玩家角色在所述虚拟场景中的角色地位；

对所述模型信息中的每项参数组合得到的向量进行归一化，得到模型特征向量，其中，所述模型信息包括以下参数：模型形象参数、模型坐标参数；

将所述角色设定特征向量、所述模型特征向量拼接为所述非玩家角色的角色模型表征。

3.根据权利要求1所述的方法，其特征在于，所述获取所述虚拟场景中的玩家角色与所述非玩家角色之间的交互信息，包括：

获取以下信息至少之一：所述虚拟场景中的玩家角色针对所述非玩家角色的操作行为信息，所述虚拟场景中的玩家角色与所述非玩家角色之间的对话信息；

将所述对话信息与所述操作行为信息至少之一作为交互信息。

4.根据权利要求1所述的方法，其特征在于，所述情绪特征参数包括：情绪类型和情绪强度；

所述基于所述角色模型表征和所述交互信息，确定所述非玩家角色的情绪特征参数，包括：

对所述交互信息的文本进行编码，得到第一编码向量，对所述角色模型表征进行编码，得到第二编码向量；

拼接所述第一编码向量和所述第二编码向量，得到第一拼接向量；

对所述第一拼接向量进行情绪类型分类，得到所述非玩家角色属于每种预配置情绪类型的概率，并选取概率最高的预配置情绪类型作为所述非玩家角色的情绪类型；

对所述第一拼接向量进行情绪强度分类，得到所述非玩家角色属于每种预配置情绪强度的概率，并选取概率最高的预配置情绪强度作为所述非玩家角色的情绪强度。

5.根据权利要求4所述的方法，其特征在于，所述编码通过情绪预测模型的第一语言模型实现，所述情绪类型分类通过所述情绪预测模型的第一分类器实现，所述情绪强度分类通过所述情绪预测模型的第二分类器实现；

在所述基于所述角色模型表征和所述交互信息，确定所述非玩家角色的情绪特征参数之前，所述方法还包括：

获取第一训练样本集合，其中，每个所述第一训练样本包括：所述非玩家角色的样本角色模型表征和样本交互信息以及实际情绪标签，所述实际情绪标签包括：实际情绪类型和实际情绪强度；

基于所述第一训练样本集合调用初始化的情绪预测模型进行分类，得到所述非玩家角色的预测情绪标签，其中，所述预测情绪标签包括：预测情绪类型和预测情绪强度；

基于所述预测情绪标签与实际情绪标签之间的差异，确定初始化的情绪预测模型的第一损失函数；

基于所述第一损失函数更新所述初始化的情绪预测模型的参数，得到训练后的情绪预测模型。

6.根据权利要求1所述的方法，其特征在于，所述情绪特征参数包括：情绪类型和情绪强度；

所述基于所述情绪特征参数生成交互文本，包括：

基于所述角色模型表征和所述交互信息的文本进行文本预测，得到所述非玩家角色的对话文本；

获取所述对话文本的每个字符对应的时间戳；

根据预配置的映射关系表，将每个所述字符对应的时间戳与对应的所述情绪类型和所述情绪强度组合为交互文本，其中，所述映射关系表包括以下参数之间的映射关系：所述情绪类型、所述情绪类型对应的情绪强度、所述情绪类型的持续时长。

7.根据权利要求6所述的方法，其特征在于，所述基于所述角色模型表征和所述交互信息的文本进行文本预测，得到所述非玩家角色的对话文本，包括：

对所述交互信息的文本进行编码，得到第一编码向量，对所述角色模型表征对应的角色设定信息的文本进行编码，得到第四编码向量；

拼接所述第一编码向量和所述第四编码向量，得到第二拼接向量；

基于所述第二拼接向量和预设词表执行多个层次的概率预测，得到所述预设词表中每个字符在对话文本中的每个位置的出现概率，其中，所述层次的数量与所述对话文本的字符数量相同；

根据每个所述层次的概率预测的执行顺序，将每次所述概率预测得到的最高出现概率的字符组合为所述非玩家角色的对话文本。

8.根据权利要求6所述的方法，其特征在于，所述外观特征参数包括：表情参数和动作参数；

所述基于所述交互文本生成所述非玩家角色的外观特征参数，包括：

对所述交互文本中每个所述字符执行以下处理：

对所述字符、所述字符关联的所述情绪类型和所述情绪强度进行编码，得到所述字符的第三编码向量；

确定每个所述第三编码向量所属的表情类型，并将所述表情类型的预配置表情参数作为所述字符的表情参数；

确定每个所述第三编码向量所属的动作类型，并将所述动作类型的预配置动作参数作为所述字符的动作参数；

根据每个所述字符在所述交互文本中的顺序，将每个所述字符对应的表情参数和动作参数组合为所述非玩家角色的表情参数和动作参数。

9.根据权利要求8所述的方法，其特征在于，所述文本预测通过所述表情动作预测模型的第二语言模型实现，针对所述表情类型的分类通过所述表情动作预测模型的第三分类器实现，针对所述动作类型的分类通过所述表情动作预测模型的第四分类器实现；

在所述基于所述交互文本生成所述非玩家角色的外观特征参数之前，所述方法还包括：

获取第二训练样本集合，其中，每个所述第二训练样本包括：多个样本交互信息、以及每个所述样本交互信息的实际响应标签，所述实际响应标签包括：实际动作类型和实际表情类型；

基于所述第二训练样本集合调用初始化的表情动作预测模型进行分类，得到每个所述样本交互信息的预测响应标签，其中，所述预测响应标签包括：预测动作类型和预测表情类型；

基于所述预测响应标签与所述实际响应标签之间的差异，确定初始化的情绪预测模型的第二损失函数；

基于所述第二损失函数更新所述初始化的表情动作预测模型的参数，得到训练后的表情动作预测模型。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述外观特征参数包括：表情参数和动作参数；

所述基于所述外观特征参数，控制所述非玩家角色进行交互响应，包括：

根据所述表情参数驱动所述非玩家角色在所述虚拟场景中的角色模型的面部执行表情响应；

根据所述动作参数驱动所述非玩家角色在所述虚拟场景中的角色模型执行动作响应。

11.根据权利要求1至9任一项所述的方法，其特征在于，在所述基于所述情绪特征参数生成交互文本之后，所述方法还包括：

获取所述交互文本中每个字符关联的参考音频数据；

基于所述情绪特征参数，调整每个所述字符关联的参考音频数据对应的音频参数，得到每个所述字符的调整后音频数据，其中，所述音频参数包括以下至少一项：音色、音调、播放速度、所叠加的音轨数量；

获取在音轨中每两个所述字符音频数据之间的停顿时长；

根据所述交互文本中每个所述字符的顺序、每个所述停顿时长，组合每个所述字符的调整后音频数据，得到所述交互文本的调整后音频数据。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

将所述交互文本的语音音频数据发送至显示所述虚拟场景的终端设备；

响应于基于所述外观特征参数，控制所述非玩家角色进行交互响应，所述终端设备同步播放所述交互文本对应的语音音频数据。

13.一种非玩家角色的交互处理装置，其特征在于，所述装置包括：

角色表征模块，用于获取虚拟场景中的非玩家角色的角色设定信息和模型信息；

所述角色表征模块，用于基于所述角色设定信息和所述模型信息生成所述非玩家角色的角色模型表征；

情绪分类模块，用于获取所述虚拟场景中的玩家角色与所述非玩家角色之间的交互信息；

所述情绪分类模块，用于基于所述角色模型表征和所述交互信息，确定所述非玩家角色的情绪特征参数；

交互响应模块，用于基于所述情绪特征参数生成交互文本，并基于所述交互文本生成所述非玩家角色的外观特征参数；

所述交互响应模块，用于基于所述外观特征参数，控制所述非玩家角色进行交互响应。

14.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现权利要求1至12任一项所述的非玩家角色的交互处理方法。

15.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至12任一项所述的方法。

16.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至12任一项所述的方法。