CN113559500B - 动作数据的生成方法、装置、电子设备及存储介质 - Google Patents

动作数据的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113559500B
CN113559500B CN202110062561.4A CN202110062561A CN113559500B CN 113559500 B CN113559500 B CN 113559500B CN 202110062561 A CN202110062561 A CN 202110062561A CN 113559500 B CN113559500 B CN 113559500B
Authority
CN
China
Prior art keywords
action
data
motion
style
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110062561.4A
Other languages
English (en)
Other versions
CN113559500A (zh
Inventor
张冲
周城
王天舟
李珽光
李世迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110062561.4A priority Critical patent/CN113559500B/zh
Publication of CN113559500A publication Critical patent/CN113559500A/zh
Application granted granted Critical
Publication of CN113559500B publication Critical patent/CN113559500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种动作数据的生成方法、装置、电子设备及存储介质,属于计算机技术领域。本申请通过在获取控制指令后,确定与虚拟对象类型相对应的目标动作风格,将原始的第一动作数据投射到与目标动作风格所对应的取值范围,得到与其他动作风格的取值范围不重叠的第二动作数据,再调用动作生成模型来预测下一帧的第三动作数据,使得预测出的第三动作数据能够保留目标动作风格,而不会输出多种动作风格的平均风格,从而提升了生成动作数据的准确度。

Description

动作数据的生成方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域,特别涉及一种动作数据的生成方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展和终端功能的多样化,越来越多的游戏受到了用户的青睐。在开发游戏的过程中,如何制作出高质量的游戏角色动作是至关重要的一个环节。其中,数据驱动方法能够产生自然流畅的动作,并提升了动作制作的效率。
数据驱动方法包括数据采集、数据处理和构造模型三个环节。数据采集是指让专业动作演员穿戴动作捕捉设备,做出游戏中需要的动作,由动作捕捉设备记录对应的动作数据。数据处理包括了动作数据的修正和标注。模型构造是指构造一个神经网络模型,神经网络模型能够根据玩家的控制指令,输出虚拟对象对应的动作数据。
上述神经网络模型针对不同虚拟对象能够输出同种风格的动作数据,然而在游戏中,不同虚拟对象即使是做出相同动作,也往往具有不同的动作风格,例如在枪战类型游戏中抓捕者和逃跑者两者执行相同的动作“跑”时,也往往表现出截然不同的动作风格。也即,上述神经网络模型无法输出多种风格的动作数据,在生成动作数据时准确度差。
发明内容
本申请实施例提供了一种动作数据的生成方法、装置、电子设备及存储介质,能够提高生成的动作数据的准确度。该技术方案如下:
一方面,提供了一种动作数据的生成方法,该方法包括:
响应于对虚拟场景中虚拟对象的控制指令,获取所述虚拟对象的第一动作数据,所述第一动作数据包括所述虚拟对象在目标帧的动作数据以及在所述目标帧的下一帧中的控制数据;
基于所述虚拟对象的虚拟对象类型,确定所述虚拟对象的目标动作风格,所述目标动作风格与所述虚拟对象类型相对应;
基于所述目标动作风格,对所述第一动作数据进行映射,得到第二动作数据,其中,不同动作风格的第二动作数据具有不同的取值范围;
调用动作生成模型对所述第二动作数据进行处理,输出具有所述目标动作风格的第三动作数据,所述第三动作数据为所述虚拟对象在所述目标帧的下一帧中的动作数据,所述动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
一方面,提供了一种动作数据的生成装置,该装置包括:
获取模块,用于响应于对虚拟场景中虚拟对象的控制指令,获取所述虚拟对象的第一动作数据,所述第一动作数据包括所述虚拟对象在目标帧的动作数据以及在所述目标帧的下一帧中的控制数据;
确定模块,用于基于所述虚拟对象的虚拟对象类型,确定所述虚拟对象的目标动作风格,所述目标动作风格与所述虚拟对象类型相对应;
映射模块,用于基于所述目标动作风格,对所述第一动作数据进行映射,得到第二动作数据,其中,不同动作风格的第二动作数据具有不同的取值范围;
处理模块,用于调用动作生成模型对所述第二动作数据进行处理,输出具有所述目标动作风格的第三动作数据,所述第三动作数据为所述虚拟对象在所述目标帧的下一帧中的动作数据,所述动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
在一种可能实施方式中,所述映射模块用于:
获取与所述目标动作风格对应的偏移量;
对所述第一动作数据进行线性变换,得到线性变换后的第一动作数据;
基于所述偏移量,对所述线性变换后的第一动作数据进行平移,得到所述第二动作数据。
在一种可能实施方式中,所述映射模块用于:
获取与所述目标动作风格对应的频域区间;
对所述第一动作数据进行离散傅里叶变换,得到所述第一动作数据对应的第一频域数据;
将所述第一频域数据平移至所述频域区间,得到第二频域数据;
对所述第二频域数据进行离散傅里叶逆变换,得到所述第二动作数据。
在一种可能实施方式中,所述获取模块用于:
基于所述控制指令,确定所述虚拟对象的第一关节的第一动作向量,所述第一关节为所述虚拟对象的三维模型骨架的初始关节,所述第一动作向量用于表示所述第一关节在所述目标帧和所述目标帧的下一帧中的位移和旋转;
获取所述虚拟对象的第二关节的第二动作向量,所述第二关节为所述三维模型骨架中除了所述第一关节之外的关节,所述第二动作向量用于表示所述第二关节在所述目标帧中的位移和旋转;
将所述第一动作向量与所述第二动作向量拼接所得到的动作向量确定为所述第一动作数据。
在一种可能实施方式中,所述第一动作向量还用于表示所述第一关节在所述目标帧的上一帧中的位移和旋转。
在一种可能实施方式中,所述装置还包括训练模块,所述训练模块包括:
获取单元,用于获取多个样本虚拟对象的多个样本动作片段,所述多个样本虚拟对象对应于多种动作风格;
映射单元,用于对任一样本动作片段,基于所述任一样本动作片段所对应的动作风格,对所述任一样本动作片段中多个帧的第一动作数据进行映射,得到所述多个帧的第二动作数据;
训练单元,用于基于所述多个帧的第二动作数据,对初始动作模型进行训练,得到所述动作生成模型。
在一种可能实施方式中,所述映射单元用于:
基于所述多个帧的第一动作数据中的最大值和最小值,确定所述动作风格对应的偏移量;
对于所述多个帧中任一帧的第一动作数据,基于单位矩阵对所述任一帧的第一动作数据进行线性变换,将线性变换后的第一动作数据与所述动作风格对应的偏移量相加,得到所述任一帧的第二动作数据。
一方面,提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条计算机程序,该至少一条计算机程序由该一个或多个处理器加载并执行以实现如上述动作数据的生成方法。
一方面,提供了一种存储介质,该存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行以实现如上述动作数据的生成方法。
一方面,提供一种计算机程序产品或计算机程序,所述计算机程序产品或所述计算机程序包括一条或多条程序代码,所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码,所述一个或多个处理器执行所述一条或多条程序代码,使得电子设备能够执行上述动作数据的生成方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过在获取控制指令后,确定与虚拟对象类型相对应的目标动作风格,将原始的第一动作数据投射到与目标动作风格所对应的取值范围,得到与其他动作风格的取值范围不重叠的第二动作数据,再调用动作生成模型来预测下一帧的第三动作数据,使得预测出的第三动作数据能够保留目标动作风格,而不会输出多种动作风格的平均风格,从而提升了生成动作数据的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于数据驱动的制作动作的原理性流程图;
图2是本申请实施例提供的一种动作数据的生成方法的实施环境示意图;
图3是本申请实施例提供的一种动作数据的生成方法的流程图;
图4是本申请实施例提供的一种一维向量的仿射变换的原理性示意图;
图5是本申请实施例提供的一种动作数据的生成方法的流程图;
图6是本申请实施例提供的一种动作生成模型的训练流程图;
图7是本申请实施例提供的一种动作数据的生成装置的结构示意图;
图8是本申请实施例提供的一种电子设备的结构示意图;
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上,例如,多个第一位置是指两个或两个以上的第一位置。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括音频处理技术、计算机视觉技术、自然语言处理技术以及机器学习/深度学习等几大方向。
让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,在人工智能领域中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
示意性地,在对虚拟场景进行三维化建模后,虚拟对象在虚拟场景中如何实现走、跑、跳、攀爬等多种类型的动作,也即如何制作高质量的游戏角色动作,一直以来都是游戏开发过程中至关重要的一个环节。相较于早期的依赖于美术人员手绘关键帧的方法,目前基于数据驱动的方式能够产生更加自然流畅的动作,并且提升了动作的制作效率。
图1是本申请实施例提供的一种基于数据驱动的制作动作的原理性流程图,基于数据驱动的方式框架如图1所示,主要包括了数据采集101,数据处理102和构造模型103这三个环节。
在数据采集101环节,让专业动作演员穿戴动作捕捉设备,做出游戏中需要的动作,并由动作捕捉设备记录对应的动作数据。可选地,动作捕捉设备一般包括两大类,基于惯性导航的惯导设备以及基于光学的光学设备。
在数据处理102环节,主要包括了动作数据的修正和标注。例如,标注动作演员的左右脚着地时间,绘制出线性相位图,这样能够提升模型的稳定性。
在构造模型103环节,是指构建一个支持自回归的模型,这一模型能够根据玩家的控制指令,输出虚拟对象对应的动作数据。例如,自回归模型的输入包括玩家的控制指令以及当前帧中虚拟对象的动作数据,输出则是用于预测虚拟对象在下一帧中的动作数据。上述自回归模型经历了从有限状态机模型到动作匹配模型、从动作匹配模型再到神经网络模型的演化过程。
有限状态机模型是通过构造一个状态变换图,将采集到的不同动作类型的短序列动作片段连接起来,最后调节优化状态变换图中的顶点和连接条件,最终得到可用的模型。有限状态机模型的主要问题是,随着动作类型的增多,状态变换图的顶点和连接条件将会变得非常复杂,使得整个模型的优化变得非常困难,且不同状态之间的切换也会随着动作类型的增多而变得更加复杂,因此难以维护。
动作匹配模型是通过采集大量的动作数据,通过基于搜索的算法查找到对应的每帧动作最终形成连续的动作。动作匹配模型的主要问题是数据占用的存储空间过大,且随着动作类型的增多,搜索耗时也将越来越长,不适应于实时生成动作数据的场景。
神经网络模型是通过将采集到的大量动作数据进行学习,使得神经网络模型能够记住数据中的动作,在使用神经网络模型时,即可自动根据玩家的控制指令输出学习到的虚拟对象对应的动作数据。神经网络模型虽然能够处理多种动作类型的动作数据,但是同一个模型中处理多种动作风格的数据会产生动作平均化的问题,例如,在枪战类型游戏中,抓捕者和逃跑者两者执行相同的动作“跑”时,也往往表现出截然不同的动作风格。然而,动作演员在演示动作数据时通常是能够呈现出不同的动作风格,但经过神经网络模型的处理后,不同动作风格的动作数据会被神经网络模型等同处理,导致最终模型输出的动作数据实际上具有的是多种动作风格的平均动作数据,大大破坏了原始数据的质量。
有鉴于此,本申请实施例涉及一种基于数据驱动的动作生成模型,能够生成自然流畅的、具有多种动作风格的虚拟对象动作数据,且能够节省数据存储空间,也就提升了调用动作生成模型来制作游戏角色动作的效率。
以下,对本申请实施例涉及到的游戏领域的术语进行解释:
虚拟场景:是应用程序在终端上运行时显示(或提供)的虚拟场景。该虚拟场景可以是对真实世界的仿真环境,也可以是半仿真半虚构的虚拟环境,还可以是纯虚构的虚拟环境。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种,本申请实施例对虚拟场景的维度不加以限定。例如,虚拟场景可以包括天空、陆地、海洋等,该陆地可以包括沙漠、城市等环境元素,用户可以控制虚拟对象在该虚拟场景中进行移动。可选地,该虚拟场景还可以用于至少两个虚拟对象之间的虚拟场景对战,在该虚拟场景中具有可供至少两个虚拟对象使用的虚拟资源。可选地,该虚拟场景中可以包括对称的两个区域,属于两个敌对阵营的虚拟对象分别占据其中一个区域,并以摧毁对方区域深处的目标建筑/据点/基地/水晶来作为胜利目标,其中,对称的区域比如左下角区域和右上角区域,又比如左侧中部区域和右侧中部区域等。
虚拟对象:是指在虚拟场景中的可活动对象。该可活动对象可以是虚拟人物、虚拟动物、虚拟精灵、动漫人物等,比如:在虚拟场景中显示的人物、动物、植物、油桶、墙壁、石块等。该虚拟对象可以是该虚拟场景中的一个虚拟的用于代表用户的虚拟形象。在虚拟场景中可以包括多个虚拟对象,每个虚拟对象在虚拟场景中具有自身的形状和体积,占据虚拟场景中的一部分空间。可选地,当虚拟场景为三维虚拟场景时,可选地,虚拟对象可以是一个三维立体模型,该三维立体模型可以是基于三维人体骨骼技术构建的三维角色,同一个虚拟对象可以通过穿戴不同的皮肤来展示出不同的外在形象。在一些实施例中,虚拟对象也可以采用2.5维或2维模型来实现,本申请实施例对此不加以限定。
可选地,该虚拟对象可以是通过客户端上的操作进行控制的玩家角色,还可以是设置在虚拟场景互动中的非玩家角色(Non-Player Character,NPC)。可选地,该虚拟对象可以是在虚拟场景中进行竞技的虚拟人物。可选地,该虚拟场景中参与互动的虚拟对象的数量可以是预先设置的,也可以是根据加入互动的客户端的数量动态确定的。
以下,对本申请实施例涉及的实施环境进行介绍。图2是本申请实施例提供的一种动作数据的生成方法的实施环境示意图,参见图2,该实施环境包括终端201和服务器202。
终端201安装和运行有支持虚拟场景的应用程序。该应用程序可以是多人在线战术竞技(Multiplayer Online Battle Arena games,MOBA)游戏、第一人称射击游戏(First-Person Shooting game,FPS)、第三人称射击游戏、大型多人在线角色扮演游戏(Massively Multiplayer Online Role Playing Game,MMORPG)、虚拟现实应用程序、三维地图程序、军事仿真程序或者多人枪战类生存游戏中的任意一种。用户可以使用终端201控制位于虚拟场景中的虚拟对象产生动作,该动作的动作类型包括但不限于:调整身体姿态、攀爬、步行、跑酷、骑行、跳跃、驾驶、拾取、射击、攻击、投掷、释放技能中的至少一种。示意性的,虚拟对象是虚拟人物,比如仿真人物角色或动漫人物角色。
终端201可以通过有线或无线通信方式与服务器202进行直接或间接地连接,本申请实施例在此不对连接方式进行限制。
服务器202可以包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。服务器202用于为支持虚拟场景的应用程序提供后台服务。可选地,服务器202承担主要计算工作,终端201承担次要计算工作;或者,服务器202承担次要计算工作,终端201承担主要计算工作;或者,服务器202和终端201两者之间采用分布式计算架构进行协同计算。
在一些实施例中,服务器202是独立的物理服务器,或者是多个物理服务器构成的服务器集群或者分布式系统,或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中,终端201是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、电子书阅读器等,但并不局限于此。
本领域技术人员可以知晓,上述终端201的数量可以更多或更少。比如上述终端201可以仅为一个,或者上述终端201为几十个或几百个,或者更多数量。本申请实施例对终端201的数量和设备类型不加以限定。
图3是本申请实施例提供的一种动作数据的生成方法的流程图。参见图3,该实施例应用于电子设备,该实施例包括下述步骤:
301、电子设备响应于对虚拟场景中虚拟对象的控制指令,获取该虚拟对象的第一动作数据,该第一动作数据包括该虚拟对象在目标帧的动作数据以及在该目标帧的下一帧中的控制数据。
其中,电子设备是任一安装有支持虚拟环境的应用程序的设备,例如,电子设备为终端,终端基于本地的控制指令,生成具有目标动作风格的第三动作数据,或者,电子设备为服务器,服务器接收终端发送的控制指令,生成具有目标动作风格的第三动作数据后,基于帧同步技术将第三动作数据同步至终端,本申请实施例不对此进行具体限定。
在一些实施例中,以电子设备为终端为例进行说明,电子设备响应于用户对摇杆区域的拖拽操作,生成该控制指令,该控制指令至少携带该拖拽操作的位移和旋转。
在一些实施例中,电子设备可以通过触摸传感器来检测用户是否点击了显示屏,在触摸传感器检测到用户对显示屏的触摸信号之后,获取触摸点在显示屏中的屏幕坐标,响应于该触摸点的屏幕坐标处于摇杆区域,确定检测到用户对该摇杆区域的触摸操作,然后响应于该触摸操作的触摸时长超过时长阈值,确定检测到对摇杆区域的拖拽操作,获取该拖拽操作的位移和旋转。例如,该位移是指拖拽操作的轨迹长度,该旋转是指该拖拽操作的旋转角度。
在一些实施例中,电子设备基于该控制指令,确定该虚拟对象的第一关节的第一动作向量,该第一关节为该虚拟对象的三维模型骨架的初始关节,该第一动作向量用于表示该第一关节在该目标帧和该目标帧的下一帧中的位移和旋转;获取该虚拟对象的第二关节的第二动作向量,该第二关节为该三维模型骨架中除了该第一关节之外的关节,该第二动作向量用于表示该第二关节在该目标帧中的位移和旋转;将该第一动作向量与该第二动作向量拼接所得到的动作向量确定为该第一动作数据。
其中,该目标帧可以是一个动作片段中的任一帧,例如,在实时游戏场景中,该目标帧是指当前帧。
其中,该第一关节是指电子设备在渲染虚拟对象的三维模型骨架时所渲染的第一个关节,也可俗称为虚拟对象的“根关节”,第一关节由支持虚拟环境的应用程序在初始化时进行预先设置,例如,第一关节设置为三维模型骨架的腰部关节。
其中,该第二关节是指三维模型骨架中除了第一关节之外的关节,也可俗称为虚拟对象的“叶子关节”,由于在渲染虚拟对象的三维模型骨架时,是先渲染第一关节再渲染第二关节,因此第一关节可以视为第二关节的“父关节”,也即第二关节可以视为第一关节的“子关节”。通常情况下,第一关节的数量为一个,而第二关节的数量为一个或多个,本申请实施例不对第一关节或者第二关节的数量进行具体限定。
可选地,电子设备解析该控制指令,得到该拖拽操作的位移和旋转,由于第一关节是渲染虚拟对象的三维模型骨架时所渲染的第一个关节,因此可以直接将该拖拽操作的位移和旋转确定为该第一关节在目标帧的下一帧中的位移和旋转,然后从缓存中获取该第一关节在该目标帧中的位移和旋转,将第一关节分别在目标帧和目标帧的下一帧中的位移和旋转编码成该第一动作向量。其中,该第一动作向量也可以称为第一关节在目标帧和目标帧的下一帧中的位姿。
可选地,电子设备从缓存中获取该第二关节在该目标帧中的位移和旋转,将该第二关节在该目标帧中的位移和旋转编码成该第二动作向量。其中,该第二动作向量也可以称为第二关节在目标帧中的位姿。
可选地,电子设备将该第一动作向量和该第二动作向量进行拼接(concatenation),将拼接所得到的动作向量确定为第一动作数据。这里的拼接是指将第一动作向量和第二动作向量在维度上直接相连,例如将第一个10维的第一动作向量和一个20维的第二动作向量拼接成一个30维的动作向量,将这个30维的动作向量确定为该第一动作数据。
在上述过程中,由于在渲染虚拟对象在下一帧中作出的动作时,必须知道第一关节在下一帧的位移和旋转,以及第二关节在下一帧的位移和旋转。用户输入的控制指令代表了第一关节在下一帧的位移和旋转,而合成动作的目的就在于,根据第一关节和第二关节在目标帧的位移和旋转,以及第一关节在下一帧的位移和旋转,预测出第二关节在下一帧的位移和旋转,也即下述步骤302-304所执行的操作。
在一些实施例中,该第一动作向量还用于表示该第一关节在该目标帧的上一帧中的位移和旋转,也即是说,在第一动作向量中还引入了第一关节在该目标帧的上一帧中的位移和旋转,这样能够提供丰富的动作变换序列,使得预测出虚拟对象产生的动作具有更加自然流畅的转变。
在上述基础上,电子设备可以将该拖拽操作的位移和旋转确定为该第一关节在目标帧的下一帧中的位移和旋转,然后从缓存中获取该第一关节在该目标帧中的位移和旋转以及该第一关节在该目标帧的上一帧中的位移和旋转,将第一关节分别在目标帧的上一帧、目标帧和目标帧的下一帧中的位移和旋转编码成该第一动作向量。
在一个示例性场景中,假设表示虚拟对象在第i帧的第一动作向量,包括虚拟对象的第一关节分别在第i-1帧、第i帧和第i+1帧的位移和旋转,/>表示虚拟对象在第i帧的第二动作向量,包括虚拟对象的第二关节在第i帧的位移和旋转,则第一动作数据
302、电子设备基于该虚拟对象的虚拟对象类型,确定该虚拟对象的目标动作风格,该目标动作风格与该虚拟对象类型相对应。
在一些实施例中,电子设备中预存有虚拟对象类型和动作风格之间的映射关系,电子设备基于该映射关系,对该虚拟对象的虚拟对象类型进行映射,得到与该虚拟对象类型相对应的目标动作风格。
示意性地,假设在虚拟场景中提供10种类型的虚拟对象1~10,这10种类型的虚拟对象对应于3种动作风格A~C。在一个示例中,虚拟对象类型与动作风格之间具有如下映射关系:前3种类型的虚拟对象1~3对应于动作风格A,中间3种类型的虚拟对象4~6对应于动作风格B,最后4种类型的虚拟对象7~10对应于动作风格C。
在一些实施例中,控制指令中携带虚拟对象类型,电子设备在上述步骤301中解析得到该虚拟对象类型,并根据该映射关系,获取与该虚拟对象类型所对应的目标动作风格。
在另一些实施例中,控制指令中不携带该虚拟对象类型,电子设备可以从缓存中读取该虚拟对象类型,并根据该映射关系,获取与该虚拟对象类型所对应的目标动作风格。
303、电子设备基于该目标动作风格,对该第一动作数据进行映射,得到第二动作数据,其中,不同动作风格的第二动作数据具有不同的取值范围。
在一些实施例中,电子设备获取与该目标动作风格对应的偏移量;对该第一动作数据进行线性变换,得到线性变换后的第一动作数据;基于该偏移量,对该线性变换后的第一动作数据进行平移,得到该第二动作数据。
可选地,该偏移量是动作风格的偏移参数,每一个动作风格对应于一个偏移量,不同的动作风格对应于不同的偏移量,各个动作风格的偏移量随着动作生成模型的训练过程而同步训练得到,也即各个动作风格的偏移量是训练动作生成模型所得的副产物。偏移量的获取方式将在动作生成模型的训练实施例中进行详述,这里不做赘述。
在上述过程中,对第一动作数据进行线性变换和平移,能够实现对第一动作数据的仿射变换,使得不同动作风格的第二动作数据具有的取值范围,相当于对第一动作数据进行预处理得到了第二动作数据,能够将不同动作风格的动作数据在空间中分隔开来,避免了模型对所有动作风格的动作数据进行平均处理的问题。
下面以第一动作数据和第二动作数据均为一维向量为例进行说明,图4是本申请实施例提供的一种一维向量的仿射变换的原理性示意图,如400所示,假设存在两个动作风格的动作数据需要拟合,动作风格1的动作数据由函数产生,动作风格2的动作数据由函数/>产生,如果不采用上述步骤302-303进行仿射变换,那么动作生成模型/>会拟合函数、/>两者产生的数据,最终输出一条介于函数/>和/>之间的曲线,例如,输入具有动作风格1的第i帧的动作数据/>,动作生成模型/>会预测出下一帧的动作数据/>,模型输出的下一帧的动作数据/>偏离了原本的动作风格1,变成了两种动作风格平均后的动作数据,而并非是实际上的位于函数/>上的坐标点。可以看出,正是由于函数/>、/>两种不同动作风格的函数的定义域高度重合,导致动作生成模型/>的预测效果不好,通过对函数/>进行仿射变换得到另一条曲线/>,能够将函数/>与函数/>的定义域完全分隔开来,也即对函数/>所产生的第一动作数据进行仿射变换,得到函数/>所产生的第二动作数据,避免了不同动作风格的动作数据定义域重合。
需要说明的是,上面仅以一维向量为例说明了如何对动作数据进行仿射变换,上述仿射变换的方式能够同理扩展到高维空间的多维向量,对多维向量的每一维度执行与一维向量的仿射变换类似的操作即可,这里不做赘述。
在一些实施例中,电子设备通过仿射变换的方式,对第一动作数据进行预处理,以使得将第一动作数据迁移至与目标动作风格所对应的取值范围,从而与其他动作风格的第一动作数据分隔开来,使得高维空间中不同动作风格的第一动作数据互相不受影响。
在另一些实施例中,电子设备还可以将不同动作风格的第一动作数据在频域上分隔开来,也即:获取与该目标动作风格对应的频域区间;对该第一动作数据进行离散傅里叶变换,得到该第一动作数据对应的第一频域数据;将该第一频域数据平移至该频域区间,得到第二频域数据;对该第二频域数据进行离散傅里叶逆变换,得到该第二动作数据。
上述过程中,电子设备对每种动作风格预先配置了对应的频域区间,且不同动作风格的频域区间之间互相不存在交集,通过离散傅里叶变换(Discrete FourierTransform,DFT)能够将时域上的信号(第一动作数据)转换到频域,在频域上进行平移至对应的频域区间后,再通过离散傅里叶逆变换(Inverse Discrete Fourier Transform,IDFT)将频域信号转换回时域,从而将不同动作风格的动作数据在频域上分隔开,保证最终生成的动作数据仍然保持原来的动作风格。
在另一些实施例中,电子设备还可以利用自动编码器对第一动作数据进行编码,限制具有不同动作风格的第二动作数据在压缩后的隐空间正交,同样能够将不同动作风格的动作数据在频域上分隔开,保证最终生成的动作数据仍然保持原来的动作风格。
304、电子设备调用动作生成模型对该第二动作数据进行处理,输出具有该目标动作风格的第三动作数据,该第三动作数据为该虚拟对象在该目标帧的下一帧中的动作数据,该动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
其中,该第三动作数据至少包括虚拟对象的第二关节在目标帧的下一帧中的位移和旋转,因此该第三动作数据也可以称为第二关节在目标帧的下一帧中的位姿。
在一些实施例中,该动作生成模型可以是任一神经网络模型,例如,该动作生成模型为多层感知器(Multilayer Perceptron,MLP),又例如,该动作生成模型为循环神经网络(Recurrent Neural Network,RNN),本申请实施例不对动作生成模型的模型结构进行具体限定。
在一个示例性实施例中,以该动作生成模型为MLP为例说明,MLP模型包括至少一个隐藏层,电子设备将第二动作数据输入到该至少一个隐藏层中,通过该至少一个隐藏层对该第二动作数据进行加权处理,由最后一个隐藏层输出该第三动作数据。
电子设备在获取到虚拟对象在目标帧的下一帧的第三动作数据之后,可以基于第三动作数据来渲染虚拟对象在下一帧中做出与控制指令相对应的动作,比如,在虚拟场景中先渲染控制指令所指示的第一关节在下一帧中的位移和旋转,然后再渲染动作生成模型所预测的第二关节在下一帧中的位移和旋转,从而能够显示出整个虚拟对象的三维模型骨架,再利用着色器对三维模型骨架进行进一步顶点着色、纹理渲染等,最终能够在虚拟场景中呈现出虚拟对象按照控制指令执行对应的动作。
上述所有可选技术方案,能够采用任意结合形成本公开的可选实施例,在此不再一一赘述。
本申请实施例提供的方法,通过在获取控制指令后,确定与虚拟对象类型相对应的目标动作风格,将原始的第一动作数据投射到与目标动作风格所对应的取值范围,得到与其他动作风格的取值范围不重叠的第二动作数据,再调用动作生成模型来预测下一帧的第三动作数据,使得预测出的第三动作数据能够保留目标动作风格,而不会输出多种动作风格的平均风格,从而提升了生成动作数据的准确度。
图5是本申请实施例提供的一种动作数据的生成方法的流程图,请参考图5,该实施例应用于电子设备,以电子设备为终端为例进行说明,该实施例包括下述步骤:
501、终端响应于对虚拟场景中虚拟对象的控制指令,确定该虚拟对象的第一关节的第一动作向量,该第一关节为该虚拟对象的三维模型骨架的初始关节。
其中,该第一关节是指终端在渲染虚拟对象的三维模型骨架时所渲染的第一个关节,也可俗称为虚拟对象的“根关节”,第一关节由支持虚拟环境的应用程序在初始化时进行预先设置,例如,第一关节设置为三维模型骨架的腰部关节。
可选地,该第一动作向量用于表示该第一关节在该目标帧和该目标帧的下一帧中的位移和旋转,因此该第一动作向量也可以称为第一关节在目标帧和目标帧的下一帧中的位姿。其中,该目标帧可以是一个动作片段中的任一帧,例如,在实时游戏场景中,该目标帧是指当前帧。
在一些实施例中,终端响应于用户对摇杆区域的拖拽操作,生成该控制指令,该控制指令至少携带该拖拽操作的位移和旋转。
在一些实施例中,终端通过触摸传感器来检测用户是否点击了显示屏,在触摸传感器检测到用户对显示屏的触摸信号之后,获取触摸点在显示屏中的屏幕坐标,响应于该触摸点的屏幕坐标处于虚拟场景中的摇杆区域(也即摇杆控件所在的区域),确定检测到用户对该摇杆区域的触摸操作,然后响应于该触摸操作的触摸时长超过时长阈值,确定检测到对摇杆区域的拖拽操作,获取该拖拽操作的位移和旋转。例如,该位移是指拖拽操作的轨迹长度,该旋转是指该拖拽操作的旋转角度。
在一些实施例中,终端解析该控制指令,得到该拖拽操作的位移和旋转,由于第一关节是渲染虚拟对象的三维模型骨架时所渲染的第一个关节,因此可以直接将该拖拽操作的位移和旋转确定为该第一关节在目标帧的下一帧中的位移和旋转,然后从缓存中获取该第一关节在该目标帧中的位移和旋转,将第一关节分别在目标帧和目标帧的下一帧中的位移和旋转编码成该第一动作向量。
在一些实施例中,该第一动作向量还用于表示该第一关节在该目标帧的上一帧中的位移和旋转,也即是说,在第一动作向量中还引入了第一关节在该目标帧的上一帧中的位移和旋转,这样能够提供丰富的动作变换序列,使得预测出虚拟对象产生的动作具有更加自然流畅的转变。
在上述基础上,终端可以将该拖拽操作的位移和旋转确定为该第一关节在目标帧的下一帧中的位移和旋转,然后从缓存中获取该第一关节在该目标帧中的位移和旋转以及该第一关节在该目标帧的上一帧中的位移和旋转,将第一关节分别在目标帧的上一帧、目标帧和目标帧的下一帧中的位移和旋转编码成该第一动作向量。
在一个示例性场景中,假设表示虚拟对象在第i帧的第一动作向量,包括虚拟对象的第一关节分别在第i-1帧、第i帧和第i+1帧的位移和旋转,/>表示虚拟对象在第i帧的第二动作向量,包括虚拟对象的第二关节在第i帧的位移和旋转,则第一动作数据
502、终端获取该虚拟对象的第二关节的第二动作向量,该第二关节为该三维模型骨架中除了该第一关节之外的关节。
其中,该第二关节是指三维模型骨架中除了第一关节之外的关节,也可俗称为虚拟对象的“叶子关节”,由于在渲染虚拟对象的三维模型骨架时,是先渲染第一关节再渲染第二关节,因此第一关节可以视为第二关节的“父关节”,也即第二关节可以视为第一关节的“子关节”。通常情况下,第一关节的数量为一个,而第二关节的数量为一个或多个,本申请实施例不对第一关节或者第二关节的数量进行具体限定。
其中,该第二动作向量用于表示该第二关节在该目标帧中的位移和旋转,因此该第二动作向量也可以称为第二关节在目标帧中的位姿。
可选地,终端从缓存中获取该第二关节在该目标帧中的位移和旋转,将该第二关节在该目标帧中的位移和旋转编码成该第二动作向量。
503、终端将该第一动作向量与该第二动作向量拼接所得到的动作向量确定为该虚拟对象的第一动作数据。
在一些实施例中,终端将该第一动作向量和该第二动作向量进行拼接(concatenation),将拼接所得到的动作向量确定为第一动作数据。这里的拼接是指将第一动作向量和第二动作向量在维度上直接相连,例如将第一个10维的第一动作向量和一个20维的第二动作向量拼接成一个30维的动作向量,将这个30维的动作向量确定为该第一动作数据。
在上述步骤501-503中,终端获取该虚拟对象的第一动作数据,其中,该第一动作数据包括该虚拟对象在目标帧的动作数据以及在该目标帧的下一帧中的控制数据,虚拟对象在目标帧的动作数据分别包括第一关节和第二关节各自在目标帧的位移和旋转,虚拟对象在目标帧的下一帧中的控制数据包括第一关节在目标帧的下一帧的位移和旋转。
504、终端基于该虚拟对象的虚拟对象类型,确定该虚拟对象的目标动作风格,该目标动作风格与该虚拟对象类型相对应。
上述步骤504与上述步骤302类似,这里不做赘述。
505、终端获取与该目标动作风格对应的偏移量。
可选地,该偏移量是动作风格的偏移参数,每一个动作风格对应于一个偏移量,不同的动作风格对应于不同的偏移量,各个动作风格的偏移量随着动作生成模型的训练过程而同步训练得到,也即各个动作风格的偏移量是训练动作生成模型所得的副产物。偏移量的获取方式将在动作生成模型的训练实施例中进行详述,这里不做赘述。
在一些实施例中,终端将各个动作风格与各自的偏移量对应存储,终端以目标动作风格为索引,在缓存中查询与该索引对应的索引内容,当该索引命中任一索引内容时,读取该索引内容中存储的偏移量。
可选地,各个动作风格与各个偏移量以键值对的形式对应存储,或者,各个动作风格与各个偏移量以元组的形式对应存储,本申请实施例对此不进行具体限定。
506、终端对该第一动作数据进行线性变换,得到线性变换后的第一动作数据。
在一些实施例中,终端将第一动作数据与单位矩阵进行按元素相乘,得到线性变换后的第一动作数据。
在一些实施例中,终端将第一动作数据与单位矩阵和一个线性变换系数进行按元素相乘,得到线性变换后的第一动作数据。
507、终端基于该偏移量,对该线性变换后的第一动作数据进行平移,得到第二动作数据,其中,不同动作风格的第二动作数据具有不同的取值范围。
在一些实施例中,终端将线性变换后的第一动作数据与该偏移量进行按元素相加,得到第二动作数据。
在上述步骤505-507中,以对第一动作数据进行仿射变换得到第二动作数据为例,示出了终端基于该目标动作风格,对该第一动作数据进行映射,得到第二动作数据的一种可能实施方式。通过仿射变换的方式,对第一动作数据进行预处理,以使得将第一动作数据迁移至与目标动作风格所对应的取值范围,从而与其他动作风格的第一动作数据分隔开来,使得高维空间中不同动作风格的第一动作数据互相不受影响。
在一些实施例中,上述步骤505-507可以采用下述方式进行替换:获取与该目标动作风格对应的频域区间;对该第一动作数据进行离散傅里叶变换,得到该第一动作数据对应的第一频域数据;将该第一频域数据平移至该频域区间,得到第二频域数据;对该第二频域数据进行离散傅里叶逆变换,得到该第二动作数据。
上述过程中,终端对每种动作风格预先配置了对应的频域区间,且不同动作风格的频域区间之间互相不存在交集,通过DFT能够将时域上的信号(第一动作数据)转换到频域,在频域上进行平移至对应的频域区间后,再通过IDFT将频域信号转换回时域,从而将不同动作风格的动作数据在频域上分隔开,保证最终生成的动作数据仍然保持原来的动作风格。
在另一些实施例中,终端还可以利用自动编码器对第一动作数据进行编码,限制具有不同动作风格的第二动作数据在压缩后的隐空间正交,同样能够将不同动作风格的动作数据在频域上分隔开,保证最终生成的动作数据仍然保持原来的动作风格。
508、终端将该第二动作数据输入动作生成模型,通过该动作生成模型对该第二动作数据进行处理,输出具有该目标动作风格的第三动作数据,该第三动作数据为该虚拟对象在目标帧的下一帧中的动作数据。
其中,该动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
其中,该第三动作数据至少包括虚拟对象的第二关节在目标帧的下一帧中的位移和旋转,因此该第三动作数据也可以称为第二关节在目标帧的下一帧中的位姿。
上述步骤508也即是终端调用动作生成模型对该第二动作数据进行处理,输出具有该目标动作风格的第三动作数据。
在一些实施例中,该动作生成模型可以是任一神经网络模型,例如,该动作生成模型为MLP,又例如,该动作生成模型为RNN,本申请实施例不对动作生成模型的模型结构进行具体限定。
在一个示例性实施例中,以该动作生成模型为 MLP为例说明, MLP模型包括至少一个隐藏层,终端将第二动作数据输入到该至少一个隐藏层中,通过该至少一个隐藏层对该第二动作数据进行加权处理,由最后一个隐藏层输出该第三动作数据。
在上述步骤508中,终端基于该第二动作数据,生成具有该目标动作风格的第三动作数据。终端在获取到第三动作数据之后,可以基于第三动作数据来渲染虚拟对象在下一帧中做出与控制指令相对应的动作,比如,在虚拟场景中先渲染控制指令所指示的第一关节在下一帧中的位移和旋转,然后再渲染动作生成模型所预测的第二关节在下一帧中的位移和旋转,从而能够显示出整个虚拟对象的三维模型骨架,再利用着色器对三维模型骨架进行进一步顶点着色、纹理渲染等,最终能够在虚拟场景中呈现出虚拟对象按照控制指令执行对应的动作。
上述所有可选技术方案,能够采用任意结合形成本公开的可选实施例,在此不再一一赘述。
本申请实施例提供的方法,通过在获取控制指令后,确定与虚拟对象类型相对应的目标动作风格,将原始的第一动作数据投射到与目标动作风格所对应的取值范围,得到与其他动作风格的取值范围不重叠的第二动作数据,再调用动作生成模型来预测下一帧的第三动作数据,使得预测出的第三动作数据能够保留目标动作风格,而不会输出多种动作风格的平均风格,从而提升了生成动作数据的准确度。
在上述实施例中,示出了如何利用动作生成模型预测出保留原本动作风格的动作数据,在本申请实施例中,将对动作生成模型的训练过程进行说明,图6是本申请实施例提供的一种动作生成模型的训练流程图,请参考图6,该实施例应用于电子设备,以电子设备为服务器为例进行说明,服务器训练得到动作生成模型后,可以将动作生成模型下发至终端。
601、服务器获取多个样本虚拟对象的多个样本动作片段,该多个样本虚拟对象对应于多种动作风格。
其中,每个样本动作片段包括连续的多个视频帧。
其中,样本虚拟对象的虚拟对象类型与样本虚拟对象的动作风格具有对应关系。
可选地,该对应关系可以是一对一关系,也即一种样本虚拟对象唯一对应于一种动作风格,或者,该对应关系可以是多对一关系,也即多种样本虚拟对象对应于同一种动作风格,本申请实施例不对此进行具体限定。
在一些实施例中,服务器收集玩家控制多个样本虚拟对象执行一系列动作所形成的多个样本动作片段。
602、对任一样本动作片段,服务器基于该任一样本动作片段所对应的动作风格,对该任一样本动作片段中多个帧的第一动作数据进行映射,得到该多个帧的第二动作数据。
其中,该第一动作数据至少包括该虚拟对象在目标帧的动作数据以及在该目标帧的下一帧中的控制数据。可选地,该第一动作数据还包括该目标虚拟对象在目标帧的上一帧的动作数据。
其中,该第二动作数据是指将第一动作数据映射至对应的动作风格所在的取值范围之后所得的动作数据。
在一些实施例中,服务器基于该多个帧的第一动作数据中的最大值和最小值,确定该动作风格对应的偏移量;对于该多个帧中任一帧的第一动作数据,基于单位矩阵对该任一帧的第一动作数据进行线性变换,将线性变换后的第一动作数据与该动作风格对应的偏移量相加,得到该任一帧的第二动作数据。
可选地,服务器将上述最大值与最小值相减,得到该动作风格对应的偏移量。
在上述过程中,服务器对于每种动作风格,根据对应样本动作片段中各个帧的第一动作数据中的最大值和最小值,能够确定出每种动作风格的偏移量,且这一偏移量能够投入到后续模型应用中,接着,利用单位矩阵对第一动作数据进行线性变换,再利用计算出的偏移量对线性变换后的第一动作数据进行平移,因此能够达到对各个样本动作片段中各个帧的第一动作数据进行仿射变换,以得到迁移第一动作数据的取值范围的效果。
在一些实施例中,对于每个样本动作片段中的每一帧,除了仿射变换的方式之外,服务器也可以利用时频变换的方式,使得各个动作风格的动作数据在频域上完全分隔开,或者,还可以利用自动编码器对各个动作风格的动作数据进行编码,限制不同动作风格的动作数据在压缩后的隐空间正交,本申请实施例对此不进行具体限定。
在一个示例性场景中,采样了共个动作风格,具有第i种动作风格的第一动作数据表示为/>,假设/>表示具有第i种动作风格的样本动作片段的样本数量,/>表示模型输入的第一动作数据的维度,那么/>,其中,/>
在一些实施例中,对第一动作数据进行仿射变换,得到第二动作数据的方式,可以采用如下伪代码进行表示:
输入:个动作风格的模型输入数据/>,/>/>
输出:经过空间变换后个动作风格的模型输入数据/>
算法 InputAffineTransformation();
fori← 1 to
# 计算仿射变换的偏移量
ifi== 1
= 0
else
= max(/>,row) – min(/>,row)
# 应用仿射变换得到新的模型输入数据
End
其中,I表示单位矩阵,表示第一动作数据,/>表示第二动作数据,/>表示偏移量。而max(/>,row)表示取/>的每一行中的最大值,相当于求所有样本中的最大值,构成一个/>维的列向量,min(/>,row)表示取/>的每一行中的最小值,相当于求所有样本中的最小值,构成另一个/>维的列向量。
603、服务器基于该多个帧的第二动作数据,对初始动作模型进行训练,得到动作生成模型。
其中,该动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
在一些实施例中,对任一样本动作片段中的任一帧,服务器基于样本虚拟对象的虚拟对象类型,确定样本虚拟对象的样本动作风格,基于该样本动作风格,将该任一帧的第一动作数据映射得到第二动作数据,将第二动作数据输入至初始动作模型,预测该任一帧的下一帧的第三动作数据。进一步地,再将预测所得的第三动作数据以及玩家在下一帧的控制指令作为模型的输入,能够以自回归的方式迭代输出一个连续的样本虚拟对象的动作片段。根据自回归输出的动作片段与真实的样本动作片段,计算本次迭代过程的损失函数值,如果损失函数值不满足停止条件,调整初始动作模型的参数,重复执行上述步骤,直到损失函数值满足停止条件时,停止训练,得到动作生成模型。可选地,该停止条件为迭代次数大于次数阈值,或者,该停止条件为损失函数值小于损失阈值。
在本申请实施例中,通过利用仿射变换将具有不同动作风格的动作数据映射到高维空间的不同位置,避免了由于定义域重合所导致的只能输出平均风格的问题,使得仅使用一个动作生成模型,能够稳定的预测出至少三种动作风格的动作数据。这一动作生成模型不但能够应用于游戏开发流程中角色动作生成的环节中,并且还能够扩展到动画制作等对角色动作质量要求较高的场景中。进一步地,由于仅使用一个动作生成模型,能够稳定的支持多类角色动作风格的生成,提升了动作生成模型的利用效率,减小了动作生成模型的存储空间。
图7是本申请实施例提供的一种动作数据的生成装置的结构示意图,请参考图7,该装置包括:
获取模块701,用于响应于对虚拟场景中虚拟对象的控制指令,获取该虚拟对象的第一动作数据,该第一动作数据包括该虚拟对象在目标帧的动作数据以及在该目标帧的下一帧中的控制数据;
确定模块702,用于基于该虚拟对象的虚拟对象类型,确定该虚拟对象的目标动作风格,该目标动作风格与该虚拟对象类型相对应;
映射模块703,用于基于该目标动作风格,对该第一动作数据进行映射,得到第二动作数据,其中,不同动作风格的第二动作数据具有不同的取值范围;
处理模块704,用于调用动作生成模型对该第二动作数据进行处理,输出具有该目标动作风格的第三动作数据,该第三动作数据为该虚拟对象在该目标帧的下一帧中的动作数据,该动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
本申请实施例提供的装置,通过在获取控制指令后,确定与虚拟对象类型相对应的目标动作风格,将原始的第一动作数据投射到与目标动作风格所对应的取值范围,得到与其他动作风格的取值范围不重叠的第二动作数据,再调用动作生成模型来预测下一帧的第三动作数据,使得预测出的第三动作数据能够保留目标动作风格,而不会输出多种动作风格的平均风格,从而提升了生成动作数据的准确度。
在一种可能实施方式中,该映射模块703用于:
获取与该目标动作风格对应的偏移量;
对该第一动作数据进行线性变换,得到线性变换后的第一动作数据;
基于该偏移量,对该线性变换后的第一动作数据进行平移,得到该第二动作数据。
在一种可能实施方式中,该映射模块703用于:
获取与该目标动作风格对应的频域区间;
对该第一动作数据进行离散傅里叶变换,得到该第一动作数据对应的第一频域数据;
将该第一频域数据平移至该频域区间,得到第二频域数据;
对该第二频域数据进行离散傅里叶逆变换,得到该第二动作数据。
在一种可能实施方式中,该获取模块701用于:
基于该控制指令,确定该虚拟对象的第一关节的第一动作向量,该第一关节为该虚拟对象的三维模型骨架的初始关节,该第一动作向量用于表示该第一关节在该目标帧和该目标帧的下一帧中的位移和旋转;
获取该虚拟对象的第二关节的第二动作向量,该第二关节为该三维模型骨架中除了该第一关节之外的关节,该第二动作向量用于表示该第二关节在该目标帧中的位移和旋转;
将该第一动作向量与该第二动作向量拼接所得到的动作向量确定为该第一动作数据。
在一种可能实施方式中,该第一动作向量还用于表示该第一关节在该目标帧的上一帧中的位移和旋转。
在一种可能实施方式中,基于图7的装置组成,该装置还包括训练模块,该训练模块包括:
获取单元,用于获取多个样本虚拟对象的多个样本动作片段,该多个样本虚拟对象对应于多种动作风格;
映射单元,用于对任一样本动作片段,基于该任一样本动作片段所对应的动作风格,对该任一样本动作片段中多个帧的第一动作数据进行映射,得到该多个帧的第二动作数据;
训练单元,用于基于该多个帧的第二动作数据,对初始动作模型进行训练,得到该动作生成模型。
在一种可能实施方式中,该映射单元用于:
基于该多个帧的第一动作数据中的最大值和最小值,确定该动作风格对应的偏移量;
对于该多个帧中任一帧的第一动作数据,基于单位矩阵对该任一帧的第一动作数据进行线性变换,将线性变换后的第一动作数据与该动作风格对应的偏移量相加,得到该任一帧的第二动作数据。
上述所有可选技术方案,能够采用任意结合形成本公开的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的动作数据的生成装置在生成动作数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,能够根据需要而将上述功能分配由不同的功能模块完成,即将电子设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的动作数据的生成装置与动作数据的生成方法实施例属于同一构思,其具体实现过程详见动作数据的生成方法实施例,这里不再赘述。
图8是本申请实施例提供的一种电子设备的结构示意图。可选地,以电子设备为终端800为例进行说明,该终端800的设备类型包括:智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端800包括有:处理器801和存储器802。
可选地,处理器801包括一个或多个处理核心,比如4核心处理器、8核心处理器等。可选地,处理器801采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中,处理器801包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
在一些实施例中,存储器802包括一个或多个计算机可读存储介质,可选地,该计算机可读存储介质是非暂态的。可选地,存储器802还包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器801所执行以实现本申请中各个实施例提供的动作数据的生成方法。
在一些实施例中,终端800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间能够通过总线或信号线相连。各个外围设备能够通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、显示屏805、摄像头组件806、音频电路807和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input /Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。可选地,射频电路804通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。可选地,该UI包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号能够作为控制信号输入至处理器801进行处理。可选地,显示屏805还用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805为一个,设置终端800的前面板;在另一些实施例中,显示屏805为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,显示屏805是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,可选地,显示屏805设置成非矩形的不规则图形,也即异形屏。可选地,显示屏805采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还包括闪光灯。可选地,闪光灯是单色温闪光灯,或者是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,用于不同色温下的光线补偿。
在一些实施例中,音频电路807包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风为多个,分别设置在终端800的不同部位。可选地,麦克风是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。可选地,扬声器是传统的薄膜扬声器,或者是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅能够将电信号转换为人类可听见的声波,也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还包括耳机插孔。
电源809用于为终端800中的各个组件进行供电。可选地,电源809是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池支持有线充电或无线充电。该可充电电池还用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、光学传感器815以及接近传感器816。
在一些实施例中,加速度传感器811检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811用于检测重力加速度在三个坐标轴上的分量。可选地,处理器801根据加速度传感器811采集的重力加速度信号,控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还用于游戏或者用户的运动数据的采集。
在一些实施例中,陀螺仪传感器812检测终端800的机体方向及转动角度,陀螺仪传感器812与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
可选地,压力传感器813设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时,能够检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时,由处理器801根据用户对显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801根据光学传感器815采集的环境光强度,控制显示屏805的显示亮度。具体地,当环境光强度较高时,调高显示屏805的显示亮度;当环境光强度较低时,调低显示屏805的显示亮度。在另一个实施例中,处理器801还根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员能够理解,图8中示出的结构并不构成对终端800的限定,能够包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图9是本申请实施例提供的一种电子设备的结构示意图,该电子设备900可因配置或性能不同而产生比较大的差异,该电子设备900包括一个或一个以上处理器(CentralProcessing Units,CPU)901和一个或一个以上的存储器902,其中,该存储器902中存储有至少一条计算机程序,该至少一条计算机程序由该一个或一个以上处理器901加载并执行以实现上述各个实施例提供的动作数据的生成方法。可选地,该电子设备900还具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该电子设备900还包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条计算机程序的存储器,上述至少一条计算机程序可由终端中的处理器执行以完成上述各个实施例中动作数据的生成方法。例如,该计算机可读存储介质包括ROM(Read-Only Memory,只读存储器)、RAM(Random-Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,包括一条或多条程序代码,该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码,该一个或多个处理器执行该一条或多条程序代码,使得电子设备能够执行以完成上述实施例中的动作数据的生成方法。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成,也能够通过程序来指令相关的硬件完成,可选地,该程序存储于一种计算机可读存储介质中,可选地,上述提到的存储介质是只读存储器、磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种动作数据的生成方法,其特征在于,所述方法包括:
响应于对虚拟场景中虚拟对象的控制指令,获取所述虚拟对象的第一动作数据,所述第一动作数据包括所述虚拟对象在目标帧的动作数据以及在所述目标帧的下一帧中的控制数据;
基于所述虚拟对象的虚拟对象类型,确定所述虚拟对象的目标动作风格,所述目标动作风格与所述虚拟对象类型相对应;
获取与所述目标动作风格对应的偏移量,所述偏移量为动作风格的偏移参数,每一个动作风格对应于一个偏移量,不同的动作风格对应于不同的偏移量,各个动作风格的偏移量随着动作生成模型的训练过程而同步训练得到;对所述第一动作数据进行线性变换,得到线性变换后的第一动作数据;基于所述偏移量,对所述线性变换后的第一动作数据进行平移,得到第二动作数据;或,获取与所述目标动作风格对应的频域区间,每种动作风格预先配置有对应的频域区间,不同动作风格的频域区间之间互相不存在交集;对所述第一动作数据进行离散傅里叶变换,得到所述第一动作数据对应的第一频域数据;将所述第一频域数据平移至所述频域区间,得到第二频域数据;对所述第二频域数据进行离散傅里叶逆变换,得到第二动作数据;
调用所述动作生成模型对所述第二动作数据进行处理,输出具有所述目标动作风格的第三动作数据,所述第三动作数据为所述虚拟对象在所述目标帧的下一帧中的动作数据,所述动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
2.根据权利要求1所述的方法,其特征在于,所述响应于对虚拟场景中虚拟对象的控制指令,获取所述虚拟对象的第一动作数据包括:
基于所述控制指令,确定所述虚拟对象的第一关节的第一动作向量,所述第一关节为所述虚拟对象的三维模型骨架的初始关节,所述第一动作向量用于表示所述第一关节在所述目标帧和所述目标帧的下一帧中的位移和旋转;
获取所述虚拟对象的第二关节的第二动作向量,所述第二关节为所述三维模型骨架中除了所述第一关节之外的关节,所述第二动作向量用于表示所述第二关节在所述目标帧中的位移和旋转;
将所述第一动作向量与所述第二动作向量拼接所得到的动作向量确定为所述第一动作数据。
3.根据权利要求2所述的方法,其特征在于,所述第一动作向量还用于表示所述第一关节在所述目标帧的上一帧中的位移和旋转。
4.根据权利要求1所述的方法,其特征在于,所述动作生成模型的训练过程包括:
获取多个样本虚拟对象的多个样本动作片段,所述多个样本虚拟对象对应于多种动作风格;
对任一样本动作片段,基于所述任一样本动作片段所对应的动作风格,对所述任一样本动作片段中多个帧的第一动作数据进行映射,得到所述多个帧的第二动作数据;
基于所述多个帧的第二动作数据,对初始动作模型进行训练,得到所述动作生成模型。
5.根据权利要求4所述的方法,其特征在于,所述基于所述任一样本动作片段所对应的动作风格,对所述任一样本动作片段中多个帧的第一动作数据进行映射,得到所述多个帧的第二动作数据包括:
基于所述多个帧的第一动作数据中的最大值和最小值,确定所述动作风格对应的偏移量;
对于所述多个帧中任一帧的第一动作数据,基于单位矩阵对所述任一帧的第一动作数据进行线性变换,将线性变换后的第一动作数据与所述动作风格对应的偏移量相加,得到所述任一帧的第二动作数据。
6.一种动作数据的生成装置,其特征在于,所述装置包括:
获取模块,用于响应于对虚拟场景中虚拟对象的控制指令,获取所述虚拟对象的第一动作数据,所述第一动作数据包括所述虚拟对象在目标帧的动作数据以及在所述目标帧的下一帧中的控制数据;
确定模块,用于基于所述虚拟对象的虚拟对象类型,确定所述虚拟对象的目标动作风格,所述目标动作风格与所述虚拟对象类型相对应;
映射模块,用于获取与所述目标动作风格对应的偏移量,所述偏移量为动作风格的偏移参数,每一个动作风格对应于一个偏移量,不同的动作风格对应于不同的偏移量,各个动作风格的偏移量随着动作生成模型的训练过程而同步训练得到;对所述第一动作数据进行线性变换,得到线性变换后的第一动作数据;基于所述偏移量,对所述线性变换后的第一动作数据进行平移,得到第二动作数据;或,获取与所述目标动作风格对应的频域区间,每种动作风格预先配置有对应的频域区间,不同动作风格的频域区间之间互相不存在交集;对所述第一动作数据进行离散傅里叶变换,得到所述第一动作数据对应的第一频域数据;将所述第一频域数据平移至所述频域区间,得到第二频域数据;对所述第二频域数据进行离散傅里叶逆变换,得到第二动作数据;
处理模块,用于调用所述动作生成模型对所述第二动作数据进行处理,输出具有所述目标动作风格的第三动作数据,所述第三动作数据为所述虚拟对象在所述目标帧的下一帧中的动作数据,所述动作生成模型用于基于目标帧中具有一种动作风格的动作数据预测目标帧的下一帧中具有相同动作风格的动作数据。
7.根据权利要求6所述的装置,其特征在于,所述获取模块,用于:
基于所述控制指令,确定所述虚拟对象的第一关节的第一动作向量,所述第一关节为所述虚拟对象的三维模型骨架的初始关节,所述第一动作向量用于表示所述第一关节在所述目标帧和所述目标帧的下一帧中的位移和旋转;
获取所述虚拟对象的第二关节的第二动作向量,所述第二关节为所述三维模型骨架中除了所述第一关节之外的关节,所述第二动作向量用于表示所述第二关节在所述目标帧中的位移和旋转;
将所述第一动作向量与所述第二动作向量拼接所得到的动作向量确定为所述第一动作数据。
8.根据权利要求7所述的装置,其特征在于,所述第一动作向量还用于表示所述第一关节在所述目标帧的上一帧中的位移和旋转。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括训练模块,所述训练模块包括:
获取单元,用于获取多个样本虚拟对象的多个样本动作片段,所述多个样本虚拟对象对应于多种动作风格;
映射单元,用于对任一样本动作片段,基于所述任一样本动作片段所对应的动作风格,对所述任一样本动作片段中多个帧的第一动作数据进行映射,得到所述多个帧的第二动作数据;
训练单元,用于基于所述多个帧的第二动作数据,对初始动作模型进行训练,得到所述动作生成模型。
10.根据权利要求9所述的装置,其特征在于,所述映射单元,用于:
基于所述多个帧的第一动作数据中的最大值和最小值,确定所述动作风格对应的偏移量;
对于所述多个帧中任一帧的第一动作数据,基于单位矩阵对所述任一帧的第一动作数据进行线性变换,将线性变换后的第一动作数据与所述动作风格对应的偏移量相加,得到所述任一帧的第二动作数据。
11.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求5任一项所述的动作数据的生成方法。
12.一种存储介质,其特征在于,所述存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的动作数据的生成方法。
CN202110062561.4A 2021-01-18 2021-01-18 动作数据的生成方法、装置、电子设备及存储介质 Active CN113559500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110062561.4A CN113559500B (zh) 2021-01-18 2021-01-18 动作数据的生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110062561.4A CN113559500B (zh) 2021-01-18 2021-01-18 动作数据的生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113559500A CN113559500A (zh) 2021-10-29
CN113559500B true CN113559500B (zh) 2023-07-21

Family

ID=78160953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110062561.4A Active CN113559500B (zh) 2021-01-18 2021-01-18 动作数据的生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113559500B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018079059A (ja) * 2016-11-16 2018-05-24 株式会社カプコン ゲームプログラムおよびゲーム装置
CN108961428A (zh) * 2018-05-23 2018-12-07 网易(杭州)网络有限公司 一种三维动作的风格迁移方法、介质、装置和计算设备
CN109091869A (zh) * 2018-08-10 2018-12-28 腾讯科技(深圳)有限公司 虚拟对象的动作控制方法、装置、计算机设备及存储介质
CN109464803A (zh) * 2018-11-05 2019-03-15 腾讯科技(深圳)有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN110555896A (zh) * 2019-09-05 2019-12-10 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及存储介质
CN110930483A (zh) * 2019-11-20 2020-03-27 腾讯科技(深圳)有限公司 一种角色控制的方法、模型训练的方法以及相关装置
CN111340211A (zh) * 2020-02-19 2020-06-26 腾讯科技(深圳)有限公司 一种动作控制模型的训练方法、相关装置及存储介质
CN111841018A (zh) * 2020-06-03 2020-10-30 超参数科技(深圳)有限公司 模型训练方法、模型使用方法、计算机设备及存储介质
CN112037310A (zh) * 2020-08-27 2020-12-04 成都先知者科技有限公司 基于神经网络的游戏人物动作识别生成方法
CN112164130A (zh) * 2020-09-07 2021-01-01 北京电影学院 基于深度对抗网络的视频-动画风格迁移方法
CN112221140A (zh) * 2020-11-04 2021-01-15 腾讯科技(深圳)有限公司 虚拟对象的动作确定模型训练方法、装置、设备及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018079059A (ja) * 2016-11-16 2018-05-24 株式会社カプコン ゲームプログラムおよびゲーム装置
CN108961428A (zh) * 2018-05-23 2018-12-07 网易(杭州)网络有限公司 一种三维动作的风格迁移方法、介质、装置和计算设备
CN109091869A (zh) * 2018-08-10 2018-12-28 腾讯科技(深圳)有限公司 虚拟对象的动作控制方法、装置、计算机设备及存储介质
CN109464803A (zh) * 2018-11-05 2019-03-15 腾讯科技(深圳)有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN110555896A (zh) * 2019-09-05 2019-12-10 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及存储介质
CN110930483A (zh) * 2019-11-20 2020-03-27 腾讯科技(深圳)有限公司 一种角色控制的方法、模型训练的方法以及相关装置
CN111340211A (zh) * 2020-02-19 2020-06-26 腾讯科技(深圳)有限公司 一种动作控制模型的训练方法、相关装置及存储介质
CN111841018A (zh) * 2020-06-03 2020-10-30 超参数科技(深圳)有限公司 模型训练方法、模型使用方法、计算机设备及存储介质
CN112037310A (zh) * 2020-08-27 2020-12-04 成都先知者科技有限公司 基于神经网络的游戏人物动作识别生成方法
CN112164130A (zh) * 2020-09-07 2021-01-01 北京电影学院 基于深度对抗网络的视频-动画风格迁移方法
CN112221140A (zh) * 2020-11-04 2021-01-15 腾讯科技(深圳)有限公司 虚拟对象的动作确定模型训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113559500A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
US20210295099A1 (en) Model training method and apparatus, storage medium, and device
US20230274511A1 (en) Displaying virtual content in augmented reality using a map of the world
CN111738220B (zh) 三维人体姿态估计方法、装置、设备及介质
CN111726536B (zh) 视频生成方法、装置、存储介质及计算机设备
US11393154B2 (en) Hair rendering method, device, electronic apparatus, and storage medium
CN110276840B (zh) 多虚拟角色的控制方法、装置、设备及存储介质
KR102516124B1 (ko) 증강 및 가상 현실을 위한 시스템 및 방법
KR20210123399A (ko) 인공 지능에 기초한 애니메이션 이미지 구동 방법, 및 관련 디바이스
US20210152751A1 (en) Model training method, media information synthesis method, and related apparatuses
CN111603771B (zh) 动画生成方法、装置、设备及介质
CN112221140B (zh) 虚拟对象的动作确定模型训练方法、装置、设备及介质
CN110517340B (zh) 一种基于人工智能的脸部模型确定方法和装置
CN112206517B (zh) 一种渲染方法、装置、存储介质及计算机设备
JP7186901B2 (ja) ホットスポットマップの表示方法、装置、コンピュータ機器および読み取り可能な記憶媒体
CN113750523A (zh) 三维虚拟对象的动作生成方法、装置、设备及存储介质
CN113763532A (zh) 基于三维虚拟对象的人机交互方法、装置、设备及介质
CN115131475A (zh) 过渡帧生成方法、装置、设备及存储介质
CN112755517B (zh) 虚拟对象控制方法、装置、终端及存储介质
CN112206519B (zh) 实现游戏场景环境变化的方法、装置、存储介质及计算机设备
US20230347240A1 (en) Display method and apparatus of scene picture, terminal, and storage medium
CN113559500B (zh) 动作数据的生成方法、装置、电子设备及存储介质
CN112950753A (zh) 虚拟植物显示方法、装置、设备及存储介质
CN115222847A (zh) 一种基于神经网络的动画数据生成方法、装置及相关产品
CN115526967A (zh) 虚拟模型的动画生成方法、装置、计算机设备及存储介质
CN112604274B (zh) 虚拟对象的显示方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant