CN108499107B - 虚拟现实中虚拟角色的控制方法、装置及存储介质 - Google Patents

虚拟现实中虚拟角色的控制方法、装置及存储介质 Download PDF

Info

Publication number
CN108499107B
CN108499107B CN201810339281.1A CN201810339281A CN108499107B CN 108499107 B CN108499107 B CN 108499107B CN 201810339281 A CN201810339281 A CN 201810339281A CN 108499107 B CN108499107 B CN 108499107B
Authority
CN
China
Prior art keywords
data
current
player
action data
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810339281.1A
Other languages
English (en)
Other versions
CN108499107A (zh
Inventor
姜帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201810339281.1A priority Critical patent/CN108499107B/zh
Publication of CN108499107A publication Critical patent/CN108499107A/zh
Application granted granted Critical
Publication of CN108499107B publication Critical patent/CN108499107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种虚拟现实中虚拟角色的控制方法、装置、存储介质及电子装置。该方法包括：获取当前玩家的当前动作数据；使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作；控制与所述当前玩家对应的所述虚拟角色执行所述预定操作。通过本发明，解决了相关技术中现有的动作识别方案均是基于视频，需要外加视频采集设备而带来的动作识别方案复杂、浪费资源的问题，达到不但不需要外加视频采集设备，而且动作识别方案简单、节约资源，提高用户体验的效果。

Description

虚拟现实中虚拟角色的控制方法、装置及存储介质
技术领域
本发明涉及计算机图形领域，具体而言，涉及一种虚拟现实中虚拟角色的控制方法、装置、存储介质及电子装置。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它是利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真环境，使用户沉浸在该环境中。
机器学习技术是人工智能的核心，是使计算机具有智能的根本途径。其中，人工神经网络是实现机器学习技术的主要算法。人工神经网络是人类为了模仿自然界生物的神经网络结构和功能从而提出的机器学习模型。其由大量的人工神经元组成。每个神经元都是一个独立的可计算模块，其中具有一个输出函数，在业界习惯称其为激励函数，来使神经元针对于特定的输入能有一定规律的输出。另外，神经元与神经元之间由相应的权值相连，其模拟的是生物神经元之间的突触，该权值在经过训练后会发生改变，以使人工神经网络具有特定的功能，而这种权值改变的过程即为训练，权值改变的这种现象更像是生物的记忆。权值使得输入的信号在由输入层传递进入神经网络时，在传递过程中不断的发生变化。最终的输出，即网络的预测值，由输入，权重值，网络连接方式，激励函数等多种因素决定，也使得不同的人工神经网络可以具备不同的功能。
现有的基于机器学习的动作识别方案都是基于视频，并采用了卷积神经网络对视频内容进行分析来实现的，很难应用于虚拟现实领域，主要原因如下：(1)虚拟现实技术目前并没有对使用者的动作影像采集设备，这使得现有的基于视频的方案都需要外加摄影设备(如摄像机)，这使得现有的基于视频的方案都无法直接运用于虚拟现实中。(2)人工神经网络中卷积神经网络更适合于处理图像信息，因此在现有技术中(使用摄像机等外加设备采集视频)，大多使用卷积神经网络对虚拟现实进行模型训练，但是卷积神经网络的层数较多，在预测过程中对于计算资源的消耗较大，浪费虚拟现实计算资源。综上所述，由于虚拟现实是近年来的新兴领域，其交互方式与传统的平台有了很大的不同，因此传统的识别方案很难进行移植适配。更好的做法是为虚拟现实应用设计一种全新的适配虚拟现实交互输入的动作识别方案，并使其无论从开发过程和线上运行效率来说都足够高效。
针对相关技术中，现有的动作识别方案均是基于视频，需要外加视频采集设备而带来的动作识别方案复杂、浪费资源的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种虚拟现实中虚拟角色的控制方法、装置、存储介质及电子装置，以至少解决相关技术中现有的动作识别方案均是基于视频，需要外加视频采集设备而带来的动作识别方案复杂、浪费资源的问题。
根据本发明的一个实施例，提供了一种虚拟现实中虚拟角色的控制方法，包括：获取当前玩家的当前动作数据；使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作；控制与所述当前玩家对应的所述虚拟角色执行所述预定操作。
可选地，在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，还包括：根据第一身体特征与第二身体特征对所述当前动作数据进行修正，其中，所述第一身体特征为预先获取的所述当前玩家的身体特征，所述第二身体特征是对所述第一模型进行训练时所采集的训练玩家的身体特征。
所述使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，包括：使用所述第一模型对修正后的当前动作数据进行分析，确定所述修正后的当前动作数据所对应的预定操作。
可选地，使用所述第一模型对修正后的当前动作数据进行分析，确定所述修正后的当前动作数据所对应的预定操作包括：使用所述第一模型确定与所述修正后的当前动作数据对应的标准动作数据；将确定的所述标准动作数据对应的预定操作作为所述修正后的当前动作数据所对应的预定操作。
可选地，所述第一身体特征包括所述当前玩家的臂长，所述第二身体特征包括所述训练玩家的臂长，所述当前动作数据包括所述当前玩家通过挥动双臂所触发的动作的数据。
可选地，获取当前玩家的当前动作数据包括：通过位于所述当前玩家的双臂上的控制器获取所述当前玩家的所述当前动作数据。
可选地，确定所述当前动作数据所对应的预定操作包括：在确定所述当前动作数据所包括的关键帧数据依次与标准动作数据所包括的关键帧数据相对应，且所述当前动作数据所包括的各关键帧数据的触发时间间隔小于第一预定阈值的条件下，确定所述当前动作数据所对应的预定操作。
可选地，在确定所述当前动作数据所对应的预定操作之前，所述方法还包括：在以下条件至少之一时，确定所述当前动作数据为无效数据，其中，无效数据为不会触发操作的数据：所述当前动作数据所包括的关键帧数据与所述预定操作对应的标准动作数据所包括的关键帧数据不对应；所述当前动作数据所包括的至少两个关键帧数据间的触发时间间隔大于第一预定阈值；在获取所述玩家的当前动作数据中的第一关键帧数据之后，未在预定时间内获取第二关键帧数据，其中，所述第一关键帧数据和所述第二关键帧数据均为与所述预定操作对应的标准动作数据所包括的关键帧数据相对应的数据；获取的所述玩家的当前动作数据中相邻的两个关键帧数据间的差值小于第二预定阈值。
可选地，所述标准动作数据是通过如下方式确定的：对训练玩家执行的预定动作进行录制；从录制的视频中选取多个关键帧，并标定所述多个关键帧的时间间隔；将选取的所述多个关键帧的数据和所述时间间隔的数据作为所述标准动作数据。
可选地，在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，所述方法还包括：使用神经网络训练数据和所述多组标准动作数据对预先构造的神经网络进行训练以得到所述第一模型。
根据本发明的另一个实施例，提供了一种虚拟现实中虚拟角色的控制装置，包括：获取模块，用于获取当前玩家的当前动作数据；分析模块，用于使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作；控制模块，用于控制与所述当前玩家对应的所述虚拟角色执行所述预定操作。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于通过机器学习对标准动作数据进行训练，得到训练模型，使用该模型对玩家的动作数据进行分析，控制对应的虚拟角色所执行的操作。因此，可以解决现有的动作识别方案均是基于视频，需要外加视频采集设备而带来的动作识别方案复杂、浪费资源的问题，达到不但不需要外加视频采集设备，而动作识别方案简单、节约资源，提高用户体验的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的虚拟现实中虚拟角色的控制方法的移动终端的硬件结构框图；
图2是根据本发明实施例的虚拟现实中虚拟角色的控制方法的流程图；
图3是根据本发明实施例的动作采集者摆出T字型姿势图；
图4是根据本发明实施例的录制玩家的动作数据图；
图5是根据本发明可选实施例的获取动作采集者臂长图；
图6是根据本发明可选实施例的虚拟现实中虚拟角色的控制装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端、虚拟现实设备或者类似的运算装置中执行。以运行在虚拟现实设备上为例，图1是本发明实施例的一种虚拟现实中虚拟角色的控制方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的虚拟现实中虚拟角色的控制方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
实施例2
在本实施例中提供了一种运行于虚拟现实设备的虚拟现实中虚拟角色的控制方法，图2是根据本发明实施例的虚拟现实中虚拟角色的控制方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取当前玩家的当前动作数据；
步骤S204，使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据与对应于不同的预定操作；
步骤S206，控制与所述当前玩家对应的所述虚拟角色执行所述预定操作。
通过上述步骤，由于通过机器学习对标准动作数据进行训练，得到训练模型(对应于上述的第一模型)，使用该模型对玩家的动作数据进行分析，控制对应的虚拟角色所执行的操作。解决了现有的动作识别方案均是基于视频，需要外加视频采集设备而带来的动作识别方案复杂、浪费资源的问题，达到不但不需要外加视频采集设备，而且动作识别方案简单、节约资源，提高用户体验的效果。
可选地，上述步骤的执行主体可以为终端(例如，可以是虚拟现实设备)等，但不限于此。
在一个可选实施例中，在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，还包括：根据第一身体特征与第二身体特征对所述当前动作数据进行修正，其中，所述第一身体特征为预先获取的所述当前玩家的身体特征，所述第二身体特征是对所述第一模型进行训练时所采集的训练玩家的身体特征。在本实施例中，根据在训练第一模型时采集的动作数据(对应于与第二身体特征对应的动作数据)与获取到的玩家的动作数据(对应于第一身体特征对应的动作数据)之间的关系，可以将训练神经网络模型(对应于第一模型)所录制的数据(对应于第二身体特征对应的动作数据)近似映射到不同体态的玩家(对应于第一身体特征)上，例如，可以根据一定的映射比例，将采集训练数据的用户的臂长或者其它身体特征映射(如，腿长)到玩家身上。举例说明，例如所采集训练数据的用户的臂长为1.5米，玩家的臂长为1.8米，则可以按照6/5(即，根据1.8/1.5得到的比例)的映射比例适当缩小玩家的动作数据的数值，从而得到和训练数据更贴合的动作数据。所以在采集训练第一模型的训练数据时，可以仅对一个玩家的动作进行录制即可，不需要对不同的人的动作进行录制。
在一个可选实施例中，上述使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，包括：使用所述第一模型对修正后的当前动作数据进行分析，确定所述修正后的当前动作数据所对应的预定操作。在本实施例中，使用训练好的神经网络模型，即训练模型(对应于第一模型)对修正后的当前玩家的动作数据进行分析，即可确定当前玩家的动作对应于虚拟现实中虚拟角色所执行的操作。
在一个可选实施例中，使用所述第一模型对修正后的当前动作数据进行分析，确定所述修正后的当前动作数据所对应的预定操作包括：使用所述第一模型确定与所述修正后的当前动作数据对应的标准动作数据；将确定的所述标准动作数据对应的预定操作作为所述修正后的当前动作数据所对应的预定操作。在本实施例中，在线上预测时，例如，可以将玩家双手对于头显的相对位置经过臂长映射的修正后作为人工神经网络模型(对应于第一模型)的输入送入神经网络模型(对应于第一模型)，或者可以将玩家的双腿对于腰部的相对位置经过双腿的映射的修正后作为人工神经网络模型的输入送入神经网络模型，当然，也可以是其他的相对位置。当完成一次前向传递后，神经网络模型输出其本次预测结果。
在一个可选实施例中，所述第一身体特征包括所述当前玩家的臂长，所述第二身体特征包括所述训练玩家的臂长，所述当前动作数据包括所述当前玩家通过挥动双臂所触发的动作的数据。在本实施例中，获取动作采集者的臂长。动作采集者可以摆出各种姿势，例如，可以为T字型姿势(如图3所示)或者1字型(双臂一个向上，一个向下)等姿势等，并按下控制器的按键，此时，控制器间的距离即近似为采集者的臂长。需要说明的是控制器可以放在身体的各个部位，不单单是指手持，例如，还可以是双臂上的位置或者双脚的位置，或者双腿上的任何位置，只要可以测量到玩家的动作数据即可。
在一个可选实施例中，获取当前玩家的当前动作数据包括：通过位于所述当前玩家的双臂上的控制器获取所述当前玩家的所述当前动作数据。在本实施例中，用户在录制环境下等待录制信号，当录制信号显示为开始录制时，采集者需准确的完成一次完整的动作，动作结束时，按下控制器按键示意动作录制结束。所述的录制环境指的是本实施例中的一个自实现的录制场景，在该场景下，存在一个录制提示灯，当录制提示灯亮起红色时，代表开始录制，此时，当前玩家的动作数据被录制环境实时记录下来，比如，可以是玩家的双手相对于头显的相对位置，或者是双腿对于腰部的相对位置等，根据实际的情况进行数据的记录。
在一个可选实施例中，确定所述当前动作数据所对应的预定操作包括：在确定所述当前动作数据所包括的关键帧数据依次与标准动作数据所包括的关键帧数据相对应，且所述当前动作数据所包括的各关键帧数据的触发时间间隔小于第一预定阈值的条件下，确定所述当前动作数据所对应的预定操作。在本实施例中，可以对用来训练人工神经网络模型(对应于第一模型)的训练数据(对应于与第二身体特征对应的动作数据)进行获取，也就是获取第一模型的训练数据。首先动作采集者在录制场景下对标准动作进行录制，并从中选取关键帧姿态，并标定关键帧姿态的时间间隔。动作采集者在编辑环境下对刚才所录制的动作进行回看，并标定动作中的关键帧。在标定关键帧的过程中，系统自动判定新建立的关键帧是否为有效关键帧，并自动计算该关键帧距前一个关键帧的时间差，对于时间差，用户可自定义其容错范围(对应于第一预定阈值)。所述的编辑环境指的是本实施例中的一个自实现的编辑场景，其主要功能是对于刚才录制的动作进行播放和暂停功能，在暂停状态下，可对该帧的动作进行关键帧标记。所述的关键帧指的是用户认为完成该套动作双手必须经过的。如果在关键帧标定的数据范围内，玩家(对应于第二身体特征)按规定完成了所有的关键帧数据一次，则发出完成该动作的信号，触发相应的事件；若在动作中途，在关键帧需要触发的时间间隔内，神经网络模型(对应第一模型)没有检测到下一个关键帧的完成，则该次动作识别失败，整套动作需要重新开始。
在一个可选实施例中，在确定所述当前动作数据所对应的预定操作之前，所述方法还包括：在以下条件至少之一时，确定所述当前动作数据为无效数据，其中，无效数据为不会触发操作的数据：所述当前动作数据所包括的关键帧数据与所述操作对应的标准动作数据所包括的关键帧数据不对应；所述当前动作数据所包括的至少两个关键帧数据间的触发时间间隔大于第一预定阈值；在获取所述玩家的当前动作数据中的第一关键帧数据之后，未在预定时间内获取第二关键帧数据，其中，所述第一关键帧数据和所述第二关键帧数据均为与所述操作对应的标准动作数据所包括的关键帧数据相对应的数据；获取的所述玩家的当前动作数据中相邻的两个关键帧数据间的差值小于第二预定阈值。在本实施例中，包括以下无效数据：(1)获取到的玩家(对应于与第一身体特征)的动作数据与训练神经网络模型(对应于第一模型)采集的标准动作数据(对应于与第二身体特征对应的动作数据)所包含的关键帧的数据不相同为无效数据；(2)在玩家录制全套的动作的情况下(全套动作中至少包含两个关键帧)，其中，若玩家所做的动作过慢，未在规定的时间内完成触发虚拟角色执行相应操作的所有关键帧，则玩家所录制的实现该操作的关键帧为无效关键帧；(3)在玩家对完成虚拟角色执行相应操作的动作进行分别录制时，也就是将每一个关键帧进行分别录制时，若完成录制第一个关键帧的时间与完成录制第二个关键帧的时间间隔超过预定阈值(对应于第一预定阈值)，则所录制的关键帧为无效关键帧。(4)所述的有效关键帧，指该新标定的关键帧中，相邻的关键帧是否为相似关键帧或者是否发生冲突，比如，其双手的相对位置与之前的关键帧是否发生冲突，其判断标准为，如满足下式，则该帧为无效关键帧：
Figure BDA0001630183250000101
其中，PL,PR分别代表之前的关键帧中，左手，右手的相对位置；NPL,NPR分别指代新标定的关键帧中，左手，右手的相对位置；r为可调值(对应于第二预定阈值)，可以根据具体情况进行设置。在本实施例中，r可以是0.1至0.3之间的任何数值，比如可以为0.2。当然上述PL,PR还可以代表之前关键帧中其他身体特征的相对位置，NPL,NPR分别指代新标定的关键帧中与PL,PR相对应的身体特征的相对位置。比如PL,PR分别代表之前关键帧中左腿和右腿的相对位置，NPL,NPR分别代表新标定的关键中左腿和右腿的相对位置，r值的大小可以根据具体情况而定。
上述(1)指的是玩家所做动作与关键帧动作不一致，(2)和(3)指的是在预定的时间内，玩家没有完成触发虚拟角色执行相应操作的所有关键帧的动作，(4)指的是玩家第一次和第二次录制的关键帧动作相似。
在一个可选实施例中，所述标准动作数据是通过如下方式确定的：对训练玩家执行的预定动作进行录制；从录制的视频中选取多个关键帧，并标定所述多个关键帧的时间间隔；将选取的所述多个关键帧的数据和所述时间间隔的数据作为所述标准动作数据。在本实施例中，采集者在标记关键帧后，系统对训练数据进行导出，自动生成每个关键帧数据的相似数据及整套动作的无效动作数据。所述动作关键帧标定数据主要包含需要识别的动作所包含的关键帧序列及每个关键帧需要触发的时间间隔。将标定出的关键帧的数据和关键帧之间的时间间隔作为标准动作数据。
在一个可选实施例中，在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，所述方法还包括：使用神经网络训练数据和所述多组标准动作数据对预先构造的神经网络进行训练以得到所述第一模型。在本实施例中，可以采用神经网络工具(例如，Matlab中的神经网络工具)对神经网络模型进行训练。对于训练方法的选择，针对于应用的需求而定，一般来说对于此类分类网络的训练方法大致分为三类，第一种是网络训练速度较快，但是在准确度方面并不是十分精确，如列文伯格-马夸尔特法(Levenberg-Marquardt)；第二种是网络训练的时间较长，但是得到的结果精准度很高，如贝叶斯正则化法(Bayesian regularization)；而最后一种则是中规中矩的方案，训练时间和精准度都比较适中，如共轭梯度法(Scaled Conjugate Gradient)。在Matlab中训练得到的神经网络模型(对应于第一模型)的训练结果主要包括输入层的维度，输出层的维度，隐含层的隐含节点数量，网络权值及常量偏移量。
下面以具体实施例来说明：
本实施例主要实现了一种虚拟现实内基于机器学习的动作识别交互方案，其主要作用是实现VR应用中的一种不可忽视的交互方式，通过神经网络算法对用户在VR中所做的动作进行识别，并根据结果对VR应用内的交互功能进行触发。本发明实施例中适用于带有双手6自由度(双手6自由度的意思是，事物在世界中的位置(x,y,z)和旋转(x,y,z)，即6自由度)的控制器的虚拟现实体验模式。
本实施例主要实现了一种虚拟现实内基于机器学习的动作识别交互方案，其主要包括线下训练及线上识别两个部分，其中线下训练部分主要包括：
1)获取动作采集者(对应于第二身体特征)的臂长。动作采集者可以摆出T字型姿势，如图3所示，并按下控制器的按键，此时，双手控制器的距离即近似为采集者的臂长。
2)训练数据的获取，对用来训练人工神经网络(对应于前述的预先构造的神经网络)的训练数据进行获取。首先动作采集者在录制场景下对标准动作进行录制，并从中选取关键帧姿态，并标定关键帧姿态的时间间隔。
3)系统自动根据采集者标定的关键帧数据补足准备训练神经网络的其它数据，并导出训练数据及关键帧标定数据。
4)在训练系统中根据训练数据对神经网络进行训练，之后对训练结果进行导出
线上预测部分主要包括：
5)在游戏初始化时，根据训练结果对神经网络进行重建。这里的重建指的是通过线下采集数据，利用神经网络训练数据，或称为训练工具例如，例如，利用MATLAB中的神经网络训练数据进行神经网络模型训练(这时训练后的模型在MATLAB中，不在游戏中，所以要想使用训练后的模型，需要在游戏中对该模型重建)，将训练的结果(包括输入和输出层的维数、隐含层节点数、权值和偏移量)输入到游戏(更准确说是游戏引擎在游戏运行时根据训练的结果重新把神经网络模型搭建起来)中。
6)在线上预测时，可以将双手对于头显的相对位置经过臂长映射的修正后作为输入送入神经网络模型(对应于第一模型)，当完成一次前向传递后，神经网络模型输出其本次预测结果。如果在关键帧标定的数据范围内，玩家按规定完成了所有的关键帧数据一次，则发出完成该动作的信号，触发相应的事件
具体实施例1：
本实施例是该方案应用在虚拟现实中的一个游戏Demo(例子)中，其中通过动作识别来触发相应技能的案列。玩家双手持HTC Vive的控制器，通过做出相应动作，释放技能。该实施例分为线下动作采集及神经网络训练和线上神经网络预测两个部分。图4为录制玩家的动作数据图。
线下动作采集及神经网络训练包括如下步骤：
S101：获取动作采集者(对应第二身体特征)的臂长。动作采集者可以摆出T字型姿势，如图5所示，并按下控制器的按键，此时，双手控制器的距离即近似为采集者的臂长。
S102：玩家在录制环境下等待录制信号，当录制信号显示为开始录制时，采集者需准确的完成一次完整的动作，动作结束时，按下控制器按键示意动作录制结束。所述的录制环境指的是本方案中的一个自实现的录制场景，在该场景下，存在一个录制提示灯，当录制提示灯亮起红色时，代表开始录制，玩家的双手相对于头显的相对位置被录制环境实时记录下来。
S103：采集者在编辑环境下对刚才所录制的动作进行回看，并标定动作中的关键帧。在标定关键帧的过程中，系统自动判定新建立的关键帧是否为有效关键帧，并自动计算该关键帧距离前一个关键帧的时间差，对于时间差，用户可自定义其容错范围。所述的编辑环境指的是本方案中的一个自实现的编辑场景，其主要功能是对于刚才录制的动作进行播放和暂停功能，在暂停状态下，可以对该帧的动作进行关键帧标记。所述的关键帧指的是用户认为完成该套动作双手必须经过的。所述的有效关键帧，指该新标定的关键帧中，其双手的相对位置与之前的关键帧是否发生冲突，其判断标准为，如满足下式，则该帧为无效关键帧：
Figure BDA0001630183250000141
其中，PL,PR分别代表之前的关键帧中，左手和右手的相对位置；NPL,NPR分别指代新标定的关键帧中，左手和右手的相对位置；r为可调值，在本实施例中，r可以是0.1至0.3之间的任何数值，比如可以为0.2。
S104：导出神经网络训练数据以及动作关键帧标定数据。采集者在标记关键帧后，启动本实施例中的导出训练数据模块。系统在对训练数据进行导出时，自动生成每个关键帧数据的相似数据及整套动作的无效动作数据。所述的动作关键帧标定数据主要包含需要识别的动作中所包含的关键帧序列及每个关键帧需要触发的时间间隔。所述的相似数据指的是与用户所标识的关键帧数据位置相近的一些随机产生的关键帧数据，随机范围为以原位置为中心，半径为r的球形区域内。产生相似数据的目的是，防止神经网络模型在训练过程中的过拟合现象。所述的无效数据指的是其它未标记为关键帧的双手位置所生成的数据。这些数据由系统自动随机生成。
S105：线下网络训练需要使用前一步骤导出的所有训练数据对神经网络进行训练。由于针对于性能受限的VR(虚拟现实)应用，该方案只生成包含一层隐含层的神经网络结构，隐含层节点个数由系统根据用户所标定的关键帧个数而决定。其输入层维度主要取决于输入的数据维度大小，如本实施例中，以包含6个数据的数组代表双手的相对位置，因此输入层维度就为6。输出层的维度主要有关键帧姿态的个数决定，比如需要让该神经网络模型识别3个关键帧姿态，那么输出结果就是3个维度。优选的，在本实施中，隐含层节点个数为所标定的关键帧个数加1(即，如果玩家标定了5个关键帧，则隐含层的节点数为6)。
S106：对神经网络采用交叉验证的方式进行训练。随机打乱所有进行神经网络训练的数据，选择其中70％的数据用于人工网络的训练，15％的数据用来交叉验证，剩余的15％的数据用来作为测试数据集。作为一种较优的实施例，采用了Matlab中的神经网络工具对神经网路进行训练。对于训练方法的选择，针对于应用的需求而定，一般来说对于此类分类网络的训练方法大致分为三类，第一种是网络训练速度较快，但是在准确度方面并不是十分精确，如列文伯格-马夸尔特法(Levenberg-Marquardt)；第二种是网络训练的时间较长，但是得到的结果精准度很高，如贝叶斯正则化法(Bayesian regularization)；而最后一种则是中规中矩的方案，训练时间和精准度都比较适中，如共轭梯度法(ScaledConjugate Gradient)。
S107：将神经网络的训练结果进行导出，重新导回游戏引擎中，同时将动作关键帧标定数据配置入引擎。训练结果主要包括网络输入层的维度，输出层的维度，隐含层的隐含节点数量，网络权值及常量偏移量。
线上神经网络模型(对应于第一模型)预测：
S108：神经网络模型(对应于第一模型)在游戏初始化时便进行了加载并按照上一步骤中导出的结果进行了初始化，但需手动启动其预测功能，以防止在不需动作识别的时候占用计算资源。
S109：用户在使用前可以摆出T字型姿态进行臂长录入。
S110：在线上预测时，可以将双手对于头显的相对位置经过臂长映射的修正后作为输入送入神经网络模型(对应于第一模型)，当完成一次前向传递后，神经网络模型输出其本次预测的结果，即用户当前的双手及头部姿态是否满足训练中的某个关键帧数据。所述的前向传递，指的是神经网络模型在接收了输入数据后，将输入数据由输入层传递至输出层的过程。
S111：如果在关键帧标定的数据范围内，玩家按规定完成了所有的关键帧数据一次，则发出完成该动作的信号，触发相应的事件；若在动作中途，在关键帧需要触发的时间间隔内，神经网络模型(对应于第一模型)没有检测到下一个关键帧的完成，则该次动作识别失败，整套动作需要重新开始。
本实施例实现了一种VR内动作识别的交互方案，考虑到开发效率，运行性能及容错性问题，采用了神经网络模型(对应于第一模型)进行监控识别，可以对用户在VR内所做的动作进行识别，并触发相应的事件，是一种适合于VR的自然交互方式。整套方案从动作采集到线上运行，开发流程十分方便，自动化程度高。另外，该种交互方案可对所做动作的准确性和力度进行评估，比如用动作释放技能，技能的伤害可以由系统反馈回的动作准确性和动作力度来决定。通过以下示例说明本实施中的力度，比如要发一个波，一般玩家要做双手并拢向前快速推出的这么一个动作。在这个动作中，一般会设置两个关键帧，第一个关键帧是双手在胸前并拢，另一个关键是双手向前并拢伸直到最远。力度的判断就是去看这两个关键帧，玩家在游戏时，识别到两个关键帧的时间间隔与标准动作相比较的结果。在标准关键帧的时间间隔内，玩家完成的关键帧时间间隔越小则力度越大。比如，标准动作中，这个时间间隔是0.2秒，在游戏中被侦测到第一个玩家的这个动作后，程序分析出这两个关键帧的识别间距是0.15秒，那第一个玩家在这个动作上的力度就比较强，若另外一个玩家完成上述动作的两个关键帧的时间间隔为0.1秒，那么这个玩家的动作力度就比第一个玩家的力度更强。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例3
在本实施例中还提供了一种虚拟现实中虚拟角色的控制装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的虚拟现实中虚拟角色的控制装置的结构框图，如图6所示，该装置包括如下模块：获取模块62，用于获取当前玩家的当前动作数据；分析模块64，用于使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作；控制模块66，用于控制与所述当前玩家对应的所述虚拟角色执行所述预定操作。
在一个可选实施例中，上述装置还用于：在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，根据第一身体特征与第二身体特征对所述当前动作数据进行修正，其中，所述第一身体特征为预先获取的所述当前玩家的身体特征，所述第二身体特征是对所述第一模型进行训练时所采集的训练玩家的身体特征。
在一个可选实施例中，上述分析模块64可以通过如下方式使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作：使用所述第一模型对修正后的当前动作数据进行分析，确定所述修正后的当前动作数据所对应的预定操作。
在一个可选实施例中，上述分析模块64可以通过如下方式使用上述第一模型对修正后的当前动作数据进行分析，确定上述修正后的当前动作数据所对应的预定操作：使用所述第一模型确定与所述修正后的当前动作数据对应的标准动作数据；将确定的所述标准动作数据对应的预定操作作为所述修正后的当前动作数据所对应的预定操作。
在一个可选实施例中，上述第一身体特征包括所述当前玩家的臂长，所述第二身体特征包括所述训练玩家的臂长，所述当前动作数据包括所述当前玩家通过挥动双臂所触发的动作的数据。
在一个可选实施例中，上述获取模块62可以通过如下方式获取当前玩家的当前动作数据：通过位于所述当前玩家的双臂上的控制器获取所述当前玩家的所述当前动作数据。
在一个可选实施例中，上述分析模块64可以通过如下方式确定上述当前动作数据所对应的预定操作：在确定所述当前动作数据所包括的关键帧数据依次与标准动作数据所包括的关键帧数据相对应，且所述当前动作数据所包括的各关键帧数据的触发时间间隔小于第一预定阈值的条件下，确定所述当前动作数据所对应的预定操作。
在一个可选实施例中，上述装置还用于，在确定所述当前动作数据所对应的预定操作之前，在以下条件至少之一时，确定所述当前动作数据为无效数据，其中，无效数据为不会触发操作的数据：所述当前动作数据所包括的关键帧数据与所述预定操作对应的标准动作数据所包括的关键帧数据不对应；所述当前动作数据所包括的至少两个关键帧数据间的触发时间间隔大于第一预定阈值；在获取所述玩家的当前动作数据中的第一关键帧数据之后，未在预定时间内获取第二关键帧数据，其中，所述第一关键帧数据和所述第二关键帧数据均为与所述预定操作对应的标准动作数据所包括的关键帧数据相对应的数据；获取的所述玩家的当前动作数据中相邻的两个关键帧数据间的差值小于第二预定阈值。
在一个可选实施例中，上述标准动作数据是通过如下方式确定的：对训练玩家执行的预定动作进行录制；从录制的视频中选取多个关键帧，并标定所述多个关键帧的时间间隔；将选取的所述多个关键帧的数据和所述时间间隔的数据作为所述标准动作数据。
在一个可选实施例中，上述装置还用于，在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，使用神经网络训练数据和所述多组标准动作数据对预先构造的神经网络进行训练以得到所述第一模型。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例4
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取当前玩家的当前动作数据；
S2，使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作；
S3，控制与所述当前玩家对应的所述虚拟角色执行所述预定操作。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取当前玩家的当前动作数据；
S2，使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作；
S3，控制与所述当前玩家对应的所述虚拟角色执行所述预定操作。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实中虚拟角色的控制方法，其特征在于，包括：
获取当前玩家的当前动作数据；
使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作，所述标准动作数据是通过如下方式确定的：对一训练玩家执行的预定动作进行录制；从录制的视频中选取多个关键帧，并标定所述多个关键帧的时间间隔；将选取的所述多个关键帧的数据和所述时间间隔的数据作为所述标准动作数据；
控制与所述当前玩家对应的所述虚拟角色执行所述预定操作；
其中，在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，还包括：
根据第一身体特征与第二身体特征对所述当前动作数据进行修正，其中，所述第一身体特征为预先获取的所述当前玩家的身体特征，所述第二身体特征是对所述第一模型进行训练时所采集的训练玩家的身体特征；
其中，获取当前玩家的当前动作数据包括：通过位于所述当前玩家的双臂上的控制器获取所述当前玩家的所述当前动作数据。
2.根据权利要求1所述的方法，其特征在于，所述使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，包括：
使用所述第一模型对修正后的当前动作数据进行分析，确定所述修正后的当前动作数据所对应的预定操作。
3.根据权利要求2所述的方法，其特征在于，使用所述第一模型对修正后的当前动作数据进行分析，确定所述修正后的当前动作数据所对应的预定操作包括：
使用所述第一模型确定与所述修正后的当前动作数据对应的标准动作数据；
将确定的所述标准动作数据对应的预定操作作为所述修正后的当前动作数据所对应的预定操作。
4.根据权利要求1所述的方法，其特征在于，所述第一身体特征包括所述当前玩家的臂长，所述第二身体特征包括所述训练玩家的臂长，所述当前动作数据包括所述当前玩家通过挥动双臂所触发的动作的数据。
5.根据权利要求1至4中任一项所述的方法，其特征在于，确定所述当前动作数据所对应的预定操作包括：
在确定所述当前动作数据所包括的关键帧数据依次与标准动作数据所包括的关键帧数据相对应，且所述当前动作数据所包括的各关键帧数据的触发时间间隔小于第一预定阈值的条件下，确定所述当前动作数据所对应的预定操作。
6.根据权利要求1所述的方法，其特征在于，在确定所述当前动作数据所对应的预定操作之前，所述方法还包括：
在以下条件至少之一时，确定所述当前动作数据为无效数据，其中，无效数据为不会触发操作的数据：
所述当前动作数据所包括的关键帧数据与所述预定操作对应的标准动作数据所包括的关键帧数据不对应；
所述当前动作数据所包括的至少两个关键帧数据间的触发时间间隔大于第一预定阈值；
在获取所述当前玩家的当前动作数据中的第一关键帧数据之后，未在预定时间内获取第二关键帧数据，其中，所述第一关键帧数据和所述第二关键帧数据均为与所述预定操作对应的标准动作数据所包括的关键帧数据相对应的数据；
获取的所述当前玩家的当前动作数据中相邻的两个关键帧数据间的差值小于第二预定阈值。
7.根据权利要求1所述的方法，其特征在于，在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，所述方法还包括：
使用神经网络训练数据和多组所述标准动作数据对预先构造的神经网络进行训练以得到所述第一模型。
8.一种虚拟现实中虚拟角色的控制装置，其特征在于，包括：
获取模块，用于获取当前玩家的当前动作数据；
分析模块，用于使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作，其中，所述第一模型通过使用多组数据经过机器学习训练获取，所述多组数据中的每组数据均包括标准动作数据，不同的标准动作数据对应于不同的预定操作，所述标准动作数据是通过如下方式确定的：对一训练玩家执行的预定动作进行录制；从录制的视频中选取多个关键帧，并标定所述多个关键帧的时间间隔；将选取的所述多个关键帧的数据和所述时间间隔的数据作为所述标准动作数据；
控制模块，用于控制与所述当前玩家对应的所述虚拟角色执行所述预定操作；
其中，所述装置还用于：在使用第一模型对所述当前动作数据进行分析，确定所述当前动作数据所对应的预定操作之前，根据第一身体特征与第二身体特征对所述当前动作数据进行修正，其中，所述第一身体特征为预先获取的所述当前玩家的身体特征，所述第二身体特征是对所述第一模型进行训练时所采集的训练玩家的身体特征；
其中，所述获取模块还用于：通过位于所述当前玩家的双臂上的控制器获取所述当前玩家的所述当前动作数据。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN201810339281.1A 2018-04-16 2018-04-16 虚拟现实中虚拟角色的控制方法、装置及存储介质 Active CN108499107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810339281.1A CN108499107B (zh) 2018-04-16 2018-04-16 虚拟现实中虚拟角色的控制方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810339281.1A CN108499107B (zh) 2018-04-16 2018-04-16 虚拟现实中虚拟角色的控制方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108499107A CN108499107A (zh) 2018-09-07
CN108499107B true CN108499107B (zh) 2022-02-25

Family

ID=63381965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810339281.1A Active CN108499107B (zh) 2018-04-16 2018-04-16 虚拟现实中虚拟角色的控制方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN108499107B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109464803B (zh) * 2018-11-05 2022-03-04 腾讯科技（深圳）有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN109471712B (zh) * 2018-11-21 2023-03-10 腾讯科技（深圳）有限公司 虚拟环境中的虚拟对象的调度方法、装置及设备
CN109857249A (zh) * 2019-01-09 2019-06-07 重庆爱奇艺智能科技有限公司 一种用于生成虚拟化身形象的方法与装置
CN110928411B (zh) * 2019-11-18 2021-03-26 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN111028598A (zh) * 2019-12-18 2020-04-17 佛山科学技术学院 一种基于操作行为信息的虚拟实验指导方法及系统
CN112333467B (zh) * 2020-11-27 2023-03-21 中国船舶工业系统工程研究院 一种用于检测视频的关键帧的方法、系统和介质
CN113181636A (zh) * 2021-04-20 2021-07-30 深圳市瑞立视多媒体科技有限公司 一种虚拟现实动作触发方法及相关装置
CN113467617B (zh) * 2021-07-15 2024-05-07 北京京东方光电科技有限公司 触觉反馈方法、装置、设备及存储介质
CN113657173B (zh) * 2021-07-20 2024-05-24 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN117839224A (zh) * 2024-01-10 2024-04-09 广州市光合未来科技文化传媒有限公司 一种ai虚拟人的交互方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527702A (zh) * 2016-11-03 2017-03-22 网易（杭州）网络有限公司 虚拟现实的交互方法及装置
CN106975218A (zh) * 2017-03-10 2017-07-25 安徽华米信息科技有限公司 基于多个可穿戴设备控制体感游戏的方法及装置
CN107243141A (zh) * 2017-05-05 2017-10-13 北京工业大学 一种基于运动识别的动作辅助训练系统
CN107357432A (zh) * 2017-07-18 2017-11-17 歌尔科技有限公司 基于vr的交互方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526983B2 (en) * 2014-06-04 2016-12-27 Chih-Feng Lin Virtual reality avatar traveling control system and virtual reality avatar traveling control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527702A (zh) * 2016-11-03 2017-03-22 网易（杭州）网络有限公司 虚拟现实的交互方法及装置
CN106975218A (zh) * 2017-03-10 2017-07-25 安徽华米信息科技有限公司 基于多个可穿戴设备控制体感游戏的方法及装置
CN107243141A (zh) * 2017-05-05 2017-10-13 北京工业大学 一种基于运动识别的动作辅助训练系统
CN107357432A (zh) * 2017-07-18 2017-11-17 歌尔科技有限公司 基于vr的交互方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
想要虚拟现实体验更真实 还得依靠完美的互动交互方式;yivian;《www.87870.com/news/1704/8778.html》;20160204;第1-4页 *

Also Published As

Publication number Publication date
CN108499107A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108499107B (zh) 虚拟现实中虚拟角色的控制方法、装置及存储介质
CN111275207B (zh) 基于半监督的横向联邦学习优化方法、设备及存储介质
US11551479B2 (en) Motion behavior pattern classification method, system and device
CN110532996A (zh) 视频分类的方法、信息处理的方法以及服务器
CN110263681A (zh) 面部表情的识别方法和装置、存储介质、电子装置
CN113743273B (zh) 基于视频图像目标检测的实时跳绳计数方法、装置和设备
CN110070029A (zh) 一种步态识别方法及装置
CN110675475A (zh) 一种人脸模型生成方法、装置、设备及存储介质
CN109731302A (zh) 运动姿态识别方法、装置及电子设备
CN110152290A (zh) 游戏运行方法和装置、存储介质及电子装置
CN115880558B (zh) 农事行为检测方法、装置、电子设备及存储介质
CN111494964B (zh) 虚拟物品的推荐方法、模型的训练方法、装置及存储介质
CN111414946A (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
CN109847366A (zh) 用于游戏的数据处理方法和装置
CN113822254B (zh) 一种模型训练方法及相关装置
CN110175505A (zh) 微表情类型的确定方法、装置、存储介质及电子装置
CN110135497A (zh) 模型训练的方法、面部动作单元强度估计的方法及装置
CN110708985A (zh) 用于处理表面的方法
CN113221663A (zh) 一种实时手语智能识别方法、装置及系统
CN109740567A (zh) 关键点定位模型训练方法、定位方法、装置及设备
US20200380292A1 (en) Method and device for identifying object and computer readable storage medium
Cui et al. Deep learning based advanced spatio-temporal extraction model in medical sports rehabilitation for motion analysis and data processing
CN110222734B (zh) 贝叶斯网络学习方法、智能设备及存储装置
CN110427998A (zh) 模型训练、目标检测方法及装置、电子设备、存储介质
CN112966547A (zh) 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant