CN110728739B - 一种基于视频流的虚拟人控制与交互方法 - Google Patents

一种基于视频流的虚拟人控制与交互方法 Download PDF

Info

Publication number
CN110728739B
CN110728739B CN201910941527.7A CN201910941527A CN110728739B CN 110728739 B CN110728739 B CN 110728739B CN 201910941527 A CN201910941527 A CN 201910941527A CN 110728739 B CN110728739 B CN 110728739B
Authority
CN
China
Prior art keywords
virtual
virtual human
constraint
frame
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910941527.7A
Other languages
English (en)
Other versions
CN110728739A (zh
Inventor
潘志庚
黄志祥
刘复昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN201910941527.7A priority Critical patent/CN110728739B/zh
Publication of CN110728739A publication Critical patent/CN110728739A/zh
Application granted granted Critical
Publication of CN110728739B publication Critical patent/CN110728739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于视频流的虚拟人控制与交互方法。本发明包括如下步骤：步骤1、人体姿态检测，获取三维姿态信息；步骤2、姿态信息传输与虚拟人骨骼控制，将之前获得的三维姿态信息通过socket方式传输给unity客户端，利用c#脚本根据传入的姿态信息控制unity中的虚拟人的位置和姿态；步骤3、虚拟场景中的交互，虚拟场景中的交互是完成虚拟人与虚拟场景中的刚体对象的简单交互‑抓取功能；为每个可交互对象设置关于手到全身的反向运动学系统，采用最新的unity发布的Animation Rigging技术在虚拟人的骨骼运动时创建程序化动作，这通常称为运动时绑定。本发明驱动成本低，并且没有过多的场地限制。

Description

一种基于视频流的虚拟人控制与交互方法
技术领域
本发明涉及三维人体姿态技术、虚拟人骨骼控制领域，具体涉及了一种基于视频流的虚拟人控制与交互方法，一种使用RGB摄像头就可完成人体姿态的估计并控制虚拟人行为以及与虚拟物体简单交互的方法。
背景技术
三维虚拟人物是计算机动画技术、虚拟现实和增强现实中的关键技术，通过在虚拟世界中虚拟的角色来反映现实中的人类的真实动作和行为。而虚拟人的动态仿真技术是当前信息领域的热点问题，三维虚拟人的运动除了解决人体建模和骨骼皮肤绑定，运动和行为控制则是关系到能否落实的关键环节。目前主流的虚拟人运动和控制采用运动捕捉的方法，它是将专业的传感器安装在检测人的关节点上从而获取可用的运动数据，之后再利用运动合成技术驱动虚拟人模型完成对虚拟人的动作控制。
另外，利用微软的Kinect设备捕获人体关节点的三维坐标数据，利用逻辑回归算法训练分类在实时性和精确度等方面也取得良好的效果，但是还是不能弥补设备相对昂贵的问题。
基于传感器的运动捕捉虽然可以保障位姿信息的相对准确，但是由于需要检测者本身穿戴大量传感器以及传输距离相关设备等因素，难易向普通用户市场普及。近年来，计算机算力的提升尤其是GPU(显卡)的发展以及相关算法的改进和互联网时代使得获取数据越来越容易等因素，使得深度学习再度火热起来，在诸多领域取得了不错的效果。在人体的姿态检测方面也从单人2D的姿态检测到多人2D姿态检测再到3D的姿态检测，其中三维的人体姿态检测的信息采集工具又分单目相机和多目相机。17年的VNect(Real-time 3D HumanPose Estimation with a Single RGB Camera)就是使用单目相机(Single RGB Camera)结合深度学习完成的三维人体姿态检测技术。
发明内容
为了解决背景技术中存在的问题，解除三维虚拟人骨骼追踪的场地限制和降低设备成本，初步驱动虚拟人与虚拟场景的简单交互。提出一种使用单目RGB摄像头利用深度学习技术完成三维人体姿态的检测并根据姿态信息控制虚拟人与虚拟对象简单交互的方法。
本发明采用的技术方案主要包括以下步骤：
步骤1、人体姿态检测
1-1.将普通的单目RGB摄像头采集的视频流通过ffmpeg拆分成单帧，并将每一帧的图像利用现有的2D姿态估计网络(如以ResNet-101-FCN的Mask R-CNN检测器)完成2D的姿态检测，并将检测出来的2D关节点数据作为预测3D姿态的输入。
1-2.将获得的每帧图像的2D姿态检测的关节点数据传入3D姿态检测网络完成3D姿态的预测，其中有设置关节点位置约束、骨骼长度约束和整体运动轨迹的约束完成三维的关节点的预测，获取三维姿态信息。具体每个约束如下：
关节点位置约束：
Figure BDA0002223037080000021
其中，F表示一段时序下的帧的集合，S表示该集合下的骨架；NS表示每一帧图像中的关节点数量(eg.17)；
Figure BDA0002223037080000022
表示在第f帧下预测的各个关节点信息,
Figure BDA0002223037080000023
表示对应帧下的正确关节点信息。
骨骼长度约束：
Figure BDA0002223037080000024
其中，
Figure BDA0002223037080000025
表示在第f帧下预测的骨长信息,
Figure BDA0002223037080000026
表示对应帧下的正确骨长信息。
整体运动轨迹约束：
Figure BDA0002223037080000027
其中，T(f)表示这一帧下的预测关节点的质心位置，TGt(f)表示真实关节点的质心位置；dz表示该质心在相机坐标系下的深度作为权重；
3D姿态检测网络是考虑时间域信息的膨化卷积网络。
步骤2、姿态信息传输与虚拟人骨骼控制
将之前获得的三维姿态信息通过socket方式传输给unity客户端，利用c#脚本根据传入的姿态信息控制unity中的虚拟人的位置和姿态，具体实现如下：
2-1.unity客户端的脚本接收python脚本所发的数据，使用tcp方式连接服务器(姿态检测端)与unity客户端；其中tcp连接包括服务器地址和端口的设置；采用异步连接方式并调用socket的connectCallback方法，最后开启线程接受服务端数据，将数据保存至脚本文件下，设置超时检测阈值T，阈值T取值为5S；
2-3.将所接收的三维关节点数据利用c#脚本文件驱动Animation的IK控制器完成对虚拟人的控制。主要根据每帧图像所预测的三维姿态信息共17个关节点，每个关节点均有x、y、z三个位置坐标信息，通过位置坐标信息改变IK控制器位置，进一步控制相应关节的位置坐标。
其中虚拟人每帧的动作所需的时间序列信息是根据原视频用ffmpeg切分所设置的fps而确定的，以保持真实世界与虚拟世界动作的时序一致性。
2-4.在unity客户端利用Mutil Aim Constraint脚本设置脚与地面的位置约束，其中constrained Object选择脚，aim Axis选择地面。从而减少姿态数据中y值(垂直方向)的误差所带来的位置偏移。
2-5.以臀部节点hints为根节点，在参考脚与地面约束的条件下臀部位置利用Multi Postion Constriant脚本进行位置校正，而原始数据所确定的各个关节的姿态信息也会因为反向动力学的影响而相应微调，使虚拟人的动作不会因原始传输数据的精准度问题而不符合实际的运动情况。
步骤3、虚拟场景中的交互
虚拟场景中的交互是完成虚拟人与虚拟场景中的刚体对象的简单交互-抓取功能；借鉴游戏制作的交互场景，为每个可交互对象设置关于手到全身的反向运动学系统，采用最新的unity发布的Animation Rigging技术在虚拟人的骨骼运动时创建程序化动作，这通常称为运动时绑定。(以抓取虚拟对象为例)基本流程如下：
3-1.在虚拟人的手部绑定TwoBoneIK Constrint组件，指定骨骼和效应器到TwoBoneIK Constrint组件，使手到手臂再到肩膀有反向动力学约束。
3-2.给虚拟对象以及虚拟人的手部设置物理组件rigidbody，并定义简单的矩形碰撞检测，如果在虚拟人的运动过程中手部与虚拟对象发生碰撞，就被视为一种拾取操作，这时候就将执行一个准备好的抓取的骨骼动画，并且将虚拟对象的父节点设置为手部，并且利用脚本完成虚拟对象到手到手臂再到肩部的反向动力学约束。
本发明技术方案所带来的有益效果：
1.使用深度学习的三维人体姿态检测驱动虚拟人运动并完成与虚拟对象的交互。
2.利用骨骼长度，地面约束提高虚拟人在相对关节点数据不够精准的条件下的姿态重塑。
本发明驱动的虚拟人以及可能涉及的动画制作比使用动作捕捉传感器所投入的成本低很多，并且没有过多的场地限制。更由于使用普通RGB摄像头是目前已经普及的设备，并且可以利用5G时代的超高数据传输速率将复杂的计算交给云服务器，弥补算力不足导致的识别速度不足的技术缺点，对虚拟现实、增强现实的普及产生深远影响。
附图说明
图1为本发明流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明
如图1所示，一种基于视频流的虚拟人控制与交互方法，主要包括以下步骤：
步骤1、人体姿态检测
1-3.将普通的单目RGB摄像头采集的视频流通过ffmpeg拆分成单帧，并将每一帧的图像利用现有的2D姿态估计网络(如以ResNet-101-FCN的Mask R-CNN检测器)完成2D的姿态检测，并将检测出来的2D关节点数据作为预测3D姿态的输入。
1-4.将获得的每帧图像的2D姿态检测的关节点数据传入3D姿态检测网络完成3D姿态的预测，其中有设置关节点位置约束、骨骼长度约束和整体运动轨迹的约束完成三维的关节点的预测，获取三维姿态信息。
关节点位置约束：
Figure BDA0002223037080000051
其中，F表示一段时序下的帧的集合，S表示该集合下的骨架；NS表示每一帧图像中的关节点数量(eg.17)；
Figure BDA0002223037080000052
表示在第f帧下预测的各个关节点信息,
Figure BDA0002223037080000053
表示对应帧下的正确关节点信息。
骨骼长度约束：
Figure BDA0002223037080000054
其中，
Figure BDA0002223037080000055
表示在第f帧下预测的骨长信息,
Figure BDA0002223037080000056
表示对应帧下的正确骨长信息。
整体运动轨迹约束：
Figure BDA0002223037080000057
其中，T(f)表示这一帧下的预测关节点的质心位置，TGt(f)表示真实关节点的质心位置；dz表示该质心在相机坐标系下的深度作为权重；
3D姿态检测网络是考虑时间域信息的膨化卷积网络。
步骤2、姿态信息传输与虚拟人骨骼控制
将之前获得的三维姿态信息通过socket方式传输给unity客户端，利用c#脚本根据传入的姿态信息控制unity中的虚拟人的位置和姿态，具体实现如下：
2-1.unity客户端的脚本接收python脚本所发的数据，使用tcp方式连接服务器(姿态检测端)与unity客户端；其中tcp连接包括服务器地址和端口的设置；采用异步连接方式并调用socket的connectCallback方法，最后开启线程接受服务端数据，将数据保存至脚本文件下，设置超时检测阈值T，阈值T取值为5S；
2-3.将所接收的三维关节点数据利用c#脚本文件驱动Animation的IK控制器完成对虚拟人的控制。主要根据每帧图像所预测的三维姿态信息共17个关节点，每个关节点均有x、y、z三个位置坐标信息，通过位置坐标信息改变IK控制器位置，进一步控制相应关节的位置坐标。
其中虚拟人每帧的动作所需的时间序列信息是根据原视频用ffmpeg切分所设置的fps而确定的，以保持真实世界与虚拟世界动作的时序一致性。
2-4.在unity客户端利用Mutil Aim Constraint脚本设置脚与地面的位置约束，其中constrained Object选择脚，aim Axis选择地面。从而减少姿态数据中y值(垂直方向)的误差所带来的位置偏移。
2-5.以臀部节点hints为根节点，在参考脚与地面约束的条件下臀部位置利用Multi Postion Constriant脚本进行位置校正，而原始数据所确定的各个关节的姿态信息也会因为反向动力学的影响而相应微调，使虚拟人的动作不会因原始传输数据的精准度问题而不符合实际的运动情况。
步骤3、虚拟场景中的交互
虚拟场景中的交互是完成虚拟人与虚拟场景中的刚体对象的简单交互-抓取功能；借鉴游戏制作的交互场景，为每个可交互对象设置关于手到全身的反向运动学系统，采用最新的unity发布的Animation Rigging技术在虚拟人的骨骼运动时创建程序化动作，这通常称为运动时绑定。(以抓取虚拟对象为例)基本流程如下：
3-1.在虚拟人的手部绑定TwoBoneIK Constrint组件，指定骨骼和效应器到TwoBoneIK Constrint组件，使手到手臂再到肩膀有反向动力学约束。
3-2.给虚拟对象以及虚拟人的手部设置物理组件rigidbody，并定义简单的矩形碰撞检测，如果在虚拟人的运动过程中手部与虚拟对象发生碰撞，就被视为一种拾取操作，这时候就将执行一个准备好的抓取的骨骼动画，并且将虚拟对象的父节点设置为手部，并且利用脚本完成虚拟对象到手到手臂再到肩部的反向动力学约束。
本发明利用已有的深度学习模型完成三维的人体姿态检测，选用videoPose3D基于视频流的人体姿态检测的深度学习框架以获得关节点的三维位姿，之后采用通信方式传输给unity中的虚拟人的骨骼节点再结合反向动力学设置关节点与场景的相关约束以及虚拟人与其他刚体对象的属性关系，最后达到控制虚拟人进行相应的行为动作以及对虚拟对象的交互。由于对姿态的检测是利用普通的RGB摄像头结合深度学习完成的，极大地降低了成本，能够直接利用移动设备(如智能手机、平板等)的普通摄像头进行识别将在未来更快的推广和普及。

Claims (2)

1.一种基于视频流的虚拟人控制与交互方法，其特征在于包括如下步骤：
步骤1、人体姿态检测
1-1.将普通的单目RGB摄像头采集的视频流通过ffmpeg拆分成单帧，并将每一帧的图像利用现有的2D姿态估计网络完成2D的姿态检测，并将检测出来的2D关节点数据作为预测3D姿态的输入；
1-2.将获得的每帧图像的2D姿态检测的关节点数据传入3D姿态检测网络完成3D姿态的预测，其中设置有关节点位置约束、骨骼长度约束和整体运动轨迹的约束完成三维的关节点的预测，获取三维姿态信息；
步骤2、姿态信息传输与虚拟人骨骼控制
将之前获得的三维姿态信息通过socket方式传输给unity客户端，利用c#脚本根据传入的姿态信息控制unity中的虚拟人的位置和姿态；
步骤3、虚拟场景中的交互
虚拟场景中的交互是完成虚拟人与虚拟场景中的刚体对象的简单交互-抓取功能；为每个可交互对象设置关于手到全身的反向运动学系统，采用最新的unity发布的AnimationRigging技术在虚拟人的骨骼运动时创建程序化动作，称为运动时绑定；
步骤1-2中所述的约束具体如下：
关节点位置约束：
Figure FDA0004107390810000011
其中，F表示一段时序下的帧的集合，S表示该集合下的骨架；NS表示每一帧图像中的关节点数量；
Figure FDA0004107390810000012
表示在第f帧下预测的各个关节点信息,
Figure FDA0004107390810000013
表示对应帧下的正确关节点信息；
骨骼长度约束：
Figure FDA0004107390810000021
其中，
Figure FDA0004107390810000022
表示在第f帧下预测的骨长信息,
Figure FDA0004107390810000023
表示对应帧下的正确骨长信息；
整体运动轨迹约束：
Figure FDA0004107390810000024
其中，T(f)表示这一帧下的预测关节点的质心位置，TGt(f)表示真实关节点的质心位置；dz表示该质心在相机坐标系下的深度作为权重；
步骤2具体实现如下：
2-1.unity客户端的脚本接收python脚本所发的数据，使用tcp方式连接服务器与unity客户端；其中tcp连接包括服务器地址和端口的设置；采用异步连接方式并调用socket的connectCallback方法，最后开启线程接受服务端数据，将数据保存至脚本文件下，设置超时检测阈值T，阈值T取值为5S；
2-3.将所接收的三维关节点数据利用c#脚本文件驱动Animation的IK控制器完成对虚拟人的控制；根据每帧图像所预测的三维姿态信息共17个关节点，每个关节点均有x、y、z三个位置坐标信息，通过位置坐标信息改变IK控制器位置，进一步控制相应关节的位置坐标；
其中虚拟人每帧的动作所需的时间序列信息是根据原视频用ffmpeg切分所设置的fps而确定的，以保持真实世界与虚拟世界动作的时序一致性；
2-4.在unity客户端利用Mutil Aim Constraint脚本设置脚与地面的位置约束，其中constrained Object选择脚，aim Axis选择地面；从而减少姿态数据中y值的误差所带来的位置偏移；
2-5.以臀部节点hints为根节点，在参考脚与地面约束的条件下臀部位置利用MultiPostion Constriant脚本进行位置校正，而原始数据所确定的各个关节的姿态信息也会因为反向动力学的影响而相应微调，使虚拟人的动作不会因原始传输数据的精准度问题而不符合实际的运动情况。
2.根据权利要求1所述的一种基于视频流的虚拟人控制与交互方法，其特征在于步骤3所述的虚拟场景中的交互，具体实现如下：
3-1.在虚拟人的手部绑定TwoBoneIK Constrint组件，指定骨骼和效应器到TwoBoneIKConstrint组件，使手到手臂再到肩膀有反向动力学约束；
3-2.给虚拟对象以及虚拟人的手部设置物理组件rigidbody，并定义简单的矩形碰撞检测，如果在虚拟人的运动过程中手部与虚拟对象发生碰撞，就被视为一种拾取操作，这时候就将执行一个准备好的抓取的骨骼动画，并且将虚拟对象的父节点设置为手部，并且利用脚本完成虚拟对象到手到手臂再到肩部的反向动力学约束。
CN201910941527.7A 2019-09-30 2019-09-30 一种基于视频流的虚拟人控制与交互方法 Active CN110728739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910941527.7A CN110728739B (zh) 2019-09-30 2019-09-30 一种基于视频流的虚拟人控制与交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910941527.7A CN110728739B (zh) 2019-09-30 2019-09-30 一种基于视频流的虚拟人控制与交互方法

Publications (2)

Publication Number Publication Date
CN110728739A CN110728739A (zh) 2020-01-24
CN110728739B true CN110728739B (zh) 2023-04-14

Family

ID=69218654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910941527.7A Active CN110728739B (zh) 2019-09-30 2019-09-30 一种基于视频流的虚拟人控制与交互方法

Country Status (1)

Country Link
CN (1) CN110728739B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111452046A (zh) * 2020-03-31 2020-07-28 佛山科学技术学院 基于虚拟现实的排爆机器人系统、控制方法及存储介质
CN112017265B (zh) * 2020-08-26 2022-07-19 华东师范大学 一种基于图神经网络的虚拟人运动仿真方法
CN112337082B (zh) * 2020-10-20 2021-09-10 深圳市杰尔斯展示股份有限公司 一种ar沉浸式虚拟视觉感知交互系统和方法
CN112669194B (zh) * 2021-01-06 2024-04-26 腾讯科技（深圳）有限公司 虚拟场景中的动画处理方法、装置、设备及存储介质
CN112720504B (zh) * 2021-01-20 2023-03-28 清华大学 从rgbd视频中学习手与物体交互运动控制方法和装置
CN113703570B (zh) * 2021-08-16 2023-01-31 广东工业大学 基于vr环境的虚拟手模型构建方法及系统
CN114283229A (zh) * 2021-11-19 2022-04-05 腾讯科技（深圳）有限公司 虚拟角色的行走动画生成方法、装置、设备及存储介质
CN114330545B (zh) * 2021-12-28 2022-09-13 花脸数字技术(杭州)有限公司 一种基于ik算法的数字人动态捕捉分析系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104360729A (zh) * 2014-08-05 2015-02-18 北京农业信息技术研究中心 基于Kinect和Unity3D的多交互方法与装置
CN106815855A (zh) * 2015-12-02 2017-06-09 山东科技职业学院 基于产生式和判别式结合的人体运动跟踪方法
CN107820593A (zh) * 2017-07-28 2018-03-20 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN107961531A (zh) * 2017-12-04 2018-04-27 成都思悟革科技有限公司 一种基于动作捕捉服饰的虚拟社交系统及其工作方法
US10008035B1 (en) * 2015-05-18 2018-06-26 Blue River Technology Inc. System and method of virtual plant field modelling
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN109453509A (zh) * 2018-11-07 2019-03-12 龚映清 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法
CN109529350A (zh) * 2018-12-27 2019-03-29 北京云舶在线科技有限公司 一种应用于游戏中的动作数据处理方法及其装置
CN109885163A (zh) * 2019-02-18 2019-06-14 广州卓远虚拟现实科技有限公司 一种虚拟现实多人交互协作方法与系统
CN110176284A (zh) * 2019-05-21 2019-08-27 杭州师范大学 一种基于虚拟现实的言语失用症康复训练方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104360729A (zh) * 2014-08-05 2015-02-18 北京农业信息技术研究中心 基于Kinect和Unity3D的多交互方法与装置
US10008035B1 (en) * 2015-05-18 2018-06-26 Blue River Technology Inc. System and method of virtual plant field modelling
CN106815855A (zh) * 2015-12-02 2017-06-09 山东科技职业学院 基于产生式和判别式结合的人体运动跟踪方法
CN107820593A (zh) * 2017-07-28 2018-03-20 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN107961531A (zh) * 2017-12-04 2018-04-27 成都思悟革科技有限公司 一种基于动作捕捉服饰的虚拟社交系统及其工作方法
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN109453509A (zh) * 2018-11-07 2019-03-12 龚映清 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法
CN109529350A (zh) * 2018-12-27 2019-03-29 北京云舶在线科技有限公司 一种应用于游戏中的动作数据处理方法及其装置
CN109885163A (zh) * 2019-02-18 2019-06-14 广州卓远虚拟现实科技有限公司 一种虚拟现实多人交互协作方法与系统
CN110176284A (zh) * 2019-05-21 2019-08-27 杭州师范大学 一种基于虚拟现实的言语失用症康复训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xinyu Tong,et al..A Thermal and Vibrational Feedback Glove Based on the Tactile Characteristics of Human Hand Skin.IEEE ACCESS.2020,第71-84页. *
潘志庚等.支持自然交互的虚拟跑步机系统的设计和实现.系统仿真学报.2017,第29卷(第11期),第2753-2759页. *

Also Published As

Publication number Publication date
CN110728739A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110728739B (zh) 一种基于视频流的虚拟人控制与交互方法
CN107833271B (zh) 一种基于Kinect的骨骼重定向方法及装置
CN110139115B (zh) 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
JP2019522851A (ja) ３次元空間内の姿勢推定
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN114219878B (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
CN112381003B (zh) 动作捕捉方法、装置、设备及存储介质
US20200097732A1 (en) Markerless Human Movement Tracking in Virtual Simulation
US11850747B2 (en) Action imitation method and robot and computer readable medium using the same
US10863210B2 (en) Client-server communication for live filtering in a camera view
EP3973453A1 (en) Real-world object recognition for computing device
CN108564643A (zh) 基于ue引擎的表演捕捉系统
WO2023097967A1 (zh) 一种动作检测方法、装置、设备、存储介质及计算机程序产品
US11845006B2 (en) Skeleton model updating apparatus, skeleton model updating method, and program
CN111028267A (zh) 一种移动机器人单目视觉跟随系统及跟随方法
WO2021184359A1 (zh) 目标跟随方法、目标跟随装置、可移动设备和存储介质
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
CN106527720A (zh) 一种沉浸式交互控制方法与系统
CN115280371A (zh) 图像处理装置和运动图像数据生成方法
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
CN117340914B (zh) 一种仿人机器人体感控制方法及控制系统
US20240020901A1 (en) Method and application for animating computer generated images
CN115145395B (zh) 虚拟现实交互控制方法、系统及虚拟现实设备
US20220101603A1 (en) Body shape and pose estimation via volumetric regressor for raw three dimensional scan models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant