CN109215128A - 物体运动姿态图像的合成方法及系统 - Google Patents

物体运动姿态图像的合成方法及系统 Download PDF

Info

Publication number
CN109215128A
CN109215128A CN201810901189.XA CN201810901189A CN109215128A CN 109215128 A CN109215128 A CN 109215128A CN 201810901189 A CN201810901189 A CN 201810901189A CN 109215128 A CN109215128 A CN 109215128A
Authority
CN
China
Prior art keywords
skeleton
threedimensional model
freedom degree
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810901189.XA
Other languages
English (en)
Other versions
CN109215128B (zh
Inventor
王行
盛赞
周晓军
李骊
杨淼
李朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201810901189.XA priority Critical patent/CN109215128B/zh
Publication of CN109215128A publication Critical patent/CN109215128A/zh
Application granted granted Critical
Publication of CN109215128B publication Critical patent/CN109215128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像处理领域。本发明一实施例提供一种物体运动姿态图像的合成方法及系统，其中所述物体运动姿态图像的合成方法包括：构建关于目标物体的三维模型，其中该三维模型内置有骨架，且该骨架配置有对应不同骨架位置的骨架节点；根据预定的自由度驱动函数和所述骨架节点生成自由度，并基于所述自由度驱动所述三维模型运动；以及基于针对在运动状态下的所述三维模型的投影图像，合成关于所述目标物体的运动姿态图像。由此，利用了骨架驱动运动模型的方式，可以在已知物体姿态参数的情况下反向自动合成其图像数据，能在低成本的条件下大幅度降低采集和标定数据的工作量。

Description

物体运动姿态图像的合成方法及系统
技术领域
本发明涉及图像处理领域，具体地涉及一种物体运动姿态图像的合成方法及系统。
背景技术
近年来AR(Augmented Reality，增强现实技术)交互应用逐渐进入到日常生活，运动物体的姿态跟踪是三维感知部分的重要组成部分。深度图可以提供三维位置信息对运动物体的姿态恢复提供很好的依据，但是深度传感器的普及程度还是不够，所以目前运动三维物体的姿态估计都是通过深度图或者彩色图的两套方案。常用的运动物体姿态数据样本一般都是采用以下两种方案获取的：
方案一：首先，利用真实的传感器(深度摄像头或者RGB相机)采集不同姿态下的样本数据；然后，通过人工标定物体的关键点(像素坐标)，以计算出物体的真实姿态。但是，该方案无法获取关键点的三维坐标，无法获取被遮挡的关键点信息，也无法获取真实三维姿态。
方案二：首先，采用定位传感器贴在物体表面，用以获取实时物体关键点的坐标；然后，计算物体的真实三维姿态。但是，在该方案中的定位传感器的成本较高，同时用传感器采集物体的图像数据或深度图像，定位传感器的信号传输线会被拍入图像(尤其是RGB图像)中，对物体造成遮挡，影响对物体的真实三维姿态的估计结果的精确度。
综上，现有技术中的训练数据完全依赖真实数据的采集和标定，其都存在工作量大且需要高成本设备的问题。
发明内容
本发明实施例的目的是提供一种物体运动姿态图像的合成方法及系统，用以至少解决现有技术中训练数据完全依赖真实数据的采集和标定所导致的工作量大和高成本的问题。
为了实现上述目的，本发明实施例一方面提供一种物体运动姿态图像的合成方法，包括：构建关于目标物体的三维模型，其中该三维模型内置有骨架，且该骨架配置有对应不同骨架位置的骨架节点；根据预定的自由度驱动函数和所述骨架节点生成自由度，并基于所述自由度驱动所述三维模型运动；以及基于针对在运动状态下的所述三维模型的投影图像，合成关于所述目标物体的运动姿态图像。
本发明实施例另一方面的目的是提供一种物体运动姿态图像的合成系统，包括：模型构建单元，用于构建关于目标物体的三维模型，其中该三维模型内置有骨架，且该骨架配置有对应不同骨架位置的骨架节点；自由度驱动单元，用于根据预定的自由度驱动函数和所述骨架节点生成自由度，并基于所述自由度驱动所述三维模型运动；以及投影合成单元，用于基于针对在运动状态下的所述三维模型的投影图像，合成关于所述目标物体的运动姿态图像。
通过上述技术方案，构建内置骨架的关于目标物体的三维模型，并确定相应的自由度，以使得基于自由度驱动非刚体模型来模拟真实物体的运动，然后将模拟出的不同姿态下的三维模型进行投影渲染生成相应姿态下的深度图像及彩色图像数据。由此，利用了骨架驱动运动模型的方式，可以在已知物体姿态参数的情况下反向自动合成其图像数据，能在低成本的条件下大幅度降低采集和标定数据的工作量。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明一实施例的物体运动姿态图像的合成方法的流程图；
图2是图1所示方法的S11中的三维模型的构建原理流程图；
图3A是本发明实施例方法中所应用的手部三维模型的示意图；
图3B是在图3A中的手部三维模型中插入骨架之后的示意图；
图4是图1所示方法的S12中的自由度的生成流程示意图；
图5是图1所示方法的S12中的基于自由度驱动三维模型运动的原理流程示意图；
图6是图1所示方法的S13中的三维模型的投影渲染过程的原理流程示意图；
图7A示出了应用本发明实施例方法所合成的运动姿态下的手部的深度图；
图7B示出了应用本发明实施例方法所合成的运动姿态下的手部的深度图；
图8是本发明一实施例的物体运动姿态图像的合成系统的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
从图像估计姿态是目前模式识别的重点方向，当前最有效的方式都是基于深度学习的姿态估计，但是深度学习最依赖的是海量的样本数据。本发明实施例提出可基于自由度驱动非刚体模型用以模拟真实物体的运动，然后将模拟出的不同姿态下的三维模型进行投影渲染生成相应姿态下的深度图像及彩色图像数据；由此，利用了骨架驱动运动模型的方式，可以在已知物体姿态参数的情况下反向生成其图像数据，能大幅度降低采集和标定数据的工作量。
如图1所示，本发明一实施例的物体运动姿态图像的合成方法，包括：
S11、构建关于目标物体的三维模型，其中该三维模型内置有骨架，且该骨架配置有对应不同骨架位置的骨架节点。
关于本发明实施例方法的实施客体，其可以是专用于物体运动姿态图像的合成的终端(例如增强现实/虚拟现实(AR/VR)头戴配件，诸如头盔、眼镜等)，还可以是各种通用型终端(例如智能手机或PC计算机等)上，且都属于本发明的保护范围内。
具体的，可以采用深度传感器采集多角度点云构建基础模型，也可以采用绘图软件(例如maya)构建一个模型，接着在模型中添加关键点坐标并插入骨架，其中该骨架配置有对应不同骨架位置的骨架节点。以及，该目标物体可以是指代应用运动物体的姿态跟踪技术的各种类型的物体，例如目标物体可以是手部、人体肢体等。
如图2所示，三维模型可以通过以下方式来构建：S21、获取目标物体在多角度下的初始点云数据；S22、基于迭代最邻近点算法和为目标物体预标注的关键点，配准初始点云数据；S23、根据配准后的所述初始点云数据，构建三维模型。
以手部三维模型的构建为例，其可以是使用深度传感器采集多角度的目标物体的点云数据，通过关键点的添加及配准来获取初始点云的变换矩阵，再根据初始矩阵采用ICP(Iterative Closest Point,迭代最邻近点)进行点云的精配准：
pG＝R*PL+V 公式(1)
其中，pG为世界坐标系下点云，PL为摄像机坐标系下点云，R为采用关键点粗匹配和ICP精配准得到的3*3旋转矩阵，V为采用关键点粗匹配和ICP精配准得到的3*1平移矩阵；然后，将配准后的点云合并，并构建网格模型。
S12、根据预定的自由度驱动函数和骨架节点生成自由度，并基于自由度驱动三维模型运动。
具体的，该预定的自由度驱动函数可以是预先配置在终端中的，其可以是任意的用以实现骨架产生随机/特定动作的算法函数。以如图3A和3B所示的手部模型为例，手势骨架的骨架节点有29个，其包括手掌外型节点(其用于指示手掌长宽高尺度)3个，手掌动作节点6个，在5根手指中每一手指所配置的4个骨架节点(手指根关节各2个、指中关节各1个、指尖关节各1个)。
如图4所示，本发明实施例中的自由度的生成流程包括：S41、确定骨架中的骨架节点所对应的节点类型；S42、根据所确定的节点类型调用相应的自由度驱动函数并结合该骨架节点，生成自由度。具体的，结合图3的示例，手掌包括如手掌外型骨架节点(3个)、手掌动作骨架节点(6个)和手指骨架节点(20)三种节点类型，针对这三种不同类型的骨架节点可以是分别配置不同特点的自由度驱动函数。作为示例，其可以是：
1)针对手掌外型骨架节点，可以是采用如下的自由度驱动函数：
2)针对手掌动作骨架节点，可以采用如下的自由度驱动函数：
3)针对手指骨架节点，可以采用如下的自由度驱动函数：
Pglobal＝R(θ)*Plocal+Pparent if(9＜n＜29) 公式(4)
其中，Pglobal代表驱动后的顶点坐标，Pinit代表初始顶点坐标，dof代表自由度的数组，代表由pose的三个欧拉角构成的旋转矩阵，Txyz代表pose的三个位移参数，R(θ)代表单个手指自由度(欧拉角)构成的旋转矩阵，Plocal代表子节点相对于父节点的坐标，Pparent代表父节点坐标，n代表自由度索引。
如图5所示，基于自由度驱动三维模型运动的原理流程，包括：S51、聚类划分与三维模型中各个模型顶点相互关联的骨架节点，其具体可以是按照骨架位置将三维模型的模型顶点划分归属，以确定模型顶点属于具体哪一段骨头；其中，模型顶点归属划分可以是通过以下方式来实现的：
待定的模型顶点和所有骨头(线段)的距离
Pcandidate∈Cn when min(|Pcandidate-Bonen|) 公式(5)
其中Pcandidate表示待定的模型顶点，Cn属于不同段骨架的点聚类，Bonen第n段骨头。S52、基于自由度驱动骨架节点运动，并相应驱动与该骨架节点相关联的模型顶点运动，以驱动三维模型运动，由此在聚类完成后，每个聚类中的顶点会按照对应骨架的运动而运动，而相应的骨架运动可以由相应的DOF(Degree OfFreedom，自由度)去驱动。由此，根据骨架驱动函数驱动骨架，并随之驱动相应聚类的模型顶点坐标形成新的运动姿态下的三维模型。
S13、基于针对在运动状态下的三维模型的投影图像，合成关于目标物体的运动姿态图像。
如图6所示，三维模型的投影渲染原理流程包括：S61、获取对应真实传感器的目标摄像参数，其中目标摄像参数包括分辨率和/或视场角；S62、根据所获取的目标摄像参数，模拟投影渲染所述在运动状态下的三维模型；S63、根据经投影渲染的该三维模型所对应的投影图像，合成关于目标物体的运动姿态图像。具体的，投影渲染的配置过程可以是按照真实所需传感器数据的内参设置包含分辨率、视场角等参数的opengl渲染参数，并设置与传感器参数一致的opengl的摄像机参数，然后进行模型渲染以输出响应的图像数据。由此，基于已知的驱动的参数数据，可以无视遮挡直接获取到关键点准确三维坐标，其相对于人工标注方案，可以极大的提高数据精度，同时能够降低大量的人工成本。
在本发明实施例中，在真实的非刚体模型插入骨架，构建由自由度参数来驱动模型的运动方案以模仿真实的物体运动，再通过opengl按照不同摄像机参数对三维模型进行渲染输出图片数据。并且，相比较于定位传感器的采集方案，本发明实施例所提出的模型驱动渲染方案能够降低经济成本，并且能提供更为精确的标注样本。如图7A和7B，其分别示出了应用本发明实施例方法所合成的运动姿态下的手部的彩色图和深度图。
如图8所示，本发明一实施例的物体运动姿态图像的合成系统80，包括：
模型构建单元801，用于构建关于目标物体的三维模型，其中该三维模型内置有骨架，且该骨架配置有对应不同骨架位置的骨架节点；
自由度驱动单元802，用于根据预定的自由度驱动函数和所述骨架节点生成自由度，并基于所述自由度驱动所述三维模型运动；以及
投影合成单元803，用于基于针对在运动状态下的所述三维模型的投影图像，合成关于所述目标物体的运动姿态图像。
在一些实施方式中，所述模型构建单元801包括：初始点云数据获取模块(未示出)，用于获取所述目标物体在多角度下的初始点云数据；点云数据配准模块(未示出)，用于基于迭代最邻近点算法和为所述目标物体预标注的关键点，配准所述初始点云数据；模型构建模块(未示出)，用于根据配准后的所述初始点云数据，构建三维模型。
在一些实施方式中，所述自由度驱动单元802包括：节点类型确定模块(未示出)，用于确定所述骨架中的所述骨架节点所对应的节点类型；自由度生成模块(未示出)，用于根据所确定的节点类型调用相应的自由度驱动函数并结合该骨架节点，生成自由度。
在一些实施方式中，所述自由度驱动单元802包括：模型骨架聚类模块(未示出)，用于聚类划分与所述三维模型中各个模型顶点相互关联的骨架节点；模型驱动模块(未示出)，基于所述自由度驱动骨架节点运动，并相应驱动与该骨架节点相关联的模型顶点运动，以驱动所述三维模型运动。
在一些实施方式中，所述投影合成单元803包括：真实目标参数获取模块(未示出)，获取对应真实传感器的目标摄像参数，其中所述目标摄像参数包括分辨率和/或视场角；模拟投影模块(未示出)，用于根据所获取的目标摄像参数，模拟投影渲染所述在运动状态下的三维模型；合成模块(未示出)，用于根据经投影渲染的该三维模型所对应的投影图像，合成关于所述目标物体的运动姿态图像。
本发明一实施例还提供了机器可读存储介质，该机器可读存储介质上存储有指令，其能够被机器调用以执行本申请上述的物体运动姿态图像的合成方法的步骤，该机器可读存储介质所安装的终端可以是任意的终端，例如计算机、VR眼镜、AR头盔等。
关于本发明实施例的物体运动姿态图像的合成系统和机器可读存储介质技术方案的细节和效果可以参照上文方法实施例的描述，在此便不赘述。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种物体运动姿态图像的合成方法，包括：
构建关于目标物体的三维模型，其中该三维模型内置有骨架，且该骨架配置有对应不同骨架位置的骨架节点；
根据预定的自由度驱动函数和所述骨架节点生成自由度，并基于所述自由度驱动所述三维模型运动；以及
基于针对在运动状态下的所述三维模型的投影图像，合成关于所述目标物体的运动姿态图像。
2.根据权利要求1所述的方法，其中，所述构建关于目标物体的三维模型包括：
获取所述目标物体在多角度下的初始点云数据；
基于迭代最邻近点算法和为所述目标物体预标注的关键点，配准所述初始点云数据；
根据配准后的所述初始点云数据，构建三维模型。
3.根据权利要求1所述的方法，其中，所述根据预定的自由度驱动函数和所述骨架节点生成自由度包括：
确定所述骨架中的所述骨架节点所对应的节点类型；
根据所确定的节点类型调用相应的自由度驱动函数并结合该骨架节点，生成自由度。
4.根据权利要求1所述的方法，其中，所述基于所述自由度驱动所述三维模型运动包括：
聚类划分与所述三维模型中各个模型顶点相互关联的骨架节点；
基于所述自由度驱动骨架节点运动，并相应驱动与该骨架节点相关联的模型顶点运动，以驱动所述三维模型运动。
5.根据权利要求1所述的方法，其中，所述基于针对在运动状态下的所述三维模型的投影图像合成关于所述目标物体的运动姿态图像包括：
获取对应真实传感器的目标摄像参数，其中所述目标摄像参数包括分辨率和/或视场角；
根据所获取的目标摄像参数，模拟投影渲染所述在运动状态下的三维模型；
根据经投影渲染的该三维模型所对应的投影图像，合成关于所述目标物体的运动姿态图像。
6.一种物体运动姿态图像的合成系统，包括：
模型构建单元，用于构建关于目标物体的三维模型，其中该三维模型内置有骨架，且该骨架配置有对应不同骨架位置的骨架节点；
自由度驱动单元，用于根据预定的自由度驱动函数和所述骨架节点生成自由度，并基于所述自由度驱动所述三维模型运动；以及
投影合成单元，用于基于针对在运动状态下的所述三维模型的投影图像，合成关于所述目标物体的运动姿态图像。
7.根据权利要求6所述的系统，其中，所述模型构建单元包括：
初始点云数据获取模块，用于获取所述目标物体在多角度下的初始点云数据；
点云数据配准模块，用于基于迭代最邻近点算法和为所述目标物体预标注的关键点，配准所述初始点云数据；
模型构建模块，用于根据配准后的所述初始点云数据，构建三维模型。
8.根据权利要求6所述的系统，其中，所述自由度驱动单元包括：
节点类型确定模块，用于确定所述骨架中的所述骨架节点所对应的节点类型；
自由度生成模块，用于根据所确定的节点类型调用相应的自由度驱动函数并结合该骨架节点，生成自由度。
9.根据权利要求6所述的系统，其中，所述自由度驱动单元包括：
模型骨架聚类模块，用于聚类划分与所述三维模型中各个模型顶点相互关联的骨架节点；
模型驱动模块，基于所述自由度驱动骨架节点运动，并相应驱动与该骨架节点相关联的模型顶点运动，以驱动所述三维模型运动。
10.根据权利要求6所述的系统，其中，所述投影合成单元包括：
真实目标参数获取模块，获取对应真实传感器的目标摄像参数，其中所述目标摄像参数包括分辨率和/或视场角；
模拟投影模块，用于根据所获取的目标摄像参数，模拟投影渲染所述在运动状态下的三维模型；
合成模块，用于根据经投影渲染的该三维模型所对应的投影图像，合成关于所述目标物体的运动姿态图像。
CN201810901189.XA 2018-08-09 2018-08-09 物体运动姿态图像的合成方法及系统 Active CN109215128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810901189.XA CN109215128B (zh) 2018-08-09 2018-08-09 物体运动姿态图像的合成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810901189.XA CN109215128B (zh) 2018-08-09 2018-08-09 物体运动姿态图像的合成方法及系统

Publications (2)

Publication Number Publication Date
CN109215128A true CN109215128A (zh) 2019-01-15
CN109215128B CN109215128B (zh) 2019-12-24

Family

ID=64988604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810901189.XA Active CN109215128B (zh) 2018-08-09 2018-08-09 物体运动姿态图像的合成方法及系统

Country Status (1)

Country Link
CN (1) CN109215128B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211145A (zh) * 2019-05-29 2019-09-06 中国科学院软件研究所 一种基于反向烧草模型的骨架提取方法
CN110490908A (zh) * 2019-08-26 2019-11-22 北京华捷艾米科技有限公司 一种动态场景下小物体的位姿追踪方法及装置
CN112785680A (zh) * 2019-11-07 2021-05-11 上海莉莉丝科技股份有限公司 描述三维虚拟空间中物体关系的方法、系统、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087510A1 (en) * 2004-09-01 2006-04-27 Nicoletta Adamo-Villani Device and method of keyboard input and uses thereof
CN101197049A (zh) * 2007-12-21 2008-06-11 西北工业大学 基于三维运动参数的三维运动模型全自动驱动方法
CN104268138A (zh) * 2014-05-15 2015-01-07 西安工业大学 融合深度图和三维模型的人体运动捕捉方法
CN104318601A (zh) * 2014-10-22 2015-01-28 电子科技大学 一种流体环境下人体运动仿真方法
CN104680582A (zh) * 2015-03-24 2015-06-03 中国人民解放军国防科学技术大学 一种面向对象定制的三维人体模型创建方法
CN106600626A (zh) * 2016-11-01 2017-04-26 中国科学院计算技术研究所 三维人体运动捕获方法与系统
US9911219B2 (en) * 2015-05-13 2018-03-06 Intel Corporation Detection, tracking, and pose estimation of an articulated body
CN108369643A (zh) * 2016-07-20 2018-08-03 优森公司 用于3d手部骨架跟踪的方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087510A1 (en) * 2004-09-01 2006-04-27 Nicoletta Adamo-Villani Device and method of keyboard input and uses thereof
CN101197049A (zh) * 2007-12-21 2008-06-11 西北工业大学 基于三维运动参数的三维运动模型全自动驱动方法
CN104268138A (zh) * 2014-05-15 2015-01-07 西安工业大学 融合深度图和三维模型的人体运动捕捉方法
CN104318601A (zh) * 2014-10-22 2015-01-28 电子科技大学 一种流体环境下人体运动仿真方法
CN104680582A (zh) * 2015-03-24 2015-06-03 中国人民解放军国防科学技术大学 一种面向对象定制的三维人体模型创建方法
US9911219B2 (en) * 2015-05-13 2018-03-06 Intel Corporation Detection, tracking, and pose estimation of an articulated body
CN108369643A (zh) * 2016-07-20 2018-08-03 优森公司 用于3d手部骨架跟踪的方法和系统
CN106600626A (zh) * 2016-11-01 2017-04-26 中国科学院计算技术研究所 三维人体运动捕获方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUI LIANG等: "Model-based hand pose estimation via spatial-temporal hand parsing and 3D fingertip localization", 《THE VISUAL COMPUTER》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211145A (zh) * 2019-05-29 2019-09-06 中国科学院软件研究所 一种基于反向烧草模型的骨架提取方法
CN110211145B (zh) * 2019-05-29 2021-04-02 中国科学院软件研究所 一种基于反向烧草模型的骨架提取方法
CN110490908A (zh) * 2019-08-26 2019-11-22 北京华捷艾米科技有限公司 一种动态场景下小物体的位姿追踪方法及装置
CN110490908B (zh) * 2019-08-26 2021-09-21 北京华捷艾米科技有限公司 一种动态场景下小物体的位姿追踪方法及装置
CN112785680A (zh) * 2019-11-07 2021-05-11 上海莉莉丝科技股份有限公司 描述三维虚拟空间中物体关系的方法、系统、设备和介质
WO2021088511A1 (zh) * 2019-11-07 2021-05-14 上海莉莉丝科技股份有限公司 描述三维虚拟空间中物体关系的方法、系统、设备和介质
CN112785680B (zh) * 2019-11-07 2023-01-24 上海莉莉丝科技股份有限公司 描述三维虚拟空间中物体关系的方法、系统、设备和介质
US12112430B2 (en) 2019-11-07 2024-10-08 Shanghai Lilith Technology Corporation Method, system, and device for describing relationship between objects in a three-dimensional virtual space, and medium

Also Published As

Publication number Publication date
CN109215128B (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
CN112150575B (zh) 场景数据获取方法及模型训练方法、装置及计算机设备
KR101424942B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
CN102999942B (zh) 三维人脸重建方法
CN105279750B (zh) 一种基于ir-uwb和图像矩的装备展示导览系统
AU2020260956A1 (en) Blending virtual environments with situated physical reality
KR101519775B1 (ko) 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
KR20190110227A (ko) 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
CN110517355A (zh) 用于照明混合现实对象的环境合成
CN102301313A (zh) 视觉目标跟踪
Aanæs et al. Estimation of deformable structure and motion
CN109215128A (zh) 物体运动姿态图像的合成方法及系统
KR20190011492A (ko) 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법
CN109613974A (zh) 一种大场景下的ar家居体验方法
KR101746648B1 (ko) 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
US20140285513A1 (en) Animation of a virtual object
CN113705379A (zh) 一种手势估计方法、装置、存储介质及设备
CN110008873B (zh) 面部表情捕捉方法、系统及设备
Schall et al. 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality
Díaz et al. Augmented reality without fiducial markers
Afzal et al. Incremental reconstruction of moving object trajectory
WO2023228712A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Dong Three-Dimensional Animation Capture Driver Technology for Digital Media.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant