CN111353355A - 动作追踪系统及方法 - Google Patents

动作追踪系统及方法 Download PDF

Info

Publication number
CN111353355A
CN111353355A CN201811606826.7A CN201811606826A CN111353355A CN 111353355 A CN111353355 A CN 111353355A CN 201811606826 A CN201811606826 A CN 201811606826A CN 111353355 A CN111353355 A CN 111353355A
Authority
CN
China
Prior art keywords
image
depth
joint positions
motion tracking
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811606826.7A
Other languages
English (en)
Other versions
CN111353355B (zh
Inventor
许富淞
汪德美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN111353355A publication Critical patent/CN111353355A/zh
Application granted granted Critical
Publication of CN111353355B publication Critical patent/CN111353355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

一种动作追踪系统，包括第一取像模块、运算模块与数据库。第一取像模块拍摄物体的全身动作，以取得深度影像。数据库提供多个训练样本，且训练样本包括关于物体的关节的多个深度特征信息。运算模块接收深度影像，并依据深度影像与训练样本的深度特征信息，对深度影像进行相关联运算及预测，以得到物体的多个第一关节位置，并将第一关节位置投影到三维空间，以产生物体的三维骨架。其中，深度影像包括物体的肢体未被遮蔽或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽。

Description

动作追踪系统及方法
技术领域
本发明关于一种追踪系统，特别是关于一种动作追踪系统及方法。
背景技术
全身动作侦测(Full Body Tracking)技术被广泛地应用在电影工业、游戏产业、运动、复健和人机互动等领域。以目前来说，虚拟现实(virtual reality，VR)互动技术的主要提供者仅提供双手动作的侦测，并没有提供身体和下肢动作的侦测。
由于现有的全身动作追踪技术无法直接应用在头戴式VR头盔，因此对于目前全身动作侦测来说，VR互动是以穿戴动作控制器(motion controller)为主，亦即使用者必须手持动作控制器，或是在身上配戴动作控制器，以便达到全身动作侦测及追踪，如此将会造成使用上的不便。因此，全身动作追踪的设计上仍有改善的空间。
发明内容
本发明提供一种动作追踪系统及方法，以准确地获得物体的三维骨架，以便对物体的全身动作进行追踪，并增加使用上的便利性。
本发明提供一种动作追踪系统，包括第一取像模块、运算模块与数据库。第一取像模块拍摄物体的全身动作，以取得深度影像。数据库提供多个训练样本，且训练样本包括关于物体的关节的多个深度特征信息。运算模块接收深度影像，并依据深度影像与数据库的训练样本的深度特征信息，对深度影像进行相关联运算及预测，以得到物体的多个第一关节位置，并将第一关节位置投影到三维空间，以产生物体的三维骨架。其中，深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。
本发明提供一种动作追踪方法，包括以下步骤。拍摄物体的全身动作，以取得深度影像。提供多个训练样本，其中训练样本包括关于物体的关节的多个深度特征信息。接收深度影像。依据深度影像与训练样本的深度特征信息，对深度影像进行相关联运算及预测，以得到物体的多个第一关节位置，其中深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。将第一关节位置投影到三维空间。产生物体的三维骨架，其中物体的三维骨架包括物体的手指骨架。
本发明所揭露的动作追踪方法及方法，通过第一取像模块拍摄物体的全身动作，以取得深度影像，且依据深度影像与训练样本的深度特征信息，对深度影像(包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像)进行相关联运算及预测，以得到物体的多个第一关节位置，并将第一关节位置投影到三维空间，以产生物体的三维骨架。如此一来，可准确地获得物体的三维骨架，以便对物体的全身动作进行追踪，并增加使用上的便利性。
附图说明
图1A为依据本发明的一实施例的动作追踪系统的示意图。
图1B为依据本发明的一实施例的物体的三维骨架的示意图。
图1C为第1A图的第一取像模块、运算模块与头戴式装置的配置关系示意图。
图2A为依据本发明的另一实施例的动作追踪系统的示意图。
图2B为第2A图的第一取像模块、第二取像模块、运算模块与头戴式装置的配置关系示意图。
图3为依据本发明的一实施例的动作追踪方法的流程图。
图4A与图4B为依据本发明的另一实施例的动作追踪方法的流程图。
图5为图4B的步骤S420的详细流程图。
图6为依据本发明的另一实施例的动作追踪方法的流程图。
【附图中本公开实施例主要元件符号说明】
100、200：动作追踪系统
110：第一取像模块
120、220：运算模块
130、230：数据库
140、240：头戴式装置
150：物体
210：第二取像模块
160、250：测量模块
S302～S312、S402～S422、S502～S504、S602～S604：步骤
具体实施方式
在以下所列举的各实施例中，将以相同的标号代表相同或相似的组件或组件。
图1A为依据本发明的一实施例的动作追踪系统的示意图。本实施例的动作追踪系统100适用于虚拟和扩增实境中。请参考图1A，动作追踪系统100包括第一取像模块110、运算模块120与数据库130。
第一取像模块110拍摄物体150的全身动作，以取得深度影像。在本实施例中，第一取像模块110例如为深度摄影机，且此深度摄影机也可以为广角的深度摄影机。举例来说，第一取像模块110的视野角度可以是90度、180度、270度、360度或720度等，但不用于限制本发明的实施例。另外，上述物体150例如为用户、动物、机器人或是其他具有关节部位的物体等。
数据库130可以是储存装置，例如内存或硬盘等。数据库130可以储存提供多个训练样本，且这些训练样本可以包括关于物体150的关节的多个深度特征信息。在本实施例中，前述多个训练样本可以由用户预先进行设置。例如，用户可以在物体150或用户的周围环境设置多个摄影机的动作捕捉(Motion Capture)系统，并通过这些摄影机对物体150或用户进行肢体动作的拍摄，且通过运算模块120将上述摄影机所拍摄的多种视角的影像进行分析，以物体150或用户的三维骨架。同时地，用户也可以将动作追踪系统100装设在物体150或用户上，并通过第一取像模块110拍摄物体150与用户的全身动作，以取得深度影像。
接着，运算模块120取得第一取像模块110所拍摄的深度影像，并将上述物体150或用户的三维骨架与深度影像进行关联，以计算出物体150或用户的关节的深度特征。并且，运算模块120将每一动作对应的深度特征信息作为不同的训练样本，并将上述训练样本储存于数据库130中。另外，上述训练样本中也包括有对应于物体150或用户的肢体未被遮蔽的影像的深度特征信息或对应于物体150或用户的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像的深度特征信息。
在本实施例中，当物体150或用户的肢体未被遮蔽时，表示物体150或用户的全身肢体都未被遮蔽。当物体150或用户的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽时，表示物体150或用户的部分肢体有被其他肢体遮蔽。举例来说，物体150或用户的第一肢体(例如脚)被物体150或用户的第二肢体(例如手臂)遮蔽。或是，物体150或用户的第一肢体(例如身体躯干及脚)被物体150或用户的第二肢体(例如手臂)遮蔽。第一肢体与第一取像模块110之间的距离较第二肢体与第一取像模块110之间的距离远。
运算模块120耦接第一取像模块110，接收第一取像模块110所取得的深度影像，并依据深度影像与数据库130的训练样本的深度特征信息，对深度影像进行相关联及预测运算，以得到物体150的多个第一关节位置。上述深度影像包括物体150的肢体未被遮蔽的影像或是物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像。
在本实施例中，运算模块120可为处理器或微控制器等。另外，运算模块120也例如是一芯片、一电路、一电路板或储存数组程序代码的记录媒体。
在本实施例中，运算模块120例如使用深层类神经网络(Deep Neural Network，DNN)或人工智能(artificial intelligence，AI)等的处理方式，将深度影像与训练样本的深度特征信息进行相关联运算及预测，确定深度影像的对应物体150的关节位置，以得到物体150的多个第一关节位置。其中，前述深层类神经网络例如为ResNet或是其他类似的类神经网络。
举例来说，当深度影像包括物体150的肢体未被遮蔽的影像时，运算模块120可以由数据库130中取得对应此深度影像(即物体150的肢体未被遮蔽的影像)的深度特征信息，亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且，这些深度特征信息包括有对应于物体150的全身肢体未被遮蔽时的物体150的全身肢体的相关信息。接着，运算模块120将深度特征信息与深度影像进行相关联运算及预测，确定出深度影像中的物体150的关节位置，以得到物体150的多个第一关节位置。
当深度影像包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像时，运算模块120可以由数据库130中取得对应此深度影像(即物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽的影像)的深度特征信息，亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且，这些深度特征信息包括有对应于物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽时的物体150的全身肢体的相关信息。接着，运算模块120便可依据深度特征信息中所记录的关节位置对深度影像进行相关联运算及预测，来确定深度影像中的物体150的关节位置，以得到物体150的多个第一关节位置。
若物体150是以用户为例，则物体150的第一关节位置例如可以包括用户的手、手臂、臀部、膝盖、脚踝、手指等的关节位置。在本实施例中，当物体150的肢体未被遮蔽时，表示物体150的全身肢体都未被遮蔽。当物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽时，表示物体150的部分肢体有被其他肢体遮蔽。举例来说，物体150的第一肢体(例如脚)被物体150的第二肢体(例如手臂)遮蔽。或是，物体150的第一肢体(例如身体躯干及脚)被物体150的第二肢体(例如手臂)遮蔽。第一肢体与第一取像模块110之间的距离较第二肢体与第一取像模块110之间的距离远。
接着，运算模块120将上述第一关节位置投影到三维空间，以产生物体150的三维骨架。也就是说，在运算模块120取得物体150的第一关节位置后，运算模块120将第一关节位置投影到三维空间，并根据第一关节位置之间的对应关系，将第一关节位置(如图1B所示的“圆点”)进行连接，以产生对应的物体150的三维骨架，如图1B所示的“圆点加连接线”。其中，图1B的物体150的三维骨架包括有使用者的手、手臂、臀部、膝盖、脚踝、手指等。如此一来，可准确地获得物体150的三维骨架，以便对物体150的全身动作进行追踪，并增加使用上的便利性。
在本实施例中，动作追踪系统100更包括头戴式装置140，且第一取像模块110与运算模块120可以设置在头戴式装置140上，如图1C所示。如此，可以将头戴式装置140装设于物体150上，以便对物体150的肢体动作进行侦测，进而有效地产生物体150的三维骨架。
在一实施例中，第一取像模块110可设置在头戴式装置140的壳体内，以对物体150进行全身动作的拍摄，且运算模块120与数据库130可设置在头戴式装置140的壳体内，以对第一取像模块110所取得的深度影像进行运算。
在另一实施例中，第一取像模块110可设置在头戴式装置140的壳体外，以对物体150进行拍摄，进而取得对应物体150的全身动作的深度影像。进一步来说，第一取像模块110可以设置在头戴式装置140的壳体外的下方、中央或上方等。
在本实施例中，将头戴式装置140穿戴于物体150的头部时，第一取像装置110由上往下的视野角度(Top-down View)，使得远离第一取像110的深度影像的物体150的肢体(例如物体150的下肢部位)容易被物体150的手臂遮挡住而无法辨识(arm-leg self-occlusions)。由于在运算模块120的数据库130内已储存物体150的肢体被遮蔽所对应的三维骨架，因此运算模块120不会受到深度影像中的物体150的肢体有被遮蔽的影响。
当深度影像包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像时，运算模块120仍可通过数据库130内取得与此深度影像的相似度接近的训练样本的深度特征信息，并依据此深度特征信息，对深度影像中的物体150的肢体进行相关联运算及预测，以确定物体150的肢体的关节位置，使得运算模块120可精确地产生三维骨架。也就是说，在头戴式装置140的视角频繁发生手臂遮挡住身体躯干或下肢部位的情况，运算模块120仍可预测身体躯干和下肢部位的关节位置，精确地产生三维骨架。
另外，在本实施例中，运算模块120可以头戴式装置140(即动作追踪系统100)为原点，依据第一取像模块110所取得的深度影像，计算物体150的肢体到头戴式装置140的相对位置和方向及物体150的肢体的运动方向与加速度，以投影物体150对应的虚拟肢体影像(即三维骨架)至虚拟环境中。其中，虚拟环境所呈现的虚拟肢体与物体150的真实动作一致。
此外，由于第一取像模块110的视野角度可为180或360度，使得物体150的肢体距离头戴式装置140的距离太近，第一取像装置110仍可从头戴式装置140拍摄到物体150的全身动作。并且，随着物体150与头戴式装置140移动，环境背景也不断改变，通过第一取像模块110取得对应物体150的深度影像，可以有效地分辨物体150的动作和环境背景，使得动作追踪系统100可精确地产生的三维骨架，而不会受到环境背景的改变的影响。
另外，通过第一取像模块110取得对应物体150的深度影像，也可以有效地识别物体150的肢体(如脚踝、脚掌)，使得动作追踪系统100可精确地产生包含脚踝、脚掌的三维骨架。其中，脚踝、脚掌距离头戴式装置140较远。
进一步来说，动作追踪系统100可以包括测量模块160。在本实施例中，测量模块160可以是惯性测量单元(inertial measurement unit，IMU)。测量模块160连接运算模块120，测量并计算物体150的头部的位置、移动方向及移动速度，以产生头部姿态。接着，运算模块120更依据头部姿态，并将头部姿态与第一关节位置相关联，并将第一关节位置与头部姿态投影到三维空间，以产生物体的三维骨架。也就是说，运算模块120所产生的三维骨架包括有物体150的肢体(例如手、脚等)，也包括物体150的头部。另外，测量模块160也可设置在头戴式装置140的壳体内。
图2A为依据本发明的另一实施例的动作追踪系统的示意图。本实施例的动作追踪系统200适用于虚拟和扩增实境中。请参考图2A，动作追踪系统200包括第一取像模块110、第二取像模块210、运算模块220与数据库230。其中，本实施例的第一取像模块110及物体150与图1A的第一取像模块110的物体150相同或相似，故可参考图1A的实施例的说明，故在此不再赘述。
第二取像模块210拍摄物体150的全身动作，以产生全局影像。在本实施例中，第二取像模块210例如为彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机。并且，第二取像模块210的视野角度可以为180度以上，以便拍摄物体150的全身动作。进一步来说，第二取像模块210的视野角度也可为270度或360度或720度。
数据库230可以是储存装置，例如内存或硬盘等。数据库230可以储存并提供多个训练样本，且这些训练样本可以包括关于物体150的关节的多个深度特征信息与多个彩色特征信息。在本实施例中，前述多个训练样本可以由用户预先进行设置。其中，训练样本的深度特征信息的设置方式可以参考图1A的实施例的说明，故在此不再赘述。
另外，用户可以在物体150或用户的周围环境设置多个摄影机的动作捕捉系统，并通过这些设置在周围环境的摄影机对物体150或用户进行肢体动作的拍摄，且通过运算模块220将上述摄影机所拍摄的多种视角的影像进行分析，以取得物体150或用户的三维骨架。同时地，用户也可以将动作追踪系统200装设在物体150或用户上，并通过第二取像模块210拍摄物体150或用户的全身动作，以取得全局影像。接着，运算模块220取得第二取像模块210所拍摄的全局影像，并将上述物体150或用户的三维骨架与全局影像进行关联，以计算出物体150或用户的关节的彩色特征。并且，运算模块220将每一动作对应的彩色特征信息作为不同的训练样本，并将上述训练样本储存于数据库230中。另外，上述训练样本中也包括有对应于物体150或用户的肢体未被遮蔽的影像的彩色特征信息以及对应于物体150或用户的部分肢体未被遮蔽及物体150或用户的另一部分肢体有被遮蔽的影像的彩色特征信息。
在本实施例中，当物体150或用户的肢体未被遮蔽时，表示物体150或用户的全身肢体都未被遮蔽。当物体150或用户的部分肢体未被遮蔽及另一部分肢体有被遮蔽时，表示物体150或用户的部分肢体有被其他肢体遮蔽。举例来说，物体150或用户的第一肢体(例如脚)被物体150或用户的第二肢体(例如手臂)遮蔽。或是，物体150或用户的第一肢体(例如身体躯干及脚)被物体150或用户的第二肢体(例如手臂)遮蔽。第一肢体与第二取像模块210之间的距离较第二肢体与第二取像模块210之间的距离远。
运算模块220耦接第一取像模块110、第二取像模块210与数据库230，接收第一取像模块110所取得的深度影像及第二取像模块210所取得的全局影像。在本实施例中，运算模块220可为处理器或微控制器等。另外，运算模块220也例如是一芯片、一电路、一电路板或储存数组程序代码的记录媒体。接着，运算模块220依据深度影像、全局影像与数据库230的训练样本的深度特征信息与彩色特征信息，对深度影像进行相关联及预测运算，以得到物体150的多个第一关节位置及多个第二关节位置。上述深度影像包括物体150的肢体未被遮蔽的影像或是物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像。上述全局影像包括物体150的肢体未被遮蔽的影像或是物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像。
在本实施例中，运算模块220例如通过深层类神经网络或人工智能的处理方式，将深度影像与训练样本的深度特征信息及全局影像与训练样本的彩色特征信息进行相关联运算及预测，确定深度影像及全局影像中对应上述物体150的关节位置，以得到物体150的多个第一关节位置及多个第二关节位置。其中，前述深层类神经网络例如为ResNet或是其他类似的类神经网络。
举例来说，当深度影像包括物体150的肢体未被遮蔽的影像时，运算模块220可以由数据库230中取得对应此深度影像(即物体150的肢体未被遮蔽的影像)的深度特征信息，亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且，这些深度特征信息包括有对应于物体150的全身肢体未被遮蔽时的物体150的全身肢体的相关信息。接着，运算模块220将深度特征信息与深度影像进行相关联运算及预测，确定出深度影像中的物体150的关节位置，以得到物体150的多个第一关节位置。
当深度影像包括物体150的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像时，运算模块220可以由数据库230中取得对应此深度影像(即物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽)的深度特征信息，亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且，这些深度特征信息包括有对应于物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽时的物体150的全身肢体的相关信息。接着，运算模块220依据深度特征信息中所记录的关节位置对深度影像进行相关联运算及预测，来确定深度影像中的物体150的关节位置，以得到物体150的多个第一关节位置。
另外，当全局影像包括物体150的肢体未被遮蔽的影像时，运算模块220可以由数据库230中取得对应此全局影像(即物体150的肢体未被遮蔽的影像)的彩色特征信息，亦即与此全局影像的相似度最接近的训练样本的彩色特征信息。并且，这些彩色特征信息包括有对应于物体150的全身肢体未被遮蔽时的物体150的全身肢体的相关信息。接着，运算模块220将彩色特征信息与全局影像进行相关联运算及预测，确定出全局影像中的物体150的关节位置，以得到物体150的多个第二关节位置。
当彩色影像包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像时，运算模块220可以由数据库230中取得对应此全局影像(即物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽的影像)的彩色特征信息，亦即与此全局影像的相似度最接近的训练样本的彩色特征信息。并且，这些彩色特征信息包括有对应于物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽时的物体150的全身肢体的相关信息。接着，运算模块220依据彩色特征信息中所记录的关节位置进行对全局影像进行相关联运算及预测，来确定全局影像中的物体150的关节位置，以得到物体150的多个第二关节位置。
接着，运算模块220将上述第一关节位置与第二关节位置投影到三维空间，且对第一关节位置与第二关节位置进行整合运算，以产生对应的物体150的三维骨架。
举例来说，运算模块220可依据深度影像与全局影像，设定权重比例。也就是说，运算模块220可依据深度影像与全局影像的预测节点位置机率(probability)的高低，设定权重比例。在本实施例中，深度影像与全局影像所对应的权重的总和例如为1。举例来说，一般情况下，运算模块220会将深度影像与全局影像所对应的权重分别设置为0.5。
另外，若是第二取像模块210可能会受到光线或颜色的干扰，使得全局影像的预测机率下降，则运算模块220会调降全局影像所对应的权重，例如调整为0.3，且运算模块220会对应调升深度影像所对应的权重，例如调整为0.7。
此外，若是全局影像受到干扰导致全局影像的预测机率已到达无法辨识时，则运算模块220会将全局影像所对应的权重调降至0，且运算模块220会对应将深度影像所对应的权重调升至1。也就是说，动作追踪系统200会以深度影像为主来产生物体150的三维骨架，以避免造成物体150的三维骨架的准确度下降。
接着，运算模块220会依据上述权重比例，将第一关节位置与第二关节位置进行整合运算，以产生物体150的三维骨架，如图1B所示的“圆点加连接线”。
举例来说，运算模块220可以根据公式(1)将第一关节位置与第二关节位置进行迭代更新操作，并根据公式(2)将相同部位的关节位置进行群聚，再将已对应人体150的三维骨架的关节位置进行连接，以产生物体150的三维骨架。并且，公式(1)和(2)分别如下所示：
Figure BDA0001922518890000111
Figure BDA0001922518890000112
其中，
Figure BDA0001922518890000113
为对应人体150的三维骨架的关节位置，
Figure BDA0001922518890000114
为对应深度影像的第一关节位置，
Figure BDA0001922518890000115
为对应全局影像的第二关节位置，
Figure BDA0001922518890000116
为权重比例。其中，通过设定公式(2)的限制角度值θ，运算模块220可以有效地将限制角度值θ的范围内的相同部位的指定关节位置
Figure BDA0001922518890000117
进行群聚，以避免纳入将其他部位而使得所产生的物体150的三维骨架的准确度产生下降或失真的问题。
在本实施例中，动作追踪系统200更包括头戴式装置240。并且，第一取像模块110、第二取像模块210与运算模块220可以设置在头戴式装置240上，如图2B所示。如此，可以将头戴式装置240装设于物体150上，以便对物体150的肢体动作进行侦测，进而有效地产生物体150的三维骨架。
在一实施例中，第一取像模块110与第二取像模块210可设置在头戴式装置240的壳体内，以对物体150的全身动作进行拍摄，且运算模块220与数据库230可设置在头戴式装置240的壳体内，以对第一取像模块110及第二取像模块210所取得的影像进行运算。
在另一实施例中，第一取像模块110与第二取像模块210可设置在头戴式装置240的壳体外，以对物体150进行拍摄，进而取得对应物体150的全身动作的深度影像及全局影像。进一步来说，第一取像模块110与第二取像模块210可以设置在头戴式装置240的壳体外的下方、中央或上方等。
在本实施例中，将头戴式装置240穿戴于物体150的头部时，第一取像模块110与第二取像模块210由上往下的视野角度(Top-down View)，使得远离第一取像模块110与第二取像模块210的物体150的肢体(例如物体150的下肢部位)容易被物体150的手臂遮挡住而无法辨识(arm-leg self-occlusions)。由于在运算模块220的数据库230内已储存物体150的肢体被遮蔽所对应的三维骨架，因此运算模块220不会受到影像中的物体150的肢体有被遮蔽的影响。
当深度影像及全局影像同时包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体被遮蔽的影像时，运算模块220仍可通过数据库230内的深度特征信息与彩色特征信息，预测受到遮蔽的物体150的肢体的关节位置，使得运算模块220可精确地产生三维骨架。也就是说，在头戴式装置240的视角频繁发生手臂遮挡住身体躯干或下肢部位的情况，运算模块220仍可预测身体区干和下肢部位的关节位置，精确地产生三维骨架。
另外，在本实施例中，运算模块220可以头戴式装置240(即动作追踪系统200)为原点，依据第一取像模块110所取得的深度影像与第二取像模块210所取得的全局影像，计算物体150的肢体到头戴式装置240的相对位置和方向及物体150的肢体的运动方向与加速度，以投影物体150对应的虚拟肢体影像至虚拟环境中。其中，虚拟环境所呈现的虚拟肢体(即三维骨架)与物体150的真实动作一致。
此外，由于第一取像模块110与第二取像模块210的视野角度可为180或360度，使得物体150的肢体距离头戴式装置240的距离太近，第一取像模块110与第二取像模块210仍可从头戴式装置240拍摄到物体150的全身动作。并且，随着物体150与头戴式装置240移动，环境背景也不断改变，通过第一取像模块110与第二取像模块210取得对应物体150的深度影像与全局影像，可以有效地分辨物体150的动作和环境背景，使得动作追踪系统200可精确地产生的三维骨架，而不会受到环境背景的改变的影响。
另外，通过第一取像模块110与第二取像模块210取得对应物体150的深度影像与全局影像，也可以有效地识别物体150的肢体(如脚踝、脚掌)，使得动作追踪系统200可精确地产生包含脚踝、脚掌的三维骨架。其中，脚踝、脚掌距离头戴式装置240较远。
进一步来说，动作追踪系统200可以包括测量模块250。在本实施例中，测量模块250可以是惯性测量单元(inertial measurement unit，IMU)。测量模块250连接运算模块220，测量并计算物体150的头部的位置、移动方向及移动速度，以产生头部姿态。接着，运算模块220更依据头部姿态，将头部姿态、第一关节位置与第二关节位置相关联，并将第一关节位置、第二关节位置与头部姿态投影到三维空间，以产生物体的三维骨架。也就是说，运算模块220所产生的三维骨架包括有物体150的肢体(例如手、脚等)，也包括物体150的头部。另外，测量模块250可设置在头戴式装置240的壳体内。
通过上述实施例的说明，可以归纳出一种动作追踪方法。图3为依据本发明的一实施例的动作追踪方法的流程图。
在步骤S302中，拍摄物体的全身动作，以取得深度影像。在步骤S304中，提供多个训练样本，其中训练样本包括关于物体的关节的多个深度特征信息。在步骤S306中，接收深度影像。在步骤S308中，依据深度影像与训练样本的深度特征信息，对深度影像进行相关联运算及预测，以得到物体的多个第一关节位置，其中深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。
在步骤S310中，将第一关节位置投影到三维空间。在步骤S312中，产生物体的三维骨架。在本实施例中，步骤S302是通过深度摄影机进行，且此深度摄影机也可以为广角的深度摄影机。
图4A与图4B为依据本发明的另一实施例的动作追踪方法的流程图。在步骤S402中，拍摄物体的全身动作，以取得深度影像。在步骤S404中，拍摄物体的全身动作，以产生全局影像。在步骤S406中，提供多个训练样本，其中训练样本包括关于物体的关节的多个深度特征信息与多个彩色特征信息。
在步骤S408中，接收深度影像。在步骤S410中，依据深度影像与训练样本的深度特征信息，对深度影像进行相关联运算及预测，以得到物体的多个第一关节位置，其中深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。在步骤S412中，将第一关节位置投影到三维空间。
在步骤S414中，接收全局影像。在步骤S416中，依据全局影像与训练样本的彩色特征信息，对全局影像进行相关联运算及预测，以得到物体的多个第二关节位置，其中全局影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。在步骤S418中，将第二关节位置投影到三维空间。
在步骤S420中，对第一关节位置与第二关节位置进行整合运算。在步骤S422中，产生物体的三维骨架。在本实施例中，步骤S404是通过彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机，且彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机的视野角度为180度以上。另外，步骤S402是通过深度摄影机，且此深度摄影机也可以为广角的深度摄影机。
图5为图4B的步骤S420的详细流程图。在步骤S502，依据深度影像与全局影像，设定权重比例。在步骤S504中，依据权重比例，对第一关节位置与第二关节位置进行整合运算。
图6为依据本发明的另一实施例的动作追踪方法的流程图。本实施例的步骤S302～步骤S310与图3相同，可参考图3的实施例的说明，故在此不再赘述。在步骤S602中，测量并计算物体的头部的位置、移动方向及移动速度，以产生头部姿态。在步骤S604中，依据头部姿态，将头部姿态与第一关节位置相关联，并将头部姿态投影到三维空间。在步骤S312中，产生物体的三维骨架。
值得注意的是，图3、图4A、图4B、图5及图6的步骤的顺序仅用以作为说明的目的，不用于限制本发明实施例的步骤的顺序，且上述步骤的顺序可由用户视其需求而改变。并且，在不脱离本发明的精神以及范围内，上述流程图可增加额外的步骤或者使用更少的步骤。
综上所述，本发明所揭露的动作追踪方法及方法，通过第一取像模块拍摄物体的全身动作，以取得深度影像，且依据深度影像与训练样本的深度特征信息，对深度影像(包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像)进行相关联运算及预测，以得到物体的多个第一关节位置，并将第一关节位置投影到三维空间，以产生物体的三维骨架。如此一来，可准确地获得物体的三维骨架，以便对物体的全身动作进行追踪，并增加使用上的便利性。
另外，本发明还通过第二取像模块拍摄物体的全身动作，以取得全局影像，且更依据全局影像与训练样本的彩色特征信息，对全局影像(包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像)进行相关联运算及预测，以得到物体的多个第二关节位置，并将第二关节位置投影到三维空间，再将第一关节位置与第二关节位置进行整合运算，以产生物体的三维骨架。如此一来，还可以增加所获得的物体的三维骨架的精细度，以便对物体的全身动作进行更有效的追踪。
本发明虽以实施例揭露如上，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围应以权利要求书所界定为准。

Claims (19)

1.一种动作追踪系统，包括：
第一取像模块，拍摄物体的全身动作，以取得深度影像；
数据库，提供多个训练样本，且这些训练样本包括关于该物体的关节的多个深度特征信息；以及
运算模块，接收该深度影像，并依据该深度影像与该数据库的这些训练样本的这些深度特征信息，对该深度影像进行相关联运算及预测，以得到该物体的多个第一关节位置，并将这些第一关节位置投影到三维空间，以产生该物体的三维骨架，其中该深度影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像。
2.如权利要求1所述的动作追踪系统，更包括：
第二取像模块，拍摄该物体的全身动作，以产生全局影像；
其中，这些训练样本更包括关于该物体的关节的多个彩色特征信息；
其中，该运算模块更接收该全局影像，并依据该全局影像与该数据库的这些训练样本的这些彩色特征信息，对该全局影像进行相关联运算及预测以得到该物体的多个第二关节位置，并将这些第二关节位置投影到该三维空间，且将这些第一关节位置与这些第二关节位置进行整合运算，以产生该物体的三维骨架，其中该全局影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像。
3.如权利要求2所述的动作追踪系统，其中该运算模块更依据该深度影像与该全局影像，设定权重比例，并依据该权重比例，对这些第一关节位置与这些第二关节位置进行整合运算，以产生该物体的三维骨架。
4.如权利要求2所述的动作追踪系统，其中该第二取像模块为彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机。
5.如权利要求2所述的动作追踪系统，更包括头戴式装置，其中该第一取像模块、该第二取像模块与该运算模块设置在该头戴式装置上。
6.如权利要求2所述的动作追踪系统，其中该第二取像模块的视野角度为180度以上。
7.如权利要求1所述的动作追踪系统，其中该第一取像模块为深度摄影机。
8.如权利要求1所述的动作追踪系统，更包括头戴式装置，其中该第一取像模块与该运算模块设置在该头戴式装置上。
9.如权利要求8所述的动作追踪系统，其中该运算模块以该头戴式装置为原点，依据该深度影像，计算该物体的肢体到该头戴式装置的相对位置和方向及该物体的肢体的运动方向与加速度，以投影该物体对应的虚拟肢体影像至虚拟环境中。
10.如权利要求1所述的动作追踪系统，更包括：
测量模块，连接运算模块，测量并计算该物体的头部的位置、移动方向及移动速度，以产生头部姿态；
其中，运算模块更依据该头部姿态，将该头部姿态与这些第一关节位置相关联，并将这些第一关节位置与该头部姿态投影到该三维空间，以产生该物体的三维骨架。
11.如权利要求1所述的动作追踪系统，其中该物体的三维骨架包括该物体的手指骨架。
12.一种动作追踪方法，包括：
拍摄物体的全身动作，以取得深度影像；
提供多个训练样本，其中这些训练样本包括关于该物体的关节的多个深度特征信息；
接收该深度影像；
依据该深度影像与这些训练样本的这些深度特征信息，对该深度影像进行相关联运算及预测，以得到该物体的多个第一关节位置，其中该深度影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像；
将这些第一关节位置投影到三维空间；以及
产生该物体的三维骨架。
13.如权利要求12所述的动作追踪方法，其中这些训练样本更包括关于该物体的关节的多个彩色特征信息，该动作追踪方法更包括：
拍摄该物体的全身动作，以产生全局影像；
接收该全局影像；
依据该全局影像与这些训练样本的这些彩色特征信息，对该全局影像进行相关联运算及预测，以得到该物体的多个第二关节位置，其中该全局影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像；
将这些第二关节位置投影到该三维空间；以及
对这些第一关节位置与这些第二关节位置进行整合运算。
14.如权利要求13所述的动作追踪方法，其中对这些第一关节位置与这些第二关节位置进行整合的步骤包括：
依据该深度影像与该全局影像，设定权重比例；以及
依据该权重比例，对这些第一关节位置与这些第二关节位置进行整合运算。
15.如权利要求13所述的动作追踪方法，其中通过彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机，拍摄该物体的全身动作，以产生该全局影像。
16.如权利要求15所述的动作追踪方法，其中该彩色鱼眼摄影机、该单色鱼眼摄影机或该红外线鱼眼摄影机的视野角度为180度以上。
17.如权利要求12所述的动作追踪方法，其中通过深度摄影机，拍摄该物体的全身动作，以取得该深度影像。
18.如权利要求12所述的动作追踪方法，其中该物体的三维骨架包括该物体的手指骨架。
19.如权利要求12所述的动作追踪方法，更包括：
测量并计算该物体的头部的位置、移动方向及移动速度，以产生头部姿态；以及
依据该头部姿态，将该头部姿态与这些第一关节位置相关联，并将该头部姿态投影到该三维空间。
CN201811606826.7A 2018-12-24 2018-12-26 动作追踪系统及方法 Active CN111353355B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107146753 2018-12-24
TW107146753A TWI715903B (zh) 2018-12-24 2018-12-24 動作追蹤系統及方法

Publications (2)

Publication Number Publication Date
CN111353355A true CN111353355A (zh) 2020-06-30
CN111353355B CN111353355B (zh) 2023-09-19

Family

ID=71097712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811606826.7A Active CN111353355B (zh) 2018-12-24 2018-12-26 动作追踪系统及方法

Country Status (3)

Country Link
US (1) US11164321B2 (zh)
CN (1) CN111353355B (zh)
TW (1) TWI715903B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985359A (zh) * 2020-08-04 2020-11-24 山东金东数字创意股份有限公司 基于人体骨骼运动捕捉的识别控制系统和方法
TWI781472B (zh) * 2020-10-29 2022-10-21 李秉家 使用擴增實境的互動復健系統

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783492B2 (en) * 2020-09-01 2023-10-10 XRSpace CO., LTD. Human body portion tracking method and human body portion tracking system
CN112614214B (zh) * 2020-12-18 2023-10-27 北京达佳互联信息技术有限公司 动作捕捉方法、装置、电子设备及存储介质
US20220319041A1 (en) * 2021-03-31 2022-10-06 Facebook Technologies, Llc Egocentric pose estimation from human vision span
CN113181619A (zh) * 2021-04-09 2021-07-30 青岛小鸟看看科技有限公司 一种运动训练方法、装置和系统
TWI819403B (zh) * 2021-11-04 2023-10-21 瑞昱半導體股份有限公司 影像資料擴增裝置及方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040155962A1 (en) * 2003-02-11 2004-08-12 Marks Richard L. Method and apparatus for real time motion capture
US20070103471A1 (en) * 2005-10-28 2007-05-10 Ming-Hsuan Yang Discriminative motion modeling for human motion tracking
TW200937350A (en) * 2008-02-22 2009-09-01 Univ Nat Cheng Kung Three-dimensional finger motion analysis system and method
US20090232353A1 (en) * 2006-11-10 2009-09-17 University Of Maryland Method and system for markerless motion capture using multiple cameras
CN101650776A (zh) * 2008-08-12 2010-02-17 财团法人工业技术研究院 追踪人物肢体位置的方法与系统
US20100238168A1 (en) * 2009-03-17 2010-09-23 Samsung Electronics Co., Ltd. Apparatus and method for generating skeleton model using motion data and image data
US20110069866A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
TW201143866A (en) * 2010-01-15 2011-12-16 Microsoft Corp Tracking groups of users in motion capture system
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
US20120239174A1 (en) * 2011-03-17 2012-09-20 Microsoft Corporation Predicting Joint Positions
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
US20150139505A1 (en) * 2013-11-18 2015-05-21 Electronics And Telecommunications Research Institute Method and apparatus for predicting human motion in virtual environment
US20150279053A1 (en) * 2014-03-31 2015-10-01 Electronics And Telecommunications Research Institute System and method for motion estimation
US20150310629A1 (en) * 2013-01-18 2015-10-29 Kabushiki Kaisha Toshiba Motion information processing device
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
CN105678802A (zh) * 2014-04-21 2016-06-15 杨祖立 辨识二维影像产生三维信息的方法

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019840A1 (en) * 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US7113918B1 (en) * 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
JP3530095B2 (ja) * 2000-01-27 2004-05-24 株式会社スクウェア・エニックス ビデオゲームにおける三次元オブジェクト変形方法及びビデオゲーム装置、並びにビデオゲーム用のプログラムを記録したコンピュータ読み取り可能な記録媒体
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
CN100517268C (zh) 2004-04-20 2009-07-22 松下电器产业株式会社 非易失性存储系统、非易失性存储装置、存储控制器、存取装置以及非易失性存储装置的控制方法
JP4686595B2 (ja) * 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US8811692B2 (en) * 2007-04-17 2014-08-19 Francine J. Prokoski System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
WO2008144843A1 (en) * 2007-05-31 2008-12-04 Depth Analysis Pty Ltd Systems and methods for applying a 3d scan of a physical target object to a virtual environment
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
US8659596B2 (en) * 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8503720B2 (en) * 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US9646340B2 (en) * 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US9358456B1 (en) * 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8797328B2 (en) * 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9123316B2 (en) * 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8786680B2 (en) * 2011-06-21 2014-07-22 Disney Enterprises, Inc. Motion capture from body mounted cameras
US20130097194A1 (en) * 2011-08-05 2013-04-18 New York University Apparatus, method, and computer-accessible medium for displaying visual information
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
KR101929451B1 (ko) * 2012-02-03 2018-12-14 삼성전자주식회사 로봇의 제어 장치 및 방법
US10417575B2 (en) * 2012-12-14 2019-09-17 Microsoft Technology Licensing, Llc Resource allocation for machine learning
US20130266174A1 (en) * 2012-04-06 2013-10-10 Omek Interactive, Ltd. System and method for enhanced object tracking
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9373087B2 (en) * 2012-10-25 2016-06-21 Microsoft Technology Licensing, Llc Decision tree training in machine learning
JP2014090841A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
WO2014112632A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及び方法
JP6433149B2 (ja) * 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
US9489639B2 (en) * 2013-11-13 2016-11-08 Microsoft Technology Licensing, Llc Memory facilitation using directed acyclic graphs
US11195318B2 (en) * 2014-04-23 2021-12-07 University Of Southern California Rapid avatar capture and simulation using commodity depth sensors
US10368784B2 (en) * 2014-06-23 2019-08-06 Microsoft Technology Licensing, Llc Sensor data damping
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
TWI530821B (zh) 2014-09-25 2016-04-21 中強光電股份有限公司 頭戴式顯示系統及其操作方法
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
WO2016095057A1 (en) 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
US10210737B2 (en) * 2015-06-23 2019-02-19 Cleveland State University Systems and methods for privacy-aware motion tracking with notification feedback
US20160378176A1 (en) 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
CN105068648A (zh) 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式智能交互系统
CN205015835U (zh) 2015-08-03 2016-02-03 众景视界（北京）科技有限公司 头戴式智能交互系统
KR102658303B1 (ko) 2016-02-18 2024-04-18 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US20170316578A1 (en) * 2016-04-29 2017-11-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method, System and Device for Direct Prediction of 3D Body Poses from Motion Compensated Sequence
US10019629B2 (en) * 2016-05-31 2018-07-10 Microsoft Technology Licensing, Llc Skeleton-based action detection using recurrent neural network
WO2018069981A1 (ja) * 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
JP6769859B2 (ja) * 2016-12-19 2020-10-14 株式会社日立エルジーデータストレージ 画像処理装置及び画像処理方法
US20180225858A1 (en) * 2017-02-03 2018-08-09 Sony Corporation Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform
US10657367B2 (en) * 2017-04-04 2020-05-19 Usens, Inc. Methods and systems for hand tracking
JP6809604B2 (ja) * 2017-05-12 2021-01-06 富士通株式会社 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム
US10679404B2 (en) * 2017-10-04 2020-06-09 Google Llc Shadows for inserted content
US11514604B2 (en) * 2017-12-15 2022-11-29 Sony Corporation Information processing device and information processing method
US11016116B2 (en) * 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking
JP2019148865A (ja) * 2018-02-26 2019-09-05 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
KR102577472B1 (ko) * 2018-03-20 2023-09-12 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
US11009941B2 (en) * 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US10713850B2 (en) * 2018-09-24 2020-07-14 Sony Corporation System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint
US10573050B1 (en) * 2018-11-20 2020-02-25 Sony Corporation Marker-based pose estimation
US10796482B2 (en) * 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US10839586B1 (en) * 2019-06-07 2020-11-17 Snap Inc. Single image-based real-time body animation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040155962A1 (en) * 2003-02-11 2004-08-12 Marks Richard L. Method and apparatus for real time motion capture
US20070103471A1 (en) * 2005-10-28 2007-05-10 Ming-Hsuan Yang Discriminative motion modeling for human motion tracking
US20090232353A1 (en) * 2006-11-10 2009-09-17 University Of Maryland Method and system for markerless motion capture using multiple cameras
TW200937350A (en) * 2008-02-22 2009-09-01 Univ Nat Cheng Kung Three-dimensional finger motion analysis system and method
CN101650776A (zh) * 2008-08-12 2010-02-17 财团法人工业技术研究院 追踪人物肢体位置的方法与系统
US20100238168A1 (en) * 2009-03-17 2010-09-23 Samsung Electronics Co., Ltd. Apparatus and method for generating skeleton model using motion data and image data
US20110069866A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
TW201143866A (en) * 2010-01-15 2011-12-16 Microsoft Corp Tracking groups of users in motion capture system
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
US20120239174A1 (en) * 2011-03-17 2012-09-20 Microsoft Corporation Predicting Joint Positions
US20150310629A1 (en) * 2013-01-18 2015-10-29 Kabushiki Kaisha Toshiba Motion information processing device
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
US20150139505A1 (en) * 2013-11-18 2015-05-21 Electronics And Telecommunications Research Institute Method and apparatus for predicting human motion in virtual environment
US20150279053A1 (en) * 2014-03-31 2015-10-01 Electronics And Telecommunications Research Institute System and method for motion estimation
CN105678802A (zh) * 2014-04-21 2016-06-15 杨祖立 辨识二维影像产生三维信息的方法
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985359A (zh) * 2020-08-04 2020-11-24 山东金东数字创意股份有限公司 基于人体骨骼运动捕捉的识别控制系统和方法
TWI781472B (zh) * 2020-10-29 2022-10-21 李秉家 使用擴增實境的互動復健系統

Also Published As

Publication number Publication date
TW202024864A (zh) 2020-07-01
US11164321B2 (en) 2021-11-02
US20200202538A1 (en) 2020-06-25
CN111353355B (zh) 2023-09-19
TWI715903B (zh) 2021-01-11

Similar Documents

Publication Publication Date Title
CN111353355B (zh) 动作追踪系统及方法
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US8786680B2 (en) Motion capture from body mounted cameras
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
Pons-Moll et al. Multisensor-fusion for 3d full-body human motion capture
JP4007899B2 (ja) 運動検出装置
JP2019522851A (ja) ３次元空間内の姿勢推定
CN106843507B (zh) 一种虚拟现实多人互动的方法及系统
CN109284006B (zh) 一种人体运动捕获装置和方法
KR20000017755A (ko) 몸 동작에 대한 데이터 획득 방법
JP2008176509A (ja) 情報処理装置および方法
Pandey et al. Efficient 6-dof tracking of handheld objects from an egocentric viewpoint
WO2019156990A1 (en) Remote perception of depth and shape of objects and surfaces
WO2020149149A1 (en) Information processing apparatus, information processing method, and program
CN112087728A (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
KR102229070B1 (ko) 센서 방식 모션 캡쳐 시스템 기반 모션 캡쳐 장치 및 그 방법
Cheng et al. Capturing human motion in natural environments
WO2023157499A1 (ja) 情報処理装置およびデバイス位置推定方法
CN112215928B (zh) 基于视觉图像的动作捕捉方法及数字动画制作方法
Chen et al. A real-time photogrammetric system for acquisition and monitoring of three-dimensional human body kinematics
CN114422736B (zh) 一种视频处理方法、电子设备及计算机存储介质
JP7321459B2 (ja) 携帯端末、操作方法、及びプログラム
US11783492B2 (en) Human body portion tracking method and human body portion tracking system
KR102262003B1 (ko) 융합형 모션 캡쳐 시스템 기반의 모션 구현 장치 및 그 방법
Ben Abdeljelil et al. Fusion-Based Approach to Enhance Markerless Motion Capture Accuracy for On-Site Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant