CN111353355B - 动作追踪系统及方法 - Google Patents
动作追踪系统及方法 Download PDFInfo
- Publication number
- CN111353355B CN111353355B CN201811606826.7A CN201811606826A CN111353355B CN 111353355 B CN111353355 B CN 111353355B CN 201811606826 A CN201811606826 A CN 201811606826A CN 111353355 B CN111353355 B CN 111353355B
- Authority
- CN
- China
- Prior art keywords
- image
- limb
- depth
- shielded
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 3
- 210000003414 extremity Anatomy 0.000 description 131
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000005259 measurement Methods 0.000 description 12
- 210000003423 ankle Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 210000002683 foot Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 210000003141 lower extremity Anatomy 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
一种动作追踪系统,包括第一取像模块、运算模块与数据库。第一取像模块拍摄物体的全身动作,以取得深度影像。数据库提供多个训练样本,且训练样本包括关于物体的关节的多个深度特征信息。运算模块接收深度影像,并依据深度影像与训练样本的深度特征信息,对深度影像进行相关联运算及预测,以得到物体的多个第一关节位置,并将第一关节位置投影到三维空间,以产生物体的三维骨架。其中,深度影像包括物体的肢体未被遮蔽或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽。
Description
技术领域
本发明关于一种追踪系统,特别是关于一种动作追踪系统及方法。
背景技术
全身动作侦测(Full Body Tracking)技术被广泛地应用在电影工业、游戏产业、运动、复健和人机互动等领域。以目前来说,虚拟现实(virtual reality,VR)互动技术的主要提供者仅提供双手动作的侦测,并没有提供身体和下肢动作的侦测。
由于现有的全身动作追踪技术无法直接应用在头戴式VR头盔,因此对于目前全身动作侦测来说,VR互动是以穿戴动作控制器(motion controller)为主,亦即使用者必须手持动作控制器,或是在身上配戴动作控制器,以便达到全身动作侦测及追踪,如此将会造成使用上的不便。因此,全身动作追踪的设计上仍有改善的空间。
发明内容
本发明提供一种动作追踪系统及方法,以准确地获得物体的三维骨架,以便对物体的全身动作进行追踪,并增加使用上的便利性。
本发明提供一种动作追踪系统,包括第一取像模块、运算模块与数据库。第一取像模块拍摄物体的全身动作,以取得深度影像。数据库提供多个训练样本,且训练样本包括关于物体的关节的多个深度特征信息。运算模块接收深度影像,并依据深度影像与数据库的训练样本的深度特征信息,对深度影像进行相关联运算及预测,以得到物体的多个第一关节位置,并将第一关节位置投影到三维空间,以产生物体的三维骨架。其中,深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。
本发明提供一种动作追踪方法,包括以下步骤。拍摄物体的全身动作,以取得深度影像。提供多个训练样本,其中训练样本包括关于物体的关节的多个深度特征信息。接收深度影像。依据深度影像与训练样本的深度特征信息,对深度影像进行相关联运算及预测,以得到物体的多个第一关节位置,其中深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。将第一关节位置投影到三维空间。产生物体的三维骨架,其中物体的三维骨架包括物体的手指骨架。
本发明所揭露的动作追踪方法及方法,通过第一取像模块拍摄物体的全身动作,以取得深度影像,且依据深度影像与训练样本的深度特征信息,对深度影像(包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像)进行相关联运算及预测,以得到物体的多个第一关节位置,并将第一关节位置投影到三维空间,以产生物体的三维骨架。如此一来,可准确地获得物体的三维骨架,以便对物体的全身动作进行追踪,并增加使用上的便利性。
附图说明
图1A为依据本发明的一实施例的动作追踪系统的示意图。
图1B为依据本发明的一实施例的物体的三维骨架的示意图。
图1C为第1A图的第一取像模块、运算模块与头戴式装置的配置关系示意图。
图2A为依据本发明的另一实施例的动作追踪系统的示意图。
图2B为第2A图的第一取像模块、第二取像模块、运算模块与头戴式装置的配置关系示意图。
图3为依据本发明的一实施例的动作追踪方法的流程图。
图4A与图4B为依据本发明的另一实施例的动作追踪方法的流程图。
图5为图4B的步骤S420的详细流程图。
图6为依据本发明的另一实施例的动作追踪方法的流程图。
【附图中本公开实施例主要元件符号说明】
100、200:动作追踪系统
110:第一取像模块
120、220:运算模块
130、230:数据库
140、240:头戴式装置
150:物体
210:第二取像模块
160、250:测量模块
S302~S312、S402~S422、S502~S504、S602~S604:步骤
具体实施方式
在以下所列举的各实施例中,将以相同的标号代表相同或相似的组件或组件。
图1A为依据本发明的一实施例的动作追踪系统的示意图。本实施例的动作追踪系统100适用于虚拟和扩增实境中。请参考图1A,动作追踪系统100包括第一取像模块110、运算模块120与数据库130。
第一取像模块110拍摄物体150的全身动作,以取得深度影像。在本实施例中,第一取像模块110例如为深度摄影机,且此深度摄影机也可以为广角的深度摄影机。举例来说,第一取像模块110的视野角度可以是90度、180度、270度、360度或720度等,但不用于限制本发明的实施例。另外,上述物体150例如为用户、动物、机器人或是其他具有关节部位的物体等。
数据库130可以是储存装置,例如内存或硬盘等。数据库130可以储存提供多个训练样本,且这些训练样本可以包括关于物体150的关节的多个深度特征信息。在本实施例中,前述多个训练样本可以由用户预先进行设置。例如,用户可以在物体150或用户的周围环境设置多个摄影机的动作捕捉(Motion Capture)系统,并通过这些摄影机对物体150或用户进行肢体动作的拍摄,且通过运算模块120将上述摄影机所拍摄的多种视角的影像进行分析,以物体150或用户的三维骨架。同时地,用户也可以将动作追踪系统100装设在物体150或用户上,并通过第一取像模块110拍摄物体150与用户的全身动作,以取得深度影像。
接着,运算模块120取得第一取像模块110所拍摄的深度影像,并将上述物体150或用户的三维骨架与深度影像进行关联,以计算出物体150或用户的关节的深度特征。并且,运算模块120将每一动作对应的深度特征信息作为不同的训练样本,并将上述训练样本储存于数据库130中。另外,上述训练样本中也包括有对应于物体150或用户的肢体未被遮蔽的影像的深度特征信息或对应于物体150或用户的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像的深度特征信息。
在本实施例中,当物体150或用户的肢体未被遮蔽时,表示物体150或用户的全身肢体都未被遮蔽。当物体150或用户的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽时,表示物体150或用户的部分肢体有被其他肢体遮蔽。举例来说,物体150或用户的第一肢体(例如脚)被物体150或用户的第二肢体(例如手臂)遮蔽。或是,物体150或用户的第一肢体(例如身体躯干及脚)被物体150或用户的第二肢体(例如手臂)遮蔽。第一肢体与第一取像模块110之间的距离较第二肢体与第一取像模块110之间的距离远。
运算模块120耦接第一取像模块110,接收第一取像模块110所取得的深度影像,并依据深度影像与数据库130的训练样本的深度特征信息,对深度影像进行相关联及预测运算,以得到物体150的多个第一关节位置。上述深度影像包括物体150的肢体未被遮蔽的影像或是物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像。
在本实施例中,运算模块120可为处理器或微控制器等。另外,运算模块120也例如是一芯片、一电路、一电路板或储存数组程序代码的记录媒体。
在本实施例中,运算模块120例如使用深层类神经网络(Deep Neural Network,DNN)或人工智能(artificial intelligence,AI)等的处理方式,将深度影像与训练样本的深度特征信息进行相关联运算及预测,确定深度影像的对应物体150的关节位置,以得到物体150的多个第一关节位置。其中,前述深层类神经网络例如为ResNet或是其他类似的类神经网络。
举例来说,当深度影像包括物体150的肢体未被遮蔽的影像时,运算模块120可以由数据库130中取得对应此深度影像(即物体150的肢体未被遮蔽的影像)的深度特征信息,亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且,这些深度特征信息包括有对应于物体150的全身肢体未被遮蔽时的物体150的全身肢体的相关信息。接着,运算模块120将深度特征信息与深度影像进行相关联运算及预测,确定出深度影像中的物体150的关节位置,以得到物体150的多个第一关节位置。
当深度影像包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像时,运算模块120可以由数据库130中取得对应此深度影像(即物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽的影像)的深度特征信息,亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且,这些深度特征信息包括有对应于物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽时的物体150的全身肢体的相关信息。接着,运算模块120便可依据深度特征信息中所记录的关节位置对深度影像进行相关联运算及预测,来确定深度影像中的物体150的关节位置,以得到物体150的多个第一关节位置。
若物体150是以用户为例,则物体150的第一关节位置例如可以包括用户的手、手臂、臀部、膝盖、脚踝、手指等的关节位置。在本实施例中,当物体150的肢体未被遮蔽时,表示物体150的全身肢体都未被遮蔽。当物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽时,表示物体150的部分肢体有被其他肢体遮蔽。举例来说,物体150的第一肢体(例如脚)被物体150的第二肢体(例如手臂)遮蔽。或是,物体150的第一肢体(例如身体躯干及脚)被物体150的第二肢体(例如手臂)遮蔽。第一肢体与第一取像模块110之间的距离较第二肢体与第一取像模块110之间的距离远。
接着,运算模块120将上述第一关节位置投影到三维空间,以产生物体150的三维骨架。也就是说,在运算模块120取得物体150的第一关节位置后,运算模块120将第一关节位置投影到三维空间,并根据第一关节位置之间的对应关系,将第一关节位置(如图1B所示的“圆点”)进行连接,以产生对应的物体150的三维骨架,如图1B所示的“圆点加连接线”。其中,图1B的物体150的三维骨架包括有使用者的手、手臂、臀部、膝盖、脚踝、手指等。如此一来,可准确地获得物体150的三维骨架,以便对物体150的全身动作进行追踪,并增加使用上的便利性。
在本实施例中,动作追踪系统100更包括头戴式装置140,且第一取像模块110与运算模块120可以设置在头戴式装置140上,如图1C所示。如此,可以将头戴式装置140装设于物体150上,以便对物体150的肢体动作进行侦测,进而有效地产生物体150的三维骨架。
在一实施例中,第一取像模块110可设置在头戴式装置140的壳体内,以对物体150进行全身动作的拍摄,且运算模块120与数据库130可设置在头戴式装置140的壳体内,以对第一取像模块110所取得的深度影像进行运算。
在另一实施例中,第一取像模块110可设置在头戴式装置140的壳体外,以对物体150进行拍摄,进而取得对应物体150的全身动作的深度影像。进一步来说,第一取像模块110可以设置在头戴式装置140的壳体外的下方、中央或上方等。
在本实施例中,将头戴式装置140穿戴于物体150的头部时,第一取像装置110由上往下的视野角度(Top-down View),使得远离第一取像110的深度影像的物体150的肢体(例如物体150的下肢部位)容易被物体150的手臂遮挡住而无法辨识(arm-leg self-occlusions)。由于在运算模块120的数据库130内已储存物体150的肢体被遮蔽所对应的三维骨架,因此运算模块120不会受到深度影像中的物体150的肢体有被遮蔽的影响。
当深度影像包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像时,运算模块120仍可通过数据库130内取得与此深度影像的相似度接近的训练样本的深度特征信息,并依据此深度特征信息,对深度影像中的物体150的肢体进行相关联运算及预测,以确定物体150的肢体的关节位置,使得运算模块120可精确地产生三维骨架。也就是说,在头戴式装置140的视角频繁发生手臂遮挡住身体躯干或下肢部位的情况,运算模块120仍可预测身体躯干和下肢部位的关节位置,精确地产生三维骨架。
另外,在本实施例中,运算模块120可以头戴式装置140(即动作追踪系统100)为原点,依据第一取像模块110所取得的深度影像,计算物体150的肢体到头戴式装置140的相对位置和方向及物体150的肢体的运动方向与加速度,以投影物体150对应的虚拟肢体影像(即三维骨架)至虚拟环境中。其中,虚拟环境所呈现的虚拟肢体与物体150的真实动作一致。
此外,由于第一取像模块110的视野角度可为180或360度,使得物体150的肢体距离头戴式装置140的距离太近,第一取像装置110仍可从头戴式装置140拍摄到物体150的全身动作。并且,随着物体150与头戴式装置140移动,环境背景也不断改变,通过第一取像模块110取得对应物体150的深度影像,可以有效地分辨物体150的动作和环境背景,使得动作追踪系统100可精确地产生的三维骨架,而不会受到环境背景的改变的影响。
另外,通过第一取像模块110取得对应物体150的深度影像,也可以有效地识别物体150的肢体(如脚踝、脚掌),使得动作追踪系统100可精确地产生包含脚踝、脚掌的三维骨架。其中,脚踝、脚掌距离头戴式装置140较远。
进一步来说,动作追踪系统100可以包括测量模块160。在本实施例中,测量模块160可以是惯性测量单元(inertial measurement unit,IMU)。测量模块160连接运算模块120,测量并计算物体150的头部的位置、移动方向及移动速度,以产生头部姿态。接着,运算模块120更依据头部姿态,并将头部姿态与第一关节位置相关联,并将第一关节位置与头部姿态投影到三维空间,以产生物体的三维骨架。也就是说,运算模块120所产生的三维骨架包括有物体150的肢体(例如手、脚等),也包括物体150的头部。另外,测量模块160也可设置在头戴式装置140的壳体内。
图2A为依据本发明的另一实施例的动作追踪系统的示意图。本实施例的动作追踪系统200适用于虚拟和扩增实境中。请参考图2A,动作追踪系统200包括第一取像模块110、第二取像模块210、运算模块220与数据库230。其中,本实施例的第一取像模块110及物体150与图1A的第一取像模块110的物体150相同或相似,故可参考图1A的实施例的说明,故在此不再赘述。
第二取像模块210拍摄物体150的全身动作,以产生全局影像。在本实施例中,第二取像模块210例如为彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机。并且,第二取像模块210的视野角度可以为180度以上,以便拍摄物体150的全身动作。进一步来说,第二取像模块210的视野角度也可为270度或360度或720度。
数据库230可以是储存装置,例如内存或硬盘等。数据库230可以储存并提供多个训练样本,且这些训练样本可以包括关于物体150的关节的多个深度特征信息与多个彩色特征信息。在本实施例中,前述多个训练样本可以由用户预先进行设置。其中,训练样本的深度特征信息的设置方式可以参考图1A的实施例的说明,故在此不再赘述。
另外,用户可以在物体150或用户的周围环境设置多个摄影机的动作捕捉系统,并通过这些设置在周围环境的摄影机对物体150或用户进行肢体动作的拍摄,且通过运算模块220将上述摄影机所拍摄的多种视角的影像进行分析,以取得物体150或用户的三维骨架。同时地,用户也可以将动作追踪系统200装设在物体150或用户上,并通过第二取像模块210拍摄物体150或用户的全身动作,以取得全局影像。接着,运算模块220取得第二取像模块210所拍摄的全局影像,并将上述物体150或用户的三维骨架与全局影像进行关联,以计算出物体150或用户的关节的彩色特征。并且,运算模块220将每一动作对应的彩色特征信息作为不同的训练样本,并将上述训练样本储存于数据库230中。另外,上述训练样本中也包括有对应于物体150或用户的肢体未被遮蔽的影像的彩色特征信息以及对应于物体150或用户的部分肢体未被遮蔽及物体150或用户的另一部分肢体有被遮蔽的影像的彩色特征信息。
在本实施例中,当物体150或用户的肢体未被遮蔽时,表示物体150或用户的全身肢体都未被遮蔽。当物体150或用户的部分肢体未被遮蔽及另一部分肢体有被遮蔽时,表示物体150或用户的部分肢体有被其他肢体遮蔽。举例来说,物体150或用户的第一肢体(例如脚)被物体150或用户的第二肢体(例如手臂)遮蔽。或是,物体150或用户的第一肢体(例如身体躯干及脚)被物体150或用户的第二肢体(例如手臂)遮蔽。第一肢体与第二取像模块210之间的距离较第二肢体与第二取像模块210之间的距离远。
运算模块220耦接第一取像模块110、第二取像模块210与数据库230,接收第一取像模块110所取得的深度影像及第二取像模块210所取得的全局影像。在本实施例中,运算模块220可为处理器或微控制器等。另外,运算模块220也例如是一芯片、一电路、一电路板或储存数组程序代码的记录媒体。接着,运算模块220依据深度影像、全局影像与数据库230的训练样本的深度特征信息与彩色特征信息,对深度影像进行相关联及预测运算,以得到物体150的多个第一关节位置及多个第二关节位置。上述深度影像包括物体150的肢体未被遮蔽的影像或是物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像。上述全局影像包括物体150的肢体未被遮蔽的影像或是物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像。
在本实施例中,运算模块220例如通过深层类神经网络或人工智能的处理方式,将深度影像与训练样本的深度特征信息及全局影像与训练样本的彩色特征信息进行相关联运算及预测,确定深度影像及全局影像中对应上述物体150的关节位置,以得到物体150的多个第一关节位置及多个第二关节位置。其中,前述深层类神经网络例如为ResNet或是其他类似的类神经网络。
举例来说,当深度影像包括物体150的肢体未被遮蔽的影像时,运算模块220可以由数据库230中取得对应此深度影像(即物体150的肢体未被遮蔽的影像)的深度特征信息,亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且,这些深度特征信息包括有对应于物体150的全身肢体未被遮蔽时的物体150的全身肢体的相关信息。接着,运算模块220将深度特征信息与深度影像进行相关联运算及预测,确定出深度影像中的物体150的关节位置,以得到物体150的多个第一关节位置。
当深度影像包括物体150的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像时,运算模块220可以由数据库230中取得对应此深度影像(即物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽)的深度特征信息,亦即与此深度影像的相似度最接近的训练样本的深度特征信息。并且,这些深度特征信息包括有对应于物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽时的物体150的全身肢体的相关信息。接着,运算模块220依据深度特征信息中所记录的关节位置对深度影像进行相关联运算及预测,来确定深度影像中的物体150的关节位置,以得到物体150的多个第一关节位置。
另外,当全局影像包括物体150的肢体未被遮蔽的影像时,运算模块220可以由数据库230中取得对应此全局影像(即物体150的肢体未被遮蔽的影像)的彩色特征信息,亦即与此全局影像的相似度最接近的训练样本的彩色特征信息。并且,这些彩色特征信息包括有对应于物体150的全身肢体未被遮蔽时的物体150的全身肢体的相关信息。接着,运算模块220将彩色特征信息与全局影像进行相关联运算及预测,确定出全局影像中的物体150的关节位置,以得到物体150的多个第二关节位置。
当彩色影像包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体有被遮蔽的影像时,运算模块220可以由数据库230中取得对应此全局影像(即物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽的影像)的彩色特征信息,亦即与此全局影像的相似度最接近的训练样本的彩色特征信息。并且,这些彩色特征信息包括有对应于物体150的部分肢体未被遮蔽及物体150的另一部分肢体有遮蔽时的物体150的全身肢体的相关信息。接着,运算模块220依据彩色特征信息中所记录的关节位置进行对全局影像进行相关联运算及预测,来确定全局影像中的物体150的关节位置,以得到物体150的多个第二关节位置。
接着,运算模块220将上述第一关节位置与第二关节位置投影到三维空间,且对第一关节位置与第二关节位置进行整合运算,以产生对应的物体150的三维骨架。
举例来说,运算模块220可依据深度影像与全局影像,设定权重比例。也就是说,运算模块220可依据深度影像与全局影像的预测节点位置机率(probability)的高低,设定权重比例。在本实施例中,深度影像与全局影像所对应的权重的总和例如为1。举例来说,一般情况下,运算模块220会将深度影像与全局影像所对应的权重分别设置为0.5。
另外,若是第二取像模块210可能会受到光线或颜色的干扰,使得全局影像的预测机率下降,则运算模块220会调降全局影像所对应的权重,例如调整为0.3,且运算模块220会对应调升深度影像所对应的权重,例如调整为0.7。
此外,若是全局影像受到干扰导致全局影像的预测机率已到达无法辨识时,则运算模块220会将全局影像所对应的权重调降至0,且运算模块220会对应将深度影像所对应的权重调升至1。也就是说,动作追踪系统200会以深度影像为主来产生物体150的三维骨架,以避免造成物体150的三维骨架的准确度下降。
接着,运算模块220会依据上述权重比例,将第一关节位置与第二关节位置进行整合运算,以产生物体150的三维骨架,如图1B所示的“圆点加连接线”。
举例来说,运算模块220可以根据公式(1)将第一关节位置与第二关节位置进行迭代更新操作,并根据公式(2)将相同部位的关节位置进行群聚,再将已对应人体150的三维骨架的关节位置进行连接,以产生物体150的三维骨架。并且,公式(1)和(2)分别如下所示:
其中,为对应人体150的三维骨架的关节位置,/>为对应深度影像的第一关节位置,/>为对应全局影像的第二关节位置,/>为权重比例。其中,通过设定公式(2)的限制角度值θ,运算模块220可以有效地将限制角度值θ的范围内的相同部位的指定关节位置/>进行群聚,以避免纳入将其他部位而使得所产生的物体150的三维骨架的准确度产生下降或失真的问题。
在本实施例中,动作追踪系统200更包括头戴式装置240。并且,第一取像模块110、第二取像模块210与运算模块220可以设置在头戴式装置240上,如图2B所示。如此,可以将头戴式装置240装设于物体150上,以便对物体150的肢体动作进行侦测,进而有效地产生物体150的三维骨架。
在一实施例中,第一取像模块110与第二取像模块210可设置在头戴式装置240的壳体内,以对物体150的全身动作进行拍摄,且运算模块220与数据库230可设置在头戴式装置240的壳体内,以对第一取像模块110及第二取像模块210所取得的影像进行运算。
在另一实施例中,第一取像模块110与第二取像模块210可设置在头戴式装置240的壳体外,以对物体150进行拍摄,进而取得对应物体150的全身动作的深度影像及全局影像。进一步来说,第一取像模块110与第二取像模块210可以设置在头戴式装置240的壳体外的下方、中央或上方等。
在本实施例中,将头戴式装置240穿戴于物体150的头部时,第一取像模块110与第二取像模块210由上往下的视野角度(Top-down View),使得远离第一取像模块110与第二取像模块210的物体150的肢体(例如物体150的下肢部位)容易被物体150的手臂遮挡住而无法辨识(arm-leg self-occlusions)。由于在运算模块220的数据库230内已储存物体150的肢体被遮蔽所对应的三维骨架,因此运算模块220不会受到影像中的物体150的肢体有被遮蔽的影响。
当深度影像及全局影像同时包括物体150的部分肢体未被遮蔽及物体150的另一部分肢体被遮蔽的影像时,运算模块220仍可通过数据库230内的深度特征信息与彩色特征信息,预测受到遮蔽的物体150的肢体的关节位置,使得运算模块220可精确地产生三维骨架。也就是说,在头戴式装置240的视角频繁发生手臂遮挡住身体躯干或下肢部位的情况,运算模块220仍可预测身体区干和下肢部位的关节位置,精确地产生三维骨架。
另外,在本实施例中,运算模块220可以头戴式装置240(即动作追踪系统200)为原点,依据第一取像模块110所取得的深度影像与第二取像模块210所取得的全局影像,计算物体150的肢体到头戴式装置240的相对位置和方向及物体150的肢体的运动方向与加速度,以投影物体150对应的虚拟肢体影像至虚拟环境中。其中,虚拟环境所呈现的虚拟肢体(即三维骨架)与物体150的真实动作一致。
此外,由于第一取像模块110与第二取像模块210的视野角度可为180或360度,使得物体150的肢体距离头戴式装置240的距离太近,第一取像模块110与第二取像模块210仍可从头戴式装置240拍摄到物体150的全身动作。并且,随着物体150与头戴式装置240移动,环境背景也不断改变,通过第一取像模块110与第二取像模块210取得对应物体150的深度影像与全局影像,可以有效地分辨物体150的动作和环境背景,使得动作追踪系统200可精确地产生的三维骨架,而不会受到环境背景的改变的影响。
另外,通过第一取像模块110与第二取像模块210取得对应物体150的深度影像与全局影像,也可以有效地识别物体150的肢体(如脚踝、脚掌),使得动作追踪系统200可精确地产生包含脚踝、脚掌的三维骨架。其中,脚踝、脚掌距离头戴式装置240较远。
进一步来说,动作追踪系统200可以包括测量模块250。在本实施例中,测量模块250可以是惯性测量单元(inertial measurement unit,IMU)。测量模块250连接运算模块220,测量并计算物体150的头部的位置、移动方向及移动速度,以产生头部姿态。接着,运算模块220更依据头部姿态,将头部姿态、第一关节位置与第二关节位置相关联,并将第一关节位置、第二关节位置与头部姿态投影到三维空间,以产生物体的三维骨架。也就是说,运算模块220所产生的三维骨架包括有物体150的肢体(例如手、脚等),也包括物体150的头部。另外,测量模块250可设置在头戴式装置240的壳体内。
通过上述实施例的说明,可以归纳出一种动作追踪方法。图3为依据本发明的一实施例的动作追踪方法的流程图。
在步骤S302中,拍摄物体的全身动作,以取得深度影像。在步骤S304中,提供多个训练样本,其中训练样本包括关于物体的关节的多个深度特征信息。在步骤S306中,接收深度影像。在步骤S308中,依据深度影像与训练样本的深度特征信息,对深度影像进行相关联运算及预测,以得到物体的多个第一关节位置,其中深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。
在步骤S310中,将第一关节位置投影到三维空间。在步骤S312中,产生物体的三维骨架。在本实施例中,步骤S302是通过深度摄影机进行,且此深度摄影机也可以为广角的深度摄影机。
图4A与图4B为依据本发明的另一实施例的动作追踪方法的流程图。在步骤S402中,拍摄物体的全身动作,以取得深度影像。在步骤S404中,拍摄物体的全身动作,以产生全局影像。在步骤S406中,提供多个训练样本,其中训练样本包括关于物体的关节的多个深度特征信息与多个彩色特征信息。
在步骤S408中,接收深度影像。在步骤S410中,依据深度影像与训练样本的深度特征信息,对深度影像进行相关联运算及预测,以得到物体的多个第一关节位置,其中深度影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。在步骤S412中,将第一关节位置投影到三维空间。
在步骤S414中,接收全局影像。在步骤S416中,依据全局影像与训练样本的彩色特征信息,对全局影像进行相关联运算及预测,以得到物体的多个第二关节位置,其中全局影像包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像。在步骤S418中,将第二关节位置投影到三维空间。
在步骤S420中,对第一关节位置与第二关节位置进行整合运算。在步骤S422中,产生物体的三维骨架。在本实施例中,步骤S404是通过彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机,且彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机的视野角度为180度以上。另外,步骤S402是通过深度摄影机,且此深度摄影机也可以为广角的深度摄影机。
图5为图4B的步骤S420的详细流程图。在步骤S502,依据深度影像与全局影像,设定权重比例。在步骤S504中,依据权重比例,对第一关节位置与第二关节位置进行整合运算。
图6为依据本发明的另一实施例的动作追踪方法的流程图。本实施例的步骤S302~步骤S310与图3相同,可参考图3的实施例的说明,故在此不再赘述。在步骤S602中,测量并计算物体的头部的位置、移动方向及移动速度,以产生头部姿态。在步骤S604中,依据头部姿态,将头部姿态与第一关节位置相关联,并将头部姿态投影到三维空间。在步骤S312中,产生物体的三维骨架。
值得注意的是,图3、图4A、图4B、图5及图6的步骤的顺序仅用以作为说明的目的,不用于限制本发明实施例的步骤的顺序,且上述步骤的顺序可由用户视其需求而改变。并且,在不脱离本发明的精神以及范围内,上述流程图可增加额外的步骤或者使用更少的步骤。
综上所述,本发明所揭露的动作追踪方法及方法,通过第一取像模块拍摄物体的全身动作,以取得深度影像,且依据深度影像与训练样本的深度特征信息,对深度影像(包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像)进行相关联运算及预测,以得到物体的多个第一关节位置,并将第一关节位置投影到三维空间,以产生物体的三维骨架。如此一来,可准确地获得物体的三维骨架,以便对物体的全身动作进行追踪,并增加使用上的便利性。
另外,本发明还通过第二取像模块拍摄物体的全身动作,以取得全局影像,且更依据全局影像与训练样本的彩色特征信息,对全局影像(包括物体的肢体未被遮蔽的影像或是物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像)进行相关联运算及预测,以得到物体的多个第二关节位置,并将第二关节位置投影到三维空间,再将第一关节位置与第二关节位置进行整合运算,以产生物体的三维骨架。如此一来,还可以增加所获得的物体的三维骨架的精细度,以便对物体的全身动作进行更有效的追踪。
本发明虽以实施例揭露如上,然其并非用以限定本发明的范围,任何本领域技术人员,在不脱离本发明的精神和范围内,当可做些许的更动与润饰,因此本发明的保护范围应以权利要求书所界定为准。
Claims (18)
1.一种动作追踪系统,包括:
第一取像模块,拍摄物体的全身动作,以取得深度影像;
数据库,提供多个训练样本,且这些训练样本包括关于该物体的关节的多个深度特征信息;
运算模块,接收该深度影像,并依据该深度影像与该数据库的这些训练样本的这些深度特征信息,对该深度影像进行相关联运算及预测,以得到该物体的多个第一关节位置,并将这些第一关节位置投影到三维空间,以产生该物体的三维骨架,其中该深度影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像,所述训练样本包括对应于该物体的肢体未被遮蔽的影像的深度特征信息或者对应于该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像的深度特征信息;以及
头戴式装置,其中该第一取像模块与该运算模块设置在该头戴式装置上,该头戴式装置用于穿戴于该物体的头部,使得该第一取像模块以由上往下的视野角度对该物体自身进行拍摄;
当所述深度影像为该物体的肢体未被遮蔽的影像时,该运算模块获取与该深度影像对应的训练样本的深度特征信息,根据获取的深度特征信息对该深度影像进行相关联运算及预测,其中,获取的深度特征信息包括对应于物体未被遮蔽时的全身肢体的相关信息;
当所述深度影像为该物体的部分肢体未被遮蔽以及该物体的另一部分肢体有遮蔽的影像时,运算模块获取与该深度影像对应的训练样本的深度特征信息,根据获取的深度特征信息对该深度影像进行相关联运算及预测,其中,获取的深度特征信息包括对应于物体的部分肢体未被遮蔽及另一部分肢体有遮蔽时的全身肢体的相关信息。
2.如权利要求1所述的动作追踪系统,更包括:
第二取像模块,拍摄该物体的全身动作,以产生全局影像;
其中,这些训练样本更包括关于该物体的关节的多个彩色特征信息;
其中,该运算模块更接收该全局影像,并依据该全局影像与该数据库的这些训练样本的这些彩色特征信息,对该全局影像进行相关联运算及预测以得到该物体的多个第二关节位置,并将这些第二关节位置投影到该三维空间,且将这些第一关节位置与这些第二关节位置进行整合运算,以产生该物体的三维骨架,其中该全局影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像。
3.如权利要求2所述的动作追踪系统,其中该运算模块更依据该深度影像与该全局影像,设定权重比例,并依据该权重比例,对这些第一关节位置与这些第二关节位置进行整合运算,以产生该物体的三维骨架。
4.如权利要求2所述的动作追踪系统,其中该第二取像模块为彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机。
5.如权利要求2所述的动作追踪系统,其中该第二取像模块设置在该头戴式装置上。
6.如权利要求2所述的动作追踪系统,其中该第二取像模块的视野角度为180度以上。
7.如权利要求1所述的动作追踪系统,其中该第一取像模块为深度摄影机。
8.如权利要求1所述的动作追踪系统,其中该运算模块以该头戴式装置为原点,依据该深度影像,计算该物体的肢体到该头戴式装置的相对位置和方向及该物体的肢体的运动方向与加速度,以投影该物体对应的虚拟肢体影像至虚拟环境中。
9.如权利要求1所述的动作追踪系统,更包括:
测量模块,连接运算模块,测量并计算该物体的头部的位置、移动方向及移动速度,以产生头部姿态;
其中,运算模块更依据该头部姿态,将该头部姿态与这些第一关节位置相关联,并将这些第一关节位置与该头部姿态投影到该三维空间,以产生该物体的三维骨架。
10.如权利要求1所述的动作追踪系统,其中该物体的三维骨架包括该物体的手指骨架。
11.一种动作追踪方法,包括:
通过第一取像模块,拍摄物体的全身动作,以取得深度影像;
提供多个训练样本,其中这些训练样本包括关于该物体的关节的多个深度特征信息,所述训练样本包括对应于物体的肢体未被遮蔽的影像的深度特征信息或者对应于物体的部分肢体未被遮蔽及物体的另一部分肢体有被遮蔽的影像的深度特征信息;
通过运算模块,接收该深度影像;
该运算模块依据该深度影像与这些训练样本的这些深度特征信息,对该深度影像进行相关联运算及预测,以得到该物体的多个第一关节位置,其中该深度影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像;
该运算模块将这些第一关节位置投影到三维空间;以及
该运算模块产生该物体的三维骨架;
其中,该第一取像模块与该运算模块设置在头戴式装置上,该头戴式装置穿戴于该物体的头部,且该第一取像模块以由上往下的视野角度对该物体自身进行拍摄;
其中,所述该运算模块依据该深度影像与这些训练样本的这些深度特征信息,对该深度影像进行相关联运算及预测包括:
当所述深度影像为该物体的肢体未被遮蔽的影像时,运算模块获取与该深度影像对应的训练样本的深度特征信息,根据获取的深度特征信息对该深度影像进行相关联运算及预测,其中,获取的深度特征信息包括对应于物体未被遮蔽时的全身肢体的相关信息;
当所述深度影像为该物体的部分肢体未被遮蔽以及该物体的另一部分肢体有遮蔽的影像时,运算模块获取与该深度影像对应的训练样本的深度特征信息,根据获取的深度特征信息对该深度影像进行相关联运算及预测,其中,获取的深度特征信息包括对应于物体的部分肢体未被遮蔽及另一部分肢体有遮蔽时的全身肢体的相关信息。
12.如权利要求11所述的动作追踪方法,其中这些训练样本更包括关于该物体的关节的多个彩色特征信息,该动作追踪方法更包括:
拍摄该物体的全身动作,以产生全局影像;
接收该全局影像;
依据该全局影像与这些训练样本的这些彩色特征信息,对该全局影像进行相关联运算及预测,以得到该物体的多个第二关节位置,其中该全局影像包括该物体的肢体未被遮蔽的影像或是该物体的部分肢体未被遮蔽及该物体的另一部分肢体有被遮蔽的影像;
将这些第二关节位置投影到该三维空间;以及
对这些第一关节位置与这些第二关节位置进行整合运算。
13.如权利要求12所述的动作追踪方法,其中对这些第一关节位置与这些第二关节位置进行整合的步骤包括:
依据该深度影像与该全局影像,设定权重比例;以及
依据该权重比例,对这些第一关节位置与这些第二关节位置进行整合运算。
14.如权利要求12所述的动作追踪方法,其中通过彩色鱼眼摄影机、单色鱼眼摄影机或红外线鱼眼摄影机,拍摄该物体的全身动作,以产生该全局影像。
15.如权利要求14所述的动作追踪方法,其中该彩色鱼眼摄影机、该单色鱼眼摄影机或该红外线鱼眼摄影机的视野角度为180度以上。
16.如权利要求11所述的动作追踪方法,其中通过深度摄影机,拍摄该物体的全身动作,以取得该深度影像。
17.如权利要求11所述的动作追踪方法,其中该物体的三维骨架包括该物体的手指骨架。
18.如权利要求11所述的动作追踪方法,更包括:
测量并计算该物体的头部的位置、移动方向及移动速度,以产生头部姿态;以及
依据该头部姿态,将该头部姿态与这些第一关节位置相关联,并将该头部姿态投影到该三维空间。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107146753A TWI715903B (zh) | 2018-12-24 | 2018-12-24 | 動作追蹤系統及方法 |
TW107146753 | 2018-12-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111353355A CN111353355A (zh) | 2020-06-30 |
CN111353355B true CN111353355B (zh) | 2023-09-19 |
Family
ID=71097712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811606826.7A Active CN111353355B (zh) | 2018-12-24 | 2018-12-26 | 动作追踪系统及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11164321B2 (zh) |
CN (1) | CN111353355B (zh) |
TW (1) | TWI715903B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11783492B2 (en) * | 2020-09-01 | 2023-10-10 | XRSpace CO., LTD. | Human body portion tracking method and human body portion tracking system |
CN111985359A (zh) * | 2020-08-04 | 2020-11-24 | 山东金东数字创意股份有限公司 | 基于人体骨骼运动捕捉的识别控制系统和方法 |
TWI781472B (zh) * | 2020-10-29 | 2022-10-21 | 李秉家 | 使用擴增實境的互動復健系統 |
CN112614214B (zh) * | 2020-12-18 | 2023-10-27 | 北京达佳互联信息技术有限公司 | 动作捕捉方法、装置、电子设备及存储介质 |
US20220319041A1 (en) * | 2021-03-31 | 2022-10-06 | Facebook Technologies, Llc | Egocentric pose estimation from human vision span |
CN113181619A (zh) * | 2021-04-09 | 2021-07-30 | 青岛小鸟看看科技有限公司 | 一种运动训练方法、装置和系统 |
TWI819403B (zh) * | 2021-11-04 | 2023-10-21 | 瑞昱半導體股份有限公司 | 影像資料擴增裝置及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200937350A (en) * | 2008-02-22 | 2009-09-01 | Univ Nat Cheng Kung | Three-dimensional finger motion analysis system and method |
CN101650776A (zh) * | 2008-08-12 | 2010-02-17 | 财团法人工业技术研究院 | 追踪人物肢体位置的方法与系统 |
TW201143866A (en) * | 2010-01-15 | 2011-12-16 | Microsoft Corp | Tracking groups of users in motion capture system |
CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
CN105678802A (zh) * | 2014-04-21 | 2016-06-15 | 杨祖立 | 辨识二维影像产生三维信息的方法 |
Family Cites Families (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6384819B1 (en) * | 1997-10-15 | 2002-05-07 | Electric Planet, Inc. | System and method for generating an animatable character |
US7003134B1 (en) * | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US7113918B1 (en) * | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
JP3530095B2 (ja) * | 2000-01-27 | 2004-05-24 | 株式会社スクウェア・エニックス | ビデオゲームにおける三次元オブジェクト変形方法及びビデオゲーム装置、並びにビデオゲーム用のプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
JP4355341B2 (ja) * | 2003-05-29 | 2009-10-28 | 本田技研工業株式会社 | 深度データを用いたビジュアルトラッキング |
WO2004111687A2 (en) * | 2003-06-12 | 2004-12-23 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
CN100517268C (zh) | 2004-04-20 | 2009-07-22 | 松下电器产业株式会社 | 非易失性存储系统、非易失性存储装置、存储控制器、存取装置以及非易失性存储装置的控制方法 |
US7317836B2 (en) * | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
US7728839B2 (en) * | 2005-10-28 | 2010-06-01 | Honda Motor Co., Ltd. | Discriminative motion modeling for human motion tracking |
US8023726B2 (en) * | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
US8351646B2 (en) * | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
WO2008130903A1 (en) * | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging for libraries of standardized medical imagery |
WO2008144843A1 (en) * | 2007-05-31 | 2008-12-04 | Depth Analysis Pty Ltd | Systems and methods for applying a 3d scan of a physical target object to a virtual environment |
US8005263B2 (en) * | 2007-10-26 | 2011-08-23 | Honda Motor Co., Ltd. | Hand sign recognition using label assignment |
US9189886B2 (en) * | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
US8659596B2 (en) * | 2008-11-24 | 2014-02-25 | Mixamo, Inc. | Real time generation of animation-ready 3D character models |
US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
KR101591779B1 (ko) * | 2009-03-17 | 2016-02-05 | 삼성전자주식회사 | 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법 |
US8503720B2 (en) * | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
KR101640039B1 (ko) * | 2009-09-22 | 2016-07-18 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8633890B2 (en) * | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US9646340B2 (en) * | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
EP2383696A1 (en) * | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
US20110292036A1 (en) * | 2010-05-31 | 2011-12-01 | Primesense Ltd. | Depth sensor with application interface |
US9358456B1 (en) * | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
US8797328B2 (en) * | 2010-07-23 | 2014-08-05 | Mixamo, Inc. | Automatic generation of 3D character animation from 3D meshes |
US8437506B2 (en) * | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US8576276B2 (en) * | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US9123316B2 (en) * | 2010-12-27 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive content creation |
US8571263B2 (en) * | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
US8786680B2 (en) * | 2011-06-21 | 2014-07-22 | Disney Enterprises, Inc. | Motion capture from body mounted cameras |
US20130097194A1 (en) * | 2011-08-05 | 2013-04-18 | New York University | Apparatus, method, and computer-accessible medium for displaying visual information |
US9002099B2 (en) * | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
KR101929451B1 (ko) * | 2012-02-03 | 2018-12-14 | 삼성전자주식회사 | 로봇의 제어 장치 및 방법 |
US10417575B2 (en) * | 2012-12-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Resource allocation for machine learning |
US20130266174A1 (en) * | 2012-04-06 | 2013-10-10 | Omek Interactive, Ltd. | System and method for enhanced object tracking |
US9183676B2 (en) * | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
US9041622B2 (en) * | 2012-06-12 | 2015-05-26 | Microsoft Technology Licensing, Llc | Controlling a virtual object with a real controller device |
US9373087B2 (en) * | 2012-10-25 | 2016-06-21 | Microsoft Technology Licensing, Llc | Decision tree training in machine learning |
JP2014090841A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 情報処理装置および情報処理方法、並びにプログラム |
JP6334925B2 (ja) * | 2013-01-18 | 2018-05-30 | キヤノンメディカルシステムズ株式会社 | 動作情報処理装置及び方法 |
WO2014112635A1 (ja) * | 2013-01-18 | 2014-07-24 | 株式会社東芝 | 動作情報処理装置 |
JP6433149B2 (ja) * | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
US9489639B2 (en) * | 2013-11-13 | 2016-11-08 | Microsoft Technology Licensing, Llc | Memory facilitation using directed acyclic graphs |
US20150139505A1 (en) * | 2013-11-18 | 2015-05-21 | Electronics And Telecommunications Research Institute | Method and apparatus for predicting human motion in virtual environment |
KR102026382B1 (ko) * | 2014-03-31 | 2019-09-30 | 한국전자통신연구원 | 모션 추정 시스템 및 방법 |
US11195318B2 (en) * | 2014-04-23 | 2021-12-07 | University Of Southern California | Rapid avatar capture and simulation using commodity depth sensors |
US10368784B2 (en) * | 2014-06-23 | 2019-08-06 | Microsoft Technology Licensing, Llc | Sensor data damping |
US10162177B2 (en) | 2014-07-11 | 2018-12-25 | Sixense Entertainment, Inc. | Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking |
US20160042227A1 (en) * | 2014-08-06 | 2016-02-11 | BAE Systems Information and Electronic Systems Integraton Inc. | System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis |
TWI530821B (zh) | 2014-09-25 | 2016-04-21 | 中強光電股份有限公司 | 頭戴式顯示系統及其操作方法 |
MA41117A (fr) * | 2014-12-05 | 2017-10-10 | Myfiziq Ltd | Imagerie d'un corps |
US10088971B2 (en) * | 2014-12-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
WO2016095057A1 (en) | 2014-12-19 | 2016-06-23 | Sulon Technologies Inc. | Peripheral tracking for an augmented reality head mounted device |
US10684485B2 (en) | 2015-03-06 | 2020-06-16 | Sony Interactive Entertainment Inc. | Tracking system for head mounted display |
DE102016110903A1 (de) * | 2015-06-14 | 2016-12-15 | Facense Ltd. | Head-Mounted-Devices zur Messung physiologischer Reaktionen |
US10210737B2 (en) * | 2015-06-23 | 2019-02-19 | Cleveland State University | Systems and methods for privacy-aware motion tracking with notification feedback |
US20160378176A1 (en) | 2015-06-24 | 2016-12-29 | Mediatek Inc. | Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display |
CN205015835U (zh) | 2015-08-03 | 2016-02-03 | 众景视界(北京)科技有限公司 | 头戴式智能交互系统 |
CN105068648A (zh) | 2015-08-03 | 2015-11-18 | 众景视界(北京)科技有限公司 | 头戴式智能交互系统 |
KR20240051334A (ko) | 2016-02-18 | 2024-04-19 | 애플 인크. | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 |
US20170316578A1 (en) * | 2016-04-29 | 2017-11-02 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method, System and Device for Direct Prediction of 3D Body Poses from Motion Compensated Sequence |
US10019629B2 (en) * | 2016-05-31 | 2018-07-10 | Microsoft Technology Licensing, Llc | Skeleton-based action detection using recurrent neural network |
WO2018069981A1 (ja) * | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
US10679046B1 (en) * | 2016-11-29 | 2020-06-09 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods of estimating body shape from images |
US10529137B1 (en) * | 2016-11-29 | 2020-01-07 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods for augmenting images |
JP6769859B2 (ja) * | 2016-12-19 | 2020-10-14 | 株式会社日立エルジーデータストレージ | 画像処理装置及び画像処理方法 |
US20180225858A1 (en) * | 2017-02-03 | 2018-08-09 | Sony Corporation | Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform |
US10657367B2 (en) * | 2017-04-04 | 2020-05-19 | Usens, Inc. | Methods and systems for hand tracking |
WO2018207365A1 (ja) * | 2017-05-12 | 2018-11-15 | 富士通株式会社 | 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム |
US10679404B2 (en) * | 2017-10-04 | 2020-06-09 | Google Llc | Shadows for inserted content |
WO2019116689A1 (ja) * | 2017-12-15 | 2019-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11016116B2 (en) * | 2018-01-11 | 2021-05-25 | Finch Technologies Ltd. | Correction of accumulated errors in inertial measurement units attached to a user |
US10296102B1 (en) * | 2018-01-31 | 2019-05-21 | Piccolo Labs Inc. | Gesture and motion recognition using skeleton tracking |
JP2019148865A (ja) * | 2018-02-26 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 |
KR102577472B1 (ko) * | 2018-03-20 | 2023-09-12 | 한국전자통신연구원 | 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치 |
US11009941B2 (en) * | 2018-07-25 | 2021-05-18 | Finch Technologies Ltd. | Calibration of measurement units in alignment with a skeleton model to control a computer system |
US10713850B2 (en) * | 2018-09-24 | 2020-07-14 | Sony Corporation | System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint |
US10573050B1 (en) * | 2018-11-20 | 2020-02-25 | Sony Corporation | Marker-based pose estimation |
US10796482B2 (en) * | 2018-12-05 | 2020-10-06 | Snap Inc. | 3D hand shape and pose estimation |
US10839586B1 (en) * | 2019-06-07 | 2020-11-17 | Snap Inc. | Single image-based real-time body animation |
-
2018
- 2018-12-24 TW TW107146753A patent/TWI715903B/zh active
- 2018-12-26 CN CN201811606826.7A patent/CN111353355B/zh active Active
-
2019
- 2019-04-10 US US16/380,904 patent/US11164321B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200937350A (en) * | 2008-02-22 | 2009-09-01 | Univ Nat Cheng Kung | Three-dimensional finger motion analysis system and method |
CN101650776A (zh) * | 2008-08-12 | 2010-02-17 | 财团法人工业技术研究院 | 追踪人物肢体位置的方法与系统 |
TW201143866A (en) * | 2010-01-15 | 2011-12-16 | Microsoft Corp | Tracking groups of users in motion capture system |
CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
CN105678802A (zh) * | 2014-04-21 | 2016-06-15 | 杨祖立 | 辨识二维影像产生三维信息的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111353355A (zh) | 2020-06-30 |
US20200202538A1 (en) | 2020-06-25 |
TW202024864A (zh) | 2020-07-01 |
TWI715903B (zh) | 2021-01-11 |
US11164321B2 (en) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353355B (zh) | 动作追踪系统及方法 | |
CN108615248B (zh) | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 | |
US12031838B2 (en) | System, methods, device and apparatuses for preforming simultaneous localization and mapping | |
US8786680B2 (en) | Motion capture from body mounted cameras | |
JP4007899B2 (ja) | 運動検出装置 | |
CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
KR20190026762A (ko) | 3d 공간에서의 포즈 추정 | |
CN106643699A (zh) | 一种虚拟现实系统中的空间定位装置和定位方法 | |
US10782780B2 (en) | Remote perception of depth and shape of objects and surfaces | |
CN109804220A (zh) | 用于跟踪头部和眼睛的运动和姿势的系统和方法 | |
WO2018134686A2 (en) | Systems, methods, device and apparatuses for performing simultaneous localization and mapping | |
US10838515B1 (en) | Tracking using controller cameras | |
JP2008176509A (ja) | 情報処理装置および方法 | |
CN111899276A (zh) | 一种基于双目事件相机的slam方法及系统 | |
WO2019156990A1 (en) | Remote perception of depth and shape of objects and surfaces | |
CN112087728B (zh) | 获取Wi-Fi指纹空间分布的方法、装置和电子设备 | |
WO2020149149A1 (en) | Information processing apparatus, information processing method, and program | |
CN112712545A (zh) | 人体部分跟踪方法和人体部分跟踪系统 | |
JP2017227687A (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 | |
CN112215928A (zh) | 基于视觉图像的动作捕捉方法及数字动画制作方法 | |
WO2023157499A1 (ja) | 情報処理装置およびデバイス位置推定方法 | |
CN114422736B (zh) | 一种视频处理方法、电子设备及计算机存储介质 | |
Chen et al. | A real-time photogrammetric system for acquisition and monitoring of three-dimensional human body kinematics | |
JP7321459B2 (ja) | 携帯端末、操作方法、及びプログラム | |
Plopski et al. | Tracking systems: Calibration, hardware, and peripherals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |