CN104658012A - 一种基于惯性与光学测量融合的运动捕捉方法 - Google Patents

一种基于惯性与光学测量融合的运动捕捉方法 Download PDF

Info

Publication number
CN104658012A
CN104658012A CN201510097211.6A CN201510097211A CN104658012A CN 104658012 A CN104658012 A CN 104658012A CN 201510097211 A CN201510097211 A CN 201510097211A CN 104658012 A CN104658012 A CN 104658012A
Authority
CN
China
Prior art keywords
captured
optical measurement
model
attitude
measurement unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510097211.6A
Other languages
English (en)
Other versions
CN104658012B (zh
Inventor
费允锋
田庆龙
宋银灏
孙广毅
李吉
许林
张瑒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Engineering Design Inst Artillery Arms No2
Nankai University
Original Assignee
Engineering Design Inst Artillery Arms No2
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Engineering Design Inst Artillery Arms No2, Nankai University filed Critical Engineering Design Inst Artillery Arms No2
Priority to CN201510097211.6A priority Critical patent/CN104658012B/zh
Publication of CN104658012A publication Critical patent/CN104658012A/zh
Application granted granted Critical
Publication of CN104658012B publication Critical patent/CN104658012B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明公开了一种基于惯性与光学测量融合的运动捕捉方法,涉及传感器技术与计算机视觉领域,特别涉及捕捉和分析一个或多个对象的运动过程。本发明将惯性测量技术与光学捕捉技术结合起来。惯性测量技术的特点是不易受外界环境影响,但测量过程中存在误差累积、数据漂移、动态跟踪性能较差等问题;光学动作捕捉精度高,但容易受到环境如光照、颜色等的限制,以及受遮挡干扰。本发明集成惯性测量技术和光学捕捉技术的优点,实现成本低、精度高、误差小、不易受环境影响、不受遮挡干扰的动作捕捉系统及捕捉方法。

Description

一种基于惯性与光学测量融合的运动捕捉方法
技术领域
本发明属于传感器技术与计算机视觉领域,特别涉及一种基于多传感器融合的高精度动作捕捉方法。
背景技术
运动捕捉技术指的是采用特定技术手段真实地还原出运动对象的姿态、位置和轨迹。该技术广泛地应用于军事仿真、医疗康复、虚拟现实、人机工程、影视动画、游戏等领域,例如:
[1]Bruderlin et al.,Motion signal processing,Proceedings of SIGGRAPH 95,pp.105-108,1995;
[2]Gleicher,Retargetting motion to new characters,Proceedings of SIGGRAPH 98,PP.33-42,1998;
[3]Kovar et al.,Motion graphs,ACM Transactions on Graphics 21,3,pp.4763-482,2002,Arkanet al.,Motion synthesis from annotations,pp.402-408,2003.
经过几十年的发展,动作捕捉技术日臻成熟,已经从基于单一的视觉图像捕捉发展为可以基于机械、声学、电磁、惯性等多种手段进行测量获取,例如:
[4]Meyer et al.,A survey of position-trackers,presence 1,2,pp.173-200,1992;
[5]Hightower et a.,Location systems for ubiquitous computing,IEEE Computer 34,8,pp.57-66,2001;
[6]Welch et al.,Motion tracking:No silver bullet,but a respectable arsenal,IEEE ComputerGraphics and Applications,special issue on Tracking 22,6,pp.24-38,2002.
目前,主流的动作捕捉手段使用视觉图像、机械关节角度测量、惯性传感等技术来实现对人体肢体在三维空间中的定位、运动轨迹测量和跟踪。基于视觉图像的位姿测量技术,如VICON光学运动捕捉系统和微软的Kinect系统,通过一定数量的摄像机来捕捉人体的动作,精度较高,不过它的缺点是使用者的运动空间被限制在摄像机的视觉范围内,同时容易受到外界光照干扰,更重要的是当发生遮挡时,将无法完成捕捉。基于关节角度测量的技术一般将编码器穿戴在人的各个关节处,通过码盘获得人体各个关节的角度,然后构建出人体姿势,它结构简单、不受环境影响,但由于信息量少,只有关节角度信息,无法重建出人体动态信息。基于惯性传感器的人体运动捕捉技术主要是采集人体各肢体的加速度和角加速度信息,通过捷联惯导原理来解算人体姿态。相对于视觉捕捉和关节角度测量技术,惯性测量技术没有使用空间的限制,但是惯性测量对高动态响应较差,数据采集精度随时间推移下降,易受外界环境磁场影响,最致命的缺陷是误差累积和数据漂移(drift),无法长时间使用。目前还没有一种能够实时在线进行高精度自标定与校准的运动捕捉方法与系统,少数对运动捕捉误差修正的方法都仅仅是基于理论或者通过存储运动数据后进行离线修正,例如:
[7]Damgrave et al.,2009:The Drift of the Xsens Moven Motion Capturing Suit during CommonMovement in a Working Environment,Proceeding of the 19th CIRP Design ConferenceCompetitive Desgin,30-31March,pp 338;
[8]Sun et al.,2010:Adaptive Sensor Data Fusion in Motion Capture,Proceedings of the 13thInternational Conference on Information Fusion,26-29July;
[9]Zhou,H.et H.Hu,2010:Reducing Drifts in the Inertial Measurements of Wrist and ElbowPositions,IEEE Transactions on Instrumentation and Measurement,Vol.59,No.3,March 2010.
总之,目前的运动捕捉方法或者无法实现精确捕捉,或者实现起来对普通非专业用户而言过于复杂,或者无法实现运动的实时捕捉。更为严重的是,目前的运动捕捉系统无法在捕捉过程中进行自标定和校准,例如捕捉中发生的误差累积和漂移随着连续使用时间的增加而增加。
目前国际上有少数报导将单个惯性测量单元IMU与RGB摄像机得到的二维图像进行匹配来估计运动物体的姿态,然而这些方法都仅仅是针对特定使用环境下特定应用的一个具体实例,并没有形成系统完整的方法。
发明内容
本发明目的是针对现有基于单一类型传感器实现的运动捕捉技术中存在的不足,提出一种基于惯性测量与光学测量融合的动作捕捉方法。该方法利用惯性测量对捕捉对象在空间中的姿态进行估计,同时利用光学测量技术获得捕捉对象的三维表面轮廓信息;然后将惯性估计的姿态与光学测量的三维表面轮廓信息根据特定目标函数进行数据融合,最终得到捕捉对象运动的精确还原。该方法同时具有惯性测量与光学测量的优点,同时有效地克服了各自的缺点。具体地,本发明通过融合光学测量,有效地解决了惯性测量单元(IMU)固有的误差累积、数据漂移、动态跟踪性能较差等问题;有效地解决了光学测量易受环境(如光照、颜色等)和遮挡干扰的诸多限制;可以对传感单元从数量和类型上进行扩充;可以对一个或多个对象同时进行捕捉;可以实现实时数据采集、传输、处理、误差校正。
本发明提出的基于惯性与光学测量融合的运动捕捉方法,将惯性测量运动捕捉与光学测量运动捕捉得到的数据进行融合,包括:
惯性测量单元:用于估计被捕捉对象的空间姿态信息;
光学测量单元:用于获取被捕捉对象的三维几何信息;
数据融合单元:根据预先指定的融合目标函数,将空间姿态信息与三维几何信息进行融合,得到符合目标函数的最优运动估计。
本发明方法通过以下具体步骤实现:
第1、建立被捕捉对象的骨架模型S,用以表示该模型的运动姿态;
第2、建立被捕捉对象的表面轮廓3D模型M;
第3、将惯性测量单元固定在被捕捉对象上;
第4、将光学测量单元进行标定并安装到被捕捉对象所处的环境中,使光学测量单元能够直接或间接观测到被捕捉对象;
第5、建立惯性-光学融合目标函数;
第6、捕捉过程中,采用多传感器融合算法对惯性测量数据和光学测量数据进行融合,使目标函数得到最优解;
第7、对估计的运动姿态进评估,选取与目标函数最优结果最为接近的姿态作为每一时刻的最优捕捉运动姿态。
其中,第1步所述骨架模型的建立基于被捕捉对象的外形与自身运动方式;骨架模型为层级式刚性连杆结构。
第2步所述建立被捕捉对象的表面轮廓三维模型,采用点云、多边形网格或面片的模型或体素(voxel)的模型表示方法;采用计算机辅助设计(CAD)或3D扫描手段生成表面轮廓模型。
第3步所述将惯性测量单元固定在被捕捉对象上,是将惯性测量单元固定在被捕捉对象上独立可动的部分,当被捕捉对象含有多个独立可动部分时,惯性测量单元将安装在每一个可动部分上。
第4步所述光学测量单元可以是一个也可以是多个,当使用多个光学测量单元时,光学测量单元之间的工作模式或者为并行式,或者为分频式;并行式工作模型指的是所有光学测量单元同时采集数据;而分频式工作模式指的是光学测量单元之间以预先设定的频率进行切换,在每一时刻只有一个光学测量单元进行数据采集。
第5步所述建立惯性-光学融合目标函数包括:以空间绝对位置精度为优化目标和以姿态角精度为优化目标。
第6步和第7步都是实时进行的,运动捕捉过程中的每一时刻t都要对惯性测量数据和光学测量数据执行融合操作以及运动姿态的评估;第6步所述采用多传感器融合算法对惯性测量数据和光学测量数据进行融合的具体过程为:
第6.1、采用惯性测量得到被捕捉对象空间姿态的粗略估计,并将测量结果应用到第1步所建立的骨骼模型S上,形成当前时刻t的惯性姿态估计θ0
第6.2、将惯性姿态估计θ0与第2步所建立的表面轮廓3D模型M绑定,驱动M模型变形M(θ0),并进行可见性判断,得到可见部分模型
第6.3、采用光学测量采集被捕捉对象的二维或三维图像信息,并根据采集的图像信息重建出被捕捉对象整体或者部分的三维轮廓M0,三维轮廓M0是点云或者多边形网格;
第6.4、用MV0)以及M0对姿态进行优化,得到优化后的姿态θ;
第6.5、用优化后姿态θ驱动3D模型生成M(θ),并用于最终3D显示。
本发明的优点和有益效果:
本发明提出的方法与单纯依靠惯性测量实现的运动捕捉相比,有效地摆脱了惯性测量误差累积、数据漂移、动态跟踪性能较差等问题。本发明与单纯依靠光学测量实现的运动捕捉相比,有效地解决了遮挡和使用环境受限等问题。此外,本发明与简单将RGB二维图像与IMU进行匹配的运动捕捉相比,首次将深度摄像机(z-camera)加入进来,使光学测量得到的数据信息拓展到三维,极大地增加了有效数据信息量与融合效率,进一步对光学测量部分进行了完整系统的归纳总结与拓展,首次形成一种具有一般性、普适性和通用性的多类型传感器融合方法。
本发明在军事仿真、人机工程、医疗、虚拟现实、影视动画、视频游戏等领域都有着重要的实用价值和良好的应用前景。
附图说明
图1为惯性测量与光学测量融合方法示意图;
图2为捕捉对象骨骼模型的建立;G1是骨骼模型建立第一步刚体划分、G2骨骼模型建立第二步关节点确定、G3是骨骼模型建立第三步关节点连接、G4是骼模型建立第四步骨骼最终建立;
图3为捕捉对象表面3D轮廓模型的建立;
图4为惯性测量单元的安装;
图5为光学测量单元的安装;
图6为惯性测量与光学测量融合算法流程图;
图7为惯性测量与光学测量融合过程图;
图8为光学测量遮挡情况示意图;
图9为麦夸特迭代算法流程图。
图10为捕捉实验对比结果,其中(a)为单一光学测量的错误捕捉结果,(b)为捕捉对象真实动作,(c)为融合了光学与惯性测量的正确捕捉结果
其中,200为捕捉对,201为惯性测量单元,202为光学测量单元,203为数据发送传输接收单元,204为中央主机,205为数据处理单元,206为三维显示单元,207为惯性测量结果,208为光学测量结果,209为融合后结果,210为惯性测量Sink节点,211为惯性与光学融合方法,212为关节点,213为骨架,214为点云表示模型,215为多边形表示模型,216为体素(voxel)表示模型,217为惯性测量单元局部坐标系,218为骨架各部位局部坐标系,219为坐标系变换关系,230为结构分割后的捕捉对象表示,240为有效点云数据。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面结合附图提供的具体实施例旨在作为本发明示例的描述。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提出的基于惯性与光学测量融合的运动捕捉方法,其特征在于该方法将惯性测量运动捕捉与光学测量运动捕捉得到的数据进行融合。附图1示出了本发明实施例提供的惯性测量与光学测量融合方法示意图,具体包括:
惯性测量单元201:用于估计被捕捉对象的空间姿态信息,包括加速度计、陀螺仪和地磁计;
光学测量单元202:用于获取被捕捉对象的三维几何信息,包括一个或多个RGB-D摄像测量单元;
数据融合单元205:即数据处理模块,用于根据预先指定的融合目标函数,将空间姿态信息与三维几何信息进行融合,得到符合目标函数的最优运动估计。
除以上三个核心关键单元外,该方法还包括数据发送/传输/接收单元203、一台中央主机204、三维显示模块206。
其中,惯性测量单元IMU部署在捕捉对象200上,为提高传感器的穿戴性和舒适性,本发明采用无线传感器网络技术将各个节点组成一个无线体域网系统。
惯性测量单元201用于估计被捕捉对象200的空间姿态信息,光学测量单元201用于获取被捕捉对象的三维几何信息(表面轮廓);数据处理模块205根据预先指定的融合目标函数,将空间姿态信息与三维几何信息进行融合,得到符合目标函数的最优运动估计。
本实施例具体步骤为:
第1、建立被捕捉对象的骨架模型S,用以表示该模型的运动姿态;
第2、建立被捕捉对象的表面轮廓3D模型M;
第3、将惯性测量单元固定在被捕捉对象上;
第4、将光学测量单元进行标定并安装到被捕捉对象所处的环境中,使光学测量单元能够直接或间接观测到被捕捉对象;
第5、建立惯性-光学融合目标函数;
第6、捕捉过程中,采用多传感器融合算法对惯性测量数据和光学测量数据进行融合,使目标函数得到最优解;
第7、对估计的运动姿态进评估,选取与目标函数最优结果最为接近的姿态作为每一时刻的最优捕捉运动姿态。
附图2示出了如何建立捕捉对象的骨架模型S:被捕捉对象的骨架模型需要能够表示捕捉对象的运动姿态,例如人体的骨架运动表示人体的运动姿态。骨架模型的建立基于被捕捉对象的外形与自身运动方式。本发明实施例提供一种通过的骨架提取法,具体步骤为:
步骤G1:将捕捉对象按照独立可动部分进行结构分割230,每个独立可动部分认为是刚体;
步骤G2:确定捕捉对象的关节点212,包括中间节点和末端节点。其中,中间节点与分割后的两个相邻可动部分相关,且位于两个可动部分的连接交界处;末端节点只与一个可动部分相关,且位于该可动部分末端;
步骤G3:将所有关节点212按照捕捉对象的运动方式进行连线,并为每个关节点指定一个局部欧拉坐标系;
步骤G4:最后,所有关节点之间的线段几何构成了捕捉对象的骨架模型213,骨架模型的姿态改变是通过更新各个关节点212的旋转矩阵实现的。
图3示除了建立被捕捉对象的表面轮廓3D模型M:被捕捉对象的表面轮廓3D模型采用点云214、多边形网格/面片的模型215或体素(voxel)的模型表示方法216;本发明示例提供的实现手段包括基于捕捉对象实际几何参数的计算机辅助设计(CAD)或基于三维实体扫描及表面重建技术。
图4示出了如何将惯性测量传感器固定在被捕捉对象上:按照捕捉对象建立的骨骼模型结构,惯性测量单元被固定在被捕捉对象上独立可动的部分,当被捕捉对象含有多个独立可动部分时,惯性测量单元将安装在每一个需要捕捉的可动部分,例如在捕捉人体手臂运动时需要在大臂和小臂上分别安置惯性测量传感器。在安装惯性测量单元时,需要注意惯性测量单元本身的坐标系与根据捕捉对象建立起来的骨骼模型坐标系要一致,或者通过以下标定方法加以标定,进而确定惯性测量单元与骨骼模型之间的坐标变换关系
图5示出了如何对光学测量单元进行标定并安装到被捕捉对象所处的环境中,使其可以直接或间接观测到被捕捉对象。用于捕捉的光学测量单元数量可以是一个也可以是多个,当使用多个光学测量单元时,单元之间的工作模式可以是并行式或分频式。并行式工作模型指的是所有光学测量单元同时采集数据,而分频式工作模式指的是光学测量单元之间以一定频率进行切换,在每一时刻只有一个进行数据采集。
图6和7分别示出了本发明实施例提供的基于惯性测量与光学测量融合的运动捕捉方法的流程和融合过程。包括以下步骤:
在步骤S1中,对捕捉对象进行惯性数据采集,包括:加速度、角加速度、角速度、位移、角位移、姿态角等姿态信息,得到初始姿态估计θ0,并与骨骼模型进行绑定。
在步骤S2中,利用步骤S1中得到的初始姿态估计θ0及绑定的骨骼模型驱动表面轮廓3D模型M(θ0),并对其进行可见性判断,得到模型的光学测量可见部分 M V ( θ 0 ) ⊆ M ( θ 0 ) .
在步骤S3中,对捕捉对象进行光学数据采集,本发明实时例以点云数据为M0。因光学测量角度以及遮挡因素,故点云M0仅可表征人体的部分信息,如图8所示。
在步骤S4中,利用MV0)以及M0对初始姿态进行优化,并得到优化后的姿态θ,并与骨骼模型绑定。
在步骤S5中,用优化后姿态θ及骨骼模型驱动表面轮廓3D模型生成M(θ),并用于最终3D显示。
其中上述的步骤S1,惯性测量具体实施过程包括:
S1-1.陀螺仪标定:在基于微惯性器件的运动捕捉系统中,利用陀螺仪获取载体转动的角速度,完成载体姿态的更新,但是由于零偏和其它噪声的干扰,使得陀螺仪直接输出的数据与真实的角速度之间具有较大的偏差,因此在陀螺仪使用之前需要完成对于陀螺仪的校正与标定。基于陀螺仪特性为陀螺仪建立输出模型:
ω ‾ = Kω + F 0 + n
该输出模型表示陀螺仪的实际输出是真实角速度的线性函数与零均值高斯白噪声的累加。
S1-2.加速度计标定:在利用加速度计完成运动捕捉的过程中,需要利用当地重力矢量在载体加速度计各个轴上的分量来确定载体的俯仰角与横滚角。因此在对加速度计进行标定的过程中,需要尽可能地保持加速度计处于静止状态,保证加速度计的输出不受除重力之外的加速度的干扰。在某一个固定的倾角之下加速度计的输入与输出之间具有较好的线性关系,参考陀螺仪的输出模型,为加速度计建立相似的模型:
a ‾ = Ka + F 0 + n
S1-3.地磁计标定:与陀螺仪、加速度计的标定方法不同,地磁传感器在使用过程中的误差更多是来自使用地点处周围其它磁场以及器件间产生磁场的影响导致的零点偏差。因此相比于建立固定的输出模型,对于地磁传感器来说,在每次使用前进行一定的校准动作更能确保获取数据的准确。在校准的过程中同样是使得水平放置的传感器绕竖直向上的轴旋转一周,得到在旋转过程中X轴和Y轴的数据,采用圆拟合的方法获取圆心的位置(x0,y0),将圆心校正回原点处也即是令所有地磁传感器X轴的数据减去x0,所有Y轴的数据减去y0。在完成X轴和Y轴的校准之后,还需要将地磁传感器翻转90度,使得Y轴朝上,并绕着Y轴将传感器旋转一周,利用同样的方法对Z轴进行校正。
S1-4.载体姿态四元数初始化:在利用惯性传感器进行运动捕捉的过程中,很重要的一个环节是对载体的姿态四元数进行初始化,初始的姿态确定为后续进行姿态更新提供了前提。由于加速度计与地磁传感器对于姿态的测量较为独立,不同于陀螺仪需要上一次的姿态才能完成更新,因此选择这两个传感器进行姿态四元数的初始化。在姿态初始化时,首先利用加速度计上重力加速度在不同坐标轴上的分量确定载体的俯仰角和横滚角:
θ = - arctan ( a x b ) , φ = arctan ( a y b / a z b )
其中θ表示载体的俯仰角,φ表示载体的横滚角,则分别表示由加速度计所测得的载体沿载体坐标系中三个轴方向上的加速度值。在求出载体的俯仰角和横滚角之后,还需要利用这两个角度以及地磁传感器的数据求取航向角:
其中表示载体的横滚角,而mx,my,mz表示地磁传感器三轴所测得的地磁场强度沿三轴的分量。
之后就可以利用俯仰角,横滚角以及航向角与姿态四元数之间固定的关系,将其转化为姿态四元数,具体的转换公式为:
最终确定的四元数(q0,q1,q2,q3)就作为初始化后的载体四元数应用到接下来载体姿态的实时定位中。
S1-5.基于陀螺仪的姿态更新:完成了载体姿态的初始化,当载体处于运动状态中,就首先需要使用动态性能较好的陀螺仪进行载体实时姿态的更新。利用陀螺仪获取的角速度计算载体更新四元数的微分方程为:
q · 0 = - 0.5 ( q 1 ω x + q 2 ω y + q 3 ω z )
q · 1 = - 0.5 ( q 0 ω x - q 3 ω y + q 2 ω z )
q · 2 = 0.5 ( q 3 ω x + q 0 ω y - q 1 ω z )
q · 3 = - 0.5 ( q 2 ω x - q 1 ω y - q 0 ω z )
式中(q0,q1,q2,q3)为前一次采样点计算出的载体姿态四元数,而(ωxyz)为本次由陀螺仪获得的载体坐标系沿各个坐标轴的角速度。同时设t为陀螺仪的采样时间,那么在本次采样间隔内四元数的变化量即为:
q ω , t = ( q · 0 , q · 1 , q · 2 , q · 3 ) t
S1-6.基于梯度下降的姿态校正:尽管在使用之前对陀螺仪的各个轴都进行了校正,但是对于MEMS陀螺仪来说其在使用时仍会存在较大的误差与漂移,经过积分会随着时间的增加而积累,使得载体姿态缓慢改变直到不可使用,因此需要使用加速度计与地磁传感器获取另外一组独立于陀螺仪的姿态信息从而完成对载体姿态的校正。这里使用在前面叙述的梯度下降法实现对四元数的校正。首先定义表示误差的目标函数fg,m(q,a,m),该函数表示将重力矢量与地磁矢量经由上一采样时刻姿态四元数确定的关系由地理坐标系转换到载体坐标系之后与加速度计、地磁传感器测量的数值的差所表示的误差大小。具体的形式为:
f g , m ( q , a , m ) = 2 ( q 1 q 3 - q 0 q 2 ) - a x 2 ( q 0 q 1 + q 2 q 3 ) - a y 2 ( 1 2 - q 1 2 - q 2 2 ) - a z 2 b x ( 1 2 - q 2 2 - q 3 2 ) + 2 b z ( q 1 q 3 - q 0 q 2 ) - m x 2 b x ( q 1 q 2 - q 0 q 3 ) + 2 b z ( q 0 q 1 + q 1 q 3 ) - m y 2 b x ( q 0 q 2 + q 1 q 3 ) + 2 b z ( 1 2 - q 1 2 - 2 2 ) - m z
经由该函数的雅可比矩阵:
J m ( q ) = - 2 b z q 2 2 b z q 3 - 4 b x q 2 - 2 b x q 0 - 4 b x q 3 + 2 b z q 1 - 2 b x q 3 + 2 b z q 1 2 b x q 2 + 2 b z q 0 2 b x q 1 + 2 b z q 3 - 2 b x q 0 + 2 b z q 2 2 b x q 2 2 b x q 3 - 4 b z q 1 2 b x q 0 - 4 b z q 2 2 b x q 1
可以得到梯度的计算式为:
▽fg,m(q,a,m)=JT(q)*fg,m(q,a,m)
根据梯度下降法由加速度计与地磁传感器所获得的四元数的改变量为:
q ▿ , t = - μ t ▿ f g , m ( q , a , m ) | | f g , m ( q , a , m ) | |
于是可以得到梯度下降法最终的融合公式:
q est , t = q est , t - 1 + ( q · ω , t t - μ t ▿ f g , m ( q , a , m ) | | f g , m ( q , a , m ) | | )
通过实验测试,在不同步长下,系统处在不同稳定俯仰角下,对于俯仰角解算结果的标准差见下表。
表:俯仰角解算结果的标准差
其中,对上述步骤S2,本示例采用虚拟串口通讯将解算结果发送到基于Unity3D引擎开发的三维显示模块206。三维显示模块206则将惯性姿态信息绑定到预先生成的对象骨骼上。在Unity3D中,为骨骼赋予脚本,并通过脚本获取到由虚拟串口传送来的不同所有惯性测量节点的姿态信息。对于脚本直接附着的骨骼,可以用姿态角作为该骨骼对象变换属性中欧拉角的数值从而完成对这一骨骼的控制。而对于其它骨骼,只需要在同一脚本中首先通过不同的骨骼名称获取各自的骨骼对象,再为它们的欧拉角赋予接收到的数值,完成同样的控制过程。其中的可见性判断也是通过调用Unity3D API的遮挡判断函数加以实现。
其中,上述步骤S3,对捕捉对象进行光学数据采集,本示例采用微软公司的Kinect作为RGB-D光学测量传感器。Kinect是微软在2010年发布的XBOX体感周边外设,它同时获取彩色图像和深度图像,还可以捕捉三维空间中捕捉对象的骨骼信息。Kinect通过20个关节点来表示一个捕捉对象的骨骼,各关节点的位置是以Kinect摄像头坐标系下的三维空间坐标(x,y,z)来表示。根据捕捉对象骨骼本身的属性,骨骼被看作是刚体,所以将Kinect检测到的三维空间关节点坐标用空间直线进行连接进而得到捕捉对象的骨骼模型。而捕捉对象骨骼模型的变化在一定程度上直接反映捕捉对象的运动情况,所以通过Kinect获取到的骨骼信息来进行动作的捕捉与还原,避开了常规基于视觉传感器动作捕捉系统中对图像或点云的复杂处理,在直观性与实时性上都有助于动作捕捉系统的开发与实现。
在本实施例的光学测量过程中,Kinect以固定频率采集捕捉对象的深度点云数据和RGB彩色图像信息。这些数据通过专用Kinect USB转接线,经数据收发单元203汇总到中央主机204后,数据处理单元205对Kinect得到的原始数据进行分析、去噪、滤波等一系列处理。然后,这些处理后的光学测量数据与对象原始表面轮廓模型进行匹配与识别操作,最终生成一个处理后的光学测量结果208。
设Kinect捕捉到的骨骼信息为SK,其中包含20个关节点坐标pi(i=1,2,…,20)。我们在Unity3D中进行运动还原时,假设以姿态X来驱动Unity3D中的捕捉对象3D模型,得到的骨骼信息以SX来表示。在已知Kinect获取到的骨骼信息SK以及驱动人体3D模型得到的骨骼信息SX后,我们对当前帧捕捉到的人体姿态X进行解算。在这里我们定义骨骼相似度系数如下:
δ ( S K , S X ) = 1 M Σ i = 1 M | | p i - q i | | 2
其中pi(i=1,2,…,20)为Kinect获取到的骨骼信息中各个关节点的三维空间位置坐标,而qi(i=1,2,…,M)为Unity3D中经姿态X驱动的捕捉对象3D模型骨骼信息中各个关节点的三维空间位置坐标,M为关节点的数量,因为Kinect的关节点是20个,所以M取20。这时通过梯度下降的方法便可以解算出使得δ(SK,SX)最小化的姿态X。
其中,上述的步骤S4,具体实现过程如下:
在步骤S401中,令pi∈MV0),其中i=1,2,...,N,N为MV0)中顶点数,又令rj∈M0,其中j=1,2,...,N0,N0为M0中顶点数。则对于每个顶点pi∈MV0),有
q i = arg min r j ∈ M 0 | | p i - r j | |
在步骤S402中,令目标函数为
J = Σ k = 1 N | | q k - p k | | 2 = Σ k = 1 N ( q k - p k ) T ( q k - p k )
则有即优化后的姿态值。
在步骤S403中,用麦夸特算法进行迭代求解,得到θ。
其中,上述的步骤S403,其算法流程如附图9所示,具体实现如下:
将pk在θi附近展开成线性函数
p k = p k | θ i + ∂ p k ∂ θ | θ i ( θ - θ i )
则目标函数可化为
J = Σ k = 1 N ( q k - p k ) T ( q k - p k ) = Σ k = 1 N ( q k - p k | θ i - ∂ p k ∂ θ | θ i ( θ - θ i ) ) T ( q k - p k | θ i - ∂ p k ∂ θ | θ i ( θ - θ i ) )
这时
∂ J ∂ θ = - 2 Σ k = 1 N ∂ p k ∂ θ T | θ i ( q k - p k | θ i - ∂ p k ∂ θ | θ i ( θ - θ i ) )
∂ J ∂ X = 0 可解得
θ = θ i + [ Σ k = 1 N ( ∂ p k ∂ θ T | θ i · ∂ p k ∂ θ | θ i ) ] - 1 Σ k = 1 N ∂ p k ∂ θ T | θ i ( q k - p k | θ i )
而梯度方向 Q i = - Σ k = 1 N ∂ p k ∂ θ T | θ i ( q k - p k | θ i ) , A i = Σ k = 1 N ( ∂ p k ∂ θ T | θ i · ∂ p k ∂ θ | θ i ) , 则若使上式得到的方向为可接受方向,需要对Ai进行修正,使其为正定矩阵。
所以将Ai修正为Ai+λI,只要λ充分大,Ai+λI就一定是正定矩阵。另一方面,当λ很小时,可能不收敛,但如果收敛则速度较快。所以关键在于对λ的选择,即在保证方向可接受的前提下使λ尽可能小。在麦夸特算法中,对λ进行自适应调节。
设λi是第i次迭代中的λ值,所确定的方向为v=(Ai+λI)-1Qi,由此得到第i+1次迭代的参数值为θi+1=θi-v。
麦夸特算法流程如下:
(1)由惯性测量数据得到的初始姿态θ0,计算J0=J(θ0),并置λ0=1,i=0。
(2)θi计算Ai,Qi
(3)计算v=-(Ai+(λi-1/10)I)-1Qi
(4)若并转(6);否则继续。
(5)用10λi-1代替λi-1并转(3)。
(6)若其中θij是θi的第j个分量,Δθij=θ(i+1)jij则迭代停止,取θi为其结果;否则置i=i+1,转(2)。
以上融合步骤在捕捉过程中每一时刻均被执行,惯性测量结果207和光学测量结果208都会采用本发明提出的惯性与光学测量融合方法211进行融合处理,生成一个最优的运动捕捉结果209,并最终由三维显示模块中的Unity3D加以显示。
实验结果
实验过程中我们在人体手臂上放置了六个微惯性传感器节点,融合Kinect动作跟踪信息来进行人体动作的捕捉,并利用Unity3D中的人体模型来进行动作还原,以验证动作捕捉系本发明专利的的可行性。实验用PC机包括有2.60GHz的Intel Xeon CPU,64G内存,微软Windows7专业版操作系统,Unity3D 4.0平台。
从附图10可以看出,运动过程中人体某些关节不免会存在一些遮挡的情况,这时如果采用单一的光学测量,则无法正确捕捉到正确姿态,如图10(a)中手的方向就无法正确捕捉,而采用本发明提出的基于光学与惯性测量融合的捕捉方法后则可以精确的识别出手的正确方向,如图10(c)所示。

Claims (9)

1.一种基于惯性与光学测量融合的运动捕捉方法,其特征在于该方法将惯性测量运动捕捉与光学测量运动捕捉得到的数据进行融合,具体包括:
惯性测量单元:用于估计被捕捉对象的空间姿态信息;
光学测量单元:用于获取被捕捉对象的三维几何信息;
数据融合单元:根据预先指定的融合目标函数,将空间姿态信息与三维几何信息进行融合,得到符合目标函数的最优运动估计。
2.根据权利要求1所述的方法,其特征在于该方法的具体操作步骤包括:
第1、建立被捕捉对象的骨架模型S,用以表示该模型的运动姿态;
第2、建立被捕捉对象的表面轮廓3D模型M;
第3、将惯性测量单元固定在被捕捉对象上;
第4、将光学测量单元进行标定并安装到被捕捉对象所处的环境中,使光学测量单元能够直接或间接观测到被捕捉对象;
第5、建立惯性-光学融合目标函数;
第6、捕捉过程中,采用多传感器融合算法对惯性测量数据和光学测量数据进行融合,使目标函数得到最优解;
第7、对估计的运动姿态进评估,选取与目标函数结果最为接近的姿态作为每一时刻的最优捕捉运动姿态。
3.根据权利要求2所述的方法,其特征在于第1步所述骨架模型的建立基于被捕捉对象的外形与自身运动方式;骨架模型为层级式刚性连杆结构。
4.根据权利要求2所述的方法,其特征在于第2步所述建立被捕捉对象的表面轮廓三维模型,采用点云、多边形网格或面片的模型或体素的模型表示方法;采用计算机辅助设计或三维扫描手段生成表面轮廓模型。
5.根据权利要求2所述的方法,其特征在于第3步所述将惯性测量单元固定在被捕捉对象上,是将惯性测量单元固定在被捕捉对象上独立可动的部分,当被捕捉对象含有多个独立可动部分时,惯性测量单元将安装在每一个可动部分上。
6.根据权利要求2所述的方法,其特征在于第4步所述光学测量单元可以是一个也可以是多个,当使用多个光学测量单元时,光学测量单元之间的工作模式或者为并行式,或者为分频式;并行式工作模型指的是所有光学测量单元同时采集数据;而分频式工作模式指的是光学测量单元之间以预先设定的频率进行切换,在每一时刻只有一个光学测量单元进行数据采集。
7.根据权利要求2所述的方法,其特征在于第5步所述建立惯性-光学融合目标函数包括:以空间绝对位置精度为优化目标和以姿态角精度为优化目标。
8.根据权利要求2所述的方法,其特征在于第6步和第7步都是实时进行的,即运动捕捉过程中的每一时刻都要对惯性测量数据和光学测量数据执行融合操作以及运动姿态评估。
9.根据权利要求2或6所述的方法,其特征在于第6步所述采用多传感器融合算法对惯性测量数据和光学测量数据进行融合的具体过程为:
第6.1、采用惯性测量得到被捕捉对象空间姿态的粗略估计,并将测量结果应用到第1步所建立的骨骼模型S上,形成当前时刻t的惯性姿态估计θ0
第6.2、将惯性姿态估计θ0与第2步所建立的表面轮廓3D模型M绑定,驱动M模型变形M(θ0),并进行可见性判断,得到可见部分模型
第6.3、采用光学测量采集被捕捉对象的二维或三维图像信息,并根据采集的图像信息重建出被捕捉对象整体或者部分的三维轮廓M0,三维轮廓M0是点云或者多边形网格;
第6.4、用MV0)以及M0对姿态进行优化,得到优化后的姿态θ;
第6.5、用优化后姿态θ驱动3D模型生成M(θ),并用于最终3D显示。
CN201510097211.6A 2015-03-05 2015-03-05 一种基于惯性与光学测量融合的运动捕捉方法 Expired - Fee Related CN104658012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510097211.6A CN104658012B (zh) 2015-03-05 2015-03-05 一种基于惯性与光学测量融合的运动捕捉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510097211.6A CN104658012B (zh) 2015-03-05 2015-03-05 一种基于惯性与光学测量融合的运动捕捉方法

Publications (2)

Publication Number Publication Date
CN104658012A true CN104658012A (zh) 2015-05-27
CN104658012B CN104658012B (zh) 2017-04-12

Family

ID=53249088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510097211.6A Expired - Fee Related CN104658012B (zh) 2015-03-05 2015-03-05 一种基于惯性与光学测量融合的运动捕捉方法

Country Status (1)

Country Link
CN (1) CN104658012B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279788A (zh) * 2015-10-27 2016-01-27 第二炮兵工程设计研究院 一种生成物体空间扫掠体的方法
CN106052683A (zh) * 2016-05-25 2016-10-26 速感科技(北京)有限公司 机器人运动姿态估计方法
CN106843507A (zh) * 2017-03-24 2017-06-13 苏州创捷传媒展览股份有限公司 一种虚拟现实多人互动的方法及系统
CN107185229A (zh) * 2017-04-26 2017-09-22 歌尔科技有限公司 虚拟现实设备的游戏输入方法及装置、虚拟现实系统
CN107260179A (zh) * 2017-06-08 2017-10-20 朱翔 基于惯性和体感传感器数据质量评价的人体运动跟踪方法
CN107576998A (zh) * 2017-10-25 2018-01-12 成都金麒麟云信息科技有限公司 应用于交互式数字展览的人体跟踪系统
CN107861615A (zh) * 2017-10-25 2018-03-30 成都金麒麟云信息科技有限公司 数字展览中捕捉参观者活动轨迹的跟踪模块
CN108369742A (zh) * 2016-02-08 2018-08-03 微软技术许可有限责任公司 使用传感器融合的经优化对象扫描
CN108986162A (zh) * 2018-06-28 2018-12-11 四川斐讯信息技术有限公司 基于惯性测量单元和视觉信息的菜品和背景分割方法
CN109166181A (zh) * 2018-08-12 2019-01-08 苏州炫感信息科技有限公司 一种基于深度学习的混合动作捕捉系统
CN109211267A (zh) * 2018-08-14 2019-01-15 广州虚拟动力网络技术有限公司 一种惯性动作捕捉姿态快速校准方法及系统
CN109313495A (zh) * 2016-06-09 2019-02-05 微软技术许可有限责任公司 融合惯性手持控制器与手动跟踪的六自由度混合现实输入
CN109377559A (zh) * 2018-10-19 2019-02-22 江南造船(集团)有限责任公司 基于激光扫描的船舶现校管模型生成方法、系统、终端及介质
CN109669533A (zh) * 2018-11-02 2019-04-23 北京盈迪曼德科技有限公司 一种基于视觉和惯性的动作捕捉方法、装置及系统
CN109798891A (zh) * 2019-01-25 2019-05-24 上海交通大学 基于高精度动作捕捉系统的惯性测量单元标定系统
CN110393533A (zh) * 2019-07-25 2019-11-01 森博迪(深圳)科技有限公司 一种结合惯性和红外的穿戴式动作捕捉系统及其方法
CN110646014A (zh) * 2019-09-30 2020-01-03 南京邮电大学 基于人体关节位置捕捉设备辅助的imu安装误差校准方法
CN110826422A (zh) * 2019-10-18 2020-02-21 北京量健智能科技有限公司 一种用于获得运动参数信息的系统和方法
CN111133274A (zh) * 2017-07-21 2020-05-08 西斯纳维 用于估计在环境和磁场中运动的对象的运动的方法
CN111783679A (zh) * 2020-07-04 2020-10-16 北京中科深智科技有限公司 一种基于摄像头和imu数据混合的实时全身动捕系统、方法
CN111862242A (zh) * 2020-07-29 2020-10-30 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN112033432A (zh) * 2020-07-31 2020-12-04 东莞市易联交互信息科技有限责任公司 动作捕捉方法、系统和存储介质
CN112074705A (zh) * 2017-12-18 2020-12-11 Alt有限责任公司 光学惯性跟踪运动物体的方法和系统
CN112099636A (zh) * 2020-09-23 2020-12-18 广东工业大学 一种虚拟现实运动捕捉系统的精度检测方法和相关装置
CN113762791A (zh) * 2021-09-13 2021-12-07 郑州铁路职业技术学院 一种铁路工程造价管理系统
CN113900516A (zh) * 2021-09-27 2022-01-07 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质
CN114332313A (zh) * 2022-03-11 2022-04-12 东莞市易联交互信息科技有限责任公司 一种三维虚拟动画的制作方法和系统
US11468545B1 (en) 2022-04-18 2022-10-11 Biomech Sensor, Llc Systems and methods for motion measurement drift correction
US11656081B2 (en) * 2019-10-18 2023-05-23 Anello Photonics, Inc. Integrated photonics optical gyroscopes optimized for autonomous terrestrial and aerial vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080223131A1 (en) * 2007-03-15 2008-09-18 Giovanni Vannucci System and Method for Motion Capture in Natural Environments
CN103279186A (zh) * 2013-05-07 2013-09-04 兰州交通大学 融合光学定位与惯性传感的多目标运动捕捉系统
CN103733227A (zh) * 2012-06-14 2014-04-16 索弗特凯耐提克软件公司 三维对象建模拟合与跟踪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080223131A1 (en) * 2007-03-15 2008-09-18 Giovanni Vannucci System and Method for Motion Capture in Natural Environments
CN103733227A (zh) * 2012-06-14 2014-04-16 索弗特凯耐提克软件公司 三维对象建模拟合与跟踪
CN103279186A (zh) * 2013-05-07 2013-09-04 兰州交通大学 融合光学定位与惯性传感的多目标运动捕捉系统

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279788B (zh) * 2015-10-27 2017-10-17 第二炮兵工程设计研究院 一种生成物体空间扫掠体的方法
CN105279788A (zh) * 2015-10-27 2016-01-27 第二炮兵工程设计研究院 一种生成物体空间扫掠体的方法
CN108369742A (zh) * 2016-02-08 2018-08-03 微软技术许可有限责任公司 使用传感器融合的经优化对象扫描
CN106052683A (zh) * 2016-05-25 2016-10-26 速感科技(北京)有限公司 机器人运动姿态估计方法
CN109313495B (zh) * 2016-06-09 2021-10-26 微软技术许可有限责任公司 融合惯性手持控制器与手动跟踪的六自由度混合现实输入
CN109313495A (zh) * 2016-06-09 2019-02-05 微软技术许可有限责任公司 融合惯性手持控制器与手动跟踪的六自由度混合现实输入
CN106843507B (zh) * 2017-03-24 2024-01-05 苏州创捷传媒展览股份有限公司 一种虚拟现实多人互动的方法及系统
CN106843507A (zh) * 2017-03-24 2017-06-13 苏州创捷传媒展览股份有限公司 一种虚拟现实多人互动的方法及系统
CN107185229A (zh) * 2017-04-26 2017-09-22 歌尔科技有限公司 虚拟现实设备的游戏输入方法及装置、虚拟现实系统
WO2018196107A1 (zh) * 2017-04-26 2018-11-01 歌尔科技有限公司 虚拟现实设备的游戏输入方法及装置、虚拟现实系统
CN107260179A (zh) * 2017-06-08 2017-10-20 朱翔 基于惯性和体感传感器数据质量评价的人体运动跟踪方法
CN111133274B (zh) * 2017-07-21 2023-10-20 西斯纳维 用于估计在环境和磁场中运动的对象的运动的方法
CN111133274A (zh) * 2017-07-21 2020-05-08 西斯纳维 用于估计在环境和磁场中运动的对象的运动的方法
CN107861615A (zh) * 2017-10-25 2018-03-30 成都金麒麟云信息科技有限公司 数字展览中捕捉参观者活动轨迹的跟踪模块
CN107576998A (zh) * 2017-10-25 2018-01-12 成都金麒麟云信息科技有限公司 应用于交互式数字展览的人体跟踪系统
CN112074705A (zh) * 2017-12-18 2020-12-11 Alt有限责任公司 光学惯性跟踪运动物体的方法和系统
CN108986162A (zh) * 2018-06-28 2018-12-11 四川斐讯信息技术有限公司 基于惯性测量单元和视觉信息的菜品和背景分割方法
CN108986162B (zh) * 2018-06-28 2022-02-22 杭州吉吉知识产权运营有限公司 基于惯性测量单元和视觉信息的菜品和背景分割方法
CN109166181A (zh) * 2018-08-12 2019-01-08 苏州炫感信息科技有限公司 一种基于深度学习的混合动作捕捉系统
CN109211267A (zh) * 2018-08-14 2019-01-15 广州虚拟动力网络技术有限公司 一种惯性动作捕捉姿态快速校准方法及系统
CN109377559A (zh) * 2018-10-19 2019-02-22 江南造船(集团)有限责任公司 基于激光扫描的船舶现校管模型生成方法、系统、终端及介质
CN109669533A (zh) * 2018-11-02 2019-04-23 北京盈迪曼德科技有限公司 一种基于视觉和惯性的动作捕捉方法、装置及系统
CN109669533B (zh) * 2018-11-02 2022-02-11 北京盈迪曼德科技有限公司 一种基于视觉和惯性的动作捕捉方法、装置及系统
CN109798891A (zh) * 2019-01-25 2019-05-24 上海交通大学 基于高精度动作捕捉系统的惯性测量单元标定系统
CN110393533A (zh) * 2019-07-25 2019-11-01 森博迪(深圳)科技有限公司 一种结合惯性和红外的穿戴式动作捕捉系统及其方法
CN110646014B (zh) * 2019-09-30 2023-04-25 南京邮电大学 基于人体关节位置捕捉设备辅助的imu安装误差校准方法
CN110646014A (zh) * 2019-09-30 2020-01-03 南京邮电大学 基于人体关节位置捕捉设备辅助的imu安装误差校准方法
US11656081B2 (en) * 2019-10-18 2023-05-23 Anello Photonics, Inc. Integrated photonics optical gyroscopes optimized for autonomous terrestrial and aerial vehicles
CN110826422A (zh) * 2019-10-18 2020-02-21 北京量健智能科技有限公司 一种用于获得运动参数信息的系统和方法
US12281898B2 (en) 2019-10-18 2025-04-22 Anello Photonics, Inc. Integrated photonics optical gyroscopes optimized for autonomous vehicles
CN111783679A (zh) * 2020-07-04 2020-10-16 北京中科深智科技有限公司 一种基于摄像头和imu数据混合的实时全身动捕系统、方法
CN111862242B (zh) * 2020-07-29 2023-11-03 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN111862242A (zh) * 2020-07-29 2020-10-30 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN112033432A (zh) * 2020-07-31 2020-12-04 东莞市易联交互信息科技有限责任公司 动作捕捉方法、系统和存储介质
CN112099636A (zh) * 2020-09-23 2020-12-18 广东工业大学 一种虚拟现实运动捕捉系统的精度检测方法和相关装置
CN112099636B (zh) * 2020-09-23 2023-02-10 广东工业大学 一种虚拟现实运动捕捉系统的精度检测方法和相关装置
CN113762791A (zh) * 2021-09-13 2021-12-07 郑州铁路职业技术学院 一种铁路工程造价管理系统
CN113900516A (zh) * 2021-09-27 2022-01-07 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质
CN114332313A (zh) * 2022-03-11 2022-04-12 东莞市易联交互信息科技有限责任公司 一种三维虚拟动画的制作方法和系统
US11468545B1 (en) 2022-04-18 2022-10-11 Biomech Sensor, Llc Systems and methods for motion measurement drift correction

Also Published As

Publication number Publication date
CN104658012B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
CN104658012B (zh) 一种基于惯性与光学测量融合的运动捕捉方法
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN107833271B (zh) 一种基于Kinect的骨骼重定向方法及装置
CN108627153B (zh) 一种基于惯性传感器的刚体运动追踪系统及其工作方法
EP3859495B1 (en) Systems and methods for tracking motion and gesture of heads and eyes
CN104748746B (zh) 智能机姿态测定及虚拟现实漫游方法
CN102192740B (zh) 姿势信息计算装置、姿势信息计算系统及姿势信息计算法
CN113674412B (zh) 基于位姿融合优化的室内地图构建方法、系统及存储介质
KR101768958B1 (ko) 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
US20040021664A1 (en) Information processing device and method
CN106056664A (zh) 一种基于惯性和深度视觉的实时三维场景重构系统及方法
Hermanis et al. Acceleration and magnetic sensor network for shape sensing
CN108170297B (zh) 实时六自由度vr/ar/mr设备定位方法
JP2002259992A (ja) 画像処理装置およびその方法並びにプログラムコード、記憶媒体
CN112284381B (zh) 视觉惯性实时初始化对准方法及系统
CN109000633A (zh) 基于异构数据融合的人体姿态动作捕捉算法设计
CN106227368B (zh) 一种人体关节角度解算方法及装置
CN109785428B (zh) 一种基于多态约束卡尔曼滤波的手持式三维重建方法
CN117178298A (zh) 在场景中捕捉、优化人体动作的方法及动作捕捉系统
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
CN116443028A (zh) 头部姿态数据采集系统及方法
Satoh et al. A head tracking method using bird's-eye view camera and gyroscope
CN115290076B (zh) 一种基于多传感器融合的人体关节角数据处理方法
TWI476733B (zh) 運動軌跡重建方法及其裝置
CN110135011B (zh) 一种基于视觉的柔性板振动形态可视化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20200305

CF01 Termination of patent right due to non-payment of annual fee