CN110393533A - 一种结合惯性和红外的穿戴式动作捕捉系统及其方法 - Google Patents

一种结合惯性和红外的穿戴式动作捕捉系统及其方法 Download PDF

Info

Publication number
CN110393533A
CN110393533A CN201910677843.8A CN201910677843A CN110393533A CN 110393533 A CN110393533 A CN 110393533A CN 201910677843 A CN201910677843 A CN 201910677843A CN 110393533 A CN110393533 A CN 110393533A
Authority
CN
China
Prior art keywords
information
infrared
inertial sensor
acquisition
infrared camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910677843.8A
Other languages
English (en)
Inventor
贾进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senbodi (shenzhen) Technology Co Ltd
Original Assignee
Senbodi (shenzhen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senbodi (shenzhen) Technology Co Ltd filed Critical Senbodi (shenzhen) Technology Co Ltd
Priority to CN201910677843.8A priority Critical patent/CN110393533A/zh
Publication of CN110393533A publication Critical patent/CN110393533A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种结合惯性和红外的穿戴式动作捕捉系统及其方法,包括若干采集装置、智能终端、若干红外光光源;所述若干红外光光源用于发射红外光,采集装置包括主控模块、通信模块、与主控模块通信连接的采集模块、电源。本发明将红外光学相机、惯性传感器集成于同一采集装置内,只需穿戴在捕捉对象身体肢体相应部位,即可采集运动物体的相关运动学参数,并通过通信模块实时传送至智能终端,便于及时查看及分析;同时,通过该方法可实现对红外相机采集过程中的数据缺失进行补充,解决因红外相机因为三维运动和转动过程中视线被遮挡而导致运动轨迹信息不完整的问题,同时通过红外相机获取的运动学参数信息,可以纠正惯性传感器的积累误差。

Description

一种结合惯性和红外的穿戴式动作捕捉系统及其方法
技术领域
本发明涉及动作捕捉系统技术领域,尤其涉及一种结合惯性和红外的穿戴式动作捕捉系统及其方法。
背景技术
在众多领域中,比如体育运动和医疗保健康复,捕捉人体运动和其他物体的运动起着至关重要的作用。一旦捕捉到物体运动,就可以确定物体不同的运动特性,如位置、速度、加速度、距离、时间、自旋率等。在捕捉物体运动的领域,已经取得了相当大的技术进展,例如,室内的三维大空间动作捕捉系统,已被广泛应用于体育运动、医疗和影视动画领域,目前,对物体运动的捕捉主要有以下两种类型:
第一种,是使用一个或多个光线相机捕捉移动物体的图像。对象在预定位置粘贴一个或多个光学标记,一个或多个光学相机会同时记录标记的位置坐标。然后,用图像处理的方法,识别和跟踪所有标准点来重建物体的运动。而这种方法,当光学标记物移出光学相机视线的时候、或光学相机被遮挡时,光学相机就无法跟踪光学标记,运动轨迹变得不完整及不精确,且光学相机功耗高、体积大、不能穿戴,增加额外成本。
第二种,是使用多个安装于运动物体上的运动传感器,采集运动物体的三轴加速度信息、角速度信息、及方位信息进而转换成运动物体的运动轨迹信息,但使用运动传感器捕获物体的运动时,由于长时间缺乏参考或校准位置无法确定时,运动传感器采集的数据就很不精确,且惯性传感器自身存在陀螺仪的低频漂移、误差积累问题、磁力计易受金属干扰对方向估计的影响,从而降低了采集运动物体运动轨迹信息的精度。
发明内容
本发明的目的是提供一种结合惯性和红外的穿戴式动作捕捉系统及其方法,该系统将红外相机、惯性传感器集成于同一采集装置内,只需在捕捉对象肢体部位处安装采集装置即可采集运动物体的相关运动信息,并通过通信模块实时传送至智能终端,便于及时查看及分析,安装方便、成本低、捕捉效率高;同时,通过动作捕捉方法可实现对红外相机采集的运动轨迹信息进行校正,解决因红外相机拍摄图像不足而导致运动轨迹信息不完整的问题,提高运动轨迹信息的精度。
为实现上述目的,采用以下技术方案:
一种结合惯性和红外的穿戴式动作捕捉系统,包括若干采集装置、智能终端、若干红外光光源;所述若干红外光光源固定布置于室内四周,用于发射红外光;所述若干采集装置设置于捕捉对象相应的肢体部位,且每一采集装置均包括主控模块、通信模块、与主控模块通信连接的采集模块、以及用于为整个采集装置供电的电源;每一采集模块用于拍摄红外光光点的图像信息,和采集捕捉对象与每一采集模块对应肢体部位处的加速度信息、角速度信息以及相对磁北极的方位信息,并将上述采集的信息传送至与其对应的主控模块;每一主控模块用于将与其对应的采集模块采集的上述信息解析还原成该采集模块对应捕捉对象肢体部位的姿态角度信息及位置信息,并分别经对应的通信模块将上述信息实时同步传送至智能终端。
进一步地,所述采集模块包括惯性传感器、红外相机、磁力计;所述惯性传感器用于采集惯性传感器对应捕捉对象肢体部位处的加速度信息、角速度信息;所述磁力计安装于惯性传感器内,用于采集惯性传感器对应捕捉对象肢体部位处的相对磁北极的方位信息;所述红外相机用于拍摄捕捉对象周围的若干红外光光点的图像信息。
进一步地,所述红外光光源包括红外发光二级管、红外LED灯。
进一步地,所述通信模块包括wifi通信单元、蓝牙通信单元。
进一步地,所述智能终端为智能手机、平板电脑、或其他智能显示设备。
本发明还提供一种结合惯性和红外的穿戴式动作捕捉方法,包括以下步骤:
S1:建立初始世界坐标系,标定在世界坐标系下的,布置于室内四周的所有红外光光源的位置信息及对应的ID信息;
S2:每一主控模块接收与其对应的红外相机、惯性传感器以及磁力计对应捕捉对象肢体部位运动过程中,对所述红外光光源进行拍摄得到的图像信息、对应肢体部位采集的加速度信息和角速度信息、以及对应肢体部位采集的相对磁北极的方位信息。
S3:基于S2每一红外相机获取的图像信息,通过相机实时标定算法得到在世界坐标系下的每一红外相机的实时参数信息;
S4:基于S2每一惯性传感器及对应的磁力计获取的加速度信息、角速度信息、以及方位信息,通过姿态解算算法得到在世界坐标系下的,每一惯性传感器对应肢体部位的姿态角度信息;
S5:基于S3得到的每一红外相机的实时参数信息,对S4得到的与该红外相机对应的惯性传感器的姿态角度信息进行融合校正;若基于S3红外相机得到的图像信息不完整,则将与该红外相机对应的惯性传感器得到的姿态角度信息对其进行补充;
S6:将S5校正后的红外相机的位置信息与其对应的惯性传感器校正后的加速度信息、姿态角度信息经经卡尔曼滤波算法进行整合,并实时同步传送至智能终端。
进一步地,所述红外相机的实时参数信息包括红外相机的姿态角度信息及位置信息。
进一步地,所述相机实时标定算法包括:
S31:基于S1获得的图像信息,过滤图像中的干扰光点,得到在该图像中的若干红外光光点的像素坐标、及ID信息;
S32:基于S31获取的若干红外光光点的像素坐标及ID信息,得到在世界坐标系下的,与该若干红外光光点对应的布置于室内四周的红外光光源的实际位置信息;
S33:基于S32得到的红外光光源的实际位置信息、像素坐标,依据三维视觉约束条件建立的方程,计算红外相机的实时参数信息;
S34:基于红外相机拍摄的连续若干帧图像得到的实时参数信息进行对比及降噪处理。
进一步地,所述姿态解算算法包括:
S41:基于S2获取的加速度信息,得到每一所述惯性传感器对应的捕捉对象肢体部位处的速度信息、位置变化信息;
S42:基于S2获取的角速度信息,得到每一所述惯性传感器对应的捕捉对象肢体部位处的姿态角度变化信息;
S43:对S41得到惯性传感器的速度信息、位置变化信息、姿态角度变化信息与惯性传感器的初始姿态角度信息及初始位置信息进行整合,得到惯性传感器对应捕捉对象肢体部位处的姿态角度信息及位置信息。
采用上述方案,本发明的有益效果是:
1)在捕捉对象肢体部位处安装采集装置即可采集运动物体的相关运动信息,并通过通信模块实时传送至智能终端,便于及时查看及分析,安装方便、成本低、捕捉效率高;
2)该系统将红外相机、惯性传感器集成于同一采集装置内,并通过动作捕捉方法实现对红外相机采集的运动轨迹信息进行校正,解决因红外相机拍摄图像不足而导致运动轨迹信息不完整的问题;
3)可通过红外相机采集的运动轨迹信息对惯性传感器采集的运动轨迹信息进行校正,解决惯性传感器的采集数据不精确问题;
4)动作捕捉方法简单高效,能将采集装置采集的信息快速还原呈不足对象的运动轨迹信息,时效性强。
附图说明
图1为本发明的原理性框图;
图2为本发明的其中一实施例的布置示意图;
图3为本发明的穿戴式动作捕捉方法的流程性框图;
图4为本发明的相机实时标定算法的流程性框图;
图5为本发明的姿态解算算法流程性框图;
图6为本发明的其中一实施例的相机实时标定算法的示意图;
图7为本发明的其中一实施例的相机实时标定算法的另一示意图;
图8为本发明的其中一实施例的时钟同步算法的示意图;
其中,附图标识说明:
1—采集装置; 2—智能终端;
3—红外光光源; 11—主控模块;
12—通信模块; 13—采集模块;
14—电源; 121—wifi通信单元;
122—蓝牙通信单元; 131—惯性传感器;
132—红外相机; 133—磁力计。
具体实施方式
以下结合附图和具体实施例,对本发明进行详细说明。
参照图1至2,本发明提供一种结合惯性和红外的穿戴式动作捕捉系统,包括若干采集装置1、智能终端2、若干红外光光源3;所述若干红外光光源3固定布置于室内四周,用于发射红外光;所述若干采集装置1设置于捕捉对象相应的肢体部位,且每一采集装置1均包括主控模块11、通信模块12、与主控模块11通信连接的采集模块13、以及用于为整个采集装置1供电的电源14;每一采集模块13用于拍摄红外光光点的图像信息,和采集捕捉对象与每一采集模块13对应肢体部位处的加速度信息、角速度信息以及相对磁北极的方位信息,并将上述采集的信息传送至与其对应的主控模块11;每一主控模块11用于将与其对应的采集模块13采集的上述信息解析还原成该采集模块13对应捕捉对象肢体部位的姿态角度信息及位置信息,并分别经对应的通信模块12将上述信息实时同步传送至智能终端2。
其中,所述采集模块13包括惯性传感器131、红外相机132、磁力计133;所述惯性传感器131用于采集惯性传感器131对应捕捉对象肢体部位处的加速度信息、角速度信息;所述磁力计133安装于惯性传感器131内,用于采集惯性传感器131对应捕捉对象肢体部位处的相对磁北极的方位信息;所述红外相机132用于拍摄捕捉对象周围的若干红外光光点的图像信息;所述红外光光源3包括红外发光二级管、红外LED灯;所述通信模块12包括wifi通信单元121、蓝牙通信单元122;所述智能终端2为智能手机、平板电脑、或其他智能显示设备。
参照图1至8所示,本发明还提供一种结合惯性和红外的穿戴式动作捕捉方法,包括以下步骤:
S1:建立初始世界坐标系,标定在世界坐标系下的,布置于室内四周的所有红外光光源3的位置信息及对应的ID信息;
S2:每一主控模块11接收与其对应的红外相机132、惯性传感器131以及磁力计133对应捕捉对象肢体部位运动过程中,对所述红外光光源3进行拍摄得到的图像信息、对应肢体部位采集的加速度信息和角速度信息、以及对应肢体部位采集的相对磁北极的方位信息。
S3:基于S2每一红外相机132获取的图像信息,通过相机实时标定算法得到在世界坐标系下的每一红外相机132的实时参数信息;
S4:基于S2每一惯性传感器131及对应的磁力计133获取的加速度信息、角速度信息、以及方位信息,通过姿态解算算法得到在世界坐标系下的,每一惯性传感器131对应肢体部位的姿态角度信息;
S5:基于S3得到的每一红外相机132的实时参数信息,对S4得到的与该红外相机132对应的惯性传感器131的姿态角度信息进行融合校正;若基于S3红外相机132得到的图像信息不完整,则将与该红外相机132对应的惯性传感器131得到的姿态角度信息对其进行补充;
S6:将S5校正后的红外相机132的位置信息与其对应的惯性传感器131校正后的加速度信息、姿态角度信息经经卡尔曼滤波算法进行整合,并实时同步传送至智能终端2。
其中,所述红外相机132的实时参数信息包括红外相机132的姿态角度信息及位置信息;所述相机实时标定算法包括:
S31:基于S1获得的图像信息,过滤图像中的干扰光点,得到在该图像中的若干红外光光点的像素坐标、及ID信息;
S32:基于S31获取的若干红外光光点的像素坐标及ID信息,得到在世界坐标系下的,与该若干红外光光点对应的布置于室内四周的红外光光源3的实际位置信息;
S33:基于S32得到的红外光光源3的实际位置信息、像素坐标,依据三维视觉约束条件建立的方程,计算红外相机132的实时参数信息;
S34:基于红外相机132拍摄的连续若干帧图像得到的实时参数信息进行对比及降噪处理。
所述姿态解算算法包括:
S41:基于S2获取的加速度信息,得到每一所述惯性传感器131对应的捕捉对象肢体部位处的速度信息、位置变化信息;
S42:基于S2获取的角速度信息,得到每一所述惯性传感器131对应的捕捉对象肢体部位处的姿态角度变化信息;
S43:对S41得到惯性传感器131的速度信息、位置变化信息、姿态角度变化信息与惯性传感器131的初始姿态角度信息及初始位置信息进行整合,得到惯性传感器131对应捕捉对象肢体部位处的姿态角度信息及位置信息。
本发明工作原理:
如图2所示,为本发明其中一实施例的捕捉系统的布置示意图,该实施例中,若干红外光光源3布置于室内四周的墙壁上(若干红外光光源作为标志点呈网格式、或其他排列模式,分布于室内四周,也可以3-6个红外标志点一组,很多时间标志点不在一个平面内),且每一红外光光源3的位置及对应ID已经完成标定并储存(以世界坐标系为参考);采集装置1布置于捕捉对象的小腿部,随着捕捉对象的运动,红外相机132会将拍摄到的红外光光源3的图像信息、惯性传感器131将采集到的加速度信息、角速度信息以及磁力计133将采集到的方位信息,传送至主控模块11;主控模块11通过动作捕捉方法,将接收到的信息解析还原成捕捉对象小腿部的姿态角度信息及位置信息(运动轨迹信息);同时,主控模块11还经通信模块12将运动轨迹信息实时传送至智能终端2,以便工作人员及时查看,安装方便、成本低、捕捉效率高。
本发明中的红外光光源3包括红外发光二极管、红外LED灯,或其他能发射红外光线的光点灯具;通信模块12包括wifi通信单元121、蓝牙通信单元122,使用者可根据实际安装环境选择合适的通信单元与智能终端2实现无线通信连接,泛用性强,同时可避免设置大量传输线,导致系统安装复杂、增加成本;智能终端2包括智能手机、平板电脑等其他智能显示设备,工作人员可通过智能终端2实时查看捕捉对象的运动姿态信息,便于及时分析及调整。
本发明将红外相机132、惯性传感器131集成于一采集装置1内,可分别获得捕捉对象的同一肢体部位处的姿态角度变化信息、及位置信息,当红外相机132因拍摄图像不足而导致运动轨迹信息不完整时,可更新替换成惯性传感器131得到的运动轨迹信息,进而提高运动轨迹信息的精度;同时,惯性传感器131因长时间缺乏参考问题,导致采集的运动轨迹不精确,可通过红外相机132采集的运动轨迹信息对其进行校正,解决惯性传感器131的采集数据不精确问题。
本发明中的相机实时标定算法具体包括:
首先,根据捕捉对象的运动类型,标定好整个室内空间的尺寸,将若干红外光光源3布置于空间四周墙壁上(通常采用网格式布置方法),在初始世界坐标系下,每个红外光光源3都预先设置一个ID及与其对应的空间坐标值(X,Y,Z);需要的注意的是,将若干红外光光源3进行布置及标定仅需一次,可适用于不同的捕捉对象的进行动作捕捉,简化操作步骤、泛用性强。
然后,将每一采集装置1穿戴于捕捉对象的肢体部位处,同时捕捉对象开始运动。捕捉对象开设运动后,采集装置1的红外相机132会拍摄捕捉对象周围若干红外光光源3的图像信息,然后对图像进行处理(过滤图像中的干扰点)从而获得红外光光源3在图像中的像素坐标、及对应的ID信息;进而,可根据得到的ID信息得到在世界坐标系下的,与该若干红外光光点对应的布置于室内四周的红外光光源的实际位置信息;依据上述得到的红外光光源的实际位置信息、像素坐标,可根据三维视觉约束条件建立的方程,计算红外相机132的实时参数信息。具体的:
fx、fy、u0、v0由红外相机132的内部结构决定的,故称它们是红外相机132的内部参数。那么红外相机132的内部参数矩阵为:
其中,R,T为红外相机132的外部参数,与红外相机132相对与世界坐标系的方位有关。总之标定红外相机132的过程就是求解A,R,T的过程。
在估计近红外相机132参数初始值时,将近红外相机132看作是理想的针孔模型(如图6至7所示),其镜头畸变系数k=0。此时空间三维点坐标与对应的二维坐标满足线性关系,即满足以下公式:
对于标定中所选用的第Z个特征点满足:
将上面公式展开得到线性方程组
消去Zci,公式变形为:
标定中每个特征点都对应一组式所示的线性方程组,那么n个特征点就可以得到2n个线性方程,通过线性方程组就可以得到矩阵M,从而再分解出近红外相机132的内部参数和外部参数。这就是基于共线方程的直接线性变换法。M中共有12个未知数,那么线性方程组需满足2n>12,即n>6,则标定中至少要有6个特征点才能求解到M。通过以上分析,在标定近红外相机132的过程中可以通过6个近红外标定点算出相机的实时参数。
红外相机132拍摄是100帧每秒,把每帧拍摄的红外光光源3的点保存在一个队列,且每帧图像以及每个红外光光源3的点的特征值(ID、及坐标信息)都保存一个列表,该列表按照红外光光源3点本身所在位置及对应ID固定排列;同时,红外相机132拍摄的每帧图像可能不包含任何红外光光源3的点(红外相机132可能未拍摄到红外光光源3),或者,图像中的光点不足3个或有多个干扰光点,可以通过红外相机132多帧拍摄的连续图像,以及相邻红外光光源3的坐标值、及相应的特征值去前后对比及滤波校正,进而有效地减少噪音误差;如果红外相机132拍摄的连续图像中出现了上述问题,就可以将惯性传感器131采集到运动姿态信息进行更新替换,解决红外相机132拍摄不足导致运动轨迹信息不完整的问题。
本发明中的姿态解算算法具体包括:
首先通过惯性传感器131采集与其对应捕捉对象肢体部位处的加速度信息、角速度信息,通过磁力计133采集对应捕捉对象肢体部位处的相对磁北极的方位信息;然后,对上述采集得到的加速度信息进行积分,得到速度信息,在对速度信息进行积分得到位置变化信息;接着,基于上述采集到的角速度信息及相对磁北极的方位信息,对角速度进行积分得到磁力计133对应捕捉对象肢体部位处的角度变化信息;最后,基于上述得到的速度信息、位置变化信息、角度变化信息与惯性传感器的初始姿态角度信息及初始位置信息进行整合,得到惯性传感器131对应捕捉对象肢体部位处的姿态角度信息及位置信息。
由于惯性传感器131自身存在陀螺仪的低频漂移、误差积累问题、导致采集的捕捉对象姿态角度变化信息及位置信息不精确,故可将与该惯性传感器131位于捕捉对象同一肢体部位处的红外相机132采集的信息,对其进行校正,更新惯性传感器131的积累误差;同时,当红外相机132因拍摄图像不足而导致拍摄信息不完整时,可更新替换成惯性传感器131得到的姿态角度变化信息及位置信息,进而提高运动轨迹信息的精度。
同步实时向智能终端传送具体包括:
因为在捕捉对象放置有多个采集装置1,故每一采集装置1的红外相机132将拍摄的红外光光源3的信息传送至连接的智能设备11会有一定的时间差,故需要基于时钟同步对多个红外相机132进行同步处理;时钟钟同步算法的工作原理如图8所示,首先将同步周期设为1秒,然后将其平均分割成100个时隙,第一个时隙用于发送时钟同步信号,后续99个时隙用于信息传递。在第一个时隙内,基站处于发送状态,依序给其他5个采集装置1(红外相机132)发送同步信号,内容包含了基站时间戳和节点序号。此时采集装置1处于接收状态,通过节点序号识别本节点的时钟同步信息,并且为了避免在后续的99个时隙内出现发送冲突的显现,需根据时间戳计算后续时隙的数据发送时间,而基站只需一直处于接收状态即可。
本申请中,多个采集装置同时连接智能终端,数据需要同步好,这样可以同时获取多个肢体部位的运动学参数,比如下肢的步态分析。
以上仅为本发明的较佳实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种结合惯性和红外的穿戴式动作捕捉系统,其特征在于,包括若干采集装置、智能终端、若干红外光光源;所述若干红外光光源固定布置于室内四周,用于发射红外光;所述若干采集装置设置于捕捉对象相应的肢体部位,且每一采集装置均包括主控模块、通信模块、与主控模块通信连接的采集模块、以及用于为整个采集装置供电的电源;每一采集模块用于拍摄红外光光点的图像信息,和采集捕捉对象与每一采集模块对应肢体部位处的加速度信息、角速度信息以及相对磁北极的方位信息,并将上述采集的信息传送至与其对应的主控模块;每一主控模块用于将与其对应的采集模块采集的上述信息解析还原成该采集模块对应捕捉对象肢体部位的姿态角度信息及位置信息,并分别经对应的通信模块将上述信息实时同步传送至智能终端。
2.根据权利要求1所述的结合惯性和红外的穿戴式动作捕捉系统,其特征在于,所述采集模块包括惯性传感器、红外相机、磁力计;所述惯性传感器用于采集惯性传感器对应捕捉对象肢体部位处的加速度信息、角速度信息;所述磁力计安装于惯性传感器内,用于采集惯性传感器对应捕捉对象肢体部位处的相对磁北极的方位信息;所述红外相机用于拍摄捕捉对象周围的若干红外光光点的图像信息。
3.根据权利要求2所述的结合惯性和红外的穿戴式动作捕捉系统,其特征在于,所述红外光光源包括红外发光二级管、红外LED灯。
4.根据权利要求3所述的结合惯性和红外的穿戴式动作捕捉系统,其特征在于,所述通信模块包括wifi通信单元、蓝牙通信单元。
5.根据权利要求4所述的结合惯性和红外的穿戴式动作捕捉系统,其特征在于,所述智能终端为智能手机、平板电脑、或其他智能显示设备。
6.一种结合惯性和红外的穿戴式动作捕捉方法,其特征在于,包括以下步骤:
S1:建立初始世界坐标系,标定在世界坐标系下的,布置于室内四周的所有红外光光源的位置信息及对应的ID信息;
S2:每一主控模块接收与其对应的红外相机、惯性传感器以及磁力计对应捕捉对象肢体部位运动过程中,对所述红外光光源进行拍摄得到的图像信息、对应肢体部位采集的加速度信息和角速度信息、以及对应肢体部位采集的相对磁北极的方位信息;
S3:基于S2每一红外相机获取的图像信息,通过相机实时标定算法得到在世界坐标系下的每一红外相机的实时参数信息;
S4:基于S2每一惯性传感器及对应的磁力计获取的加速度信息、角速度信息、以及方位信息,通过姿态解算算法得到在世界坐标系下的,每一惯性传感器对应肢体部位的姿态角度信息;
S5:基于S3得到的每一红外相机的实时参数信息,对S4得到的与该红外相机对应的惯性传感器的姿态角度信息进行融合校正;若基于S3红外相机得到的图像信息不完整,则将与该红外相机对应的惯性传感器得到的姿态角度信息对其进行补充;
S6:将S5校正后的红外相机的位置信息与其对应的惯性传感器校正后的加速度信息、姿态角度信息经经卡尔曼滤波算法进行整合,并实时同步传送至智能终端。
7.根据权利要求6所述的结合惯性和红外的穿戴式动作捕捉方法,其特征在于,所述红外相机的实时参数信息包括红外相机的姿态角度信息及位置信息。
8.根据权利要求7所述的结合惯性和红外的穿戴式动作捕捉方法,其特征在于,所述相机实时标定算法包括:
S31:基于S1获得的图像信息,过滤图像中的干扰光点,得到在该图像中的若干红外光光点的像素坐标、及ID信息;
S32:基于S31获取的若干红外光光点的像素坐标及ID信息,得到在世界坐标系下的,与该若干红外光光点对应的布置于室内四周的红外光光源的实际位置信息;
S33:基于S32得到的红外光光源的实际位置信息、像素坐标,依据三维视觉约束条件建立的方程,计算红外相机的实时参数信息;
S34:基于红外相机拍摄的连续若干帧图像得到的实时参数信息进行对比及降噪处理。
9.根据权利要求8所述的结合惯性和红外的穿戴式动作捕捉方法,其特征在于,所述姿态解算算法包括:
S41:基于S2获取的加速度信息,得到每一所述惯性传感器对应的捕捉对象肢体部位处的速度信息、位置变化信息;
S42:基于S2获取的角速度信息,得到每一所述惯性传感器对应的捕捉对象肢体部位处的姿态角度变化信息;
S43:对S41得到惯性传感器的速度信息、位置变化信息、姿态角度变化信息与惯性传感器的初始姿态角度信息及初始位置信息进行整合,得到惯性传感器对应捕捉对象肢体部位处的姿态角度信息及位置信息。
CN201910677843.8A 2019-07-25 2019-07-25 一种结合惯性和红外的穿戴式动作捕捉系统及其方法 Pending CN110393533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910677843.8A CN110393533A (zh) 2019-07-25 2019-07-25 一种结合惯性和红外的穿戴式动作捕捉系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910677843.8A CN110393533A (zh) 2019-07-25 2019-07-25 一种结合惯性和红外的穿戴式动作捕捉系统及其方法

Publications (1)

Publication Number Publication Date
CN110393533A true CN110393533A (zh) 2019-11-01

Family

ID=68326156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910677843.8A Pending CN110393533A (zh) 2019-07-25 2019-07-25 一种结合惯性和红外的穿戴式动作捕捉系统及其方法

Country Status (1)

Country Link
CN (1) CN110393533A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091587A (zh) * 2019-11-25 2020-05-01 武汉大学 一种基于视觉标志物的低成本动作捕捉方法
CN111862242A (zh) * 2020-07-29 2020-10-30 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN113327289A (zh) * 2021-05-18 2021-08-31 中山方显科技有限公司 一种多源异构传感器的同时内外参标定方法
CN114562993A (zh) * 2022-02-28 2022-05-31 联想(北京)有限公司 一种轨迹处理方法、装置及电子设备
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
WO2023060999A1 (zh) * 2021-10-11 2023-04-20 深圳市瑞立视多媒体科技有限公司 一种基于光惯融合原理的无线手柄交互系统
CN116436947A (zh) * 2023-04-14 2023-07-14 河北师范大学 双向飞碟运动信息采集系统、处理方法和上位机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894394A (zh) * 2010-07-21 2010-11-24 南昌航空大学 基于红外多目视觉约束的流场重建方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN107437258A (zh) * 2016-05-27 2017-12-05 株式会社理光 特征提取方法、运动状态估计方法以及运动状态估计装置
CN109000633A (zh) * 2017-06-06 2018-12-14 大连理工大学 基于异构数据融合的人体姿态动作捕捉算法设计
CN109528208A (zh) * 2018-11-08 2019-03-29 北京诺亦腾科技有限公司 一种光学与惯性混合动作捕捉系统
CN109785381A (zh) * 2018-12-06 2019-05-21 苏州炫感信息科技有限公司 一种光学惯性融合空间定位方法、定位设备及定位系统
CN109798891A (zh) * 2019-01-25 2019-05-24 上海交通大学 基于高精度动作捕捉系统的惯性测量单元标定系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894394A (zh) * 2010-07-21 2010-11-24 南昌航空大学 基于红外多目视觉约束的流场重建方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN107437258A (zh) * 2016-05-27 2017-12-05 株式会社理光 特征提取方法、运动状态估计方法以及运动状态估计装置
CN109000633A (zh) * 2017-06-06 2018-12-14 大连理工大学 基于异构数据融合的人体姿态动作捕捉算法设计
CN109528208A (zh) * 2018-11-08 2019-03-29 北京诺亦腾科技有限公司 一种光学与惯性混合动作捕捉系统
CN109785381A (zh) * 2018-12-06 2019-05-21 苏州炫感信息科技有限公司 一种光学惯性融合空间定位方法、定位设备及定位系统
CN109798891A (zh) * 2019-01-25 2019-05-24 上海交通大学 基于高精度动作捕捉系统的惯性测量单元标定系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋敏 等: "《高动态下捷联惯性导航算法误差分析与优化方法研究》", 28 February 2017, 国防工业出版社 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091587A (zh) * 2019-11-25 2020-05-01 武汉大学 一种基于视觉标志物的低成本动作捕捉方法
CN111091587B (zh) * 2019-11-25 2022-02-01 武汉大学 一种基于视觉标志物的低成本动作捕捉方法
CN111862242A (zh) * 2020-07-29 2020-10-30 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN111862242B (zh) * 2020-07-29 2023-11-03 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法
CN113327289A (zh) * 2021-05-18 2021-08-31 中山方显科技有限公司 一种多源异构传感器的同时内外参标定方法
WO2023060999A1 (zh) * 2021-10-11 2023-04-20 深圳市瑞立视多媒体科技有限公司 一种基于光惯融合原理的无线手柄交互系统
CN114562993A (zh) * 2022-02-28 2022-05-31 联想(北京)有限公司 一种轨迹处理方法、装置及电子设备
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
WO2023221524A1 (zh) * 2022-05-20 2023-11-23 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
CN116436947A (zh) * 2023-04-14 2023-07-14 河北师范大学 双向飞碟运动信息采集系统、处理方法和上位机
CN116436947B (zh) * 2023-04-14 2023-09-19 河北师范大学 双向飞碟运动信息采集系统、处理方法和上位机

Similar Documents

Publication Publication Date Title
CN110393533A (zh) 一种结合惯性和红外的穿戴式动作捕捉系统及其方法
CN110261823B (zh) 基于单个led灯的可见光室内通信定位方法及系统
CN106681510B (zh) 位姿识别装置、虚拟现实显示装置以及虚拟现实系统
CN104217439B (zh) 一种室内视觉定位系统及方法
JP5912059B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN105940390B9 (zh) 用于同步从设备的多个传感器接收的数据的方法和系统
CN108846867A (zh) 一种基于多目全景惯导的slam系统
CN110230983A (zh) 抗振式光学三维定位方法及装置
US11525883B2 (en) Acquisition equipment, sound acquisition method, and sound source tracking system and method
CN111091587B (zh) 一种基于视觉标志物的低成本动作捕捉方法
CN109374008A (zh) 一种基于三目摄像头的图像采集系统及方法
CN103957354B (zh) 一种移动终端及其引导拍照的方法和装置
CN108151738B (zh) 带姿态解算的可编码主动光标识球
CN105915856A (zh) 无人机电力巡线影像数据采集及处理系统
US20220272235A1 (en) Electronic tracking device for camera and related system for controlling image output of the camera
CN107027014A (zh) 一种动向智能投影系统及其方法
CN108507561A (zh) 一种基于移动终端的vlc与imu融合定位方法
CN108955682A (zh) 手机室内定位导航方法
US11585931B2 (en) Light direction detector systems and methods
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
CN107193380B (zh) 一种高精度虚拟现实定位系统
CN106131419A (zh) 一种用于同步多个无线摄像设备的方法和系统及虚拟现实系统
CN110221691A (zh) 一种沉浸式虚拟体验方法、系统及装置
CN108762488A (zh) 一种基于无线人体动作捕捉和光学定位的单基站便携式vr系统
CN108564623A (zh) 一种主动光学定位方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191101