CN111091587A - 一种基于视觉标志物的低成本动作捕捉方法 - Google Patents

一种基于视觉标志物的低成本动作捕捉方法 Download PDF

Info

Publication number
CN111091587A
CN111091587A CN201911164624.6A CN201911164624A CN111091587A CN 111091587 A CN111091587 A CN 111091587A CN 201911164624 A CN201911164624 A CN 201911164624A CN 111091587 A CN111091587 A CN 111091587A
Authority
CN
China
Prior art keywords
coordinate system
acquisition module
data acquisition
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911164624.6A
Other languages
English (en)
Other versions
CN111091587B (zh
Inventor
旷俭
葛雯斐
牛小骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201911164624.6A priority Critical patent/CN111091587B/zh
Publication of CN111091587A publication Critical patent/CN111091587A/zh
Application granted granted Critical
Publication of CN111091587B publication Critical patent/CN111091587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种基于视觉标志物的低成本动作捕捉方法，包括：布设用于动作捕捉的环境；将数据采集模块固定在有动作捕捉需求的对象的各个节点上；被捕捉对象在动作捕捉环境中进行运动，各个节点处的数据采集模块中的摄像头获取图像数据、惯性测量单元获取加速度计和陀螺仪原始数据，对数据采集模块获取到的数据进行融合，得到被捕捉对象各个节点的精确位姿信息。由于本发明布设简单、采集模块价格低廉，因此本发明具有低成本的特点。本发明中各个采集模块可独立工作，主动测量，因此可以同时进行多对象、多节点的运动捕捉。由于惯性测量单元的更新频率高，因此本发明方法可以高频更新被捕捉对象各个节点的位置和姿态，具有很高的实用价值。

Description

一种基于视觉标志物的低成本动作捕捉方法
技术领域
本发明涉及动作捕捉领域，具体涉及一种基于视觉标志物的低成本动作捕捉方法。
背景技术
动作捕捉(MOCAP)系统在电影电视特效行业，游戏行业，医疗康复与矫正行业，教育行业等都有应用需求，但是由于目前动作捕捉技术的限制，市面上常见的动作捕捉设备由于其价格、捕捉精度、安装难易程度等方面各有不足，并不能很好地满足各行业的需求。目前常见的动态捕捉方法有基于红外或激光的光学动作捕捉技术，光学式动作捕捉依靠一整套精密而复杂的光学摄像头来实现，它通过计算机视觉原理，由多个高速摄像机从不同角度对目标特征点进行跟踪来完成全身的动作的捕捉。其缺点在于成本高昂、标定困难且当目标被遮挡时无法进行工作。基于电磁的动作捕捉技术通过测量每台发射器和接收器的三个正交线圈的磁通量来计算目标位置和方向。磁系统只需要光学设备三分之二的标记物。电磁式动作捕捉系统的一个缺点是标记物容易受到周围金属物体以及电源所释放的磁电干扰的影响，而这种磁电干扰会导致系统容易出错，并且需要较多的数据清理和专业操作技术，导致使用空间受限，并且出现实时滞后问题。基于惯性测量的动作捕捉技术多采用MEMS三轴陀螺仪、三轴加速度计和三轴磁力计组成的惯性测量单元(IMU，InertialMeasurement Unit)来测量传感器的运动参数。而由IMU所测得的传感器运动参数有严重噪声干扰，MEMS器件又存在明显的零偏和漂移，惯性式动作捕捉系统无法长时间进行精确的跟踪。只有解决了这一个问题，才能使惯性式动作捕捉系统充分发挥作用。
发明内容
本发明针对现有技术中存在的上述不足，提出一种基于视觉标志物的低成本动作捕捉方法，该方法充分结合了主动式光学动作捕捉和基于惯性测量的动作捕捉技术的优势，解决了传统动作捕捉系统布设成本高、标定复杂、易受干扰等问题，且能够不随时间发散地提供被捕捉对象各个节点精确的位置和姿态，在实际应用中具有很大的优势。
本发明所采用的技术方案为一种基于视觉标志物的低成本动作捕捉方法，所述视觉标志物是指具有特定结构的能被计算机识别、区分并获取内部信息的特殊图形，包括但不限于：二维码、经过特殊编码的广告、字画等。所述数据采集模块包含惯性测量单元和摄像头。惯性测量单元用于获取测量节点处加速度计和陀螺仪的数据，摄像头用于拍摄环境图像。本发明技术方案包含以下步骤：
步骤S1，布设用于动作捕捉的环境：选择一个合适的空间，在该空间内布设用于动作捕捉的视觉标志物，测定视觉标志物在世界坐标系下的位姿数据；
步骤S2，将数据采集模块固定在有动作捕捉需求的对象的各个节点上；
所述数据采集模块包括惯性测量单元、摄像头、数据存储单元、通信单元、电池，其中惯性测量单元获取陀螺仪和加速度计原始数据，摄像头用于拍摄环境图像，惯性测量单元和摄像头采集到的数据存储在数据储存单元，或者由通信单元通过无线信号传输的方式集中发送到同一台计算机中进行存储，通信单元用于接受计算机发出的指令进行启动、时间同步、结束采集，电池用于供电；
步骤S3，获取被捕捉对象各个节点的位姿信息，并对各个数据采集模块获取到的数据进行数据融合处理，得到被捕捉对象各个节点的位姿信息。
进一步的，步骤1中所述视觉标志物为二维码。
进一步的，步骤1中利用全站仪测定每一个视觉标志物在世界坐标系下的位置和姿态，其中世界坐标系是不随被捕捉对象的运动而变化的。
进一步的，步骤S3的具体实现方式如下，
首先，定义以下坐标系：世界坐标系是指运动捕捉对象的运动的参考坐标系，记为e系；对于第i个数据采集模块，i＝1,2,3…n，定义相机坐标系ci系、惯性测量单元量测值所在的坐标系bi系、数据采集模块坐标系mi系，相机坐标系ci系原点位于当前第i个数据采集模块上的摄像头的光学中心，x轴沿摄像头镜头方向向右，y轴沿镜头方向向下，z轴沿镜头方向向后；与相机坐标系紧密联系的是像平面坐标系，像平面坐标系是一种二维平面坐标系(u，v)，其观测量以像素为单位，该坐标系的原点位于影像左上角，x轴沿影像的上边缘向右，y轴沿影像的左边缘向下；第i个数据采集模块的惯性测量单元量测值所在坐标系bi系原点在IMU中心，x轴沿数据采集模块向前，y轴沿数据采集模块向右，z轴垂直向下；数据采集模块坐标系mi系与惯性测量单元量测值所在的坐标系bi系重合；
1)在初始时刻，数据采集模块的摄像头获取图像数据，对第一帧图像数据进行畸变校正得到无畸变的环境图像；然后利用图像处理算法检测畸变校正后图像中是否含有视觉标志物，如果没有，继续获取下一帧图像数据并进行上述处理，直至在图像中检测到视觉标志物；如果有，检测到的视觉标志物的数量为N，进一步获取每一个视觉标志物中心点的图像坐标(uk,vk)，下标k表示第k个视觉标志物，其中1≤k≤N；对每一个视觉标志物进行解码获取该视觉标志物的编号，根据编号查询其对应的世界坐标，得到每一个视觉标志物中心点pk的世界坐标
Figure BDA0002287089770000031
即点pk在e系的坐标投影到e系下的三轴分量的大小，下标x表示三维世界坐标的x轴分量，下标epk表示当前坐标为点pk在e系下的坐标；上标e表示坐标在e系下的投影；当N≥4时，通过相机投影透视模型结合相机内参，利用PnP算法求得相机坐标系c系到世界坐标系e系的旋转矩阵
Figure BDA0002287089770000032
和平移向量
Figure BDA0002287089770000033
并根据下式得到初始时刻数据采集模块的位置
Figure BDA0002287089770000034
和姿态
Figure BDA0002287089770000035
的初始值：
Figure BDA0002287089770000036
Figure BDA0002287089770000037
其中，IMU坐标系b系到相机坐标系c系的旋转矩阵
Figure BDA0002287089770000038
和平移向量
Figure BDA0002287089770000039
通过提前标的获得，是不随时间变化的已知量；
2)初始化完成后，利用经典捷联惯导算法对IMU获取的陀螺仪和加速度计的原始数据进行处理，以t时刻为例，捷联惯导算法给出t时刻数据采集模块的位置估计值
Figure BDA00022870897700000310
和姿态估计值
Figure BDA00022870897700000311
3)根据各个时刻摄像机采集到的环境图像中的视觉标志物的图像坐标以及其世界坐标的对应关系，对捷联惯导算法计算得到的数据采集模块的位置和姿态的估计值进行修正，得到修正后的数据采集模块的精确位置和姿态；
根据下式由IMU位置、姿态的估计值预测第k个视觉标志物中心点pk在图像中的像素坐标的估计值
Figure BDA00022870897700000312
Figure BDA00022870897700000313
Figure BDA00022870897700000314
其中，f表示相机内部参数焦距，u0,v0表示相机内方位元素中的像主点坐标，
Figure BDA00022870897700000315
是点pk在相机坐标系c系下的坐标在c系中的投影，
Figure BDA00022870897700000316
是
Figure BDA00022870897700000317
的三轴分量；
同时，由图像处理算法提取第k个视觉标志物中心点pk的图像坐标的观测值
Figure BDA0002287089770000041
与pk的真实图像坐标(uk,vk)之间满足如下关系式：
Figure BDA0002287089770000042
其中(εu,εv)为观测误差，根据N个视觉标志物中心点的图像坐标的估计值和观测值的对应关系，利用滤波算法计算得到数据采集模块的精确位置和姿态。
进一步的，所述滤波算法包括扩展卡尔曼滤波、粒子滤波算法。
进一步的，还包括利用滤波反向平滑算法对精确位置和姿态进行处理，进一步提升所有时刻的位置和姿态估计精度。
本发明的优点在于：
1)本发明所述动作捕捉环境布设简单、数据采集模块价格低廉、安装成本低、效率高；
2)本发明中各个数据采集模块独立工作，主动测量，可以同时进行多对象、多节点的运动捕捉；
3)本发明布设的动作捕捉环境中的视觉标志物的世界坐标提前测定，因此在进行数据融合时图像数据可以对捷联惯导算法的预测结果进行绝对修正，定位结果精度高且定位结果的精度不随运动时间的推移而发散；
4)由于惯性测量单元的更新频率高，因此本发明方法可以高频更新被捕捉对象各个节点的位置和姿态，具有很高的实用价值。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于视觉标志物的低成本动作捕捉方法的流程图；
图2为本发明实施例中采用的二维码视觉标志物的示意图；
图3为本发明实施例中将数据采集模块固定在被捕捉对象各个节点上的示意图；
图4为本发明实施例中相机透视投影模型示意图。
具体实施方式
以下结合附图和实施例详细说明本发明的技术方案。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明实施例提供了一种基于视觉标志物的低成本动作捕捉方法，所述视觉标志物是指具有特定结构的能被计算机识别、区分并获取内部信息的特殊图形，包括但不限于：二维码、经过特殊编码的广告、字画等。在本实施例中，以具有特殊编码规则的二维码作为视觉标志物为例进行说明，所述二维码标志物如图2所示。
在本实施例中，定义以下几个坐标系。世界坐标系是指运动捕捉对象的运动的参考坐标系，记为e系。使用者根据不同的需求可定义不同的世界坐标系，且在一次动作捕捉运动过程中世界坐标系e系是不随被捕捉对象的运动而变化的，因此在世界坐标系e系下分析被捕捉对象各个节点在三维世界中的运动，更加直观也方便理解。世界坐标系的原点、三轴方向在布设动作捕捉环境之前由用户选定，可以选大地直角坐标系等常用的地球坐标系，也可以以房间的某个角落作为原点，房间的垂直墙体与地面作为三个坐标轴方向建立的室内三维坐标系作为该动作捕捉实施方案的世界坐标系，只要该坐标系的原点、轴向是用户已知的，且在运动捕捉过程中不变即可。
在本实施例中，一个数据采集模块包含一个惯性测量单元和一个摄像头。对于第i(i＝1,2,3…n)个数据采集模块，定义相机坐标系ci系、惯性测量单元量测值所在的坐标系bi系、数据采集模块坐标系mi系。相机坐标系ci系原点位于当前第i个数据采集模块上的摄像头的光学中心，x轴沿摄像头镜头方向向右，y轴沿镜头方向向下，z轴沿镜头方向向后。此外，与相机坐标系紧密联系的是像平面坐标系。像平面坐标系是一种二维平面坐标系(u，v)，其观测量以像素为单位。该坐标系的原点位于影像左上角，x轴沿影像的上边缘向右，y轴沿影像的左边缘向下。第i个数据采集模块的惯性测量单元(Inertial MeasurementUnit，IMU)量测值所在坐标系bi系原点在IMU中心，x轴沿数据采集模块向前，y轴沿数据采集模块向右，z轴垂直向下。数据采集模块坐标系mi系定义了第i个数据采集模块的位置参考点以及姿态参考方向，是位置、姿态所描述的对象。在本实施例中不加区分，认为数据采集模块坐标系mi系与惯性测量单元量测值所在的坐标系bi系重合。
在本实施例中，将对本发明所采用的技术方案的实现过程进行详细说明。具体包括以下步骤：
S1布设用于动作捕捉的环境：选择一个合适的空间，在该空间内布设用于动作捕捉的视觉标志物，并测定视觉标志物在世界坐标系下的位姿数据；
在一较佳实施例中，上述合适的空间为一个专门用来进动作捕捉的房间，在该房间的墙壁以及天花板上张贴所述二维码标志物，利用全站仪等设备测定每一个二维码标志物在世界坐标系下的位置和姿态。同时，由于每一个二维码标志物具有独立的编号对应独特的编码，因此可以得到每一个二维码的编号及其在世界坐标系的位姿，如图2为两个不同编号的二维码标志物。张贴的二维码标志物可具有不同的大小、方向、间距，这些都不影响系统的正常工作，但是为了保证动作捕捉的精度的稳定性，在实际操作时可以选择进行均匀、有规律地张贴二维码标志物，同时，有规律的张贴也方便测量各个二维码标志物在世界坐标系的位姿数据。二维码标志物最佳大小的选取与房间的大小、数据采集模块上摄像头的分辨率等有关，在本实施例中，选用边长20cm的正方形二维码标志物。在同等条件下，二维码标志物的数量越多，动作捕捉的视觉特征越丰富，捕捉精度越高。
S2将数据采集模块固定在有动作捕捉需求的对象的各个节点上；
在一较佳实施例中，上述有动作捕捉需求的对象为人体，将数据采集模块固定在人体的各个关节以研究人体的运动，如图3所示。所述数据采集模块由惯性测量单元、摄像头、数据存储单元、通信单元、电池等组成，惯性测量单元获取陀螺仪和加速度计原始数据，摄像头拍摄环境图像。惯性测量单元和摄像头采集到的数据可存储在数据储存单元即模块内置的存储卡中，也可以由通信单元通过无线信号(WiFi、蓝牙等)传输的方式集中发送到同一台计算机中进行存储。通信单元也用于接受计算机发出的指令进行启动、时间同步、结束采集等工作。电池用于给整个数据采集模块供电。
选择轻量级的惯性测量单元、摄像头、电池等，使得数据采集模块的体积很小，可以通过粘贴、绑定等方式轻松固定在关节节点处。数据采集模块的摄像头提前进行标定，获取相机内部参数和畸变参数，每一个数据采集模块的相机坐标系和IMU坐标系之间的转换关系由生产时的标定结果给出。
S3获取被捕捉对象各个节点的位姿信息：被捕捉对象在S1所述动作捕捉环境中进行运动，数据采集模块在各个节点处采集数据，对数据采集模块获取到的数据进行处理，得到被捕捉对象各个节点的位姿信息。
在一较佳实施例中，被捕捉对象在S1所述的布设了二维码标志物的房间中随意运动，通过手机、电脑等上位机对被捕捉对象所有节点处的数据采集模块发送采集指令，各个数据采集模块的通信单元收取指令并完成时间同步。时间同步完成后，各个数据采集模块独立进行数据采集、储存。单次运动捕捉运动完成后，再由手机、电脑等上位机对被捕捉对象所有节点处的数据采集模块发送结束指令，各个数据采集模块的通信单元收取指令并结束数据采集。数据采集模块采集到的数据可存储在模块内置的存储卡，也可以通过无线信号(WiFi、蓝牙等)传输的方式集中发送到同一台上位机中进行存储。
数据采集模块采集到运动数据之后，对采集模块获取到的数据进行融合处理。下面以一个数据采集模块的数据为例介绍数据融合的具体方法：
1)在初始时刻，数据采集模块的摄像头获取图像数据，对第一帧图像数据进行畸变校正得到无畸变的环境图像(范勇,张佳成,陈念年,et al.图像几何畸变校正方法[J].计算机工程与应用,2009(29):198-201.)。进一步地，利用图像处理算法检测畸变校正后图像中是否含有二维码标志物(CN201810016705，利用包含定位二维码的墙体广告的单目视觉定位定姿方法)，如果没有，继续获取下一帧图像数据并进行上述处理，直至在图像中检测到二维码标志物。如果有，检测到的二维码标志物的数量为N，进一步获取每一个二维码标志物中心点的图像坐标(uk,vk)，下标k表示第k个二维码标志物，其中(1≤k≤N)。对每一个二维码标志物进行解码获取该二维码标志物的编号，根据编号查询其对应的世界坐标，得到每一个二维码标志物中心点pk的世界坐标
Figure BDA0002287089770000071
以
Figure BDA0002287089770000072
为例解释该坐标表示方法的含义：下标x表示三维世界坐标的x轴分量，下标epk表示当前坐标为点pk在e系下的坐标；上标e表示坐标在e系下的投影。整体意为：点pk在e系的坐标投影到e系下的三轴分量大小。当N≥4时，利用图4所示相机投影透视模型结合相机内参，利用PnP(Perspective-n-Point)算法求得相机坐标系c系到世界坐标系e系的旋转矩阵
Figure BDA0002287089770000073
和平移向量
Figure BDA0002287089770000074
(VincentLepetit,Francesc Moreno-Noguer,Pascal Fua.EPnP:An AccurateO(n)Solution to thePnP Problem[J].81(2):155-166.)。由于IMU坐标系b系到相机坐标系c系的旋转矩阵
Figure BDA0002287089770000075
和平移向量
Figure BDA0002287089770000076
由提前标定获得，是不随时间变化的已知量，因此可以根据下式得到初始时刻数据采集模块的位置
Figure BDA0002287089770000077
和姿态
Figure BDA0002287089770000078
的初始值：
Figure BDA0002287089770000079
Figure BDA00022870897700000710
2)初始化完成后，利用经典捷联惯导算法对IMU获取的陀螺仪和加速度计的原始数据进行处理(严恭敏，翁浚.捷联惯导算法与组合导航原理[M].西安，西北工业大学出版社，2019)。以t时刻为例，捷联惯导算法给出t时刻数据采集模块的位置估计值
Figure BDA0002287089770000081
和姿态估计值
Figure BDA0002287089770000082
3)根据各个时刻摄像机采集到的环境图像中的视觉标志物的图像坐标以及其世界坐标的对应关系，对捷联惯导算法计算得到的数据采集模块的位置和姿态的估计值进行修正，得到修正后的数据采集模块的精确位置和姿态。
在一较佳实施例中，采用紧耦合的方式对图像数据和惯性测量单元得到的数据进行融合。紧耦合算法利用畸变校正后图像中二维码标志物中心点的图像坐标作为原始观测量，与捷联惯导算法给出的估计结果直接进行数据融合，此时观测到的二维码标志物的数量N可以小于4，N≥1。在时间同步的条件下，t时刻捷联惯导算法给出数据采集模块的位置估计值
Figure BDA0002287089770000083
和姿态估计值
Figure BDA0002287089770000084
同时，IMU坐标系b系到相机坐标系c系的旋转矩阵
Figure BDA0002287089770000085
和平移向量
Figure BDA0002287089770000086
第k个二维码标志物中心点pk的世界坐标
Figure BDA0002287089770000087
相机内部参数焦距f、相机内方位元素中的像主点坐标u0,v0均为已知量，根据下式由IMU位置、姿态的估计值预测第k个二维码标志物中心点pk在图像中的像素坐标的估计值
Figure BDA0002287089770000088
Figure BDA0002287089770000089
Figure BDA00022870897700000810
其中
Figure BDA00022870897700000811
是点pk在相机坐标系c系下的坐标在c系中的投影，
Figure BDA00022870897700000812
是
Figure BDA00022870897700000813
的三轴分量。
同时，由图像处理算法提取第k个二维码标志物中心点pk的图像坐标的观测值
Figure BDA00022870897700000814
与pk的真实图像坐标(uk,vk)之间满足如下关系式：
Figure BDA00022870897700000815
其中(εu,εv)为观测误差，其随机模型可建模为高斯白噪声(吴云.最优估计与假设检验理论及其在GNSS中的应用[M].北京，科学出版社，2015)。在没有误差的理想情况下，应满足观测值
Figure BDA0002287089770000091
＝估计值
Figure BDA0002287089770000092
此时根据公式(3)和(4)可以求出数据采集模块位置
Figure BDA0002287089770000093
和姿态
Figure BDA0002287089770000094
的无误差真实值。但是实际情况中，估计值是有误差的，观测值受到噪声干扰也是有误差的，由于系统含有噪声，所以无法根据观测值直接求解数据采集模块位置和姿态的解析解，而必须按照数理统计的方法进行统计求解。因此在实际处理中，常利用扩展卡尔曼滤波(吴云.最优估计与假设检验理论及其在GNSS中的应用[M].北京，科学出版社，2015)、粒子滤波(王法胜,鲁明羽,赵清杰,et al.粒子滤波算法[J].计算机学报,2014,37(8):1679-1694.)等滤波算法计算得到数据采集模块的精确位置和姿态。
4)在单次动作捕捉运动完成后，可使用滤波反向平滑等算法(严恭敏，翁浚.捷联惯导算法与组合导航原理[M].西安，西北工业大学出版社，2019)进一步提升所有时刻的位置和姿态估计精度。
5)特别地，可根据上述步骤分别计算不同数据采集模块的位置和姿态，即分别获得动作捕捉对象各个节点的位置和姿态。也可以根据同一被捕捉对象上不同数据采集模块之间的安装关系约束，进一步提升结果的精度。以人体进行动作捕捉为例，安装在人体两侧肩膀的数据采集模块之间的距离以及相对姿态基本上不变、安装在手腕和手肘的数据采集模块之间的距离以及相对姿态基本上不变等，利用这些先验信息对结果进行约束，提升滤波精度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于视觉标志物的低成本动作捕捉方法，其特征在于，包括如下步骤：
步骤S1，布设用于动作捕捉的环境：选择一个合适的空间，在该空间内布设用于动作捕捉的视觉标志物，测定视觉标志物在世界坐标系下的位姿数据；
步骤S2，将数据采集模块固定在有动作捕捉需求的对象的各个节点上；
所述数据采集模块包括惯性测量单元、摄像头、数据存储单元、通信单元、电池，其中惯性测量单元获取陀螺仪和加速度计原始数据，摄像头用于拍摄环境图像，惯性测量单元和摄像头采集到的数据存储在数据储存单元，或者由通信单元通过无线信号传输的方式集中发送到同一台计算机中进行存储，通信单元用于接受计算机发出的指令进行启动、时间同步、结束采集，电池用于供电；
步骤S3，获取被捕捉对象各个节点的位姿信息，并对各个数据采集模块获取到的数据进行数据融合处理，得到被捕捉对象各个节点的位姿信息。
2.如权利要求1所述的一种基于视觉标志物的低成本动作捕捉方法，其特征在于：步骤1中所述视觉标志物为二维码。
3.如权利要求1所述的一种基于视觉标志物的低成本动作捕捉方法，其特征在于：步骤1中利用全站仪测定每一个视觉标志物在世界坐标系下的位置和姿态，其中世界坐标系是不随被捕捉对象的运动而变化的。
4.如权利要求1所述的一种基于视觉标志物的低成本动作捕捉方法，其特征在于：步骤S3的具体实现方式如下，
首先，定义以下坐标系：世界坐标系是指运动捕捉对象的运动的参考坐标系，记为e系；对于第i个数据采集模块，i＝1,2,3…n，定义相机坐标系ci系、惯性测量单元量测值所在的坐标系bi系、数据采集模块坐标系mi系，相机坐标系ci系原点位于当前第i个数据采集模块上的摄像头的光学中心，x轴沿摄像头镜头方向向右，y轴沿镜头方向向下，z轴沿镜头方向向后；与相机坐标系紧密联系的是像平面坐标系，像平面坐标系是一种二维平面坐标系(u，v)，其观测量以像素为单位，该坐标系的原点位于影像左上角，x轴沿影像的上边缘向右，y轴沿影像的左边缘向下；第i个数据采集模块的惯性测量单元量测值所在坐标系bi系原点在IMU中心，x轴沿数据采集模块向前，y轴沿数据采集模块向右，z轴垂直向下；数据采集模块坐标系mi系与惯性测量单元量测值所在的坐标系bi系重合；
1)在初始时刻，数据采集模块的摄像头获取图像数据，对第一帧图像数据进行畸变校正得到无畸变的环境图像；然后利用图像处理算法检测畸变校正后图像中是否含有视觉标志物，如果没有，继续获取下一帧图像数据并进行上述处理，直至在图像中检测到视觉标志物；如果有，检测到的视觉标志物的数量为N，进一步获取每一个视觉标志物中心点的图像坐标(uk,vk)，下标k表示第k个视觉标志物，其中1≤k≤N；对每一个视觉标志物进行解码获取该视觉标志物的编号，根据编号查询其对应的世界坐标，得到每一个视觉标志物中心点pk的世界坐标
Figure FDA0002287089760000021
即点pk在e系的坐标投影到e系下的三轴分量的大小，下标x表示三维世界坐标的x轴分量，下标epk表示当前坐标为点pk在e系下的坐标；上标e表示坐标在e系下的投影；当N≥4时，通过相机投影透视模型结合相机内参，利用PnP算法求得相机坐标系c系到世界坐标系e系的旋转矩阵
Figure FDA0002287089760000022
和平移向量
Figure FDA0002287089760000023
并根据下式得到初始时刻数据采集模块的位置
Figure FDA0002287089760000024
和姿态
Figure FDA0002287089760000025
的初始值：
Figure FDA0002287089760000026
Figure FDA0002287089760000027
其中，IMU坐标系b系到相机坐标系c系的旋转矩阵
Figure FDA0002287089760000028
和平移向量
Figure FDA0002287089760000029
通过提前标的获得，是不随时间变化的已知量；
2)初始化完成后，利用经典捷联惯导算法对IMU获取的陀螺仪和加速度计的原始数据进行处理，以t时刻为例，捷联惯导算法给出t时刻数据采集模块的位置估计值
Figure FDA00022870897600000210
和姿态估计值
Figure FDA00022870897600000211
3)根据各个时刻摄像机采集到的环境图像中的视觉标志物的图像坐标以及其世界坐标的对应关系，对捷联惯导算法计算得到的数据采集模块的位置和姿态的估计值进行修正，得到修正后的数据采集模块的精确位置和姿态；
根据下式由IMU位置、姿态的估计值预测第k个视觉标志物中心点pk在图像中的像素坐标的估计值
Figure FDA00022870897600000212
Figure FDA00022870897600000213
Figure FDA0002287089760000031
其中，f表示相机内部参数焦距，u0,v0表示相机内方位元素中的像主点坐标，
Figure FDA0002287089760000032
是点pk在相机坐标系c系下的坐标在c系中的投影，
Figure FDA0002287089760000033
是
Figure FDA0002287089760000034
的三轴分量；
同时，由图像处理算法提取第k个视觉标志物中心点pk的图像坐标的观测值
Figure FDA0002287089760000035
与pk的真实图像坐标(uk,vk)之间满足如下关系式：
Figure FDA0002287089760000036
其中(εu,εv)为观测误差，根据N个视觉标志物中心点的图像坐标的估计值和观测值的对应关系，利用滤波算法计算得到数据采集模块的精确位置和姿态。
5.如权利要求4所述的一种基于视觉标志物的低成本动作捕捉方法，其特征在于：所述滤波算法包括扩展卡尔曼滤波、粒子滤波算法。
6.如权利要求4所述的一种基于视觉标志物的低成本动作捕捉方法，其特征在于：还包括利用滤波反向平滑算法对精确位置和姿态进行处理，进一步提升所有时刻的位置和姿态估计精度。
CN201911164624.6A 2019-11-25 2019-11-25 一种基于视觉标志物的低成本动作捕捉方法 Active CN111091587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164624.6A CN111091587B (zh) 2019-11-25 2019-11-25 一种基于视觉标志物的低成本动作捕捉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164624.6A CN111091587B (zh) 2019-11-25 2019-11-25 一种基于视觉标志物的低成本动作捕捉方法

Publications (2)

Publication Number Publication Date
CN111091587A true CN111091587A (zh) 2020-05-01
CN111091587B CN111091587B (zh) 2022-02-01

Family

ID=70393708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164624.6A Active CN111091587B (zh) 2019-11-25 2019-11-25 一种基于视觉标志物的低成本动作捕捉方法

Country Status (1)

Country Link
CN (1) CN111091587B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363617A (zh) * 2020-10-28 2021-02-12 海拓信息技术(佛山)有限公司 一种人体动作数据的获取方法和装置
CN112461125A (zh) * 2020-10-29 2021-03-09 北京空间机电研究所 一种密闭浮空气球位置姿态光学测量系统及测量方法
CN113124856A (zh) * 2021-05-21 2021-07-16 天津大学 基于uwb在线锚点的视觉惯性紧耦合里程计及计量方法
CN113484172A (zh) * 2021-07-14 2021-10-08 中国烟草总公司郑州烟草研究院 一种用于测量卷烟和滤棒硬度检测设备施压速度的方法
CN113776523A (zh) * 2021-08-24 2021-12-10 武汉第二船舶设计研究所 一种机器人低成本导航定位方法、系统及应用
CN113771042A (zh) * 2021-09-30 2021-12-10 上海景吾智能科技有限公司 基于视觉的移动机器人夹取工具的方法及系统
CN113900516A (zh) * 2021-09-27 2022-01-07 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质
CN115388911A (zh) * 2022-08-24 2022-11-25 Oppo广东移动通信有限公司 光学动作捕捉系统的精度测量方法、装置、电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269145A1 (en) * 2003-04-17 2006-11-30 The University Of Dundee Method and system for determining object pose from images
CN101520902A (zh) * 2009-02-24 2009-09-02 上海大学 低成本动作捕捉与演示系统及方法
CN103674021A (zh) * 2013-11-25 2014-03-26 哈尔滨工业大学 基于捷联惯导与星敏感器的组合导航系统及方法
CN106338991A (zh) * 2016-08-26 2017-01-18 南京理工大学 一种基于惯性导航和二维码的机器人及定位导航方法
CN106790621A (zh) * 2016-12-30 2017-05-31 广州幻境科技有限公司 一种动作捕捉数据的云分享控制方法、及其系统
CN110393533A (zh) * 2019-07-25 2019-11-01 森博迪(深圳)科技有限公司 一种结合惯性和红外的穿戴式动作捕捉系统及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269145A1 (en) * 2003-04-17 2006-11-30 The University Of Dundee Method and system for determining object pose from images
CN101520902A (zh) * 2009-02-24 2009-09-02 上海大学 低成本动作捕捉与演示系统及方法
CN103674021A (zh) * 2013-11-25 2014-03-26 哈尔滨工业大学 基于捷联惯导与星敏感器的组合导航系统及方法
CN106338991A (zh) * 2016-08-26 2017-01-18 南京理工大学 一种基于惯性导航和二维码的机器人及定位导航方法
CN106790621A (zh) * 2016-12-30 2017-05-31 广州幻境科技有限公司 一种动作捕捉数据的云分享控制方法、及其系统
CN110393533A (zh) * 2019-07-25 2019-11-01 森博迪(深圳)科技有限公司 一种结合惯性和红外的穿戴式动作捕捉系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FABIAN HÖFLINGER ET AL.: "Motion capture sensor to monitor movement patterns in animal models of disease", 《2015 IEEE》 *
李飞: "基于惯性测量单元和视觉融合的三维空间定位技术研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363617A (zh) * 2020-10-28 2021-02-12 海拓信息技术(佛山)有限公司 一种人体动作数据的获取方法和装置
CN112461125A (zh) * 2020-10-29 2021-03-09 北京空间机电研究所 一种密闭浮空气球位置姿态光学测量系统及测量方法
CN112461125B (zh) * 2020-10-29 2023-02-28 北京空间机电研究所 一种密闭浮空气球位置姿态光学测量系统及测量方法
CN113124856A (zh) * 2021-05-21 2021-07-16 天津大学 基于uwb在线锚点的视觉惯性紧耦合里程计及计量方法
CN113124856B (zh) * 2021-05-21 2023-03-14 天津大学 基于uwb在线锚点的视觉惯性紧耦合里程计及计量方法
CN113484172A (zh) * 2021-07-14 2021-10-08 中国烟草总公司郑州烟草研究院 一种用于测量卷烟和滤棒硬度检测设备施压速度的方法
CN113776523A (zh) * 2021-08-24 2021-12-10 武汉第二船舶设计研究所 一种机器人低成本导航定位方法、系统及应用
CN113776523B (zh) * 2021-08-24 2024-03-19 武汉第二船舶设计研究所 一种机器人低成本导航定位方法、系统及应用
CN113900516A (zh) * 2021-09-27 2022-01-07 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质
CN113771042A (zh) * 2021-09-30 2021-12-10 上海景吾智能科技有限公司 基于视觉的移动机器人夹取工具的方法及系统
CN115388911A (zh) * 2022-08-24 2022-11-25 Oppo广东移动通信有限公司 光学动作捕捉系统的精度测量方法、装置、电子设备

Also Published As

Publication number Publication date
CN111091587B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN111091587B (zh) 一种基于视觉标志物的低成本动作捕捉方法
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
CN107255476B (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN110261870A (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
CN110446159A (zh) 一种室内无人机精确定位与自主导航的系统及方法
KR101220527B1 (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
CN108225324B (zh) 一种基于智能终端的地磁匹配与pdr融合的室内定位方法
CN108700947A (zh) 用于并发测距和建图的系统和方法
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
CN109737941B (zh) 一种人体动作捕捉方法
EP4155873A1 (en) Multi-sensor handle controller hybrid tracking method and device
CN104848861B (zh) 一种基于图像消失点识别技术的移动设备姿态测量方法
CN109767470B (zh) 一种跟踪系统初始化方法及终端设备
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN112254729A (zh) 一种基于多传感器融合的移动机器人定位方法
CN111783679A (zh) 一种基于摄像头和imu数据混合的实时全身动捕系统、方法
CN105607760A (zh) 一种基于微惯性传感器的轨迹还原方法及系统
CN112129263B (zh) 一种分离移动式立体测距相机的测距方法
JP2014186004A (ja) 計測装置、方法及びプログラム
CN113674412A (zh) 基于位姿融合优化的室内地图构建方法、系统及存储介质
Daniş et al. An indoor localization dataset and data collection framework with high precision position annotation
Huttunen et al. A monocular camera gyroscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant