CN104731342A - 一种可同时采集捕捉对象面部表情的惯性动作捕捉系统及其运行方法 - Google Patents

Abstract

一种可同时采集捕捉对象面部表情的惯性动作捕捉系统，包括至少一个深度相机、若干个惯性动作采集节点、一个发射节点、汇聚节点及终端机，所述深度相机连接所述发射节点，所述发射节点连接若干个惯性动作采集节点，所述发射节点连接所述汇聚节点，所述汇聚节点连接所述终端机；与现有的技术相比，本发明能有效地同时捕捉人体的肢体动作与面部表情。同时由于单人惯性动作捕捉设备只需一套无线收发模块，与传统的使用15～17个无线收发模块方案相比，减少了系统复杂度，减少了数据延迟，增加了数据传输速率。

Description

一种可同时采集捕捉对象面部表情的惯性动作捕捉系统及其运行方法

技术领域

本发明提出一种可同时采集捕捉对象面部表情的惯性动作捕捉系统及其运行方法，属于动作捕捉及图像处理技术领域。

背景技术

惯性运动捕捉系统(Inertial Motion Capture System)也称为微机电式运动捕捉系统(MEMSMotion Capture System)。惯性运动捕捉系统自出现以来，不断朝着微型化、集成化的方向发展，克服了被大量使用的光学式运动捕捉系统设备昂贵、安装复杂、易受周围环境光照影响、遮挡等问题。惯性运动捕捉系统是运动捕捉系统的一种实现形式。运动捕捉系统自从19世纪80年代出现雏形，到20世纪80年代美国几个大学和实验室开始对其涉及的技术进行理论研究，随着时代的技术进步，主要出现了下面几类运动捕捉系统：机械式、电磁式、声学式、光学式、惯性式。这些运动捕捉系统主要被用在：虚拟现实开发、影视制作、空间导航研究、步态分析、在虚拟环境下对有运动或学习障碍的人提供训练、手势识别、头部追踪、眼球追踪及注意力研究等方面。这些应用场景包括日常生活、国防、工业生产的方方面面，某些领域已经有成熟的产品和应用。

深度相机利用的原理是TOF，TOF是Time of flight的简写，直译为飞行时间。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。

在传统影视动作捕捉中，分为动作捕捉和表情配准两部分，首先通过动作捕捉设备捕捉人物的肢体动作，人物面部表情配准需要后期另外加入。表演者通过观看捕捉到的动作，回忆当时应该做出的表情，通过摄像机采集表情而后与肢体动作进行同步。这种方式不但浪费了大量时间而且还会造成一定程度的失真。

发明内容

针对现有技术的不足，本发明公开了一种可同时采集捕捉对象面部表情的惯性动作捕捉系统；

本发明还公开了上述系统的运行方法；

本发明结合了惯性运动捕捉系统与深度相机，克服了传统影视动作捕捉中人物面部表情需要后期另外加入的问题，同时进行动作和表情捕捉，最大程度的保存表演者的原始动作表情。

本发明的技术方案为：

一种可同时采集捕捉对象面部表情的惯性动作捕捉系统，包括至少一个深度相机、若干个惯性动作采集节点、一个发射节点、汇聚节点及终端机，所述深度相机连接所述发射节点，所述发射节点连接若干个惯性动作采集节点，所述发射节点连接所述汇聚节点，所述汇聚节点连接所述终端机；

所述深度相机用于采集捕捉对象面部区域的信息，为捕捉对象面部区域建立三维模型；

所述惯性动作采集节点用于采集捕捉对象自身局部位置加速度、角速度、磁力强度；

所述发射节点用于收集所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，并将收集到的信息发送至所述汇聚节点，所述发射节点还包括时间同步单元，时间同步单元用于同步所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息；

所述汇聚节点用于实现所述发射节点与所述终端机的无线或有线连接；

所述终端机用于处理并显示所述惯性动作采集节点及所述深度相机采集到的信息。

上述系统使用时，深度相机固定在捕捉对象头部并面向捕捉对象脸部，动作捕捉节点佩戴在捕捉对象关节点之间的骨骼上，发射节点设置在捕捉对象骨盘部位上。

根据本发明优选的，所述惯性动作捕捉系统包括一个深度相机及十七个惯性动作采集节点。

此处设计的优势在于，采用十七个惯性动作采集节点是根据人体特殊结构得出的，多于十七惯性动作采集节点个会造成浪费，少于十七个惯性动作采集节点则不能完全捕捉到人体的动作。

根据本发明优选的，所述深度相机通过有线方式连接所述发射节点。

此处设计的优势在于，所述深度相机通过有线方式连接所述发射节点，比无线的方案提供更高的数据传输速率，而且由于无线发射节点的减少，减轻了无线信道当中数据的碰撞，提高了总体的数据传输速率，使汇聚节点能够得到更高频率的人体姿态数据更新。

根据本发明优选的，所述发射节点通过USB或串行总线UART连接若干个惯性动作采集节点。

根据本发明优选的，所述深度相机的型号为RealSense^TM、SR4000、SR4500、PrimeSense、Kinect、Camcube3.0中的任一种。

根据本发明优选的，所述惯性动作采集节点包括：三轴加速度计、三轴陀螺仪、三轴磁力计及惯性动作采集节点的微处理器，所述三轴加速度计及所述三轴陀螺仪的型号为MPU6050，三轴磁力计的型号为MAG3110，所述惯性动作采集节点的微处理器的型号为STM32L152。

根据本发明优选的，所述发射节点包括：发射节点的微处理器、发射节点的无线收发模块、通信接口、电池模块，所述发射节点的微处理器分别连接所述发射节点的无线收发模块、所述通信接口、所述电池模块，所述发射节点的无线收发模块连接所述汇聚节点，所述发射节点的微处理器的型号为STM32F407，所述发射节点的无线收发模块中的射频芯片的型号为nRF24L01P，所述发射节点的无线收发模块所使用的频段为2.4～2.5GHz全球免申请ISM工作频段。

根据本发明优选的，所述电池模块为可充电锂电池模块。

根据本发明优选的，所述汇聚节点包括：汇聚节点的微处理器、汇聚节点的无线收发模块，所述汇聚节点的微处理器的型号为STM32F407，所述汇聚节点的无线收发模块中的射频芯片的型号为nRF24L01P，所述汇聚节点的无线收发模块所使用的频段为2.4～2.5GHz全球免申请ISM工作频段。

上述系统的运行方法，具体步骤包括：

(1)所述发射节点对所述系统上电，所述惯性动作采集节点及所述发射节点进入上电复位状态；

(2)上电复位完成后，发射节点发送探测指令依次探测所述惯性动作采集节点及所述深度相机是否存在；

(3)探测所述惯性动作采集节点及所述深度相机存在后，所述发射节点对所述深度相机进行设置，包括采集区域大小、照明频率；

(4)所述发射节点对所述深度相机及所述惯性动作采集节点发出工作请求；

(5)深度相机接收到工作请求后，所述深度相机实时采集捕捉对象面部区域的信息，建立捕捉对象面部区域三维模型；所述惯性动作采集节点接收到工作请求后，所述惯性动作采集节点实时采集捕捉对象自身局部位置加速度、角速度、磁力强度；

(6)无线收发模块无线连接汇聚节点；

(7)发射节点收集所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，并将收集到的信息发送至所述汇聚节点；

(8)所述汇聚节点连接所述终端机，并将接收到的所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息发送至所述终端机；

(9)所述终端机处理所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，利用现有技术将所述深度相机采集到的信息恢复捕捉对象面部区域三维模型并应用在虚拟对象的面部，利用现有技术将所述惯性动作采集节点采集到的信息应用在虚拟对象的肢体动作。

所述发射节点对所述深度相机进行设置，包括采集区域大小、照明频率；以便适应面部颜色和反射率的影响

本发明的有益效果为：

与现有的技术相比，本发明能有效地同时捕捉人体的肢体动作与面部表情。同时由于单人惯性动作捕捉设备只需一套无线收发模块，与传统的使用15～17个无线收发模块方案相比，减少了系统复杂度，减少了数据延迟，增加了数据传输速率。

附图说明

图1为本发明所述系统框架图；

图2为本发明所述十七个惯性动作采集节点、一个深度相机以及一个发射节点应用于捕捉对象的示意图。

具体实施方式

实施例1

一种可同时采集捕捉对象面部表情的惯性动作捕捉系统，包括至少一个深度相机、若干个惯性动作采集节点、一个发射节点、汇聚节点及终端机，所述深度相机连接所述发射节点，所述发射节点连接若干个惯性动作采集节点，所述发射节点连接所述汇聚节点，所述汇聚节点连接所述终端机；

所述深度相机用于采集捕捉对象面部区域的信息，为捕捉对象面部区域建立三维模型；

所述惯性动作采集节点用于采集捕捉对象自身局部位置加速度、角速度、磁力强度；

所述发射节点用于收集所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，并将收集到的信息发送至所述汇聚节点，所述发射节点还包括时间同步单元，时间同步单元用于同步所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息；

所述汇聚节点用于实现所述发射节点与所述终端机的无线或有线连接；

所述终端机用于处理并显示所述惯性动作采集节点及所述深度相机采集到的信息。

上述系统使用时，深度相机固定在捕捉对象头部并面向捕捉对象脸部，动作捕捉节点佩戴在捕捉对象关节点之间的骨骼上，发射节点设置在捕捉对象骨盘部位上。

所述惯性动作捕捉系统包括一个深度相机及十七个惯性动作采集节点。

此处设计的优势在于，采用十七个惯性动作采集节点是根据人体特殊结构得出的，多于十七惯性动作采集节点个会造成浪费，少于十七个惯性动作采集节点则不能完全捕捉到人体的动作。

实施例2

根据实施例1所述惯性动作捕捉系统，其区别在于，所述深度相机通过有线方式连接所述发射节点。

此处设计的优势在于，所述深度相机通过有线方式连接所述发射节点，比无线的方案提供更高的数据传输速率，而且由于无线发射节点的减少，减轻了无线信道当中数据的碰撞，提高了总体的数据传输速率，使汇聚节点能够得到更高频率的人体姿态数据更新。

实施例3

根据实施例1或2所述惯性动作捕捉系统，其区别在于，所述发射节点通过USB连接若干个惯性动作采集节点。

实施例4

根据实施例3所述惯性动作捕捉系统，其区别在于，所述发射节点通过串行总线UART连接若干个惯性动作采集节点。

实施例5

根据实施例1-4任一所述惯性动作捕捉系统，其区别在于，所述深度相机的型号为RealSense^TM。

实施例6

根据实施例5所述惯性动作捕捉系统，其区别在于，所述深度相机的型号为SR4000。

实施例7

根据实施例5所述惯性动作捕捉系统，其区别在于，所述深度相机的型号为SR4500。

实施例8

根据实施例5所述惯性动作捕捉系统，其区别在于，所述深度相机的型号为PrimeSense。

实施例9

根据实施例5所述惯性动作捕捉系统，其区别在于，所述深度相机的型号为Camcube3.0。

实施例10

根据实施例5所述惯性动作捕捉系统，其区别在于，所述深度相机的型号为Kinect。

实施例11

根据实施例1-10任一所述惯性动作捕捉系统，其区别在于，所述惯性动作采集节点包括：三轴加速度计、三轴陀螺仪、三轴磁力计及惯性动作采集节点的微处理器，所述三轴加速度计及所述三轴陀螺仪的型号为MPU6050，三轴磁力计的型号为MAG3110，所述惯性动作采集节点的微处理器的型号为STM32L152。

实施例12

根据实施例1-10任一所述惯性动作捕捉系统，其区别在于，所述发射节点包括：发射节点的微处理器、发射节点的无线收发模块、通信接口、电池模块，所述发射节点的微处理器分别连接所述发射节点的无线收发模块、所述通信接口、所述电池模块，所述发射节点的无线收发模块连接所述汇聚节点，所述发射节点的微处理器的型号为STM32F407，所述发射节点的无线收发模块中的射频芯片的型号为nRF24L01P，所述发射节点的无线收发模块所使用的频段为2.4～2.5GHz全球免申请ISM工作频段。

实施例13

根据实施例12所述惯性动作捕捉系统，其区别在于，所述电池模块为可充电锂电池模块。

实施例14

根据实施例1-10任一所述惯性动作捕捉系统，其区别在于，所述汇聚节点包括：汇聚节点的微处理器、汇聚节点的无线收发模块，所述汇聚节点的微处理器的型号为STM32F407，所述汇聚节点的无线收发模块中的射频芯片的型号为nRF24L01P，所述汇聚节点的无线收发模块所使用的频段为2.4～2.5GHz全球免申请ISM工作频段。

实施例15

根据实施例1-10任一所述惯性动作捕捉系统的运行方法，具体步骤包括：

(1)所述发射节点对所述系统上电，所述惯性动作采集节点及所述发射节点进入上电复位状态；

(2)上电复位完成后，发射节点发送探测指令依次探测所述惯性动作采集节点及所述深度相机是否存在；

(3)探测所述惯性动作采集节点及所述深度相机存在后，所述发射节点对所述深度相机进行设置，包括采集区域大小、照明频率；

(4)所述发射节点对所述深度相机及所述惯性动作采集节点发出工作请求；

(5)深度相机接收到工作请求后，所述深度相机实时采集捕捉对象面部区域的信息，建立捕捉对象面部区域三维模型；所述惯性动作采集节点接收到工作请求后，所述惯性动作采集节点实时采集捕捉对象自身局部位置加速度、角速度、磁力强度；

(6)无线收发模块无线连接汇聚节点；

(7)发射节点收集所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，并将收集到的信息发送至所述汇聚节点；

(8)所述汇聚节点连接所述终端机，并将接收到的所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息发送至所述终端机；

(9)所述终端机处理所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，利用现有技术将所述深度相机采集到的信息恢复捕捉对象面部区域三维模型并应用在虚拟对象的面部，利用现有技术将所述惯性动作采集节点采集到的信息应用在虚拟对象的肢体动作。

所述发射节点对所述深度相机进行设置，包括采集区域大小、照明频率；以便适应面部颜色和反射率的影响。

Claims (10)

1.一种可同时采集捕捉对象面部表情的惯性动作捕捉系统，其特征在于，包括至少一个深度相机、若干个惯性动作采集节点、一个发射节点、汇聚节点及终端机，所述深度相机连接所述发射节点，所述发射节点连接若干个惯性动作采集节点，所述发射节点连接所述汇聚节点，所述汇聚节点连接所述终端机；

所述深度相机用于采集捕捉对象面部区域的信息，为捕捉对象面部区域建立三维模型；

所述惯性动作采集节点用于采集捕捉对象自身局部位置加速度、角速度、磁力强度；

所述发射节点用于收集所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，并将收集到的信息发送至所述汇聚节点；所述发射节点还包括时间同步单元，用于同步所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息；

所述汇聚节点用于实现所述发射节点与所述终端机的无线或有线连接；

所述终端机用于处理并显示所述惯性动作采集节点及所述深度相机采集到的信息。

2.根据权利要求1所述惯性动作捕捉系统，其特征在于，所述惯性动作捕捉系统包括一个深度相机及十七个惯性动作采集节点。

3.根据权利要求1所述惯性动作捕捉系统，其特征在于，所述深度相机通过有线方式连接所述发射节点。

4.根据权利要求1所述惯性动作捕捉系统，其特征在于，所述发射节点通过USB或串行总线UART连接若干个惯性动作采集节点。

5.根据权利要求1所述惯性动作捕捉系统，其特征在于，所述深度相机的型号为RealSense^TM、SR4000、SR4500、PrimeSense、Kinect、Camcube3.0中的任一种。

6.根据权利要求1所述惯性动作捕捉系统，其特征在于，所述惯性动作采集节点包括：三轴加速度计、三轴陀螺仪、三轴磁力计及惯性动作采集节点的微处理器，所述三轴加速度计及所述三轴陀螺仪的型号为MPU6050，三轴磁力计的型号为MAG3110，所述惯性动作采集节点的微处理器的型号为STM32L152。

7.根据权利要求1所述惯性动作捕捉系统，其特征在于，所述发射节点包括：发射节点的微处理器、发射节点的无线收发模块、通信接口、电池模块，所述发射节点的微处理器分别连接所述发射节点的无线收发模块、所述通信接口、所述电池模块，所述发射节点的无线收发模块连接所述汇聚节点，所述发射节点的微处理器的型号为STM32F407，所述发射节点的无线收发模块中的射频芯片的型号为nRF24L01P，所述发射节点的无线收发模块所使用的频段为2.4～2.5GHz全球免申请ISM工作频段。

8.根据权利要求7所述惯性动作捕捉系统，其特征在于，所述电池模块为可充电锂电池模块。

9.根据权利要求1所述惯性动作捕捉系统，其特征在于，所述汇聚节点包括：汇聚节点的微处理器、汇聚节点的无线收发模块，所述汇聚节点的微处理器的型号为STM32F407，所述汇聚节点的无线收发模块中的射频芯片的型号为nRF24L01P，所述汇聚节点的无线收发模块所使用的频段为2.4～2.5GHz全球免申请ISM工作频段。

10.根据权利要求1-9任一所述惯性动作捕捉系统的运行方法，其特征在于，具体步骤包括：

(1)所述发射节点对所述系统上电，所述惯性动作采集节点及所述发射节点进入上电复位状态；

(2)上电复位完成后，发射节点发送探测指令依次探测所述惯性动作采集节点及所述深度相机是否存在；

(3)探测所述惯性动作采集节点及所述深度相机存在后，所述发射节点对所述深度相机进行设置，包括采集区域大小、照明频率；

(4)所述发射节点对所述深度相机及所述惯性动作采集节点发出工作请求；

(5)深度相机接收到工作请求后，所述深度相机实时采集捕捉对象面部区域的信息，建立捕捉对象面部区域三维模型；所述惯性动作采集节点接收到工作请求后，所述惯性动作采集节点实时采集捕捉对象自身局部位置加速度、角速度、磁力强度；

(6)无线收发模块无线连接汇聚节点；

(7)发射节点收集所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，并将收集到的信息发送至所述汇聚节点；

(8)所述汇聚节点连接所述终端机，并将接收到的所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息发送至所述终端机；

(9)所述终端机处理所述深度相机采集到的信息及所述惯性动作采集节点采集到的信息，利用现有技术将所述深度相机采集到的信息恢复捕捉对象面部区域三维模型并应用在虚拟对象的面部，利用现有技术将所述惯性动作采集节点采集到的信息应用在虚拟对象的肢体动作。