CN103034344A

CN103034344A - 一种可佩戴无线运动传感器与视频融合系统

Info

Publication number: CN103034344A
Application number: CN2012104801349A
Authority: CN
Inventors: 欧阳毅; 邢建国; 凌云; 赵文敏; 王惠艳; 陈卫刚
Original assignee: Zhejiang Gongshang University
Current assignee: Zhejiang Gongshang University
Priority date: 2012-11-16
Filing date: 2012-11-16
Publication date: 2013-04-10

Abstract

本发明公开了一种可佩戴无线运动传感器与视频融合系统，可佩带无线运动加速度传感器采用三轴加速度传感器和三轴数字陀螺仪传感器相结合的方式，主要包括采集人体关节旋转角度和加速度数据的无线传感器节点，负责运动传感数据的处理和转发的簇首节点，以及Sink节点。利用图像序列对人体运动进行检测及预处理，利用外加的传感器手段对人体运动信息进行三维运动姿态精细分析与跟踪。本发明整套交互系统无需数据手套那样的昂贵硬件，且与纯视频流的交互系统相比，能获得更全面准确的运动参数。因此，该交互系统的研制将在数字娱乐、计算机模拟、机器人以及残障人群的计算机使用等相关领域有广泛的应用前景。

Description

一种可佩戴无线运动传感器与视频融合系统

技术领域

本发明属于人体运动捕获设备技术领域，尤其涉及一种可佩戴无线运动传感器与视频融合系统。

背景技术

基于无线运动传感器与视频图像融合人机互动技术，三维人体运动捕获设备穿戴不便而且价格昂贵，研究廉价的可佩戴式的无线运动传感器与视频融合的三维人体运动仿真系统，能进一步推广到中小企业和个人使用，以加快我国影视动漫动作设计仿真效果；对于现有体感游戏无法实现的复杂人体三维运动姿态也可做出正确的识别和判断，从而提高游戏的真实感；另外对与人机交互也可通过分析人体手势来管理实现用户人机交互要求。

发明内容

本发明通过跟踪和分析人体的运动数据，达到对人体行为的分类和识别，是人体行为理解的基础。

本发明实施例是这样实现的，一种可佩戴无线运动传感器与视频融合系统，可佩带无线运动加速度传感器采用三轴加速度传感器和三轴数字陀螺仪传感器相结合的方式，主要包括集传感数据的传感器节点，负责运动传感数据的处理和转发的簇首节点，以及Sink节点。

进一步，传感器节点主要包括五个部分：电源、微处理器、无线收发模块、三轴加速度传感器、三轴角速度采集模块；微处理器和无线收发模块合并在一个封装中，即LPCADXL03，微处理器为LPC2103，它包含模数转换(A/D)、串行外围接口(SPI)、定时器/脉宽调制(TPM)、中断等模块，控制节点的一系列操作；无线收发模块为NRF24L01，负责数据的发送与接收；三轴加速度传感器采用ADXL345，它采集三个轴向的加速度，传感器的输出值为模拟量，通过A/D转换成数字形式；三轴陀螺仪模块为L3G4200D，ITG3200的组合，即ITG400；整合三轴陀螺仪传感器与三轴加速度传感器，创造性将六自由度集成在单一封装，每个传感器的输出信号通过一个D/A进行采样.然后数字数据是存储到一个专有的数字处理电路。

进一步，电源通过开关同时连接到微处理器LPC2103的IRQ端和无线收发模块NRF24L01的CE端，LPC2103和NRF24L01都有各自的振荡器，二者合并在一个封装中，即LPCADXL03。电源的另一端接地。微处理器LPC2103的一些端口分别与三轴加速度传感器ADXL345的CE端，X、Y、Z端相连接。与此同时，微处理器LPC2103的另外一个端口分别与三轴陀螺仪模块ITG400的CE端联通，在LPCADXL03的无线收发模块NRF24L01端发射与接收信号。

进一步，簇首节点主要包括三个部分：电源、ARM处理器、无线收发模块；电源采用3.3V恒压电源，ARM处理器采用LPC2103，无线收发芯片采用NRF24L01；

进一步，电源通过开关同时连接到ARM处理器LPC2103的IRQ端和无线收发模块NRF24L01的CE端，LPC2103和NRF24L01都有各自的振荡器；电源的另一端接地。

在无线收发模块NRF24L01端发射与接收信号。

进一步，Sink节点主要包括四个部分：电源、微处理器、无线收发模块、USB连接端口。ARM采用LPC2103，控制节点的一系列操作；无线收发模块采用3片NRF24L01+，为了提高Sink节点的数据通信速率；采用全速(2M)方式与PC机之间进行数据通信；

进一步，电源通过开关同时连接到ARM处理器LPC2103的IRQ端和无线收发模块NRF24L01的CE端，LPC2103和NRF24L01都有各自的振荡器。电源的另一端接地。信息处理终端通过USB连接端口连接到ARM处理器LPC2103的TX端，ARM处理器LPC2103的IRQ1、IRQ2、IRQ3端分别与无线收发模块的3片NRF24L01+的CE1、CE2、CE3端进行相互联通，无线收发模块的3片NRF24L01+都各自带有振荡器。

本发明通过跟踪和分析人体的运动数据，达到对人体行为的分类和识别，是人体行为理解的基础。其基本方法是利用图像序列对人体运动进行检测及预处理，利用外加的传感器手段对人体运动信息进行三维运动姿态分析与跟踪。仅采用关节点传感器进行人体运动分析的方法尽管简单准确，但由于加上传感器后人的行动将受到约束并要预设条件，同时也会丢失表情及人体轮廓等特征，因而直接利用图像序列进行人体运动分析的方法更为方便，然而由于视频图形是三维空间向二维空间的映射，会丢失部分信息，导致识别准确率下降。因此将二者信息结合起来，能很好地弥补彼此的不足。本发明整套交互系统无需数据手套那样的昂贵硬件，且与纯视频流的交互系统相比，能获得更全面准确的运动参数。因此，该交互系统的研制将在数字娱乐、计算机模拟、机器人以及残障人群的计算机使用等相关领域有广泛的应用前景。

附图说明

图1是本发明实施例提供的LPCADXL03传感器节点硬件连接图；

图2是本发明实施例提供的簇首节点硬件连接图；

图3本发明实施例提供的Sink节点硬件连接图；

图4本发明实施例提供的保持几何特征的广义骨架子空间网格变形框架。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可佩带无线运动加速度传感器拟采用三轴加速度传感器和三轴数字陀螺仪传感器相结合的方式，仅采用三轴加速度传感器只能获取三轴方向的运动加速度，无法测量自身旋转的信息，由于人体运动基本上是围绕躯干部分的各肢体绕相连肢体的旋转运动，因此需要两者结合使用。

传感器节点采集传感数据，是系统中的最基本节点。图1为传感器节点硬件连接图。传感器节点主要包括五个部分：电源、微处理器、无线收发模块、三轴加速度传感器、三轴角速度采集模块。微处理器和无线收发模块合并在一个封装中，即LPCADXL03，微处理器为LPC2103，它包含模数转换(A/D)、串行外围接口(SPI)、定时器/脉宽调制(TPM)、中断等模块，控制节点的一系列操作；无线收发模块为NRF24L01，负责数据的发送与接收；三轴加速度传感器采用ADXL345，它采集三个轴向的加速度，传感器的输出值为模拟量(电压形式)，通过A/D转换成数字形式；三轴陀螺仪模块为L3G4200D，ITG3200的组合，即ITG400。整合三轴陀螺仪传感器与三轴加速度传感器，创造性将六自由度集成在单一封装，每个传感器的输出信号通过一个D/A进行采样.然后数字数据是存储到一个专有的数字处理电路。

电源通过开关同时连接到微处理器(LPC2103)的IRQ端和无线收发模块(NRF24L01)的CE端，LPC2103和NRF24L01都有各自的振荡器，二者合并在一个封装中，即LPCADXL03。电源的另一端接地。微处理器(LPC2103)的一些端口分别与三轴加速度传感器(ADXL345)的CE端，X、Y、Z端相连接。与此同时，微处理器(LPC2103)的另外一个端口分别与三轴陀螺仪模块(ITG400)的CE端联通，在LPCADXL03的无线收发模块(NRF24L01)端发射与接收信号。

图2为簇首节点硬件连接图。簇首节点负责运动传感数据的处理和转发，主要包括三个部分：电源、ARM处理器、无线收发模块。电源采用3.3V恒压电源，ARM处理器采用LPC2103，无线收发芯片采用NRF24L01。

电源通过开关同时连接到ARM处理器(LPC2103)的IRQ端和无线收发模块(NRF24L01)的CE端，LPC2103和NRF24L01都有各自的振荡器。电源的另一端接地。在无线收发模块(NRF24L01)端发射与接收信号。

图3为Sink节点硬件连接图。Sink节点主要包括四个部分：电源、微处理器、无线收发模块、USB连接端口。ARM采用LPC2103，控制节点的一系列操作；无线收发模块采用3片NRF24L01+，为了提高Sink节点的数据通信速率；采用全速(2M)方式与PC机之间进行数据通信。

电源通过开关同时连接到ARM处理器(LPC2103)的IRQ端和无线收发模块(NRF24L01)的CE端，LPC2103和NRF24L01都有各自的振荡器。电源的另一端接地。信息处理终端通过USB连接端口连接到ARM处理器(LPC2103)的TX端，ARM处理器(LPC2103)的IRQ1、IRQ2、IRQ3端分别与无线收发模块的3片NRF24L01+的CE1、CE2、CE3端进行相互联通，无线收发模块的3片NRF24L01+都各自带有振荡器。

三、工作原理

1、无线多传感器节点数据实时采集技术

无线多传感器节点数据实时采集技术由基于虚拟时种的时间同步(VTCP)技术和无线数据采集系统的通信信道建立技术两个部分构成。实现无线多个运动传感器数据的同步采集，保证数据的一致性，从而确保人体各关节点数据采集的正确性。

在VTCP中，利用一个服务节点周期性地发送信标信号，与其相连的节点根据该信标节点进行时间同步操作，然后与该服务节点进行直接通信。称该服务节点为父节点，其它与其相连的节点称为子节点。实际上父节点与子节点也只是一个相对的概念，在单个簇中，父节点与子节点是分明的，但在整个网络中，一个节点可能即是父节点，又是子节点。VTCP算法采用的是一种发送者-接收者时间同步模型，其目的是使同类子节点之间达到时间同步。其基本原理是以父节点的周期信标信号为基准，根据虚拟时种算法调整自身的本地时钟，达到各子节点之间的时间同步。

2、复杂视频场景下快速人体轮廓特征提取技术

将视频人体运动数据分解为低频和高频分量，通过确定性函数控制低频分量，引入高斯过程控制高频分量。通过层次高斯模型，达到高维人体运动数据向低维特征映射的目的。由于人体运动数据的高维度特性利用高斯过程潜变量模型对人体运动数据进行建模，构建稳定高效的人体运动特征提取算法。

采用基于知识推理的人体运动模型，实现对视频人体运动的三维人体运动数据重构。提出将三维计算机动画的建模、绘制与运动等要素相对结合的思想，将用户创作的手绘图、已有卡通动画素材和人体视频数据，通过基于核函数的机器学习方法生成长度不受限制的卡通人物画面序列，从而高效地制作出卡通动画，特别适合于系列动画片和动画长片的制作。

3、保持几何特征的广义骨架子空间网格变形

拟提出了一种保持几何特征的广义骨架子空间网格变形方法，利用均值骨架建立起源网格与目标网格的对应关系，无需前期人工指定对应点；并结合微分域坐标的网格变形技术来达到变形复制后的目标网格序列保持原有的表面几何特征。算法适用于顶点及拓扑不同的网格模型，且将仿射变换及后处理过程融入到一个线性的变形能量函数中，因此变形复制速度快。将线性的微分域网格变形方法和改进的骨架子空间变形方法融合到统一的变形框架中，并通过均值坐标生成“均值骨架坐标”以保持网格模型的骨架特征。最终，变形过程转化为线性的能量约束函数的最优化问题，利用线性变形能量函数最优化计算进行求解。同时本算法在网格变形中的应用广泛，不但能够应用于单一的网格变形，还能应用于多个模型的联动变形。该变形算法的关键步骤有：计算原网格微分域上的Laplacian坐标；自动构建骨架子空间模型；计算骨架坐标；构建变形能量函数，通过线性变形能量函数最优化计算达到各种变形结果。变形算法概要如图4所示。

4、自适应视频传感器数据融合处理技术。

考虑到环境噪声对多传感器数据的影响，为提高多传感器数据融合精度，结合传感器网络的特点及应用实例，提出按测量方差的自适应加权数据融合算法，利用多个传感器所提供的实例数据，采用自适应D-S证据推理的方法进行多传感器数据与视频数据融合，它实际是一种贝叶斯推理的扩充。D-S方法的推理结构是自上而下的，推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；各种传感器一般都存在随机误差，所以，在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告可靠。因此，在推理和多传感器合成之前，要先融合视频观测数据。通过视频数据提取人体运动轮廓，从而限制了传感器随机误差范围。

基于可佩带无线运动传感器与单目视频图像融合的人机互动技术是视频图像处理与计算机视觉领域结合的一个重要的研究方向，它在虚拟现实、动漫设计、运动分析和用户人机接口等领域有着广泛的应用。通过跟踪和分析人体的运动数据，达到对人体行为的分类和识别，是人体行为理解的基础。整套交互系统与纯视频流的交互系统相比，能获得更全面准确的运动参数。因此，该交互系统的研制将在数字娱乐、计算机模拟、机器人以及残障人群的计算机使用等相关领域有广泛的应用前景。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种可佩戴无线运动传感器与视频融合系统，其特征在于，可佩带无线运动加速度传感器采用三轴加速度传感器和三轴数字陀螺仪传感器相结合的方式，主要包括集传感数据的传感器节点，负责运动传感数据的处理和转发的簇首节点，以及Sink节点。

2.如权利要求1所述的可佩戴无线运动传感器与视频融合系统，其特征在于，传感器节点主要包括五个部分：电源、微处理器、无线收发模块、三轴加速度传感器、三轴角速度采集模块；微处理器和无线收发模块合并在一个封装中，即LPCADXL03，微处理器为LPC2103，它包含模数转换(A/D)、串行外围接口(SPI)、定时器/脉宽调制(TPM)、中断等模块，控制节点的一系列操作；无线收发模块为NRF24L01，负责数据的发送与接收；三轴加速度传感器采用ADXL345，它采集三个轴向的加速度，传感器的输出值为模拟量，通过A/D转换成数字形式；三轴陀螺仪模块为L3G4200D，ITG3200的组合，即ITG400；整合三轴陀螺仪传感器与三轴加速度传感器，创造性将六自由度集成在单一封装，每个传感器的输出信号通过一个D/A进行采样.然后数字数据是存储到一个专有的数字处理电路。

3.如权利要求2所述的可佩戴无线运动传感器与视频融合系统，其特征在于，电源通过开关同时连接到微处理器LPC2103的IRQ端和无线收发模块NRF24L01的CE端，LPC2103和NRF24L01都有各自的振荡器，二者合并在一个封装中，即LPCADXL03，电源的另一端接地；微处理器LPC2103的一些端口分别与三轴加速度传感器ADXL345的CE端，X、Y、Z端相连接；与此同时，微处理器LPC2103的另外一个端口分别与三轴陀螺仪模块ITG400的CE端联通，在LPCADXL03的无线收发模块NRF24L01端发射与接收信号。

4.如权利要求1所述的可佩戴无线运动传感器与视频融合系统，其特征在于，簇首节点主要包括三个部分：电源、ARM处理器、无线收发模块；电源采用3.3V恒压电源，ARM处理器采用LPC2103，无线收发芯片采用NRF24L01。

5.如权利要求4所述的可佩戴无线运动传感器与视频融合系统，其特征在于，电源通过开关同时连接到ARM处理器LPC2103的IRQ端和无线收发模块NRF24L01的CE端，LPC2103和NRF24L01都有各自的振荡器；电源的另一端接地；在无线收发模块NRF24L01端发射与接收信号。

6.如权利要求1所述的可佩戴无线运动传感器与视频融合系统，其特征在于，Sink节点主要包括四个部分：电源、微处理器、无线收发模块、USB连接端口；ARM处理器采用LPC2103，控制节点的一系列操作；无线收发模块采用3片NRF24L01+，为了提高Sink节点的数据通信速率；采用全速方式与PC机之间进行数据通信。

7.如权利要求6所述的可佩戴无线运动传感器与视频融合系统，其特征在于，电源通过开关同时连接到ARM处理器LPC2103的IRQ端和无线收发模块NRF24L01的CE端，ARM处理器LPC2103和无线收发模块NRF24L01都有各自的振荡器；电源的另一端接地；ARM处理器LPC2103的TX端通过USB连接端口还连接有信息处理终端，ARM处理器LPC2103的IRQ1、IRQ2、IRQ3端分别与无线收发模块的3片NRF24L01+的CE1、CE2、CE3端进行相互联通，无线收发模块的3片NRF24L01+都各自带有振荡器。