CN111031577B - 一种多节点无线动作捕捉节点扩充方法 - Google Patents

一种多节点无线动作捕捉节点扩充方法 Download PDF

Info

Publication number
CN111031577B
CN111031577B CN201911310153.5A CN201911310153A CN111031577B CN 111031577 B CN111031577 B CN 111031577B CN 201911310153 A CN201911310153 A CN 201911310153A CN 111031577 B CN111031577 B CN 111031577B
Authority
CN
China
Prior art keywords
data
node
wireless
sensor
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911310153.5A
Other languages
English (en)
Other versions
CN111031577A (zh
Inventor
皇甫江涛
杨铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911310153.5A priority Critical patent/CN111031577B/zh
Publication of CN111031577A publication Critical patent/CN111031577A/zh
Application granted granted Critical
Publication of CN111031577B publication Critical patent/CN111031577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/06Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Abstract

本发明公开了一种多节点无线动作捕捉节点扩充方法。包括多个传感器节点、无线网关节点和数据实时处理平台;每个传感器节点均包含电池和供电电路、加速度传感器、微处理器和无线发送模块;原始数据由加速度传感器采集后,经微处理器进行压缩,由无线发送模块发送出去;无线网关节点用于接收来自传感器节点发送的数据,并进行恢复处理,再通过无线发送模块发送至数据实时处理平台;接收来自无线网关节点的数据,进行存储方便后续处理、分析和使用。本发明能够同时支持多个无线传感器节点进行实时数据采集,扩充无线传输信道承载的节点个数;以较高的精度和较好的实时性进行多节点无线动作捕捉;在较低成本下更加高效地进行多节点无线动作捕捉。

Description

一种多节点无线动作捕捉节点扩充方法
技术领域
本发明涉及基于射频无线传感技术的动作捕捉方法,尤其是涉及一种多节点无线动作捕捉节点扩充方法。
背景技术
动作捕捉是一种利用数字信息技术测量使用者在三维空间运动信息的技术,其实质是通过设备对使用者的肢体运动数据甚至是面部表情数据进行采集和处理,并利用这些肢体动作或者面部表情数据驱动虚拟的三维人物模型,实现各种动作的仿真模拟,已经被广泛应用于虚拟现实、生物力学、医疗康复、游戏、动画制作、体育竞技等人机交互领域。
目前无线动作捕捉主要分为两类:基于光学的动作捕捉方法和基于惯性传感的射频无线动作捕捉方法。基于光学的动作捕捉方法需要事先在捕捉对象身上设置光学标识,然后通过高速摄像机来捕捉对象身上的特定光点的空间位置来完成动作捕捉的任务,其捕获精度较高、实时性较强、可以同时对多个目标进行动作捕捉,但成本高昂、携带不方便、易受光照条件、视角、阴影、遮挡、场景等因素的干扰与影响。大多数商业动作捕捉系统的设备成本高、开发接口难以控制,大大提高了研究平台的构建成本,增加了研究的难度。
而基于惯性传感的动作捕捉方法是将惯性传感器布置在使用者各个标定关节点,通过对动作过程中各肢体部位的惯性数据进行融合与推算得到动作捕捉结果。这种方法不怕遮挡、无光照影响、室内室外均可使用,易于实现全天候、无限制的动作捕捉。惯性式动作捕捉系统的研究发展时间短,技术生涩,尚处于在探索阶段,达到应用级别的惯性动作捕捉系统屈指可数,性价比也不高,且其捕捉精度相对于商业动作捕捉系统也有待提高。
从现阶段的研究上来看,目前的惯性动作捕捉技术没能够很好的解决精度和实时性的问题,各个节点的收发无法做到协调一致,特别是使用者在完成快速高频的动作时,无法做到准确、实时的捕捉,存在明显的失真和动作滞后。通常传感器节点的数量与动作捕捉的精度和实时性存在直接关系。使用者佩戴的传感器节点越多,采集到的动作信息就越丰富,捕捉到的动作就越自然,动作捕捉精度就越高。相应的数据量也就越大,在特定时间内需要完成多节点大量数据的同时传输,系统实时性就会受到影响。因此如何在更多节点下进行更精确的动作捕捉是一个目前没有被很好解决的问题。
发明内容
针对背景技术中的不足,本发明的目的在于提供一种多节点无线动作捕捉节点扩充方法,以解决现有的惯性传感器精度不高、实时性差的问题。
为了达到上述发明目的,本发明采取的技术方案是:
本发明包括多个传感器节点、无线网关节点、数据实时处理平台;每一个传感器节点均包含电池和供电电路、加速度传感器、传感器节点的微处理器、传感器节点的无线发送模块,固定结构;原始数据由加速度传感器采集后,经传感器节点的微处理器进行压缩,压缩后的数据经传感器节点的无线发送模块发送出去,固定结构的两端分别连接在传感器节点的两端,便于根据使用者不同部位的佩戴需要对传感器节点进行固定;无线网关节点包含无线接收模块、无线网关节点的微处理器、无线网关节点的无线发送模块,用于接收来自传感器节点发送的数据,并对这些数据进行恢复处理,再将恢复后的数据通过无线网关节点的无线发送模块发送至数据实时处理平台;数据实时处理平台接收来自无线网关节点的数据,进行存储以方便后续处理、分析和使用。
所述固定结构根据使用者设定部位的特点对传感器节点进行固定,用于人体设定部位多点变化的动作捕捉,或用于动物的动作捕捉。
所述多个传感器节点数为S个传感器节点,设每个传感器节点发送数据时占用相同的带宽资源为bp,则节点承载个数S的理论上界为S=B/bp,实验数据表明该方法将节点数量成倍扩展,在有限的传输带B为2.4GHz ISM Band、传感器节点采样率为27.5Hz的条件下,S的理论上界能达到50个;该方法对于传输条件的改善主要体现在将原始数据压缩后再发送出去,降低了数据量而又保留了有效动作特征信息,所以在相同传输带宽条件下能支持更多的传感器节点同时发送数据。
该方法具体的步骤如下:
1)多节点无线传感系统中的S个传感器节点进行动作特征信息的采集过程具体包含如下步骤:
1.1)加标签:设置加速度传感器采样率为f,单位/Hz,同时采集d个维度的原始数据,每一个传感器节点在单位/秒的工作时间t内采集到的原始数据x具有(f*t)×d的大小,对来自S个传感器节点采集到的S个原始数据x分别加上标签后得到数据xs,s=1,2,…,S;加标签的方法为:对于x的(f*t)个行向量加(f*t)个标签,即一行d个数据为一组,在一组数据头部加上字母作为标签,相同字母的不同大小写表示不同标签;
1.2)归一化:设置尺寸归一化参数α,取α为10%,对每一个xs的每个维度的数据进行相同的归一化处理后得到x1s,归一化过程表示如下:
x1s i=xs i(α*(f*t)+1:(1-α)*(f*t))
其中角码“i”表示每个维度的数据信息,i=1,2,…,d;分节号“:”表示取从该符号左边数字开始,到该符号右边数字截止的一段数据;则尺寸归一化后的数据x1s具有n×d的尺寸大小,其中n=((1-2α)*(f*t));
对x1s进行幅度归一化处理的公式如下:
Figure BDA0002324298910000031
其中角码“i”表示每个维度的数据信息,i=1,2,…,d,median()表示中值函数,max()表示最大值函数,min()表示最小值函数;则幅度归一化后的数据x2s也具有n×d的尺寸大小;
根据实际佩戴部位的不同,考虑加入或省去幅度归一化处理;如果需要进行幅度归一化处理,则在正常工作之前应在传感器节点和无线网关节点(2)之间进行预发收操作,从而使无线网关节点保留归一化参数,包含数据x1s的中值median(x1s)、最大值max(x1s)、最小值min(x1s),三者均为d维数据;
1.3)特征提取:以经过归一化处理之后的数据x2s作为输入,定义零值特征描述子k,表示数据x2s中平均每个维度具有的零值数据的个数,这里的零值数据不仅仅包括数值刚好等于0的数据,还包括绝对值低于给定阈值β,取0.005,根据不同x2s的情况灵活调整β的大小数据;定义特征提取矩阵Φ:
Figure BDA0002324298910000032
Figure BDA0002324298910000033
其中m表示压缩后的数据量大小,符号
Figure BDA0002324298910000034
表示向下取整;random(m,n)表示m×n的随机矩阵,a11~amn表示随机权重,取-5~5范围内服从高斯分布的随机数,根据不同x2s的情况灵活调整分布范围和分布类型;
1.4)数据压缩:对x2s采用矩阵乘法进行特征提取处理得到压缩后的数据x3s,则x3s具有m×d的矩阵大小,公式如下:
Figure BDA0002324298910000041
其中x2s i表示x2s的1×n的列向量,其中每个元素为归一化处理之后的数据x2s的元素;x3s i表示x3s的1×m的列向量,其中每个元素为压缩处理后的数据x3s元素,而数据x3s即为传感器节点将要发送出去的数据;
2)传感器节点发送数据的具体方法如下:
在有限的传输带宽条件B下,对于所有S个传感器节点,在工作时间内都同时向外发送,对于每一个传感器节点压缩后的数据x3s,其形式为m×d的数值矩阵,矩阵内的元素为小数形式的数据,不能直接发送,需要经过无线发送模块进行格式转换为指定宽度w的浮点数表示之后以字符串的形式发送出去,格式转换针对x3s的m行数据逐行进行,即一次转换操作是将包含头尾标签的d个小数转换为一个宽度为w的字符串,其中w包含头尾两个字母标签,而标签经过转换仍然保留在一组数据的头部和尾部,不受影响;最终得到m×1形式的数据x4s,其中每一行为一次发送的宽度为w的字符串,该方法对于传输条件的改善主要体现在将n×d的原始数据压缩为m×d的压缩数据后再发送出去,降低了数据量而又保留了有效动作特征信息;所以在相同传输带宽条件下支持更多的传感器节点同时发送数据,且该过程在现有的通讯协议下均能进行;
3)无线网关节点中接收来自使用者的S个传感器节点发送的数据后的处理过程具体包含如下步骤:
3.1)分组:由于来自多个传感器节点的数据不间断地实时发送,在有限的传输带宽条件下,数据传输过程会产成大量的冲突问题,冲突造成传输过程中数据的丢失;所以接收到的数据是x4s信息丢失后的数据,表示为x4’s;根据头部和尾部的标签对x4’s进行分类,具体方法如下,从检测到第一个小写字母开始,往其后选取一段总宽度为w+1的数据,有以下几种情况:
如果数据末尾是字母,则确定中间信息完整没有丢失,根据标签字母的种类直接分类为采集原始数据xs的那个传感器节点对应的接受数据y’s,s=1,2,…,S;随后进行格式转换,即将固定宽度w的字符串转化为小数形式,得到m×d形式的分组数据ys,s=1,2,…,S;
如果数据末尾不是字母而是数字,则确定由于冲突导致了数据丢失,该段数据为无效数据,不作分类,从下一个字母开始重复上述操作,直至遍历完所有x4’s的数据;
3.2)数据恢复:对于接收到的数据ys,将其恢复为对应的n×d形式的原始数据y1s,定义恢复矩阵λ:
Figure BDA0002324298910000051
其中b11~bmn表示矩阵E的元素,取值与步骤1)中定义的零值特征描述子k有关:当k大于0时,b11~bmn对应于n×n的单位矩阵E进行傅里叶变换后的逆矩阵的元素;而对于其他情况,b11~bmn均取1,c11~cmn为矩阵运算后的矩阵λ元素值;
采用欧几里得范数优化方法进行数据恢复得到y1s,优化目标是最小化矩阵y1s的欧几里得范数,限制条件如下:
Figure BDA0002324298910000052
即:
Figure BDA0002324298910000053
其中y1s i表示y1s的1×n的列向量,其中初始化元素值为n×d形式的随机元素;ys i表示ys的1×m的列向量,其中每个元素为接收到的数据ys的元素;
3.3)逆归一化:根据实际应用场景的需要考虑加入或省去逆归一化处理;如果需要进行逆归一化处理,则在正常工作之前应在传感器节点和无线网关节点之间进行预发收操作,从而使无线网关节点保留归一化参数,包含数据x1s的中值median(x1s)、最大值max(x1s)、最小值min(x1s),三者均为d维数据;逆归一化处理逐列进行,进行d次,公式如下:
Figure BDA0002324298910000054
其中角码“i”表示每个维度的数据信息,i=1,2,…,d,则数据y2s即为最终恢复的数据,经无线网关节点发送至数据实时处理平台。
本发明具有的有益效果是:
1)能够同时支持更多的无线传感器节点进行实时数据采集,扩充无线传输信道承载的节点个数;
2)能够以较高的精度进行多节点无线动作捕捉;
3)能够以较好的实时性进行多节点无线动作捕捉;
4)能够在较低成本下更加高效地进行多节点无线动作捕捉。
附图说明
图1是系统整体结构示意图。
图2是传感器节点的组成结构示意图。
图3是一种多节点无线动作捕捉节点扩充方法的数据处理流程图。
图4是人体佩戴传感器节点位置示意图。
具体实施方式
下面结合附图和实例对本发明作进一步说明。
如图1所示,本发明具体实施包括S个传感器节点1、无线网关节点2和数据实时处理平台3;多个传感器节点同时采集原始数据,分别进行压缩处理后在无线传输协议下发送到无线网关节点2;无线网关节点2包含无线接收模块、无线网关节点的微处理器、无线网关节点的无线发送模块,用于接收来自传感器节点发送的数据,并对这些数据进行恢复处理,再将恢复后的数据通过无线网关节点的无线发送模块发送至数据实时处理平台3;数据实时处理平台3接收来自无线网关节点2的数据,进行存储以方便后续处理、分析和使用。
如图2所示,每一个传感器节点包含电池和供电电路4、加速度传感器5、传感器节点的微处理器6、传感器节点的无线发送模块7和固定结构8;原始数据由加速度传感器5采集后,经传感器节点的微处理器6进行压缩,压缩后的数据经传感器节点的无线发送模块7发送出去;固定结构8的两端分别连接在传感器节点的两端,便于根据使用者不同部位的佩戴需要对传感器节点进行固定。可以用于人体特定部位多点变化的动作捕捉,也可用于动物的动作捕捉,在各类动作捕捉场景中具备独特优势。
如表1所示,是加速度传感器采集原始数据的格式,传感器节点采集到的原始数据是三维加速度数据,每个数据是整型格式,占用4个字节,即d的取值为3。
原始数据格式 X轴 Y轴 Z轴
数据类型(占用字节数) int(4) int(4) int(4)
表1是加速度传感器采集原始数据的格式
如图3所示,多个传感器节点同时采集n×d形式的原始数据x后,依次进行加标签、归一化、特征提取和数据压缩、格式转换之后,将压缩后的m×d形式的数据发送至无线网关节点;在有限的传输带宽条件B下,对于所有S个传感器节点,在工作时间内都在同时向外发送。无线网关节点对接收到的数据依次进行分组、数据恢复、逆归一化后,将恢复后的数据发送至数据实时处理平台。该节点扩充方法对于传输条件的改善主要体现在将原始数据压缩后再发送出去,降低了数据量而又保留了有效动作特征信息。所以在相同传输带宽条件下可以支持更多的传感器节点同时发送数据。以下是方法的具体细节:
1)多节点无线传感系统中的S个传感器节点进行动作特征信息的采集过程具体包含如下步骤:
1.1)加标签:设置加速度传感器采样率为f(单位/Hz),可以同时采集d个维度的原始数据,每一个传感器节点在工作时间t(单位/s)内采集到的原始数据x具有(f*t)×d的大小,对来自S个传感器节点采集到的S个原始数据x分别加上标签后得到数据xs,s=1,2,…,S;加标签的方法为:对于x的(f*t)个行向量加(f*t)个标签,即一行d个数据为一组,在一组数据头部加上字母作为标签,相同字母的不同大小写表示不同标签。例如“a”、“b”分别为第1个、第2个传感器节点的标签,“A”、“B”分别为第27个、第28个传感器节点的标签,以此类推,一共可以表示52个传感器节点,满足该方法的S个数范围要求。
1.2)归一化:设置尺寸归一化参数α(可取α为10%),对每一个xs的每个维度的数据进行相同的归一化处理后得到x1s,归一化过程表示如下:
x1s i=xs i(α*(f*t)+1:(1-α)*(f*t))
其中角码“i”表示每个维度的数据信息,i=1,2,…,d;分节号“:”表示取从该符号左边数字开始,到该符号右边数字截止的一段数据;则尺寸归一化后的数据x1s具有n×d的尺寸大小,其中n=((1-2α)*(f*t));
对x1s进行幅度归一化处理的公式如下:
Figure BDA0002324298910000071
其中角码“i”表示每个维度的数据信息,i=1,2,…,d,median()表示中值函数,max()表示最大值函数,min()表示最小值函数;则幅度归一化后的数据x2s也具有n×d的尺寸大小;
根据实际佩戴部位的不同可考虑加入或省去幅度归一化处理;如果需要进行幅度归一化处理,则在正常工作之前应在传感器节点和无线网关节点之间进行预发收操作,从而使无线网关节点2保留归一化参数,包含数据x1s的中值median(x1s)、最大值max(x1s)、最小值min(x1s),三者均为d维数据;
1.3)特征提取:以经过归一化处理之后的数据x2s作为输入,定义零值特征描述子k,表示数据x2s中平均每个维度具有的零值数据的个数,这里的零值数据不仅仅包括数值刚好等于0的数据,还包括绝对值低于给定阈值β(可取0.005,可根据不同x2s的情况灵活调整β的大小)的数据;定义特征提取矩阵Φ:
Figure BDA0002324298910000081
Figure BDA0002324298910000082
其中m表示压缩后的数据量大小,符号
Figure BDA0002324298910000083
表示向下取整;random(m,n)表示m×n的随机矩阵,a11~amn表示随机权重(可取-5~5范围内服从高斯分布的随机数,可根据不同x2s的情况灵活调整分布范围和分布类型);
1.4)数据压缩:对x2s采用矩阵乘法进行特征提取处理得到压缩后的数据x3s,则x3s具有m×d的矩阵大小,公式如下:
Figure BDA0002324298910000084
其中x2s i表示x2s的1×n的列向量,其中每个元素为归一化处理之后的数据x2s的元素;x3s i表示x3s的1×m的列向量,其中每个元素为压缩处理后的数据x3s元素。而数据x3s即为传感器节点将要发送出去的数据。
2)传感器节点发送数据的具体方法如下:
在有限的传输带宽条件B下,对于所有S个传感器节点,在工作时间内都在同时向外发送。对于每一个传感器节点压缩后的数据x3s,其形式为m×d的数值矩阵,矩阵内的元素为小数形式的数据,不能直接发送,需要经过无线发送模块进行格式转换为指定宽度w的浮点数表示之后以字符串的形式发送出去。格式转换针对x3s的m行数据逐行进行,即一次转换操作是将包含头尾标签的d个小数转换为一个宽度为w的字符串,其中w包含头尾两个字母标签,而标签经过转换仍然保留在一组数据的头部和尾部,不受影响。最终得到m×1形式的数据x4s,其中每一行为一次发送的宽度为w的字符串。该方法对于传输条件的改善主要体现在将原始数据压缩后再发送出去,降低了数据量而又保留了有效动作特征信息。所以在相同传输带宽条件下可以支持更多的传感器节点同时发送数据。
3)无线网关节点中接收来自使用者的S个传感器节点发送的数据后的处理过程具体包含如下步骤:
3.1)分组:由于来自多个传感器节点的数据不间断地实时发送,在有限的传输带宽条件下,数据传输过程会产成大量的冲突问题,冲突造成传输过程中数据的丢失。所以接收到的数据是x4s信息丢失后的数据,表示为x4’s;根据头部和尾部的标签可以对x4’s进行分类,具体方法如下,从检测到第一个小写字母开始,往其后选取一段总宽度为w+1的数据,有以下几种情况:
如果数据末尾是字母,则确定中间信息完整没有丢失,可以根据标签字母的种类直接分类为采集原始数据xs的那个传感器节点对应的接受数据y’s,s=1,2,…,S;随后可以进行格式转换,即将固定宽度w的字符串转化为小数形式,得到m×d形式的分组数据ys,s=1,2,…,S;
如果数据末尾不是字母而是数字,则确定由于冲突导致了数据丢失,该段数据为无效数据,不作分类,从下一个字母开始重复上述操作,直至遍历完所有x4’s的数据。
3.2)数据恢复:对于接收到的数据ys,将其恢复为对应的n×d形式的原始数据y1s,定义恢复矩阵λ:
Figure BDA0002324298910000091
其中b11~bmn表示矩阵E的元素,取值与步骤1)中定义的零值特征描述子k有关:当k大于0时,b11~bmn对应于n×n的单位矩阵E进行傅里叶变换后的逆矩阵的元素;而对于其他情况,b11~bmn均取1。c11~cmn为矩阵运算后的矩阵λ元素值。
采用欧几里得范数优化方法进行数据恢复得到y1s,优化目标是最小化矩阵y1s的欧几里得范数,限制条件如下:
Figure BDA0002324298910000092
即:
Figure BDA0002324298910000101
其中y1s i表示y1s的1×n的列向量,其中初始化元素值为n×d形式的随机元素;ys i表示ys的1×m的列向量,其中每个元素为接收到的数据ys的元素。
3.3)逆归一化:根据实际应用场景的需要可考虑加入或省去逆归一化处理;如果需要进行逆归一化处理,则在正常工作之前应在传感器节点和无线网关节点之间进行预发收操作,从而使无线网关节点保留归一化参数,包含数据x1s的中值median(x1s)、最大值max(x1s)、最小值min(x1s),三者均为d维数据;逆归一化处理逐列进行,进行d次,公式如下:
Figure BDA0002324298910000102
其中角码“i”表示每个维度的数据信息,i=1,2,…,d。则数据y2s即为最终恢复的数据,经无线网关节点发送至数据实时处理平台。
如表2所示,是使用了该方法后的动作捕捉参数对比表,在2.4GHz ISM Band网络总的无线传输能力为3300字节/秒,传感器节点采样率27.5Hz一定的条件下,传感器节点扩充后个数可以由10个扩展到50个,相比于现有的基于惯性传感的动作捕捉方法实现了节点个数的成倍扩展。该方法对于传输条件的改善主要体现在将原始数据压缩后再发送出去,降低了数据量而又保留了有效动作特征信息。所以在相同传输带宽条件下可以支持更多的传感器节点同时发送数据。
Figure BDA0002324298910000103
表2是使用了该方法后的动作捕捉参数对比表
如图4所示,本发明具体实施以人体为例,其他使用者例如动物佩戴传感器节点的位置可以参考人体。本发明基于人体骨骼结构的分布列出了使用者可佩戴传感器节点的参考位置,包括但不限于以下50个位置:头部(5个):人体正面的额头、下巴、颈部左侧、颈部右侧;人体背面的后脑勺;躯干(11个):人体正面的胸口、腰部左侧、腰部右侧、腹部、盆骨;人体背面的沿脊柱均匀分布的:颈椎上段、颈椎下段、胸椎上段、胸椎中段、胸椎下段、腰椎中段;四肢(34个,均含左右两侧):人体正面的肩、肘、手腕、大腿中段、膝、小腿中段、脚踝、手部的拇指、食指上段、食指下段、中指上段、中指下段、无名指上段、无名指下段、小拇指上段、小拇指下段;人体背面的臀部。

Claims (3)

1.一种多节点无线动作捕捉节点扩充方法,其特征在于:包括多个传感器节点、无线网关节点(2)、数据实时处理平台(3);每一个传感器节点均包含电池和供电电路(4)、加速度传感器(5)、传感器节点的微处理器(6)、传感器节点的无线发送模块(7),固定结构(8);原始数据由加速度传感器(5)采集后,经传感器节点的微处理器(6)进行压缩,压缩后的数据经传感器节点的无线发送模块(7)发送出去,固定结构(8)的两端分别连接在传感器节点的两端,便于根据使用者不同部位的佩戴需要对传感器节点进行固定;无线网关节点(2)包含无线接收模块、无线网关节点的微处理器、无线网关节点的无线发送模块,用于接收来自传感器节点发送的数据,并对这些数据进行恢复处理,再将恢复后的数据通过无线网关节点的无线发送模块发送至数据实时处理平台(3);数据实时处理平台(3)接收来自无线网关节点(2)的数据,进行存储以方便后续处理、分析和使用;
该方法具体的步骤如下:
1)多节点无线传感系统中的S个传感器节点(1)进行动作特征信息的采集过程具体包含如下步骤:
1.1)加标签:设置加速度传感器采样率为f,单位/Hz,同时采集d个维度的原始数据,每一个传感器节点在单位/秒的工作时间t内采集到的原始数据x具有(f*t)×d的大小,对来自S个传感器节点采集到的S个原始数据x分别加上标签后得到数据xs,s=1,2,…,S;加标签的方法为:对于x的(f*t)个行向量加(f*t)个标签,即一行d个数据为一组,在一组数据头部加上字母作为标签,相同字母的不同大小写表示不同标签;
1.2)归一化:设置尺寸归一化参数α,取α为10%,对每一个xs的每个维度的数据进行相同的归一化处理后得到x1s,归一化过程表示如下:
x1s i=xs i(α*(f*t)+1:(1-α)*(f*t))
其中角码“i”表示每个维度的数据信息,i=1,2,…,d;分节号“:”表示取从该符号左边数字开始,到该符号右边数字截止的一段数据;则尺寸归一化后的数据x1s具有n×d的尺寸大小,其中n=((1-2α)*(f*t));
对x1s进行幅度归一化处理的公式如下:
Figure FDA0002965253210000011
其中角码“i”表示每个维度的数据信息,i=1,2,…,d,median()表示中值函数,max()表示最大值函数,min()表示最小值函数;则幅度归一化后的数据x2s也具有n×d的尺寸大小;
根据实际佩戴部位的不同,考虑加入或省去幅度归一化处理;如果需要进行幅度归一化处理,则在正常工作之前应在传感器节点和无线网关节点(2)之间进行预发收操作,从而使无线网关节点(2)保留归一化参数,包含数据x1s的中值median(x1s)、最大值max(x1s)、最小值min(x1s),三者均为d维数据;
1.3)特征提取:以经过归一化处理之后的数据x2s作为输入,定义零值特征描述子k,表示数据x2s中平均每个维度具有的零值数据的个数,这里的零值数据不仅仅包括数值刚好等于0的数据,还包括绝对值低于给定阈值β,取0.005,根据不同x2s的情况灵活调整β的大小数据;定义特征提取矩阵Φ:
Figure FDA0002965253210000021
Figure FDA0002965253210000022
其中m表示压缩后的数据量大小,符号
Figure FDA0002965253210000023
表示向下取整;random(m,n)表示m×n的随机矩阵,a11~amn表示随机权重,取-5~5范围内服从高斯分布的随机数,根据不同x2s的情况灵活调整分布范围和分布类型;
1.4)数据压缩:对x2s采用矩阵乘法进行特征提取处理得到压缩后的数据x3s,则x3s具有m×d的矩阵大小,公式如下:
Figure FDA0002965253210000024
其中x2s i表示x2s的1×n的列向量,其中每个元素为归一化处理之后的数据x2s的元素;x3s i表示x3s的1×m的列向量,其中每个元素为压缩处理后的数据x3s元素,而数据x3s即为传感器节点将要发送出去的数据;
2)传感器节点发送数据的具体方法如下:
在有限的传输带宽条件B下,对于所有S个传感器节点(1),在工作时间内都同时向外发送,对于每一个传感器节点压缩后的数据x3s,其形式为m×d的数值矩阵,矩阵内的元素为小数形式的数据,不能直接发送,需要经过无线发送模块进行格式转换为指定宽度w的浮点数表示之后以字符串的形式发送出去,格式转换针对x3s的m行数据逐行进行,即一次转换操作是将包含头尾标签的d个小数转换为一个宽度为w的字符串,其中w包含头尾两个字母标签,而标签经过转换仍然保留在一组数据的头部和尾部,不受影响;最终得到m×1形式的数据x4s,其中每一行为一次发送的宽度为w的字符串,该方法对于传输条件的改善主要体现在将n×d的原始数据压缩为m×d的压缩数据后再发送出去,降低了数据量而又保留了有效动作特征信息;所以在相同传输带宽条件下支持更多的传感器节点同时发送数据,且该过程在现有的通讯协议下均能进行;
3)无线网关节点(2)中接收来自使用者的S个传感器节点(1)发送的数据后的处理过程具体包含如下步骤:
3.1)分组:由于来自多个传感器节点的数据不间断地实时发送,在有限的传输带宽条件下,数据传输过程会产成大量的冲突问题,冲突造成传输过程中数据的丢失;所以接收到的数据是x4s信息丢失后的数据,表示为x4’s;根据头部和尾部的标签对x4’s进行分类,具体方法如下,从检测到第一个小写字母开始,往其后选取一段总宽度为w+1的数据,有以下几种情况:
如果数据末尾是字母,则确定中间信息完整没有丢失,根据标签字母的种类直接分类为采集原始数据xs的那个传感器节点对应的接受数据y’s,s=1,2,…,S;随后进行格式转换,即将固定宽度w的字符串转化为小数形式,得到m×d形式的分组数据ys,s=1,2,…,S;
如果数据末尾不是字母而是数字,则确定由于冲突导致了数据丢失,该段数据为无效数据,不作分类,从下一个字母开始重复上述操作,直至遍历完所有x4’s的数据;
3.2)数据恢复:对于接收到的数据ys,将其恢复为对应的n×d形式的原始数据y1s,定义恢复矩阵λ:
Figure FDA0002965253210000031
其中b11~bmn表示矩阵E的元素,取值与步骤1)中定义的零值特征描述子k有关:当k大于0时,b11~bmn对应于n×n的单位矩阵E进行傅里叶变换后的逆矩阵的元素;而对于其他情况,b11~bmn均取1,c11~cmn为矩阵运算后的矩阵λ元素值;
采用欧几里得范数优化方法进行数据恢复得到y1s,优化目标是最小化矩阵y1s的欧几里得范数,限制条件如下:
Figure FDA0002965253210000041
即:
Figure FDA0002965253210000042
其中y1s i表示y1s的1×n的列向量,其中初始化元素值为n×d形式的随机元素;ys i表示ys的1×m的列向量,其中每个元素为接收到的数据ys的元素;
3.3)逆归一化:根据实际应用场景的需要考虑加入或省去逆归一化处理;如果需要进行逆归一化处理,则在正常工作之前应在传感器节点和无线网关节点之间进行预发收操作,从而使无线网关节点保留归一化参数,包含数据x1s的中值median(x1s)、最大值max(x1s)、最小值min(x1s),三者均为d维数据;逆归一化处理逐列进行,进行d次,公式如下:
Figure FDA0002965253210000043
其中角码“i”表示每个维度的数据信息,i=1,2,…,d,则数据y2s即为最终恢复的数据,经无线网关节点(2)发送至数据实时处理平台(3)。
2.根据权利要求1所述的一种多节点无线动作捕捉节点扩充方法,其特征在于:所述固定结构(8)根据使用者设定部位的特点对传感器节点进行固定,用于人体设定部位多点变化的动作捕捉,或用于动物的动作捕捉。
3.根据权利要求1所述的一种多节点无线动作捕捉节点扩充方法,其特征在于:所述多个传感器节点数为S个传感器节点(1),设每个传感器节点发送数据时占用相同的带宽资源为bp,则节点承载个数S的理论上界为S=B/bp,实验数据表明该方法将节点数量成倍扩展,在有限的传输带宽B为2.4GHz ISM Band、传感器节点采样率为27.5Hz的条件下,S的理论上界能达到50个;该方法对于传输条件的改善主要体现在将原始数据压缩后再发送出去,降低了数据量而又保留了有效动作特征信息,所以在相同传输带宽条件下能支持更多的传感器节点同时发送数据。
CN201911310153.5A 2019-12-18 2019-12-18 一种多节点无线动作捕捉节点扩充方法 Active CN111031577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911310153.5A CN111031577B (zh) 2019-12-18 2019-12-18 一种多节点无线动作捕捉节点扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911310153.5A CN111031577B (zh) 2019-12-18 2019-12-18 一种多节点无线动作捕捉节点扩充方法

Publications (2)

Publication Number Publication Date
CN111031577A CN111031577A (zh) 2020-04-17
CN111031577B true CN111031577B (zh) 2021-04-27

Family

ID=70210469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911310153.5A Active CN111031577B (zh) 2019-12-18 2019-12-18 一种多节点无线动作捕捉节点扩充方法

Country Status (1)

Country Link
CN (1) CN111031577B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343896A (zh) * 2021-06-25 2021-09-03 浙江工业大学 一种基于实鸟飞行的动作捕捉系统及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133195A (zh) * 2017-12-30 2018-06-08 陈强 针对可视媒体中形体动作内容的智能分析与视觉表达方法
CN109791440A (zh) * 2016-09-30 2019-05-21 索尼互动娱乐股份有限公司 头戴式显示器中的虚拟现实(vr)内容的视场(fov)限制
CN110139236A (zh) * 2019-05-10 2019-08-16 西安因联信息科技有限公司 一种基于无线传感器网络的同步采集方法
CN209543171U (zh) * 2019-02-21 2019-10-25 西南石油大学 一种物联网下多传感器的移动机器人系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10716510B2 (en) * 2013-09-17 2020-07-21 Medibotics Smart clothing with converging/diverging bend or stretch sensors for measuring body motion or configuration
CN203235258U (zh) * 2013-05-13 2013-10-16 大连民族学院 一种基于手势识别的遥控模型无线控制系统
CN204832803U (zh) * 2015-08-05 2015-12-02 苏州朗亨电子科技有限公司 一种基于无线传感网络的智能家居系统
CA3004071A1 (en) * 2018-05-04 2019-11-04 Universite Laval Wearable respiration sensor and respiration monitoring system
CN110197576B (zh) * 2019-05-30 2021-04-20 北京理工大学 一种大规模实时人体动作采集重构系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791440A (zh) * 2016-09-30 2019-05-21 索尼互动娱乐股份有限公司 头戴式显示器中的虚拟现实(vr)内容的视场(fov)限制
CN108133195A (zh) * 2017-12-30 2018-06-08 陈强 针对可视媒体中形体动作内容的智能分析与视觉表达方法
CN209543171U (zh) * 2019-02-21 2019-10-25 西南石油大学 一种物联网下多传感器的移动机器人系统
CN110139236A (zh) * 2019-05-10 2019-08-16 西安因联信息科技有限公司 一种基于无线传感器网络的同步采集方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Multi-node activity recognition based on wireless sensor network in classroom";Duo Yang, Xi Wu and Jiangtao Huangfu;《IEEE》;20190522;参见第二部分 *

Also Published As

Publication number Publication date
CN111031577A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN107349594B (zh) 一种虚拟舞蹈系统的动作评价方法
CN109934111B (zh) 一种基于关键点的健身姿态估计方法及系统
CN104700433B (zh) 一种基于视觉的实时人体全身体运动捕捉方法及其系统
CN114399826A (zh) 图像处理方法及装置、图像设备及存储介质
CN109753891A (zh) 基于人体关键点检测的足球运动员姿势校准方法及系统
CN104461013A (zh) 一种基于惯性传感单元的人体动作重构与分析系统及方法
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN110188700B (zh) 基于分组回归模型的人体三维关节点预测方法
CN105686833A (zh) 基于无线体域网的可穿戴式多节点三维运动监测系统
CN105868519A (zh) 人体特征数据的处理方法及装置
CN106600626A (zh) 三维人体运动捕获方法与系统
CN106815855A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
Singh et al. Human pose estimation using convolutional neural networks
CN111031577B (zh) 一种多节点无线动作捕捉节点扩充方法
CN112464915A (zh) 一种基于人体骨骼点检测的俯卧撑计数方法
CN109740418B (zh) 一种基于多加速度传感器的瑜伽动作识别方法
CN113408397B (zh) 领域自适应的跨受试者运动想象脑电信号识别系统及方法
CN115105056A (zh) 识别用户动作的方法和系统
CN113229832A (zh) 一种用于获取人体运动信息的系统和方法
Mavroudi et al. Deep moving poselets for video based action recognition
CN111539364A (zh) 基于特征融合和多分类器投票的多体感人体行为识别算法
CN111310655A (zh) 基于关键帧和组合注意力模型的人体动作识别方法和系统
CN110163489A (zh) 一种戒毒运动锻炼成效评价方法
CN116229507A (zh) 人体姿态检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant